技术文章

scrapy简单介绍，以及使用scrapy爬豆瓣音乐

2015-01-18 04:03 技术文章 scrapy , 爬虫

基本概念介绍

Spider

Spider定义了网站是如何被扒取的，通过Spider可以决定哪些url可以被扒，决定解析response中的哪些数据。

Spider大致工作流程：

通过star...

分类

技术文章 (13)
编程相关 (9)
Redis (9)
数据结构与算法 (6)
数据库 (5)
工作记录 (4)
数学·AI (3)
杂记 (2)

归档

2020年6月 (1)
2020年4月 (1)
2020年3月 (1)
2020年2月 (1)
2020年1月 (3)
2019年12月 (1)
2019年11月 (2)
2019年9月 (2)
2019年8月 (3)
2019年7月 (1)
2019年1月 (3)
2018年12月 (1)
2018年8月 (2)
2018年4月 (1)
2017年10月 (2)
2017年3月 (1)
2016年7月 (1)
2016年4月 (1)
2016年2月 (1)
2015年10月 (1)
2015年6月 (1)
2015年5月 (1)
2015年4月 (3)
2015年3月 (2)
2015年2月 (7)
2015年1月 (7)

标签

python(9) redis(9) 数据结构(8) postgresql(4) jenkins(3) 哈希表(3) 性能优化(3) docker(2) nginx(2) linux(2) 算法(2) 链表(2) BI(2) 哈希算法(2) 架构(2) 跳跃表(2) CI/CD(1) https(1) 多线程(1) 数学(1) 贝叶斯(1) SQL(1) 机器学习(1) 设计模式(1) k8s(1) ELK(1) 思想(1) java(1) 个性化推荐(1) markdown(1) sonar(1) 缓存(1) gitlab(1) scrapy(1) 爬虫(1) javascript(1) 树(1) vpn(1)