Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy

  1. 云栖社区>
  2. python技术进阶>
  3. 博客>
  4. 正文

Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy

梦想橡皮擦 2019-05-19 09:54:55 浏览908
展开阅读全文

爬前叨叨

全站爬虫有时候做起来其实比较容易,因为规则相对容易建立起来,只需要做好反爬就可以了,今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说,使用scrapy确实用了牛刀,不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度,so,我写了一会就写完了。

你第一步找一个爬取种子,算作爬虫入口

https://www.zhihu.com/people/zhang-jia-wei/following

我们需要的信息如下,所有的框图都是我们需要的信息。

image

获取用户关注名单

通过如下代码获取网页返回数据,会发现数据是由HTML+JSON拼接而成,增加了很多解析成本

class ZhihuSpider(scrapy.Spider):
    name = 'Zhihu'
    allowed_domains = ['www.zhi

网友评论

登录后评论
0/500
评论
梦想橡皮擦
+ 关注
所属团队号: python技术进阶