Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy

  1. 云栖社区>
  2. python技术进阶>
  3. 博客>
  4. 正文

Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy

梦想橡皮擦 2019-05-15 15:14:21 浏览958
展开阅读全文

1. B站博人传评论数据爬取简介

今天想了半天不知道抓啥,去B站看跳舞的小姐姐,忽然看到了评论,那就抓取一下B站的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看。网址: https://www.bilibili.com/bangumi/media/md5978/?from=search&seid=16013388136765436883#short
在这个网页看到了18560条短评,数据量也不大,抓取看看,使用的还是scrapy。

image

image

2. B站博人传评论数据案例---获取链接

从开发者工具中你能轻易的得到如下链接,有链接之后就好办了,如何创建项目就不在啰嗦了,我们直接进入主题。
image

我在代码中的parse函数中,设定了两个yield一个用来返回items 一个用来返回requests
然后实现一个新的功能

网友评论

登录后评论
0/500
评论
梦想橡皮擦
+ 关注
所属云栖号: python技术进阶