手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  1. 云栖社区>
  2. python技术进阶>
  3. 博客>
  4. 正文

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

python进阶者 2019-02-24 21:15:05 浏览546
展开阅读全文

前几天小编带大家学会了如何新建scrapy爬虫框架的第一个项目(上),今天我们进一步深入的了解Scrapy爬虫项目创建,这里以伯乐在线网站的所有文章页为例进行说明。


5d7e5d6ca8de4c8791132fa3caaf5d90


在我们创建好Scrapy爬虫项目之后,会得到上图中的提示,大意是让我们直接根据模板进行创建Scrapy项目。根据提示,我们首先运行“cd article”命令,意思是打开或者进入到article文件夹下,尔后执行命令“scrapy genspider jobbole blog.jobbole.com”,代表通过Scrapy中自带的basic模板进行创建Scrapy项目,如下图所示。


9308c2d6b36540ed8c26b78db20f2ea8


根据提示,该模板创建的位置为article.spiders.jobbole,此时再次输入tree /f命令可以查看到除了之前创建Scrapy爬虫项目的基础文件之外,在spiders文件夹下确实

网友评论

登录后评论
0/500
评论
python进阶者
+ 关注
所属云栖号: python技术进阶