scrapy官方文档提供的常见使用问题

  1. 云栖社区>
  2. python技术进阶>
  3. 博客>
  4. 正文

scrapy官方文档提供的常见使用问题

python之战 2019-03-21 22:12:33 浏览850
展开阅读全文

Scrapy与BeautifulSoup或lxml相比如何?

BeautifulSouplxml是用于解析HTML和XML的库。Scrapy是一个用于编写Web爬虫的应用程序框架,可以抓取网站并从中提取数据。

Scrapy提供了一种用于提取数据的内置机制(称为 选择器),但如果您觉得使用它们感觉更舒服,则可以轻松使用BeautifulSoup (或lxml)。毕竟,他们只是解析可以从任何Python代码导入和使用的库。

换句话说,将BeautifulSoup(或lxml)与Scrapy进行比较就像将jinja2Django进行比较一样

我可以和BeautifulSoup一起使用Scrapy吗?

是的你可以。如所提到的上面BeautifulSoup可用于在Scrapy回调解析HTML响应。您只需将响应的主体提供给BeautifulSo

网友评论

登录后评论
0/500
评论
python之战
+ 关注
所属云栖号: python技术进阶