Python告诉你iPhone X有多热卖(附代码)

  1. 云栖社区>
  2. Python中文社区>
  3. 博客>
  4. 正文

Python告诉你iPhone X有多热卖(附代码)

青衫无名 2018-03-14 16:05:47 浏览972
展开阅读全文

我们用Python来爬取淘宝店铺的数据,分析一下iPhone X到底有多热卖。先来看下淘宝上的销量数据长什么样。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

淘宝上的销量数据有两种方式估算,一种方式是用累计付款人数近似销量,像下面这种显示在这个数字里的每个人都至少购买了一部手机,所以总销量一定大于等于累计付款人数。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

淘宝上并不是每一家店铺都显示累计付款人数,对于下面这种只显示评论数的情况就只能用评论数来估算销量了,具体怎么估算后面会提到。

知道怎么获得销量数据,接下类我们就开始爬数据了。我们要爬的数据藏在下面高亮的URL里。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

我们用Python的Scrapy框架来实现一个爬虫,爬取不同搜索页的URL,爬虫代码如下:

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

我们爬得温柔点,这里设了爬完一次休息2秒再爬。爬完的数据存入了mongodb,接下来我们将数据从mongodb中读出来,去除不相关的产品和重复的产品,估算一下

网友评论

登录后评论
0/500
评论
青衫无名
+ 关注
所属云栖号: Python中文社区