3.2、苏宁百万级商品爬取 思路讲解 商品爬取

简介: 问题2 局部加载经过问题1“所见非所得”,我们大概对一些套路有了了解,接下取的局部加载也是一个简单的小套路。这个方式可以这么解释你所看到的内容其实是一步一步加载出来的,而不是一下子都给你看到的。

问题2 局部加载

经过问题1“所见非所得”,我们大概对一些套路有了了解,接下取的局部加载也是一个简单的小套路。
这个方式可以这么解释
你所看到的内容其实是一步一步加载出来的,而不是一下子都给你看到的。这是什么意思呢,其实有点问题1种jsonp种每次加载5个数据的意思。而我们现在要将的是商品的局部加载。还是一样的,我们给出几张图来进行说明。

img_611cbd8ac08243394789fff7ed58483a.png
局部加载1.png
img_eb64a1551add13ae53b1b1931a79bf3e.png
局部加载2.png

如上图所示,当我们第一次打开页面的时候,我们可以看到当前商品li标签个数为30,可是当我们将下拉框移动到页面底部,这个时候我们再看查看li标签个数,此时变成了60。这就又是一个小把戏了。
如果我们按照一般的方法爬取数据,我们就会丢掉一般的数据,是不是特别的坑呢。
既然我们已经发现了这个问题,我们如果解决,这又是一个值得大家考虑的问题,大家可以先进行一下尝试,然后在看接下去的内容,也算是对自己的一个锻炼。

分析

首先我们看第一张图,还是通过f12打开开发者共工具,工具栏我们选择查看xhr内容,这个时候我们就能够发现有符合我们条件的数据出现。我们看到请求返回的内容“分析1.1.png”我们发现就是当前页面商品去掉了一些价格,类别等属性的“结构”。所以内容我们得到了,接着我们分析什么样子请求可以得到对应的内容

如图“分析3.png” “分析4.png”比较,他们只有一个后缀不同,我们不妨猜测,是不是加了后缀的为后30个商品,不加的为前30个商品。经过实现证实了我们的猜想。

如果我要得到A类别的第B页的商品我应该如何拼接符合条件的地址
我们首先分析地址,地址如下

 https://list.suning.com/emall/showProductList.do?ci=179001&pg=03&cp=2&il=0&iy=0&adNumber=0&n=1&prune=0&sesab=ABBAAA&id=IDENTIFYING&cc=025

分析当前地址 “分析2.png” “分析2.1.png” 我们可以知道pg=03为当前页码 ci=179001为当前产品编码,所以如果我们要得到符合上述条件的地址,只需要请求如下俩个地址

https://list.suning.com/emall/showProductList.do?ci={页码}&pg={产品编码}&cp=2&il=0&iy=0&adNumber=0&n=1&prune=0&sesab=ABBAAA&id=IDENTIFYING&cc=025

https://list.suning.com/emall/showProductList.do?ci={页码}&pg={产品编码}&cp=2&il=0&iy=0&adNumber=0&n=1&prune=0&sesab=ABBAAA&id=IDENTIFYING&cc=025&paging=1&sub=0

当然在实际编码过程种还会存在其他问题,我在此稍稍提一下,第一个页面获取商品的xpath和第二个页面获取商品的xpah是不一样的

img_7047f617f728b6986ae2426faf84bcc4.png
分析1.png
img_5041867b60df7ae94c5f53e1cb65f7fd.png
分析1.1.png
img_1e652c4bc6415e60db2cf2df8700972a.png
分析2.png
img_09fb904671a95540cb6a676036bd08a1.png
分析2.1.png
img_f09251a1e9a67219c92558537fcad73f.png
分析3.png
img_6d4a4d00de38b65909285d4ae48f2518.png
分析4.png
目录
相关文章
|
5月前
|
JSON API 数据格式
快手API接口:根据关键词获取海量商品列表的秘诀
快手API接口:根据关键词获取海量商品列表的秘诀
|
2月前
|
数据采集 监控 供应链
shopee商品列表数据接口丨关键词搜索shopee商品数据采集
shopee商品列表数据接口丨关键词搜索shopee商品数据采集
35 5
|
2月前
|
数据采集 API
快手商品数据采集神器,助你轻松获取商品详情数据
快手商品数据采集神器,助你轻松获取商品详情数据
31 0
|
4月前
|
JSON API 数据格式
抖音商品详情API接口在电商行业中的重要性及实时数据获取实现
随着移动互联网的快速发展,电商行业不断壮大。抖音作为一款短视频社交应用,近年来在电商领域取得了显著成果。本文将探讨抖音商品详情API接口在电商行业中的重要性,以及如何通过实时数据获取提高业务效率。我们将介绍相关的技术背景、API接口的基础知识、实时数据获取的方法和代码实现,并通过一个案例来展示具体应用。
|
4月前
|
存储 JSON 监控
京东商品详情接口在电商行业中的重要性及实时数据获取实现
随着电子商务的快速发展,电商平台上的商品数量不断增加,竞争也越来越激烈。对于电商企业来说,如何快速、准确地获取商品详情信息变得至关重要。京东作为中国最大的电商平台之一,提供了商品详情接口,为电商企业提供了强大的支持。本文将深入探讨京东商品详情接口在电商行业中的重要性,并通过实例代码介绍如何实现实时数据获取。
|
4月前
|
搜索推荐 API
京东商品详情数据在数据分析行业中的重要性
京东商品详情数据在数据分析行业中的重要性
24 0
|
10月前
|
API
2023最全电商API接口 高并发请求 实时数据 支持定制 电商数据 买家卖家数据
2023最全电商API接口 高并发请求 实时数据 支持定制 电商数据 买家卖家数据
|
数据采集 Python
python编程-26:实例2-淘宝商品信息定向爬虫
python编程-26:实例2-淘宝商品信息定向爬虫
147 0
python编程-26:实例2-淘宝商品信息定向爬虫
|
数据采集 Python
Python爬虫系列14-采集JD商城百万商品数据详情
有时候不能什么都听别人的,更不能因为别人的意见而打乱了自己原有的计划。学习亦是如此。 自己要学会为自己负责,不要听别人说什么就是什么。如果真是那样,那么你自己的人生会过得非常的不好,会一团糟。别人的只是建议,最终还是由自己决定。
Python爬虫系列14-采集JD商城百万商品数据详情
查询淘宝天猫的宝贝类目的方法
淘宝的宝贝类目是有很多的,一个大类目里就有很多个小类目,小类目后还有别的类目,且淘宝是不断改变的,以前可以发布的宝贝类目,可能到现在就已被冻结无法发布该类宝贝。那么,如何去查询淘宝天猫的宝贝类目?