之前一直都是做网页爬虫,这两天接了新项目,我负责37个APP的抓取工作,所以趁热写一下APP爬虫的步骤,这里是采用fiddler抓取数据包:
1.fiddler安装
去官网https://www.telerik.com/fiddler下载安装就可以了,比较简单
2.设置fiddler
打开fiddler,点击Tools->Telerik Fiddler Options(每个版本的Options名称都不一样,不过都是第一个)
打开HTTPS,如下设置:
再打开Connections,如下设置:
8888是端口号,只要端口不冲突可以任意设置
此时,fiddler的设置基本完成,可以通过以下方式验证:
打开cmd,查看IP地址:
通过浏览器打开IP地址+端口号,即:http://172.16.22.174:8888/
状态码返回200说明成功了
3.设置安卓手机
去到你连接的WIFI的详情页,然后
好了,网络的代理设置已经完成,可以试试用fiddler能不能抓到数据包了,不过一般是不行的,因为没有手机没有安装证书
4.手机安装fiddler证书
在手机打开链接地址:http://172.16.22.174:8888/
点击下载,然后安装就可以了,加入安装失败(我一开始就是安装失败的),如下操作:
设置-->更多设置-->系统安全-->从存储设备安装
然后找到你下载好的证书,点击安装就可以了
好了,这次真的就可以了