Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

  1. 云栖社区>
  2. 博客>
  3. 正文

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

云飞学编程 2018-09-08 00:37:19 浏览600
展开阅读全文

昨天有小伙伴找我,新浪新闻的国内新闻页,其他部分都是静态网页可以抓到,但是在左下方的最新新闻部分,不是静态网页,也没有json数据,让我帮忙抓一下。大概看了下,是js加载的,而且数据在js函数中,很有意思,就分享出来给大家一起看看!

抓取目标

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

今天我们的目标是上图红框部分,首先我们确定这部分内容不在网页源代码中,属于js加载的部分,点击翻页后也没有json数据传输!

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

但是发现有个js的请求,点击请求,是一行js函数代码,我们将其复制到json的视图查看器中,然后格式化一下,看看结果

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

发现里面有可能存在我们需要的内容,比如url、title、intro这3个参数,猜测就是对应的新闻URL、标题、简介

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

只是其内容,需要在进行处理一下,我们写到代码中看看

开始写代码

先导入库,因为最终需要从字符串中截取部分,所以用requests库获取请求,正则re匹配内容即可。然后我们先匹配出上述3项

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

可以看到,url中存在 \ \,标题和简介是以\ \ u4e09的形式存在,这些就是我们需要处理的下一步了!

先用replace函数剔除url中\ \,即可得到url,后面的\ \ u4e09则是unicode编码,可以直接解码得到内容,直接写代码了

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

解码用了eval函数,内容为u“ + unicode编码内容 + “的形式即可解码!

这样,就取出了本页的所有新闻和URL的相关内容,在外层加上循环,即可抓取所有的新闻页,任务完成!

Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程

后记

新浪新闻的页面js函数比较简单,可以直接抓到数据,如果是比较复杂的函数的话,就需要深入理解前端知识了,这也是为什么学爬虫,需要学习前端知识的原因!

ps:上文所用的json查看器是第三方的网站,直接百度即可找到很多,当然也可以直接将上述抓包的内容修改,然后用json读取数据也是可以的!

基本代码没有多少,如果有看不清楚的小伙伴,可以私信我获取代码或者一起研究爬虫哦!

网友评论

登录后评论
0/500
评论
云飞学编程
+ 关注