手把手教你爬取天堂网1920*1080大图片(批量下载)——实战篇

  1. 云栖社区>
  2. python技术进阶>
  3. 博客>
  4. 正文

手把手教你爬取天堂网1920*1080大图片(批量下载)——实战篇

python进阶者 2020-05-12 13:06:48 浏览643
展开阅读全文

/1 前言/

上篇文章我们谈及了天堂网站图片抓取的理论,这篇文章将针对上篇文章的未尽事宜进行完善,完成图片的批量抓取。

/2 图片网址解析/

1. 我们首先来分析一下这个图片的地址在哪里。我们选择图片,然后右击网页检查,可以看到图片的路径,如下图所示。


2. 将其单独放出来,如下图所示。


3. 可以看到<a href>就是图片的链接,而src就图片的地址,所以我们可以找它的上一级标签<ul>。如果再找不到那就再找上一级以此类推(找到越详细内容更准确)。使用选择器xpath,获取到src的值(网址后缀)之后,将后缀加上“https前缀”就可以得到每一个网址,如下图所示:


4. 之后尝试运行,如下图所示,可以获取到具体的网址。


5. 我们再对这个网址进行请求(参考一个请求的方法)分析数据。


6.

网友评论

登录后评论
0/500
评论
python进阶者
+ 关注
所属团队号: python技术进阶