《Python爬虫开发与项目实战》——3.2 HTTP请求的Python实现

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Python爬虫开发与项目实战》——3.2 HTTP请求的Python实现

华章计算机 2017-05-02 15:39:00 浏览1511
展开阅读全文

本节书摘来自华章计算机《Python爬虫开发与项目实战》一书中的第3章,第3.2节,作者:范传辉著,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.2 HTTP请求的Python实现

  通过上面的网络爬虫结构,我们可以看到读取URL、下载网页是每一个爬虫必备而且关键的功能,这就需要和HTTP请求打交道。接下来讲解Python中实现HTTP请求的三种方式:urllib2/urllib、httplib/urllib以及Requests。
3.2.1 urllib2/urllib实现
  urllib2和urllib是Python中的两个内置模块,要实现HTTP功能,实现方式是以urllib2为主,urllib为辅。
  1.?首先实现一个完整的请求与响应模型
  urllib2提供一个基础函数urlopen,通过向指定的URL发出请求

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机