python的httplib、urllib和urllib2的区别

  1. 云栖社区>
  2. 博客>
  3. 正文

python的httplib、urllib和urllib2的区别

技术小阿哥 2018-01-28 10:51:00 浏览824
展开阅读全文

综述

首先来看一下他们的区别

urllib和urllib2

urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。

这意味着,你不可以伪装你的User Agent字符串等。

urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

目前的大部分http请求都是通过urllib2来访问的

 

httplib

httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。

 

urllib简单用法

urllib.urlopen(url[, data[, proxies]]) :


详细使用方法见

urllib学习

urllib2简单用法

最简单的形式

import urllib2  
   response=urllib2.urlopen('http://www.douban.com')  
   html=response.read()

实际步骤:

1、urllib2.Request()的功能是构造一个请求信息,返回的req就是一个构造好的请求

2、urllib2.urlopen()的功能是发送刚刚构造好的请求req,并返回一个文件类的对象response,包括了所有的返回信息。

3、通过response.read()可以读取到response里面的html,通过response.info()可以读到一些额外的信息。

如下:

#!/usr/bin/env python  
    import urllib2  
    req = urllib2.Request("http://www.douban.com")  
    response = urllib2.urlopen(req)  
    html = response.read()  
    print html

有时你会碰到,程序也对,但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖,不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形:

1
2
3
4
5
6
7
8
9
import urllib  
import urllib2  
url = 'http://www.someserver.com/cgi-bin/register.cgi'  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息  
values = {'name' 'who','password':'123456'}  
headers = 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read(

values是post数据

GET方法

例如百度:

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode

1
2
3
4
5
6
7
8
9
#coding:utf-8  import urllib   
import urllib2    
url = 'http://www.baidu.com/s'   values = {'wd':'D_in'}     
data = urllib.urlencode(values)  
print data   
url2 = url+'?'+data  
response = urllib2.urlopen(url2)    
the_page = response.read()   
print the_page


POST方法

1
2
3
4
5
6
7
8
9
10
import urllib  
import urllib2  
url = 'http://www.someserver.com/cgi-bin/register.cgi'  
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' //将user_agent写入头信息  
values = {'name' 'who','password':'123456'}      //post数据  
headers = 'User-Agent' : user_agent }  
data = urllib.urlencode(values)                   //对post数据进行url编码  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read()

urllib2带cookie的使用

1
2
3
4
5
6
7
8
9
10
11
#coding:utf-8  import urllib2,urllib  
import cookielib  
    
url = r'http://www.renren.com/ajaxLogin'  
   #创建一个cj的cookie的容器  
cj = cookielib.CookieJar()  
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))  
#将要POST出去的数据进行编码  
data = urllib.urlencode({"email":email,"password":pass})  
= opener.open(url,data)  
print cj

httplib简单用法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/usr/bin/env python      
# -*- coding: utf-8 -*-      
import httplib    
import urllib    
     
def sendhttp():    
    data = urllib.urlencode({'@number'12524'@type''issue''@action''show'})       
    headers = {"Content-type""application/x-www-form-urlencoded",    
               "Accept""text/plain"}    
    conn = httplib.HTTPConnection('bugs.python.org')    
    conn.request('POST''/', data, headers)    
    httpres = conn.getresponse()    
    print httpres.status    
    print httpres.reason    
    print httpres.read()               
                   
if __name__ == '__main__':      
    sendhttp()

具体用法见

httplib模块 

python 3.x中urllib库和urilib2库合并成了urllib库。其中、

首先你导入模块由

import urllib
import urllib2
变成了
import urllib.request

然后是urllib2中的方法使用变成了如下

urllib2.URLError 变成了urllib.error.URLError

而当你想使用urllib 带数据的post请求时,


而在python3中就变成了




本文转自 奚落123 51CTO博客,原文链接:http://blog.51cto.com/guyuyuan/1942504,如需转载请自行联系原作者


网友评论

登录后评论
0/500
评论
技术小阿哥
+ 关注