Python天天美味(28) - urlopen-阿里云开发者社区

Python天天美味(28) - urlopen

2017-01-11 1195

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介：

一、打开一个网页获取所有的内容

 
   
  from
   urllib 
  import
   urlopen
 doc 
  =
   urlopen(
  "
  http://www.baidu.com
  "
  ).read()

  print
   doc 
 

二、获取Http头

 
  from
   urllib 
  import
   urlopen
 doc 
  =
   urlopen(
  "
  http://www.baidu.com
  "
  )

  print
   doc.info()

  print
   doc.info().getheader(
  '
  Content-Type
  '
  ) 
 

三、使用代理

1. 查看环境变量

 
  print
   
  ""
  n
  "
  .join([
  "
  %
  s
  =%
  s
  "
   % (k, v)  for k, v in os.environ.items()])
  

  print
   os.getenv(
  "
  http_proxy
  "
  ) 
 

2. 设置环境变量

 
  import
     os 
 os.putenv(
  "
  http_proxy
  "
  ,   
  "
  http://proxyaddr:<port>
  "
  ) 
 

3. 使用代理

  
 
 
  #
   Use http://www.someproxy.com:3128 for http proxying
  

  proxies 
  =
   {
  '
  http
  '
  : 
  '
  http://www.someproxy.com:3128
  '
  }
 filehandle 
  =
   urllib.urlopen(some_url, proxies
  =
  proxies)

  #
   Don't use any proxies
  

  filehandle 
  =
   urllib.urlopen(some_url, proxies
  =
  {})

  #
   Use proxies from environment - both versions are equivalent
  

  filehandle 
  =
   urllib.urlopen(some_url, proxies
  =
  None)
 filehandle 
  =
   urllib.urlopen(some_url) 
 

  
 