用xpath和BeautifulSoup获取免费代理

  1. 云栖社区>
  2. 博客>
  3. 正文

用xpath和BeautifulSoup获取免费代理

sixkery 2018-08-05 20:26:00 浏览479
展开阅读全文

最近看到一篇文章:「关于爬虫,这里有一份《中国焦虑图鉴》」,对于爬虫分析的很透彻,建议大家看一下。想围观的朋友自己搜索题目就可以找到。


如果你要问我在哪里搜索,我只会让你试着自己找答案。因为在你学习的过程中一定会遇到各种各样奇奇怪怪的问题,难道都要问别人吗?在学校有老师解答你的疑惑,走出学校,我们要试着自己独立解决问题。我经常去的Stack Overflow上面,别人提的问题都是经过自己独立思考,看到提问者对问题的理解,为解决问题尝试过哪些方法,最后还是没有解决才来提问,希望我们也能如此。


不扯别的,我们知道在爬虫中最重要的不是后两步,即解析数据,保存数据,最重要的还是请求数据。

在爬取小规模的网页,数据规模不大,网页没有什么反爬技术的情况下,我们的爬虫还是很好玩的,一旦我们要爬取的网页反爬很强,我们获取的数据量又非常大时,我们很容易就会被封ip,一旦IP被封,爬虫就无法继续下去。

常规的伪造请求头,构造参数已经没有办法解决我们的问题。

在爬虫的世界里,永远都是跟网页的反爬技术做斗争,封了我们的ip,我们还可以伪造ip,今天就带大家获取一些免费的ip。


这里请求的是一个国内免费的ip髙匿代理IP网站:http://www.xicidaili.com/nn/

请求一页就可以了,今天的代码帮助大家随机生成一个该网站上提供的ip地址。

请求网页


classSpider():

'''随机获取一个IP地址'''

def__get_page(self):

'''获取数据,添加请求头'''

url ='http://www.xicidaili.com/nn/'

       headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36'

' (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

           }

       r = requests.get(url,headers=headers)

ifr.status_code ==200:

print('爬取成功')

returnr.text


由于这个ip代理网站没有什么反爬技术,基本上带个请求头就可以了。

解析网页

这里用了两种方式解析网页


def__parse_page(self,html):

'''这里用了两种方式获取解析IP,返回一个ip列表'''

'''soup = BeautifulSoup(html,'lxml')

       ips = soup.find_all('tr')#先找到节点tr

       ip_list = []

       for i in range(1,len(ips)):

           ip_info = ips[i]

           tds = ip_info.find_all('td')

           ip_list.append(tds[1].text + ':' +tds[2].text)

       return ip_list'''

       data = etree.HTML(html)

items = data.xpath('//tr[@class="odd"]')

       ip_list = []

foriteminitems:

ips = item.xpath('./td[2]/text()')[0]

tds = item.xpath('./td[3]/text()')[0]

ip_list.append(ips +':'+ tds)

returnip_list


这里比较来看,我还是倾向于用xpath,一来简单,再者性能还好,相比较BeautifulSoup来说,性能就没那么好了。

处理数据

接下来是一个随机函数,生成一个随机ip地址:


def__get_random_ip(self,ip_list):

       proxy_list = []

foripinip_list:

#遍历ip列表,添加http://

proxy_list.append('http://'+ ip)

proxy_ip = random.choice(proxy_list)#随机返回一个ip

proxies = {'http':proxy_ip}#构造成字典。

returnproxies

defrun(self):

html =self.__get_page()

ip_list =self.__parse_page(html)

proxy =self.__get_random_ip(ip_list)

       print(proxy)

if__name__=='__main__':

   spider = Spider()

   spider.run()

   程序运行后,控制台输出:

{'http':'http://110.73.8.27:8123'}


程序运行后随机生成一个ip地址,你可以拿去用,当然你也可以导入你需要伪装ip的程序里。


总结

看了开篇提到的那篇文章之后,结合最近看到听到的消息,在想这样一个问题「爬虫犯法吗?」

爬虫犯不犯法,看你抓取的数据是什么内容,就好比百度,谷歌的搜索引擎每天在各个网站上爬到数据,展现给你。当然不犯法。

有位爬虫大佬这样说:

公开可查的就可以爬,这个就没啥事。那些用某些特殊权限的账号登录才可以的那就比较危险。还有必须破解才能爬的就构成犯罪了,另外,都建议使用代理ip,一个反爬,一个隐藏真实ip。

所以对于我们小白来说完全没有问题,只要不触碰一些敏感未公开的数据就没事。

公众号sixkery,专注于python爬虫。有任何学习上的问题都可以后台联系我哦

网友评论

登录后评论
0/500
评论
sixkery
+ 关注