备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

Python 模拟登录知乎

2017-04-07 3143
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 前言必备知识点headersRefererUser-Agent隐藏域其他模拟登录模拟防爬服务器端loginphploginhtml浏览器测试正常提交用户名密码的话如下用户名或者密码填写错误的情况如下爬虫没有添加隐藏域时添加了隐藏域的爬虫知乎模拟登录更新版知乎模拟登陆代码部分验证效果总结前言前天看到一个爬取了知乎50多万评论的帖子， 羡慕的同时也想自己来尝试一下。

前言

前天看到一个爬取了知乎50多万评论的帖子， 羡慕的同时也想自己来尝试一下。看看能不能获取一些有价值的信息。

必备知识点

下面简单的来谈谈我对常见的防爬虫的一些技巧的理解。

headers

现在很多服务器都对爬虫进行了限制，有一个很通用的处理就是检测“客户端”的headers。通过这个简单的判断就可以判断出客户端是爬虫程序还是真实的用户。（虽然这一招在Python中可以很轻松的解决）。

Referer

referer字段很实用，一方面可以用于站内数据的防盗链。比如我们经常遇到的在别处复制的图片链接，粘到我们的博客中出现了“被和谐”的字样。
这就是referer起到的作用，服务器在接收到一个请求的时候先判断Referer是否为本站的地址。如果是的话就返回正确的资源；如果不是，就返回给客户端预先准备好的“警示”资源。
Referer字段
所以再写爬虫的时候（尤其是爬人家图片的时候），加上Referer字段会很有帮助。

User-Agent

User-Agent字段更是没的说了。相信绝大部分有防爬长处理的网站都会判断这个字段。来检测客户端是爬虫程序还是浏览器。

如果是爬虫程序（没有添加header的程序），服务器肯定不会返回正确的内容啦；如果包含了这个字段，才会进行到下一步的防爬虫处理操作。
如果网站仅仅做到了这一步，而你的程序又恰好添加了User-Agent，基本上就可以顺利的蒙混过关了。
User-Agent字段

隐藏域

很多时候，我们模拟登录的时候需要提交的数据并不仅仅是用户名密码，还有一些隐藏域的数据。比如拿咱们CSDN来说，查看登录页
https://passport.csdn.net/account/login

的时候，你会发现源码中有这样的内容：
隐藏域

也就是说，如果你的程序仅仅post了username和password。那么是不可能进入到webflow流程的。因为服务器端接收请求的时候还会判断有没有lt和execution这两个隐藏域的内容。

其他

防止爬虫还有很多措施，我本人经验还少，所以不能在这里一一列举了。如果您有相关的经验，不妨留下评论，我会及时的更新到博客中，我非常的赞同大家秉承学习的理念来交流。

模拟登录

在正式的模拟登录知乎之前，我先来写个简单的小例子来加深一下印象。

模拟防爬

模拟防爬肯定是需要服务器端的支持了，下面简单的写一下来模拟整个过程。

服务器端

login.php

先来看看： login.php

<?php
/**
 * @Author: 郭 璞
 * @File: login.php
 * @Time: 2017/4/7
 * @Contact: 1064319632@qq.com
 * @blog: http://blog.csdn.net/marksinoberg
 * @Description:  模拟防爬处理
 **/

$username = $_POST['username'];
$password = $_POST['password'];
$token = $_POST['token'];

if (!isset($token)) {
    echo "登录失败！";
    exit(0);
}else{
    // 这里简单的模拟一下token的计算规则，实际中会比这更加的复杂
    $target_token = $username.$username;
    if ($token == $target_token){
        if ($username ==='123456' and $password==='123456'){
            echo "登陆成功！<br>用户名： ".$username."<br>密码：".$password."<br>token: ".$token;
        }else{
            echo "用户名或密码错误！";
        }
    }else{
        echo "token 验证失败！";
    }
}
login.html

相对应的前端代码简单的写成下面： login.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>郭璞的小窝</title>
</head>
<body>

<form action="login.php" method="post">
    用户名： <input type="text" name="username" id="username" required><br>
    密&nbsp;&nbsp;码：<input type="password" name="password" required><br>
    <input type="hidden" name="token" id="token" value="">
    <hr>
    <input type="submit" value="登录">
</form>
<script>
    document.getElementById('username').onblur = function() {
        var username = document.getElementById("username").value;
        var token = document.getElementById('token');
        token.value = username+username;
    }
</script>

</body>
</html>
浏览器测试
正常提交用户名密码的话如下：

正确提交信息

我们不难发现，服务器端和客户端使用了相同的计算规则，这样的话我们就可以实现对客户端的登录请求进行一次简答的甄选了。正常的浏览器请求都是没有问题的。

用户名或者密码填写错误的情况如下：

用户名密码出错的情况

爬虫没有添加隐藏域时

用爬虫程序运行的话，如果没有添加隐藏域的内容，我们就不可能正确地登录了。那么先来看下这样的傻瓜式爬虫是怎么失效的吧。
使用Python写一个这样的爬虫用不了多少代码，那么就用Python来写吧。其他的接口测试工具postman，selenium等等也都是很方便的，这里暂且不予考虑。

# coding: utf8

# @Author: 郭 璞
# @File: sillyway.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 傻瓜式爬虫未添加隐藏域的值

import requests

url = "http://localhost/phpstorm/pachong/login.php"

payload = {
    'username': '123456',
    'password': '123456'
}

response = requests.post(url=url, data=payload)
print(response.text)

运行的结果如下：
傻瓜式爬虫，未添加隐藏域信息

对比PHP文件对于请求的处理，我们可以更加轻松的明白这个逻辑。

添加了隐藏域的爬虫

正如上面失败的案例，我们明白了要添加隐藏域的值的必要性。那么下面来改进一下。

因为我们”不知道”服务器端是怎么对token处理的具体的逻辑。所以还是需要从客户端的网页下手。
且看下面的图片。
客户端隐藏域内容获取

注意：这里仅仅是为了演示的方便，采用了对username字段失去焦点时计算token。实际上在网页被拉取到客户端浏览器的时候， 服务器会事先计算好token的值，并赋予到token字段的。所以大可不必计较这里的实现。

Python代码

# coding: utf8

# @Author: 郭 璞
# @File: addhiddenvalue.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 添加了隐藏域信息的爬虫

import requests

## 先获取一下token的内容值，方便接下来的处理
url = 'http://localhost/phpstorm/pachong/login.php'

payload = {
    'username': '123456',
    'password': '123456',
    'token': '123456123456'
}

response = requests.post(url, data=payload)
print(response.text)

实现效果如下：
添加了token域内容的爬虫效果

现在是否对于隐藏域有了更深的认识了呢？

知乎模拟登录

按照我们刚才的逻辑，我们要做的就是：

先打开预登陆界面，目标：得到必须提交的隐藏域的值
然后通过post再次访问该路径（准备好了一切必须的信息）
获取网页内容并进行解析，或者做其他的处理。

思路很清晰了，下面就可以直接上代码了。

# coding: utf8

# @Author: 郭 璞
# @File: ZhiHuLogin.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 模拟登陆知乎
import re
from bs4 import BeautifulSoup
import subprocess, os
import json
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.zhihu.com",
    "Upgrade-Insecure-Requests": "1",
}

############################# 从邮箱方式登录
loginurl = 'http://www.zhihu.com/login/email'
session = requests.session()
html = session.get(url=loginurl, headers=headers).text
soup = BeautifulSoup(html, 'html.parser')
print(soup)
xsrf_token = soup.find('input', {'name':'_xsrf'})['value']
print("登录xsrf_token: "+xsrf_token)

############################ 下载验证码备用
checkcodeurl = 'http://www.zhihu.com/captcha.gif'
checkcode = session.get(url=checkcodeurl, headers=headers).content
with open('./checkcode.png', 'wb') as f:
    f.write(checkcode)
print('已经打开验证码，请输入')
# subprocess.call('./checkcode.png', shell=True)
os.startfile(r'checkcode.png')
checkcode = input('请输入验证码：')
os.remove(r'checkcode.png')
############################ 开始登陆
payload = {
    '_xsrf': xsrf_token,
    'email': input('请输入用户名：'),
    'password': getpass.getpass(prompt="请输入密码："),#input('请输入密码：'),
    'remeber_me': 'true',
    'captcha': checkcode
}
response = session.post(loginurl, data=payload)
print("*"*100)

result = response.text
print("登录消息为："+result)
tempurl = 'https://www.zhihu.com/question/57964452/answer/155231804'
tempresponse = session.get(tempurl, headers=headers)
soup = BeautifulSoup(tempresponse.text, 'html.parser')
print(soup.title)

实现的效果如下

模拟登录知乎效果

观察动态图，不难发现对于https://www.zhihu.com/question/57964452/answer/155231804

界面，我们正确的获取到了title的内容。（也许你会说，正常访问也会获取到这个内容的，但是我们是从已登录的session上获取的，请记住这一点哈。）。

更新版知乎模拟登陆

代码部分

# coding: utf8

# @Author: 郭 璞
# @File: MyZhiHuLogin.py                                                                 
# @Time: 2017/4/8                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 我的模拟登录知乎

import requests
from bs4 import BeautifulSoup
import os, time
import re
# import http.cookiejar as cookielib

# 构造 Request headers
agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
headers = {
    "Host": "www.zhihu.com",
    "Referer": "https://www.zhihu.com/",
    'User-Agent': agent
}

######### 构造用于网络请求的session
session = requests.Session()
# session.cookies = cookielib.LWPCookieJar(filename='zhihucookie')
# try:
#     session.cookies.load(ignore_discard=True)
# except:
#     print('cookie 文件未能加载')

############ 获取xsrf_token
homeurl = 'https://www.zhihu.com'
homeresponse = session.get(url=homeurl, headers=headers)
homesoup = BeautifulSoup(homeresponse.text, 'html.parser')
xsrfinput = homesoup.find('input', {'name': '_xsrf'})
xsrf_token = xsrfinput['value']
print("获取到的xsrf_token为： ", xsrf_token)

########## 获取验证码文件
randomtime = str(int(time.time() * 1000))
captchaurl = 'https://www.zhihu.com/captcha.gif?r='+\
             randomtime+"&type=login"
captcharesponse = session.get(url=captchaurl, headers=headers)
with open('checkcode.gif', 'wb') as f:
    f.write(captcharesponse.content)
    f.close()
# os.startfile('checkcode.gif')
captcha = input('请输入验证码：')
print(captcha)

########### 开始登陆
headers['X-Xsrftoken'] = xsrf_token
headers['X-Requested-With'] = 'XMLHttpRequest'
loginurl = 'https://www.zhihu.com/login/email'
postdata = {
    '_xsrf': xsrf_token,
    'email': '邮箱@qq.com',
    'password': '密码'
}
loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
print('服务器端返回响应码：', loginresponse.status_code)
print(loginresponse.json())
# 验证码问题输入导致失败: 猜测这个问题是由于session中对于验证码的请求过期导致
if loginresponse.json()['r']==1:
    # 重新输入验证码，再次运行代码则正常。也就是说可以再第一次不输入验证码，或者输入一个错误的验证码，只有第二次才是有效的
    randomtime = str(int(time.time() * 1000))
    captchaurl = 'https://www.zhihu.com/captcha.gif?r=' + \
                 randomtime + "&type=login"
    captcharesponse = session.get(url=captchaurl, headers=headers)
    with open('checkcode.gif', 'wb') as f:
        f.write(captcharesponse.content)
        f.close()
    os.startfile('checkcode.gif')
    captcha = input('请输入验证码：')
    print(captcha)

    postdata['captcha'] = captcha
    loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
    print('服务器端返回响应码：', loginresponse.status_code)
    print(loginresponse.json())




##########################保存登陆后的cookie信息
# session.cookies.save()
############################判断是否登录成功
profileurl = 'https://www.zhihu.com/settings/profile'
profileresponse = session.get(url=profileurl, headers=headers)
print('profile页面响应码：', profileresponse.status_code)
profilesoup = BeautifulSoup(profileresponse.text, 'html.parser')
div = profilesoup.find('div', {'id': 'rename-section'})
print(div)

验证效果

更新版知乎模拟登陆

总结

经过了今天的测试，发现自己之前对于网页的处理理解的还是不够到位。

  • 对于“静态页面”，常用的urllib, requests应该是可以满足需要的了。

  • 对于动态页面的爬取，可以使用无头浏览器PhantomJS，Selenium等来实现。

但是一直处理的不够精简，导致在爬一些重定向页面的过程中出现了很多意想不到的问题。

在这块的爬虫程序还有很多地方需要进行完善啊。

另外模拟登录还有一个利器，那就是cookie。下次有时间的话再来学习一下使用cookie来实现。今天就先到这里吧。

参考链接：
http://blog.csdn.net/shell_zero/article/details/50783078

文章标签：
Python
Web App开发
数据采集
数据安全/隐私保护
PHP
前端开发
iOS开发
Android开发
Windows
数据格式
关键词：
Python模拟登录
Python模拟
郭璞
目录
相关文章
咸鱼学Python
|
8月前
|
数据安全/隐私保护 Python
Python | Scrapy + Selenium模拟登录CSDN
Python | Scrapy + Selenium模拟登录CSDN
咸鱼学Python
94 0
strongnine
|
Python
Python：利用蒙特卡洛方法模拟验证概率分布
这个题目可以使用数学方法，将其答案显式地写出来，但是验证解出来的答案是否正确，就可以使用蒙特卡洛方法了。
strongnine
356 0
Python：利用蒙特卡洛方法模拟验证概率分布
游客rigajubvzf2hs
|
Python
python--模拟掷骰子游戏
通过python模拟掷骰子的游戏
游客rigajubvzf2hs
290 0
python--模拟掷骰子游戏
柠檬叶子C
|
算法 安全 PHP
【高级软件实习】蒙特卡洛模拟 | PRNG 伪随机数发生器 | LCG 线性同余算法 | 马特赛特旋转算法 | Python Random 模块
本篇博客将介绍经典的伪随机数生成算法，我们将 重点讲解 LCG(线性同余发生器) 算法与马特赛特旋转算法，在此基础上顺带介绍 Python 的 random 模块。 本篇博客还带有练习，无聊到喷水的练习，咳咳…… 学完前面的内容你就会了解到 Python 的 Random 模块的随机数生成的实现，是基于马特赛特旋转算法的，比如 random_uniform 函数。而本篇博客提供的练习会让你实现一个基于 LCG 算法的random_uniform，个人认为还是比较有意思的
柠檬叶子C
467 0
【高级软件实习】蒙特卡洛模拟 | PRNG 伪随机数发生器 | LCG 线性同余算法 | 马特赛特旋转算法 | Python Random 模块
月同学不写Bug
|
Python
python实操案例__02—利用prettytable库模拟高铁售票系统
PrettyTable 是python中的一个第三方库，可用来生成美观的ASCII格式的表格，本实操案例用此库完成。
月同学不写Bug
337 0
皮卡丘敲级可爱
|
算法 测试技术 Python
第十四届蓝桥杯第一期模拟赛 python
第十四届蓝桥杯第一期模拟赛 python
皮卡丘敲级可爱
304 0
第十四届蓝桥杯第一期模拟赛 python
皮卡丘敲级可爱
|
Go Python
CSP 202006-2 稀疏矩阵 python 模拟
CSP 202006-2 稀疏矩阵 python 模拟
皮卡丘敲级可爱
64 0
CSP 202006-2 稀疏矩阵 python 模拟
皮卡丘敲级可爱
|
机器学习/深度学习 测试技术 Python
蓝桥杯python第二期模拟赛 python 题解
蓝桥杯python第二期模拟赛 python 题解
皮卡丘敲级可爱
620 0
蓝桥杯python第二期模拟赛 python 题解
皮卡丘敲级可爱
|
人工智能 算法 测试技术
蓝桥杯python第三期模拟赛 python题解
蓝桥杯python第三期模拟赛 python题解
皮卡丘敲级可爱
260 0
酷尔。
|
Python
【Python 百练成钢】灯光模拟
【Python 百练成钢】灯光模拟
酷尔。
89 0
【Python 百练成钢】灯光模拟

热门文章

最新文章

  • 1
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
  • 2
    使用Python实现DBSCAN聚类算法
  • 3
    在Python Web开发过程中：数据库与缓存，MySQL和NoSQL数据库的主要差异是什么？
  • 4
    Pandas基本操作：Series和DataFrame（Python）
  • 5
    【Python】python天气数据抓取与数据分析（源码+论文）【独一无二】
  • 6
    Python 学习之路 01基础入门---【Python安装，Python程序基本组成】
  • 7
    流畅的 Python 第二版（GPT 重译）（十一）(1)
  • 8
    流畅的 Python 第二版（GPT 重译）（一）(1)
  • 9
    Python速成篇（基础语法）上
  • 10
    Python函数使用(四)
  • 1
    PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-2
    20
  • 2
    Python笔记相关（下）
    29
  • 3
    Python笔记相关（上）
    26
  • 4
    Python自动化测试面试：unittest、pytest与Selenium详解
    13
  • 5
    Python爬虫面试：requests、BeautifulSoup与Scrapy详解
    11
  • 6
    python的Web自动化测试
    11
  • 7
    python集成测试
    9
  • 8
    如何使用Python的Pandas库进行数据排序和排名
    13
  • 9
    请解释Python中的关联规则挖掘以及如何使用Sklearn库实现它。
    25
  • 10
    如何使用Python的Pandas库进行数据缺失值处理？
    32

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 使用Python完成RDS数据开发及分析
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）