备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

[爬虫+数据分析] 分析北京Python开发的现状

2018-10-18 2947
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
爬虫的第一步自然是从分析请求和网页源代码开始。从网页源代码中我们并不能找到发布的招聘信息。但是在请求中我们看到这样一条POST请求

如下图我们可以得知

url：https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false

请求方式：post

result：为发布的招聘信息

totalCount：为招聘信息的条数


615878ac8f8dbfec7cf6611d0676b5b8a644c6fe

通过实践发现除了必须携带headers之外，拉勾网对ip访问频率也是有限制的。一开始会提示 '访问过于频繁'，继续访问则会将ip拉入黑名单。不过一段时间之后会自动从黑名单中移除。

针对这个策略，我们可以对请求频率进行限制，这个弊端就是影响爬虫效率。

其次我们还可以通过代理ip来进行爬虫。网上可以找到免费的代理ip，但大都不太稳定。付费的价格又不太实惠。

具体就看大家如何选择了

1思路

通过分析请求我们发现每页返回15条数据，totalCount又告诉了我们该职位信息的总条数。

向上取整就可以获取到总页数。然后将所得数据保存到csv文件中。这样我们就获得了数据分析的数据源！

post请求的Form Data传了三个参数

first ： 是否首页(并没有什么用)

pn：页码

kd：搜索关键字

2no bb， show code 
# 获取请求结果
# kind 搜索关键字
# page 页码 默认是1
def get_json(kind, page=1,):
# post请求参数

param = {
'first': 'true',
'pn': page,
'kd': kind

}

header = {
'Host': 'www.lagou.com',
'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}
# 设置代理

proxies = [

{'http': '140.143.96.216:80', 'https': '140.143.96.216:80'},

{'http': '119.27.177.169:80', 'https': '119.27.177.169:80'},

{'http': '221.7.255.168:8080', 'https': '221.7.255.168:8080'}

]
# 请求的url

url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false'
# 使用代理访问
# response = requests.post(url, headers=header, data=param, proxies=random.choices(proxies))

response = requests.post(url, headers=header, data=param, proxies=proxies)

response.encoding = 'utf-8'
if response.status_code == 200:

response = response.json()
# 请求响应中的positionResult 包括查询总数 以及该页的招聘信息(公司名、地址、薪资、福利待遇等...)
return response['content']['positionResult']
return None

接下来我们只需要每次翻页之后调用 get_json 获得请求的结果 再遍历取出需要的招聘信息即可

if __name__ == '__main__':
# 默认先查询第一页的数据

kind = 'python'
# 请求一次 获取总条数

position_result = get_json(kind=kind)
# 总条数

total = position_result['totalCount']

print('{}开发职位，招聘信息总共{}条.....'.format(kind, total))
# 每页15条 向上取整 算出总页数

page_total = math.ceil(total/15)

# 所有查询结果

search_job_result = []
#for i in range(1, total + 1)
# 为了节约效率 只爬去前100页的数据
for i in range(1, 100):

position_result = get_json(kind=kind, page= i)
# 每次抓取完成后,暂停一会,防止被服务器拉黑

time.sleep(15)
# 当前页的招聘信息

page_python_job = []
for j in position_result['result']:

python_job = []
# 公司全名

python_job.append(j['companyFullName'])
# 公司简称

python_job.append(j['companyShortName'])
# 公司规模

python_job.append(j['companySize'])
# 融资

python_job.append(j['financeStage'])
# 所属区域

python_job.append(j['district'])
# 职称

python_job.append(j['positionName'])
# 要求工作年限

python_job.append(j['workYear'])
# 招聘学历

python_job.append(j['education'])
# 薪资范围

python_job.append(j['salary'])
# 福利待遇

python_job.append(j['positionAdvantage'])


page_python_job.append(python_job)

# 放入所有的列表中

search_job_result += page_python_job

print('第{}页数据爬取完毕, 目前职位总数:{}'.format(i, len(search_job_result)))
# 每次抓取完成后,暂停一会,防止被服务器拉黑

time.sleep(15)

ok！ 数据我们已经获取到了，最后一步我们需要将数据保存下来

 # 将总数据转化为data frame再输出

df = pd.DataFrame(data=search_job_result,

columns=['公司全名', '公司简称', '公司规模', '融资阶段', '区域', '职位名称', '工作经验', '学历要求', '工资', '职位福利'])

df.to_csv('lagou.csv', index=False, encoding='utf-8_sig')

运行main方法直接上结果：


780ac37a1ae45f795d7cc8ba38555c1153a89f8a
数据分析

通过分析cvs文件，为了方便我们统计，我们需要对数据进行清洗

比如剔除实习岗位的招聘、工作年限无要求或者应届生的当做 0年处理、薪资范围需要计算出一个大概的值、学历无要求的当成大专

# 读取数据 

df = pd.read_csv('lagou.csv', encoding='utf-8')
# 数据清洗,剔除实习岗位 

df.drop(df[df['职位名称'].str.contains('实习')].index, inplace=True) 
# print(df.describe())
# 由于CSV文件内的数据是字符串形式,先用正则表达式将字符串转化为列表,再取区间的均值 

pattern = '\d+' 

df['work_year'] = df['工作经验'].str.findall(pattern)
# 数据处理后的工作年限

avg_work_year = []
# 工作年限
for i in df['work_year']:
# 如果工作经验为'不限'或'应届毕业生',那么匹配值为空,工作年限为0 
if len(i) == 0: 

avg_work_year.append(0) 
# 如果匹配值为一个数值,那么返回该数值 
elif len(i) == 1: 

avg_work_year.append(int(''.join(i))) 
# 如果匹配值为一个区间,那么取平均值 
else: 

num_list = [int(j) for j in i] 

avg_year = sum(num_list)/2 

avg_work_year.append(avg_year)

df['工作经验'] = avg_work_year

# 将字符串转化为列表,再取区间的前25%，比较贴近现实 

df['salary'] = df['工资'].str.findall(pattern)
# 月薪

avg_salary = [] 
for k in df['salary']: 

int_list = [int(n) for n in k] 

avg_wage = int_list[0]+(int_list[1]-int_list[0])/4 

avg_salary.append(avg_wage)

df['月工资'] = avg_salary

# 将学历不限的职位要求认定为最低学历:大专\

df['学历要求'] = df['学历要求'].replace('不限','大专')

数据通过简单的清洗之后，下面开始我们的统计

1绘制薪资直方图 
# 绘制频率直方图并保存 

plt.hist(df['月工资'])

plt.xlabel('工资 (千元)') 

plt.ylabel('频数')

plt.title("工资直方图") 

plt.savefig('薪资.jpg') 

plt.show()

6c1b1541aafeb86c08769e42cc29ca012aefeb09

结论：北京市Python开发的薪资大部分处于15~25k之间

2公司分布饼状图 
# 绘制饼图并保存 

count = df['区域'].value_counts()

plt.pie(count, labels = count.keys(),labeldistance=1.4,autopct='%2.1f%%') 

plt.axis('equal') # 使饼图为正圆形 

plt.legend(loc='upper left', bbox_to_anchor=(-0.1, 1)) 

plt.savefig('pie_chart.jpg') 

plt.show()
8f73b18cbf4697aab28061f4736ff854701b960d

结论：Python开发的公司最多的是海淀区、其次是朝阳区。准备去北京工作的小伙伴大概知道去哪租房了吧

3学历要求直方图 
# {'本科': 1304, '大专': 94, '硕士': 57, '博士': 1}

dict = {}
for i in df['学历要求']:
if i not in dict.keys():

dict[i] = 0
else:

dict[i] += 1

index = list(dict.keys())

print(index)

num = []
for i in index:

num.append(dict[i])

print(num)

plt.bar(left=index, height=num, width=0.5)

plt.show()

4f2d704cd32ffd36de50601a0201df21fdfb973d

结论：在Python招聘中，大部分公司要求是本科学历以上。但是学历只是个敲门砖，如果努力提升自己的技术，这些都不是事儿

4福利待遇词云图 
# 绘制词云,将职位福利中的字符串汇总 

text = '' 
for line in df['职位福利']: 

text += line 
# 使用jieba模块将字符串分割为单词列表

cut_text = ' '.join(jieba.cut(text))
#color_mask = imread('cloud.jpg') #设置背景图

cloud = WordCloud(

background_color = 'white',
# 对中文操作必须指明字体

font_path='yahei.ttf',
#mask = color_mask,

max_words = 1000,

max_font_size = 100

).generate(cut_text)

# 保存词云图片

cloud.to_file('word_cloud.jpg')

plt.imshow(cloud)

plt.axis('off')

plt.show()

d2a1a49712a5e52a06dd489c00b63e1cc6616ea0

结论：弹性工作是大部分公司的福利，其次五险一金少数公司也会提供六险一金。团队氛围、扁平化管理也是很重要的一方面。

至此，此次分析到此结束。有需要的同学也可以查一下其他岗位或者地区的招聘信息哦~

希望能够帮助大家定位自己的发展和职业规划。


原文发布时间为： 2018-10-18
本文作者： 程序员共成长
本文来自云栖社区合作伙伴“ 程序员共成长”，了解相关信息可以关注“ 程序员共成长”。

文章标签：
Python
程序员
数据采集
数据挖掘
iOS开发
数据处理
MacOS
Web App开发
关键词：
Python数据
Python数据分析
数据分析python
Python开发
爬虫python
技术小能手
目录
相关文章
4as3qn2go3ure
|
4天前
|
机器学习/深度学习 算法 数据挖掘
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-2
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
4as3qn2go3ure
28 1
桃李春风一杯酒
|
2天前
|
数据采集 数据可视化 数据挖掘
R语言与Python：比较两种数据分析工具
【4月更文挑战第25天】R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较，包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面，以帮助读者更好地了解和选择适合自己的数据分析工具。
桃李春风一杯酒
12 1
4as3qn2go3ure
|
3天前
|
机器学习/深度学习 算法 vr&ar
PYTHON用时变马尔可夫区制转换（MARKOV REGIME SWITCHING）自回归模型分析经济时间序列
PYTHON用时变马尔可夫区制转换（MARKOV REGIME SWITCHING）自回归模型分析经济时间序列
4as3qn2go3ure
15 4
4as3qn2go3ure
|
3天前
|
机器学习/深度学习 算法 Python
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户
4as3qn2go3ure
23 4
4as3qn2go3ure
|
3天前
|
API vr&ar Python
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列（上）
Python 用ARIMA、GARCH模型预测分析股票市场收益率时间序列
4as3qn2go3ure
30 5
长梦
|
4天前
|
数据采集 存储 JSON
Python爬虫面试：requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests，强调了异常处理、代理设置和请求重试；BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化；而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码，帮助读者深化理解并提升面试表现。
长梦
13 0
1941623231718325
|
8天前
|
数据采集 JavaScript 前端开发
使用Python打造爬虫程序之破茧而出：Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外，还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略，同时遵守规则和法律法规，确保爬虫的稳定性和合法性。
1941623231718325
15 1
小Lee
|
8天前
|
机器学习/深度学习 数据挖掘 计算机视觉
python数据分析工具SciPy
【4月更文挑战第15天】SciPy是Python的开源库，用于数学、科学和工程计算，基于NumPy扩展了优化、线性代数、积分、插值、特殊函数、信号处理、图像处理和常微分方程求解等功能。它包含优化、线性代数、积分、信号和图像处理等多个模块。通过SciPy，可以方便地执行各种科学计算任务。例如，计算高斯分布的PDF，需要结合NumPy使用。要安装SciPy，可以使用`pip install scipy`命令。这个库极大地丰富了Python在科学计算领域的应用。
小Lee
12 1
小Lee
|
9天前
|
数据可视化 数据挖掘 Python
Python中数据分析工具Matplotlib
【4月更文挑战第14天】Matplotlib是Python的数据可视化库，能生成多种图表，如折线图、柱状图等。以下是一个绘制简单折线图的代码示例： ```python import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] plt.figure() plt.plot(x, y) plt.title('简单折线图') plt.xlabel('X轴') plt.ylabel('Y轴') plt.show() ```
小Lee
13 1
小Lee
|
9天前
|
数据采集 SQL 数据可视化
Python数据分析工具Pandas
【4月更文挑战第14天】Pandas是Python的数据分析库，提供Series和DataFrame数据结构，用于高效处理标记数据。它支持从多种数据源加载数据，包括CSV、Excel和SQL。功能包括数据清洗（处理缺失值、异常值）、数据操作（切片、过滤、分组）、时间序列分析及与Matplotlib等库集成进行数据可视化。其高性能底层基于NumPy，适合大型数据集处理。通过加载数据、清洗、分析和可视化，Pandas简化了数据分析流程。广泛的学习资源使其成为数据分析初学者的理想选择。
小Lee
15 1

热门文章

最新文章

  • 1
    网络爬虫与数据采集：使用Python自动化获取网页数据
  • 2
    Rust高级爬虫：如何利用Rust抓取精美图片
  • 3
    掌握 C# 爬虫技术：使用 HttpClient 获取今日头条内容
  • 4
    python并发编程:Python实现生产者消费者爬虫
  • 5
    畅游网络：构建C++网络爬虫的指南
  • 6
    【python】爬虫-西安医学院-校长信箱
  • 7
    简单描述一下爬虫的工作原理。
  • 8
    Python爬虫如何快速入门
  • 9
    大模型与数据分析：探索Text-to-SQL（上）
  • 10
    【python】Python大豆特征数据分析 [机器学习版一]（代码+论文）【独一无二】
  • 1
    Python中的装饰器：概念、用法和实例
    19
  • 2
    Python中的装饰器：概念、用法及实例
    18
  • 3
    使用Python实现图像处理中的边缘检测算法
    47
  • 4
    Python中如何实现字符串反转？请提供至少两种方法。
    19
  • 5
    在Python中，如何创建一个迭代器？
    21
  • 6
    请解释Python中的迭代器和生成器的区别？并分别举例说明。
    20
  • 7
    在Python中，如何使用装饰器重写类的方法？
    23
  • 8
    Python中的装饰器：概念、用法及实例
    19
  • 9
    Python中的装饰器：概念、应用与实例
    17
  • 10
    Python中的装饰器：概念、用法和实例
    20

    • 相关课程

    更多
  • Python语言基础 - 语法入门
  • Python爬虫实战
  • 深入理解数据分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析
  • Python网络爬虫实战

    • 相关电子书

    更多
  • Python第五讲——关于爬虫如何做js逆向的思路
  • Python 系列直播——深入Python与日志服务，玩转大规模数据分析处理实战第二讲
  • Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化

    • 相关实验场景

    更多
  • 数据库实验室挑战任务-初级任务
  • 搭建简易多人在线视频会议系统
  • 自然语言入门：NLP数据读取与数据分析
  • Python新手入门
  • Python入门
  • 库仓一体实时数据分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）