Python网络爬虫之爬取百思不得姐视频并保存至文件

简介: 项目说明使用Python写网络爬虫之爬取百思不得姐视频并保存至文件示例使用工具Python2.7.X、pycharm使用方法在pycharm中创建一个爬取百思不得姐视频.

项目说明

使用Python写网络爬虫之爬取百思不得姐视频并保存至文件示例

使用工具

Python2.7.X、pycharm

使用方法

在pycharm中创建一个爬取百思不得姐视频.py文件,并在当前目录下创建video文件夹来存放抓取的视频文件,撰写代码,运行代码,查看运行结果

操作原理

1.首先先了解正则表达式的使用方法,见:正则表达式

2.找到百思不得姐的视频主页URL:http://www.budejie.com/video/

通过火狐浏览器的fire bug工具分析,可以看出来,链接中class=j-r-list-c里就存在有对应的视频名称和视频链接;

然后,右击查看页面源码:

img_4b446bbb4d54079ccc09b16dc0d202bb.png
页面源码

下图为视频链接地址

img_f44d19269753b6a730d11ddd260512a2.png
视频链接地址

程序代码:

img_9297d62f7416b00e4c37679730646bc6.png
程序代码

运行结果:

img_e0cd28ce2f945d8831e5aa6707b43c50.png
运行结果

可以看到,运行程序后在video文件夹中已经存放有爬取的视频名称和链接。

目录
相关文章
|
7天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
11天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
【python】爬虫-西安医学院-校长信箱
|
17天前
|
Python
【python】python跨文件使用全局变量
【python】python跨文件使用全局变量
|
17天前
|
数据采集 安全 Python
python并发编程:Python实现生产者消费者爬虫
python并发编程:Python实现生产者消费者爬虫
24 0
python并发编程:Python实现生产者消费者爬虫
|
1天前
|
数据挖掘 索引 Python
Python 读写 Excel 文件
Python 读写 Excel 文件
6 0
|
12天前
|
数据采集 存储 前端开发
Python爬虫如何快速入门
写了几篇网络爬虫的博文后,有网友留言问Python爬虫如何入门?今天就来了解一下什么是爬虫,如何快速的上手Python爬虫。
17 0
|
17天前
|
C++ Python
【C++/Python】C++调用python文件
【C++/Python】C++调用python文件
|
17天前
|
JSON 数据处理 数据格式
Python中的文件读写操作详解
【4月更文挑战第2天】在Python中,文件读写操作是数据处理和程序开发的重要部分。通过文件,我们可以将信息持久化地保存在磁盘上,并在需要时读取和使用这些数据。Python提供了丰富的内置函数和模块,使得文件读写变得简单而高效。本文将详细介绍Python中文件读写的基本操作和常用方法。
|
23天前
|
数据采集 XML 程序员
揭秘YouTube视频世界:利用Python和Beautiful Soup的独特技术
本文介绍了如何使用Python和Beautiful Soup库抓取YouTube视频数据,包括标题、观看次数和点赞、踩的数量。通过亿牛云爬虫代理IP服务避免被网站屏蔽,提供代理服务器配置和请求头设置示例。代码可能需根据YouTube页面更新进行调整。
揭秘YouTube视频世界:利用Python和Beautiful Soup的独特技术
|
25天前
|
数据采集 存储 Web App开发
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧

热门文章

最新文章