利用Selenium控制网页内嵌滚动条

简介: 在利用Selenium写网页爬虫的时候,我们会经常碰到网页内嵌滚动条,如下网页: 那么该如何控制该内嵌滚动条的行为呢?我们的主要思路是:先找到滚动条,再利用Selenium中的命令:ActionChains(browser).drag_and_drop_by_offset(element, xOffset, yOffset).perform()找到元素element,设置好里面的xOffset和yOffset,这样便能够控制滚动条的上下移动了。

在利用Selenium写网页爬虫的时候,我们会经常碰到网页内嵌滚动条,如下网页:
新浪微盘 周杰伦歌曲合集

那么该如何控制该内嵌滚动条的行为呢?我们的主要思路是:先找到滚动条,再利用Selenium中的命令:ActionChains(browser).drag_and_drop_by_offset(element, xOffset, yOffset).perform()

找到元素element,设置好里面的xOffset和yOffset,这样便能够控制滚动条的上下移动了。
笔者写了这样一段Python程序代码以展示如何控制网页内嵌滚动条:

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

browser = webdriver.Chrome() #加载Chrome浏览器
browser.maximize_window() #最大化
browser.get('http://vdisk.weibo.com/s/arjVBmagFKiLy') #加载该页面
for i in range(10):
    Drag = browser.find_element_by_class_name("jspDrag") #找到滚动条
    #控制滚动条的行为,每次向y轴(及向下)移动10个单位
    ActionChains(browser).drag_and_drop_by_offset(Drag, 0, 10).perform()
    time.sleep(2) #休眠2秒

当我们能够控制网页内嵌滚动条的行为时,我们就能够进行一些更为有趣的操作了,期待下一篇分享^O^.

目录
相关文章
|
7月前
|
存储 搜索推荐 数据挖掘
使用selenium库模拟浏览器行为,获取网页的cookie值
使用selenium库模拟浏览器行为,获取网页的cookie值
|
7月前
|
搜索推荐 API 数据安全/隐私保护
使用Selenium进行网页登录和会话管理
使用Selenium进行网页登录和会话管理
|
JavaScript
【selenium】下拉滚动条
简介:【selenium】下拉滚动条
【selenium】下拉滚动条
|
8月前
|
XML 数据采集 JSON
scrapy_selenium爬取Ajax、JSON、XML网页:豆瓣电影
在网络爬虫的开发过程中,我们经常会遇到一些动态加载的网页,它们的数据不是直接嵌入在HTML中,而是通过Ajax、JSON、XML等方式异步获取的。这些网页对于传统的scrapy爬虫来说,是很难直接解析的。那么,我们该如何使用scrapy_selenium来爬取这些数据格式的网页呢?本文将为你介绍scrapy_selenium的基本原理和使用方法,并给出一个实际的案例。
|
5月前
|
监控 数据挖掘 Java
Scala中使用Selenium进行网页内容摘录的详解
Scala中使用Selenium进行网页内容摘录的详解
|
8月前
|
Web App开发 JavaScript
selenium--浏览器滚动条操作
selenium--浏览器滚动条操作
|
9月前
|
数据采集 前端开发 JavaScript
解析网页弹窗验证机制及应对策略的Selenium爬虫案例
解析网页弹窗验证机制及应对策略的Selenium爬虫案例
|
10月前
|
数据采集 C#
使用c#和selenium获取网页
selenium 和 c# 的应用之一是创建一个网络爬虫,它可以从网页中抓取数据进行分析。网络爬虫是一种访问网页并从中提取信息的程序。 Selenium 是一个框架,它允许我们自动执行浏览器操作,例如单击、键入或导航。 C# 是一种编程语言,可用于编写网络爬虫的逻辑和功能。
104 0
|
Web App开发 数据采集 测试技术
如何隐藏Selenium特征实现自动化网页采集
Selenium是一个流行的自动化网页测试工具,可以通过模拟用户在Chrome浏览器中的操作来完成网站的测试。然而,有些网站会检测浏览器是否由Selenium驱动,如果是,就会返回错误的结果或拒绝访问。为了避免这种情况,我们需要隐藏Selenium的特征,让网站认为我们是正常的用户。
564 0
如何隐藏Selenium特征实现自动化网页采集
python+selenium 通过添加cookies或token解决网页上验证码登录问题
cookie或token可以保存登录信息,当我们拿到cookie后,可以通过向浏览器发送cookie中记录的数据,直接变成登录状态,不需要再登录。
1870 0

热门文章

最新文章