Python爬虫框架之Selenium库入门:用Python实现网页自动化测试详解

f84f55b244044817a84be4552036dabe.png


 概要

是否还在为网页测试而烦恼?是否还在为重复的点击、等待而劳累?试试强大的Selenium!让你的网页自动化测试变得轻松有趣!

 

一、Selenium库到底是什么?

Selenium 是一个强大的自动化测试工具,它可以让你直接操控浏览器,完成各种与网页交互的任务。通过使用 Python 的 Selenium 库,你可以高效地实现网页自动化测试,从而节省大量时间和精力。

1.1 Selenium库的主要功能

  • 自动化测试:可以实现对网站的自动化功能测试,比如点击按钮、输入文本、选择下拉菜单等。

  • 网页爬虫:对于一些需要登录或者有反爬机制的网站,使用 Selenium 可以轻松应对。

  • 自动化任务:如定时访问网站、自动提交表单等。

1.2 Selenium库的优势

  1. 支持多种编程语言:Python、Java、C#、Ruby 等。

  2. 支持多种浏览器:Chrome、Firefox、Edge、Safari 等。

  3. 跨平台:Windows、macOS、Linux。

  4. 社区活跃,持续更新维护。

二、Selenium库的安装与配置

2.1 安装Selenium库

在安装 Selenium 库之前,请确保已经安装了 Python。接下来,只需打开终端或命令提示符,输入以下命令即可安装 Selenium 库:

pip install selenium

2.2 配置浏览器驱动

要使用 Selenium 控制浏览器,你还需要安装对应浏览器的驱动。这里以 Chrome 浏览器为例,其他浏览器驱动的安装方法类似。

  1. 下载 Chrome 驱动:搜 ChromeDriver 在下载页面选择与你的 Chrome 浏览器版本匹配的驱动。

  2. 解压下载的压缩包,将解压后的 chromedriver 文件放置在一个可执行路径下,如 /usr/local/bin(macOS、Linux)或 C:\Windows(Windows)。

三、使用Selenium库进行基本操作

3.1 启动浏览器

导入 Selenium 的 webdriver 模块,然后实例化一个 Chrome 驱动对象,就可以启动 Chrome 浏览器了:

from selenium import webdriverdriver = webdriver.Chrome()

3.2 打开网页

使用 get 方法,传入目标网址,即可让浏览器打开该网址:

driver.get("https://www.baidu.com")

3.3 定位页面元素

Selenium 提供了多种定位页面元素的方法,如 find_element_by_idfind_element_by_namefind_element_by_class_name 等。这里以百度搜索框为例,使用 find_element_by_id 方法定位:

search_box = driver.find_element_by_id("kw")

3.4 操作页面元素

找到页面元素后,你可以对其进行各种操作,如输入文本、点击按钮等。这里以输入搜索关键词为例:

search_box.send_keys("Selenium")

3.5 提交表单

在搜索框输入关键词后,还需要点击“百度一下”按钮来提交表单。这里用 find_element_by_id 方法定位按钮,然后用 click 方法进行点击:

search_button = driver.find_element_by_id("su")
search_button.click()

3.6 等待页面加载

在进行自动化测试时,很多时候需要等待页面加载。Selenium 提供了两种等待方法:显式等待和隐式等待。

3.6.1 显式等待

显式等待会在指定时间内,不断尝试查找目标元素,直到找到为止。这里以等待搜索结果出现为例:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECtry:element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "content_left")))
except TimeoutException:print("等待超时!")

3.6.2 隐式等待

隐式等待会在查找元素时,等待指定时间后再抛出异常。这里以等待搜索结果出现为例:

driver.implicitly_wait(10)
content_left = driver.find_element_by_id("content_left")

3.7 获取页面信息

获取页面的标题、URL、源代码等信息:

title = driver.title
url = driver.current_url
source = driver.page_sourceprint("标题:", title)
print("URL:", url)

3.8 关闭浏览器

完成所有操作后,别忘了关闭浏览器:

driver.quit()

四、Selenium库的高级应用

4.1 切换窗口

在进行自动化测试时,有时需要切换到新打开的窗口。这里以点击百度首页底部的 “关于百度” 链接为例,演示如何切换窗口:

from selenium.webdriver.common.keys import Keysabout_link = driver.find_element_by_link_text("关于百度")
about_link.send_keys(Keys.CONTROL + Keys.RETURN)driver.switch_to.window(driver.window_handles[-1])

4.2 切换 Frame

有些网页会使用 Frame 嵌套页面,这时需要切换到对应的 Frame 才能操作其中的元素。切换 Frame 可以用 switch_to.frame 方法:

driver.switch_to.frame("frame_name")

切换回主页面可以用 switch_to.default_content 方法:

driver.switch_to.default_content()

4.3 执行 JavaScript 代码

有时候,你可能需要执行一些 JavaScript 代码来实现特定功能,比如滚动页面、修改元素属性等。这里以滚动页面为例:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

五、技术总结

通过本文的介绍,相信你已经掌握了 Selenium 库的基本知识,包括自动化测试、浏览器驱动、页面交互等。现在,你可以用 Python + Selenium 轻松搞定网页自动化测试啦!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/108498.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端学习记录~2023.8.10~JavaScript重难点实例精讲~第6章 Ajax

第 6 章 Ajax 前言6.1 Ajax的基本原理及执行过程6.1.1 XMLHttpRequest对象(1)XMLHttpRequest对象的函数(2)XMLHttpRequest对象的属性 6.1.2 XMLHttpRequest对象生命周期(1)创建XMLHttpRequest对象&#xff…

Scikit-Learn中的特征选择和特征提取详解

概要 机器学习在现代技术中扮演着越来越重要的角色。不论是在商业界还是科学领域,机器学习都被广泛地应用。在机器学习的过程中,我们需要从原始数据中提取出有用的特征,以便训练出好的模型。但是,如何选择最佳的特征是一个关键问…

RK3399平台开发系列讲解(存储篇)Linux 存储系统的 I/O 栈

平台内核版本安卓版本RK3399Linux4.4Android7.1🚀返回专栏总目录 文章目录 一、Linux 存储系统全景二、Linux 存储系统的缓存沉淀、分享、成长,让自己和他人都能有所收获!😄 📢本篇将介绍 Linux 存储系统的 I/O 原理。 一、Linux 存储系统全景 我们可以把 Linux 存储系…

opencv的haarcascade_frontalface_default.xml等文件

文章目录 GitHub下载在安装好的OpenCV文件夹下寻找opencv-python中获取 GitHub下载 下载地址:https://github.com/opencv/opencv/tree/master/data/haarcascades 在安装好的OpenCV文件夹下寻找 路径如下: 你安装的opencv路径\OpenCV\opencv\build\et…

基于飞腾芯片的设计与调试入门指导

一、啥是自主可控 国产CPU现在厂家细算起来其实有很多,现在华为、小米也在做自己的CPU,瑞芯微、全志等的SoC现在也是广泛应用。但是真正能叫做自主可控的CPU厂商,只有6家。那啥是自主可控?首先来不严谨的讲下现在数字芯片是怎么做的设计。FPGA大家都知道,可以通过Verilog…

Matlab 使用经验分享(常用函数介绍;矩阵常见计算)

Matlab 使用经验分享 大家好!最近有很多朋友询问我关于 Matlab 的使用,于是我决定写一篇博客来分享一下我的经验。对于数学和编程爱好者来说,Matlab 是一个非常有用的工具。我自己在数学实验和数学建模竞赛中也经常使用它。那么,…

【JavaEE】面向切面编程AOP是什么-Spring AOP框架的基本使用

【JavaEE】 AOP(1) 文章目录 【JavaEE】AOP(1)1. Spring AOP 是什么1.1 AOP 与 Spring AOP1.2 没有AOP的世界是怎样的1.3 AOP是什么 2. Spring AOP 框架的学习2.1 AOP的组成2.1.1 Aspect 切面2.1.2 Pointcut 切点2.1.3 Advice 通知…

【广州华锐互动】VR高校虚拟实验教学平台提供丰富的资源支持,提高教学效果

随着科技的不断进步,虚拟现实(VR)技术已经逐渐渗透到各个领域,其中包括教育。 广州华锐互动利用VR虚拟现实技术打造的VR高校虚拟实验教学平台,是一种新型的教学工具,它提供了一个在线的教学资源管理平台,包含教学平台、…

深度学习在自然语言处理中的十大应用领域

文章目录 1. 机器翻译2. 文本分类3. 命名实体识别4. 问答系统5. 文本生成6. 情感分析7. 语言生成与处理8. 信息检索与摘要9. 文本纠错与修复10. 智能对话系统总结 🎉欢迎来到AIGC人工智能专栏~深度学习在自然语言处理中的十大应用领域 ☆* o(≧▽≦)o *☆嗨~我是IT陈…

Git企业开发控制理论和实操-从入门到深入(七)|企业级开发模型

前言 那么这里博主先安利一些干货满满的专栏了! 首先是博主的高质量博客的汇总,这个专栏里面的博客,都是博主最最用心写的一部分,干货满满,希望对大家有帮助。 高质量博客汇总 然后就是博主最近最花时间的一个专栏…

LAMP介绍与配置

一.LAMP 1.1.LAMP架构的组成 CGI(通用网关接口)和FastCGI(快速公共网关接口)都是用于将Web服务器与后端应用程序(如PHP、Python等)进行交互的协议/接口。 特点 CGI FastCGI 运行方式 每个请求启动…

android外卖点餐界面(期末作业)

效果展示&#xff1a; AndroidMainFest.xml <?xml version"1.0" encoding"utf-8"?> <manifest xmlns:android"http://schemas.android.com/apk/res/android"xmlns:tools"http://schemas.android.com/tools"><a…

Hystrix: Dashboard流监控

接上两张服务熔断 开始搭建Dashboard流监控 pom依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocat…

OpenGL —— 2.5、绘制第一个三角形(附源码,glfw+glad)(更新:纹理贴图)

源码效果 C源码 纹理图片 需下载stb_image.h这个解码图片的库&#xff0c;该库只有一个头文件。 具体代码&#xff1a; vertexShader.glsl #version 330 corelayout(location 0) in vec3 aPos; layout(location 1) in vec3 aColor; layout(location 2) in vec2 aUV;out ve…

pnpm安装包管理工具

pnpm安装包管理工具 pnpm代表performant npm&#xff08;高性能的npm&#xff09;&#xff0c;同npm和Yarn&#xff0c;都属于Javascript包管理安装工具&#xff0c;它较npm和Yarn在性能上得到很大提升&#xff0c;被称为快速的&#xff0c;节省磁盘空间的包管理工具。 pnpm…

计算机视觉:深层卷积神经网络的构建

本文重点 上一节课程中我们学习了单卷积层的前向传播,本次课程我们构建一个具有三个卷积层的卷积神经网络,然后从输入(39*39*3)开始进行三次卷积操作,我们来看一下每次卷积的输入和输出维度的变化。 第一层 第一层使用3*3*3的过滤器来提取特征,那么f[1]=3,然后步长s[…

电脑视频编辑软件前十名 电脑视频编辑器怎么剪辑视频

对于大多数创作者而言&#xff0c;视频后期工作基本都是在剪辑软件上进行的。一款适合自己的视频剪辑软件&#xff0c;能够节省出大量的时间和金钱成本&#xff0c;让剪辑师省钱又省心。那么有关电脑视频编辑软件前十名&#xff0c;电脑视频编辑器怎么剪辑视频的相关问题&#…

9.阿里Sentinel哨兵

1.Sentinel Sentinel&#xff08;哨兵&#xff09;是由阿里开源的一款流量控制和熔断降级框架&#xff0c;用于保护分布式系统中的应用免受流量涌入、超载和故障的影响。它可以作为微服务架构中的一部分&#xff0c;用于保护服务不被异常流量冲垮&#xff0c;从而提高系统的稳定…

uview ui 1.x ActonSheet项太多,设置滚动

问题&#xff1a;ActionSheet滚动不了。 使用uview ui &#xff1a;u-action-sheet, 但是item太多&#xff0c;超出屏幕了&#xff0c; 查了一下文档&#xff0c;并没有设置滚动的地方。 官方文档&#xff1a;ActionSheet 操作菜单 | uView - 多平台快速开发的UI框架 - uni-a…

Zebec Protocol:模块化 L3 链 Nautilus Chain,深度拓展流支付体系

过去三十年间&#xff0c;全球金融科技领域已经成熟并迅速增长&#xff0c;主要归功于不同的数字支付媒介的出现。然而&#xff0c;由于交易延迟、高额转账费用等问题愈发突出&#xff0c;更高效、更安全、更易访问的支付系统成为新的刚需。 此前&#xff0c;咨询巨头麦肯锡的一…