Python使用selenium访问网页完成登录——装饰器重试机制汇总

文章目录

  • 示例一:常见装饰器编写重试机制
  • 示例二：使用类实现装饰器
  • 示例三：使用函数装饰器并返回闭包
  • 示例四：使用 `wrapt` 模块

示例一:常见装饰器编写重试机制

示例代码

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC# 设置日志配置
logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)# 假设 DOME 是一个配置字典，用于控制 DEBUG 模式
DOME = {'DEBUG': False,'debug': False
}def exr_func(*args, **kwargs):# 在每次重试前执行的操作，可以在此添加刷新页面等逻辑driver = kwargs.get('driver')if driver:driver.refresh()time.sleep(2)  # 等待页面刷新完成def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):"""装饰器，重复执行func并忽略异常，超过次数抛出异常或返回空，此函数默认输出异常信息"""def decorator(func):def dec(*args, **kwargs):for i in range(1, num + 1):try:return func(*args, **kwargs)except exclude as err:raise errexcept catch as err:logger.error(f'第 {i} 次执行失败')if out_error:logger.error(err, traceback.format_exc(), sep='\n')if DOME.get('DEBUG') or DOME.get('debug'):logger.error('已开启 DEBUG 模式，直接抛出异常')raise errif i >= num:logger.error(f'已执行 {num} 次，抛出异常')raise errlogger.error('开始重试')exr(*args, **kwargs)return decreturn decorator@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):# 访问登录页面driver.get("https://example.com/login")# 等待页面加载完成WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))# 输入用户名username_field = driver.find_element(By.ID, "username")username_field.send_keys(username)# 输入密码password_field = driver.find_element(By.ID, "password")password_field.send_keys(password)# 点击登录按钮login_button = driver.find_element(By.ID, "loginButton")login_button.click()# 等待页面加载完成并检查是否登录成功WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))print("登录成功")return Truedef main():# 设置WebDriverdriver = webdriver.Chrome()username = "your_username"password = "your_password"try:login(driver, username, password, driver=driver)except Exception as e:logger.error(f"最终登录失败，异常: {e}")driver.quit()if __name__ == "__main__":main()

代码解释

  1. 日志配置: 设置日志记录配置，用于输出错误信息。
  2. exr_func 函数: 定义了在每次重试前执行的操作，例如刷新页面。
  3. dec_retry 装饰器: 实现了重试机制，捕获指定异常，在重试次数用尽前会执行 exr_func 函数。
  4. login 函数: 实现具体的登录操作，并被 dec_retry 装饰器装饰。
  5. main 函数: 设置 WebDriver，尝试登录，并在失败时输出日志信息。

示例二：使用类实现装饰器

类装饰器可以更灵活地管理状态，并且可以更好地组织复杂的逻辑。

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC# 设置日志配置
logging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)# 假设 DOME 是一个配置字典，用于控制 DEBUG 模式
DOME = {'DEBUG': False,'debug': False
}def exr_func(*args, **kwargs):driver = kwargs.get('driver')if driver:driver.refresh()time.sleep(2)  # 等待页面刷新完成class RetryDecorator:def __init__(self, num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):self.num = numself.exr = exrself.catch = catchself.exclude = excludeself.out_error = out_errordef __call__(self, func):def wrapped_func(*args, **kwargs):for i in range(1, self.num + 1):try:return func(*args, **kwargs)except self.exclude as err:raise errexcept self.catch as err:logger.error(f'第 {i} 次执行失败')if self.out_error:logger.error(err, traceback.format_exc(), sep='\n')if DOME.get('DEBUG') or DOME.get('debug'):logger.error('已开启 DEBUG 模式，直接抛出异常')raise errif i >= self.num:logger.error(f'已执行 {self.num} 次，抛出异常')raise errlogger.error('开始重试')self.exr(*args, **kwargs)return wrapped_func@RetryDecorator(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):driver.get("https://example.com/login")WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))username_field = driver.find_element(By.ID, "username")username_field.send_keys(username)password_field = driver.find_element(By.ID, "password")password_field.send_keys(password)login_button = driver.find_element(By.ID, "loginButton")login_button.click()WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))print("登录成功")return Truedef main():driver = webdriver.Chrome()username = "your_username"password = "your_password"try:login(driver, username, password, driver=driver)except Exception as e:logger.error(f"最终登录失败，异常: {e}")driver.quit()if __name__ == "__main__":main()

示例三：使用函数装饰器并返回闭包

使用闭包使代码更简洁。

import time
import traceback
import logging
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EClogging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)DOME = {'DEBUG': False,'debug': False
}def exr_func(*args, **kwargs):driver = kwargs.get('driver')if driver:driver.refresh()time.sleep(2)def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):def decorator(func):def wrapped_func(*args, **kwargs):for i in range(1, num + 1):try:return func(*args, **kwargs)except exclude as err:raise errexcept catch as err:logger.error(f'第 {i} 次执行失败')if out_error:logger.error(err, traceback.format_exc(), sep='\n')if DOME.get('DEBUG') or DOME.get('debug'):logger.error('已开启 DEBUG 模式，直接抛出异常')raise errif i >= num:logger.error(f'已执行 {num} 次，抛出异常')raise errlogger.error('开始重试')exr(*args, **kwargs)return wrapped_funcreturn decorator@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):driver.get("https://example.com/login")WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))username_field = driver.find_element(By.ID, "username")username_field.send_keys(username)password_field = driver.find_element(By.ID, "password")password_field.send_keys(password)login_button = driver.find_element(By.ID, "loginButton")login_button.click()WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))print("登录成功")return Truedef main():driver = webdriver.Chrome()username = "your_username"password = "your_password"try:login(driver, username, password, driver=driver)except Exception as e:logger.error(f"最终登录失败，异常: {e}")driver.quit()if __name__ == "__main__":main()

示例四：使用 wrapt 模块

wrapt 是一个强大的装饰器库，可以更轻松地编写装饰器，特别是处理复杂逻辑时。

import time
import traceback
import logging
import wrapt
from typing import Callable
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException, WebDriverException, TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EClogging.basicConfig(level=logging.ERROR)
logger = logging.getLogger(__name__)DOME = {'DEBUG': False,'debug': False
}def exr_func(*args, **kwargs):driver = kwargs.get('driver')if driver:driver.refresh()time.sleep(2)def dec_retry(num=1, exr: Callable = lambda *_, **__: None, catch=Exception, exclude=Exception, out_error=True):@wrapt.decoratordef wrapper(wrapped, instance, args, kwargs):for i in range(1, num + 1):try:return wrapped(*args, **kwargs)except exclude as err:raise errexcept catch as err:logger.error(f'第 {i} 次执行失败')if out_error:logger.error(err, traceback.format_exc(), sep='\n')if DOME.get('DEBUG') or DOME.get('debug'):logger.error('已开启 DEBUG 模式，直接抛出异常')raise errif i >= num:logger.error(f'已执行 {num} 次，抛出异常')raise errlogger.error('开始重试')exr(*args, **kwargs)return wrapper@dec_retry(num=3, exr=exr_func, catch=(NoSuchElementException, WebDriverException, TimeoutException))
def login(driver, username, password):driver.get("https://example.com/login")WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "username")))username_field = driver.find_element(By.ID, "username")username_field.send_keys(username)password_field = driver.find_element(By.ID, "password")password_field.send_keys(password)login_button = driver.find_element(By.ID, "loginButton")login_button.click()WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "logoutButton")))print("登录成功")return Truedef main():driver = webdriver.Chrome()username = "your_username"password = "your_password"try:login(driver, username, password, driver=driver)except Exception as e:logger.error(f"最终登录失败，异常: {e}")driver.quit()if __name__ == "__main__":main()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/387698.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Kafka知识总结（事务+数据存储+请求模型+常见场景）

Kafka知识总结（事务+数据存储+请求模型+常见场景）

文章收录在网站：http://hardyfish.top/ 文章收录在网站：http://hardyfish.top/ 文章收录在网站：http://hardyfish.top/ 文章收录在网站：http://hardyfish.top/ 事务 事务Producer保证消息写入分区的原子性，即这批消…
阅读更多...
从零到一：用Go语言构建你的第一个Web服务

从零到一：用Go语言构建你的第一个Web服务

使用Go语言从零开始搭建一个Web服务，包括环境搭建、路由处理、中间件使用、JSON和表单数据处理等关键步骤，提供丰富的代码示例。 关注TechLead，复旦博士，分享云服务领域全维度开发技术。拥有10年互联网服务架构、AI产品研发经验、…
阅读更多...
【HadoopShuffle原理剖析】基础篇二

【HadoopShuffle原理剖析】基础篇二

Shuffle原理剖析 Shuffle，是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。分为Map端的操作和Reduce端的操作。 Shuffle过程 Map端的Shuffle Map的输出结果首先被缓存到内存，当缓存区容量到达80%（缓冲区默认100MB&#xff…
阅读更多...
通过进程协作显示图像-C#

通过进程协作显示图像-C#

前言 如果一个软件比较复杂或者某些情况下需要拆解，可以考试将软件分解成两个或多个进程，但常规的消息传递又不能完全够用，使用消息共享内存，实现图像传递，当然性能这个方面我并没有测试，仅是一种解决思路…
阅读更多...
Tekion 选择 ClickHouse Cloud 提升应用性能和指标监控

Tekion 选择 ClickHouse Cloud 提升应用性能和指标监控

本文字数：4187；估计阅读时间：11 分钟 作者：ClickHouse team 本文在公众号【ClickHouseInc】首发 Tekion 由前 Tesla CIO Jay Vijayan 于 2016 年创立，利用大数据、人工智能和物联网等技术，为其汽车客户解决…
阅读更多...
如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

01 引言 随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地…
阅读更多...
【数据中台】大数据管理平台建设方案（原件资料）

【数据中台】大数据管理平台建设方案（原件资料）

建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集﹣治理﹣共享标准、统一技术开发体系、统一接口 API ，实现数据采集、平台治理，业务应用三层解耦，并按照统一标准格式提供高效的…
阅读更多...
electron安装及快速创建

electron安装及快速创建

electron安装及快速创建 electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 详细内容见官网：https://www.electronjs.org/zh/docs/latest/。 今天来记录下练习中的安装过程和hello world的创建。 创建项目文件夹，并执行npm 初始化命…
阅读更多...
ubuntu安装tar安装 nginx最新版本

ubuntu安装tar安装 nginx最新版本

一、需要先安装依赖 apt install gcc libpcre3 libpcre3-dev zlib1g zlib1g-dev openssl libssl-dev 二、上传安装包 并解压 下载地址 nginx news tar xvf nginx-1.25.2.tar.gz 进入nginx cd nginx-1.25.2 三、编译 ./configure --prefix=/usr/local/nginx --with-htt…
阅读更多...
Dolphinscheduler 3.2.1bug记录

Dolphinscheduler 3.2.1bug记录

问题1：分页只展示首页 解决方案： [Bug][API] list paging missing totalpage by Gallardot Pull Request #15619 apache/dolphinscheduler GitHub 问题2:Hive 数据源连接失败 解决方案：修改源码：HiveDataSourceProcessor.cla…
阅读更多...
《深度RAG系列》 LLM 为什么选择了RAG

《深度RAG系列》 LLM 为什么选择了RAG

2023年是AIGC（Artificial Intelligence Generated Content）元年，这一年见证了人工智能生成内容领域的巨大飞跃，特别是大模型的爆发，它们在自然语言处理、图像生成、音频处理等多个领域展现出了惊人的能力。 这些预训练…
阅读更多...
数据结构和算法入门

数据结构和算法入门

1.了解数据结构和算法 1.1 二分查找 二分查找（Binary Search）是一种在有序数组中查找特定元素的搜索算法。它的基本思想是将数组分成两半，然后比较目标值与中间元素的大小关系，从而确定应该在左半部分还是右半部分继续查找。这个…
阅读更多...
花8000元去培训机构学习网络安全值得吗，学成后就业前景如何？

花8000元去培训机构学习网络安全值得吗，学成后就业前景如何？

我就是从培训机构学的网络安全，线下五六个月，当时学费不到一万，目前已成功入行。所以，只要你下决心要入这一行，过程中能好好学，那这8000就花得值~ 因为只要学得好，工作两个多月就能赚回学费&am…
阅读更多...
浅谈取样器之OS进程取样器

浅谈取样器之OS进程取样器

浅谈取样器之OS进程取样器 JMeter 的 OS 进程取样器（OSProcess Sampler）允许用户在 JMeter 测试计划中直接执行操作系统命令或脚本。这一功能对于需要集成系统级操作到性能测试场景中尤为有用，比如运行数据库备份脚本、调用系统维护命令或执…
阅读更多...
存储引擎MyISAM和InnoDB

存储引擎MyISAM和InnoDB

存储引擎：创建、查询、更新、删除 innoDB：64T、支持事物、不支持全文索引、支持缓存、支持外键、行级锁定 MyISAM：256T、不支持事物、支持全文索引、插入和查询速度快 memory：内存、不支持事物、不支持全文索引，临时…
阅读更多...
不得不安利的程序员开发神器，太赞了!!

不得不安利的程序员开发神器，太赞了!!

作为一名程序员，你是否常常为繁琐的后端服务而感到头疼？是否希望有一种工具可以帮你简化开发流程，让你专注于创意和功能开发？今天，我要向大家隆重推荐一款绝佳的开发神器——MemFire Cloud。它专为懒人开发者准备&…
阅读更多...
KVM高级功能部署

KVM高级功能部署

KVM（Kernel-based Virtual Machine）是一个在Linux内核中实现的全虚拟化解决方案。除了基本的虚拟化功能外，KVM还提供了许多高级功能，以增强其性能、安全性和灵活性。以下是一些KVM的高级功能： 硬件加速： In…
阅读更多...
基于Deap遗传算法在全量可转债上做因子挖掘（附python代码及全量因子数据）

基于Deap遗传算法在全量可转债上做因子挖掘（附python代码及全量因子数据）

原创文章第604篇，专注“AI量化投资、世界运行的规律、个人成长与财富自由"。 在4.x的时候，咱们分享过deap遗传算法挖掘因子的代码和数据，今天我们来升级到5.x中。 源码发布Quantlab4.2，Deap因子挖掘|gplearn做不到的咱们也…
阅读更多...
全新微软语音合成网页版源码，短视频影视解说配音网页版系统-仿真人语音

全新微软语音合成网页版源码，短视频影视解说配音网页版系统-仿真人语音

源码介绍 最新微软语音合成网页版源码，可以用来给影视解说和短视频配音。它是TTS文本转语言，API接口和PHP源码。 这个微软语音合成接口的源码，超级简单，就几个文件搞定。用的是官方的API，试过了，合成速度…
阅读更多...
Datawhale AI夏令营 AI+逻辑推理 Task2总结

Datawhale AI夏令营 AI+逻辑推理 Task2总结

Datawhale AI夏令营 AI逻辑推理 Task2总结 一、大语言模型解题方案介绍 1.1 大模型推理介绍 ​ 推理是建立在训练完成的基础上，将训练好的模型应用于新的、未见过的数据，模型利用先前学到的规律进行预测、分类和生成新内容，使得AI在实际应…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发