爬虫 selenium语法 （八）

目录

一、为什么使用selenium

二、selenium语法——元素定位

1.根据 id 找到对象

2.根据标签属性的属性值找到对象

3.根据Xpath语句获取对象

4.根据标签名获取对象

5.使用bs语法获取对象

6.通过链接文本获取对象

三、selenium语法——访问元素信息

1.获取属性的属性值

2.获取标签名

3.获取元素文本

四、selenium 交互

五、无界面操作

参考

1.什么是selenium？

  • selenium是一个用于web应用程序测试的工具。
  • selenium测试直接运行在浏览器中，就像真正的用户一样。
  • 支持通过各种driver（FirefoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动真实浏览器完成测试。
  • selenium也是支持无界面浏览器操作的。

2.为什么使用selenium？

        模拟浏览器功能，自动执行网页中的js代码，实现动态加载。

3.如何安装selenium？

        安装selenium及谷歌驱动

4.selenium的使用步骤？

  • 导入：from selenium import webdriver
  • 创建谷歌浏览器操作对象：

        path = 谷歌浏览器驱动文件路径

        browser = webdriver.Chrome(path)

  • 访问网址

        url = 要访问的网址

        browser.get(url)

selenium 的元素定位

      元素定位：自动化要做的就是模拟鼠标和键盘来操作这些元素，如点击、输入等等。操作这些元素前首先要找到它们，webdriver提供很多定位元素的方法。

       方法：

         （1）find_element(By.ID, 'id 名')

                eg:button = browser.find_element(By.ID, ‘su’)

         （2）find_element(By.NAME, 'name 名')

                eg:name = browser.find(By.NAME,‘wd’)

         （3）find_elements(By.XPATH, 'Xpath语法')

                eg:xpath = browser.find_elements(By.XPATH, "//input[@id-"su"]")

         （4）find_elements(By.TAG_NAME,' Tag name ')

                eg:names = browser.find_elements (By.TAG_NAME, "input")

         （5）find_elements(By.CSS_SELECTLOR, ' bs4语法 ')

                eg:my_input = browser.find_elements(By.CSS_SELECTLOR, "#kw")[0]

        （6）find_elements(By.LINK_TEXT, ' 链接文本')

                eg:browser.find_elements(By.LINK_TEXT,"新闻")

访问元素信息

       获取元素属性

              .get_attribute(‘class’)

       获取元素文本

              .text

       获取id

              .id

       获取标签名

              .tag_name

selenium 交互

（1）点击：click()

（2）输入：send_keys()

（3）后退操作：browser.back()

（4）前进操作：browser.forward()

（5）模拟js滚动：

        js = ‘document.documentElement.scrollTop=100000’

        browser.execute_script(js) 执行js 代码

（6）获取网页代码：page_source

（7）退出：browser.quit()

一、为什么使用selenium

​

import urlliburl = 'http://www.jd.com'response = urllib.request.urlopen(url)content = response.read().decode()
print(content)

我们模拟浏览器获取网页内容，然后搜索获取的内容，是否有 “J_seckill” 这个元素

​

可以看到，显示没有该元素。

原因是验证你的浏览器不是真实的浏览器，所以没有返回数据。

但是！！！ 用selenium就可以解决这个问题。 

# （1）导入
from selenium import webdriver
# from selenium.webdriver.common.by import BY# （2）创建浏览器操作对象
browser = webdriver.Chrome()# （3）访问网站
url = 'https://www.jd.com'
browser.get(url)# （4）获取源码
# page_source获取网页源码
content = browser.page_source
print(content)

​

二、selenium语法——元素定位

1.根据 id 找到对象

​

# 根据 id 找到对象
button = browser.find_element(By.ID, 'su')
print(button)

2.根据标签属性的属性值找到对象

​

# 根据标签属性的属性值找到对象
button = browser.find_element(By.NAME,'wd')
print(button)

3.根据Xpath语句获取对象

​

# 根据Xpath语句获取对象
# element表示只找一个元素，elements表示找到所有元素并返回列表
button = browser.find_element(By.XPATH,'//input[@id="su"]')
print(button)

4.根据标签名获取对象

# 根据标签名获取对象
button = browser.find_elements(By.TAG_NAME,'input')
print(button)

5.使用bs语法获取对象

# 使用bs语法获取对象
button = browser.find_elements(By.CSS_SELECTOR,'#su')
print(button)

6.通过链接文本获取对象

​

# 通过链接文本获取对象
button = browser.find_elements(By.LINK_TEXT,'新闻')
print(button)

完整代码： 

from selenium import webdriver
from selenium.webdriver.common.by import By# 创建浏览器对象
browser = webdriver.Chrome()# 访问网站
url = 'https://www.baidu.com'
browser.get(url)# 元素定位
# # 根据 id 找到对象
# button = browser.find_element(By.ID, 'su')
# print(button)# # 根据标签属性的属性值找到对象
# button = browser.find_element(By.NAME,'wd')
# print(button)# # 根据Xpath语句获取对象
# button = browser.find_element(By.XPATH,'//input[@id="su"]')
# print(button)# # 根据标签名获取对象
# button = browser.find_elements(By.TAG_NAME,'input')# # 使用bs语法获取对象
# button = browser.find_elements(By.CSS_SELECTOR,'#su')# 通过链接文本获取对象
button = browser.find_elements(By.LINK_TEXT,'新闻')
print(button)

三、selenium语法——访问元素信息

1.获取属性的属性值

# 获取属性值
input = browser.find_element(By.ID, 'su')
print(input.get_attribute('class'))

2.获取标签名

print(input.tag_name)

3.获取元素文本

input = browser.find_element(By.LINK_TEXT,'新闻')
print(input.text)

四、selenium 交互

使用selenium完成以下操作

在百度输入框中输入“周杰伦”，点击“百度一下”，滑到最底部，点击“下一页”，然后后退一步，再前进一步，最后关闭浏览器。

from selenium import  webdriver
from selenium.webdriver.common.by import By
import time# 创建浏览器对象
browser = webdriver.Chrome()url = 'https://www.baidu.com'
browser.get(url)time.sleep(2)# 获取文本框的对象
input = browser.find_element(By.ID,'kw')# 在文本框中输入‘周杰伦’
input.send_keys('周杰伦')time.sleep(2)# 获取百度一下的按钮
button = browser.find_element(By.ID,'su')
# 点击百度一下
button.click()time.sleep(2)# 滑到底部
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)time.sleep(2)# 获取下一页的按钮
next = browser.find_element(By.XPATH,'//a[contains(text(),"下一页")]')# 点击下一页
next.click()time.sleep(2)# 回到上一页
browser.back()time.sleep(2)# 回到刚才的位置
browser.forward()time.sleep(2)# 退出
browser.quit()

五、无界面操作

        直接打开浏览器会使操作效率变慢，Chrome headless可以进行无界面操作，极大提高的了工作效率。

from selenium import webdriverdef headless_browser():# 创建浏览器对象之前，创建options功能对象options = webdriver.ChromeOptions()# 添加无界面功能参数options.add_argument("--headless")# 构造浏览器对象，打开浏览器browser = webdriver.Chrome(options=options)return browserurl = 'https://ww.baidu.com'
browser = headless_browser()
browser.get(url)# 屏幕快照
browser.save_screenshot('_082_baidu.png')

参考

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/219072.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MySQL 常用数据类型总结

MySQL 常用数据类型总结

面试： 为什么建表时,加not null default ‘’ / default 0 答:不想让表中出现null值. 为什么不想要的null的值 答:（1）不好比较,null是一种类型,比较时,只能用专门的is null 和 is not null来比较. 碰到运算符,一律返回null &#xff08…
阅读更多...
ES-模糊查询

ES-模糊查询

模糊查询 1 wildcard 准备数据 POST demolike/_bulk {"index": {"_id": "1"} } {"text": "草莓熊是个大坏蛋" } {"index": {"_id": "2"} } {"text": "wolf 也是一个坏蛋&q…
阅读更多...
C# WPF上位机开发（树形控件在地图软件中的应用）

C# WPF上位机开发（树形控件在地图软件中的应用）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 前面我们聊过图形软件的开发方法。实际上，对于绘制的图形，我们一般还会用树形控件管理一下。举个例子，一个地图…
阅读更多...
云原生之深入解析使用Telepresence轻松在本地调试和开发Kubernetes应用程序

云原生之深入解析使用Telepresence轻松在本地调试和开发Kubernetes应用程序

一、 准备 telepresence 下载：https://www.telepresence.io/docs/latest/install/kubectl 下载：https://kubernetes.io/docs/tasks/tools/ 二、版本检测 $telepresence version Client: v2.5.3 (api v3) Root Daemon: not running User Daemon: not r…
阅读更多...
Wordle 游戏实现 - 使用 C++ Qt

Wordle 游戏实现 - 使用 C++ Qt

标题：Wordle 游戏实现 - 使用 C Qt 摘要： Wordle 是一款文字猜词游戏，玩家需要根据给定的单词猜出正确的答案，并在限定的次数内完成。本文介绍了使用 C 和 Qt 框架实现 Wordle 游戏的基本思路和部分代码示例。 引言：…
阅读更多...
前后端传参中遇见的问题

前后端传参中遇见的问题

前后端传参经常容易出错，本文记录开发springBootMybatis-plusvuecli项目中出现的传参问题及解决办法 1.前后端没有跨域配置，报错 解决方法：后端进行跨域配置，拷贝CorsConfig类 package com.example.xxxx.config;import org.spr…
阅读更多...
早上好，我的leetcode 【hash】（第二期）

早上好，我的leetcode 【hash】（第二期）

写在前面：坚持才是最难的事情 C代码还是不方便写，改用python了，TAT 文章目录 1.两数之和49. 字母异位词分组128.最长连续序列 1.两数之和 你好，梦开始的地方~ https://leetcode.cn/problems/two-sum/description/?envTypestudy…
阅读更多...
HiveSql语法优化三 ：join优化

HiveSql语法优化三 ：join优化

前面提到过：Hive拥有多种join算法，包括Common Join，Map Join，Bucket Map Join，Sort Merge Buckt Map Join等；每种join算法都有对应的优化方案。 Map Join 在优化阶段，如果能将Common Join优化为…
阅读更多...
【docker 】基于Dockerfile创建镜像

【docker 】基于Dockerfile创建镜像

Dockerfile文档 Dockerfile文档地址 Dockerfile 是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。 DockerFile 可以说是一种可以被 Docker 程序解释的脚本，DockerFile 是由一条条的命令组成的，每条命令对应 …
阅读更多...
RT-DETR优化：ASF-YOLO提取多尺度特征 | 2023年12月最新成果

RT-DETR优化：ASF-YOLO提取多尺度特征 | 2023年12月最新成果

🚀🚀🚀本文改进： ASF-YOLO一种新的特征融合网络架构，该网络由两个主要的组件网络组成，可以为小目标分割提供互补的信息:(1)SSFF模块，它结合了来自u;(2)TFE模块，它可以捕获小目标的局部精细细节等 🚀🚀🚀YOLOv8改进专栏：http://t.csdnimg.cn/hGhVK 学姐带你学…
阅读更多...
AUTOSAR组织引入了Rust语言的原因是什么？有哪些好处？与C++相比它有什么优点？并推荐一些入门学习Rust语言链接等

AUTOSAR组织引入了Rust语言的原因是什么？有哪些好处？与C++相比它有什么优点？并推荐一些入门学习Rust语言链接等

AUTOSAR（汽车开放系统架构）是一个由汽车制造商、供应商和其他来自电子、半导体和软件行业的公司组成的全球发展伙伴关系，自2003年以来一直致力于为汽车行业开发和引入开放、标准化的软件平台。 AUTOSAR 最近宣布成立一个新的工作组，用于探索在汽车软件中使用 Rust 编程语言…
阅读更多...
R语言｜分面中嵌入趋势线

R语言｜分面中嵌入趋势线

简介 关于分面的推文，小编根据实际科研需求，已经分享了很多技巧。例如： 分面中添加不同表格 分面中添加不同的直线 基于分面的面积图绘制 分面中的细节调整汇总 基于分面的折线图绘制 最近科研中又遇到了与分面相关的需求：…
阅读更多...
Axure 9基本元件，表单及表格元件简介，表单案例

Axure 9基本元件，表单及表格元件简介，表单案例

目录 一.基本元件 1.元件基本介绍 2.基本元件的使用 二.表单及表格元件 三.表单案例 四.简单简历绘制 一.基本元件 1.元件基本介绍 概述 - 在Axure RP中，元件是**构建原型图的基础模块**。 将元件从元件库里拖拽到画布中，即可添加元件到你的原型…
阅读更多...
excel可视化看板【动态关联公司、部门、人员、及时间】

excel可视化看板【动态关联公司、部门、人员、及时间】

昨天网友花钱定制了一个可视化报表，花了一整天时间，做了这份酷炫的可视化报表，右边按钮控件可以动态关联可视化图表 做这种这重要是数据的统计，只要能统计到，剩下的只是如何展示，慢慢的调整，美…
阅读更多...
一、微前端目标、前端架构的前生今世、微前端架构优势和劣势、软件设计原则与分层

一、微前端目标、前端架构的前生今世、微前端架构优势和劣势、软件设计原则与分层

1、目标 2、前端架构的前世今生 ① 初始：无架构，前端代码内嵌到后端应用中 ② 后端 MVC 架构：将视图层、数据层、控制层做分离 缺点：重度依赖开发环境，代码混淆严重（在调试时，需要启动后端所有…
阅读更多...
加油站“变身”快充站，探讨充电新模式——安科瑞 顾烊宇

加油站“变身”快充站，探讨充电新模式——安科瑞 顾烊宇

摘要：新能源汽车规模化发展的同时，充电不便利的痛点愈发明显。在未来的新能源汽车行业发展当中，充电的矛盾要远远大于造车的矛盾，解决好充电的问题成为电动汽车行业发展的一个突出问题。解决充电补能问题，重要的方式之…
阅读更多...
【golang/g3n】3D游戏引擎G3N的windows安装与测试

【golang/g3n】3D游戏引擎G3N的windows安装与测试

目录 说在前面安装测试 说在前面 操作系统：win 11go version：go1.21.5 windows/amd64g3n版本：github.com/g3n/engine v0.2.0其他：找了下golang 3d相关的库，目前好像就这个比较活跃 安装 按照官方教程所说，…
阅读更多...
linux空洞文件以及多线程写入

linux空洞文件以及多线程写入

介绍空洞文件 Linux空洞文件（hole file）是一种特殊类型的文件，其大小可能超过实际存储的数据量。在空洞文件中，文件系统会为文件分配磁盘空间，但实际上只在文件中存储了部分数据，其余部分被称为"空洞…
阅读更多...
Redis实现延迟队列

Redis实现延迟队列

目录 一、什么是延时队列 二、延时队列的应用 三、举例说明 我的设计思想: 一、什么是延时队列 延时队列相比于普通队列最大的区别就体现在其延时的属性上，普通队列的元素是先进先出，按入队顺序进行处理，而延时队列中的元素在入队时会指定…
阅读更多...
SQL、Jdbc、JdbcTemplate、Mybatics

SQL、Jdbc、JdbcTemplate、Mybatics

数据库：查询（show、select）、创建（create)、使用(use)、删除(drop)数据库 表：创建（【字段】约束、数据类型）、查询、修改（alter *add）、删除 DML：增加(inse…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023