python爬虫request和BeautifulSoup使用

request使用

1.安装request

pip install request

image-20231028221900255

2.引入库

import requests

3.编写代码

发送请求

我们通过以下代码可以打开豆瓣top250的网站

response = requests.get(f"https://movie.douban.com/top250"）

但因为该网站加入了反爬机制，所以我们需要在我们的请求报文的头部加入User-Agent的信息

headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)

User-Agent可以通过访问网站时按f12查看获取

image-20231028222657590

我们可以通过response的ok属性判断是否请求成功

import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)
if response.ok:print("请求成功!")
else:print("请求失败!")

此时如果请求成功，控制台就会打印请求成功!

image-20231028222826786

获取网页的html

我们可以通过response的text的属性来获取网页的html

import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)
if response.ok:html = response.textprint(html)
else:print("请求失败!")

此时请求成功就会打印页面的html了

image-20231028223025357

BeautifulSoup使用

Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

简单的说，我们可以拿他来解析html页面，来获取html的元素

1.安装BeautifulSoup

要使用BeautifulSoup4需要先安装lxml,再安装bs4

pip install bs4

pip install bs4

image-20231028223709504

2.引入库

from bs4 import BeautifulSoup

3.编写代码

获取元素

我们通过BeautifulSoup()就可以得到解析后的soup对象

    soup = BeautifulSoup(html, "html.parser")

使用findAll函数就可以找到我们想要的元素，例如：我们想找到span标签中，class为title的元素

   all_titls = soup.findAll("span", attrs={"class": "title"})

此时我们代码如下

from bs4 import BeautifulSoup
import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)
if response.ok:html = response.textsoup = BeautifulSoup(html, "html.parser")all_titls = soup.findAll("span", attrs={"class": "title"})print(all_titls)
else:print("请求失败!")

运行结果image-20231028224135059

元素处理

我们虽然找到了span标签中，class为title的元素，但我们不需要span标签中的内容，所以我们需要对他进行处理

首先我们发现，all_titls其实是一个数组，所以我们可以遍历他，这样就可以得到每一个span元素，通过string的属性就可以得到span标签中间的内容

from bs4 import BeautifulSoup
import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)
if response.ok:html = response.textsoup = BeautifulSoup(html, "html.parser")all_titls = soup.findAll("span", attrs={"class": "title"})for title in all_titls:title_string = title.stringprint(title_string)
else:print("请求失败!")

此时我们发现，我们虽然得到span标签中间的内容，但其中含有电影名字的英文名这是我们不需要的

image-20231028224526419

通过观察我们发现，每个英文名前都是带有/的，所以我们可以判断其是否含有"/"来进行过滤

from bs4 import BeautifulSoup
import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}response = requests.get(f"https://movie.douban.com/top250",headers=headers)
if response.ok:html = response.textsoup = BeautifulSoup(html, "html.parser")all_titls = soup.findAll("span", attrs={"class": "title"})for title in all_titls:title_string = title.stringif "/" not in title_string:print(title_string)
else:print("请求失败!")

image-20231028224813650

整合

虽然此时我们打印出了我们想要的数据，但这只是其中一页的，且只是打印，并没有存入数据库或者某个文件里

打印所有页

通过观察第二页的路径，我们发现在点击第二页时系统会传一个start的属性，这个属性除以25在加1就是我们需要的页数，反过来就是 (页数-1)*25 = start

image-20231028224946341

所以我们可以通过for循环，依次传入0，25，50…

from bs4 import BeautifulSoup
import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}for start_num in range(0,250,25):response = requests.get(f"https://movie.douban.com/top250?start={start_num}",headers=headers)if response.ok:html = response.textsoup = BeautifulSoup(html,"html.parser")all_titls = soup.findAll("span",attrs={"class":"title"})for title in all_titls:title_string = title.stringif "/" not in title_string:print(title_string)else:print("请求失败!")

这样我们就得到了所有的电影名

image-20231028225342725

存入txt

这里我们演示将数据存入记事本中，我们定义个数组，将所有电影的名字存入该数组，最后遍历数组写入txt文件即可

from bs4 import BeautifulSoup
import requests
headers ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
}
titles = []
for start_num in range(0,250,25):response = requests.get(f"https://movie.douban.com/top250?start={start_num}",headers=headers)if response.ok:html = response.textsoup = BeautifulSoup(html,"html.parser")all_titls = soup.findAll("span",attrs={"class":"title"})for title in all_titls:title_string = title.stringif "/" not in title_string:titles.append(title_string)else:print("请求失败!")
with open(r'豆瓣top250.txt', 'w') as f:for i in titles:f.write(i + '\n')

image-20231028225627360

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/172487.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

大数据-Storm流式框架（六)---Kafka介绍

大数据-Storm流式框架（六)---Kafka介绍

Kafka简介 Kafka是一个分布式的消息队列系统(Message Queue)。 官网：Apache Kafka 消息和批次 kafka的数据单元称为消息。消息可以看成是数据库表的一行或一条记录。 消息由字节数组组成，kafka中消息没有特别的格式或含义。 消息有可选的键&#x…
阅读更多...
业界中说的快速原型法是什么

业界中说的快速原型法是什么

快速原型法是一种软件开发过程，其核心思想是在开发初期快速构建一个系统的原型，即一个工作模型，以便用户和开发者能够更好地理解系统的需求和功能。这种方法强调快速迭代和用户参与，目的是更早地发现和修正问题，从而提…
阅读更多...
世界前沿技术发展报告2023《世界航空技术发展报告》（四）无人机技术

世界前沿技术发展报告2023《世界航空技术发展报告》（四）无人机技术

（四）无人机技术 1.无人作战飞机1.1 美国空军披露可与下一代战斗机编组作战的协同式无人作战飞机项目1.2 俄罗斯无人作战飞机取得重要进展 2.支援保障无人机2.1 欧洲无人机项目通过首个里程碑2.2 美国海军继续开展MQ-25无人加油机测试工作 3.微小型无人机…
阅读更多...
uni-app配置微信开发者工具

uni-app配置微信开发者工具

一、配置微信开发者工具路径 工具->设置->运行配置->小程序运行配置->微信开发者工具路径 二、微信开发者工具开启服务端口
阅读更多...
Nginx的进程结构实例演示

Nginx的进程结构实例演示

可以参考《Ubuntu 20.04使用源码安装nginx 1.14.0》安装nginx 1.14.0。 nginx.conf文件中worker_processes 2;这条语句表明启动两个worker进程。 sudo /nginx/sbin/nginx -c /nginx/conf/nginx.conf开启nginx。 ps -ef | grep nginx看一下进程情况。 sudo /nginx/sbin/ng…
阅读更多...
NNDL：作业五

NNDL：作业五

习题4-1 对于一个神经元,并使用梯度下降优化参数w时,如果输入x恒大于0,其收敛速度会比零均值化的输入更慢. 证明： 激活函数以sigmoid为例。 神经元：有两层，线性层和激活层：yw*xb,然后y‘sigmoid(y)，也就是。 梯度…
阅读更多...
ES性能优化最佳实践- 检索性能提升30倍！

ES性能优化最佳实践- 检索性能提升30倍！

Elasticsearch是被广泛使用的搜索引擎技术，它的应用领域远不止搜索引擎，还包括日志分析、实时数据监控、内容推荐、电子商务平台、企业级搜索解决方案以及许多其他领域。其强大的全文搜索、实时索引、分布式性能和丰富的插件生态系统使其成为了许多不同行…
阅读更多...
Web3 治理实践探讨：如何寻找多元化发展路径？

Web3 治理实践探讨：如何寻找多元化发展路径？

Web3 领域变革正崭露头角，而社区治理开始成为行业热议话题。Web3 项目如何探寻多元化建设的解困路径，究竟是治理模型的精进成为首要问题，还是吸纳更多资金与组织教育培训，让开发者成为项目建设的中坚力量？本期 TinTinW…
阅读更多...
论文-分布式-分布式计算|容错-分布式控制下的自稳定系统

论文-分布式-分布式计算|容错-分布式控制下的自稳定系统

参考文献Self-stabilizing systems in spite of distributed control可以把松散耦合的 循环序列过程 间的同步任务，看成是要保持一个这样的不变性：“系统要处于一种合法状态”因此每个进程在运行每一个可能会改变不变性的步骤之前都要先检查一下是可以执…
阅读更多...
Error: no matching distribution found for tensorflow-cpu==2.6.*

Error: no matching distribution found for tensorflow-cpu==2.6.*

目录 install_tensorflow()安装过程中遇到的问题 查找解决方案过程中： 解决办法： install_tensorflow()安装过程中遇到的问题 在服务器上安装tensorflow时，遇到了一个报错信息： 在网上找到一个类似的错误（TensorFlow…
阅读更多...
米软科技客户单病种上报量云南省第一

米软科技客户单病种上报量云南省第一

近日米软获悉，在云南省统计的单病种上报情况中，截止2021年11月15日，上线单病种系统不足半年的红河州第一人民医院（云南省滇南中心医院）以占全省上报总数5%的22950例，遥遥领先于同省各家二三级医院。 全省上…
阅读更多...
机器学习之查准率、查全率与F1

机器学习之查准率、查全率与F1

文章目录 查准率（Precision）：查全率（Recall）：F1分数（F1 Score）：实例P-R曲线F1度量python实现 查准率（Precision）： 定义： …
阅读更多...
深度学习与计算机视觉（一）

深度学习与计算机视觉（一）

文章目录 计算机视觉与图像处理的区别人工神经元感知机 - 分类任务Sigmoid神经元/对数几率回归对数损失/交叉熵损失函数梯度下降法- 极小化对数损失函数线性神经元/线性回归均方差损失函数-线性回归常用损失函数使用梯度下降法训练线性回归模型线性分类器多分类器的决策面 soft…
阅读更多...
前端移动web高级详细解析二

前端移动web高级详细解析二

移动 Web 第二天 01-空间转换 空间转换简介 空间：是从坐标轴角度定义的 X 、Y 和 Z 三条坐标轴构成了一个立体空间，Z 轴位置与视线方向相同。 空间转换也叫 3D转换 属性：transform 平移 transform: translate3d(x, y, z); transform…
阅读更多...
Tensorflow2 中模型训练标签顺序和预测结果标签顺序不一致问题解决办法

Tensorflow2 中模型训练标签顺序和预测结果标签顺序不一致问题解决办法

本篇文章将详细介绍Tensorflow2.x中模型训练标签顺序和预测结果标签顺序不一致问题，这个问题如果考虑不周，或者标签顺序没有控制好的情况下会出现预测结果精度极其不准确的情况。 训练数据集的结构：数据集有超过10的类别数，这里包…
阅读更多...
深入理解Java IO流: 包括字节流和字符流的用法、文件读写实践

深入理解Java IO流: 包括字节流和字符流的用法、文件读写实践

文章目录 📕我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文创造者、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五…
阅读更多...
Vue 项目进行 SEO 优化

Vue 项目进行 SEO 优化

SSR 服务器渲染 服务端渲染, 在服务端 html 页面节点, 已经解析创建完了, 浏览器直接拿到的是解析完成的页面解构 关于服务器渲染：Vue 官网介绍 ，对 Vue 版本有要求，对服务器也有一定要求，需要支持 nodejs 环境。 优势: 更好的 …
阅读更多...
apk反编译修改教程系列-----修改apk中的图片 任意更换apk桌面图片【三】

apk反编译修改教程系列-----修改apk中的图片 任意更换apk桌面图片【三】

往期教程： apk反编译修改教程系列-----修改apk应用名称 任意修改名称 签名【一】 apk反编译修改教程系列-----任意修改apk版本号 版本名 防止自动更新【二】 这次实例演示下如何更换apk安装后的桌面图标图片。其实这个步骤前面我有一个教程贴。这次针对步骤做个补…
阅读更多...
基于Kubesphere容器云平台物联网云平台Devops实践

基于Kubesphere容器云平台物联网云平台Devops实践

基于Kubesphere容器云平台物联网云平台Devops实践 项目背景 ​ 公司是做工业物联网相关业务的，现业务是云平台，技术栈 后端为 Springboot2.7JDK11 ，前端为 Vue3Ts，需要搭建自动化运维平台以实现业务代码自动部署上线，…
阅读更多...
B站视频下载工具的分享

B站视频下载工具的分享

直接解压使用1.5.9版本的就可以。 资源：链接：https://pan.baidu.com/s/1zWJWzxVss4h2lmMhCFFzDg?pwdw1v8 提取码：w1v8 先解压 解压 双击使用
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023