【Python爬虫五十个小案例】爬取豆瓣电影Top250

请添加图片描述

博客主页：小馒头学python

本文专栏: Python爬虫五十个小案例

专栏简介：分享五十个Python爬虫小案例

在这里插入图片描述

🪲前言

在这篇博客中，我们将学习如何使用Python爬取豆瓣电影Top250的数据。我们将使用requests库来发送HTTP请求，BeautifulSoup库来解析HTML页面，并将数据存储到CSV文件中。这个爬虫将自动获取豆瓣电影Top250页面的信息，包括电影名称、导演、主演、评分等详细信息

豆瓣电影Top250是一个包含豆瓣评分最高的250部电影的榜单，是电影爱好者查找电影的一大宝库。本博客将指导大家如何通过编写Python爬虫自动获取豆瓣电影Top250的数据

🪲环境准备

首先，我们需要安装一些Python库来完成本次任务。以下是我们将使用的库：

  • requests：用来发送HTTP请求并获取网页内容。
  • BeautifulSoup：用来解析HTML页面，提取我们需要的数据。
  • csv：将爬取的数据保存到CSV文件中。

因为我们使用的是Python进行爬虫，所以我们使用的命令行是

pip install requests beautifulsoup4 csv

🪲爬虫原理与分析

豆瓣电影Top250的URL是 https://movie.douban.com/top250。页面内容是分页显示的，每一页展示25部电影，最多5页。我们需要访问这些页面并提取电影数据

数据结构分析

每一部电影的信息在HTML结构中都有相应的标签，我们需要从中提取出以下信息：

  • 电影名称
  • 电影评分
  • 电影导演
  • 电影主演
  • 电影年份
  • 电影类型

通过使用BeautifulSoup解析HTML，我们可以轻松提取这些信息

🪲代码具体的实现

发送请求获取网页内容

我们首先使用requests库发送请求来获取网页内容。豆瓣会返回HTML页面，我们将把这些内容传递给BeautifulSoup进行解析

import requests
from bs4 import BeautifulSoup# 设置请求头，避免被豆瓣屏蔽
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}# 获取豆瓣电影Top250的前五页数据
base_url = "https://movie.douban.com/top250"
movie_list = []def get_page(url):response = requests.get(url, headers=headers)return response.text

解析网页内容

使用BeautifulSoup解析HTML页面，找到每部电影的信息。每部电影的信息包含在div标签中，类名为item

def parse_page(html):soup = BeautifulSoup(html, 'html.parser')movies = soup.find_all('div', class_='item')for movie in movies:title = movie.find('span', class_='title').textrating = movie.find('span', class_='rating_num').textdirector, actors = movie.find('div', class_='bd').find('p').text.strip().split("\n")[:2]year = movie.find('div', class_='bd').find('p').text.strip().split("\n")[0]movie_type = movie.find('span', class_='genre').text.strip()movie_info = {'title': title,'rating': rating,'director': director,'actors': actors,'year': year,'type': movie_type}movie_list.append(movie_info)

提取电影数据

我们现在可以循环访问每一页的URL并提取数据。豆瓣电影Top250有5页，URL结构为https://movie.douban.com/top250?start=X，其中X为每页的起始索引（0, 25, 50, …）

接下来我们的其他案例也会采取类似的分析方式，同学们可以

def main():for start in range(0, 250, 25):url = f"{base_url}?start={start}"html = get_page(url)parse_page(html)# 输出结果for movie in movie_list:print(movie)if __name__ == "__main__":main()

保存数据到CSV文件或者Excel文件

为了方便后续的数据分析，我们可以将数据保存到CSV文件中

import csvdef save_to_csv():keys = movie_list[0].keys()with open('douban_top250.csv', 'w', newline='', encoding='utf-8') as output_file:dict_writer = csv.DictWriter(output_file, fieldnames=keys)dict_writer.writeheader()dict_writer.writerows(movie_list)save_to_csv()

如果是Excel那么可以参考下面的案例代码

import pandas as pd  # 导入pandas库def save_to_excel():df = pd.DataFrame(movie_list)  # 将电影列表转换为DataFramedf.to_excel('douban_top250.xlsx', index=False, engine='openpyxl')  # 保存为Excel文件

🪲完整的代码

import csvimport requests
from bs4 import BeautifulSoup
import pandas as pd  # 导入pandas库# 设置请求头，避免被豆瓣屏蔽
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}# 获取豆瓣电影Top250的前五页数据
base_url = "https://movie.douban.com/top250"
movie_list = []# 发送请求获取网页内容
def get_page(url):response = requests.get(url, headers=headers)return response.text# 解析网页内容并提取电影信息
def parse_page(html):soup = BeautifulSoup(html, 'html.parser')movies = soup.find_all('div', class_='item')for movie in movies:title = movie.find('span', class_='title').textrating = movie.find('span', class_='rating_num').textdirector_actors = movie.find('div', class_='bd').find('p').text.strip().split("\n")[:2]director = director_actors[0]actors = director_actors[1] if len(director_actors) > 1 else ''# 处理电影类型，避免找不到的情况genre_tag = movie.find('span', class_='genre')movie_type = genre_tag.text.strip() if genre_tag else '未知'# 处理电影年份year_tag = movie.find('div', class_='bd').find('p').text.strip().split("\n")[0]# 构建电影信息字典movie_info = {'title': title,'rating': rating,'director': director,'actors': actors,'year': year_tag,'type': movie_type}# 将电影信息添加到列表中movie_list.append(movie_info)# 爬取豆瓣电影Top250的所有页面
def main():# 遍历前5页的豆瓣Top250for start in range(0, 250, 25):url = f"{base_url}?start={start}"html = get_page(url)parse_page(html)# 输出结果for movie in movie_list:print(movie)def save_to_csv():keys = movie_list[0].keys()  # 获取电影数据字典的键（即列名）# 写入CSV文件with open('douban_top250.csv', 'w', newline='', encoding='utf-8-sig') as output_file:dict_writer = csv.DictWriter(output_file, fieldnames=keys)dict_writer.writeheader()  # 写入列名dict_writer.writerows(movie_list)  # 写入电影数据# 主函数
if __name__ == "__main__":main()save_to_csv()print("爬取完成，数据已保存到 douban_top250.csv")

🪲运行效果

运行上述代码后，你将会得到一个名为douban_top250.csv的文件，文件内容如下所示：

在这里插入图片描述

下图是保存为csv文件的格式，这里注意encoding=‘utf-8-sig’，encoding如果等于utf-8，那么直接双击csv文件会乱码的

在这里插入图片描述

🪲总结

本文主要介绍了如果使用简单的爬虫进行数据的爬取，这里主要进行豆瓣电影Top250的数据爬取，我们使用的库就是requests、bs4、pandas、csv等库，本节主要重在案例的实践，还想了解更多的爬虫案例可以关注我的专栏

Python爬虫五十个小案例：https://blog.csdn.net/null18/category_12840403.html?fromshare=blogcolumn&sharetype=blogcolumn&sharerId=12840403&sharerefer=PC&sharesource=null18&sharefrom=from_link

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/479813.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

多目标优化算法——多目标粒子群优化算法（MOPSO）

多目标优化算法——多目标粒子群优化算法（MOPSO）

Handling Multiple Objectives With Particle Swarm Optimization（多目标粒子群优化算法） 一、摘要： 本文提出了一种将帕累托优势引入粒子群优化算法的方法，使该算法能够处理具有多个目标函数的问题。与目前其他将粒子群算法扩展…
阅读更多...
C++设计模式——Singleton单例模式

C++设计模式——Singleton单例模式

一、单例模式的定义 单例模式，英文全称Singleton Pattern，是一种创建型设计模式，它保证一个类在程序中仅有一个实例，并对外提供一个访问的该类实例的全局接口。 单例模式通常用于需要控制对象资源的开发场景，一个类…
阅读更多...
Python学习35天

Python学习35天

# 定义父类 class Computer: CPUNone MemoryNone diskNone def __init__(self,CPU,Memory,disk): self.disk disk self.Memory Memory self.CPU CPU def get_details(self): return f"CPU:{self.CPU}\tdisk:{self.disk}\t…
阅读更多...
＜项目代码＞YOLOv8 停车场空位识别＜目标检测＞

＜项目代码＞YOLOv8 停车场空位识别＜目标检测＞

YOLOv8是一种单阶段（one-stage）检测算法，它将目标检测问题转化为一个回归问题，能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法（如Faster R-CNN），YOLOv8具有更高的…
阅读更多...
mac下Gpt Chrome升级成GptBrowser书签和保存的密码恢复

mac下Gpt Chrome升级成GptBrowser书签和保存的密码恢复

cd /Users/自己的用户名/Library/Application\ Support/ 目录下有 GPT\ Chrome/ Google/ GptBrowser/ GPT\ Chrome 为原来的chrome浏览器的文件存储目录. GptBrowser 为升级后chrome浏览器存储目录 书签所在的文件 Bookmarks 登录账号Login 相关的文件 拷贝到GptBrow…
阅读更多...
GB28181系列二：SIP信令

GB28181系列二：SIP信令

我的音视频/流媒体开源项目(github) GB28181系列目录 目录 一、SIP报文介绍 二、SIP交互流程： 1、Session Model 2、Pager Model 3、SIP信令交互过程中的3个定义 三、媒体传输（SDP和RTP） 一、SIP报文介绍 这里将会介绍SIP…
阅读更多...
ViSTa：一个包含4000多个视频和逐步描述的层次化数据集，用于评估VLMs在不同复杂性任务中的表现。

ViSTa：一个包含4000多个视频和逐步描述的层次化数据集，用于评估VLMs在不同复杂性任务中的表现。

2024-11-22，由Google DeepMind和MATS机构创建的ViSTa数据集，为评估视觉语言模型（VLMs）在理解基于顺序的任务方面的能力提供了新的视角，这对于强化学习中的成本降低和安全性提升具有重要意义。 数据集地址：…
阅读更多...
区块链：波场-TRON链

区块链：波场-TRON链

注意： 1、调试时请将所有的API地址都换成 https://api.trongrid.io 以免报错等问题 https://api.trongrid.io 主网 (Mainnet) 适用于生产环境 https://api.shasta.trongrid.io 测试网 (Shasta) 适用于开发者测试 https://nile.trongrid.io 测试网 (Nile) …
阅读更多...
【适配】屏幕拖拽-滑动手感在不同分辨率下的机型适配

【适配】屏幕拖拽-滑动手感在不同分辨率下的机型适配

接到一个需求是类似下图的3D多房间视角，需要拖拽屏幕 问题 在做这种屏幕拖拽的时候发现，需要拖拽起来有跟手的感觉，会存在不同分辨率机型的适配问题。 即：美术调整好了机型1的手感，能做到手指按下顶层地板上下挪动&…
阅读更多...
比特币libsecp256k1中safegcd算法形式化验证完成

比特币libsecp256k1中safegcd算法形式化验证完成

1. 引言 比特币和其他链（如 Liquid）的安全性取决于 ECDSA 和 Schnorr 签名等数字签名算法的使用。Bitcoin Core 和 Liquid 都使用名为 libsecp256k1 的 C 库来提供这些数字签名算法，该库以其所运行的椭圆曲线命名。这些算法利用一种称为modu…
阅读更多...
『VUE』elementUI dialog的子组件created生命周期不刷新（详细图文注释）

『VUE』elementUI dialog的子组件created生命周期不刷新（详细图文注释）

目录 1. 测试代码分析令人迷惑的效果 分析原因解决方法 如何在dialog中反复触发created呢?总结 欢迎关注 『VUE』 专栏，持续更新中 欢迎关注 『VUE』 专栏，持续更新中 主要是在做表单的时候想要有一个编辑表单在dialog弹窗中出现,同时dialog调用的封装的…
阅读更多...
深入探讨 Redis 持久化机制：原理、配置与优化策略

深入探讨 Redis 持久化机制：原理、配置与优化策略

文章目录 一、引言二、Redis持久化概述三、RDB（Redis DataBase）持久化1、RDB概念与工作原理2、RDB的配置选项3、RDB优化配置项4、RDB的优势与劣势 三、AOF（Append-Only File）持久化1、AOF概念与工作原理2、AOF的三种写回策略3、Re…
阅读更多...
使用爬虫时，如何确保数据的准确性？

使用爬虫时，如何确保数据的准确性？

在数字化时代，数据的准确性对于决策和分析至关重要。本文将探讨如何在使用Python爬虫时确保数据的准确性，并提供代码示例。 1. 数据清洗 数据清洗是确保数据准确性的首要步骤。在爬取数据后，需要对数据进行清洗，去除重复、无效和…
阅读更多...
（计算机网络）期末

（计算机网络）期末

计算机网络概述 物理层 信源就是发送方 信宿就是接收方 串行通信--一次只发一个单位的数据（串行输入） 并行通信--一次可以传输多个单位的数据 光纤--利用光的反射进行传输 传输之前，要对信源进行一个编码，收到信息之后要进行一个…
阅读更多...
111. UE5 GAS RPG 实现角色技能和场景状态保存到存档

111. UE5 GAS RPG 实现角色技能和场景状态保存到存档

实现角色的技能存档保存和加载 首先，我们在LoadScreenSaveGame.h文件里，增加一个结构体，用于存储技能相关的所有信息 //存储技能的相关信息结构体 USTRUCT(BlueprintType) struct FSavedAbility {GENERATED_BODY()//需要存储的技能UPROPERT…
阅读更多...
Js-对象-04-Array

Js-对象-04-Array

重点关注：Array String JSON BOM DOM Array Array对象时用来定义数组的。常用语法格式有如下2种： 方式1： var 变量名 new Array(元素列表); 例如： var arr new Array(1,2,3,4); //1,2,3,4 是存储在数组中的数据&#xff0…
阅读更多...
【Flink-scala】DataStream编程模型之 窗口的划分-时间概念-窗口计算程序

【Flink-scala】DataStream编程模型之 窗口的划分-时间概念-窗口计算程序

DataStream编程模型之 窗口的划分-时间概念-窗口计算程序 1. 窗口的划分 1.1 窗口分为：基于时间的窗口 和 基于数量的窗口 基于时间的窗口：基于起始时间戳 和终止时间戳来决定窗口的大小 基于数量的窗口：根据固定的数量定义窗口 的大小 这…
阅读更多...
Java代码操作Zookeeper（使用 Apache Curator 库）

Java代码操作Zookeeper（使用 Apache Curator 库）

1. Zookeeper原生客户端库存在的缺点 复杂性高：原生客户端库提供了底层的 API，需要开发者手动处理很多细节，如连接管理、会话管理、异常处理等。这增加了开发的复杂性，容易出错。连接管理繁琐：使用原生客户端库时&…
阅读更多...
linux系统下如何将xz及ISO\img等格式压缩包（系统）烧写到优盘（TF卡）

linux系统下如何将xz及ISO\img等格式压缩包（系统）烧写到优盘（TF卡）

最近用树莓派做了个NAS，效果一般，缺少监控及UI等，详细见这篇文章： https://blog.csdn.net/bugsycrack/article/details/135344782?spm1001.2014.3001.5501 所以下载了专门的基于树莓派的NAS系统直接使用。这篇文章是顺便复习一…
阅读更多...
带有悬浮窗功能的Android应用

带有悬浮窗功能的Android应用

android api29 gradle 8.9 要求 布局文件 (floating_window_layout.xml): 增加、删除、关闭按钮默认隐藏。使用“开始”按钮来控制这些按钮的显示和隐藏。 服务类 (FloatingWindowService.kt): 实现“开始”按钮的功能，点击时切换增加、删除、关闭按钮的可见性。处…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023