爬虫项目实战：利用基于selenium框架的爬虫模板爬取豆瓣电影Top250

  • 👋 Hi, I’m @货又星
  • 👀 I’m interested in …
  • 🌱 I’m currently learning …
  • 💞 I’m looking to collaborate on …
  • 📫 How to reach me …
    • README 目录（持续更新中） 各种错误处理、爬虫实战及模板、百度智能云人脸识别、计算机视觉深度学习CNN图像识别与分类、PaddlePaddle自然语言处理知识图谱、GitHub、运维…
    • WeChat：1297767084
    • GitHub：https://github.com/cxlhyx

文章目录

  • 概要
  • 整体架构流程
  • 技术细节
    • *Step 2: 解析网页并提取目标数据*
    • *Step 3: 存储数据到本地或其他持久化存储服务器中*
    • *Step 4: 控制流程，调用上述函数完成数据抓取任务*
  • 结果
  • 源码

概要

利用基于selenium框架的爬虫模板进行项目实战
博主之前发了一篇爬虫：解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题（含爬虫模板），介绍了爬虫如何解决动态刷新、基于selenium框架的爬虫、如何解决登录以及验证吗问题，以及分享了爬虫的源码：爬虫模板、基于selenium框架的爬虫模板（包含登录与验证码问题）、爬虫项目实战：爬虫模板爬取单位净值 (动态更新网址)。

还利用了爬虫模板来进行简单的入门项目：爬取豆瓣图书Top250。爬虫项目实战：利用爬虫模板爬取豆瓣图书Top250

今天我们利用基于selenium框架的爬虫模板进行另外一个简单的入门项目：爬取豆瓣电影Top250。流程基本上是一样的，但使用selenium框架我们可以解决某些看得到源码，使用request库却爬取不到的情况。

整体架构流程

整体架构流程基于selenium框架的爬虫模板
由于豆瓣电影没有使用太强的反爬机制，html源码利用F12打开开发人员工具看得到也爬得到，所以直接使用简单的爬虫模板也是可以的。但这了我们使用基于selenium框架的爬虫模板，模板请在概要或者源码的链接里自取。

技术细节

其实这里要做的与使用爬虫模板爬取豆瓣图书Top250是一样的，大家可以对比一下。
爬虫项目实战：利用爬虫模板爬取豆瓣图书Top250
需要做的修改：

  • Step 2: 解析网页并提取目标数据
  • Step 3: 存储数据到本地或其他持久化存储服务器中
  • Step 4: 控制流程，调用上述函数完成数据抓取任务

Step 2: 解析网页并提取目标数据

对爬取到的html源码进行解析，需要我们对html语言有一定的了解，可以简单了解一下HTML 教程- (HTML5 标准)，同时还需要对BeautifulSoup有了解，可以参考python爬虫之Beautifulsoup模块用法详解。
这里我们主要爬取电影的名称、人物时间地点类型、评分、简介。我们打开一个网页豆瓣电影 Top 250，F12打开开发人员工具，查看对应的html源码。
在这里插入图片描述

可以看到：

  1. 名称：有三种，中文名，外文名，别名。各自在一个span标签内，所以我们向上找它们的父标签，是一个链接标签a，不太方便查找，继续向上找，可以查找class为hd的div标签，然后在这个标签里去找class为title或other的span标签。注意到在外文名、别名前有 / ，爬取后会变成\xa0/\xa0，所以需要将他们去掉。
data_list = []
data_list.append([[j.text.replace("\xa0/\xa0", "") for j in i.find_all('span', ['title', 'other'])]for i in soup.find_all('div', 'hd')])  # 电影名
  1. 人物时间地点类型：在class为空的p标签里，所以只能向上找class为bd的div标签，然后再在这个标签里去找p标签。一样需要对爬取下来的字符串进行处理，包括\ 、\n、空格等等
    。
 wwww = []for i in soup.find_all('div', 'bd'):tmp = []for j in i.find('p', _class=''):text = j.text.replace("\xa0\xa0\xa0", '\\')text = text.replace("\xa0", "")text = text.replace("\n", "")text = text.replace(" ", "")if text != "" and text != '豆瓣':tmp.append(text)if len(tmp) != 0:wwww.append(tmp)data_list.append(wwww)  # who when where what
  1. 评分：由于评分所在的标签span，既有属性class=“rating_num”，又有property=“v:average”,所以很明显可以直接查找。
data_list.append([i.text for i in soup.find_all('span', {'class': "rating_num", 'property': "v:average"})])  # 评分
  1. 简介：在一个p标签里面，但它所在的span标签有class为inq，可以直接查找。不过比起其它三个，某些书没有这一项，所以有可能会对应不上，于是对于没有的，我们把它设为空。因此，我们也没办法直接查找span标签了，所以我们通过它的祖先标签div，class值为info间接搜索它，找到的直接添加在数据列表，没有就加空字符串。
 About = []for i in soup.find_all('div', 'info'):if i.find('span', 'inq'):About.append(i.find('span', 'inq').text)else:About.append(" ")data_list.append(About)  # 简介

Step 3: 存储数据到本地或其他持久化存储服务器中

在step2中，我们将爬取到250部电影的名字、人物时间地点类型、评分、简介分别存在一个列表当中，一共4个列表，再把它们放在一个大列表中。这一步要做的是就是把他们存储在txt或者其它文件当中，还是比较简单的，主要就是文件的读取而已。

与爬取图书稍有不同，电影名字可能有中文名，外文名，别名，也有可能只有中文名和别名，这里需要区分一下。还有就是人物时间地点类型，会分成两部分爬取，即人物、时间地点类型。评分与简介是一样的。

 with open("豆瓣电影Top250.txt", 'a', encoding='utf-8') as file:for i in range(25):if len(result_list[0][i]) == 2:file.write("Chinese name: " + result_list[0][i][0] + '\n')file.write("Other name: " + result_list[0][i][1] + '\n')elif len(result_list[0][i]) == 3:file.write("Chinese name: " + result_list[0][i][0] + '\n')file.write("Foreign name: " + result_list[0][i][1] + '\n')file.write("Other name: " + result_list[0][i][2] + '\n')file.write("Who: " + result_list[1][i][0] + '\n')file.write("When/Where/What: " + result_list[1][i][1] + '\n')file.write("Score: " + result_list[2][i] + '\n')file.write("About: " + result_list[3][i] + '\n')file.write('=' * 50 + '\n')

Step 4: 控制流程，调用上述函数完成数据抓取任务

与基于selenium框架的爬虫模板相比，这一步只需稍微修改，原因是豆瓣的每一页只有25部电影，而我们要爬取的是Top250的。那么如何解决呢，观察榜单的链接可以发现榜单的每一页的链接都只是在 https://movie.douban.com/top250?start= 的后面加上0、25…而已，所以简单遍历一下就可以了。
与爬取豆瓣图书Top250相比则在于需要打开关闭浏览器。

driver = webdriver.Firefox()  # 打开火狐浏览器
spider = MySpider()
url = "https://movie.douban.com/top250?start="
for page in trange(0, 250, 25):target_url = url + str(page)html_content = spider.get_html_content(target_url)if html_content:result_list = spider.parse_html(html_content)spider.store_data(result_list)else:print("网页访问失败")
driver.close()  # 关闭浏览器

结果

部分结果如图
在这里插入图片描述

源码

基于selenium框架的爬虫模板请看爬虫：解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题（含爬虫模板）

from selenium import webdriver  # 打开网页爬取源码
from bs4 import BeautifulSoup  # 解析源码
from tqdm import trangeclass MySpider():def __init__(self):pass# Step 1: 访问网页并获取响应内容def get_html_content(self, url):try:driver.get(url)driver.set_page_load_timeout(10)  # 设置超时限制10shtml_content = driver.page_source  # 网页内容return html_content  # 返回网页内容except Exception as e:print(f"网页请求异常：{e}")return None# Step 2: 解析网页并提取目标数据def parse_html(self, html_content):soup = BeautifulSoup(html_content, 'html.parser')  # 解析 html 数据# TODO：根据需求编写解析代码，并将结果保存到合适的数据结构中data_list = []data_list.append([[j.text.replace("\xa0/\xa0", "") for j in i.find_all('span', ['title', 'other'])]for i in soup.find_all('div', 'hd')])  # 电影名wwww = []for i in soup.find_all('div', 'bd'):tmp = []for j in i.find('p', _class=''):text = j.text.replace("\xa0\xa0\xa0", '\\')text = text.replace("\xa0", "")text = text.replace("\n", "")text = text.replace(" ", "")if text != "" and text != '豆瓣':tmp.append(text)if len(tmp) != 0:wwww.append(tmp)data_list.append(wwww)  # who when where whatdata_list.append([i.text for i in soup.find_all('span', {'class': "rating_num", 'property': "v:average"})])  # 评分About = []for i in soup.find_all('div', 'info'):if i.find('span', 'inq'):About.append(i.find('span', 'inq').text)else:About.append(" ")data_list.append(About)  # 简介return data_list# Step 3: 存储数据到本地或其他持久化存储服务器中def store_data(self, result_list):# TODO：编写存储代码，将数据结果保存到本地或其他服务器中with open("豆瓣电影Top250.txt", 'a', encoding='utf-8') as file:for i in range(25):if len(result_list[0][i]) == 2:file.write("Chinese name: " + result_list[0][i][0] + '\n')file.write("Other name: " + result_list[0][i][1] + '\n')elif len(result_list[0][i]) == 3:file.write("Chinese name: " + result_list[0][i][0] + '\n')file.write("Foreign name: " + result_list[0][i][1] + '\n')file.write("Other name: " + result_list[0][i][2] + '\n')file.write("Who: " + result_list[1][i][0] + '\n')file.write("When/Where/What: " + result_list[1][i][1] + '\n')file.write("Score: " + result_list[2][i] + '\n')file.write("About: " + result_list[3][i] + '\n')file.write('=' * 50 + '\n')# Step 4: 控制流程，调用上述函数完成数据抓取任务
if __name__ == '__main__':driver = webdriver.Firefox()  # 打开火狐浏览器spider = MySpider()url = "https://movie.douban.com/top250?start="for page in trange(0, 250, 25):target_url = url + str(page)html_content = spider.get_html_content(target_url)if html_content:result_list = spider.parse_html(html_content)spider.store_data(result_list)else:print("网页访问失败")driver.close()  # 关闭浏览器

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/204980.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

浏览器插api开发文档

浏览器插api开发文档

chrome谷歌浏览器开发文档
阅读更多...
软著项目推荐 深度学习二维码识别

软著项目推荐 深度学习二维码识别

文章目录 0 前言2 二维码基础概念2.1 二维码介绍2.2 QRCode2.3 QRCode 特点 3 机器视觉二维码识别技术3.1 二维码的识别流程3.2 二维码定位3.3 常用的扫描方法 4 深度学习二维码识别4.1 部分关键代码 5 测试结果6 最后 0 前言 🔥 优质竞赛项目系列，今天…
阅读更多...
Java后端开发——JDBC（万字详解）

Java后端开发——JDBC（万字详解）

Java后端开发——JDBC（万字详解） 今日目标 掌握JDBC的的CRUD理解JDBC中各个对象的作用掌握Druid的使用 1，JDBC概述 在开发中我们使用的是java语言，那么势必要通过java语言操作数据库中的数据。这就是接下来要学习的JDBC。 1.1 …
阅读更多...
GitHub桌面版

GitHub桌面版

GitHub桌面版 一、GitHub 桌面版二、clone 仓库三、更新仓库 一、GitHub 桌面版 二、clone 仓库 三、更新仓库
阅读更多...
Spring面向切面编程(AOP)；Spring控制反转(IOC)；解释一下Spring AOP里面的几个名词；Spring 的 IoC支持哪些功能

Spring面向切面编程(AOP)；Spring控制反转(IOC)；解释一下Spring AOP里面的几个名词；Spring 的 IoC支持哪些功能

文章目录 Spring面向切面编程(AOP)什么是AOPSpring AOP and AspectJ AOP 的区别？Spring AOP中的动态代理如何理解 Spring 中的代理？解释一下Spring AOP里面的几个名词Spring在运行时通知对象Spring切面可以应用5种类型的通知：什么是切面 Aspe…
阅读更多...
Modbus TCP

Modbus TCP

Modbus （👆 百度百科，放心跳转） 起源 Modbus 由 Modicon 公司于 1979 年开发，是一种工业现场总线协议标准。 Modbus 通信协议具有多个变种，支持串口，以太网多个版本，其中最著名的…
阅读更多...
一种方便、优美的使用Python调用fofa API的方法

一种方便、优美的使用Python调用fofa API的方法

免责声明：由于传播或利用此文所提供的信息、技术或方法而造成的任何直接或间接的后果及损失，均由使用者本人负责， 文章作者不为此承担任何责任。 学习网络安全的过程中，绕不开fofa搜索，我的需求是使用fofa获取互联网所…
阅读更多...
安防监控视频融合平台EasyCVR定制化页面开发

安防监控视频融合平台EasyCVR定制化页面开发

安防监控EasyCVR视频汇聚平台基于云边端智能协同，支持海量视频的轻量化接入与汇聚、转码与处理、全网智能分发、视频集中存储等。安防视频平台EasyCVR拓展性强，视频能力丰富，具体可实现视频监控直播、视频轮播、视频录像、云存储、回放与检索…
阅读更多...
牛客 算法题 【HJ102 字符统计】 golang实现

牛客 算法题 【HJ102 字符统计】 golang实现

题目 HJ102 字符统计 golang代码实现 package mainimport ("bufio""fmt""os""sort" )func main() {// str_arry :make([]string, 0)str_map : make(map[rune]int)result_map : make(map[int][]string)scanner : bufio.NewScanner(os…
阅读更多...
基于mvc电影院售票预订选座系统php+vue+elementui

基于mvc电影院售票预订选座系统php+vue+elementui

本影院售票系统主要包括二大功能模块，管理员功能模块和用户功能模块。 （1）管理员模块：系统中的核心用户管理员登录后，通过管理员功能来管理后台系统。主要功能有：首页、个人中心、电影类型管理、场次时间管…
阅读更多...
GitHub上8个强烈推荐的 Python 项目

GitHub上8个强烈推荐的 Python 项目

文章目录 前言1. Manim2. DeepFaceLab3. Airflow4. GPT-25. XSStrike6. 谷歌图片下载7. Gensim8. SocialMapper总结关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包项目源码合集①Python工具包②Python实战案例③…
阅读更多...
高等数学零基础篇复习笔记

高等数学零基础篇复习笔记

预备章 零基础高等数学入门知识 第一节 集合、运算与关系 第二节 三角函数与反三角函数 三角函数的公式 反三角函数 第三节 常见不等式及数列 划重点 第一章 函数、极限与连续 第一节 函数及函数的初等特性 特殊函数 反函数 函数的初等特性 ①有界性 ②奇偶性 偶函数图像…
阅读更多...
谈谈中间件设计的思路

谈谈中间件设计的思路

前言 想要设计和真正理解中间件的架构理论和思想。对于开发来说需要具备三个关键的能力 1：基础通用技术的深入理解和运用2：了解和熟悉常见中间件的设计思想，且有自己的感悟,并且能按照自己的理解模仿写一写3：业务的高度理解能力…
阅读更多...
京东API接口的接入（京东工业）

京东API接口的接入（京东工业）

在技术交流群，大家有探讨稳定获取京东商品主图、价格、标题，及sku的完整解决方案。这个引起了我技术挑战的兴趣。 目前，自己做了压测，QPS高、出滑块概率极低，API整体稳定，可满足业务场景的性能需求。 公共…
阅读更多...
Python - Real-ESRGAN 提升图像、视频清晰度 - 最高可达 4 K

Python - Real-ESRGAN 提升图像、视频清晰度 - 最高可达 4 K

目录 一.引言 二.Real-ESRGAN 理论 1.模型简介 2.经典退化模型 ◆ 退化过程全览 ◆ K - 高斯滤波 ◆ N - 噪声 ◆ ↓r - Resize ◆ jpeg - 压缩 3.高阶退化模型 4.环形和超调伪影 5.网络结构 ◆ ESRGAN 生成器 ◆ U-Net 鉴别器 三.Real-ESRGAN 实战 1.快速体验…
阅读更多...
解析javascript数组方法 find 和 filter 有何区别

解析javascript数组方法 find 和 filter 有何区别

首先用一个案例可以很直观的看到 find 和 filter 的区别； 相同点： 两者分别可以接受三个参数：当前元素、当前索引、整个数组；两者都可以用来查找数组中符合条件的元素； 不同点： find： 用于查…
阅读更多...
TypeScript 学习笔记 第二部分 webpack 创建typescript项目

TypeScript 学习笔记 第二部分 webpack 创建typescript项目

【视频链接】尚硅谷TypeScript教程（李立超老师TS新课） 创建webpack 项目 IDE：webstorm 新建一个空的项目运行npm init初始化项目目录结构 1. 安装 webpack：构建工具webpack-cli： webpack的命令行工具typescript&am…
阅读更多...
1、nmap常用命令

1、nmap常用命令

文章目录 1. 主机存活探测2. 常见端口扫描、服务版本探测、服务器版本识别3. 全端口（TCP/UDP）扫描4. 最详细的端口扫描5. 三种TCP扫描方式（1）TCP connect 扫描（2）TCP SYN扫描（3）TCP …
阅读更多...
golang学习笔记——罗马数字转换器

golang学习笔记——罗马数字转换器

文章目录 罗马数字转换器代码 参考LeetCode 罗马数字转整数代码 罗马数字转换器 编写一个程序来转换罗马数字（例如将 MCLX 转换成 1,160）。 使用映射加载要用于将字符串字符转换为数字的基本罗马数字。 例如，M 将是映射中的键，其值…
阅读更多...
蓝桥杯day01——根据给定数字划分数组

蓝桥杯day01——根据给定数字划分数组

题目描述 给你一个下标从 0 开始的整数数组 nums 和一个整数 pivot 。请你将 nums 重新排列，使得以下条件均成立： 所有小于 pivot 的元素都出现在所有大于 pivot 的元素 之前 。所有等于 pivot 的元素都出现在小于和大于 pivot 的元素 中间 。小于 piv…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023