【代码】Python3｜Scrapy框架初探（汽车之家大连市二手车车辆数据爬取、清洗与可视化）

本篇主要是整个项目的介绍，没提到太多琐碎的技术细节，以后有空的话会整理一下 Scrapy 和原生爬虫的差异，还有它坑人的一些地方，单发出来。

开源地址：https://github.com/shandianchengzi/car_home_spider

使用说明：切换到autohome_spider目录下，运行run.bat。

文章目录

  • 汽车之家大连市二手车车辆数据爬取、清洗与可视化
    • 一、项目简介
    • 二、项目架构
      • 1）运行环境
      • 3）系统架构图
      • 4）数据库设计
    • 三、项目核心代码说明
      • 1）Scrapy框架数据爬取
      • 2）Pandas数据清洗与可视化
      • 3）Matplotlib数据可视化
    • 四、项目运行截图
      • 1） 爬虫结果截图
      • 2） 持久化存储结果截图
      • 3） 可视化分析图形截图
    • 五、总结
    • 六、参考资料

汽车之家大连市二手车车辆数据爬取、清洗与可视化

一、项目简介

本项目旨在通过网络爬虫技术，从“汽车之家”网站的二手车频道自动抓取各类汽车的详细信息，包括品牌、车型、价格、公里数、上牌时间等，然后利用Pandas库对数据进行清洗和可视化分析，为用户提供直观的数据展示和分析结果。通过本项目，用户可以了解到大连市二手车市场的价格分布、常购品牌等信息，为购车提供参考依据。

二、项目架构

1）运行环境

  1. 硬件系统：Intel Core i7, 16GB RAM, NVIDIA GeForce GTX 1050 Ti
  2. 操作系统：Windows 10, Version 20H2
  3. 软件版本：Python 3.8.5, SQLite 3.31.1, Visual Studio Code 1.57.1
  4. 运行时刻：2024年7月13日 23:00

3）系统架构图

在这里插入图片描述

4）数据库设计

数据存入csv文件，包含字段：品牌、上市年份、车型、表显里程（公里）、上牌时间（年）、价格（万）、原厂保修时间、所属城市、链接。

三、项目核心代码说明

1）Scrapy框架数据爬取

爬取之前，先分析网站信息。

  1. 确定网页：在网上汽车之家能找到两个网页是卖二手车的，一个在产品库1里、另一个在二手车严选2上。结果显示，2024年7月13日，产品库中的车源更多，有2714条；而二手车严选里只有1934条。因此，本项目选择产品库中的结果。

  2. 确定请求方式：打开开发者工具并刷新，然后搜索页面上的任意车辆的名称，检查返回的结果对应的请求。结果表明，请求方式为Get，请求的就是网站的链接，同时，没有传递任何Get参数。

  3. 确定传参模式：

    1. 筛选机制：注意到网页本身拥有排序功能，这样之后就不需要额外排序。它的排序选项不在参数中，在链接中，比较小众。比如a0_0msdgscncgpi1ltocsp2ex/
      对应默认排序，a0_0msdgscncgpi1lto2cspex/
      对应价格降序。

    2. 翻页机制：产品库的二手车页面中，页码也在链接中。比如a0_0msdgscncgpi1lto2csp1ex/对应第一页，a0_0msdgscncgpi1lto2csp2ex/对应第二页。

  4. 确定结果格式：由于他返回的就是网页，没有json之类的额外信息，所以爬取的结果就是网页上能看到的结果。分析页面内容，可知包含的信息为“品牌”、“上市年份”、“车型”、“实物图”、“表显里程”、“上牌时间”、“价格”、“原厂保修时间”、“所属城市”和详细信息的访问链接。观察到图片采用了懒加载技术，需要额外请求别的链接才能返回，加之数据分析时并不需要图片，因此干脆去掉实物图这一个信息。

  5. 额外注意事项：特别坑的一点是，页数超过100页时会自动重定向回到100页，而不是返回空，这样代码中加空判断就无法真正停止下来。这里得额外写一个100页的判断。而且也因为这个，最多返回结果数量2400条。考虑到总共也只有2714条，可以认为该数量是可以接受的，因此不更改筛选条件重新跑了。

分析好了这些内容之后，再开始用Scrapy写爬虫，代码如下：

  1. Spider中数据爬取解析：
class AutohomeSpider(scrapy.Spider):name = 'autohome_spider'allowed_domains = ['autohome.com.cn']base_url = 'https://car.autohome.com.cn/2sc/dalian/a0_0msdgscncgpi1lto2csp{}ex/'page = 1start_urls = ['https://car.autohome.com.cn/2sc/dalian/a0_0msdgscncgpi1lto2csp1ex/']def parse(self, response):xml = lxml.etree.HTML(response.text)piclist = xml.xpath('//div[@class="piclist"]/ul/li')if len(piclist) == 0 or self.page > 100: # max page 100returnfor car in piclist:try:l = ItemLoader(item=AutohomeItem())title = car.xpath('div[@class="title"]/a/text()')[0]title_href = car.xpath('div[@class="title"]/a/@href')[0]somethings = title.split(' ', 2)if len(somethings) != 3:with open('error.log', 'a') as f:f.write(title + '\n')continue# 获得icon_list里所有a标签的title属性并拼接非空的为字符串icon_list = car.xpath('div[@class="icon-list"]/a')city = car.xpath('div[@class="icon-list"]/span/span/text()')[0]icons_info = []for icon in icon_list:icon_info = icon.xpath('@title')if icon_info:icons_info.extend(icon_info)icons_info = ', '.join(icons_info)# 用ItemLoader加载数据l.add_value('brand', somethings[0])l.add_value('year', somethings[1])l.add_value('model', somethings[2])l.add_value('mileage', getNumberAndFloat(car.xpath('*/div[@class="detail-l"]/p[1]/text()')[0]))l.add_value('registration_time', getNumberAndFloat(car.xpath('*/div[@class="detail-l"]/p[2]/text()')[0]))l.add_value('price', car.xpath('*/div[@class="detail-r"]/span/text()'))l.add_value('warranty_time', icons_info)l.add_value('city', city)l.add_value('link', "https:" + title_href)yield l.load_item()except Exception as e:# skip no full information carpass# 下一页self.page += 1new_url = self.base_url.format(self.page)yield scrapy.Request(new_url, callback=self.parse)
  1. Pipeline中做数据存储：
class AutohomeSpiderPipeline:def open_spider(self, spider):self.file = open('autohome.csv', 'w', newline='', encoding='utf-8')self.writer = csv.DictWriter(self.file, fieldnames=['brand', 'year', 'model', 'mileage', 'registration_time', 'price', 'warranty_time', 'city', 'link'])# ['品牌', '上市年份', '车型', '表显里程（公里）', '上牌时间（年）', '价格（万）', '原厂保修时间', '所属城市', '链接']self.writer.writeheader()def close_spider(self, spider):self.file.close()def process_item(self, item, spider):# let item: {field: [value]} to {field: value}item = {k: v[0] for k, v in item.items()}self.writer.writerow(item)return item

2）Pandas数据清洗与可视化

数据清洗主要是将错误的数据修改正确或者删除，以便进一步分析。我在爬虫代码的解析过程中，对品牌的解析有误，有一些品牌的名称，本身就带空格，我用空格做分割，导致该列被解析到下一列中。代码如下：

# 数据清洗
df.drop_duplicates(inplace=True) # 去重
df.dropna(subset=['brand'], inplace=True) # 去掉品牌为空的数据
# 合并前三列的数据形成字符串，用正则重新解析，查找"xxxx款"，该字符串前面的是brand，后面的是model，中间的是year
df['brand_model_year'] = df['brand'] + df['year'] + df['model'] # 辅助列
df['brand'] = df['brand_model_year'].str.extract(r'^(.*?)(\d{4}款)(.*)')[0]
df['year'] = df['brand_model_year'].str.extract(r'^(.*?)(\d{4}款)(.*)')[1]
df['model'] = df['brand_model_year'].str.extract(r'^(.*?)(\d{4}款)(.*)')[2]
df.drop(columns=['brand_model_year'], inplace=True)
df['year'] = df['year'].replace('款', '', regex=True)
# 如果原厂保修时间为空，填充为0
df['warranty_time'].fillna('0', inplace=True)
df.to_csv(result_path, index=False, encoding='gbk') # for windows excel

3）Matplotlib数据可视化

多角度可视化代码如下：

# 数据可视化
df.columns = ['品牌', '上市年份', '车型', '表显里程（公里）', '上牌时间（年）', '价格（万）', '原厂保修时间', '所属城市', '链接']
# 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 1. 各种数据的占比统计，全画在一张图上
plt.figure(figsize=(20, 10))
# 1.1 价格分布(只做0~200万的)
plt.subplot(2, 2, 1)
sns.histplot(df['price'], bins=20, kde=True)
plt.xlim(0, 200)
plt.title('价格分布')
# 1.2 里程分布
plt.subplot(2, 2, 2)
sns.histplot(df['mileage'], bins=20, kde=True)
plt.title('里程分布')
# 1.3 品牌分布（前20，扇形图，不要x和y的label）
plt.subplot(2, 2, 3)
df['brand'].value_counts().head(20).plot.pie(autopct='%1.1f%%')
plt.ylabel('')
plt.title('品牌数量分布（前20）')
# 1.4 车型分布(前10，扇形图，不要x和y的label)
plt.subplot(2, 2, 4)
df['model'].value_counts().head(10).plot.pie(autopct='%1.1f%%')
plt.ylabel('')
plt.title('车型数量分布（前10）')
plt.savefig(os.path.join(imgs_dir, '各种数据的占比统计.png'))
# 2 时间分析
plt.figure(figsize=(20, 10))
# 2.1 上牌时间分布
plt.subplot(1, 2, 1)
sns.histplot(df['registration_time'], bins=20, kde=True)
plt.title('上牌时间分布')
# 2.2 上市年份分布
plt.subplot(1, 2, 2)
sns.histplot(df['year'], bins=20, kde=True)
plt.title('上市年份分布')
plt.savefig(os.path.join(imgs_dir, '时间分析.png'))
# 3. 保修存在性与其他数据的关系，标好图例
plt.figure(figsize=(20, 10))
# 3.1 保修存在占比（1表示存在，0表示不存在，扇形图）
plt.subplot(2, 2, 1)
df['warranty_time_exist'].value_counts().plot.pie(autopct='%1.1f%%')
plt.legend(['无保修', '有保修'])
plt.ylabel('')
plt.title('保修存在占比')
# 3.2 保修存在与价格的关系
plt.subplot(2, 2, 2)
sns.boxplot(x='warranty_time_exist', y='price', data=df)
plt.xticks([0, 1], ['无保修', '有保修'])
plt.title('保修存在与价格的关系')
# 3.3 保修存在与里程的关系
plt.subplot(2, 2, 3)
sns.boxplot(x='warranty_time_exist', y='mileage', data=df)
plt.xticks([0, 1], ['无保修', '有保修'])
plt.title('保修存在与里程的关系')
# 3.4 保修存在与上牌时间的关系
plt.subplot(2, 2, 4)
sns.boxplot(x='warranty_time_exist', y='registration_time', data=df)
plt.xticks([0, 1], ['无保修', '有保修'])
plt.title('保修存在与上牌时间的关系')
plt.savefig(os.path.join(imgs_dir, '保修是否存在与其他数据的关系.png'))

四、项目运行截图

1） 爬虫结果截图

在这里插入图片描述

2） 持久化存储结果截图

在这里插入图片描述

3） 可视化分析图形截图

价格、里程、品牌和车型数量分布可视化

在这里插入图片描述

上牌时间和上市时间分布

在这里插入图片描述

保修的存在性与价格、里程和上牌时间的关联

在这里插入图片描述

五、总结

通过本项目，我学习并掌握了网络爬虫的基本原理和方法，以及如何利用Python进行数据处理和可视化分析。在项目中，我使用Scrapy框架爬取了汽车之家网站的二手车信息，然后利用Pandas库对数据进行清洗和整理，最后使用Matplotlib库对数据进行可视化分析。通过这个项目，我不仅提高了自己的数据处理和分析能力，还为大连市二手车市场的价格分布、常购品牌等信息提供了直观的展示和分析结果，为购车提供了参考依据。

以上都是套话，下附真实的总结：
这次发现 scrapy 自带 pipeline 挺不错的，比我自己直接写一个强远了，而且报错日志什么的也很方便。不过这个网站反爬太少，header啥的根本不用加，这块我就还没学到。框架的坏处也有，很多东西一个 requests 改改参数能解决这个偏偏是类的函数，得诡异地设置一些东西去传递参数，还难写结束条件。

六、参考资料

  • Requests官方文档：https://docs.python-requests.org/en/master/

  • BeautifulSoup官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

  • 通义千问AI问答：https://lxblog.com/qianwen/share?shareId=6f7c1cba-e39f-4e1e-8b59-b7477e346fa9

  • Scrapy笔记（5）- Item详解_scrapy
    item-CSDN博客：https://blog.csdn.net/sdulsj/article/details/52984619#SnippetTab

  • Python爬虫实战+数据分析+数据可视化（汽车之家）_基于大数据技术对汽车交易的可视化分析汽车之家-CSDN博客：https://blog.csdn.net/qq_45821420/article/details/115366180

  • python爬虫学习笔记-scrapy框架之start_url_scrapy的start
    url-CSDN博客：https://blog.csdn.net/weixin_42672765/article/details/85380212

  1. https://car.autohome.com.cn/2sc/dalian/a0_0msdgscncgpi1lto2csp1ex/ ↩︎

  2. https://www.che168.com/dalian/list/#pvareaid=100945 ↩︎

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/385861.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Vue3扁平化Tree组件的前端分页实现

Vue3扁平化Tree组件的前端分页实现

大家好，我是小卷。得益于JuanTree的扁平化设计，在数据量很大的情况下除了懒加载，使用前端分页也是一种解决渲染性能问题的可选方案。 用法 要实现的文档： 分页效果： 实现 新增属性： 组件setup方法中新增…
阅读更多...
科普文：万字梳理31个Kafka问题

科普文：万字梳理31个Kafka问题

1、 kafka 是什么,有什么作用 2、Kafka为什么这么快 3、Kafka架构及名词解释 4、Kafka中的AR、ISR、OSR代表什么 5、HW、LEO代表什么 6、ISR收缩性 7、kafka follower如何与leader同步数据 8、Zookeeper 在 Kafka 中的作用（早期） 9、Kafka如何快…
阅读更多...
MobaXterm 软件安装及使用

MobaXterm 软件安装及使用

MobaXterm 软件安装及使用 1. 引言 MobaXterm是一款功能强大的终端软件，支持SSH、Telnet、RDP、VNC、FTP、SFTP、X11转发和串口等远程会话功能。它使得在Windows系统上进行Linux系统的远程管理和文件传输变得简单便捷。 2. MobaXterm 软件下载 下载链接&#xff…
阅读更多...
Python数值计算（13）

Python数值计算（13）

1. 数学知识 虽然在给定了N个点以后，通过这个点的最小幂多项式是确定的，但是表达方式可不止一种，例如前面提到的系数方式，根方式，还有插值的Lagrange形式等。这里介绍另外一种表达方式： 显然这个式子最高次…
阅读更多...
CTF ssrf 基础入门 （一）

CTF ssrf 基础入门 （一）

0x01 引言 我发现我其实并不是很明白这个东西，有些微妙，而且记忆中也就记得Gopherus这个工具了，所以重新学习了一下，顺便记录一下吧 0x02 辨别 我们拿到一个题目，他的名字可能就是题目类型，但是也有可能…
阅读更多...
Java小抄｜Java中的List与Map转换

Java小抄｜Java中的List与Map转换

文章目录 1 List<User> 转Map<User.id,User>2 基础类型的转换&#xff1a;List < Long> 转 Map<Long,Long> 1 List 转Map<User.id,User> Map<Long, User> userMap userList.stream().collect(Collectors.toMap(User::getId, v -> v, …
阅读更多...
一个优秀的团队里，往往都有这几种人

一个优秀的团队里，往往都有这几种人

“独木不成林&#xff0c;单弦难成曲”&#xff0c;一个优秀的团队&#xff0c;需要团队成员之间形成紧密的合作关系&#xff0c;充分发挥各自的优势和特长时&#xff0c;在各自的岗位发光发热&#xff0c;共同推动团队不断向前发展。一个优秀的团队中不可或缺的几个关键角色&a…
阅读更多...
视觉SLAM第二讲

视觉SLAM第二讲

SLAM分为定位和建图两个问题。 定位问题 定位问题是通过传感器观测数据直接或间接求解位置和姿态。 通常可以分为两类&#xff1a;基于已知地图的定位和基于未知地图的定位。 基于已知地图的定位 利用预先构建的地图&#xff0c;结合传感器数据进行全局定位。SLAM中的全局…
阅读更多...
【计算机网络原理】网络层IP协议的总结和数据链路层以太网协议的总结.

【计算机网络原理】网络层IP协议的总结和数据链路层以太网协议的总结.

˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好&#xff0c;我是xiaoxie.希望你看完之后,有不足之处请多多谅解&#xff0c;让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN 如…
阅读更多...
Oat++ 后端实现跨域

Oat++ 后端实现跨域

这里记录在官方的例子中&#xff0c;加入跨域。Oat Example-CRUD 在官方的例子中&#xff0c;加入跨域。 Oat Example-CRUD 修改AppComponent.hpp文件中的代码&#xff0c;如下&#xff1a; #include "AppComponent.hpp"#include "controller/UserController…
阅读更多...
服务器数据恢复—raid信息丢失导致RAID无法被识别的数据恢复案例

服务器数据恢复—raid信息丢失导致RAID无法被识别的数据恢复案例

服务器数据恢复环境&故障&#xff1a; 某单位机房搬迁&#xff0c;将所有服务器和存储搬迁到新机房并重新连接线路&#xff0c;启动所有机器发现其中有一台服务器无法识别RAID&#xff0c;提示未做初始化操作。 发生故障的这台服务器安装LINUX操作系统&#xff0c;配置了NF…
阅读更多...
【虚拟化】KVM概念和架构

【虚拟化】KVM概念和架构

目录 一、什么是KVM&#xff1f; 二、KVM的功能 2.1 主要的功能 2.2 其它功能 三、KVM核心组件及作用 四、KVM与VMware的优势 五、KVM架构 六、qemu介绍 七、创建虚拟机流程 一、什么是KVM&#xff1f; Kernel-based Virtual Machine的简称&#xff0c;KVM 是基于虚拟…
阅读更多...
数字看板：跨行业需求下的创新与升级

数字看板：跨行业需求下的创新与升级

在当今这个数据驱动的时代&#xff0c;数字看板作为信息展示与决策支持的重要工具&#xff0c;正逐步渗透到各行各业之中。从智慧城市到智能制造&#xff0c;从金融分析到医疗健康&#xff0c;数字看板以其直观、动态、高效的特点&#xff0c;成为了连接数据与决策者的桥梁。本…
阅读更多...
代码的魔力：Jupyter Notebook从零开始的探索之旅

代码的魔力：Jupyter Notebook从零开始的探索之旅

1. Jupyter Notebook&#xff1a;探索无限的可能 1.1 Jupyter Notebook的简介 Jupyter Notebook是一个开源的Web应用程序&#xff0c;让你能够创建和共享文档&#xff0c;这些文档可以包含实时代码、数学方程、可视化以及叙述性文本。其名字来源于它支持的三种核心编程语言&am…
阅读更多...
【Linux】-----工具篇（自动化构建工具make/makefile）

【Linux】-----工具篇（自动化构建工具make/makefile）

目录 前言 一、是什么&#xff1f; 二、怎么样的&#xff1f; 三、原理及细节 图解代码 细节1&#xff1a;make工作规则 ①依赖文件存在 ②依赖文件不存在 ③依赖文件列表为空(特殊) .PHONY关键字 细节2&#xff1a;makefile识别程序需要重新编译&#xff1f; 四、…
阅读更多...
【PyTorch】基于YOLO的多目标检测项目（二）

【PyTorch】基于YOLO的多目标检测项目（二）

【PyTorch】基于YOLO的多目标检测项目&#xff08;一&#xff09; 【PyTorch】基于YOLO的多目标检测项目&#xff08;二&#xff09; YOLO-v3网络由跨距为2的卷积层、跳跃连接层和上采样层组成&#xff0c;没有池化层。网络接收一幅416 * 416的图像作为输入&#xff0c;并提供三…
阅读更多...
pytest 测试框架中 setup、teardown 方法不生效

pytest 测试框架中 setup、teardown 方法不生效

pytest 测试框架中 setup、teardown 方法不生效 源码有改动&#xff1a; 将 setup、teardown改为&#xff1a;setup_method、teardown_method 可生效 def setup_method(self):print("测试用例执行前的初始化,如&#xff1a;打开浏览器,加载网页...")def setup_class…
阅读更多...
动手学深度学习V2每日笔记（模型选择+过拟合和欠拟合）

动手学深度学习V2每日笔记（模型选择+过拟合和欠拟合）

本文主要参考沐神的视频教程 https://www.bilibili.com/video/BV1K64y1Q7wu/?spm_id_from333.788.recommend_more_video.0&vd_sourcec7bfc6ce0ea0cbe43aa288ba2713e56d 文档教程 https://zh-v2.d2l.ai/ 本文的主要内容对沐神提供的代码中个人不太理解的内容进行笔记记录&a…
阅读更多...
算法日记day 20（中序后序遍历序列构造二叉树|最大、合并、搜索二叉树）

算法日记day 20（中序后序遍历序列构造二叉树|最大、合并、搜索二叉树）

一、中序后序序列构造二叉树 题目&#xff1a; 给定两个整数数组 inorder 和 postorder &#xff0c;其中 inorder 是二叉树的中序遍历&#xff0c; postorder 是同一棵树的后序遍历&#xff0c;请你构造并返回这颗 二叉树 。 示例 1: 输入&#xff1a;inorder [9,3,15,20,…
阅读更多...
自定义 RAG 工作流：在 IDE 中结合 RAG 编排，构建可信的编码智能体

自定义 RAG 工作流：在 IDE 中结合 RAG 编排，构建可信的编码智能体

构建编码智能体并非一件容易的事。结合我们在 AutoDev、ArchGuard Co-mate、ChocoBuilder 等智能体项目的经验&#xff0c;我们开始思考在 Shire 语言中提供一种新的 RAG 工作流。结合我们先前构建的 IDE 基础设施&#xff08;代码生成、代码校验、代码执行等接口&#xff09;&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023