【Python学习笔记】菜鸟教程Scrapy案例 + B站amazon案例视频

背景前摇（省流可以跳过这部分）

实习的时候厚脸皮请教了一位办公室负责做爬虫这块的老师，给我推荐了Scrapy框架。
我之前学过一些爬虫基础，但是用的是比较常见的BeautifulSoup和Request，于是得到Scrapy这个关键词后，先问了一下Kimi这些爬虫框架的区别和优劣：
以上内容由Kimi生成（非广告）
可以看出，BeautifulSoup适合学校教授课程用的小项目，但遇到大型的爬虫还是需要技术老师推荐的Scrapy。
时间充裕的话可以先从BeautifulSoup入门学起来。可以
以前BeautifulSoup我学的时候B站有个UP讲得挺好的，手把手教实操，结果今天一看都找不到视频了，实在是可惜。所以这次我学习Scrapy就决定把看到的好教程和遇到的问题都记下来。

菜鸟教程

链接：https://www.runoob.com/w3cnote/scrapy-detail.html
点此进入菜鸟教程
这个算是我看过的教程帖子里面比较通俗易懂、简明扼要又流程规范的了，当然也不是十全十美，跟着步骤操作还是会遇到一些小问题。

1.安装库

在这里插入图片描述

这一步没啥问题，正常按着步骤装就是，我电脑环境算是复杂的，都没遇到奇怪的报错。但是有条件的话建议装个Anaconda，然后为Scrapy专门建一个虚拟环境，免得日后跟其他库不兼容的情况发生。
以下步骤展示的是有Anaconda的情况下安装虚拟环境，没有Anaconda的可以跳过这步。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

从创建项目这一步开始，就可以和菜鸟教程介绍的流程第一步接上了。
在这里插入图片描述

菜鸟教程的第二步没什么问题，跟这做就行。
在这里插入图片描述

到了第三步这里，有一个地方需要做一点小改动。在这里插入图片描述

运行到这一步，会发现一直报一个莫名其妙的错误：
在这里插入图片描述
在这里插入图片描述
AI的方法并没有什么卵用，可见这错误多半不是我们该背的锅。
在这里插入图片描述

解决方案也很简单——将写入模式改为 ‘wb+’ 就不会报错了

参考链接：https://zoyi14.smartapps.cn/pages/note/index?origin=share&slug=b53ac2effb85&_swebfr=1&_swebFromHost=baiduboxapp
简书大神的回答
在这里插入图片描述

然后继续往下走菜鸟教程，直到执行完爬虫，这个时候应该文件目录里会存在一个html文件。
在这里插入图片描述
在这里插入图片描述

但是，千万不要双击该html文件直接打开！！否则你会惊喜地发现——什么也没有。
（很奇怪我这次的文件居然打开有内容，之前尝试点开好几次都是白板……不知道触发了什么奇怪的buff）
在这里插入图片描述
如果确实遇到了白板也别害怕，用Pycharm或者VScode这类支持写程序的软件打开看看，你就会发现其实爬取是成功了的。在这里插入图片描述
这一步能看见网页源代码的话，继续跟着菜鸟教程走就是了。

在这里插入图片描述

直到有一个步骤的命令有一个奇怪的$符号打头，询问Kimi后发现并没有什么意义，我猜或许是编写教程的人手误？不管这个符号，正常输入命令就行：在这里插入图片描述
在这里插入图片描述
附上我的示例执行效果图：
在这里插入图片描述
最后看到Spider Closed就是OK了（我的代码是最终版，加了一些命令，所以输出比较多，看不见这句话“”传智播客官网-好口碑IT培训机构,一样的教育,不一样的品质”，如果正常走到这一步的话能在黑窗口看见这句话顺利打印出来。
在这里插入图片描述

后面按着教程来，输出json，csv文件啥的步骤都没什么问题。
在这里插入图片描述

（思考题这弱弱问一句，我咋没找到yield函数在哪呢？？？
不过这个问题不大，上网查查别的教程或者问问Kimi都行，菜鸟这里自带的补充学习链接也可以看看。）
在这里插入图片描述

我会把我照着菜鸟教程写的项目打包上传CSDN存档，有需要的朋友可以自行下载。
（我每次都设置了免费不需要积分，但是好像CSDN会自动调整价格……）

菜鸟教程部分到此结束

下面进入B站视频部分

这个视频也是我自己看了一些后觉得讲的很清楚并且流程很规范的，从零开始建工程目录，而且涉及到翻页爬虫的处理。
链接：https://www.bilibili.com/list/watchlater?oid=30493305&bvid=BV1es411F73F&spm_id_from=333.337.top_right_bar_window_view_later.content.click
B站传送门
3分钟左右的时候在settings.py里加了一行LOG_LEVEL = ‘WARN’，起一个减少日志负担的作用。
在这里插入图片描述
在这里插入图片描述

很不幸的是我和评论区的这位遇到了一模一样的问题，我也还没有找到靠谱的解决方案，但是没关系，重点学视频里翻页爬取的方法，把代码思路写熟手以后，下次复用到其他网页就不一定会遇到503错误了
在这里插入图片描述
在这里插入图片描述
我这搜罗了一些可能的解决办法给大家参考，如果有成功解决的小伙伴可以评论区分享一下。
https://docs.pingcode.com/ask/218781.html
可以试试，不保证结果
在这里插入图片描述

没有源码，特别难打的这句话我手敲了：
print(respomse.xpath(‘//ul[@id=“s-results-list-atf”]/li//h2/text()’).extract())
在这里插入图片描述
关于这部分HTML和XPath我之前学BeautifulSoup的时候有一些基础，所以就没有看该视频之前的内容，可以去这位UP的主页自行寻找，或者遇事不决问Kimi。

我个人感觉BeautifulSoup和Scrapy的思路很相似，都是给url，然后获取html内容，再通过类似正则表达式的思路把需要的文字提取出来，放在变量里，再把同类的变量归类到列表里，排得整整齐齐，就得到了结构化的数据。

这个价格分为了整数和小数两部分，UP的处理方法可以学习和参考，我觉得是个很好的思路，可以积累经验，下次遇到就知道怎么处理了。（还有一些类似的小细节，比如ul下级是li这种HTML知识）
分别获取小数点前和小数点后的数据price1，price2，然后拼起来。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
别忘了设置为float，存进数据库（如果有）的话更容易处理（比如比较大小）。
在这里插入图片描述
后面遇到比较大的数有逗号碍事（比如’1,299’这种），就用replace方法，通过空字符串替代’,'，避免组合遇到困难。

在这里插入图片描述

比较难打的代码块：

    def parse(self, response):titles = response.xpath('//ul[@id="s-results-list-atf"]/li//h2/text()').extract()hrefs = response.xpath('//ul[@id="s-results-list-atf"]/li//h2/../@href').extract()prices1 = response.xpath('//ul[@id="s-results-list-atf"]/li//span[@class="sx-price-whole"]/text()').extract()prices2 = response.xpath('//ul[@id="s-results-list-atf"]/li//sup[@class="sx-price-fractional"]/text()').extract()price = [float(".".join(item)) for item in zip(price1,price2)]print(prices1)print(prices2)print(price)

把获取到的信息通过zip函数整理打包成元组：
在这里插入图片描述
在这里插入图片描述

爬取多页的话就需要获取点击下一页的按钮，这也正是我看中这个教程的地方，前面写到Scrapy本身就更适合大规模数据爬取，那只爬一页也太屈才了。
在这里插入图片描述
检查网页源代码，找到这个“下一页”按钮的源链接和id。
在这里插入图片描述
然后照样的套路，XPath获取到链接，不过这里是个相对地址。在这里插入图片描述
《相对地址也没关系，前面的域名我们自己加就完了》这里确实能解决问题，但我还是想知道这种走捷径的方法如果有应付不了的时候，应该怎么办呢？
在这里插入图片描述

遇到这个NoneType问题，老师判断是取到头了，没有下一页的内容造成的。
在这里插入图片描述
解决办法是在取下一页以前加个判断语句：
在这里插入图片描述

mobile.py完整代码：
在这里插入图片描述

import scrapy
from scrapy import Requestclass MobileSpider(scrapy.Spider):name = "mobile"allowed_domains = ["amazon.com"]start_urls = ["https://www.amazon.com/s?k=mobile+phone&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&crid=266D1NQXSO7K4&sprefix=mobile+phon%2Caps%2C250&ref=nb_sb_noss_2"]def parse(self, response):print(response.url)titles = response.xpath('//ul[@id="s-results-list-atf"]/li//h2/text()').extract()hrefs = response.xpath('//ul[@id="s-results-list-atf"]/li//h2/../@href').extract()prices1 = response.xpath('//ul[@id="s-results-list-atf"]/li//span[@class="sx-price-whole"]/text()').extract()prices2 = response.xpath('//ul[@id="s-results-list-atf"]/li//sup[@class="sx-price-fractional"]/text()').extract()prices = [float(".".join(item).replace(',','')) for item in zip(price1,price2)]for item in zip(titles, hrefs, prices):yield{"title": item[0],"url": item[1],"price": item[2]}next = response.xpath('//a[@id="pagnNextLink"]/@href').extract_first()if next != None:next_url = 'https://www.amazon.com' + nextyield Request(next_url)

结合这两个案例，我找了个大陆能登上去的网站七禾网，自己写了一段Scrapy代码爬取测试，成功获取到了专栏文章标题。
被爬取的七禾网链接：https://www.7hcn.com//category/88-27.html
点击打开，这次爬取测试应该不会503错误了
在这里插入图片描述

成果展示：
在这里插入图片描述
爬取到的HTML：
在这里插入图片描述
爬取到的Json：
在这里插入图片描述
爬取到的XML：
在这里插入图片描述
爬取到的CSV:
在这里插入图片描述
唯一美中不足的是这个网站的翻页只有逐页翻或者直达下一页，没有Next Page这个选项，所以无法测试全部学到的功能，但用来做练习来说已经完全够用了。
我自己写的练习代码也会同步上传到CSDN，欢迎有需要的朋友下载~
在这里插入图片描述

。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/372160.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux环境部署Python Web服务

Linux环境部署Python Web服务

“姑娘，再见面就要靠运气了，可别装作不认识，那句“好久不见”可干万别打颤…” 将使用 Python 编写的后端 API 部署到 Linux 环境中，可以按照以下详细步骤操作。本文将涵盖环境准备、API 编写、使用 Gunicorn 作为 WSGI 服务器、配…
阅读更多...
磁致伸缩液位计的应用领域

磁致伸缩液位计的应用领域

磁致伸缩液位计作为一种高精度、高稳定性的液位测量设备，在众多行业中都有着广泛的应用。接下来，我们将从多个角度详细探讨磁致伸缩液位计在不同领域的应用情况。 石油化工行业 在石油化工行业中，磁致伸缩液位计主要用于储罐、反应器和管道等…
阅读更多...
celery执行任务报错ValueError: not enough values to unpack

celery执行任务报错ValueError: not enough values to unpack

背景 在做用户注册模块的时候需要对手机号验证的过程进行优化，目前想到的方式是通过celeryrabbitmq的方式进行异步处理，选择使用celery是因为使用方便、性能好、可分布式部署。 环境信息 目前使用地win11容器化启动 rabbitmq:3.13.2 python:3.6.8 cel…
阅读更多...
Linux学习看这一篇就够了，超超超牛的Linux基础入门

Linux学习看这一篇就够了，超超超牛的Linux基础入门

引言 小伙伴们，不管是学习c还是学习其他语言在我们学的路上都绕不过操作系统，而且，老生常谈的Linux更是每个计算机人的必修，那么我们对Linux的了解可能只是从别人那听到的简单的这个系统很牛，巴拉巴拉的，但…
阅读更多...
STM32介绍

STM32介绍

本内容是基于江协科技STM32视频学习之后，并参考【重写】简析stm32启动过程-CSDN博客和STM32 最小系统_stm32最小系统-CSDN博客以及其他资料综合整理而成。 1. STM32 1.1 STM32简介 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器；STM32常应用在…
阅读更多...
【python学习】快速了解python基本数据类型

【python学习】快速了解python基本数据类型

🎬 鸽芷咕：个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! 文章目录 前言1. 整数（int）2. 浮点数（float）3. 布尔值（bool&#xf…
阅读更多...
[个人感悟] 消息队列应该考察哪些问题?

[个人感悟] 消息队列应该考察哪些问题?

前言 消息队列. 不论是Java内部提供的LinkedBlockingQueue, 还是当下主流的中间件RabbitMQ, Kafka, RockMQ. 其本质上都是一个削峰填谷的工具. 我们都知道, 请求和流量都有可能瞬间很高, 或者很低. 所以, 很多时候, 我们需要请求存储起来, 或者使用异步的方式, 来匀速的处理过…
阅读更多...
Qt QWizard新建向导实例

Qt QWizard新建向导实例

使用QWizard做新建向导，最简单的实例 class MyWizard : public QWizard { public: MyWizard(QWidget* parent nullptr); QWizardPage* createFirstPage(); QWizardPage* createSecondPage(); QWizardPage* createThirdPage(); }; MyWizard::MyWizard(QWidget* par…
阅读更多...
python 10个自动化脚本

python 10个自动化脚本

目录 🌟 引言 📚 理论基础 🛠️ 使用场景与代码示例 场景一：批量重命名文件 场景二：自动下载网页内容 场景三：数据清洗 场景四：定时执行任务 场景五：自动化邮件发送 场景六…
阅读更多...
AI实时免费在线图片工具6：以图生相似图

AI实时免费在线图片工具6：以图生相似图

1、以图生图，生成相似图 https://huggingface.co/spaces/diffusers/unofficial-SDXL-Turbo-i2i-t2i 间接实现：可以是图片先提取描述，再通过描述再去生成新图片 https://huggingface.co/spaces/gokaygokay/KolorsPlusPlus
阅读更多...
徒手绘制 Android 通用进度条

徒手绘制 Android 通用进度条

拖动条&#xff08;FlexSeekBar&#xff09;&#xff0c;在Android的各个地方都非常常用&#xff0c;本文旨在自研一套通用的进度条&#xff0c;非常适合车载App使用 样式如下&#xff1a; 使用示例 <!--默认用法--> <com.max.android.ui.seekbar.FlexSeekBarandroi…
阅读更多...
思路打开！腾讯造了10亿个角色，驱动数据合成！7B模型效果打爆了

思路打开！腾讯造了10亿个角色，驱动数据合成！7B模型效果打爆了

世界由形形色色的角色构成&#xff0c;每个角色都拥有独特的知识、经验、兴趣、个性和职业&#xff0c;他们共同制造了丰富多元的知识与文化。 所谓术业有专攻&#xff0c;比如AI科学家专注于构建LLMs,医务工作者们共建庞大的医学知识库&#xff0c;数学家们则偏爱数学公式与定…
阅读更多...
Unity 实现UGUI 简单拖拽吸附

Unity 实现UGUI 简单拖拽吸附

获取鼠标当前点击的UI if(RectTransformUtility.RectangleContainsScreenPoint(rectTransform, Input.mousePosition)) {return rectTransform.gameObject; } 拖拽 在Update 中根据鼠标位置实时更新拖拽的图片位置。 itemDrag.transform.position Input.mousePosition; …
阅读更多...
《安全行业大模型技术应用态势发展报告（2024）》

《安全行业大模型技术应用态势发展报告（2024）》

人工智能技术快速迭代发展&#xff0c;大模型应用场景不断拓展&#xff0c;随着安全行业对人工智能技术的应用程度日益加深&#xff0c;大模型在网络安全领域的应用潜力和挑战逐渐显现。安全行业大模型技术的应用实践不断涌现&#xff0c;其在威胁检测、风险评估和安全运营等方…
阅读更多...
秋招突击——7/5——复习{}——新作{跳跃游戏II、划分字母区间、数组中的第K个大的元素（模板题，重要）、前K个高频元素}

秋招突击——7/5——复习{}——新作{跳跃游戏II、划分字母区间、数组中的第K个大的元素（模板题，重要）、前K个高频元素}

文章目录 引言正文贪心——45 跳跃游戏II个人实现参考实现 划分字母区间个人实现参考实现 数组中的第K个最大元素个人实现参考做法 前K个高频元素个人实现参考实现 总结 引言 今天就开始的蛮早的&#xff0c;现在是九点多&#xff0c;刚好开始做算法&#xff0c;今天有希望能够…
阅读更多...
方圆资源网，方圆资源官网

方圆资源网，方圆资源官网

在当今这个信息化高速发展的时代&#xff0c;方圆资源网络已成为推动社会进步、促进经济发展的重要力量。方圆资源网不仅汇聚了海量的信息资源&#xff0c;更为我们提供了一个高效、便捷的信息交流平台。本文旨在详细介绍资源网的概念、特点、功能以及其在现代社会中的重要意义…
阅读更多...
明天要加油

明天要加油

阅读更多...
理解算法复杂度：空间复杂度详解

理解算法复杂度：空间复杂度详解

引言 在计算机科学中&#xff0c;算法复杂度是衡量算法效率的重要指标。时间复杂度和空间复杂度是算法复杂度的两个主要方面。在这篇博客中&#xff0c;我们将深入探讨空间复杂度&#xff0c;了解其定义、常见类型以及如何进行分析。空间复杂度是衡量算法在执行过程中所需内存…
阅读更多...
【python爬虫实战】进阶天气虫虫（过程复盘 心得分享）

【python爬虫实战】进阶天气虫虫（过程复盘 心得分享）

程序设计过程里的一些心得&#xff1a; 0. 规模较大的程序&#xff0c;往往都是以更小的功能块搭建起来的。如此&#xff0c;为了提升总体程序的构建效率&#xff0c; 笔者发现分“两步走”会比较高效&#xff1a; A. 遇到需要反复调试的功能块&#xff0c;可先在另一程序中逐…
阅读更多...
植物大战僵尸融合嫁接版 MAC 版本下载安装详细教程

植物大战僵尸融合嫁接版 MAC 版本下载安装详细教程

继植物大战僵尸杂交版火了之后&#xff0c;PVZ改版可谓是百花齐放&#xff0c;最近又有一个非常好玩的模式被开发出来了&#xff0c;他们称为《植物大战僵尸融合嫁接版》 该版本并没有对植物卡牌做改动&#xff0c;而是可以将任意两种植物叠放到一起进行融合&#xff0c;产生新…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发