使用爆火ChatGPT自动编写Python爬虫脚本，学会之后兼职能有多香

都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。

ChatGPT是一种基于大语言模型的生成式AI，换句话说它可以自动生成类似人类语言的文本，把梳理好的有逻辑的答案呈现在你面前，这完全不同于传统搜索工具。

ChatGPT不光可以回答人文、科学、情感等传统问题，还可以写代码、改bug，程序员可就急了，简直是在抢饭碗，所以网上出现各种ChatGPT让你失业的焦虑言论。

俗话说“百闻不如一见”，我试着让ChatGPT用Python去写爬虫脚本，看它到底行不行？

1、爬取知乎上的专栏文章

提问：

帮我用python写代码爬取这个网站的文章 https://zhuanlan.zhihu.com/p/595050104

ChatGPT:

把给到的代码放进PyCharm中跑一遍，发现没有报错，且打印出了内容。

import requests
from bs4 import BeautifulSoupurl = "https://zhuanlan.zhihu.com/p/595050104"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")title = soup.find("h1", class_="Post-Title").text.strip()
body = soup.find("div", class_="Post-RichText").text.strip()print("Title:", title)
print("Body:", body)

虽然说ChatGPT给出的代码可以执行，但它也提到由于爬取的网站会随时变更，也就是HTML会变动，所以代码可能需要调整才能正常工作。

凡是写过爬虫的同学应该都能理解，人工写的爬虫代码也没法一劳永逸，需要随时改。

这一点ChatGPT提示的很有道理。

后来我测试了medium、百家号上的文章，ChatGPT提供的代码形式几乎和上面一致，没法直接执行获取结果，需要微调后才能跑。

2. 爬取京东某商品的评论

为了给ChatGPT增加难度，我试着让它去爬取某电商网站的用户评论

提问：

请用python写代码爬取这个京东商品的所有用户评论 https://item.jd.com/13652780.html

ChatGPT:

可能这个网页是动态页面，ChatGPT提供的方法并不能爬取评论。

我接着问：

爬取的结果是空值怎么办？

ChatGPT:

ChatGPT提供了3种可能存在的原因，但并没有帮我修改代码。

于是我又问：

还是空值请帮我重新写代码爬取

ChatGPT:

image.png

这次就牛掰了，它重新用Selenium写了爬虫代码，并告诉我爬取动态网页需要模拟浏览器行为，因此得用selenium技术。

我没有运行去测试代码正确与否，但ChatGPT确实惊艳到我了，能够前后关联对话内容，并给出正确的解决方法。

3.继续更多的测试

上面只是蜻蜓点水的玩玩，ChatGPT就已经吸引到我，

我准备多花时间去测试ChatGPT应对各种爬虫的解决方案，以及它对bug的修复能力。

仅仅从写代码层面看，ChatGPT已经可以媲美中高级程序员的水平了，而且它的知识范畴远超人类最厉害的程序员

ChatGPT能够根据对话生成人想要的内容，这是AI巨大的突破，未来它的应用之广难以想象。

可见其拥有远超常人的代码能力，工作效率远非一般人可比。不过在项目完成的过程中，依然要用自然语言对其不断下指令，这就需要使用者完全懂爬虫技术。所以，想要接单赚钱则需要满足两个条件：

一、懂爬虫技术。

二、稳定的接单途径，充足的谈价经验。

今年业界对爬虫技术服务的需求量很大，给的报酬也高。以前每天最多完成一单，现在有了AI的帮助，能做的订单几乎无上限。这是最近借助AI完成的订单👇

我为什么选择Python

python爬虫可以当副业，副业的方也比较多！

需要爬一些资料的单，这种就可以看一些视频，像一些简单的看一两个月视频基本上就没问题了，但是比较复杂的话那就需要系统化的学习了。爬虫原理，html相关知识,urllib、urllib2库，scrapy,requests模块,xpath和lxml模块,多线程编程，HTTP协议相关，反爬虫机制等这些都要学。接下来就总结一些用爬虫挣钱的方式！

知道你对python感兴趣，所以给你准备了下面的资料~

这份完整版的Python全套学习资料已经上传，朋友们如果需要可以点击链接免费领取或者滑到最后扫描二v码保证100%免费】

python学习资源免费分享，保证100%免费！！！

需要的话可以点击这里👉Python学习路线（2023修正版）附涉及资料（安全链接，放心点击）

文末有福利领取哦~

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。在这里插入图片描述

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

七、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】Python学习路线（2023修正版）附涉及资料《Python学习资料》，已经打包好了，自取【ps：需要领取的资料（请备注清楚，查找与发送给你）】。因链接常正在上传…重新上传取消https://mp.weixin.qq.com/s/UVxw0daFCgAMFhz9cfrjAQhttps://mp.weixin.qq.com/s/UVxw0daFCgAMFhz9cfrjAQ