用ChatGPT写一个数据采集程序

入门教程、案例源码、学习资料、读者群

请访问:python666.cn

大家好,欢迎来到 Crossin的编程教室 !

上次我们讨论了ChatGPT在辅助编程学习上的一些用法:

如何用ChatGPT学Python

既然ChatGPT可以理解并生成代码,那么自然而然,它的作用不仅仅是帮助学习代码,同样也可以直接用在实际的软件开发当中。

对于网页上的数据采集及处理是Python的常见应用场景之一。我们来看下ChatGPT是不是也能完成这样的任务。

假设我们现在需要抓取并整理某个网页上的表格数据:

https://python666.cn/static/score.html

01fee21ed6b573a925a82ed4249df1a2.png

我们直接来问问ChatGPT,能不能给个抓取的代码:

6dece90e354411507287cf294478f882.png

ChatGPT给了我们一份代码,但很遗憾,把这个代码复制到编辑器中运行后,生成的Excel是空的。

简单调试后发现,原来是因为页面上的表头元素用的是<th>标签

862b78199b1d438610518e236d45e924.png

而ChatGPT因为没有获知具体的页面代码信息,直接当做<td>标签来处理,所以没采集到表头信息。

48048d48965e06456f13f97a09726e6b.png

这种情况下,我们可以手动对代码做一些修改。

或者,我们点击回答下方的“Regenerate response”,让它重新回答一次试试:

b4f52af85ff34190cda6e8c69993c004.png

这次ChatGPT给出的代码比之前简洁:

import pandas as pd# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)# 假设目标表格是第一个表格
table = tables[0]# 将表格保存为Excel文件
output_file = 'table.xlsx'
table.to_excel(output_file, index=False)print(f"表格已保存为 {output_file}")

运行后,成功得到了我们要的结果:

1b72dfc55e86b022e61035d61b11355c.png

顺利拿到数据后,我们再进一步,让ChatGPT来对数据进行排序。当然,在排序前,我们需要告诉它关于表格内容的必要信息:

4c49c0785b5b23a7220a7669f71e1623.png

代码:

import pandas as pd# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)# 假设目标表格是第一个表格
table = tables[0]# 将缺失值替换为0
table.fillna(0, inplace=True)# 计算每个学生的均分
table['均分'] = table.mean(axis=1)# 按均分降序排序
table.sort_values(by='均分', ascending=False, inplace=True)# 将表格保存为Excel文件
output_file = 'sorted_table.xlsx'
table.to_excel(output_file, index=False)print(f"按均分排序后的表格已保存为 {output_file}")

这次,ChatGPT完美实现了我们提出的需求:

ce2a0c5e21ad1ecf2b063548fc5a6e20.png

可以看出,虽然ChatGPT很强大,但并不能保证每次生成的代码都是完美,仍然可能需要引导它修正或人工干预。

但即便如此,它也已经算得上一个十分得力的编程助手,可以大大提高开发效率。尤其像数据处理这种场景,以往开发时常常需要查找各种函数及其参数的使用方法。现在有了ChatGPT,只要准确描述数据格式及需求,就可以立刻得到相应的处理代码,非常的方便。

我现在做数据分析已经快离不开它了。


在Crossin的新书《码上行动:零基础学会PYTHON编程(CHATGPT版)》中也讲解了类似利用ChatGPT进行辅助开发的案例。

本书力求做到浅显易懂,让完全没有编程经验的零基础“小白”也能学会Python。内容从环境搭建这种最基础的步骤开始讲起,逐渐深入到常见的实际应用当中。在讲解知识点的同时配有相应的代码示例,让读者可以边学边练加深理解。

全书涵盖Python环境搭建、基础语法、常见数据类型、实用模块、正则表达式、面向对象编程、多任务编程等知识点。另外还提供了爬虫、GUI、游戏三个实战项目。

书中还创新地使用 ChatGPT 作为编程学习的辅助,带领读者探索AI时代下学习编程的新模式。

ae943ea43956659b04611ea63dee174c.jpeg

感谢转发点赞的各位~


_往期文章推荐_

动画图解程序?这个可视化运行环境太方便了


如需了解付费精品课程教学答疑服务

请在Crossin的编程教室内回复: 666

456edef464939f7e0f3a8748b620b44f.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/17974.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据提取软件----GetData

上次&#xff0c;我给大家推荐了一款数据提取软件WebPlotDigitizer&#xff0c;不知大家用起来感觉怎么样&#xff0c;其实类似的软件还有很多&#xff0c;今天我继续给大家推荐一款老牌数据提取软件GetData&#xff0c;相信不少小伙伴们也听说过它&#xff0c;接下来让我们详细…

全方位解读智能中控屏发展趋势!亚马逊Alexa语音+Matter能力成必备

随着智能家居行业逐步从碎片化的智能单品阶段&#xff0c;迈向体验更完整的全屋互联阶段&#xff0c;智能中控屏作为智能家居最佳的入口之一&#xff0c;在年轻人青睐全屋智能装修的风潮下&#xff0c;市场潜力彻底被引爆。 一、为什么是智能中控屏&#xff1f; 在智能音箱增…

云边端协同的遐想

前言 去年打比赛&#xff0c;老师给我们的项目定了个名字&#xff0c;叫“基于xxx的xxx云边端协同管理系统”&#xff0c;之前就是照着念&#xff0c;完全不懂什么意思&#xff0c;最近接触云边端这个概念比较多&#xff0c;所以想借此深入了解&#xff0c;同时也表达我对于此…

走向具身智能丨美格高算力AI模组 以端侧智慧连接人和家庭

“贾维斯&#xff0c;我需要你的帮助。”这是钢铁侠Tony Stark在电影中向他的人工智能助手Jarvis寻求支持的场景。《钢铁侠》中的贾维斯不仅令观众着迷&#xff0c;也点燃了人们对于智能助手的想象力。正如电影《她》中所描绘的那样&#xff0c;智能助手还可以与人类建立真实的…

Android集成腾讯直播(无需后台配合一小时让你拥有直播APP)

直播互动的功能,最终选择了腾讯云平台进行开发&#xff0c;LiveRoom组件里面包含了(直播,连麦,弹幕,私信等)功能,我们需要的是推流&#xff0c;拉流都交个腾讯云来处理&#xff0c;腾讯云这方面功能也是比较齐全的了&#xff08;粗略大概2分钟可看完本文&#xff0c;能像我写如…

工业互联网数据展现软件之组态工具

大家知道&#xff0c;自动化行业很难离开组态&#xff0c;什么是组态?为了把生产企业各个环节的数据和流程以图的形式展示出来。画这个图的过程就是组态&#xff0c;画图所用的软件就是组态软件。 其实呢&#xff0c;几乎每个实时库厂家都有自己的画图工具&#xff0c;比如PHD…

【入门PLC】02、博途TIA Portal V16的HMI简单操作学习(人机交互界面)

目录 一、前言二、了解HMI三、新建触摸屏四、触摸屏与PLC的HMI连接五、数据的交互1.1、修改背景1.2、使用工具箱 六、按钮&#xff08;灯、文字、翻页&#xff09; 一、前言 这篇文章是接着上一篇文章写的&#xff0c;有兴趣的读者可以看看之前的文章&#xff0c;也可以单独来…

工控行业各品牌程序扩展格式和软件

部分PLC 触摸屏文件扩展名说明 .gpc   海为plc程序文件 .mwp  西门子200 plc程序文件          .cxp  欧姆龙plc程序文件             .gxw  三菱GX2软件编写的程序文件       .xdp  信捷plc程序文件 .xcp  信捷plc程序文件 XC2 XC3 XC1…

CSharpSCADA - 工控网关, 轻量级组态软件.

SharpSCADA - 工控网关, 轻量级组态软件. 简介 采用技术&#xff1a; 开发语言&#xff1a;C# 运行环境&#xff1a;.NET Framework 数据库&#xff1a;SQL Server 功能&#xff1a; 1.轻量级工控网关&#xff1a; 支持当前几种主要的工业协议如西门子的Profinet、AB的Ether…

OmniVerse + ChatGPT = 智能3D建模

全球各行各业对 3D 世界和虚拟环境的需求呈指数级增长。 3D 工作流是工业数字化的核心&#xff0c;开发实时模拟以测试和验证自动驾驶汽车和机器人&#xff0c;运行数字孪生以优化工业制造&#xff0c;并为科学发现铺平新道路。 今天&#xff0c;3D 设计和世界构建仍然是高度手…

语言模型ChatGPT,为什么能引领各行各业的AI技术革命

为什么ChatGPT这样一个语言模型的发展能引发所有行业的AI技术革命呢&#xff1f; 答案就在于它能理解我们的自然语言&#xff0c; 并能将我们的语言转换成计算机能够完全理解的特征。 自然语言与计算机理解 ChatGPT之所以能引领技术革命&#xff0c;关键在于它能理解我们的…

再见ChatGPT,又一值得国内程序员体验的AI生产力工具问世

众所周知目前 ChatGPT 很火&#xff0c;对于国内用户来说想要亲身体验一下&#xff0c;还是有一定难度的&#xff0c;毕竟从注册账号的第一步就被卡死了。 在得知微软推出了新必应以后&#xff0c;相信很多小伙伴都去申请体验了&#xff0c;但是很遗憾&#xff0c;相信大家应该…

ChatGPT路线图曝光:没有GPT-5、识图功能要等到明年、GPT-3或将开源

来源 | APPSO 上周&#xff0c;OpenAI 的 CEO Sam Altman 和 AI 开发平台 HumanLoop 的创始人Raza Habib 等 20 多位开发者开展了一次闭门讨论会&#xff0c;主要聊了 OpenAI 的使命、AI 的影响以及一些在开发过程中的实际问题。 会后 Raza Habib 做了一份详细的会议要点整理&a…

股票量化分析工具QTYX使用攻略——快速选出强势股(更新2.6.0)

搭建自己的量化交易系统 如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。 如何学会搭建自己的量化交易系统&#xff1f; 边学习边实战&#xff0c;在实战中学习才是最有效地方式。于是我们分享一个即可以用于学习&#xff0c;也可以用于实战炒股分析…

股票量化分析工具QTYX使用攻略——形态选股叠加业绩报告

搭建自己的量化系统 如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。 如何学会搭建自己的量化交易系统&#xff1f; 边学习边实战&#xff0c;在实战中学习才是最有效地方式。于是我们分享一个即可以用于学习&#xff0c;也可以用于实战炒股分析的量…

股票量化分析工具QTYX使用攻略——均线系统多头排列选股(更新2.5.7)

搭建自己的量化系统 如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。 如何学会搭建自己的量化交易系统&#xff1f; 边学习边实战&#xff0c;在实战中学习才是最有效地方式。于是我们分享一个即可以用于学习&#xff0c;也可以用于实战炒股分析的量…

股票量化分析工具QTYX使用攻略——涨停个股挖掘热门板块(更新2.6.5)

搭建自己的量化系统 如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。 行情不等人&#xff01;边学习边实战&#xff0c;在实战中学习才是最有效地方式。于是我们分享一个即可以用于学习&#xff0c;也可以用于实战炒股分析的量化系统——QTYX。 QTY…

定制自己的股票量化分析工具QTYX-V2.0版-使用帮助

提供源码的初衷 为了帮助读者建立一座从书本知识到实战应用之间的“桥梁”&#xff0c;购买书籍的读者可以获取与书本配套的学习版量化分析工具源码。 工具的源码是把书中知识点组合起来&#xff0c;使用wxPython封装一层GUI便于操作&#xff0c;实现了包括选股、行情、回测在…

股票量化分析工具QTYX使用攻略代码说明——高速版本地行情源v2.5.1

搭建自己的量化系统 如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。否则&#xff0c;赚钱或者亏钱我们很难归纳总结&#xff0c;往往是凭借运气赚钱&#xff0c;而不是合理的系统模型&#xff0c;一时凭借运气赚的钱长期来看会因为实力还回去。 QT…