ChatGPT「代码解释器」来了!图片秒变视频

转自:智元

【新智元导读】坐等3个多月,ChatGPT「代码解释器」终于全面开放了,一大波魔法来袭。

家人们,终于来了!

刚刚,ChatGPT「代码解释器」测试版正式向所有Plus用户开放。

d0c538756dda41dcecd72a7961817d49.png

OpenAI的科学家Karpathy对此还宣传了一波,代码解释器测试版相当强大。

它是你的个人数据分析师:可以读取上传的文件、执行代码、生成图表、统计分析等等。我预计社区将需要一些时间来充分展示其潜力。

4ab2ec2c9a7e47cc04cf39bb941f83c4.png

前段时间,GPT4能力下降在网上引起轩然大波,甚至有人只觉得它比GPT3.5强一点点。

而现在,代码解释器让人们再次感觉到,那个熟悉而且强大的GPT-4又回来了!

插件一上线,许多网友纷纷上手实测了一番。

57fe5b04852ea7867d62cfb9d655130d.png

功能解禁


那么,「代码解释器」究竟能做什么?

30秒,图片变视频

这不,有网友竟用ChatGPT把图片变成了视频。这效果简直比Midjourney、Runway还炸裂。

bec2c45d5b66616e4d1d5f21ed0a897e.gif

这是如何做到的?网友给出了全套教程。

第一步:打开「代码解释器模型」。要启用它,请进入设置 -> 测试版功能 -> 代码解释器。

49215b56321ffd173f98d38d38dbf5bc.png

步骤二:

从下拉菜单中选择「代码解释器」选项。然后,上传你想做动画的图片。

22d9bcb3575b3a8d3246422dae5da304.png

步骤三:

我想展示一家豪华餐厅的一些食物。因此,我要求ChatGPT将这个食物图片从左到右制作成动画。通过修改我的GPT提示(见下文),你可以创建你自己的动画。

c07fdcd16c296e3a1892ecaf7d01d2d0.png

具体prompt如下:

65501b8c4216051d67933400a257001c.png

步骤四:

按回车键。30秒后,ChatGPT会给你一个视频的下载链接。

d1676e0ccfe1057d1751bbc63c3c965e.png

联合创始人Greg Brockman转发称,在不可能记住ffmpeg调用的情况下,用于图像转换的代码解释器。

9d36f99199d743607878f8bd5dd70eb0.png

事实证明,「代码解释器」确实很牛,现在截个视频,只需要一句话就能搞定了。

ab343158d824861f683f92ff5d13c0ae.png

「有一定内存容量限制,不过处理小文件是没问题了。刚扔给TA 4秒钟的gen-2视频,截取前两秒,没问题,迅速搞定。

会自动试验合适的代码,如果要编程序也完全可以先扔给ta某一文件提出要求,然后看看ta提供出来的代码」。

546ff9ad2ed1f269c774865d6eab7481.png

PDF转图片

国内知名互联网科技博主「宝玉」用「代码解释器」实现了把PDF转成图片。

a117222071b276bfa25074e17db62bee.gif

19779996130309d34efe9fba04eb518f.gif

以往需要将每页内容合并成一张图,而现在,一个prompt就搞定了。

e24a5b16b305e2398204464de13a512b.png

GIF变视频

图片变视频之外,还可以实现GIF变视频。

网友给ChatGPT的提示为:我上传一个GIF,你给我一个5s的MP4,用一个故事性镜头缓慢放大。

4bd1a1c712106984e033aaa674a92a16.png

上传GIF

1be1376d2c9e53bcaf9c894fa00a1247.gif

最后ChatGPT立即生成了视频

8db9277057a2eac14a07c0dc8b15f719.png

此外,ChatGPT还能做个「矩阵」GIF出来。

abc00d970ce25bcd4f2724e81f27adbb.png

9148db78fa8c0b8c144e7d2b5b468ca1.gif

生成QR码

在前两天,OpenAI宣布ChatGPT「代码解释器」即将全面开放。

就展示了一个能够生成QR码的例子,短短一句话,简直动嘴就能完成任务。

e42fc696ed175f954d7e7cbf752b497c.png

「口袋」数据分析师

代码解释器最大的用例就是进行数据分析。

比如,让它分析各国预期寿命数据,世界上最大的城市,(可上传CSV、word、PDF或视频文件)

b0a06ea4136b387aa56bace9b9d0b2ba.gif

然后,与数据交谈,问任何你可能想问的问题。

或要求从数据中提取独特的随机趋势,以获得惊喜。

比如,从两个数据中找出独特的趋势,并以表格的形式显示出来。

3400b109774f9a2cb8f5a6cda5d0b01e.gif

最后一步,可视化。

把数据变成你想要的任何图表或图形。最重要的是,只需点击一下完成。

比如,生成一个散点图,说明一个国家的人均GDP和其平均预期寿命之间的关系。

2e849fc37a68d2512f32094b7b609cf5.png

看到这么强大「数据分析师」,网友又开始R.I.P了。

2dfcc65b7050fb76db7ba9be22f99499.png

使用指南


「代码解释器」怎么用?来自沃顿商学院的一位教授Ethan Mollick专门为此写了一篇指南。

109a6cdfd483562e3f12ec63b581ef84.png

首先,Mollick就指出,Code Interpreter这个名字的起法延续了OpenAI给他们自己的产品起烂名儿的悠久传统。

因为——虽说它叫「代码解释器」,但实际上它对那些根本不懂编程的人最有用。

本质上,「代码解释器」能让GPT-4上传和下载信息,并为用户编写和执行程序,这使得AI能够做到以前无法做的各种事情。

具体来说,它为AI提供了一个解决问题的通用工具箱(通过用Python编写代码)、超大内存(最大100MB,可以是压缩形式),且用户可以把这个工具箱集成到AI里面,发挥LLM的优势。

这有助于解决以前版本的 ChatGPT 存在的许多问题。比方说,

它允许AI处理数学(哪怕很复杂),还能更准确地处理单词(例如实际计算段落中的单词),底层原因就是,它可以编写Python代码来解决LLM在数学和语言方面的天然弱点。

比如像下图这样。

4916dbd59f9e35753bc456a078abdc57.png

可以看到,「代码解释器」能准确计算出段落中单词的数量。

此外,「代码解释器」降低了幻觉和瞎编乱造的发生机率。

当人工智能直接使用Python时,代码有助于让它「诚实」。道理也很简单,如果代码不正确,Python就会报错。由于代码操作的是数据,因此AI不会在数据中插入错误信息。

当然,这并不完美。AI仍然有概率会产生幻觉,但其实这并不常见,并且不太可能影响到代码或者数据本身。

这样一来,AI就更加靠近通用人工智能了——大量问题可以通过代码来解决。

而且,GPT-4非常擅长以新颖有趣的方式来决定什么时候用「代码解释器」。

Mollick举了个例子,假如他让GPT-4向用户证明地球是圆的,那么就会用上「代码解释器」,提供了多个论证,将文本与代码和图像结合在一起。

7315afdb9025c3e35abc38368df4b77c.png

此前,各个专业需要编程的人都得会点儿写代码,但写完了还得自己调试。就算之前的AI能提供点儿帮助,但是对于没有Python学习基础的人来说,还是挺难,得借助AI的力量反复修改代码。

而现在,有了「代码解释器」,AI就能自己纠错并且Debug了!

接着,Mollick又讲了如何用「代码解释器」来处理数据,这算是真实戳中大量用户痛点了。

Mollick表示,「代码解释器」的运行水平非常先进,可以自动处理许多复杂的定量分析,并且能够采用非常复杂的数据方法。

用户只需点击加号即可轻松上传数据,甚至是ZIP文件等压缩数据。

53000f45d48aa42fea682bfbcc8618d7.png

同时,在提供数据时,用户能给个prompt就最好了。然后,AI就可以从上下文里找出数据含义和结构了!

此外,Mollick指出,在使用「代码解释器」时,用户更多的是在和AI进行「对话」,并不需要绞尽脑汁写一个又严谨又凝练的prompt出来。

就像和一个数据分析师聊天一样,和人怎么交谈,就怎么跟「代码解释器」沟通。

但是这里有两个特殊情况,还是需要写个类似prompt的东西。

一个是AI有时候会不记得自己能干什么,此时就需要一个prompt来给AI点醒。

比如:「你可以制作GIF,请尝试一下。」

另一种情况是在用户对结果不满意的时候,可以通过prompt来让「代码解释器」对结果进行优化。

比如:「请对该结果进行进一步的测试」,或者,「能不能让这个图表更好一点」。

1f0933632292e99a982d8a7ad5efb6c6.png

在加载完数据以后,GPT就可以执行数据合并和清理的操作了。具体处理方式相当复杂,但就像上面所提到的一样,只要把「代码解释器」当做一个和你面对面的数据分析师就好了。

同时,Mollick提醒广大用户,AI在自我纠错并改正以后最好还是查一下结果,万一出错呢。

d0dd1546e1321d290606ac587825d3d4.png

紧接着Mollick实操了一下,他让「代码解释器」搞个预测建模出来,预测超级英雄可能会有什么超能力。

可以看到,「代码解释器」构建了一个随机森林分布器。

9990569c620da78d7c076b5c1a7b8a90.png

当然,在实操过程中,用户还是得和GPT「多沟通」。Mollick就不想让AI用数值数据的方法来估算缺失的数据,Mollick想直接放弃掉没有的部分。

但他指出,也可以和GPT说,让它换个别的处理方法。

之后,Mollick给GPT输入了一个「你可以进行另一个复杂和有趣的分析吗」的prompt。他表示,「代码解释器」选择的一些分析方法让他印象深刻。

就像下图这样。

「代码解释器」巧妙地分析了超级大国的网络情况。可以看到,方法多样,而且非常有意思。

ff1ddbb5feafdf678eb5120824c0612d.png

「代码解释器」最令人印象深刻的应该就是其推理能力了。Mollick概括为,非常「人性化」。

另外,可视化的交互性水平依然在线,且在不断提升。用户可以不断让AI来改进或者更改输出的内容。

Mollick让AI创建了一个交互式表格,包括6个图表,其中还有一个是3D的。

为了让图表更加美观,Mollick不断输入prompt,调整结果。

最终成果就像下图右边这样。

5c21293d564460986e8b0b1a877d5e9d.png

十大惊人魔法

网友@GPTDAOCN近日总结了ChatGPT十大令人震惊的用例:

5d3be0a786b1a82a3299f25d8f546cd1.png

代码解释器的可视化

1. 将GIF转换为MP4:可以将动态图片(GIF)转换为视频文件(MP4)的功能,使你更方便地分享和使用。

2. 创建各种图形:你可以利用这个功能来生成各种如柱状图、折线图、饼图等图形,直观地呈现和分析你的数据。

3.  从图像中提取颜色以创建PNG调色板:这个功能可以从任何一张图像中提取主要颜色,然后生成一个PNG格式的调色板。

4.  清洗数据以生成深入的可视化:如果你有一些混乱的数据,这个功能可以帮你进行清洗和整理,再将其转换为清晰的可视化图形。

5.  将CSV文件转换为GIF:这个功能可以将CSV(逗号分隔值)文件中的数据以动态的方式展示,生成一张GIF图。

6.  分析歌单以概括你的音乐品味:你可以利用这个功能来根据你的音乐歌单进行分析,从而概括你的音乐品味。

7.  将你的数据集转换为一个完全功能的HTML网站:这个功能能将你的数据快速转换成一个功能齐全的网站,方便你进行展示和分享。

8.  创建可下载的股票数据集:这个功能能帮你创建一份股票数据集,并且这个数据集是可以下载的,方便你进行更深入的分析和研究。

9.  将图像转换为文本文件:如果你需要从图像中提取文字,这个功能可以帮你将图像中的文字转换成文本文件。

10.  对未格式化的数据进行详细分析:对于那些没有规定格式的原始数据,这个功能能帮你进行深入的分析,以获取有价值的信息。

其实,代码解释器的用例远不止这些。

网友点评


我正在尝试ChatGPT代码解释器。到目前为止,我只能建议「每个开发者现在就开始研究它」。

f729d52b9b3cfc62cb750b419b7da60c.png

Code Interpreter断了多少人的生路?太多行政每天低效率的处理数据,现在只需要自然语言就可以办公自动化。

c39b4c6eeb650f980bdaf9e4153caab5.png

参考资料:

https://twitter.com/karpathy/status/1677512911953231874

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/22183.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt赋能python:Python调色板

Python调色板 在python中,绘制有吸引力的图表可以让数据更好地展示。一个好的颜色方案可以让这些图表更加优美和易于理解。python中有许多工具,可以帮助我们为图表选择适当的颜色,其中调色板(palette)是其中之一。 什…

大模型时代的prompt学习(持续更新)

目录 为什么要学prompt基本原则prompt撰写框架Base Prompt FrameworkCRISPE Prompt Framework 场景撰写文案文档竞品分析产品设计数据分析 chain of thoughtzero shotin context learning(few shot)Self-Consistency Program-Aidedprompt tipsTo Do and Not To Doadd examples引…

提示工程的前世今生

原文链接:芝士AI吃鱼 通过提示进行情境学习 在生物学中,涌现是一种令人难以置信的特性,由于相互作用的结果,各个部分聚集在一起,表现出新的行为(称为涌现),这是你在较小的尺度上看不…

[230627] 阅读TOP001汇总|9:20-10:20

前言 🏠个人主页:我是沐风晓月 🧑个人简介:大家好,我是沐风晓月,阿里云社区博客专家 😉😉 💕 座右铭: 先努力成长自己,再帮助更多的人,一起加油进…

ChatBI:智能问答报表,助力职场数据分析与运营

随着企业数据的不断增长和商业竞争的加剧,越来越多的企业开始关注商业情报分析(BI)。BI可以帮助企业更好地了解市场趋势、客户需求和业务运营等方面的信息,从而更好地制定商业策略和决策。然而,传统的BI工具往往需要人工干预和专业技能&#…

周报报表制作

一.报表制作背景 拌客在2020年1月-8月,在美团,饿了么两大平台的销售情况。 二.源数据数据表字段分析 曝光人数:在平台上被浏览的次数 进店人数:点进主页的次数 进店转化率:进店人数/曝光人数 在平台浏览后进入到店…

6、远程终端工具安装

文章目录 6、远程终端工具安装6.1 Xshell5 安装和配置6.1.1 安装 Xshell6.1.2 配置 Xshell 终端1 打开安装好的 Xshel2 编辑新链接3 测试链接4 连接成功 6.2 Xftp 传输工具6.2.1 安装 Xftp6.2.2 配置Xftp1 打开安装好的 Xftp2 编辑新链接3 远程桌面乱码 尚硅谷2022版Linux教程-…

CentOS7安装远程桌面软件VNC Server

如果服务器为centos7_minimal版本,则需要安装desktop(服务器系统为centos7_desktop则忽略) yum groupinstall -y "GNOME Desktop"关闭防火墙 systemctl stop firewalld systemctl disable firewalld[rootlocalhost ~]# firewall-…

Redhat7安装VNC服务端和FTP服务端实现远程控制

VNC作为一种非常成熟使用方便的远程桌面系统,使用非常广泛 首先要注意在安装Redhat的时候要安装图形化界面GNU——KDE和FTP服务器 安装VNC的过程非常简单 1、首先将光盘放入光驱,观察光驱的挂载点,然后将本地的yum源指向光驱。 假设现在的…

通过 VNC 客户端远程连接 CentOS 7 图形化界面

文章目录 一、场景介绍二、名词解释三、CentOS 图形安装四、VNC 服务端安装五、VNC 客户端连接 一、场景介绍 在某些特定场景下,我们需要通过 Linux 环境来调试代码,比如 Shell 脚本的调试 如果每次通过盲写好的 shell 脚本,全盘复杂到 Linu…

Windows系统内远程控制软件VNC安装使用教程

一、VNC简介 VNC (Virtual Network Console),即虚拟网络控制台,它是一款基于 UNIX 和 Linux 操作系统的优秀远程控制工具软件,由著名的 AT&T 的欧洲研究实验室开发,远程控制能力强大,高效实用,并且免费…

哈工大信息内容安全实验

前面的话:这次的实验是分为ABC三级,如图,大部分同学都会选择A或B级,本组选择微博管控(B级),但也成功实现对图片和视频的分析(A级)加入数据库,界面友好&#x…

哈工大2022软件构造Lab3

说明 此博客内容为哈工大2022春季学期软件构造Lab3:Reusability and Maintainability oriented Software Construction,文章为个人记录,不保证正确性,仅供练习和思路参考,请勿抄袭。实验所需文件可以从这里获取(若打不…

Openai CEO首推书籍,chatgpt内参哈工大官方报告,行业最新研究报告,分享!

点击上方“Python与机器智能”,选择“星标”公众号 第一时间获取价值内容 一、Openai CEO首推书籍 openai ceo称这本书是他觉得对chatgpt最好的解释!充满数学原理和一些哲学观点,值得一看 二、哈工大官方最新93页《ChatGPT调研报告》 哈工大自…

哈工大 面向服务的软件系统(2022秋季学期)lab 3

文章目录 前言使用到的各种软件的版本VMware WorkstationCentOS 7Dockerk8s 实验流程虚拟机的下载安装使用xshell连接虚拟机修改hostname安装Docker(所有节点都要安装)(参考[CentOS搭建K8S环境教程](https://cloud.tencent.com/developer/art…

chatgpt提问的艺术中英pdf,Openai CEO首推书籍!!哈工大官方报告,行业报告!...

AGI (通用人工智能)时代已来!却不知道如何向chatGPT提问? 掌握恰当的提示(prompts)对开启 ChatGPT 很关键! 《提问的艺术—让 ChatGPT导出高质量答案》是一本专门介绍如何通过向ChatGPT提问获取…

2023中国法律科技领域最具商业合作价值企业盘点

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 随着数据科学和人工智能的迅猛发展,众多行业都在积极探索如何将这些技术应用于实践中,以提升效率,优化流程,增强决策力。法律领域也不例外,数据智能已在法律行业中…

大模型LLM领域,有哪些可以作为学术研究方向?

清湛人工智能研究院 2023-05-31 09:23 发表于江苏 编者:本文转载了清华大学计算机系刘知远教授对大模型的一些思索,以飨读者。 刘知远 CCF 高级会员,CCCF 前编委。清华大学计算机系副教授、博士生导师。已在ACL、IJCAI、AAAI等人工智能领域…

刘知远教授:大模型LLM领域,有哪些可作为学术研究方向?

编辑:深度学习自然语言处理作者:刘知远 知乎:zibuyu9原文链接:https://www.zhihu.com/question/595298808/answer/3047369015 感觉有责任回答这个问题,恰好在高铁上写下回答。2022年初我做过一个报告题目是《大模型十问…

刘知远老师高铁上回应:大模型LLM领域,有哪些可以作为学术研究方向?

深度学习自然语言处理 分享作者:刘知远 感觉有责任回答这个问题,恰好在高铁上写下回答。2022年初我做过一个报告题目是《大模型十问》,分享我们认为大模型值得探索的十个问题。当时大模型还没这么火,而现在大模型已然妇孺皆知日新…