GPT发展史

不知道大家是否还记得年初刷屏的 DALL·E2 ?因为它的爆火,大家开始不约而同的讨论起 AI 绘画会不会代替设计师的工作,这个话题至今还被人常常提起。最近,OpenAI 再放大招,推出的 ChatGPT 席卷网络,大家又开始讨论内容创作者、技术从业者、甚至HR岗位是否也会被取代!

但事实真的如此吗?GPT 真的有如此大的能力吗?今天就和大家一起看看 GPT 是如何“筹谋”抢走大家“饭碗”的。

GPT 发展史

Generative Pre-trained Transformer (GPT),即基于互联网可用数据训练的文本生成深度学习模型。要讨论 GPT 就不得不谈谈他的东家 OpenAI ,在 2016 年成立时,公司主要目标包括制造“通用”机器人和使用自然语言的聊天机器人,如今它的核心宗旨仍是“实现安全的通用人工智能( AGI )”,这也给很多人造成了误解,觉得 GPT 的未来即是 AGI ,但是事实真的如此吗?

我们先来一起了解下GPT的发展史!

GPT-1

众所周知,2018年是自然语言处理(NLP)的预训练模型元年,也是这一年,GPT-1 诞生了。

GPT-1 所用的模型结构是 Transformer Decoder 结构,共 12 层。

这在当时来说已经是一个很庞大的模型了,但在性能方面还只能用于监督和任务无关的任务。

( Transformer Decoder 模型)

常用任务包括:自然语言推理、问答与常识推理、语义相似度识别、分类。

GPT-2

时隔一年,一句“Too Dangerous To Release”和 GPT-2 一起爆红网络,也打响了 OpenAI 声名显赫之路。

相比起 GPT,GPT-2 并没有对原有的网络进行过多的结构创新与设计,但模型、数据、以及训练模型都增强了很多。

( GPT-2 模型)

在性能方面,GPT-2 发现了它真正的强项——生成,尤其在阅读摘要、续写编写等方面展示出了强大的天赋。

同样在这一年,OpenAI 通过 GPT-2 认识到了 Zero-Shot 的可能性,并搭载着 GPT-2 发布了很多衍生品。

GPT-2 衍生品之 MuseNet

MuseNet 是 OpenAI 早期的衍生品,它使用与 GPT-2 相同的通用无监督技术。

GPT-2 为先前 OpenAI 提出的一个大规模 Transformer 模型,训练 AI 可预测序列中的下一个 token,包括音频和文本,用在 MuseNet 上则是给定一组音符后,要求 AI 预测后面会出现的音符。

MuseNet可以使用 10 种不同乐器,按照不同的风格生成出 4 分钟的音乐;甚至,当 MuseNet 知道许多不同的风格之后,就能混合生成新的音乐。

举例来说,你输入了肖邦夜曲(Chopin Nocturne)的前 6 个音符后,并要求它生成一段流行乐,再要求其加上钢琴、鼓、bass 和吉他的伴奏,这样生成的音乐就完美融合了肖邦和 Bon Jovi 两种风格。

GPT-3

GPT-2 的热度仅隔一年,OpenAI 就推出来 GPT-3 ,虽然在模型上没有创新,只是沿用了更大更强的作风,但通过 GPT-3 我们也可以明确:OpenAI 对 GPT 的迭代已经不在其模型创新性了,而更多则是在实用性,即是否可以完成自然语言处理的绝大部分任务。

在性能方面,GPT-3 已经能够将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本,甚至模仿已故的各位哲学家的风格了。而且,OpenAI 还开放了 GPT-3 API 接口,大家可以自行申请白名单来体验 GPT-3 的效果,由此正式开始了 GPT的商业化模式。

GTP-3 衍生品之 DALL·E

DALL·E 图像生成器是 GPT 的衍生品,其名字是为了向艺术家萨尔瓦多·达利和皮克斯的机器人 WALL-E 致敬。作为红极一时的 AI 绘画平台,DALL·E2 能够直接通过文本描述生成类似超现实主义的图像,让机器也能拥有顶级画家、设计师的创造力。

且得益于 GPT-3 强大的模型,DALL·E 2 甚至可以通过AI计算考虑整体构图,当标题文本暗示图像必须包含未明确的特定细节时,DALL·E 2 可以做到自然的把它融入到整幅图片中,这是其它AI绘画工具无法做到的,OpenAI 把这样的概念叫做“填补空白”。

DALL·E 2 的使用方法也非常简单,用户只需输入自己对脑海中画面的描述,还可以上传一张你需要变形的文字,并输入指令,即可获得你想要的图片。这无疑是对没经过专业艺术培养,但想要从事艺术工作、或想要自己尝试设计的兴趣用户带来了很大的益处,

但目前 DALL·E2 整体的算法模型还不够充足,有时自动生成的图片并不能满足我们的设计需求,也偶尔会出现画面不合逻辑的情况。随着 GPT 算法训练的次数越来越多,相信其生成的图片也会越来越丰富。

GPT-3 衍生品之 ChatGPT

ChatGPT 是 GPT-3 自然语言生成式模型的最新衍生品,也是继 DALL·E 之后又一个掀起浪潮的产品。它进行自然语言理解和生成,并具有高度的智能化和可训练性,可以与人类进行谈话般的交互,可以回答追问,连续性的问题,承认其回答中的错误,指出人类提问时的不正确前提,拒绝回答不适当的问题。

ChatGPT 能做的远不止此,这也是大家齐呼自己要失业了的原因。下面我们来一起看看 ChatGPT 的能力。

  • 编写内容

内容创作者作为现在大时代下最常见的工种之一,很多人都表现出自己专属的创造性和不可替代性;各类的热点关键词也是层出不穷,丰富了很多人的休闲时光。

现在,ChatGPT 通过算法就可以完成内容输出了

甚至你还可以在问题后面输入风格要求,这样你就得到了有着著名艺术家、世界首富、著名政治家、甚至美国杀人魔表达风格的内容。

但目前 ChatGPT 创造的故事性重复度还是较高,这与它的工作原理可能有关系,即把单词和单词之间相关联,并根据初始输入的短语来生成其它跟随的单词。因此,文字工作者也无需担心 GPT 会取代你的工作。

  • 指出错误

ChatGPT 使用“预训练-微调”的工作范式训练了一个初始模型:人类 AI 训练员提供对话,他们在对话中扮演双方——用户和 AI 助手,AI 训练员可以访问模型编写的对话回复,并帮助 AI 调整回复内容。

  • 编写软件

真正让 ChatGPT 爆红网络的原因自然是因为其“就要取代技术员工作了”,据说它可以自己写代码、debug。但其实,ChatGPT 自己给出的解释是”我可以为用户解决各种技术问题。例如,我可以帮助用户解决编程语言的问题,比如 Java、Python、C++等。我还可以帮助用户解决操作系统的问题,比如 Windows、Linux、MacOS 等。此外,我还可以帮助用户解决软件工具的问题,比如 Eclipse、Visual Studio、Git 等。”

还有人在 ChatGPT 和谷歌上就相同的一个问题就行检索,通过对比发现 ChatGPT 往往可以给出用户最想要的答案,并且答案呈现的方式也非常直接,为未来搜索引擎提供了新范式,ChatGPT 也被认为是最有可能取代谷歌的下一代智能搜索引擎。

正是因为 GPT-3 的衍生出现了很多产品,支持多种行业中的自动完成,你只需输入几个单词就可以完成一个(或更多)段落。因此 GPT-3 被描述为世界上功能最强大的自动完成系统

那么回到文章开头提到的一个观点:GPT 的未来即是 AGI。但 GPT 真的可以和 AGI 划上等号吗?

预测:GPT-4 等于 AGI 吗?

提起 AGI 很多非技术职业者可能有些模糊,但“人工智能”这个词相信大家并不陌生,从早年的“AlphaGo 下围棋赢过最好的人类棋手”开始,人工智能打败人类的话题就一直在不断被讨论;因此,当 GPT 可以代替设计师、编曲家、内容创作者、技术工程师等工作的话题一出来,就立刻赚足了眼球。

其实通过我们刚刚上文的分析,相信大家可以明确,OpenAI 推出的 GPT 衍生品并无法代替任何人的工作,人类通常是擅长融合各类感官信息去创造一个新的内容的,因此我们在进行 AGI 研究时必须要考虑的是征服基础知识。

AGI 至少从一开始就需要一个机器人体来学习类似的东西。

这些计算机不需要驻留在机器人内部,而是可以远程连接,因为电信号比我们神经系统中的电信号要快得多。但是,机器人提供了学习如何堆叠块、移动对象,随时间推移执行一系列动作以及从这些动作的后果中学习的能力。借助视觉,触摸,操纵器等, AGI 可以学会以基于文本的系统根本不可能的方式来理解。

而 GPT 并无此内容的训练,更局限在内容的生成训练上。我们相信随着人类不停的使用反馈训练, GPT 生成的内容会越来越丰富且有逻辑性,但利用文字表达出抽象的层次是 GPT 无法学会的

总结

虽然 GPT 不等于人工智能,但前有 DALL·E2 ,后有 ChatGPT ,某种程度上来说确实减少了各类工作者的入门门槛和工作压力;我们相信有 AlphaGo 在前,更多的人工智能产品会逐渐跟大家见面。

我们可以看到将人工智能引入日常生活将对我们的生活和工作方式产生深远影响;我们也相信,人工智能将用于自动执行日常任务、创建个性化服务以及根据数据做出决策。

鼎道智联专注于打造一款以人为本的操作系统,我们也希望在操作系统中可以给客用户提供更个性化、更智能化的操作体验,期待大家持续关注鼎道生态,并加入我们一起参与更多话题讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/18267.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IEEE IS评选AI十大新星,9位华人获奖

最近人工智能领域著名杂志 IEEE Intelligent Systems公布了 2022 年度「人工智能十大新星」(AIs 10 to Watch)名单 ,其中有九位都是华人研究者。 推荐阅读: ▶不愁失业!英伟达 CEO 黄仁勋:“AI 让每个人都能…

死磕数据库系列(三十二):MySQL 数据库、数据表管理工具介绍

关注公众号,回复“1024”获取2TB学习资源! 今天我将详细的为大家介绍 MySQL 数据库、数据表相关工具的相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!! 数据…

IBM停止招聘可被AI取代的职位;三星禁止员工使用ChatGPT;印象笔记官方AI免费课;清华美院AI绘画的高质量分享 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 『IBM将停止招聘可被人工智能取代的职位』近8000名工人将被自动化取代 据彭博社报道,IBM首席执行官Arvind Krishna表示&am…

死磕数据库系列(三十一):MySQL 服务器 CPU、磁盘、内存等硬件选型

点关注公众号,回复“1024”获取2TB学习资源! 今天我将详细的为大家介绍 MySQL 服务器的磁盘及相关硬件选型的相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!更多关于MyS…

Linux 中 root 与 sudo 的用法与区别,居然这么多人搞不清楚。。。

点关注公众号,回复“1024”获取2TB学习资源! Linux 下面有两个概念可能大家接触的比较多,一个是 sudo 命令,还有一个是 root 账户。Sudo 命令可以以最高权限执行命令,而 root 账户下所有命令都有最高权限,也…

面试官:TCP 连接数最大不能超过 65535?那服务器是如何应对百万千万并发的?...

点关注公众号,回复“1024”获取2TB学习资源! 最大并发 tcp 连接数是多少呢? 首先,问题中描述的65535个连接指的是客户端连接数的限制。 在tcp应用中,server事先在某个固定端口监听,client主动发起连接&…

2023年春秋杯网络安全联赛春季赛 RE复盘(部分待补)

目录 sum Pytrans BWBA Poisoned_tea_CHELL 第一种找程序加密函数的方法 第二种找程序加密函数的方法 解密 这次的春季赛仍是被打爆了,re只做出了一题,发现自己还是太菜了,好在在后期复盘中又收获了许多新知识了,不亏。 su…

2023春秋杯春季赛WP-REVERSE(AK)

REVERSE sumPoisoned_tea_CHELLBWBAPytransEmoji ConnectOldSymbolicCode 浅浅写一下RE的WP~ sum 根据代码,可以看出程序只能输入数字,判断matrix数组对应下标的值是否为0,如果为0,则可以输入一个字符,根据代码逻辑&a…

Servlet基础学习

什么是Servlet? Servlet是一种用于接收web网页传回和输出到web的一个Java类,根据不同的实际需要,实现不同的Servlet来对网页数据进行处理。 Servlet的基本处理流程 在网页发起请求之后,编译器首先去寻找web网页的配置文件&…

react仿微信聊天室|react即时聊天IM系统|react群聊

reactredux仿微信聊天IM实战|react仿微信界面|react多人群聊天室 最近一直捣鼓react开发,就运用react开发了个仿微信聊天室reactChatRoom项目,基于reactreact-domreact-router-domreduxreact-reduxwebpack2.0antdesignwcPop等技术混合开发,实…

DES加密解密 Feistel算法网络结构 详讲

文章目录 简单知识导入:具体过程:IP置换( 64 − > 64 64->64 64−>64)轮函数--E扩展置换( 32 − > 48 32->48 32−>48)轮函数--与子密钥异或( 48 − > 48 48->48 48−&…

2023年春秋杯网络安全联赛春季赛Reverse题目复现

文章目录 一.sum1. 分析程序逻辑2.解数独矩阵3.解题脚本 二.Poisoned_tea_CHELL1. 重新识别函数及程序逻辑分析2.IDA动态调试(attach附加调试)3. 输入选项进行单步调试4.解题脚本 BWBAOldSymbolicCode 一.sum 1. 分析程序逻辑 这里直接贴上当时分析的结果,根据程序行为不难猜…

NLP相关知识点(慢慢更新)

一、基础概念 1.1. NLP 中的 Tokenization 是什么? NLP技术中 Tokenization 也可以被称作是“word segmentation”,直译为中文是指 分词。 分词是NLP的基础任务,按照特定需求能把文本中的句子、段落切分成一个字符串序列(其中的元素通常称…

SpringCould+Vue3-Element-Admin 登录接口,用户信息接口以及Token验证的实现【Taurus教育平台】

文章目录 一.SpringCouldVue3-Element-Admin 登录接口,用户信息接口以及Token验证的实现【Taurus教育平台】1.1 背景1.2 数据库 二、登录接口及其Token实现2.1 前端2.2 后端2.2.1 控制层2.2.2 service层2.2.3 工具类:CreateJwt2.2.4 Dao-Mapper 三、用户…

【Bert、T5、GPT】fine tune transformers 文本分类/情感分析

【Bert、T5、GPT】fine tune transformers 文本分类/情感分析 0、前言text classificationemotions 数据集data visualization analysisdataset to dataframelabel analysistext length analysis text > tokenstokenize the whole dataset fine-tune transformersdistilbert…

Django通过nginx 部署(成功运行)

配置python版本和ssh启用root参考其它文章 完整项目路径 /root/projects/mysutra_pro 下级目录/root/projects/mysutra_pro/mysutra是源码目录 rootVM-12-2-debian:~/projects/mysutra_pro# ls db.sqlite3 manage.py ms_env mysutra rootVM-12-2-debian:~/projects/mysutr…

es Elasticsearch的增删改查(含数组操作)(类型,原理) - from chatgpt

父文章 算法中的特征的保存, es 和 mysql 和 odps hadoop hbase的区别_个人渣记录仅为自己搜索用的博客-CSDN博客 Elasticsearch如何做到数十亿数据查询毫秒级响应? - 知乎 ES系列之利用filter让你的查询效率飞起来_es filter_lucasma.eth的博客-CSDN博客 ES查询…

文心一言对比chatgpt

文章目录 一、 介绍二、 回复速度比较三、 写代码能力四、 做表格能力五、 写文案能力六、 解决数学问题能力七、 绘画能力八、 实时更新信息九、 总结 一、 介绍 文心一言对比chatgpt。 测试了上百个案例,挑选几个经典的案例。 二、 回复速度比较 百度文心耗时10…

CSDN chatGPT初体验

我的问题:用java实现一个B树 public class BTree {private int t;private Node root;private class Node {private int n;private boolean leaf;private int[] keys;private Node[] children;public Node(boolean leafNode) {this.n 0;this.leaf leafNode;this.ke…

chatgpt赋能python:Python岗位需求日渐增加

Python岗位需求日渐增加 Python编程语言在当前的IT行业中越来越受欢迎。其灵活性和易用性使得Python在各种领域中使用广泛,比如Web开发、数据科学、人工智能等。作为一名有10年Python编程经验的工程师,我认为Python是一种非常有前途的编程语言&#xff…