LeCun畅谈:ChatGPT局限巨大,自回归模型寿命不超5年

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【计算机视觉】微信技术交流群

转载自:新智元 | 编辑:拉燕

【导读】图灵奖得主Yann LeCun畅谈AI:未来是开源。

今年上半年,可谓是AI届最波澜壮阔的半年。

在急速发展的各类GPT甚至AGI的雏形背后,是持不同观点的两大阵营的人们。

一派认为,以ChatGPT为首的生成式AI非常强大,能带动一大波革命性的风潮,继续推进没有问题。

另一派认为,咱发展的有点太快了。不说禁止,也得停一停。而且道德方面,相匹配的约束也太少了。

而作为AI届的一位大拿,Yann LeCun对此却有不同看法。

bc7043ed7a1671e64a4ad0919f33c529.png

彻底禁止?不可行

LeCun表示,他对ChatGPT的表现并不感到惊讶,也不赞成暂停人工智能的研究。

「这可能会产生和预期相反的结果。」

他表示,人工智能作为人类智能的放大器,可能是新文艺复兴的起源。

ChatGPT这种大语言模型是「自回归」。AI接受训练,从一个包含多达14000亿个单词的语料库中提取单词,预测给定句子序列中的最后一个单词,也就是下一个必须出现的单词。

e9b84ed7fb883295d5dcd414fe1e072c.png

Claude Shannon在上个世纪50年代开展的相关研究就是基于这一原则。

原则没变,变得是语料库的规模,以及模型本身的计算能力。

LeCun表示,「目前,我们无法靠这类模型生成长而连贯的文本,这些系统不是可控的。比如说,我们不能直接要求ChatGPT生成一段目标人群是13岁儿童的文本。

其次,ChatGPT生成的文本作为信息来源并不是100%可靠的。GPT的功能更像是一种辅助工具。就好比现有的驾驶辅助系统一样,开着自动驾驶功能,也得把着方向盘。

而且,我们今天所熟知的自回归语言模型的寿命都非常短,五年算是一个周期,五年以后,过去的模型就没有人再会用了。

而我们的研究重点,就应该集中在找到一种是这些模型可控的办法上。换句话说,我们要研究的AI,是能根据给定目标进行推理和计划的AI,并且得能保证其安全性和可靠性的标准是一致的。这种AI能感受到情绪。」

81e80cfc12481740753740712c1cce98.png

要知道,人类情绪的很大一部分和目标的实现与否有关,也就是和某种形式的预期有关。

而有了这样的可控模型,我们就能生成出长而连贯的文本。

LeCun的想法是,未来设计出能混合来自不同工具的数据的增强版模型,比如计算器或者搜索引擎。

像ChatGPT这样的模型只接受文本训练,因此ChatGPT对现实世界的认识并不完整。而想要在此基础上进一步发展,就需要学习一些和整个世界的感官知觉、世界结构有关的内容。

而这些更复杂的内容并不是简单地通过阅读文本就能实现的,这才是未来几年的最大挑战之一。

开源才是尽头

对权力的渴望,是人类特有的。而AI并不会因为变得越来越强大就会具备这种渴望。

只有人类这个物种才知道如何制定法律,保障个体的行为不会过多损害共同利益。

OpenAI最初是一个开放的研究项目,现在已经关闭了。而OpenAI对其工作只字未提,这种情况的逆转在研究领域并不常见。

问题在于训练一个语言模型很昂贵,要花费几千万欧元,所以初创企业负担不起。

这也是微软与OpenAI合并的主要原因,需要集团共同的计算能力来改进其未来的模型。这也是为什么DeepMind和谷歌大脑最终还是合并了。

33530abea680444f027956b8e467ad79.png

LeCun表示,最终在市场方面,开发者会走向一个开放平台的共同生态。如果只有少部分公司控制着这类技术,就糟糕了。

从历史上来看,不管是Facebook还是改完名的Meta,都在积极推动开放性的基础研究,比如LlaMa这个开源项目。

490614c43526d587cb91c933272df5c4.png

90年代初期,Sun Microsystems和Microsoft大打出手,争夺操作服务器的权力。要记住,所有能一直站稳脚跟的互联网技术都是开源的。

LeCun最后表示,目前,阻止这类开放的开源AI平台的关键,是法律上的问题。如果未来欧盟想要推动AI产业的结构化,那么这种类似的开源平台是必不可少的。

参考资料:

https://twitter.com/USBEKetRICA/status/1648597311843450881

点击进入—>【计算机视觉】微信技术交流群

最新CVPR 2023论文和代码下载

 

后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集

后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲扫码或加微信号: CVer333,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!▲扫码进星球
▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看e9cf594f466a35bd57a6fec6f99c01c4.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/18830.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT正在改变一切但仍然有其局限性

人工智能聊天机器人已经被证明非常有能力完成技术任务,例如编写和编码。但它还不能做所有的事情。 自11月下旬发布以来,ChatGPT已经席卷全球。这款聊天机器人的高级人工智能能力允许它完全独立完成任务,如撰写论文、电子邮件和诗歌、编写和调…

从集异壁理解ChatGPT的成功与局限

终其一生,人类都在探寻认知这个世界的方式。 音乐、绘画和人工智能是三个看似无关的领域,但是它们都是人类这次伟大尝试的绚烂明珠。在这三个领域,追根溯源,底层的结构,都简洁且美丽。 图片由Midjourney生成&#xff0…

GPT虚拟直播Demo系列(二)|无人直播间实现虚拟人回复粉丝

摘要 虚拟人和数字人是人工智能技术在现实生活中的具体应用,它们可以为人们的生活和工作带来便利和创新。在直播间场景里,虚拟人和数字人可用于直播主播、智能客服、营销推广等。接入GPT的虚拟人像是加了超强buff,具备更强大的自然语言处理能…

今晚 12:30 RLHF: From Zero to ChatGPT 直播活动

本次演讲,我们将介绍一种称之为从人类反馈中强化学习 (RLHF, Reinforcement Learning from Human Feedback) 的基础知识,以及如何使用 RLHF 驱动实现 ChatGPT 这样的工具。我们将为大家介绍相关联的机器学习模型,涵盖自然语言处理 (NLP) 和强…

2-24财财的财经早报!

早评0224:震荡依旧 【市场判断】 外围方面,美股三大指数收涨,道指涨0.33%,纳指涨0.72%,标普涨0.53%。消息面上,美联储官员在会议纪要中重申了其强硬的立场——与会者都同意在通胀得到实质控制之前继续加息步伐。芝商所…

一个90后关于ZG足球的思考【卡塔尔世界杯】

前言 一个月的时间过得还是非常快的,卡塔尔世界杯马上也要迎来半决赛和决赛。自己一直想动手写写自己关于足球的思考,特别是ZG足球,说得再准确一点,就是ZG男足。 正文 第一次认识足球运动 作为一名90后,自己开始认…

数据可视化之中国足球队在国际足联及亚洲的历史排名看这儿

最近最热的体育盛事莫过于世界杯了,四年一届的足球盛事,正在卡塔尔激战正酣。这时候可能会有球迷疑问:怎么没看到中国队呢?也有网友调侃说中国队被分到工程队去了。 泱泱大国,难道中国十几亿人口,一个足球队…

【花雕学AI】我们如何才能避免被ChatGPT替代?——一个跨学科的视角

ChatGPT是一个由OpenAI开发的AI文本工具,它可以理解和生成自然语言,从而与用户进行对话。ChatGPT是基于GPT-3或者GPT-4模型的,这是目前最大和最先进的语言模型之一。ChatGPT通过在大量的互联网文本数据上进行预训练和强化学习,学习…

开箱即用,ChatGPT 复现方案开源

点击上方“Java基基”,选择“设为星标” 做积极的人,而不是积极废人! 每天 14:00 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应…

【ChatGPT】ColossalChat:目前最接近 ChatGPT 原始技术方案的实用开源项目——以 LLaMA 为基础预训练模型,推出 ColossalChat

ColossalChat:Making large AI models cheaper, faster and more accessible www.colossalai.org GitHub - hpcaitech/ColossalAI: Making large AI models cheaper, faster and more accessible 目录 Col

【hadoop】完全分布式集群部署

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、准备好三台虚拟机1.创建虚拟机2.配置网卡3.配置JDK和HADOOP4.修改主机名 二、修改ip、映射1.修改ip2.修改映射 三、设置免密登录四、关闭防火墙五、配置had…

体验本地部署AI绘画程序

目录 前言 一、AI绘画是什么? 二、Stable Diffusion简介 二、部署步骤 1.克隆代码 2.部署环境 3. 安装 4 一些错误提示的排除 总结 前言 随着人工智能的不断发展,尤其是chatGPT的成熟,AI绘画也获得了热捧,甚至AI画的太空歌…

chatgpt赋能python:Python单机游戏:让你爱不释手的趣味游戏

Python单机游戏:让你爱不释手的趣味游戏 在当今数码化的世界中,单机游戏越来越受欢迎。作为一名有10年Python编程经验的工程师,我想向大家介绍Python单机游戏,这是一种让你爱不释手的趣味游戏。 什么是Python单机游戏&#xff1…

生成式语言大模型压缩技术思考——以ChatGPT为例

ChatGPT引领了生成式语言大模型的应用与技术热潮,首先简单回顾ChatGPT应用范式:将其应用于指定的下游任务时(如知识问答、翻译、编码),ChatGPT需要经历三个阶段的训练(增强人类语境的猜想)&…

我,一名记者,面对ChatGPT慌得一比

出品|网易科技《智见焦点》 作者|赵芙瑶 编辑|丁广胜 人工智能诞生初期,由于技术的不成熟经常被戏谑为“人工智障”,当AI刚刚涉及内容创作领域时,人们也总有“机器缺乏情感”、“语言过于生硬”的刻板印象。…

我(程序大学生)与AI

我与AI的接触历程及感想 首次接触AI 2022年下半年,我开始自学板绘,没过多久,AI绘画横空出世,引起大量关注。在自学板绘的过程中,我逐渐了解到,学习绘画是一件以年为单位的事,有太多知识需要学…

大学生对AI的看法调查

大学生对AI的看法调查 (❗主要是对2022届大学生的小范围不全面调查❗) AI时代到来,大学生如何看待AI,如何看待AI应用领域大幅扩展后的未来? 对此我非常好奇,于是我自发开展了一次主要围绕本院&#xff08…

谈谈我对ai发展的看法

最近难得有时间,通过白话,聊聊我对AI的看法,仅代表个人观点 首先表明我的观点:人类当前的人工智能成果,仍然停留在一知半解程度。技术的发展是需要长期的积累和进步,目前AI的发展仍处于入门阶段 人类的发展…

GPT-4震撼发布,谁能革了ChatGPT的命?

今晨,OpenAI 发布了多模态预训练大模 GPT-4,OpenAI 老板 Sam Altman 直接开门见山地介绍说:“这是我们迄今为止功能最强大的模型!” GTP-4 是目前为止世界第一款高体验、强性能的先进 AI 系统。根据 OpenAI 官方的介绍&#xff0c…