ChatGPT的哲学基础,维特根斯坦思想!

 Datawhale干货 

作者:金雪锋,编辑:AI科技大本营

在科学的顶端,与哲学相遇——ChatGPT已然开启了这一趋势。在ChatGPT之前,AI产业界对于技术哲学的探讨主要集中在AI的伦理道德上,但大语言模型除了这一点之外,它的哲学命题还可以追溯至维特根斯坦。

09beb9e0dbeff2532a600971468cf36f.png

语言的边界就是思想的边界:为什么是语言大模型(LLM)

哲学家维特根斯坦说过:“语言的边界就是思想的边界”,我的理解就是,语言本身与人类的智能是共生长的,两者是一体的。如果我们的基础模型能获得所有语言的信息,那就同时获得了人类所有的知识。反过来说不能用语言来表达的知识是不存在的。

这个我想也是语言大模型之所以崛起的重要的原因,如果我们搞定了语言大模型,那就等于获得了人脑大部分的知识。

fce7087edd2654696b85b638b78424ee.png

“一本正经的胡说八道”算不算智能:prompt learning and in-context learning

维特根斯坦的思想旅程可以给我们一个参考,他的哲学观点其实经过两个阶段。

第一个阶段:代表作《逻辑哲学论》,主要探讨人类怎样进行有效的沟通,维特根斯坦的观点是语言能让我们在脑海中构建事实的图像,并通过这种方式来描述世界,但是容易出现歧义,因为不同的人脑海中的图像都是不一样的或者是错误的,消除人们之间的分歧会花上很长时间,这里根本的原因在于人们对要表达的内容在脑海中缺乏一副足够清晰精确的图像,同时我们还经常说一些无意义或者充满歧义的话,所以维特根斯坦对自然语言是抱负面的观点,他认为不是一种很好的描述世界的语言,不够准确,应该采用更加形式化的语言;同时他认为世界上还有许多不可言说之物,而且比可以言说的事物更加重要,包括语言及世界的逻辑形式、伦理和美学等等,”把可说的东西说清楚,对于不可说的东西,我们必须保持沉默“,这个是维特根斯坦第一阶段的观点。

d14ee4fe22d9705944452f95af2eb5f6.png

第二阶段:代表作《哲学研究》,维特根斯坦的思想发生了180度的大反转,他认为语言不仅仅是与脑海中的图像相关,更是一种普适的思想表达工具,我们可以用它来玩不同的游戏,它能描述客观的世界,也能描述情感等主观世界,之所以有那么多误解在于我们不知道他人玩的是什么游戏。举个例子,有个病人患了癌症,医生在跟他沟通的时候,却隐瞒了真相,表面上看这个表达与事实是不符,但是如果放到上下文,又是合情合理。

b19646c29a5fba48fddacfe32d72d66c.png

联想到ChatGPT的“一本正经的胡说八道”,我们姑且也可以认为在和ChatGPT对话的时候,由于双方的上下文没有对齐所引起。当我们提问的时候,实际上脑海中蕴含着一个假设/上下文,这个假设/上下文可能并没有知会ChatGPT或者ChatGPT没有学习过,而LLM的Prompt/in-context Learning/RHLF的思想感觉就非常类似对ChatGPT进行这方面的教育。

当然这里的问题是,人类沟通的许多上下文与周边的物理世界相关,比如我们会互相观察各自的脸色,听声音的语调等,而ChatGPT的对话完全是符号世界,这会导致表达这些上下文会更加繁琐甚至不自然。

e12d11a66f4befcff38a39882c9be0be.png

LLM是否真正具备推理能力:token化表达和概率推理

就在上个月,我的观点还一直是LLM效果是很好,但是这些效果还是来自于综合,它的分析推理能力还是没有,但是最近确实有些变化,我已经看到了AGI的苗头,主要基于三方面:

“维特根斯坦的两个阶段观点的区别还在于:第一阶段,是理性建构主义,希望通过类似乔姆斯基文法一样去构建我们的语言系统,实现准确/无歧义;第二阶段是经验主义,维特根斯坦认为这种事实归纳加浅层推理才是人类认识世界的方式。”(观点来自 知乎 @疯石头 )

个人觉得现在chatGPT在理工科上的推理能力弱的关键还是在于这个领域的知识在token化上还不够,毕竟LLM现在的学习方式还是需要通过token的方式来输入,假设我们投入足够的资源,把各个领域的知识都转化为适合LLM学习的token或者说这些知识库对外的接口能够token化,我相信chatGPT在这些领域的推理能力一定能达到一个高度。

陶哲轩的观点可以给我们启发,就是“LLM的推理能力或许和我们理解的推理能力略有不同,它的推理过程中,都带有一个概率,这种推理方式与传统的推理方式相比,其实是各有优劣的。ChatGPT的推理方式更加发散,虽然带有不确定性,但是可能带来创新。”

同时,我个人认为,因为每一步都有概率的存在,多次推理是有累加效应的,容易把错误放大,所以为什么LLM又强调思维链(一步一步引导)的重要性。

7b3db0351c3419321ab40c122d8eb4be.png

语言大模型的“下一跳”是什么?

LLM搞定了符号世界,下一步人工智能的难点就是物理世界的建模,怎么把物理世界连接到ChatGPT这样的系统上,将是大语言模型的“下一跳”。

作者介绍

f5aded54d06f73403d437f9aa9dbfd80.jpeg

金雪锋,昇思MindSpore首席架构师

华为中央软件院架构与设计管理部部长,华为科学家,负责华为基础软件的架构设计工作。

9e7d55b9bc6d49e05b0c3f27bc631b62.png

一起“赞”三连

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/14247.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT的哲学基础是?

ChatGPT的哲学基础是:休谟之问维特根斯坦思想。 休谟之问:从事实中能否推出价值?维特根斯坦前后两个阶段思想:第一阶段,是理性建构主义,希望通过类似乔姆斯基文法一样去构建我们的语言系统,实现…

国内外大模型盘点

序号模型名称时间公司国家是否开源备注1T52019google是2GPT-32020openAI3GShardgoogle4mT52021.1-4google5PanGu-ɑ华为中国6PLUG阿里中国7Ernie3.0(文心一言)2021.5-8百度中国8BlOOMBigScience中国是9codexopenAI10Jurassic-1AI21 labs以色列11HyperCLO…

GPT-4、百度文心一言摆擂,AI大模型将掀起新一轮AIGC军备竞赛?

科技云报道原创。 一觉醒来,万众期待的GPT-4来了。OpenAI老板Sam Altman直接开门见山地介绍说:“这是我们迄今为止功能最强大的模型!”仅隔一天,“中国版ChatGPT”百度文心一言正式发布,双方大有摆擂之势。 当深度学习…

莫言用 GPT 写颁奖辞,那如果他自己写会是什么效果呢?

在《收获》杂志 65 周年庆典上,莫言在为余华颁奖时表示,余华是自己的好朋友,但给他的颁奖词写了好几天也想不出来,后来找了 ChatGPT 帮忙写。最后,莫言让 ChatGPT 写了一篇莎士比亚风格 1000 多字的颁奖词,…

【ChatGPT背后的技术演进】

ChatGPT背后的技术演进 1.自然语言处理的发展历史回顾 自然语言处理(Natural Language Processing, NLP) 作为人工智能的 重要研究方向,旨在帮助计算机理解、解释和运用人类语言。 回顾 NLP 的主要发展历程,可大致分为三个阶段&…

2023年的深度学习入门指南(14) - 不能只关注模型代码

2023年的深度学习入门指南(14) - 不能只关注模型代码 最近,有一张大模型的发展树非常流行: 这个图是相当不错的,对于加深对于Transformer模型编码器、解码器作用的理解,模型的开源和闭源情况等等都相当有帮助,大家使…

浅评ChatGPT在软件开发上的辅助能力(附GPT-4对比)

01 背景 ChatGPT于去年正式公测后,凭借其强大的自然语言处理能力迅速获得业内广泛关注,特别是辅助软件开发上,初步表现出了令人满意的能力,然而正当业内积极探索引入ChatGPT后的新工作模式之时,OpenAI又发布了基于GPT-…

PDF转CAD在线怎么转换?分享个在线转换的方法

从事CAD设计的小伙伴有没有经常收到PDF格式的CAD文件呢?因为使用PDF格式来传输不仅方便我们查阅,且能保证图纸内容不会因不同设备导致内容错乱,而且如果用手机查阅也不用担心不能直接打开文件!但是PDF文件不能直接进行编辑&#x…

如何转换DWG文件格式?来试试这两种方法

DWG格式的文件如何转换格式呢?从事CAD相关工作的小伙伴都知道,DWG格式文件是CAD文件里最常见的一种文件格式,与它相伴出现的还有DXF格式,如果我们想要将DWG格式文件转换成DXF格式文件来进行绘图,我们该如何转换呢&…

CAD怎么转换成JPG图片?教大家一个好用的转换方法

怎么把CAD文件转换成JPG格式的图片呢?CAD文件经常出现在建筑行业或者是一些建设行业中,因为很多的施工单位在施工前都会以CAD文件格式来绘制好图纸。但是CAD文件离开专业的设备一般不容易打开,我们想要随时随地的浏览文件是一个问题。实际上我…

1分钟告诉你cad版本转换器怎么用

部分从事设计行业的小伙伴,通常会使用CAD软件进行创作,但有些人习惯了老版本的操作界面,便可能出现他人发送图纸供你查阅时,因为版本过低打不开文件的情况。 其实要解决这一困扰并不难,我们只要将新版本的CAD图纸转换…

cad在线转成低版本的途径分享,适合新手

CAD如何转换成低版本?CAD作为一种绘图工具已经被人们所熟知,它凭借着高效率和高准确性大大提高了我们的设计质量和灵活度。哪怕非设计行业工作者现在也有不少开始学习该软件,其影响力可见一斑。然而我们在接收到他人传输过来的文件时&#xf…

CAD版本转换怎么操作?这些方法了解了吗

目前市场上有很多CAD版本。每个人的使用习惯和计算机配置都不一样。不同版本的CAD软件生成不同的CAD文件。虽然制作CAD文件的操作方法相似,但新旧版本存在兼容性问题。高版本的CAD软件可以看到低版本软件制作的设计图纸,但低版本工具看不到高版本工具制作…

CAD版本转换怎么操作?几个步骤教会你

CAD是建筑设计行业经常使用的图纸文件,但是有些图纸的格式可能会因为版本太高或者太低而打不开。不知道小伙伴们遇到这种情况是不是也束手无策呢?其实我们只需要使用一些软件来转换CAD版本即可。那么小伙伴们知道CAD版本转换怎么操作吗?还不了…

CAD快速看图怎么转换成PDF格式?这一款软件就足够

CAD快速看图怎么转换成PDF格式?CAD文件是一种比较专业的文件,一般用于设计、绘图等,这种文件需要特殊的软件才可以打开,不过对于大多数人来说,都很少会安装这种软件,因为下载和安装软件需要很多时间&#x…

CAD如何免费转换PDF格式

有的时候,我们需要将我们的CAD文件转出PDF格式的文件发给客户,以便客户打开查看,那么我们如何将CAD文件转换为PDF格式?今天和大家分享一种简单的操作方法,并且是免费试用的。 1,首先打开百度首页,用“Speedpdf”作为关…

CAD文件怎么批量转PDF格式?转换方法分享

我们如何将CAD文件批量转换成PDF格式呢?CAD文件是我们建筑、城建、道路施工等领域常用的一种设计图纸,我们将图纸设计好后,为了接收的那一方能够顺利打开文件,可以将CAD文件转换成PDF格式来发送。如果面对很多个CAD文件&#xff0…

CAD文件如何转JPG图片?分享两种转换方法

如何将一份CAD文件转换成JPG格式的图片呢?大家在拿到一份绘制好的CAD文件时,肯定是想要浏览文件,在我们没有将文件打印出来之前,离开专业的文件打开软件,是没办法随时浏览的,这时候我们可以将文件转换成JPG…

CAD版本转换怎么转?简单几步帮你解决

从事CAD相关行业的小伙伴每天都会接触到很多CAD图纸文件,有些图纸的格式会因为版本太低或者太高导致文件打不开。需要使用CAD版本转换器来转换图纸的版本。有的刚接触这一行的小伙伴就不是很明白怎么转换了,那么CAD版本转换怎么转呢?下面就和…

CAD版本怎么转换?试试这种方法

相信很多从事CAD绘图的小伙伴们对CAD版本转换应该不陌生吧,对于CAD版本通常有两种问题,一是CAD高版本可以打开低版本的图纸,相反低版本不能打开高版本图纸;二是高版本图纸转换为低版本可以直接在工具中另存为文件,就可…