ChatGPT的哲学基础，维特根斯坦思想！

Datawhale干货

作者：金雪锋，编辑：AI科技大本营

在科学的顶端，与哲学相遇——ChatGPT已然开启了这一趋势。在ChatGPT之前，AI产业界对于技术哲学的探讨主要集中在AI的伦理道德上，但大语言模型除了这一点之外，它的哲学命题还可以追溯至维特根斯坦。

语言的边界就是思想的边界：为什么是语言大模型（LLM）

哲学家维特根斯坦说过：“语言的边界就是思想的边界”，我的理解就是，语言本身与人类的智能是共生长的，两者是一体的。如果我们的基础模型能获得所有语言的信息，那就同时获得了人类所有的知识。反过来说不能用语言来表达的知识是不存在的。

这个我想也是语言大模型之所以崛起的重要的原因，如果我们搞定了语言大模型，那就等于获得了人脑大部分的知识。

“一本正经的胡说八道”算不算智能：prompt learning and in-context learning

维特根斯坦的思想旅程可以给我们一个参考，他的哲学观点其实经过两个阶段。

第一个阶段：代表作《逻辑哲学论》，主要探讨人类怎样进行有效的沟通，维特根斯坦的观点是语言能让我们在脑海中构建事实的图像，并通过这种方式来描述世界，但是容易出现歧义，因为不同的人脑海中的图像都是不一样的或者是错误的，消除人们之间的分歧会花上很长时间，这里根本的原因在于人们对要表达的内容在脑海中缺乏一副足够清晰精确的图像，同时我们还经常说一些无意义或者充满歧义的话，所以维特根斯坦对自然语言是抱负面的观点，他认为不是一种很好的描述世界的语言，不够准确，应该采用更加形式化的语言；同时他认为世界上还有许多不可言说之物，而且比可以言说的事物更加重要，包括语言及世界的逻辑形式、伦理和美学等等，”把可说的东西说清楚，对于不可说的东西，我们必须保持沉默“，这个是维特根斯坦第一阶段的观点。

第二阶段：代表作《哲学研究》，维特根斯坦的思想发生了180度的大反转，他认为语言不仅仅是与脑海中的图像相关，更是一种普适的思想表达工具，我们可以用它来玩不同的游戏，它能描述客观的世界，也能描述情感等主观世界，之所以有那么多误解在于我们不知道他人玩的是什么游戏。举个例子，有个病人患了癌症，医生在跟他沟通的时候，却隐瞒了真相，表面上看这个表达与事实是不符，但是如果放到上下文，又是合情合理。

联想到ChatGPT的“一本正经的胡说八道”，我们姑且也可以认为在和ChatGPT对话的时候，由于双方的上下文没有对齐所引起。当我们提问的时候，实际上脑海中蕴含着一个假设/上下文，这个假设/上下文可能并没有知会ChatGPT或者ChatGPT没有学习过，而LLM的Prompt/in-context Learning/RHLF的思想感觉就非常类似对ChatGPT进行这方面的教育。

当然这里的问题是，人类沟通的许多上下文与周边的物理世界相关，比如我们会互相观察各自的脸色，听声音的语调等，而ChatGPT的对话完全是符号世界，这会导致表达这些上下文会更加繁琐甚至不自然。

LLM是否真正具备推理能力：token化表达和概率推理

就在上个月，我的观点还一直是LLM效果是很好，但是这些效果还是来自于综合，它的分析推理能力还是没有，但是最近确实有些变化，我已经看到了AGI的苗头，主要基于三方面：

“维特根斯坦的两个阶段观点的区别还在于：第一阶段，是理性建构主义，希望通过类似乔姆斯基文法一样去构建我们的语言系统，实现准确/无歧义；第二阶段是经验主义，维特根斯坦认为这种事实归纳加浅层推理才是人类认识世界的方式。”（观点来自知乎 @疯石头）

个人觉得现在chatGPT在理工科上的推理能力弱的关键还是在于这个领域的知识在token化上还不够，毕竟LLM现在的学习方式还是需要通过token的方式来输入，假设我们投入足够的资源，把各个领域的知识都转化为适合LLM学习的token或者说这些知识库对外的接口能够token化，我相信chatGPT在这些领域的推理能力一定能达到一个高度。

陶哲轩的观点可以给我们启发，就是“LLM的推理能力或许和我们理解的推理能力略有不同，它的推理过程中，都带有一个概率，这种推理方式与传统的推理方式相比，其实是各有优劣的。ChatGPT的推理方式更加发散，虽然带有不确定性，但是可能带来创新。”

同时，我个人认为，因为每一步都有概率的存在，多次推理是有累加效应的，容易把错误放大，所以为什么LLM又强调思维链（一步一步引导）的重要性。