现有大语言模型(ChatGPT)的上下文理解能力还是假象吗?

人工智能的一个重要方面是人机交互智能,人机交互智能的核心在于机器对自然语言的理解,而机器翻译是衡量这种理解的有效方式。

按照目前LLM的技术路线,仅仅靠计算语言形式的概率能否产生人类式理解还是未知,但我们知道人类式理解是能够反语言形式概率的,这可以作为LLM是否理解语言的评估标准,也可以作为图灵测试的评估标准。

反概率的一种表现形式是,人类具有质疑自己所相信的并将注意力重新聚焦到与第一印象不相符的部分的能力。
下面就是一个典型的反语言形式概率的翻译错误案例。
机器翻译的概率式理解
机器翻译的概率式理解
全国“江”姓比“楚”姓的人口多几百万,上面的江大桥市长即使小学生都能理解的非常准确,因为人类式理解是能轻松反语言形式概率的。而google翻译,微软翻译,百度翻译等都不能准确翻译,即使最新的大型语言模型chatGPT也没有表现出任何明显的改善,不理解发表讲话的含义,还错误地纠错“北京市市”, 也要翻译为 “长江大桥”。
下图是ChatGPT问答的截图
ChatGPT的反概率理解错误
从训练数据中的先验概率来讲,要想让系统自动纠正 “长江大桥” 的巨大权重的确是不容易的,需要理解上下文才能做到,而各种深度学习或大模型技术在反概率的上下文理解上还没有显现出任何能力,何谈AGI呢?

还可以设计各种反概率的测试用例,例如“如果汁一样好喝”,"如果"的巨大权重也会导致翻译或理解出错。只要是需求和问题中含有反概率时GPT就一定会出错,这是因为基于概率计算的GPT只能做出概率式理解。截图如下:
GPT的概率式理解
通过设计各种测试,还会发现GPT在从前向后顺序理解的表现比传统翻译要好一些,这也正符合GPT的从前向后的解码训练机制,说明GPT的概率计算策略在从前向后的概率式理解上还是取得了一些效果。

语言是形式与思想的交融,目前的机器学习模型包括大语言模型能力仍局限于形式语言方面,而这些能力的形塑基础就是语言形式的频率和概率。
语言形式只包含给定语言规则和模式的知识,语言功能则需要在现实世界中理解和使用语言所需的一系列认知,这些认知涵盖了几乎所有的人类思想领域,如形式推理、世界知识、情态建模和社会认知。 ​​​

基于语言形式的概率计算能产生人类式的理解吗?这在今天已经完全成为了一门实验科学。

基于注意力机制的概率计算使得GPT表现出了很强的语义理解能力,尽管不同于人类式基于概念认识的理解方式,但形式不同,并不妨碍目标一致。 ​​​并且理论上的多注意力机制是有可能做到反概率理解的。

希望2023年LLM能反概率理解一个句子内的上下文,在这之前,所有在语言形式概率之内的上下文理解都可能是假象。

还希望我们能发现超越概率的可计算基础,而不是只依赖改进概率计算的策略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/17645.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

朋友圈宣传文案 朋友圈产品推广文案模板怎么写?

朋友圈互推,本质是利用异业联盟互换资源的原理; 营销值得学举个在现实生活中常见的例子,大家就能很好的理解,异业联盟互换资源的原理。使用得当,效果便是11>2! 我们院子有个买鸡蛋的大姐,为人实在乐于…

chatgpt赋能python:使用Numpy在Python中进行科学计算

使用Numpy在Python中进行科学计算 对于需要进行科学计算和数据分析的程序员,Python是一个非常有用的编程语言。而Numpy(Numerical Python)则是Python生态系统中最受欢迎和广泛使用的科学计算库之一。该库提供了高效的数组操作,线…

开源的全文搜索引擎总结,chatbot和chatgpt项目必备资源

全文搜索引擎就是通过从互联网上提取的各个网站的信息(以网页文字为主)而建立的数据库中,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结果返回给用户。 1、Apache Lucene Java 全文搜索框架 许可证:Apa…

搜索框功能实现

搜索框功能实现 在开发搜索框过程中需要实现两个小功能,技术栈是nuxt.js 功能描述如下功能1:当鼠标聚焦的时候搜索框下方出现热门推荐,如下图所示 功能2:当输入搜索内容的时候,热门推荐消失,出现搜索结果…

input type=search 实现搜索框。

欲实现一个文字搜索的功能,要求输入时,键盘回车按钮提示显示为“搜索”。效果如下: input typetext并不能达到这种效果,google了一下,html5 增加的typesearch可以做到(但需要input typesearch外面包上一层带action属性…

chatGPT网站报错:Sorry,you have been blocked

打开charGPT网站突然进不去,显示:Sorry,you have been blocked. 尝试清理了chatGPT网站的cookie数据,还是不行。 最后解决方法: 关掉网站,换一个VPN国家,再次打开网站,登录进入成功。

一种解决ChatGPT报错“Sorry, you have been blocked“的方法

ChatGPT突然不能用,尝试了网上说的重启V某N,打开隐私模式等方法都不管用。 采用下面方式,解决: 1.打开浏览器的 “设置”。 2.找到语言设置 3.将首选语言改成英语 搞定!

最强绘图AI:一文搞定Midjourney(附送咒语)

最强绘图AI:一文搞定Midjourney(附送咒语) Midjourney官网:https://www.midjourney.com 简介 Midjourney是目前效果最棒的AI绘图工具。访问Midjourney需要科学姿势。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下…

教培行业的“智能GPT私教”?WorkPlusAI助理帮助教培机构实现十倍人效!

从横空出世到掀起高潮,当下,AIGC(人工智能生成内容)模式下的ChatGPT它正以惊人的速度席卷各个领域,在线教培行业也不例外。那么,正式进入落地期的ChatGPT,在在线教培行业有那些应用前景呢&#…

智能教育卷入GPT混战!三路玩家火拼,“AI老师”成标配

大模型教育场景落地,供给侧军备竞赛已开启。 作者 | 周炎 编辑 | 云鹏 明天,2023世界人工智能大会将正式开幕,据悉,30余款大模型都将悉数亮相,这其中就包括科大讯飞星火认知大模型、网易有道子曰大模型、百度文心一言…

智能教育卷入GPT混战,三路玩家火拼,“AI老师”成标配

大模型教育场景落地,供给侧军备竞赛已开启。 作者 | 周炎 编辑 | 云鹏 明天,2023世界人工智能大会将正式开幕,据悉,30余款大模型都将悉数亮相,这其中就包括科大讯飞星火认知大模型、网易有道子曰大模型、百度文…

最近火出圈的chatGPT智能AI聊天机器人

最近火出圈的chatGPT智能聊天机器人,相信大家都有所了解,那你们是否已经亲身体验过呢?今天,很高兴通知大家,我们最新上线了一个AI智能聊天机器人,让你可以随时随地与它进行自然语言交互。 无论聊天对话、查…

ChatGPT提示大解析:如何有效定制Prompt并用插件管理

有时候,你可能在编程时遇到难题,需要解决方法。有时候,你在学习新的语言时,想要找到一位悉心的教师。又或者,你可能只是需要一些新的灵感,来润色你的文章。在所有这些情况下,ChatGPT都可以发挥巨…

如何用ChatGPT1分钟内撰写完几万字的教学文件?

对于教师和培训工作者来说,进行上课之余,撰写教案也是一项十分耗费时间的任务,但是 Upskillr可以按照你的需要,在一分钟的时间里,为你撰写一份数万字的教学文件,供你下载。 首先登陆您的 ChatGPT帐号&#…

ChatGPT了吗,老师

ChatGPT 火了 让我们来挑战一下 人工智能 能不能取代老师 看我怎么难倒它 请写一份教案 主题是“锐角三角函数” 教学对象是初中生 字数不少于2,000字 哇 当他写出教学目标教学重难点的时候 我真的有这么一丝丝惊讶 因为他真的懂 我的需求是什么 老师们 来看一下ChatGPT写的这…

chatgpt赋能python:Python桌面程序——为您打造高效办公环境

Python桌面程序——为您打造高效办公环境 随着信息化办公的不断发展,桌面应用程序的需求越来越大。Python作为一种高效的编程语言,不仅适用于网络应用开发,也可以应用于桌面程序开发。本文将带您了解Python桌面程序的优势和应用场景。 Pyth…

chatgpt赋能python:Python桌面应用程序开发教程

Python桌面应用程序开发教程 Python是一种高级程序设计语言,具有简单、易读、易学、易用、可扩展和强大的功能,被广泛应用于Web开发、数据分析、机器学习等领域。除了在Web开发和数据处理方面得到广泛的应用之外,Python也能用于桌面应用程序…

chatgpt赋能python:Python如何编写桌面应用程序?

Python如何编写桌面应用程序? 随着Python的日益普及和发展,它在不同领域中得到了广泛应用。其中之一就是编写桌面应用程序。Python语言拥有丰富的GUI(图形用户界面)库,可以帮助开发者轻松地创建漂亮、跨平台的桌面应用…

windows 服务程序和桌面程序集成(一)

本系列文章介绍如何将windows服务程序和桌面程序集成在一起,也就是说一个EXE程序,既可以作为服务程序运行,也可以作为桌面程序运行的双模程序。 在十几年前,曾经给客户开发一套C/S架构的出单程序,当时不是很清楚window…