香农 | 流行潮(bandwagon)

【编者按:面对当前的Chatgpt热潮,该如何看待呢?英语当中有种说法叫 jump on the bandwagon,意为跟风随大流。60多年前,当信息论的发展进入越来越多的领域,一向低调的香农在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”

60多年后的今天,香农的信息论已经成为计算机科学的基石,而社会对于计算机的关注有增无减。计算机科学的“繁荣光景”不仅没有凋零,反而反哺了各行各业,使得产业模式和社会形态完成进一步升级。许多传统学科搭乘计算机科学发展的快车,摇身一变成为了新兴学科、交叉学科。

所以 jump on the bandwagon 不一定是一件坏事,恰恰相反,所谓 bandwagon 是大众群体智慧筛选出的好东西。下一个十年,bandwagon 又在何处呢?】

克劳德·艾尔伍德·香农

在过去的几年里,信息论已经成为一种科学潮流。从通信工程师的技术工具开始,它在大众以及科学出版社之间获得了非凡的欢迎。在某种程度上,这是由于与计算机、控制论和自动化等时尚领域的联系;另一部分原因是其主题的新颖性。因此,它可能已经被膨胀到一个超越其实际成就的重要地位。我们许多不同领域的科学家同行,被它大张旗鼓的吸引过来,试图在自己研究的问题中使用信息论的想法,为科学分析开辟的新途径,应用于生物学,心理学,语言学,基础物理学,经济学,理论组织等等。简而言之,信息论目前正在参与某种大众流行的令人陶醉的气流。

虽然信息论掀起的热潮对于我们研究该领域的人来说是一件值得激动和预约的事情,

它同时带有危险的元素。虽然我们认为信息论确实是一个可以为通信问题提供基本见解的宝贵工具,而且它的重要性也在与日俱增,当然它也不是通信工程师或其他任何人的灵丹妙药。它很少同时为一些超自然的秘密让位。这导致我们很容易对于信息论这样人为的繁荣一夜之间崩溃,意识到使用像信息、熵、冗余这样几个令人兴奋的词并不能解决我们所有的问题。

对于这种情况,我们可以做些什么使用信息论的限制说明?首先,其他领域的研究人员应该意识到,信息论这门学科的基本结果针对一个非常具体的方向,一个不一定与心理学、经济学和其他社会学等领域必然相关的方向。的确,信息论的核心本质上是数学的一个分支,严格来说是一个演绎系统。透彻地了解数学基础及其通信应用程序肯定是其他应用程序的先决条件。我个人认为很多概念的信息论将证明在这些其他方面有用领域——事实上,一些结果已经被验证相当不错。但建立此类应用程序并不是像将单词翻译成新的领域中一样的小事,而是缓慢乏味的过程,需要通过大量的假设和实验验证。例如,如果人类在某些情况下表现得像一个理想的解码器,这是一个实验性的,而不是一个数学事实,因此必须在各种各样的实验情况。

其次,我们必须保持自身的立场位于第一次序。信息论的主题肯定被大肆使用了,如果不是过度使用的话,我们的注意力现在应该转向在我们可以维持的最高科学水平上,进行研究与发展。研究而不是阐述是关键,而且我们的关键门槛应该提高。作者们应该只提交他们最大的努力结果,而这些只有是经过自己和同事的仔细批评得到的。相比于大量构思不佳或半成品的论文,最好是一些一流的研究论文。前者并不是作家的功劳,而且对他们的读者来说是浪费时间。只有通过维护彻底科学的态度才能实现真正的传播理论进展与巩固我们目前的立场。

f1c13a312b417af4aa4c324864cd5f12.jpeg

香农 —— 一举成名天下知

刘 钢

香农不是一位爱张扬的人。由于不爱张扬,他甚至表现出某种内向而没有自信似得。譬如说,从他的论文《通信的数学理论》这篇著名文章的标题就可以看出,他用的是不定冠词“A”。这就意味着还可能有其他的类似理论,他的理论只不过是其中之一罢了。而且,他的文章也没发表在像《科学》和《自然》那些刊物。而是发表在一份内部出版物上,就像一篇研究报告。当然,1948年香农也不过才32岁。美国学界也论资排辈,可以把他的不自信看作是有自知之明吧。

香农的文章发表了,可读懂的人却不多。这也使文章得不到评价。正在这种尴尬的时刻,韦弗看到该文的价值。这位大人物的一句话就把香农抬了起来,说香农的地位就像吉布斯(W. Gibbs, 1839-1903)之于物理化学。吉布斯是热力学和统计力学的奠基人之一,曾被爱因斯坦誉为“美国历史上最杰出的英才”。杨振宁于1997年为《科学文化》杂志写了一篇题为“美与物理学”的文章。他说:“十九世纪物理学的三项最高成就是热力学、电磁学与统计力学。其中统计力学奠基于麦克斯韦(J. Maxwell , 1831-1879)、玻耳兹曼(L. Boltzmann , 1844-1905)与吉布斯的工作。”

还是韦弗经验老道,能看出香农文章的意义。于是他亲自在《科学美国人》这本比较高级的科学传播的刊物上撰文,用不那么专业的语言向大众推介香农的工作。1949年,韦弗还将他写的那篇文章与香农的那篇合并在一起,写了《通信的数学原理》。韦弗出面了,自然是要把标题的不定冠词“A”改成定冠词“The”。别小看这一改动,韦弗认为香农的理论是只此一家,别无分店!于是香农的工作在社会上就逐渐产生了影响。这才开始有人对香农的工作进行评论。

香农的这篇论文,奠定了信息科学和信息哲学的基础。香农和韦弗的小册子1949年出版。数学家杜步(J. L. Doobe)为其撰写了第一篇书评。杜步在书评中对该书颇表不满,他认为:“作者运用数学的动机并不总是那么正大光明。” 整个讨论的“暗示”多于数学推导。还有一份来自生物学的期刊评论道:“初看起来,这主要是本工程学专著,对于解决人类实际问题用处不大,或甚至跟本没用。但事实上,该理论具有许多当今令人振奋的意蕴。”《哲学评论》称,哲学家不应忽视这本书 “香农提出了一个‘信息’的概念,并且令人惊讶的是,信息这个概念竟然是热力学中‘熵’的延伸。”在1940年代末,香农的工作并未完全被视为科学理论。

终于让维纳(N. Wiener)坐不住了。他在《物理评论》写了篇很难算得上是书评的话。开篇维纳倚老卖老地说:“大约15年前,一名非常聪明的年轻学生向麻省理工学院的教授提出了自己的一个设想,试图建立一种基于逻辑代数的电动开关的理论,这名学生就是香农。”当年香农在MIT读硕士时,曾经上过维纳的课。所以维纳可以说是香农的老师之一。但香农的硕士导师却是希齐柯克(F. L. Hitchcock)。

维纳比香农大22岁,也算是神童。紧接着,维纳说香农与韦弗的小册子“总结了他对于通信工程的见解。”原来香农的工作不过是对他的工作进行了总结。实际上这二位的工作不一样,维纳强调的是“反馈”,而且涉及面很广。但香农的工作却只涉及通信这一项。维纳认为,香农提出的基本见解是“把信息量视为负熵”,可却立即补充道,他自己也几乎在同一时间产生了相同的见解。不过维纳还是承认,他们之间的工作是相互独立的。

维纳于1948年出版了他的奇书《控制论——关于动物和机器中控制和通讯的科学》维纳还指出,香农对于语言的讨论没有给予语言在人类神经系统内的通信过程以更多重视。毕竟是同行,难免有些醋味,“我这样说并不是为了吹毛求疵。”最后维纳用了一大段文字介绍了自己的《控制论》:

而在我的书中,作为作者,我有幸从更思辨的角度,讨论比香农和韦弗博士所选的更广阔的话题。我希望重申,在一个新领域……不仅有空间,而且也确实需要种种在现实性或思辨性上各具特色的著作。

香农对维纳的这种不低调做人的态度也很不以为然。此前,香农在《无线电工程师学会学刊》上针对维纳的《控制论》写过一篇短评,虽是赞赏,可程度却很一般,认为该书是一本“出色的导论”。这一老一少的关系有点儿紧张,韦弗似乎也预测到维纳会对香农发难,所以在《通信的数学理论》中开篇就有一大段脚注:

香农博士强调,他的通信理论在基础哲学原理方面颇多受益于维纳教授。另一方面,维纳教授也指出,香农在开关和数理逻辑方面的许多早期研究是在他对该领域产生兴趣之前,并且他大度地补充道,引入熵的思想,将之作为该理论的基本思想,确实是香农一个人的功劳。

事情果真如维纳所言“把熵理解为负熵”是他与香农相互独立的见解吗?香农的同事皮尔斯后来说,“那时维纳满脑子沉浸在自己研究……知道底细的人告诉我,维纳误以为自己早已得出了香农所得到的结论,但其实他从来都没有得出过。”从1940年香农拿到硕士起,他花了整整8年时间,为通信系统建立了一整套数学理论。这篇划时代的论文至今仍在指引和启迪后人的研究工作,而且在越来越多的领域展现出意想不到的成就。

香农在1949年可谓名利双收。除与韦弗发表了《通信的数学理论》外,还与贝尔实验室的贝蒂·摩尔(Betty Moore)结婚。韦弗认为香农的工作外延还可以继续扩大,可是香农又是个保守的人。韦弗似乎与香农意见不完全一致,在香农工作的基础上开始研究信息的哲学问题。有了韦弗的登高一呼,后面的人自然也就蜂拥而上。

哲学家和语言学家们终于找到可供交流的术语体系。其中俄裔美籍语言学家雅各布森(Roman Jakobson,1896—1982)尤甚。如何让信息论这个数学理论让人文学者理解并应用呢?雅各布森是布拉格结构主义语言学派的代表人物。他将结构主义语言学奠基人索绪尔的理论拿了出来。用人们能听得懂的术语描述信息论的数学模型。

雅各布森将信息论的思想融入自己的理论,并建立一套独立的词典。他用“代码”和“消息”替代索绪尔提出的“语言”和“言语”;用“子代码”替代“文体”;用“冗余特征”替代“语境变体”;用“编码”和“解码”替代“产物”和“理解”;用“编码者”和“解码者”替代“言者”和“听者”。他又接着香农的信息论,彻底消除了人机间的差别。将“信源”和“传输者”合并为“发信人”;类似地将“信宿”和“目的地”合并为“收信人”。他用“代码”建立起消息和意义间的联系,这一点不同于香农,香农是认为消息和信息之间有联系,与意义无关。而这一点又非常重要,是自然科学与人文社会科学的防火墙。所以有的时候,术语的表达不能越界。雅克布森采用“联系”这一概念表示心理学上的通讯或交流。最终将“信息”替代为消息的含义,或语境。把意义带入信息后,雅各布森建立起自己的语言学中沟通的新模型。不能不说,雅各布森是成功的。他将信息论的范围扩大,从而打开了潘多拉的盒子。

在我看来,就是雅各布森的理论将信息论的防火墙破坏掉了才导致这种结果。香农是这里面最为保守的一位学者。他曾反复强调他的信息概念与通讯的语义学方面不存在任何联系。当他用到信息熵这个术语时,对当时热力学还不大清楚熵是什么的时候,一直犹豫不定。最后是香农的忘年交冯诺依曼鼓励香农大胆采用“熵”这个术语,才有了香农著名的信息熵的公式。

当信息论进入越来越多的领域时,引起了香农的不安。他于1956年在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”可又有谁听香农的?不仅如此还说香农心胸狭隘,后来香农干脆不露面,也不再谈论他的理论了。

……1970年代以来,控制论和系统论发展趋于统一,很多学者认为它们已经综合为具有一般方法论意义的统一的横断学科,它们的基础便是信息论。

-----------------------------------------------------------------

194810月香农的论文A Mathematical Theory of Communication》(通信的数学理论)成为现代信息论研究的开端。在该文中,香农给出了信息熵(以下简称为)的定义,这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽,熵度量的是消息中所含的信息量。实际上,信息熵完成的是信息数量多少的度量,而对于(不同发出/接收者)信息质量的好坏还没有度量

如何在人机系统中建立起包含信息价值质量的新理论呢?

请看人机融合三部曲:

a48bc2a281df7f6079cf3da427f4ff62.jpeg

e6d82f23fe326b5d5d5324a09841a271.jpeg

dcf1c0c968fbabdd19cbc9d7cc9d48a4.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/66724.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI学术交流——“人工智能”和“神经网络学习”

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​ 目录 前言 一.人工智能 1.“人工智能之父” 2.达特茅斯会议(人工智能起源&a…

微信小程序跳转微信内置浏览器

最近遇到一个需求,需要微信小程序跳转到微信内置浏览器,但是官网并没有给出相关文档。查阅了大量资料,发现有两种实现方式。 1、通过微信公众号文章实现 小程序可以使用web-view打开关联的公众号文章,公众号文章可以在阅读全文放…

微信PC端 微信浏览器打开控制台

1. 版本回退 下载旧版本微信客服端,3.2.1版本之前的都可以,这里是https://link.csdn.net/?targethttps%3A%2F%2Fwebcdn.m.qq.com%2Fspcmgr%2Fdownload%2FWeChat_for_XP_SP3_To_Vista.exe 2. 下载 devtools_resources.pak devtools_resources.pak是必…

将您的 Linux 应用程序迁移到 Amazon 云,第 4 部分: 征服管理挑战

避免您发展过程中的难题 Sean A. Walberg, 高级网络工程师 Sean Walberg 自 1994 年开始就先后在学院,企业,以及 Internet Service Provider 环境中研究 Linux 和 UNIX 系统。在过去几年中,他撰写了大量有关系统管理的书籍。 简介&#xff1a…

阿里 VP 贾扬清确认离职!尚未创立公司,方向或是 AI 架构?

程序员的成长之路 互联网/程序员/技术/资料共享 关注 阅读本文大概需要 2.8 分钟。 来自:https://mp.weixin.qq.com/s/3cWT8M8kU7UT3UwaVO9Bmg出品 | CSDN 整理 | 郑丽媛 昨天,我们还在感慨美团元老王慧文、前京东 AI 掌门人周伯文、创新工场 CEO 李开复…

推荐两个AI神器:只需1个标题,2分钟全自动生成PPT!

今天给大家分享两个工具,帮助你全自动生成PPT,接下来以自动化测试为主题,教大家如何2分钟生成好PPT。 1、第一个工具:ChatGPT 1、打开ChatGPT页面,输入prompt,告诉它,让它帮你生成一份自动化测试…

小达人点读笔报电量低无法充电故障的处理

小达人的点读笔,突然发现电池不行了,充电之后用半个小时,放一会,就提示“电量不足,请充电”。怀疑电池老化了,之前出过类似的问题,更换过一次电池。 X宝购买电池,更换上,…

点读书测码

一、硬件准备 1、首先需要一台电脑和一支京途点读笔 2、usb转microUSB的TTL数据线(PL2303芯片或者CH340芯片那种pdd五块就包邮) 只需要接TXD,RXD,GND三根线,普通安卓数据线对应的颜色是绿,白&#xff0c…

扫读笔好还是点读笔好 有什么区别

二者各有各的特点,主要区别是,性质不同、使用原理不同、特点不同。 扫读笔≠点读笔 点读笔不是任何书都能点,只能点有数字化信息的智能点读书或者自制点读书,自制点读书需要有配套的点读包。 扫读笔,顾名思义&#x…

聊聊身边的嵌入式—英语学习利器点读笔

家里有小孩的朋友,可能对下面的这款产品不陌生。 点读笔,一个会发声的电子产品,我当时为了给孩子做英语启蒙,买了小达人点读笔(上图最下方那个,另外两个分别是宝玩英语和巧虎配套的点读笔),用了好几年了&am…

聊聊身边的嵌入式,英语学习利器点读笔

家里有小孩的朋友,可能对下面的这款产品不陌生。 点读笔,一个会发声的电子产品,我当时为了给孩子做英语启蒙,买了小达人点读笔(上图最下方那个,另外两个分别是宝玩英语和巧虎配套的点读笔),用了好几年了&am…

用DAB格式快速制作易读宝BNL点读包

易读宝点读笔最大的优势在于其中文书籍的资源非常丰富,但是在宝宝做英语启蒙的时候很多宝妈就开始头疼了,网上卖的好多原版英文点读书都只是支持小达人、之类的开放式点读笔,能支持易读宝的非常少。 想自己制作点读书,就需要要到…

DIY点读笔(O-pen)

DIY点读笔(O-pen)Taobao buy 点读笔已经出来许多年了如果没有记错大约有五年了吧,但一直没有一个好用的软体与之搭配觉得很可惜,当我 在学习语言时很想 要把自己正在上课用的书本放入其中但一直都找不到好用的软体,如果…

ta点读笔客户端_点读笔到底哪支好?12款点读笔评测:看完不再稀里糊涂

本文来自小土大橙子 微信公众号【buyateng】 小游写在前面的话: 昨天给大家介绍了6种“英语分级读物”的优缺点( 戳此回顾),很多妈妈问到配套的点读笔。确实,市场上点读笔种类很多,不同的笔适用不同的书籍,花多眼乱&a…

漫游测试--旅行篇

谈到“漫游测试”,想必大多数人想起的都是James A.whittaker提出的全局探索性测试方法。他将软件测试比如为城市旅游,并划分了不同的区域(如:商业区、历史区、娱乐区等等),将测试人员比喻为旅游者进行城市旅…

Google测试之道丨如何从角色出发谈谈漫游测试?

谈到“漫游测试”,想必大多数人想起的都是James A.whittaker提出的全局探索性测试方法。他将软件测试比如为城市旅游,并划分了不同的区域(如:商业区、历史区、娱乐区等等),将测试人员比喻为旅游者进行城市旅…

从Google测试之道谈测试方法的选择

谈到“漫游测试”,想必大多数人想起的都是James A.whittaker提出的全局探索性测试方法。他将软件测试比如为城市旅游,并划分了不同的区域(如:商业区、历史区、娱乐区等等),将测试人员比喻为旅游者进行城市旅…

POWER BI中国主要城市交通健康榜

网页链接:Microsoft Power BI 爬取高德地图网页数据 Power BI可视化呈现

中国到底有多少个.NET 程序员?都在哪个城市写代码?

中国到底多少个.NET 程序员,对于这个问题,似乎没有一个准确的答案,而且最近很多使用.NET 开发技术的老板在抱怨找不到.NET 开发人员,所以我想基于我的公众号粉丝数据给大家分享下中国的.NET程序员到底有多少,他们也都是…

全球亿万富豪地图出炉!中国富豪城市哪几个入榜?

5月26日,财富咨询机构Wealth-X发布《2019亿万富豪人口普查报告》。报告显示,2018年全球亿万富豪(净资产超过10亿美元)数量为2604位,较2017年下降5.4%。 2018年,全球亿万富豪最多的城市是纽约,亿…