用最通俗易懂的语言告诉你什么是信息熵

图和公式都挂了,想看原文的小伙伴去公众号后台回复”信息熵”即可

假设有个考试作弊团伙,需要连续不断地向外传递4选1单选题的答案。直接传递ABCD的ascii码的话,每个答案需要8个bit的二进制编码,从传输的角度,这显然有些浪费。信息论最初要解决的,就是数据压缩和传输的问题,所以这个作弊团伙希望能用更少bit的编码来传输答案。很简单,答案只有4种可能性,所以二进制编码需要的长度就是取2为底的对数:

log_2(4)=2

2个bit就足够进行四个答案的编码了(00,01,10,11)。在上面这个例子中,其实隐含了一种假设,就是四个答案出现概率是相等的,均为p=1/4,所以编码需要长度的计算可以理解为如下的形式:

log_2(4)=log_2(\frac{1}{1/4} )=-log_2(1/4 )=-log_2(p)

此时已经有些像熵的定义了。回顾一下熵的定义,正是求-log2(p)的期望值,所以我们把这个思路也套用一下:

H(X)=E[-log_2(P(X))]=-\sum_{x \in \{A,B,C,D\}}{P(x)log_2(P(x))}

这正是熵,因为ABCD出现的概率均为p=1/4,所以上面式子算出来结果刚好是2。从这个角度,熵就是对每个可能性编码需要长度的期望值。

实际上,熵的概念首先在热力学中引入,用于表述热力学第二定律。波尔兹曼研究得到,热力学熵与微观状态数目的对数之间存在联系,并给出了公式:

S=k\ln W

这个公式也作为他最骄傲的成绩,刻在了他的墓碑上。

信息熵的定义与上述这个热力学的熵,虽然不是一个东西,但是有一定的联系。熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量 X 的熵H(X) 定义为:

H(X)=-\sum\limits_{x\in\mathcal{X}}p(x)\log p(x)

这个定义的特点是,有明确定义的科学名词且与内容无关,而且不随信息的具体表达式的变化而变化。是独立于形式,反映了信息表达式中统计方面的性质。是统计学上的抽象概念。

所以这个定义如题主提到的可能有点抽象和晦涩,不易理解。那么下面让我们从直觉出发,以生活中的一些例子来阐述信息熵是什么,以及有什么用处。

直觉上,信息量等于传输该信息所用的代价,这个也是通信中考虑最多的问题。比如说:赌马比赛里,有4匹马 \{A,B,C,D\} ,获胜概率分别为\{\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8}\}

接下来,让我们将哪一匹马获胜视为一个随机变量 X\in\{A,B,C,D\} 。假定我们需要用尽可能少的二元问题来确定随机变量X 的取值。

例如:问题1:A获胜了吗?问题2:B获胜了吗?问题3:C获胜了吗?最后我们可以通过最多3个二元问题,来确定 X 的取值,即哪一匹马赢了比赛。

如果 X=A ,那么需要问1次(问题1:是不是A?),概率为\frac{1}{2}

如果 X=B ,那么需要问2次(问题1:是不是A?问题2:是不是B?),概率为\frac{1}{4}

如果 X=C ,那么需要问3次(问题1,问题2,问题3),概率为\frac{1}{8} ;

如果 X=D ,那么同样需要问3次(问题1,问题2,问题3),概率为\frac{1}{8}

那么很容易计算,在这种问法下,为确定 X 取值的二元问题数量为:

E(N)=\frac{1}{2}\cdot1+\frac{1}{4}\cdot2+\frac{1}{8}\cdot3+\frac{1}{8}\cdot3=\frac{7}{4}

那么我们回到信息熵的定义,会发现通过之前的信息熵公式,神奇地得到了:

H(X)=\frac{1}{2}\log(2)+\frac{1}{4}\log(4)+\frac{1}{8}\log(8)+\frac{1}{8}\log(8)=\frac{1}{2}+\frac{1}{2}+\frac{3}{8}+\frac{3}{8}=\frac{7}{4}\mathrm{bits}

在二进制计算机中,一个比特为0或1,其实就代表了一个二元问题的回答。也就是说,在计算机中,我们给哪一匹马夺冠这个事件进行编码,所需要的平均码长为1.75个比特。

平均码长的定义为: L(C)=\sum\limits_{x\in\mathcal{X}}p(x)l(x)

很显然,为了尽可能减少码长,我们要给发生概率 p(x) 较大的事件,分配较短的码长l(x) 。这个问题深入讨论,可以得出霍夫曼编码的概念。

那么 \{A,B,C,D\} 四个实践,可以分别由\{0,10,110,111\} 表示,那么很显然,我们要把最短的码0 分配给发生概率最高的事件 A ,以此类推。而且得到的平均码长为1.75比特。如果我们硬要反其道而行之,给事件A 分配最长的码111 ,那么平均码长就会变成2.625比特。

霍夫曼编码就是利用了这种大概率事件分配短码的思想,而且可以证明这种编码方式是最优的。我们可以证明上述现象:

  • 为了获得信息熵为 H(X) 的随机变量X 的一个样本,平均需要抛掷均匀硬币(或二元问题)H(X) 次(参考猜赛马问题的案例)
  • 信息熵是数据压缩的一个临界值(参考码长部分的案例)。

这可能是信息熵在实际工程中,信息熵最最重要且常见的一个用处。

最后,解释下信息熵公式的由来:

H(X)=-\sum\limits_{x\in\mathcal{X}}p(x)\log p(x)

信息论之父克劳德·香农,总结出了信息熵的三条性质:

  • 单调性,即发生概率越高的事件,其所携带的信息熵越低。极端案例就是“太阳从东方升起”,因为为确定事件,所以不携带任何信息量。从信息论的角度,认为这句话没有消除任何不确定性。
  • 非负性,即信息熵不能为负。这个很好理解,因为负的信息,即你得知了某个信息后,却增加了不确定性是不合逻辑的。
  • 累加性,即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。写成公式就是:

事件 X=A,Y=B 同时发生,两个事件相互独立p(X=A,Y=B)=p(X=A)\cdot p(Y=B)

那么信息熵 H(A,B)=H(A)+H(B)

香农从数学上,严格证明了满足上述三个条件的随机变量不确定性度量函数具有唯一形式:

H(X)=-C\sum\limits_{x\in\mathcal{X}}p(x)\log p(x)

其中的 C 为常数,我们将其归一化为 C=1 即得到了信息熵公式。

补充一下,如果两个事件不相互独立,那么满足

H(A,B)=H(A)+H(B)-I(A,B) ,其中I(A,B) 是互信息(mutual information),代表一个随机变量包含另一个随机变量信息量的度量,这个概念在通信中用处很大。

比如一个点到点通信系统中,发送端信号为 X ,通过信道后,接收端接收到的信号为Y ,那么信息通过信道传递的信息量就是互信息I(X,Y) 。根据这个概念,香农推出了一个十分伟大的公式,香农公式,给出了临界通信传输速率的值,即信道容量:

C=B\log(1+\frac{S}{N})

参考文献:

知乎,https://www.zhihu.com/question/22178202

CSDN,http://blog.csdn.net/saltriver/article/details/53056816

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/62166.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

外景黑纱婚纱照高级感十足

婚纱照不止有自然小清新(&还可以暗黑高级 看腻了千篇一律的白色婚纱礼服 炎追求个性、与众不同的仙女们不妨尝试一下黑色婚纱🖤 黑纱不一定只有酷和暗黑 也有法式赫本风的复古优雅 满满的氛围感和高级感 🎬 女生的拖尾黑裙神秘又优雅 …

福州一般拍一套婚纱照要多少钱

随着婚纱摄影行业发展以来,近几年选择婚纱照旅拍的准新人越来越多了。相信每一位新人对于这些都是第一次没有经验的,所以也不太清楚行情,不知道选择怎么样的套餐,那小编就来科普一下现在旅拍的行情,让你们在选择婚纱照…

晒一下我和老婆的婚纱照!

两人一起的 老婆单人的 老婆就是大名鼎鼎的晴天有雨啊! 我单人的

冬天拍婚纱照注意事项 拍出养眼婚纱照

寒冷的冬天来了,对于北方人就要迎接雪花了,在寒冷的冬季进行婚纱摄影,会美丽但是也会“冻人”哦!下面 南京婚纱摄影工作室给大家介绍冬天拍婚纱照注意事项,准新人们可以参考一下哦! 冬天拍婚纱照注意事项 拍出养眼婚纱照 婚纱照 冬…

国内唯美花海 新娘绝美婚纱照

每位新郎都希望有一位仙女般的妻子,新娘也都希望自己是花丛中的花仙子。一组浪漫唯美的花海婚纱照无疑是诠释新人们花仙子梦的最好渠道。下面 青岛摄影工作室 就来给大家盘点一下国内那些唯美的花海。 1、云南罗平油菜花 云南省的罗平。从每年的二月份开始就进入了油…

W ndoWS十p啥意思,婚纱照相册10P是什么意思?入册多少张最合适?

原标题:婚纱照相册10P是什么意思?入册多少张最合适? 在预定婚纱照时,都会谈及相册P数,尺寸大小等等一些相册信息,一般相册的页数有7、10、12、15、20p还有30p的,而我们常见就为10P,那么&#xf…

婚纱照效果 取景很重要

新人们都希望可以有绝美的婚纱照,却又为自身没有绝对的优势而感到沮丧。其实漂亮的婚纱照通过选择适合景点选取一样可以拍出来。 婚纱照应该在选景的时候注意哪些问题,很多人渴望拥有类似杨幂结婚时一样的明星婚纱照,首先在选景的时候&#…

简约复古婚纱照拍摄攻略

当下拍婚纱照也要紧跟时尚潮流,当下拍婚纱照流行什么呢?简约、复古是当下婚纱照拍摄关键词。将时尚复古元素相结合也是当下最受年轻人亲睐的婚纱照拍摄形式,那么如何拍摄简约复古婚纱照呢?下面就跟无锡婚纱摄影一起来看看简约复古…

Photoshop透明婚纱照抠图处理

透明婚纱照抠图处理教程:先需要用钢笔等工具把人物部分抠出来包括婚纱部分。然后把抠出的人物图层复制一层,在通道选区婚纱部分较为清晰的通道并调出选区,回到图层面板后把选区反选按删除高光部分以外的图像,得到的图像就是我们抠…

九宫格摆法_九宫格婚纱照摆法图片与技巧

婚纱照挂法已不再是单一的排版,九宫格婚纱照开始逐渐流行在新人之中。下面来看看九宫格婚纱照摆法图片,以及九宫格婚纱照摆法的技巧。 一、九宫格婚纱照摆法 九宫格最常见的挂法就是方方正正的33的形式,当然除了九宫格的挂法之外,…

福州黑白风格的婚纱照拍摄介绍

新人们有没有想过在老一辈的婚纱照都是黑白的色彩但是一样能够拍摄出非常好的效果,新人们有没有想要试一试黑白风格的婚纱照呢,今天就让福州婚纱摄影价格最实惠的婚纱摄影工作室来和您说说吧! 光源的选择   拍摄黑白风格的婚纱照&#xff…

java+springboot影楼婚纱照预约系统ssm

为了扩大影楼的生意,提高影楼的宣传形象,方便客户在线预约套系等,我们设计一款关于影楼的网站。设计婚纱照预约系统的目的是为实现客户与影楼预约,明细化工作人员分配、提高工作效率,节约时间及其他杂项成本。本系统基…

婚纱照选场地

婚纱照 内场1风格:复古风 内场2风格 :花场 内场3风格:酷酷的玩游戏机的 外场:马场(马厩、吉普车、铁罐子、草堆)

响应式织梦模板婚纱照摄影类网站

模板介绍: 织梦内核开发的模板,该模板属于企业通用类、婚纱摄影、艺术摄影类企业都可使用, 这款模板使用范围极广,不仅仅局限于一类型的企业,你只需要把图片和产品内容; 换成你的,颜色都可以修改…

PS调出春夏外景婚纱照

效果图 先来看看原图和夏季的效果图 先看看原图 教程终于来咯 原图暗部太深,需要将暗部提亮。可以把暗部选区选出来。为了精确选择暗部选区,我利用计算命令如上图所示。最后得到暗部的选区。 上图得到了暗部选区,添加曲线调整图层提亮如图&am…

突变!微软将结束对Office Android应用的支持

整理 | 祝涛 出品 | CSDN(ID:CSDNnews) 早在6月底,就有报道称,微软可能计划将Chromebook上的Office用户转移到网络上。直到近日,微软正式宣布,将于9月18日起停止支持Chrome OS系统上的安卓版Of…

Python代码在Pycharm中不起作用,但在Jupiter Notebook中执行良好

代码 import requests from apscheduler.schedulers.background import BackgroundScheduler from datetime import datetimecontent {} content[day1] "早上好/:sun/:sun,\n人生最怕的就是试试、等等 、看看,最大的失败不是跌倒,而是从来不敢奔…

华为云鲲鹏云服务抢占云上多元算力新赛道

​ 2019年很快,一晃就到了年底。作为5G元年,从年初的兴奋、期盼,年底的一步步走近,5G变得越来越真实。与此同时,业界也慢慢形成一种共识:5G对企业的改变会大于对消费者的改变。也可以说,随着5G…

新基建下 AI 算力市场崛起,华为凭什么从中分一杯羹?

2020 年,成为真正意义上的新基建“元年”,各种利好政策密集落地,全国各地都开始重视起这个频频出现在国家政策文件上的新概念。近期,国家发改委近期多次强调加快 5G 网络、数据中心等新型基础设施建设,业内人士指出&am…