00.发刊词
- 信息时代的最大特征是不确定性。
- 信息论是人类对抗不确定性，最重要和有效的方法论。
- 20世界初概率论和统计学的成熟，使人们得以把握随机性。在此基础上，1948年，香农博士找到了不确定性和信息的关系，从此为人类找到了面对不确定性世界时的方法论，也就是利用信息消除不确定性。可以说，这是随后的半个多世纪里，特别是今天，最重要的方法论。
- 课程包含三个模块，分别围绕着信息的产生，信息的传输和信息的应用展开。
- 希望获得的能力：
- 模块一信息产生：在面对大量信息时，排除噪音，提取利用有效信息，科学做决策的能力；
- 模块二信息传播：向外界传递信息时，平衡分配有限资源，增加沟通带宽，放大影响力的能力；
- 模块三信息应用：看懂信息应用的逻辑和通信发展的趋势，提前抓住新机遇的能力；
- 一个人的思维方式和做事方法常常决定了一个人能够走多远，而在历史的任何时期，都有最适合时代的方法论。面对不确定性和非连续变化，信息论所提供的方法，能成为解决今天各种困惑的工具。
- 世界上任何一个探索者都需要清楚三件事：我们现在的位置，我们的目标，以及通过目标的道路。
01.影响世界的三比特信息
- 不要重视钱而轻视信息。
- 公众都知道的信息，其实是没有信息量的。
- 用很少的信息可以驱动很大的能量，这也是信息非常重要的原因。
- 对一个未知系统所做出的估计和真实情况的偏离，就是信息的损失，偏离越多损失越大。
- 不要把鸡蛋放在一个篮子中，这样可以避免信息缺失，而导致灾难性结果。
02.解开世界之谜的三篇诺贝尔奖论文
- 有些推断可信度高一些，有些低一些，世界上没有绝对的可靠，只有可靠性的高和低，信号和噪声比例的高和低。
- 提出问题比解决问题更重要，因为提出问题的人，开创了一个重要的却是完全未知的领域，回答问题并且给出最初解答的人，由于通常只是在某种认识阶段对未知的领域提供一些有限的信息，因此贡献有限，被认可的程度不高。
- 一篇好的论文，一方面需要信息量高，另一方面需要在信息传播上效率高。
- 要精简，要保证对方听懂自己最核心的想法。
03.大数据思维的科学基础
- 解决人工智能问题，是利用数据（信息）消除不确定性，这是香农信息论的本质，也是大数据思维的科学基础。
- 公司从重研究方法到重数据收集的转变。
- 动态调整做事策略，足够多的数据可以帮助我们动态匹配最佳结果。
04.信息的量化度量：世界上有稳赚不赔的生意吗？
- 香农的最大贡献在于，将信息的量化度量和不确定性联系起来。
- 把充满不确定性的系统叫做“信息源”，里面的不确定性叫做“信息熵”，而“信息”就是用来消除这些不确定性的。
- 信息熵的公式：
- 永远不要听那些正确率总是50%的专家的建议，因为那相当于什么都没说，没有提供能够减少“信息熵”的“信息量”。
- 开赌局的从来不是拿自家的钱跟你对赌，而是让你们彼此互相赌，他通过变相多收费盈利。
- 多了解信息论和基本的数学常识，可以在生活中省下不少冤枉钱。
05.信息编码：数字和文字是如何诞生的？
- 当数字多到划道道也无法表达时，就有了对数字的编码，也就是各种文明的数字——用有限数字的组合可以表示更多的数。
- 各种编码系统，其实都是在编码复杂性和编码长度之间做平衡，它们在数学上是等价的。
- 对数字的各种编码其实是等价的，无非是平衡编码复杂性和编码长度之间的关系。
- 编码长度≥信息熵（信息量）/每一个码的信息量
- 当取等号，就是香农第一定律。
06.有效编码：10个手指能表示多少个数字？
- 好的编码第一个特点就是要便于区分不同的信息。
- 清晰表达的五个原则：明确、诚实、勇气、责任和同理心。
- 信息编码的第一个基本原则：“易识别”，应用在我们个人沟通中，也是如此。
- 第二个信息编码的原则：有效性。如何组合信息，保证它高效传递，还能不违背第一条“易辨识”的原则。
- 知识学习了之后只有真正使用了，才能变成自己的东西。
- 学以致用比多学习更重要。
07.最短编码：如何利用哈夫曼编码原理投资？
- 通过每次双倍砸钱，把最多的钱投入到最容易成功的项目上。
- 先把钱分成几部分逐步投入下去，每一次投资的公司呈指数减少，而金额增倍。
- 最后能够变成产品上市的，是少数项目，但是大量的资源投入在其中了。
- 从来不排斥尝试新东西，这样不会失去机会。
- 对于花了一些精力，看样子做不成的事情，是坚决做减法止损，以保证把最多的资源投入到最擅长，也是成功率最高的事情上。
08. 矢量化：象形文字和拼音文字是如何演化的？
- 信息越多，需要的编码越多，这是文明自然演变不可避免的过程。
- 当我们把杂乱无章的信息投射到两个维度之后，两个维度坐标可以决定平面上的一个矢量。
- 人类象形文字的演化，实际上就是这样一个矢量化的过程。
- 虽然象形文字和拼音文字的形成和进化代表了两种不同的信息编码方式，但是它们都利用了信息论中矢量化的原理。
- 世界上人为想做的，但违背规律的事情，做起来总是困难重重。
- 矢量化让问题变得简单，但是会丢失信息，而平衡便利性和信息的完整性，就成为了艺术。
09.冗余度：《史记》和《圣经》那个信息量大？
- 采用一种叫做冗余度的概念对信息的这种“密集”和“稀疏”程度进行描述。
- 冗余度的定义是：（信息的编码长度-一条信息的信息量）/信息的编码长度
- 如果冗余度太低，会严重影响接收信息的速度。
- 语言中冗余度的第一个好处是，便于理解。
- 冗余度的第二个好处是，在语言学上消除了很多歧义性。
- 冗余度的第三个好处是，带来信息的容错性。
- 信息冗余的第一个问题是，存储和传递信息时的浪费。
- 信息冗余的第二个问题是，如果在信息中混有噪音，过多没用的信息可能会导致错误。
- 善用信息冗余会帮助我们成为沟通的高手。
- 1.讲东西时要通过加入一些看似是废话，但是实际上是从侧面诠释你的想法的句子，帮助对方理解你的意思。这样的话，就是利用信息的冗余便于大家理解。
- 2.讲东西要有一致性，不要补充有可能和主要思想矛盾的例子，或者和想法无关的冗余信息。
- 3.在脑子存储信息的时候，要进行压缩，这样脑子才记得住事情。（就是对信息进行加工、提炼）
10.等价性：信息是如何压缩的？
- 直接得到一种信息，或者原封不动的保留一条信息并不容易，但是却可以从等价信息中导出所要的信息。
- 善用等价信息，是我们这个年代每个人都必须掌握的工作技巧。
11.信息增量：信息压缩中的保守主义原则
- 视频压缩利用了信息的相关性，能够采用所谓的增量编码，而单一一张图片中，不具有太多的相关性可以利用。
- 保守主义的好处其实是由我们这个世界渐变的特征决定的。
- 如果想一次完成巨大的突变，常常会因为牵扯的利益太多，最后总是搁浅，永远改不了，结果反而是不进步。
12.压缩比和失真率：如何在信息取舍之间作平衡？
- 任何编码长度都不会小于信息熵，也就是通常会大于等于信息熵，当然最理想的就是能等于。
- 如果编码长度太短，小于信息熵，就会出现损失信息的现象。
- 所谓失真度，通俗来说就是压缩前与压缩后，两串信息的差的平方。
- 世界上很多时候没有最好的技术方案，只能根据场景找到合适的，因此做事的目的性很重要。
- 丢失一部分信息，一定会增加不确定性。用的信息少，永远不可能做得和原来一样好。
13.信息正交性：在信息很多的情况下如何做决策？
- 正交信息的三个原则。
- 1.不同的信息要来自有不同的信息源。
- 2.避免反复使用相互嵌套或者相互包含的信息。
- 3.看问题要刻意改变一下观察的角度，从几个不同的角度看。
- 在信息处理中常常有两个方法，一个是不断叠加，另一个是不断删除。
14.互信息：相关不是因果，那相关是什么？
- 互信息是衡量两条信息之间相关性的工具。
- 世界上很多事情彼此相关，如果他们之间有确定的因果关系，那样的信息就是等价的。
- 但是世界上大部分相关的信息未必有因果关系，他们之间只是一种动态的相互关联的关系。
- 互信息给出了一种量化度量各种不同信息相关性的方法。
- 使用互信息还要注意的一点就是不要把因果关系搞反了。
15.条件熵和信息增益
- 最为有效的信息已经被发现了，剩下来留给大家的微乎其微。
- 一个定量衡量每一条信息价值的尺度，就是信息增益。Y1所带来的的信息增益就是H（X）-H（X|Y1），写作IG（Y1）。
- 如果有幸找到一个大家都遗漏的信号，还要确定两件事，才能知道他有没有用：
- 1.这个信号不要和其他已经采用过的信号重复，或者相互覆盖；
- 2.这个信号带来的结果要有足够高的置信度；
-
16.置信度：马斯克犯了什么数学错误
- 置信度用于衡量一个信息到底是否可靠。
- 有多大把握提出一个概率，这个把握就是置信度。
- 衡量置信度的方法有很多，有一种被称为“T-测试”的方法，可以告诉我们在看到某种看似有偏差的现象时，有多大的可能性可以判断这种偏差是因为随机性造成的，而非真正存在偏差。
- 我们吧自己有多么确定这件事也量化地衡量一下，它就是置信度。
- 提高置信度的方法，就是要增加所统计的样本数量。
- 人们对待信息常犯的一个错误就是忽略置信度，把完全随机的事情当成必然的事情。
- 证伪比证实更重要。
- 世界上有很多道理其实都很难验证，大到历史事件，由于很难多次重复，总结经验其实是非常难的。
- 对于能够重复的事情，要被检验足够多次后，置信度才高。
17.交叉熵：如何避免制订出与事实相反的计划
- 代价函数又称为库尔贝勒交叉熵（K-L divergence也叫KL散度）。
- 库尔贝勒交叉熵讨论的是在信息误判时的损失。
- 如果猜测和真实情况完全一致，不损失任何东西，但是只要猜测和真实情况不一致，就会或多或少有损失。
- 猜测和真实情况相差越大，损失越大。
- 在最极限的情况下，该考虑的事情完全不去考虑，最后发生了，损失无穷大。
- 自大的人非常容易遗漏很多原本应该考虑到事情。
- 过分防范这种情况，患得患失，也会有损失。
- 在信息论中，任何硬性的决定都要损失信息。
18.复盘：如何识别误导人的错误信息？
误导人的信息的三个特征：
- 首先，刻意要引起你的注意，常常会用耸人听闻的信息打动你。
- 怎么判断这样耸人听闻的信息是否有真的价值
- 将它们放在更大的时空来考量
- 要看信息得一致性
- 对于从一大堆信息中抽取的信息，要看他们的失真率。
- 误导人的信息的第二个特征是没有出处。
- 第三个特征是缺乏上下文。
- 最好、最重要的资源要用于那些出现最频繁的事情，这样分配资源最有效。
- 不要将相关性当成因果关系。
- 直接获取某种信息是很困难的，可以通过获取等价信息，得到同样的效果。
- 大部分事情都是渐变的，通过增量改进，要比通过推到重来效率高。
- 信息较多，一个比较高效率的表示信息的方法是矢量化，就是将很多维度的信息映射到我们关心的几个维度。
- 信息熵，表明信息量和不确定性的关系。
- 冗余度，可以避免出错。
- 不同信息的正交性。
19.信噪比：历史有真相吗？
- 噪音的三个特点
- 未知，而且通常是随机的
- 不含有用的信息
- 噪音和信息不是绝对的，要看场景。
- 信号和噪声的比例，决定了我们是否能够有效的获取信息，这个比例在信息论上被称为信噪比。
- 有信号必有噪声
- 考察和判断一个人是否有处理问题的能力，不是考察他在纯粹无噪音的条件下的能力，而是要考察他能否在有噪音的情况下，依然把信息找出来，处理好。
20.去除噪音：如何过的更多更准确的信息？
- 噪音分类
- 能够找到噪音来源的VS不清楚来源的。
- 有规律的噪音vs随机的噪音，固定频率的噪音vs白噪音
- 去除噪音的方法
- 利用冗余的信息
- 换一个角度看问题
21.信道：信息通道的容量有边界吗？
- 当信息传输所用的信道一旦固定，能承载的信息量是有限的。对于信道的量化度量，也被称为信道的容量。
- 信道的容量，决定了有效的传输率。
- 信息的传播是有成本的，其成本就源于信道的容量。
- 某一个范围的无线电波，所能承载的信息是有限的。
- 量化度量这件事很重要。
22.香农第二定律（一）：为什么你的网也总是打不开
- 传输率R的严格定义是单位时间（通常是秒）传输多少比特的信息。
- 信息通道的传输率R，是无论如何无法超越信道容量C的，即R≤C。
- 如果谁要试图超越信道容量传输信息，无论你怎么编码，出错的概率都是100%。
- 如果只有一条很慢的线路，唯一办法就是主动降低传输率。
- 给家长的两个建议
- 根据孩子的潜质，决定他所学的内容。
- 选择学校，要选择一个适合自己的。
23.香农第二定律（二）：到底要不要扁平化管理？
- 带宽等于一收一发两端的互信息，这东西是随着信息传递次数衰减的。
- 因为三六九等的职级和部门之间的壁垒将人与人通信的带宽变得非常窄，信息传输率就非常低。
- 扁平化管理流行于信息时代，一方面是因为信息量太大，在管理上需要更多的带宽，另一方面是新的通信手段增加了带宽。
- 扁平化管理的本质就是对香农第二定律的应用，保证一定带宽内的沟通效率或利用科技提高带宽。
- 阿里巴巴所做的事情，就是拓宽了商家和消费者之间信息交流的带宽。
- 信道的容量，也就是带宽，是由双方的互信息决定的，在商业上就是双方的信任。
24.纠错码：对待错误的正确态度是什么？
- 考虑到错误必然存在，然后通过巧妙的编码解决哪些问题。
- 通过巧妙的信道编码保证有了错误能够自动纠错。
- 信息纠错的前提是要有信息冗余。
- 一个最简单的信息纠错的方式就是重复传输的信息。
- 海明设计了一种类似于犹太抄圣经的纠错编码，叫海明码。纠错效率接近了信息论给出的最优值。
25.信息加密：韦小宝说谎的秘诀
- 韦小宝说谎的第一个要诀是：说话九句真，一句假。
- 利用信息论密码传输中的一个实用性原则，也就是保证一定的时间内密码有效就可以。
- 韦小宝说谎的第二个要诀是：同样的理由不用两次。
- 加密的原则必须是，当对方收到由密码写的密文后，无法降低任何不确定性。
- 怎样才能让密码在最大程度上不泄密？就是将原本有规律的信息，变成看似毫无规律，随机分布的编码。但这是伪随机的，不是真的随机。
- 保护隐私的技巧。
- 首先，密码要经常替换。
- 其次，将隐私埋藏在随机的噪声中。
- 最后，如果你想让人知道你的观点，就要明确表述。
26.极简通信史：从1G到5G通信，到底经历了什么？
- 通信的标准中有两部分最重要，一个是对信息的发送和接收的描述，二是对信息编码的方式。
- 好的信息编码保证信息的传输率尽可能高，接近信道的容量。
- 单位能量的信息传输率越来越高。
- 网络不断融合。
- 设备的辐射越来越小。
- 每一代会有新的主导型公司出现。
27.通信趋势：5G和IoT的商机在哪里？
- 5G的一个应用，是让多个设备长期同时上网，而IoT恰好可以利用5G移动通信的这个成果。
- 第一代互联网从本质上讲是计算机和计算机的联网。
- 第二代互联网是我们今天使用的移动互联网。
- 第三代互联网是万物互联。
- 万物互联之后，联网设备的总数会极大的提高。
- 万物互联形成的市场规模，要比前两代互联网大得多。
- 第一代互联网时期，最重要的设备就是PC机和服务器。
- 第二代互联网时期，最大的受益者无疑是控制操作系统的Google和控制处理器的ARM。
- 第三代互联网，即万物互联的时代，情况也是如此，谁控制了处理器和操作系统，就会是最大的受益者。
模块二回答：群体的共识就等同于客观事实吗？
- 拓宽自己信道的三个方法
- 在年轻的时候，或者事业刚开始起步的时候，以增加技能为改进的核心，以融入社会为基础。
- 有了足够的专业技能，对社会有了了解之后，以增加见识为改进核心，以提供价值为目标。
- 再往后，以洞察大势为核心，以理解多元文化为基础。
- 最后，不论走到什么高度，都要常怀敬畏之心，在边界里做事情。
28.复盘：世界不完美，我们该怎么办？
- 噪音是我们这个世界的固有特征
- 要有一个世界不完美的假设，然后练就在不完美的世界里尽可能做好事情的本领。
- 承认各种噪音的存在，争取在有噪音的情况下，准确传递信息。
- 信息的传递速率不可能超过信道的容量。
- 如果信道容量有限，做好的做法是降低信息的传输率。
- 所谓人脉宽，就是指我们有能力很快地把这种信息搜集进来，或者传递出去。
- 在表达意思时，一定要看听众是谁，用不同的方式去表达。
- 选择学校，要选择一个适合自己的，不用一心往学霸的圈子里扎。
29.交叉验证：电信诈骗为什么能成功？
- 一个维度的信息是很难消除所有不确定性的，解决的方法不是把那个维度的信息搞得更准确，而是要用其他维度的信息进行交叉验证。
- 我们在使用信息时，应该养成一个习惯，从多个维度进行交叉验证。
30.等价性：如何从等价信息里找答案？
- 保密的关键在于不能够提供看似无关，却有助于消除不确定性的信息。
- 很多时候我们无法直接获取某种信息，于是我们提供了一个使用等价信息解决问题的方法。
31.大数据（一）：从四个特征把握大数据的本质
- 大数据要求数据量大。
- 大数据需要具有多维度的特征，而且各个维度最好是正交的。
- 数据是完备的。
- 大数据还需要具有实时性。
- 有三类企业会受益于大数据：
- 有数据，有技术
- 有数据，没技术
- 有技术，没数据
32.大数据（二）：大数据思维的四个层次
- 从大量的、看似杂乱无章的数据点，总结出原来找不到的相似性。
- 不事先作假设，从大数据出发先得到结论，再分析原因。
- 利用大数据在准确把控宏观规律的同时，精确到每一个细节。
- 通过几个维度的强相关性，替代过去的因果关系。
33.互联网广告：为什么Google搜索的广告效果好？
- Google的搜索广告优于Facebook的个性化展示广告，后者优于一般的展示广告。
- 个性化服务会带来的好处并没有人们想象的多。
- Google的广告系统利用的是用户主动输入的信息，他最为有效。
- 个性化服务的本质，就是寻找每一个人和整个群体在爱好上的差异程度。
- 使用正交、可叠加信息的作用，这才是Facebook成功的根本原因。
- 离达成交易的环节越短，广告的效果越有效。
34.幸存者偏差：如何避免被已知信息误导？
- 那些从一个个具体案例中抽象出来的数学概念、原理和方法，是我门透过纷繁复杂的表象，认识问题本质的基本功。
- 当要进入一个之前一无所知的领域时，通识课会给我们带来一些最基本的原则，和最有价值的经验。信息论您在一定程度上，可以让我们的生活有一个基准，遇事能够找出大致的方向。
35.奥卡姆剃刀法则：最简单的往往是最有效的
- 如果关于同一个问题有很多种理论，每一种都能做出同样准确的预测，那么应该挑选其中使用假定最少的理论。
- 简洁的往往是正确的，越是复杂，越容易犯错。
36.最大熵原理：确定的答案找到之前，我们该做什么？
- 当需要对一个随机事件的概率分布进行预测时，预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。
- 如果获得了全部的信息，事情就是确定的，就不要用概率模型进行预测了。
- 在没有得到信息之前，不要做任何主观假设。
- 不要把鸡蛋放在一个篮子里，而要让凡事变的“平滑”。
37.麦克斯韦的妖：为什么要保持系统的开放性？
- 热力学第二定律：不可能把热量从低温物体传递到高温物体而不产生其他影响。
- 熵用来形容分子运动的无序状态，从有序到无序，是一个不断熵增的过程。
- 在一个封闭的系统中，永远是朝着熵增加的方向变化的，也就是说分子运动的不确定性越来越大。
- 只有成为一个开放的系统，引入负熵，才有可能让系统通过与外界的交换变得更加有序，也就是朝着越来越好的方向发展。
- 从外面引入负熵有两种办法，一种是直接与外界进行人的交换，另一种是接收外面新的思想。前者是引入负的能量熵，后者是引入负的信息熵。
- 每个人都有自己的困难，但是世界自有安排，不会因为谁困难就照顾谁。
- 一个人一旦封闭起来，他就离无序的状态不远了。
38.复盘：如何把信息论学以致用？
- 计算机科学的工作
- 第一步是将我们这个世界的现实问题变成一个数学问题。
- 第二步就是将数学问题重新描述一下，变成计算机能够处理的问题。
- 信息论的应用，就是将工作中的问题，变成信息的收集、传输、综合、存储和处理的问题。
- 验证信息的方法，一个比较高效的做法，就是交叉验证。
- 信息不可获得时，如何利用等价信息获得相应的效果。
- 大数据思维的底层逻辑。
- 第一层，百川入海，从各个枝末细节得到规律。
- 第二层，逆向思维，现有结论，再找原因。
- 第三层，洞察枝末，通过宏观规律对比细节，找到差异发现问题。
- 第四层，相关联系，通过多个维度的强相关性，找到因果关系做决定。
- 奥卡姆剃刀原理
- 最大熵原则
- 幸存者偏差
39.控制论：要不要成为变色龙？
- 与信息论几乎同时诞生的交叉学科还有两个，即控制论和系统论。
- 控制论的本质可以概况为三个要点。
- 首先，突破了牛顿的绝对时间观。
- 其次，任何系统在外界环境刺激下必然作出反应，然后反过来影响系统本身。
- 最后，为了维持一个系统的稳定，或者为了对它进行优化，可以将它对刺激的反应反馈回系统中，这最终可以让系统产生一个自我调节的机制。
- 在管理上，一个组织为了保证计划的实现，就要不断地对计划进行监控和调整，以防止偏差继续扩大。
- 确定的机械思维和不断调整的控制论思维两种方法论的差异，前者是对未来做一种尽可能确定的预测，后者则是根据变化不断进行调整。
- 在当今这个时代，要轻预测，重反应。
- 一个好的创始人需要是变色龙，他能不断应对环境变化做出调整，而不是一开始就把摊子铺得很大。
40.系统论：如何让整体效用大于部分之和？
- 一个有生命的系统和非生命的系统是不同的。
- 一个封闭系统总是朝着熵增加的方向变化的，即从有序变为无序。
- 对于一个有生命的系统，其功能并不等于每一个局部功能的总和。
- 首先要想办法做到整体大于部分之和。
- 整体。任何局部的改进，都需要放回到整体中去考察。
- 科学。在分析问题时必须要遵循科学方法，而不是简单的经验，因为只有这样才能获得可复制的成功。
- 发展。系统工程不仅要求在空间上，做整体考虑，还需要在时间上考虑一件事情的影响力，然后决定做不做。
