0 前言

今天咱们来讲信息论。关于信息时间这个词，我想各人还是听腻了色五月，这个时间年青东谈主谁莫得传闻过肖似”信息过载、信息爆炸、信息量”这些词，但大部分东谈主坚贞里把信息和信息产业，以致是互联网行业画上了等号，这是一个很大的污蔑。

什么是信息？

信息是天地固有的构成部分，和力、通顺等见识同样，天地大爆炸那一刻开动，信息就和能量一同出现，然后才会一世二，二生三，三生万物，即寰球上险些任何的事物皆不错用信息的样子来量化。

1 东谈主类漂后的三条紧要公式

几年前我听过闻名物理学家张首晟证明的一个讲座。他说关于东谈主类漂后来讲，有三条最紧要的公式。

图片

1.1 质能诊疗公式

E=mc^2

咱们上头讲过所有这个词天地最主要的两个见识即是能量和信息。

有东谈主会问“不应该有物资吗？”

这是第一条公式解决的问题，E=mc^2即是把物资和能量统一在了一谈。

图片

你看左边的 E 是能量，右边的 M 是物资， C 是光速。

这套公式最神奇的场地即是让咱们坚贞到能量和物资是重迭的。

这个应该是科学想维最让东谈主激荡的场地之一，它不错把两个完全不同的东西通过玄虚的数学公式简化成一个东西进行臆度和测算。通过化繁为简，东谈主类不错更好收拢改变寰球和合股寰球的杠杆。

淌若转头东谈主类科学界最知名的公式，我想 $$E=mc^2应该是比牛顿力学的 F = ma 还出名。

1.2 信息熵公式

图片

跟它对比，第二条表情信息的公式可能除了学相关专科的同学以外，险些无东谈主闪现，这让东谈主相称缺憾，咱们今天讲这节课信息论亦然但愿弥补这个缺憾的。

第一条公式和第二条公式加起来，还是涵盖了能量、物资和信息了，那么寰球上最紧要的东西应该皆讲完毕，如何还有第三条公式呢？

1.3 不笃定性旨趣不等式

图片

这第三条公式“海森堡测不准旨趣”属于量子力学的限制，它履行上是在告诉咱们科学的界限在那边。

咱们原本认为咱们的仪器越来越好，那么表面上应该不错把基本粒子的位置和速率测算得越来越准确，最终完全掌持它的脚迹，但第三条公式就告诉咱们，无论科学如何发展，咱们恒久皆不可能精准测算基本粒子的现象。

因为咱们不雅察粒子这件事情自身就会改变它的步履。

这在宏不雅寰球里相比隐约，比如我站在五层楼顶不雅察路上的车辆，表面上讲淌若天气够好，见地没问题，我不错相称闪现地看到每一辆车的行进轨迹、情态和大小。不可能说这辆车我不看它时到了第一个车谈，一看它就变成第二个车谈了，不看它又回到第一个车谈，这听起来好恐怖。

但在微不雅寰球内部，淌若咱们不雅察一个基本粒子，我需要把一个光子打在它身上。

就这一个步履，不错改变基本粒子的行进轨迹，因为这个粒子会领受光子的动量，在一会儿改变我方的通顺现象。等闲点说——

咱们的不雅察改变了客不雅寰球。

启发

第三条公式给咱们的启发是——咱们生活的这个寰球的确是莫得完全客不雅存在，东谈主类不雅察寰球的样子和角度，和这个寰球对待咱们的样子和方法，会从物理学的层面影响互相。

咱们真实能不雅察到的东西是客不雅寰球和主不雅设想之间的市欢体。

1.4 能量&信息的死别

咱们知谈能量和信息是东谈主类最紧要的两个基础，那么这两者之间有什么最昭着的死别？

能量守恒但信息不守恒。

能量守恒定律是当然界最深广的律例。能量不会虚构产生、虚构清除，只会从一个形态滚动成另一个形态，或者从一个物体迂曲到另外一个物体。一边能量多了，另一边能量就少了，这就叫守恒。

但信息莫得这个本性，它不错被无穷复制和共享，不存在“有东谈主多了另外一个东谈主就少了”这个本性。

启发

东谈主类之间共享知识是一件不错为这个寰球创造纯正增量的事情。

你共享了知识，你的知识并莫得减少，然则别东谈主的知识却加多了。

提及来很奇怪，既然咱们所处的信息时间，那么信息论应该口舌常必要了解的知识。

要知谈信息论自成立以来，并不单被诈欺到信息产业，以前半个多世纪里它在统计物理、谋略科学、投资学以致玄学等好多学科里皆是奠基性的孝敬。不错说信息论是现代科学紧要的一块基石。

那么为什么信息论莫得成为每一个东谈主的必修课呢？

因为信息论实在是太玄虚了。

我大二不知高天厚地，找同学借了几本信息论的初学竹素，准备花两周时辰了解一下，遣散两天我就撤消了。因为这门科学需要掌持其它学科的基础知知趣称多，比如统计学、概率论、微积分、线性代数、谋略机科学、物理学……这内部触及到的数学，连我这种读数学系的东谈主皆认为很晦涩。关于非理科类的同学来说，信托更难合股。

是以今天咱们尽量绕开所有的数学公式，只讲中枢旨趣。

2 信息熵公式

要说信息论，第一个绕不开的话题信托是信息如何臆度？

比如咱们想臆度物资，用质地就不错臆度。关于东谈主类来讲相称好合股，谁还莫得称过体重？

是以臆度信息也跟用信息量这个词。

臆度物资→质地

臆度信息→信息量

然则关于信息量的臆度方法，大多数东谈主就不知谈了。

这就要说到咱们上头提到阿谁第二条公式，所有这个词信息论的基础——

信息熵(informationentropy)公式

图片

熵这个见识，咱们在《开窍》—1、热力学：人命即是对抗熵增（念书共享）讲过了。热力学里它代表分子现象的交集进程，也代表所有这个词系统的不笃定进程。是以信息论的始祖香农把这个见识借用到了信息的领域。

信息熵，随意来说即是表情一个东西不笃定进程的量。

换言之，信息熵即是说你要搞明晰一件事情的难度。

2.1 例如 抽奖

假如你去抽奖，红色球代表中奖，淌若你知谈盒子内部唯有一个球，并且它是红色的，这就意味着你要搞明晰是否中奖毫无难度，是以你靠近的信息熵即是 0 。

但淌若盒子内部有 1 万个球，其中唯有 1 个红色球，那么不笃定性就相称大了。此时你要搞明晰能否中奖难度极大，这意味着抽奖盒里的信息熵相称大。

假如咱们有个盲盒，这个盲盒在外不雅上就还是印了内部装的皮卡丘的面貌，那么它不笃定性就很小，是以它的信息熵也接近于 0 。

但淌若盲盒系列一共有 12 个娃娃，并且有的娃娃出现概率高，有的娃娃出现概率低。那么你要搞明晰大开会看到哪一款，难度就突然增大了。这个盒子的信息熵就浩繁于皮卡丘盒子的信息熵。

图片

图片

从盲盒这个例子咱们不错得出几个影响信息熵的要素。

1 可能出现的娃娃技俩数目越多，信息熵就越大。

2 在娃娃技俩数目不变的情况下，淌若每一款娃娃出现的概率是同样的，此时信息熵最大。

3 淌若其中某个技俩出现的概率很大，比如 10 次内部有 9 次皆是它，那么会大大镌汰信息熵。

这里第一条就跟彩票同样，中奖东谈主数不变的情况下，刊行彩票数目越多，中奖概率越小，中奖就越难，信息熵也就越大。

2.2 信息熵函数

第二条、第三条就没那么直不雅了，咱们再举一个例子来证实。

回看一下刚才皮卡丘的阿谁例子，假如有 100 个盒子差异装着蓝色和黄色皮卡丘，那么有三种情况：

图片

A：100 个盒子装的皆是蓝色款。

B：50 个盒子装黄色，50个盒子装蓝色。

C：100 个盒子装的皆是黄色款。

那么这三种情况对应的信息熵函数即是这样的。

A 、C 信息熵皆为零，因为 100% 装皆是并吞种情态，是以任性拿一个盒子拒绝前，皆还是笃定知谈我方将会拿到什么情态，此时莫得不笃定性。

B 不笃定性达到最高，信息熵最大，因为你拿任何一个盒子，蓝色、黄色的概率皆是 50%

那么在这个函数上，咱们看到的除了这三种顶点情况，还有中间现象。

比如有 60 个是蓝色、40 个是黄色，它的信息熵会比 50% 的情况低少许。

依此类推，不错看到函数是一条抛物线的步地——可能性越顽抗均，信息熵就越低。

图片

那咱们再延展一下，合股了信息熵也就合股了跟它对应的另外一个见识——

信息量(Amount of information)，甩掉信息熵所需要的能量。

那香农也界说了一个臆度信息量的基本单元——比特。

今天比特还是置身到跟公斤、英镑、毫米、厘米、分钟这样的单元同样，成为寰球通用量纲一员了。

上头咱们说过，可能性越顽抗均，信息熵就越低。

启发

在日常生活中模棱两头的气派是最莫得信息量的。

比如皆出去吃饭，别东谈主问你吃什么，你说粗率。这即是你给出去的可能性正处于信息熵函数的正中间位置，创造了信息熵的最大值，甩掉它需要对方提供最大的信息量。

图片

而淌若你能说不吃辣，那么立马就不错把函数在横轴上右移，减少信息熵。

进一步，你还能够径直说我方想要吃哪家店、什么菜，那就等于把横轴推到了信息熵最小的那边。

熵与热力学在一个阻滞系统里，按照熵增定律，原本应该越来越趋向于交集和无序，但正因为系统内部有一个常人在赓续作念采选，成年累月就不错使所有这个词系统变得越来越有序。

图片

不错发现，不管是信息论如故热力学，皆从不同的侧面证实一个情理——

不作念采选、回船转舵或平平分派防御力，会加多所有这个词系统的无序性。

那么如何智慧地分派咱们的资源和防御力呢？

底下为各人先容信息论里几个模子。

3 霍夫曼编码(Huffman Coding)

它是一种编码方法，指淌若咱们不错把较短的编码分派给高频出现的词汇，而把较长的编码分派给低频出现的词汇，那么全体而言咱们用编码来抒发语言时，就不错杀青后果最优化。

用最短的信息量来示意齐备的内容

3.1 例如 指示旗

古代战场上，一个传令兵只可用两种旗传递指示——红旗&绿旗

图片

这里最随意的指示是单举一次红旗、单举一次绿旗，或者同期举起两者。

是以按常理，3 种情况应拿来示意战场上最时常出现的 3 种作为决策

单举一次红旗可能代表全体着急单举一次绿旗可能代表全体除掉同期举起代表原地待命

不应该是反过来用这 3 种最随意指示去代表肖似盾牌手原地待命、马队绕到敌军后方袭击、步兵进行埋伏等相对不常见、罕见复杂的作为决策，否则传令经由太空泛了。

3.2 例如 摩尔斯电码

摩尔斯电码编码旨趣模仿了以上想路，发电报的信号由点和长线两种信号构成，用这种复杂的样子拼写单词相称辛劳，为了减少发报员、传输开荒以及接收员的的责任量，就必须精简指示代码的长度，把随意的代码分派给最高频使用的字母。

对 T、E、I、S、N、A 这样的使用频率很高的字母，要分派最短的编码样子，比如 E 是●， S 是●●●；

对 Q、Y、X、V、L 这样使用频率相比低的字母，则分派相对复杂的代码资源，比如 L 是●—●●

这种分派样子比 26 个字母重新到尾的门径安排代码资源要合理得多。

图片

图片

启发

为了提高后果，咱们应该把生活中最紧要的资源分派给东谈主生中最高频出现的场景

这个旨趣对我安排家居时有了很大启发，我在家从来不看电视，家里的电视和沙发的空间对我而言即是十分低频的场景，但我的责任区和阅读区相称高频。

我以前租房常常常发现传统出租屋皆把责任区遐想得很小以致莫得，老是把电视区搞得大大的，于是我住进去后平方第一件事是把电视区改变成责任区+阅读区，这样就把最紧要的资源分派给最高频的场景，呼应了信息熵的内容。

信息论反复在告诉咱们，模棱两头、平均使劲是一种相对无效的资源成就样子。

信息论还侧面印证 14 世纪建议来的一种玄学——

4 、奥卡姆剃刀定律

图片

这个词各人应该相比练习了，兴味是“如无必要，勿增实体”。

奥卡姆剃刀和霍夫曼编码市欢起来，不错得出安排东谈主生后果的好方法——

大刀阔斧地作念减法 + 围绕要津领域饱和成就资源

这是我本东谈主接收的一种生活玄学。在霍夫曼编码的启发下，我曾花了一年时辰多相称崇敬的盘问我方生活中最高频的场景，比如吃饭、睡眠、通顺、呼吸、责任、文娱、排便。

这些是咱们每天皆要作念但大多数东谈主仅仅出于本能而莫得刻意安排它们，这些东西往往障翳了大皆的 bug ，这是一个巨大的资源阔绰。

比如经过深度反想，我发当今最普通的日常生活里，有好多场地皆不错用奥卡姆剃刀。

4.1 例如 吃饭

当今一日三餐是东谈主类的基本学问，那么这件事情有莫得改换空间呢？

我经过对我方的肉体持久实验就发现，我一天不错只吃两顿，一顿早餐、一顿午餐，而不吃晚餐。

这种饮食内部在古代东方历史上是有一些纪录的，比如谈家说“过午不食”。

淌若追思到更古远的时间， 2 万年前咱们的原始东谈主祖宗也莫得一日三餐的俗例，咱们当今的肉体结构跟他们其时的结构差未几，是以一日三餐显着是无须要的。

是以当今我一天只吃两顿饭，这使得我比普通东谈主每天多出了 2 个小时的晚餐时辰，

我晚上比普通东谈主每天多出了 2 个小时清醒责任的时辰；不错在晚上 9 点钟之前就不错收尾本日的责任，然后不错得当缩小进行睡前准备。一天只吃两顿，这两顿饭我就有更足够的时辰去吃，并且会吃得更好。

这是典型的围绕要津领域饱和成就资源的例子。

不外我也得辅导一下，这个方法可能对大多数东谈主不适用，因为好多东谈主俗例晚上安排大皆责任，元气心灵消耗相称大，就必须吃晚餐。是以各人不要被我这个早睡党误导了，如故按照我方的肉体节拍来。我例如是为了证实霍夫曼编码协作奥卡姆剃刀在生活中有很好的应用。

4.2 例如 资源成就

再比如，由于责任和生活原因，我在手机和条记本电脑这两个开荒上从来皆是饱和袭击，尽我所能购买质地最佳的居品，因为这两样东西对我来说使用频率实在太高，想一想我每天大开手机的次数和使用电脑责任的时长，就明白在这两件东西上费钱口舌常值得的。

但与之相对的是，在衣裳上成就过多的资产对我来说是一种资源阔绰，因为好多衣裳一年就穿几次，是典型的低频场景。诚然好多女性不这样想，因为服装鞋帽对她们来说不仅是一种器具，如故一种好意思的信仰，或是自我抒发的需求，这触及到热诚学、社会学、好意思学，就不在这里张开了。

5 帧间压缩算法 (Interframe compression)

在影像领域中所谓的帧，即是影像动画的最小单元，也即是单幅静止画面，把它们连气儿播放起来，就会形成今天咱们看到的视频。

图片

视频是一定要压缩的，否则咱们今天的汇聚和带宽根底承受不了。

假定一个两小时未压缩的高清（1920 X 1080） 电影视频。

由于东谈主眼特异性，大致每秒要能够刷新 20 帧以上才会嗅觉流通，电影这个数字一般是 24 ，为了便捷谋略咱们这里按 25 帧算；RGB 三原色，一个像素占 3 个字节。

谋略公式：

2小时×60分钟×60秒×25帧×1920×1080像素×3（每像素字节数）=11，198GB (B代表字节，1B=8b)

由此可见，两小时未经压缩的高清视频至少上万GB，是以当今汇聚上的视频皆必须经过压缩。

一个视频不错压缩到千千万万倍，但看起来还很流通，这不是很神奇吗？

能作念到这少许蕴含着相称深入的玄学——

通过关注信息增量，而不是关注信息存量来极大的擢升后果

帧间压缩算法即是这种玄学的体现。

看底下这张图

图片

上头是一个东谈主招手的画面，理会成每一帧的面貌。这内部的好多信息是重复的，比如这个东谈主肉体除了右手在变化，其他部位基本不变

咱们只需要对第一个图进行全体处理，然后在接下来的几张图内部只处理那只变化的手的信息，就不错大大的减少责任量，这即是帧间压缩算法的精髓。

启发

关注变化，忽略重复，不错使咱们的学习后果擢升 N 倍

时常有同学问我如何读这样多的书？

六合武功，唯快不破，我平方在休息日每天不错读 2-3 本新书，这样淌若刻预料读好多书，一周的休息时辰大致能读 10 本新书，梗概是普通东谈主一年的阅读量，我的最高阅读速率可能是常东谈主的 50 倍。但这并不是故事的全部。

我念书的要津原则是顽抗均使劲：

读越基础、越深入、越偏表面的书花的时辰越多；读越上层、越通俗、越偏应用的书花的时辰越少。

基础的知识在好多不同竹素里皆会出现，是以是高频场景，应配备大皆的资源去处治，这种念书方法不错说是霍夫曼编码&帧间压缩算法的市欢。

市欢元气心灵夯实基础知识+只关注新知识的增量

跟着你还是啃下来的基础知识越来越多，就发现好多竹素能够提供的新增信息量并莫得那么多，是以咱们只需要市欢元气心灵把每本新书提供的最紧要的新增信息量全部消化即可。比如

淌若你对大脑的功能分区有一个齐备的知识框架，那么你就会发现好多畅销书里援用脑科学专科知识的一个部分，你读的皆相称快，而对其他东谈主来说，阿谁部分可能是最难读的。有的书会画随意的函数来证实问题，淌若你对常见的函数形态有一个全体领略，比如指数函数、对数函数、幂函数，那么当你看到相关部分，也不错快速合股。

快速阅读的前提是你的基础知识一定要先打牢，淌若你对要津的学科知识皆建设了领略框架，那么新书的增量阅读也就会相称快。

平方关于每一个细分领域，统辖全局的第一帧皆是必须认崇敬真处理好，你处理得越好，基础越塌实，背面作念增量的责任量也就越小。

淌若跳出念书，应用到生活的更多方面，咱们就知谈作念任何的事情，起步的时候，先花时辰把基础功练塌实相称紧要，因为你的基本功很塌实，背面赓续前进就不错只关注增量，大大擢升后果。

6 互信息（ Mutual Information）

两件事情之间的互信息越大，就标明它们之间的相关性越强。

假定有两个孤苦发生的巧合事件，

事件A 信春哥，信息熵是 h(x)

事件B 不挂科，信息熵是 h(y)

那么这两个代表信息熵的圆圈之间的交集即是两者的互信息。

等闲合股，这中间的交叉区域越大，信春哥和不挂科之间的互信息就越大，也就意味着这两者之间的相关性就越强。

图片

相关性≠因果性

即便咱们果真发现信春哥和不挂科之间有着相称高的相关性，也不代表信春哥即是不挂科的原因，反之亦然。从信息论的角度，它只包涵“信春哥”这件事情到底能够给“不挂科”这件事情甩掉多大的不笃定性，减少几许信息熵。

两个孤苦事件之间的相关性是不错通过严格谋略得出的，只消它们之间的互信息相比高，咱们就不错确信它们有相关性，而不需要寻找它们的因果性。

这是数据科学给东谈主类相称紧要的一种想考方法，因为咱们东谈主类是一种相称心爱寻找因果的生物，从孩童时期了解寰球的最紧要的样子即是去寻找原因。

回忆一下咱们发蒙读物《十万个为什么》咱们莫得把它叫作念《十万个互信息》、《十万个相关性》，是因为盘问相关性撤消因果性，相称不合适东谈主类的本能。

但在这个寰球上，大部分事物之间的磋磨皆是相关磋磨，而不是因果磋磨。

比如当今抖音、 B 站给咱们保举视频时，平方会给不同的用户群打个性化标签，比如宝妈、学生党、数码嗜好者、军事迷等，使用的即是互信息。

因为你大开了一个军事题材的视频，不行证实你是个军迷。即便你一直在看军事题材，也有可能你根底不是军迷，仅仅这段时辰写论文需要用到，也可能是你表弟时常使用你的电脑。是以你的浏览步履并不行证实你即是谁，但它就不错证实这个账号和某一类题材有高相关系。

6.1 例如 浑浊相关与因果

好多获胜东谈主士在共享我方教授时也皆浑浊了相关和因果。

比如好多东谈主会说：“当年之是以干预这个领域，之是以作念某件事情，是因为我认为 xxx 。”

这个说法平方皆是错的，典型把相关性当成了因果性，因为生活是纵横交错的，而牵挂却是主不雅的。

《开窍》—6、 领略热诚学：磨真金不怕火闪现的领略头脑（念书共享）讲过，咱们要向其他东谈主抒发的时候，还相称容易好意思化我方，成心忽略某些不行说的东西，是以随意归因平方很难修起真相。

比如以前 30 年，好多中国企业家认为我方获胜是因为吃力受苦，有策略够勇敢。

有没联系系呢？有。

是不是因果关系？不见得。

毕竟有的紧要原因是好多东谈主皆莫得坚贞到的，中邦自身有全体的高发展红利，国度持久通过汇率阻抑，增发货币，投资基础才调，这履行上为大皆企业主创造了远胜于其他发展中国度的生涯环境。是以好多东谈主的获胜原因其实相称复杂，无法追思，这即是真实寰球里好多事物因果关系的常态。

好多事情咱们恒久无法解释它的成因。然则咱们不错使用信息论和数据科学去分析万事万物之间的关联性，这即是科学最迷东谈主的场地，因为

科学可量化、可证伪，明晰我方干不了什么，也明晰我方颖异什么。

6.2 信息等价

高互信息的一个顶点情况是信息等价，只消知谈了事件 A 发生的信息，就等同于知谈事件 B 发生的信息。上头皮卡丘的盒子，它把内部的皮卡丘的形象相称闪现地印在盒子外面，它即是一个相比接近于提供等价信息的例子。这个例子不够等价的场地在那边呢？

盒子上印出来的是二维的动画像片，而不是真实的三维像片。

图片

比如咱们日常对话中所谓的说鬼话，亦然因为前后两句话提供的是等价信息，或者说互信息很高。

比如我说：“今天天气真好，蓝天白云，风和日丽，阳光明媚。”

一谈来分析一下这句话 4 个词之间互相的互信息。

天气好，很大致率即是阳光明媚，是以这两者之间险些等价；

阳光明媚，很大致率即是风和日丽，这两者之间也险些等价。

真实 勾引

是以这三个词之间的互信息就很高，说一堆对互信息很高的词就会让听众认为是鬼话连篇。

相对而言，蓝天白云这个词提供了极度的信息量，因为天气好也有可能是万里无云，“蓝天白云”进一步界定好了天气好的细分情况，也就减少了咱们了解真实天气情况的信息熵。

通过说鬼话这个例子，咱们再引入一个信息论的见识——

7 冗余度(Redundancy)

这个词很直不雅，淌若你言语鬼话多，那么你添加了好多的冗余度。我这样一说，各人好像认为冗余度不太好，其实否则。这个见识不仅仅在信息论里的出现，在谋略机科学、工程学内部也会出现。随意来说它讲的是资源的重复度。

谋略机科学里冗余时间是通过加多过剩的开荒或者备份来保证系统更安全可靠责任的一种方法。

防御，在这里冗余很昭着是成心践诺的策略，比如淘宝和微信这样的软件。他们的数据中心为了保证运行顺畅，平方皆会有极度备份的做事器或者备用电源等，而冗余备份最经典的例子是区块链，为了保证不可改削，他们把冗余这件事作念到了极致。

在咱们的寰球里成心安排冗余的例子也有好多，比如

越野车的备用轮胎大厦的防火安全通谈大市集装置的极度发电机飞机上的双引擎遐想

在咱们传达信息的经由中，鬼话或者重复信息是一种必要的存在。因为冗余度淌若太低，就会加多东谈主类接收信息的难度。咱们的大脑遐想并不是用来接收高密度信息的。

咱们需要呼吸，会跑神，接收信息的经由时常需要停顿。是以淌若咱们构兵的信息完全莫得冗余度，就会导致一朝跑神，飞速会丢掉必要信息，只可赓续回头去再行阅读，带来极度的厄运。比如

东谈主们会认为读演义比读论文精真金不怕火好多，因为演义的冗余度要高好多。咱们心爱听故事，而不是听玄虚表面，因为故事提供了更高的冗余度。

7.1 例如 标点标记

最经典的是标点标记，咱们停驻来想两秒钟，你认为标点标记提供的信息量大不大？

信托是不大的。你不行说它莫得提供任何信息量，比如钦慕号！提供极度的情感信息，但最常出现的逗号和句号，信息量相称小，要知谈机器读著作不需要标点标记的，然则东谈主类却很难接受完全莫得标点标记的长著作。

是以冗余信息的存在即是为东谈主类遐想，但冗余度不是越高越好，应该有个度，这个度因东谈主而异。

比如咱们时常在网上看一些知识科普视频，一开动总爱讲布景知识，消耗大皆时辰 10 分钟视频一两个中枢不雅点，看了半天也莫得看到这个不雅点的骨子内容，这就会让咱们嗅觉内容兑水很严重。

然则并吞个视频淌若一个年龄很大的大姨去听，可能会听得饶有兴味，并且还认为讲得很挑升义。这种各异跟代际更替有很大的关系。

咱们这一代东谈主成立在信息时间，在童年阶段就接受了大皆的信息历练，是以大脑前额叶皮质负责分析和合股信息的脑区是比前几代东谈主皆要阐述的，这意味着咱们能够接受更高密度的信息内容。

跟着信息科技的发展，东谈主类对冗余的容忍度也在变得越来越低，这也能解释为什么年青一代疏导经由中，肖似 yyds，xswl，zqsg， nbcs 这种高信息密度的简写会这样流行。

启发

了解冗余度的见识对咱们有什么启发呢？

1 冗余并不是坏蛋

在工程领域它不错保证系统运作的安全；在抒发上它能够更好地做事于东谈主类的领略俗例。

2 时间在越过，东谈主类俗例接受的冗余度也在减少，是以咱们越来越需要掌持去除冗余度的方法。

那么咱们如何成为高密度信息的掌持者呢？

前边还是通过压缩算法的例子解释了快速阅读的方法.

这里咱们再补充少许去除冗余信息的方法——画分析框架。

我这里说的分析框架并不是常见的脑图，脑图仅仅一种偷懒的框架，它的默许结构即是唯有金字塔结构。但咱们在11语言抒发 讲过，结构是多种千般的，比如递进轮回、四象限，是以咱们的确应该掌持更多的框架模子。

我画分期框架平方使用这样三步法

step1 先把要津见识零碎列出来，这种胪列不需要门径，只需要你认为紧要就写上去，这一步肖似于建设了好多见识的卡片。

step2 寻找见识卡片之间的关联，对它们进行分类、贯穿，同期拿掉一些信息等价的卡片。

step3 回忆我在大脑中还是建设的一些想维模子，然后对他们进行套用和矫正，临了形成一个属于此次阅读内容的新的分析框架。

通过这个方法，我不错把一份几十页的研报简写成一张大图，让牵挂的后果提高好多。

而进一步来讲，这张大图又能够成为翌日解读更多研报的底层基础。

就像前边讲过的要津第一帧，有了它我就不错加快合股相关行业的其他研报，因为我只消要点关注这些研报的增量信息就行了。

8 转头三条紧要公式信息熵霍夫曼编码帧间压缩算法互信息冗余度

今天咱们讲了东谈主类最紧要的三条物理公式色五月，信息熵的见识，把资源分派给高频场景的霍夫曼编码，能极大提高阅读和学习后果的帧间压缩算法，表情相关性的互信息，还有冗余度的见识，但愿对各人有所启发。

本站仅提供存储做事，所有内容均由用户发布，如发现存害或侵权内容，请点击举报。