加油您最棒提示您：看后求收藏（第二十三章 信息生命体（三）,动作之旅,加油您最棒,御书屋），接着再看更方便。
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
图2：维恩图表示的 a 互信息；b 传递熵。
互信息也被用来量化存储在一个系统和\/与它各个组成部分中的信息量。最常用的测量方法是超额熵（excess entropy）和主动信息（active information）。超额熵（crutchfield Feldman 2003）被定义为一个过程过去和未来之间的互信息，衡量某个过程可以通过观察其过去的行为来解释的未来的不确定性；主动信息 A(x)也提供了类似的度量，但它不考虑整个过程的未来，而只关注和预测过程中即将抵达的下一个状态（Lizier et al. 2012a）：
（其中
代表 x 中从时间点 n 开始过去 k 个状态：{x-+1，...， x-1， x}。）
虽然互信息允许定义和量化信息，但它只是一个对称的量，不能捕捉到随机过程之间的方向性关系（如信息传递）。为克服这一信息量化处理的局限性，Schreiber（2000）引入了传递熵（transfer entropy）的概念，它是给定某个随机过程过去（如历史信息）和一个或多个其它过程当前知识了解下，对该过程未来状态的不确定性减少的一种度量（Schreiber 2000; Kaiser Schreiber 2002）：
其维恩图表示如图2。传递熵利用时间方向性来克服互信息对称性的限制，它是对两个或多个过程之间的定向传递的预测信息的度量（Lizierprokopenko 2010），因此也不一定就意味着因果作用（James et al. 2016）；但它的逐点变量（point-wise，或局部变量）可以为集群行为的时空动力学提供有用的洞见（Lizier et al. 2008b）。
本章未完，点击下一页继续阅读。