原创 杨明哲 2025-03-01 21:55 上海
一个用信息论工具定量刻画智能主体的框架
导语
这篇文章是北京师范大学系统科学学院在读硕士、因果涌现第六季读书会发起人杨明哲同学从个人学习角度探讨了三个相互关联的复杂系统研究领域：计算力学、因果抽象和信息分解，以及这三者之间的关系。希望能够为对这个方向感兴趣的同学提供一些理解的视角，方便后续在读书会中深入讨论。
为了系统梳理因果涌现最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起「因果涌现第六季」读书会，组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。读书会将从2025年3月16日开始，每周日早9:00-11:00，持续时间预计10周左右。每周进行线上会议，与主讲人等社区成员当面交流，之后可以获得视频回放持续学习。诚挚邀请领域内研究者、寻求跨领域融合的研究者加入，共同探讨。
研究领域：计算力学、因果抽象、信息分解、涌现现象、统计复杂度、因果一致性、协同信息、多尺度系统
杨明哲 | 作者
因果涌现读书会第六季就要开始了。我作为这一季发起人之一，这篇文章主要从个人角度谈谈和这次读书会内容相关的学习之旅。集智的读书会，读的都是学术论文，想学习消化并不容易，我的每一次输出也是以再次学习为首要目的。这季读书会涉及三个关键词：动力学、因果抽象和信息分解。直接听起来不怎么搭界的几个领域，我恰好之前都有涉猎，而且做过相关的报告或文章。这次的回顾总结，便是一次吐故纳新的过程。
计算力学
读书会第一大分支“动力学与因果涌现”里，我可以聊一下“计算力学”这一板块的内容。如果你现在直接在网络上搜“计算力学”这个词，得到的百科词条往往告诉你计算力学是利用各种数值计算方法解决力学问题的领域。这个工科领域并不是这次讨论的对象。我所说的计算力学，是James Crutchfield在上个世纪80年代就在不断发展的，从统计物理延伸出来的一个研究领域。它所研究的对象，是复杂系统及其涌现现象。这也是为什么它会出现在因果涌现读书会的阅读列表里的原因。
在众多研究涌现的框架里，计算力学的框架相比较而言很宏大，而且讲起来有特别的吸引力。它依托于生物进化论的思想，以信息论为工具，同时有硬核的统计物理解释以及严谨的数学表达。如下图所示，它假设宇宙是一个巨大的确定动力系统，每一个生物体或者说主体，都因其有限的观察能力，只能感知到宇宙的一部分，也就是环境。环境中就有噪音，而这很可能威胁到主体的生存。所以迫于进化的压力，每一个主体都要尽可能有能力预测到环境的变化。对于每一个主体的构造而言，除去那些实际的物理和化学结构以外，计算力学关注的是它的“虚拟层”。主体根据传感器获知环境的历史信息，再根据自己的内在模型做出预测，然后做出相应的行动。这个内在模型的概念，和现在流行的自由能原理与世界模型理论也是相一致的。
光能做出准确的预测还不够。比如现在的大模型预测能力很强，那是不是说让每一个主体都背着一个大模型就万事大吉了？这太笨重了。如果对环境建模的内在模型非常复杂，就会消耗很多资源，也不利于主体的生存。所以大自然要求主体既要能预测环境变化，又要这个预测模型尽可能简洁。这个既要又要，使得主体不断地动态调整自己的内在模型，总要在一个最合适的尺度上归纳总结周围的环境变化。而这，便是主体为什么进化出识别涌现现象的能力，我们人类也不例外。
图源：Logozar, R., & Lovrencic, A. (2011). The Modeling and Complexity of Dynamical Systems by Means of Computation and Information Theories. 35(2).
上图也是一张展现这个理论框架的示意图。这让我们人类和其他生命看起来似乎和电脑也没什么区别：都是有输入输出设备和芯片。上面这张图风格看起来，像不像一张在解释通讯或传输信息过程的示意图？
这个理论看起来确实就是一个纯粹数学或计算机科学的东西，让人怀疑它的实用性。我第一次了解这个领域，就是在因果涌现读书会第二季听清华大学数学系教授薛金鑫老师的讲解。在那篇被解读的文献里，作者首先假设观测到的序列是无限长的，由此推论出各种数学性质。这种玩法让数学系本科背景的我倍感亲切。实际上，作者Crutchfield本人是地地道道的物理学家出身。
薛金鑫老师的解读（视频）：
https://pattern.swarma.org/study_group_issue/259
后来到因果涌现第三季，我也从复杂系统的视角解读了这方面的原始文献。对细节感兴趣的读者，可以看往期的视频、文章以及加入最新的第六季读书会。
计算力学第三季的讲解（视频）：
https://pattern.swarma.org/study_group_issue/532
回到刚才的故事里——这样一个抽象的理论框架，有实际的应用吗？首先说，到目前为止，这个领域还一直在发展，所以肯定有很多应用是我也不了解的。而我接下来要介绍的，是最近调研里的一个发现。这样一个用信息论工具定量刻画智能主体的框架，有一个出乎我意料之外，又在情理之中的应用——寻找地外文明和其他生命。
2022年，nature旗下的一个期刊上发表了一篇名为《Assessing planetary complexity and potential agnostic biosignatures using epsilon machines》的文章。题目中的epsilon machines，就是计算力学里用来刻画主体内在模型的概念。文章中，作者们用计算力学所贡献的复杂度指标——统计复杂度来分别度量地球和火星的辐射波长数据，发现地球的平均复杂度比火星高了大概50%。所以在太空探索中，我们可以用这样的理论工具来检验每一颗新发现的行星，判断它是否与地球相似，是适合生命发展的栖息地。
利用信息论工具寻找地外生命或栖息地的研究不止这一篇。2024年也有一篇工作，更是简单直接地用JS散度来寻找地外栖息地。
为什么信息论在复杂系统研究中有如此地位？如果你调研过严肃研究涌现现象的文章，会发现信息论真是一门不得不修的先行课。但是我在本科修信息论这门课的时候，完全没想到它会在我后续的研究中如此重要，因为它在大部分教材中主要被视为用来进一步研究通讯理论和密码学的工具。（当时我自认学的还不错，可惜成绩不高。）
如果多想一步，寻找地外文明这种事其实跟密码学有异曲同工之妙。一个完全不了解地球文化的外星人如果看到大英博物馆里的罗塞塔石碑，一定也觉得这是了不起的线索。而它也正是解密古文字这种密码学问题的关键钥匙。珍贵的不是它的材质，而是它所传递的信息。
阿瑟·克拉克经典的小说《2001太空漫游》里也有一块方碑。它的比例是1:4:9。关键在于，无论人类用多么精密的仪器去测量它，比例都是整数比1:4:9，这种构造是人类完全达不到的。所以它的存在本身就是一条信息——这里有一个文明，而且比人类更为先进。
回到我们目前的理论研究上，信息论这个工具箱里，可以拿来用的指标不胜枚举。如果我们有一套更具说服力的框架来度量涌现现象，乃至于生命或意识现象，或许在未来，我们可以用理论预测哪个天体上最有可能有生命现象，就像若干年前牛顿用万有引力定律预测天体的运行一样。
因果抽象
前文提到，进化的压力迫使主体要在合适的尺度上观测环境，于是能够识别涌现。这里隐含着一个共识：涌现现象是在多尺度框架下出现的。什么叫多个尺度呢？比如对于人体，我们可以在细胞动力学的尺度上研究，也可以在器官的尺度上研究，甚至干脆就把一个人看成是一个个体。对于一个社会系统，我们就可以忽略个人的生理心理状况，因为此时我们关心的是整个社会层面的现象。这就像物理里把一个小球看成一个质点的道理是一样的。
对于同一个物理对象，我们可以在不同尺度上研究，就意味着我们可以用不同的语言体系去描述同一个事物，或者说，我们就有了对同一个事物不同的因果描述。目前，因果科学蓬勃发展，我们已经有了描述因果的科学语言。于是科学家就会问，当我们为了追求更加简洁，在更宏观的尺度上提出新的因果关系去描述同一个对象的时候，这样做合理吗？因果抽象这个领域的研究便回答了这个问题。
因果一致性读书会报告（视频）：
https://pattern.swarma.org/study_group_issue/267
复杂系统的近似抽象（视频）：
https://pattern.swarma.org/study_group_issue/280
在因果涌现第二季读书会，我讲了两次这个领域的文献，这也是我在集智读书会上的首次和第二次报告。幸运的是，作为我在小白阶段第一次自己精细研读的论文，那是一篇很好的文章，流畅不晦涩。在这里向读者推荐2017年因果科学与机器学习领域著名学者Bernhard Schölkopf的团队的论文《Causal Consistency of Structural Equation Models》。
重述一下刚才那个问题：我们如何在构建模型时保障多个尺度上的因果一致性？那我们首先就需要理解什么是因果一致性，以及因果不一致的情况是怎样的。看下面这个例子，其中diet表示饮食习惯，LDL和HDL分别表示低密度脂蛋白和高密度脂蛋白，HD表示心脏病风险，TC表示胆固醇，LDL和HDL都属于特殊的胆固醇。
一直以来，人体血液中胆固醇的含量被认为是影响心脏病发作的重要变量，但在临床实验上一直有着两个互相矛盾的现象：有人发现胆固醇水平提高会促进心脏病发作，另一些人则发现是抑制作用。现在人们搞清楚了，实际上是因为有LDL和HDL两种胆固醇，它们分别对心脏病发作是抑制和促进作用。如果你的饮食让LDL水平提高，就降低了心脏病风险，而如果提升的是HDL，心脏病风险反而会上升，尽管从胆固醇测量的角度来看，两种饮食习惯对应的胆固醇含量是相同的。这说明，直接用胆固醇去描述这里面的因果关系，虽然更简洁，但不合理，是典型的因果不一致的情形。
为了避免这样的情形发生，该文章定义了一种理想的多尺度建模方式。在后续的研究中，学者们提出了量化指标可以度量宏观尺度上的描述损失了多少一致性——毕竟大多数时候，完全一致太理想化，为了模型的简洁有力，我们有时允许一些差错发生。因为不同的尺度上因果模型就不同，所以这实际上是要度量模型之间的距离。它不仅是度量变量之间的差别，方程之间的差别，从因果科学角度来说更重要的，是要考虑微观尺度上的干预操作和宏观尺度上的干预操作之间的对应关系。感兴趣的朋友可以阅读往期文章或加入第六季读书会。
信息分解
我们已经知道信息论在复杂系统研究中应用很广泛，因为它可以不在乎具体的方程表达式，就告诉我们复杂的非线性动力学的一些重要特征。信息论这个研究领域本身也在不断发展，而且已经发展到了不得不借鉴系统科学思维的地步了。
信息论的开端在于香农所做出的贡献。他在自己的论文里借鉴了物理学中“熵”这个概念，却抛弃了统计物理的叙事，转而从一些公设出发，提出了一整套信息论度量体系。如今，即使我们不懂熵在物理学中发展的来龙去脉，也可以理解香农熵和它背后的道理。
怎样度量信息这个看不见摸不着的东西？这就需要找到这个概念的本质——不确定性减少的程度，或者说，令人感到惊奇的程度。当所有事件都以一定概率发生时，谁的发生会令观察者感到最惊奇呢？自然是概率最小的那个事件。所以，我们可以用概率的倒数来度量信息量。再来考虑运算关系。当两个事件接连发生，在概率空间上，它们对应的概率应该是相乘的关系，可信息量呢？比如抛两枚硬币，两枚硬币都出现正面所代表的信息量，应该是一枚硬币出现正面的信息量的两倍才对。所以两个事件的信息量彼此之间应该是相加的关系。从概率空间到信息度量的空间，什么函数能把相乘关系变成相加关系呢？自然就是对数函数。所以一个事件发生的概率的倒数的对数是一个合理的对信息量的度量。这是针对一个事件而言的，而一个变量有发生不同事件的可能，那如何度量一个随机变量的信息量大小呢？当我们已知一个随机变量的概率分布，对事件的信息量求期望就好了。这就得到了随机变量平均信息量大小，也就是香农熵的表达式了。
这是仅关于一个随机变量而言的，如果我想关心两个随机变量彼此间传递信息大小的度量呢？顺着刚才的思路，我们可以先算出两个随机变量在一起算作一个变量时的信息量大小，也就是两个随机变量的联合熵，然后再计算两个变量分别的熵，后者减前者，得到的就是那些既在变量1身上，也在变量2身上，二者共有的那些信息量。这就定义出了互信息。
如果你已经顺着我的思路读到了这里，不妨再往后想一步，如果想度量三个变量之间的信息传递怎么办？举一反三，其实不管一个系统有多少个变量，仿照前面的思路，用所有单个变量熵的总和减去所有变量的联合熵就好了。这个确实是一个已有的定义，叫total correlation（TC）。TC作为互信息的拓展形式，已经被应用在很多场合了。
可故事并没有这么简单地结束。很多时候，TC并不能回答我们所关心的问题。从直觉上，如果有两个源变量对同一个目标变量提供信息，会有一部分是重叠的，是任何一个源变量都可以提供的，可以叫冗余信息。还有一部分应当是任何单一的源变量不能提供，必须要多个源变量联合在一起才能提供的信息量，可以叫协同信息。当然还有只有某个单一源变量能提供，而其他源变量都不能提供的那部分信息。如果只计算TC，我们就会损失掉这些精细的结构。
从复杂系统角度出发，我们想要关心的，当然就是这里的协同信息。它天然就具有“整体大于部分之和”的含义。当我们谈论涌现时，整体大于部分之和是一个很基本的直觉。也正是因为确实有这样的现象，我们现在还有还原论与整体论的路线争议。我们没有办法不去联想，协同信息的计算与真实复杂系统中整体大于部分之和的现象应当有着某种深刻的联系。协同信息的含义很具体，在定量化上也应当很具体。比如两个比特通过异或（XOR）运算得到第三个比特，这时就有1比特信息是两个源比特要放一起才能提供的协同信息。那对于一般的系统而言，要如何计算协同信息大小呢？
协同信息的问题和概念很早就被提出了，很多做具体问题的学者也在关注，比如神经科学、集群行为研究等等。而到目前为止这个问题也没有盖棺定论，或许永远也不会盖棺定论，可能只能具体情况具体分析。不过如今还是有很多学者（包括我自己）从各个角度发力，提出合理且具有应用价值的协同信息计算方法。感兴趣的读者可以加入第六季读书会或看往期文章与视频。
整合信息分解（视频）：
https://pattern.swarma.org/study_group_issue/606
结语
参考文献基本上在文中已经给出，最后对于读书会，我给出一些比较个人化的推荐。如果是对复杂系统涌现研究感兴趣，但还没怎么了解相关领域（尤其是因果涌现）的读者，可以先去学习因果涌现读书会第二季的内容。显然，我在文中提及第二季读书会的频率最高，这也是我在回顾一些知识时看回放最多的一季。这是因为这一季内容所涵盖的范围最广，而且前几季读书会往往都是给一个领域的基础知识打地基的过程。到了第四季第五季第六季，内容就会有选择性地往某些主题深化。比如我会在第六季里深入下去的是信息分解及其相关的领域，会解读新文献和我自己的新工作，欢迎到时候捧场。
作者简介：
杨明哲，北京师范大学系统科学学院硕士生，在张江老师因果涌现研究小组。研究领域是因果涌现、复杂系统自动建模。
因果涌现读书会第六季
在霓虹灯的闪烁、蚁群的精密协作、人类意识的诞生中，隐藏着微观与宏观之间深刻的因果关联——这些看似简单的个体行为，如何跨越尺度，涌现出令人惊叹的复杂现象？因果涌现理论为我们揭示了答案：复杂系统的宏观特征无法通过微观元素的简单叠加解释，而是源于多尺度动态交互中涌现的因果结构。从奇异值分解（SVD）驱动的动态可逆性分析，到因果抽象与信息分解的量化工具，研究者们正逐步构建起一套跨越数学、物理与信息科学的理论框架，试图解码复杂系统的“涌现密码”。
为了系统梳理因果涌现最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起「因果涌现第六季」读书会，组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。
读书会将从2025年3月16日开始，每周日早9:00-11:00，持续时间预计10周左右。每周进行线上会议，与主讲人等社区成员当面交流，之后可以获得视频回放持续学习。诚挚邀请领域内研究者、寻求跨领域融合的研究者加入，共同探讨。
推荐阅读
4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
6. 加入集智，一起复杂！
点击“阅读原文”，报名读书会
