自由能：
平衡感知与动作，
平衡信息价值与收益价值，
平衡推理与学习，
平衡探索与利用，
平衡风险与不确定性。

第一章 概观

机遇青睐有准备的人。 -路易斯巴斯德

1.1简介

本章介绍了主动推理的主要问题 寻求解决:当生物体与它们的环境进行适应性交换时，它们是如何生存的？我们从规范的角度讨论解决这个问题的动机，从基本原则开始，然后解开它们的认知和生物学含义。此外，本章简要介绍了这本书的结构，包括它分为两个部分:第一部分旨在帮助读者理解主动推理，第二部分旨在帮助他们在自己的研究中使用它。

1.2生命体是如何持续存在并适应性行动的？

活生物体不断地与它们的环境（包括其他生物体）进行相互作用。它们发出改变环境的动作，并接受来自环境的感官观察，如图1.1所示。

活的有机体只能通过对行动-感知回路施加适应性控制来维持它们的身体完整性。这意味着采取行动获得与预期结果或目标相对应的感官观察（例如，伴随简单生物体的安全营养和庇护所，或更复杂生物体的朋友和工作的感觉），或帮助理解世界（例如，告知生物体其周围环境）。

参与适应环境的行动-感知循环对生物体构成了巨大的挑战。这在很大程度上是由于循环的递归性质，其中由前一个动作请求的每个观察改变我们如何决定下一个动作，以请求下一个观察。控制和适应的可能性很多，但很少是有用的。然而，在进化过程中，生物体设法发展出适应性策略来面对生存的基本挑战。这些策略在认知复杂程度上有所不同，在较简单的生物体中，解决方案更简单、更严格（例如，在细菌中遵循营养梯度），在更高级的生物体中，解决方案在认知上要求更高、更灵活（例如，计划在人类中实现更远的目标）。

这些策略也因其选择和运作的时间尺度而异——从对环境威胁的简单反应或在进化时间尺度上出现的形态适应，到在文化或发展学习期间建立的行为模式，直到那些需要在与行动和感知（如注意力和记忆力）相当的时间尺度上运作的认知过程。

1.3主动推理:来自第一原则的行为

这种多样性对生物学来说是一种幸事，但对大脑和思维的正式理论来说却是一种挑战。大体上，我们可以从两个角度来看待这个问题。一种观点认为，不同的生物适应、神经过程（如突触交换和大脑网络）和认知机制（如感知、注意力、社会互动）是高度特异的，需要专门的解释。这将导致哲学、心理学、神经科学、动物行为学、生物学、人工智能和机器人学等领域的理论激增，几乎没有统一的希望。另一个观点是，尽管有不同的表现形式，但活生物体的行为、认知和适应的核心方面都可以从第一原理得到一致的解释。

这两种可能性映射到两种不同的研究项目，在某种程度上，映射到对待科学的不同态度:“neats”与“scruffies”（这两个术语来自罗杰·申克）。Neats总是在大脑和思维现象的（明显的）异质性之外寻求统一。这通常对应于设计自上而下的、规范的模型，这些模型从基本原则出发，并试图尽可能多地推导出关于大脑和思维的信息。相反，Scruffies通过关注需要专门解释的细节来拥抱异质性。这通常对应于设计自下而上的模型，这些模型从数据出发，使用任何可行的方法来解释复杂的现象，包括对不同现象的不同解释。

是否有可能像neats所假设的那样，从第一原理来解释异质的生物和认知现象？理解大脑和心灵的统一框架可能吗？ 这本书肯定地回答了这些问题，并提出了主动推理作为理解大脑和思维的规范方法。我们对主动推理的处理从基本原则开始，并解开它们的认知和生物学含义。

1.4本书的结构

这本书由两部分组成。这些是针对那些想要理解主动推理（第一部分）的读者和那些寻求使用它进行自己的研究（第二部分）的读者。 这本书的第一部分从概念上和形式上介绍了主动推理，将其置于当前认知理论的背景中。第一部分的目标是对主动推理提供一个全面的、正式的、独立的介绍:它的主要结构和对大脑和认知研究的启示。

这本书的第二部分举例说明了使用主动推理来解释认知现象的计算模型的具体例子，如感知，注意，记忆和规划。第二部分的目标是帮助读者理解现有的使用主动推理的计算模型，并设计新的模型。简而言之，这本书分为理论（第一部分）和实践（第二部分）。

1.4.1第一部分:理论上的主动推理

主动推理是一个描述生物体内贝叶斯最优行为和认知的规范框架。它的规范性特征表现在这样一个观点中，即活的有机体的行为和认知的所有方面都遵循一个独特的命令:最小化它们的感官观察的惊奇。惊喜必须从技术的角度来解释:它衡量一个主体当前的感官观察与其首选的感官观察（即保持其生存完整性的观察）有多大差异（例如，对于一条鱼，在水中）。重要的是，最大限度地减少惊讶不是被动观察环境就能做到的:相反，代理人必须适应性地控制他们的行动-感知循环，以探求所需的感官观察。这是主动推理的主动部分。

由于技术原因，最小化惊喜被证明是一个具有挑战性的问题，稍后将变得明显。主动推理为这个问题提供了一个解决方案。 它假设，即使生物不能直接最小化它们的惊奇，它们也能最小化一个代理——称为（变分）自由能。这个量可以通过响应（和预期）感官观察的神经计算来最小化。这种对自由能最小化的强调揭示了主动推理和激发它的（第一）原则之间的关系:自由能原则（Friston 2009）。

自由能最小化似乎是解释生物现象的一个非常抽象的起点。然而，我们可以从中推导出一些形式上和经验上的含义，并解决认知和神经理论中的一些核心问题。这些包括涉及自由能最小化的变量如何在神经元群体中编码；最小化自由能的计算如何映射到特定的认知过程，如感知、行动选择和学习；以及当一个主动推理代理使其自由能最小化时会出现什么样的行为。

正如上面的主题列表所举例说明的，在本书中，我们主要关注活生物体水平上的主动推理和自由能最小化——更简单（例如，细菌）或更复杂（例如，人类）——及其行为、认知、社会和神经过程。这种澄清是必要的，以便将我们对主动推理的处理置于更普遍的自由能原理（FEP）的背景下，该原理讨论了超出神经信息处理的更广泛的生物现象和时间尺度的自由能最小化，从进化到细胞和文化（弗里斯顿，莱文等人。 2015;伊索穆拉和弗里斯顿2018；帕拉西奥斯、拉齐等人2020；Veissière等人，2020），这超出了本书的范围。

采取两条路中的一条来激发主动推理是可能的:一条高路和一条低路；参见图1.2。这两条道路为主动推理提供了两种截然不同但高度互补的视角：

通往主动推理的捷径始于这样一个问题，即活的有机体如何在世界中持续存在并适应性地行动，并促使主动推理成为这些问题的规范解决方案。这条大路 视角有助于理解主动推理的规范性本质:面对基本的生存挑战，生物必须做什么（最小化它们的自由能）以及为什么（替代性地最小化它们感官观察的惊奇）。

通往主动推理的低端道路始于贝叶斯大脑的概念，它将大脑视为一个推理引擎，试图优化其感官输入原因的概率表示。然后，它促使主动推理成为（否则难以解决的）推理问题的一种特定的、变化的近似，这具有一定程度的生物合理性。 这种低路视角有助于说明主动推理代理如何最小化其自由能——因此，说明主动推理不仅是一个原则，也是认知功能及其神经元基础的机械解释（又名过程理论）。

在第二章中，我们阐述了主动推理的低路观点。我们从将感知视为统计（贝叶斯）推理问题的基础理论（Helmholtz 1866）及其在贝叶斯大脑假说中的现代体现（Doya 2007）开始。我们将看到，要执行这样的（感知）推理，活生物体必须配备或包含一个概率生成模型，该模型描述了它们的感官观察是如何产生的，该模型对关于可观察变量（感官观察）和不可观察变量（隐藏变量）的信念（概率分布）进行编码。我们将把这种推理观点扩展到感知之外，以涵盖行动选择、计划和学习的问题。

model evidence（P（y））and the posterior probability（P（x | y））

approximate posterior Q and a variational free energy F

自由能定义：

在第三章中，我们将阐述主动推理的补充性高路观点。本章介绍了FEP和生物有机体的必要性，以尽量减少惊喜。除此之外，它还揭示了这一原理如何包含自组织的动力学，以及保持与环境分离的统计边界或马尔可夫毯的保存。这对于维持生物的完整性至关重要，也是它们自我生成的核心。

maximizing model evidence P（y）is mathematically equivalent to minimizing surprise：ℑ（y）= −lnP（y）.

H[P（y）] = EP（y ）[ℑ（y）] = −EP（y ）[ln P（y）]    3.1

在第四章，我们将更正式地展开主动推理。从第二章对贝叶斯大脑的讨论中得到启示，并阐述了第三章的自证动力学和变分推理之间的数学关系。此外，本章还阐述了两种用于表述主动推理问题的生成模型。这些包括用于决策和规划的部分观察到的马尔可夫决策过程，以及与感觉受体和肌肉接口的连续时间动态模型。最后，我们看到这些模型的自由能最小化是如何表现为动态信念更新的。

更完善的公式推导等可以参考

《A step-by-step tutorial on active inference and its application to empirical data 》 https://psyarxiv.com/b4jm6/download

在第五章，我们将从形式转移到主动推理的生物学含义。通过从“大脑中发生变化的一切都必须使自由能最小化”（Friston 2009）这一前提出发，我们将讨论自由能最小化所涉及的具体量（例如，预测， 预测误差和精确信号）。这有助于将主动推理的抽象计算原理映射到可由生理底物执行的特定神经计算。这对于在这一框架下形成假设是重要的，并确保这些假设对测量数据是可回答的。换句话说，第五章阐述了与主动推理相关的过程实现理论。