大模型的每一步，都在预测下一个词。这些局部的“下一步”连起来，究竟由什么决定走向？一种直观的看法是，模型学到的是大量规则与策略，其行为是这些规则的叠加，难以从整体上把握。

近日，6163银河线路检测中心Physics of AI团队给出了一个物理学家式的回答：大模型的生成受一个隐藏的全局势函数控制。每个答案都对应一个势能，模型更倾向于从势能高的答案走向势能低的答案。于是，可以借用物理学的思路：在千万个“下一步”之上，不必追踪每一步，只要看懂这片势能地形，就能预判它的走向。

图1｜智能体生成的数学表达式铺成一片势能，一次次跃迁从四周汇向谷底。

今天的大模型被嵌入各式各样的智能体，读取当前运行状态，通过生成和工具调用达到新状态，再循环往复。在科学发现，程序设计等领域都取得了惊人的表现。智能体每一轮保留的信息，一个候选单词、一条数学表达式，就是系统的一个状态。一轮轮迭代下来，便构成一个状态空间。这项工作的核心，正是如何用物理学的方法测量大模型的状态空间。

为了测量真实的状态空间，团队设计了一系列实验，一个代表性例子是基于科研智能体 IdeaSearchFitter 的实验：它调用大模型在数千个数学表达式间反复迭代，寻找最能拟合数据的公式。

图2｜IdeaSearchFitter 实验的势能景观，由真实跃迁数据重建。

实验表明智能体既没有在状态空间上随机游走，也没有一路冲向最优解，而是表现得像热平衡的粒子：根据不同状态的势能决定下一次迭代的输出。

这种方法让大模型的状态空间变成可以测量的全局组织结构，于是只要看懂了这片势能景观，就能预判大模型智能体的走向。研究团队预期这将为研究“AI 的物理学”（physics of AI）开辟新途径。

该研究以“大语言模型智能体中的细致平衡”（Detailed balance in large language model-driven agents）为题发表在PRX Intelligence。论文第一作者宋卓洋同学在本科阶段完成了该研究，现为6163银河线路检测中心理论物理研究所博一学生，导师朱华星教授。论文的合作者还包括6163银河线路检测中心曹庆宏教授和北京计算科学研究中心罗民兴院士。该研究得到国家自然科学基金和教育部基础学科和交叉学科突破计划的支持。论文代码与数据均已公开。

论文链接

https://doi.org/10.1103/kwx6-clqd

论文网页

https://physics.ideasearch.cn/detailed-balance?lang=cn