通用智能体需要世界模型，Google DeepMind团队发现AGI的必经之路 原创

新闻领域有一个不成文的规律叫做：新闻越短，事情越大。

学术界可能存在另一个规律：标题越短，贡献越大。

比如，当前这一波AI热潮，自注意力机制的Transformer，来源于2017年Google发布的论文Attention is All You Need，标题只有5个单词。

前几天，还是Google，又发了一篇标题同样只有5个单词的论文，General Agents Need World Models，核心是下面这张图：

(p-规则，g-目标，π-世界模型）

2025年6月谷歌DeepMind团队，在第42届国际机器学习会议（ICML）上发表General Agents Need World Models，发现通用智能体需要世界模型，正如论文标题一样。

想象你正在玩一个复杂的角色扮演游戏。要想在这个游戏中表现出色，你需要做什么？你需要理解游戏世界的规则，哪些行动会产生什么后果，不同的选择会导向何种结果。你需要在脑海中构建一个关于这个虚拟世界如何运作的心理地图。没有这样的理解，你就只能盲目地按按钮，希望能碰运气获得好结果。

现在，研究团队提出了一个令人深思的问题：当我们试图创造真正通用的人工智能时，这些智能体是否也需要像人类一样，在脑海中构建关于世界如何运作的模型？还是说，它们可以仅仅通过无数次的试错学习，不需要真正理解世界就能表现优异？

这个问题的答案对于人工智能的未来发展具有深远意义。如果我们想要创造出能够像人类一样灵活处理各种复杂任务的通用智能，那么理解智能体需要什么样的内在思维结构就变得至关重要。

研究团队发现：任何能够成功处理复杂、多步骤目标导向任务的智能体，必然已经学会了构建关于环境的预测模型，换句话说，它们必须学会想象世界的运作方式。更进一步，智能体的性能越好，或者它能处理的任务越复杂，它所掌握的世界模型就必须越准确。

这个发现就像是一个基本定律：在追求AGI通用人工智能的道路上，我们无法绕过世界建模这个关键步骤。这不仅改变了我们对人工智能训练方法的理解，也为确保人工智能安全性和可解释性开辟了新的途径。

截然不同的智能之路：基于模型智能体与无模型智能体的区别

在人工智能的发展历程中，研究者们一直在探索两条看似截然不同的道路。

想象一下两个学生准备考试的方式。

第一个学生叫做理解型学生，他会花时间去真正理解课本内容的逻辑关系，掌握知识的内在规律，构建起完整的知识体系。当遇到新问题时，他能够运用这些理解去推理和预测答案；

第二个学生叫做记忆型学生，他选择记住大量的题目和对应答案，通过模式识别来处理新遇到的问题，而不需要真正理解背后的原理。

在人工智能领域，这两种方式分别对应着基于模型和无模型的学习方法。基于模型的智能体就像理解型学生，它们会努力构建关于环境如何运作的内在模型，比如"如果我在这种情况下做出这个动作，可能会发生什么结果"。这种方法的优势显而易见：一旦拥有了准确的世界模型，智能体就可以在实际行动之前在脑海中模拟各种可能的行动序列，选择最优策略，就像一个优秀的棋手能够提前几步预想棋局走向。

然而，构建准确的世界模型绝非易事。现实世界极其复杂，充满了不确定性和动态变化。让机器真正理解这个世界如何运作，往往需要大量的计算资源和精心设计的算法。正因如此，许多研究者转向了第二条道路。

无模型的智能体就像记忆型学生，它们通过大量的试错学习，直接学会在特定情况下采取什么行动能获得最好的结果，而不需要明确理解为什么这些行动是有效的。这种方法的魅力在于它的简洁性，智能体不需要花费精力去建立复杂的世界模型，只需要学会"在情况A下做动作X，在情况B下做动作Y"这样的映射关系。

著名的人工智能先驱Rodney Brooks曾经提出了一个影响深远的观点："世界就是自己最好的模型"。他认为，智能行为可以完全通过智能体与环境的直接交互产生，不需要构建明确的世界表征。这个观点在很长一段时间内主导了人工智能的发展方向，诞生了许多成功的无模型智能系统。

从AlphaGo到现代的大型语言模型，我们确实看到了无模型方法取得的巨大成功。这些系统能够在各种复杂任务中表现出色，从游戏对弈到自然语言处理，从图像识别到机器人控制。这些成功案例似乎支持了Brooks的观点，也许我们真的可以绕过世界建模这个复杂的步骤，直接训练出通用的智能体。

但是，这里出现了一个有趣的现象。近年来，越来越多的证据表明，即使是那些看起来完全基于无模型方法训练的智能系统，在其内部表征中也可能隐含地学习了世界模型。比如，研究者发现一些大型语言模型在处理文本时，其内部表征似乎包含了对物理世界空间关系的理解，尽管它们从未被明确教导过这些知识。

这就引出了研究团队要解决的核心问题：在通用人工智能的道路上，是否真的存在一条无模型的捷径？还是说，世界建模实际上是任何真正通用智能系统都无法回避的必需品？如果是后者，那么我们对于如何训练和理解人工智能系统的认知可能需要根本性的调整。

这个问题不仅仅是理论层面的思辨。它直接关系到我们应该如何设计人工智能系统，如何分配研究资源，以及如何确保这些系统的安全性和可解释性。如果世界建模确实是通用智能的必要条件，那么我们就需要将更多注意力放在如何帮助智能体构建准确、可靠的世界模型上，而不是单纯追求在特定任务上的性能提升。

实验设计：像侦探一样证明智能体的内心世界

要证明智能体是否真的需要世界模型，研究团队面临一个有趣的挑战：如何证明一个看起来是无模型的系统实际上在内部隐藏着世界模型？这就像要证明一个声称只凭直觉下棋的大师实际上在脑海中进行着复杂的棋局分析。

研究团队选择了一个巧妙的证明策略，就像一位经验丰富的侦探通过观察嫌疑人的行为模式来推断其内心想法。他们的核心思路是：如果一个智能体真的掌握了关于环境的准确世界模型，那么我们应该能够通过观察它的决策行为，反推出这个隐藏的世界模型。

为了使这个证明过程尽可能严谨，研究团队首先构建了一个理想化的实验环境。想象一个完全透明的游戏世界，其中每个状态都能被完全观察到，而且游戏规则遵循马尔可夫过程，也就是说，下一步会发生什么只取决于当前的状态和采取的行动，而不受更早历史的影响。这就像一个简化版的棋类游戏，规则明确且确定。

接下来，他们需要定义什么叫做有能力的智能体。这里，研究团队提出了一个非常直观的标准：一个有能力的智能体应该能够在各种目标导向的任务中表现良好。更具体地说，智能体应该能够处理由简单子目标组成的复杂序列任务。

比如说，想象一个清洁机器人的任务：它需要先去厨房清洁，然后去客厅清洁，最后回到充电站。这个任务可以分解为三个子目标的序列。一个真正有能力的智能体不仅应该能够完成这个特定任务，还应该能够灵活处理各种不同的目标序列组合——比如先去客厅再去厨房，或者添加更多房间的清洁任务。

研究团队用数学语言精确定义了这种能力。他们说，一个智能体如果能够在深度为n的目标序列中保持不超过δ的失败率（相对于最优智能体的表现），那么这个智能体就是有界目标条件智能体。这个定义的巧妙之处在于，它既承认了现实中的智能体不可能做到完美，又设定了一个明确的能力标准。

有了这些准备工作，研究团队开始设计他们的"逆向工程"算法。这个算法的工作原理非常巧妙。它会向智能体提出一系列精心设计的目标选择问题，每个问题都是一个二选一的情境。

想象一下这样的场景：智能体被要求在两个目标之间做选择。第一个目标是：在接下来的10次尝试中，成功执行特定动作的次数不超过3次；第二个目标是：在接下来的10次尝试中，成功执行特定动作的次数超过3次。一个拥有准确世界模型的智能体会根据它对成功概率的内在估计来选择更容易实现的目标。

通过观察智能体在一系列这样的选择中的决策模式，算法可以逐步推断出智能体对于各种状态转移概率的内在估计。这就像通过观察一个人在一系列赌局中的选择来推断他对各种事件概率的判断。

研究团队证明了一个令人惊讶的结果：如果一个智能体能够在足够复杂的目标序列任务中保持良好表现，那么它的内在世界模型的准确性就有了数学上的保证。更准确地说，通过他们的算法提取出的世界模型与真实环境之间的误差会随着智能体能力的提升而减小。

这个结果的深刻含义在于：智能体的表现越好，或者它能处理的任务越复杂，它必须拥有的世界模型就越准确。这不是一个经验性的观察，而是一个数学定理。就像物理学中的守恒定律一样，这个结果告诉我们，在智能和世界建模之间存在着一种根本性的联系。

更有趣的是，研究团队还证明了这个结果的逆命题：对于只能处理简单、即时目标的智能体，比如只关注下一步行动效果的近视智能体，他们的算法无法提取出任何有意义的世界模型信息。这表明，世界建模的必要性确实与任务的复杂性和时间跨度直接相关。

这个发现为人工智能研究提供了一个全新的视角。它告诉我们，当我们看到一个智能体在复杂任务中表现出色时，我们可以确信它的内部必然包含着对环境的某种理解，即使这种理解是隐含的、不易观察的。这就像通过观察一个大师级棋手的走棋风格，我们可以推断出他必定掌握了深刻的棋理，即使他自己可能无法明确表述这些知识。

突破性发现：智能与世界建模的不可分割性

研究团队的核心发现可以用一个简单而深刻的类比来理解：就像一个优秀的导航员必须拥有准确的地图一样，任何能够在复杂环境中灵活行动的智能体都必须拥有关于环境运作规律的内在模型。

他们的主要理论结果可以这样描述：假设我们有一个智能体，它能够在包含多个子目标的复杂任务序列中保持良好表现。研究团队证明，仅仅通过观察这个智能体的决策行为，我们就能够提取出一个近似的环境模型，而且这个模型的准确性有着严格的数学保证。

更令人惊讶的是，模型准确性与智能体能力之间存在着一种数学上的对应关系。当智能体的失败率降低时，提取出的世界模型的误差也会相应减小。当智能体能够处理更长的目标序列时，所需的世界模型也必须更加精确。具体来说，如果用δ表示智能体相对于最优表现的失败率，用n表示智能体能处理的最大目标序列长度，那么世界模型的误差大约按照δ/√n的规律缩放。

这个结果的深层含义是革命性的。它告诉我们，在追求通用人工智能的道路上，不存在真正的无模型捷径。任何声称不需要世界模型的智能系统，要么其能力被严重限制在简单任务范围内，要么实际上已经隐含地学习了世界模型，只是我们还没有意识到而已。

为了验证这个理论预测，研究团队进行了一系列精心设计的实验。他们创建了一个包含20个状态和5个动作的受控环境，并训练了一系列智能体。这些智能体使用基于模型的强化学习方法训练，但关键是，他们的提取算法只能观察智能体的决策行为，而无法直接访问智能体内部的世界模型。

实验结果令人印象深刻。随着训练进程的推进，智能体能够处理的目标序列长度不断增加，而通过行为观察提取出的世界模型也变得越来越准确。更重要的是，即使当某些智能体在部分任务上表现很差（违反了理论假设），算法仍然能够提取出相当准确的世界模型，只要智能体在平均意义上保持良好表现。

这个发现解决了一个重要的实际问题：现实中的智能体往往不是完美的，它们可能在某些任务上表现出色，在另一些任务上表现糟糕。研究结果表明，只要智能体的平均能力足够强，我们仍然可以从中提取出有价值的世界模型信息。

研究团队还探索了一个有趣的边界情况：那些只关注即时回报、不考虑长期后果的近视智能体。理论预测表明，这样的智能体不需要学习有意义的世界模型，而实验结果完美验证了这一点。无论使用什么样的提取算法，都无法从纯粹近视的智能体中获得关于环境转移概率的有用信息。这进一步确认了世界建模与任务复杂性之间的紧密联系。

这些发现还揭示了智能体学习过程中的一个有趣现象：当智能体开始能够处理更复杂的多步任务时，它们似乎会自动地学习更精确的世界模型，即使没有明确的激励去构建这样的模型。这就像一个人在学习复杂技能时，会不自觉地加深对相关领域的理解，即使最初的学习目标并不包括理论掌握。

从实用角度来看，这项研究还提供了一个强大的工具：通过观察智能体的行为，我们可以提取并审查它们的内在世界模型。这为人工智能的安全性和可解释性开辟了新的可能性。想象一下，我们可以通过这种方法来理解一个复杂的AI系统是如何理解世界的，它的认知中存在哪些偏见或错误，从而更好地预测和控制其行为。

这个发现还对人工智能的训练策略产生了重要影响。如果世界建模是通用智能的必然要求，那么与其试图避免这个复杂性，我们不如直接拥抱它，开发更好的方法来帮助智能体构建准确、可靠的世界模型。这可能会催生一系列新的研究方向，从改进的模型学习算法到更好的环境表征方法。

深远影响：重新思考人工智能的发展路径

这项研究的影响远远超出了理论层面的贡献，它为人工智能领域的多个重要方向提供了全新的视角和指导原则。

首先，这个发现彻底改变了我们对"模型无关"训练方法的理解。长期以来，许多研究者认为可以通过纯粹的试错学习训练出通用智能体，而无需显式地构建世界模型。现在我们知道，这种想法在根本上是错误的。任何能够处理复杂、多步骤任务的智能体都必须在内部学习某种形式的世界模型。这就像发现所有会游泳的动物都必须掌握某种形式的浮力原理，即使它们可能没有明确意识到这一点。

这个认识为人工智能的训练策略指明了新方向。与其试图绕过世界建模的复杂性，研究者们应该将注意力集中在如何更好地帮助智能体学习准确、有用的世界模型。这可能意味着开发新的学习算法，设计更好的环境表征方法，或者创造更有效的方式来整合先验知识。

研究结果还为理解人工智能系统中的"涌现能力"提供了新的框架。近年来，我们经常看到大型语言模型或其他复杂AI系统突然表现出之前没有的新能力。这项研究暗示，这些涌现能力可能与系统内在世界模型的改进有关。当一个系统学会了更准确的世界模型时，它就能够处理更复杂的任务，表现出看起来"突然出现"的新技能。

这种理解为我们预测和引导AI系统的能力发展提供了新的工具。如果我们能够监控和评估系统内在世界模型的质量，就可能更好地预测它们何时会获得新能力，以及这些能力的范围和限制。

在人工智能安全领域，这项研究开辟了激动人心的新可能性。传统上，理解和控制复杂AI系统的行为是一个巨大挑战，就像试图理解一个黑盒子的内部运作。现在，研究团队提供的方法让我们能够通过观察系统的行为来提取其内在的世界模型，这就像获得了一个透视黑盒子内部的X光机。

想象一下这种能力的应用场景：我们可以检查一个自动驾驶系统对交通规则的理解是否准确，审查一个医疗AI对人体生理机制的认知是否存在危险偏见，或者验证一个金融AI对市场机制的建模是否包含了不当假设。这种能力让我们能够主动发现和纠正AI系统认知中的问题，而不是被动等待这些问题在现实应用中暴露出来。

此外，这项研究还为人工智能的能力评估提供了新的标准。传统的AI评估往往专注于在特定任务上的表现，但这种方法可能遗漏系统的根本能力和限制。现在，我们可以通过评估系统的世界建模能力来更深入地理解其真实水平。一个拥有准确世界模型的系统不仅在当前任务上表现良好，还具备了泛化到新任务的潜力。

研究结果还对AI系统的可解释性产生了重要影响。长期以来，解释复杂AI系统的决策过程是一个巨大挑战。现在，通过提取和分析系统的内在世界模型，我们可能找到了一个新的解释路径。如果我们理解了系统是如何"看待"世界的，就能更好地解释它为什么会做出特定决策。

这种理解还可能推动AI伦理研究的发展。许多AI伦理问题的根源在于系统对世界的错误或偏见理解。比如，一个招聘AI可能因为对性别角色的刻板印象而产生歧视性决策。通过检查这些系统的世界模型，我们可能能够更早地发现和纠正这些伦理问题。

从更宏观的角度来看，这项研究还为人工通用智能（AGI）的研究指明了方向。它告诉我们，追求AGI不能仅仅关注任务表现的提升，还必须重视世界建模能力的发展。一个真正的AGI系统必须拥有丰富、准确、可更新的世界模型，能够理解物理世界、社会规则、因果关系等复杂概念。

这个认识可能会催生新的研究领域，专门研究如何为AI系统构建更好的世界模型。这可能包括开发新的知识表征方法、设计更有效的学习算法、创造更好的多模态整合技术等。

最后，这项研究还为人类认知科学提供了新的洞察。长期以来，认知科学家一直在研究人类是如何构建和使用心理模型来理解世界的。这项AI研究的发现与许多认知科学理论高度一致，为人机智能的统一理解提供了桥梁。也许在未来，我们能够更好地理解人类和人工智能在世界建模方面的共同点和差异，从而为两者的协同发展找到更好的路径。

结语：智能的新定义

这项来自谷歌DeepMind的研究为我们揭示了一个关于智能的基本真相：真正的智能不仅仅是做出正确决策的能力，更是理解世界如何运作的能力，一个真正智能的系统必须拥有对其所处环境的深刻理解。

研究团队用数学证明告诉我们，在通向通用人工智能的道路上，没有捷径可走。任何试图绕过世界建模的努力都注定会遇到能力的天花板。

此外，这项研究为我们提供了一个强大的工具，通过观察智能体的行为来透视其内在的世界理解。这种能力对于确保AI安全性、提升可解释性以及推动人机协作都具有巨大价值。

未来的AI系统开发可能会更加重视世界建模能力的培养，而不是单纯追求任务性能的提升。这可能会催生新的训练方法、评估标准和应用模式。

人类智能的独特价值可能不在于我们能够解决特定问题，而在于我们构建和更新世界理解的方式。人类拥有丰富的情感、价值观、创造力和社会认知，这些都会影响我们如何理解和建模世界。即使AI系统学会了构建世界模型，人类在这个过程中仍然具有不可替代的作用。

在这个时代里，智能不再是零和游戏，而是一个协作过程。人类的直觉、价值观和创造力与AI系统的计算能力、数据处理优势相结合，可能会产生前所未有的智能形式。

要实现这些愿景，还需要我们解决许多技术、伦理和社会挑战。我们需要确保AI系统的世界模型是准确、公平和可更新的，需要建立有效的监督和控制机制，也需要培养人类与AI系统协作的新技能。

如果你希望深入了解技术细节，可以查阅完整论文。

论文地址：
https://www.arxiv.org/abs/2506.01622

END

本文来自至顶AI实验室，一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破，挖掘其潜在的应用场景，为企业和个人提供切实可行的解决方案。

Q&A：

Q1：谷歌 DeepMind 团队关于智能体构建世界模型的研究有什么重要发现？

A：研究发现任何能成功处理复杂、多步骤目标导向任务的智能体，必然已学会构建关于环境的预测模型，即必须学会想象世界的运作方式，且智能体性能越好或能处理的任务越复杂，所掌握的世界模型就越准确，这就像发现了智能的一个基本定律，表明在追求通用人工智能的道路上无法绕过世界建模这个关键步骤。

Q2：谷歌 DeepMind 研究团队是如何证明智能体内心存在世界模型的？

A：研究团队构建了一个理想化的实验环境，定义了有能力的智能体的标准，然后设计逆向工程算法，向智能体提出一系列精心设计的目标选择问题，通过观察智能体在一系列选择中的决策模式，逐步推断出智能体对于各种状态转移概率的内在估计，从而证明了有能力的智能体必然存在准确的世界模型。

Q3：谷歌 DeepMind 的关于智能体世界建模的研究对人工智能发展有何影响？

A：该研究为人工智能领域多个重要方向提供了新视角和指导原则，改变了对模型无关训练方法的理解，指明了新训练策略方向，为理解涌现能力提供新框架，开辟了人工智能安全领域的新可能性，提供了新的能力评估标准，对 AI 系统的可解释性、伦理研究以及人工通用智能的研究等都产生了重要影响，还为人类认知科学提供了新的洞察。