作者：Satya Nadella
时间：2026 年 10 月 10 日
原文：
过去几十年，传统软件系统逐渐部署到经济活动的各个领域。对于这些系统，我们拥有相应的工具和能力，可以将其行为追溯到具体的代码执行路径。
如今，支撑超级智能系统的前沿模型，能力已经超过传统软件系统，但我们仍然缺乏同样的机制性理解。我们无法将模型的行为和输出，归因于具体的训练数据输入或模型权重配置。即便如此，我们仍在部署这些复杂的智能体系统和模型，让它们访问最敏感的数据，授权它们代表我们执行关乎核心业务的操作！
因此，我们需要退后一步，重新审视这个新时代的信任架构。智能系统代表我们行动，我们就必须为其行为负责，这份责任无法外包。模型供应商的保证，也不能免除我们的责任。
我们不能把超级智能当作一层套一层的黑箱，只管接受或拒绝它的建议、回答和行动。我们必须构建受到约束的系统：其行为可以观测，能力边界可以检验，行动始终处于可控范围之内。
换句话说，我们需要将智能的供给与对智能的管辖权分开。
暂且搁置对齐这一难题，我们需要先从工程入手，建立约束和治理机制。在非确定性的模型周围，构建强有力的确定性系统设计，配以人工控制和可靠的操作规程；现有标准不足以覆盖的地方，还需要建立行业标准。
将前沿闭源模型和开放权重模型视为内部风险，是构建这类系统的一条路径。这并不意味着它们必然怀有恶意。任何能力足够强、能够访问重要系统的行为主体，都可能犯错，也可能被攻陷；约束与控制架构必须将这些可能性考虑在内。
好消息是，对于如何管理企业内部拥有强大能力的行为主体，我们已经积累了丰富经验。这并非一个全新的问题！几十年来，我们建立并不断完善了一系列最佳实践：确认身份、限制权限、记录活动、设置隔离边界，等等。
如今，我们开始将同样的原则应用于企业内部的超级智能。首先，模型思维链（CoT）的透明度必须成为不可妥协的要求。“神经语言”（Neuralese）不能成为模型推理不透明的理由。但仅有思维链透明仍然不够，也不能完全依赖它，因为我们还不知道如何让模型输出始终如实反映其内部过程，并保持透明！
你可以、也应该利用模型彼此开展对抗性测试和验证。然而，最终形成的系统，可能是一个不透明的模型，被装进不透明的编排层，再由另一个不透明的模型负责监控。说到底，仍然是层层嵌套的黑箱。
因此，决定模型能访问什么、能采取哪些行动的控制机制，必须设置在模型之外。这延续了一项可以追溯到 20 世纪 70 年代的信息安全原则：程序不得绕过或篡改用于执行其权限限制的机制。
在今天，这意味着需要将模型与编排其工作的运行框架（harness）分离，也要将模型与界定其可执行操作的行动空间分离。同时，控制机制和安全防护措施也必须置于模型之外。
因此，我们应围绕可观测性，按照以下原则设计这些系统：
模型多样性：任何重要结果都不应完全依赖单一模型，也不应由模型负责验证自己的工作。
全面观测：模型的每一项重要操作，都必须留下防篡改、可供人类阅读的证据。无法观测，就无法信任！我们需要能够还原一个结果是如何产生的，无须依赖模型自己的陈述来证明。
可验证性：我们需要持续测试整个系统，覆盖故障、攻击、边界情况和系统变更等情形，不能只测试能够顺利完成的任务。
独立控制：组织应当能够自主决定模型可以访问哪些资源、采取哪些行动。
独立审计：验证工作必须独立于被验证的智能。不能让同一个模型既控制系统行为，又控制用来判断这些行为是否符合原始意图的证据。
隔离与约束：从一开始就应假设模型已被攻陷，并据此设置隔离与约束机制。可以把它想象成紧急制动装置：获得授权的人，应始终能够在任务执行过程中暂停或关闭模型。更先进的模型将需要更先进的隔离与约束技术，我们需要为这些技术建立统一标准。
事件披露：当这些系统出现故障或被攻陷时，需要及时向受影响者披露，并建立信息共享机制，让整个行业了解出了什么问题、哪些控制措施失效，以及如何避免重蹈覆辙。这也应包括那些会在运行时改变智能体行为的实现细节。
最值得信任的超级智能系统，应当让我们最不需要信任模型本身。