作者：Beren Millidge
时间：2026年10月22日
原文：https://www.beren.io/2026-10-22-Three-Phases-of-Capabilities-and-Alignment
最近，我想到一件颇有意思的事。随着 AI 经历不同的技术阶段，推动进步的底层动力不断变化，相应的对齐挑战也在迁移。事实上，从很多方面看，每个阶段的对齐挑战，恰好都是该阶段核心能力挑战的镜像。这或许是必然的，因为对齐与能力本就紧密交织：一个模型要具备能力，至少得在一定程度上做到我们希望它做的事。“能力”这个概念，本身就围绕着我们关心、希望模型完成的事情展开。用于提升能力的方法，通常也适用于对齐。随着模型能力越来越通用，训练循环本身也越来越多地由模型自身参与和驱动，迫使我们在更高的抽象层次上理解对齐。起初，我们直接构建示范理想行为的数据集；随后，我们设计判断数据是否合适的程序；最终，我们需要构建控制机制，让一个在其他方面完全自主的学习过程始终维持某种不变的约束。
抽象的讨论先到这里，下面具体展开。我认为，现代乃至未来的 AI，大体会经历三个阶段：预训练、强化学习（RL），以及持续自主学习。在每个阶段，我们都会把训练循环中更多的环节交给模型自身，也就是说，越来越多的训练环节被“内化”了。目前，我们已经深入强化学习阶段，或许也正开始迈入持续学习阶段。每个阶段的主要目标和方法都不同，相应的对齐挑战也随之变化。不过，从某种意义上说，对齐挑战始终都是能力挑战的镜像。
预训练：用数据示范我们想要的行为
首先是预训练。如今，我们对这个阶段已经理解得非常透彻。模型在一个庞大的数据集上，以最小化下一词元预测（next-token prediction，NTP）损失为目标接受训练，主要学到的是这个数据集的压缩表示。这是缩放定律 scaling laws 与“模拟器”所描述的阶段。简单说，当其他约束都被消除后，模型本质上就成了一台将算力和数据转化为数据压缩表示的机器。最终，模型会像一面映照数据的镜子，直接模仿数据中隐含的各种行为。这个阶段最根本的对象是数据集，它对能力和对齐同样重要。
如果模型学到的只是数据集的压缩表示，那么，数据集里有什么，就决定了模型会学到什么。因此，假设我们能够稳定地将算力投入模型，整个问题就归结为如何设计数据集，让它充分示范我们想要的能力。这一点同时适用于“能力”和“对齐”。如果希望模型擅长编程、数学或诗歌，就需要让数据集中包含足够高比例的高质量代码、数学或诗歌内容。如果希望模型的行为符合对齐要求，就需要在数据中示范这样的行为。归根结底，首先要解决数据集的问题，其次才是模型如何从这些数据中泛化。
由此，我们得到了第一组对应关系：在这个阶段，能力与对齐的核心瓶颈都是数据集构建。我们能否创建能够充分示范理想行为模式的数据集，让深度学习泛化的“魔力”接着发挥作用？
我认为，总体而言，答案是一个有条件的“可以”。这一阶段的模型整体上似乎是对齐的，或者至少经过适当努力就可以实现对齐，也没有明显迹象表明，它们会逐渐出现某种隐蔽或微妙的失配。只要在整理数据集时做好基本的筛选，提高“对齐”行为的比例、降低“失配”行为的比例，那么随着算力和数据的增加，纯预训练总体上似乎仍是“安全”的。关键在于，这个目标本身并不具有对抗性。预训练损失达到最小值时，模型会形成对数据分布的贝叶斯后验的表示。如果这个后验包含失配行为，模型就会表现出失配；反过来，如果其中包含对齐行为，模型就更有可能表现出对齐。尽管数据集完全可能规定出一些你并不想要的行为，但这里并没有可供模型利用、借此对抗优化压力的机制。
强化学习：从生成数据到判断数据
接下来，我们进入第二个阶段：强化学习。预训练只能压缩数据中已有的结构，但如果你想要的能力在数据集中极少出现，少到根本不够用，该怎么办？一种办法是花钱请人生成体现这些稀缺能力的数据，再加入数据集。各家实验室已经在以工业化规模做这件事。但即便如此，如果你想彻底超越人类数据所覆盖的能力范围呢？比如 OpenAI 最近给出的纳维–斯托克斯存在性与光滑性问题的数学解答。现实中，你根本找不到哪位人类专家，可以付钱请他生成数千条“解决千禧年大奖难题的推理”轨迹，再加入中期训练的数据集。那么，该怎么办？
让模型自己生成。
然而，几乎从定义上说，如果你想要的轨迹并不存在于预训练数据集中，就无法靠简单的提示直接诱导模型生成。你需要结合模型的泛化能力，以及判断一条轨迹好坏的能力，通过一轮轮自举，逐步超越人类数据所覆盖的范围。这基本上就是强化学习所做的事。你从某个基础模型出发，让它尝试解决指定任务，并将尝试过程中的推理或行动轨迹作为新数据。即使模型之前没见过这些任务，也可能凭借一定的泛化能力，最终成功解决其中一部分。接着，你强化那些成功的轨迹，惩罚那些失败的轨迹。方法得当的话，模型就会迅速学会生成更多能够成功的轨迹，“奖励随之上升”。当模型擅长这类任务后，你再引入更难的任务。此时，模型已经能在这些任务上取得一定的泛化效果，因而可以获得足够有效的奖励信号，然后继续这一过程。只要你能持续可靠地判断成功与否，就可以通过反复自举，让模型越来越远地超越人类水平。
因此，强化学习的能力上限不再像预训练那样，受限于人类数据的分布，而是取决于奖励函数的分辨能力。只要你能可靠地区分“好”与“坏”，就能继续取得进展。人们谈到可验证奖励强化学习（RLVR）时，经常强调任务必须“可验证”，但这并不完全准确。瓶颈未必是严格意义上的可验证性，而是“能否可靠地判断”，可验证性只是其中的一种情况。只要另一个模型或人类能够以足够高的准确率判断是否成功，你就能对这个任务开展强化学习。如果在某个领域，判断始终比生成容易，那么只要算力、模型容量和探索等其他因素不构成瓶颈，模型能够达到的能力水平就没有一个特定的上限。否则，最终限制你的会是奖励函数的分辨能力，而非模型或任务本身。
这里需要认识到，奖励函数的“质量”不能简单地分成完美与不完美两类。奖励函数与执行任务的模型之间，存在某种动态平衡。模型能力较弱时，即使奖励函数相当粗糙，也完全够用。毕竟，识别明显的失败，通常比辨别那些接近成功、差别极其微妙的结果容易得多。其次，模型能力越低，发生奖励黑客行为的风险也越小。从纯理论上说，奖励函数中或许存在可利用的漏洞，但如果模型还没有能力利用它们，这些漏洞就不会产生实际影响。如果奖励函数在理论上可以被钻空子，但模型从未从钻空子的行为中学习，那么我们仍能获得类似预训练中那种总体有益的泛化：训练中从未见过钻空子行为的模型，极不可能自行泛化出这种行为。反过来，一旦钻空子的行为开始以不可忽视的频率出现，泛化就可能突然转而对我们不利：模型会学会举一反三地钻空子！
我们常把奖励黑客视为典型的对齐问题，但它同时也是一个根本性的能力问题。我们希望模型切实解决问题，希望它具备攻克极难问题的能力，而非练就一身入侵沙箱的高超本领。
此外，可靠判断的困难也并非对齐所独有。许多我们确实想要的“能力”同样极难评价。一个典型例子就是写作风格，或者文学能力。如今，人们已经投入数千亿美元，训练这些本职就是预测文本的机器。但我发现，即使给出要点、整篇文章的行文思路，以及过去文章的范例，大语言模型依然很难用我的口吻写出一篇足以乱真的完整文章。
想想这件事：这些最初为预测文本而设计的机器，居然能先解出千禧年大奖难题，却还无法把我这样一个普通博主模仿得足够像，让我省去亲手写文章的辛苦。原因仍在于，颇具讽刺意味的是，以工业化规模判断一道千禧年大奖难题是否被成功解决，要比判断模型是否写出了一篇好的“Beren 式文章”容易得多。类似的能力还有很多，让模型在这些事情上达到超人水平，可能很有价值。但它们做不到，因为我们很难把奖励函数定义得足够精细，以区分想要和不想要的结果。这里，“能力”与“对齐”再次交织在一起。
因此，这一阶段的对齐挑战并不在于奖励黑客本身。如果我们认为，对齐的奖励函数比“能力”的奖励函数更难明确规定，那么对齐才会呈现出其特有的挑战。我们有很多理由这样认为。要判断“我们想要什么”，实在太难。事实上，迄今为止，整个对齐研究领域甚至还没有就外部对齐的“成功”提出一个具体且得到广泛认同的愿景，更遑论将其转化为可以在强化学习训练框架中执行的详细奖励函数。就公开信息而言，各家 AI 实验室似乎主要还在使用相对简单的“由大语言模型担任裁判”的方案，依据自己制定的宪法或模型规范，评判模型的遵守情况。
从抽象层面看，问题再次归结为如何明确表达我们想要什么。在预训练阶段，我们通过构建数据集、提供示范来表达要求：能否找到一组例子，大体覆盖我们希望模型呈现的行为模式？在强化学习阶段，我们需要解决一个更高层次的问题：能否设计一套程序，判断什么才是我们想要的？如果有了这样的程序，我们基本就可以把实际生成数据的工作交给模型自身。于是，问题再次回到泛化，只是上升了一个层次。我们既要考虑模型如何根据数据泛化，也要考虑我们的判断程序如何泛化，进而决定哪些数据被用于训练，模型随后再从这些数据中泛化。这样，我们实际上就引入了一个两层递归的泛化问题。
相比直接在自然语言数据集中示范“良好”行为、以此对齐预训练模型，这个问题显然更难，因为我们现在处于基础数据集之上的一个层次：我们要对齐的是决定哪些内容可以进入数据集、哪些不能进入的决策规则。对于这个层次上的泛化究竟如何运作，我们的理解也远不及对常规深度学习从静态数据集中泛化的理解。
不过，即便如此，我也认为这个问题并非完全无解，而且能力提升和对齐都会直接推动人们解决它。我此前曾在《将缓解奖励黑客视为制度设计》一文中提出过一些想法。此外，自今年夏天发生那些严重的网络入侵事件后，我相信，解决这个问题已经成为各家实验室的首要任务之一。至少，它们会努力将问题压制到足以避免类似事件再次发生的程度。因此，这类问题可能会暂时受到控制。不过，只要我们还无法完美地规定奖励函数，随着优化不断推进，问题就必然会再次出现。
持续自主学习：在变化中守住不变量
然而，即使我们解决了强化学习中的这个问题，并且设法设计出了足够稳健的奖励程序，仍然有一个更深层的问题。回想一下，在强化学习中，虽然模型负责生成完成任务的数据，但人类仍然直接控制着训练任务是什么，以及这些任务采用什么奖励函数。这些都必须作为强化学习环境的一部分，被明确规定下来。在今天的实践中，各家实验室为此在强化学习环境、相应的评分标准和评判器上投入了巨额资金。如今，已经有许多公司专门收集相关数据、构建环境，并将其打包成实验室可以用于训练的形式。这项工作需要大量高技能人力，也需要海量的 AI 辅助。
这一过程能够产出在所有受训领域都极其强大的 AI 模型，但它们还算不上完整的通用人工智能（AGI），因为它们缺乏认知自主性。这个循环仍然需要人类决定训练什么、寻找并验证环境，等等。这与人类自身明显不同：至少在理论上，人可以直接走进世界，学习自己需要掌握的任何东西，无须依赖某个更高层的存在费尽心力为自己构建学习环境。此外，这整套流程也完全没有贯彻“苦涩的教训”所揭示的原则。从长远看，训练循环不能一直依赖人类在中间经手、组织训练数据集。这个循环最终必须闭合，AI 必须能够直接、自主地构建和控制自己的训练循环。这是模型获得自主性和完全通用性的唯一途径。它们不可能长期依赖某家数据公司，把一组想要的“能力”转化成由“环境”“基准测试”和“评判器”组成的训练课程。面对一个模糊的任务，模型必须能够走进世界，弄清楚自己需要学什么，然后学会它，整个过程无须任何监督或人类介入。
这就是持续自主学习阶段。它将使模型在完成核心预训练和强化学习后，还能在此基础上取得远比以往更大的进步。事实上，持续学习实际上消除了训练阶段与部署阶段之间的界限。模型可能先经历一段密集的预训练，然后被投放到世界中，但此后仍会像人类一样，继续从世界本身接受训练、进行学习。持续学习及其带来的认知自主性，使学习循环彻底闭合。不过，从外部观察，我们未必会看到特别明显的质变，因为如今由 AI 实验室、数据公司等组成、每隔几个月发布一次模型的整个生态，作为一个整体，似乎已经具有类似程度的认知自主性。持续学习的主要优势，是把迭代时间缩短数个数量级：从长达数月的模型训练与发布周期，缩短到针对相关数据进行一次局部更新可能只需几分钟，甚至几秒钟。也可以换个角度理解：持续学习让模型能够直接将今天由用户提问、基准测试、数据供应商和实验室训练循环组成的整个经济循环，内化到自身之中。
然而，正如我们此前讨论过的，持续学习会带来令人望而生畏的新对齐挑战，其性质与奖励黑客截然不同。这里的根本问题，是如何让模型的对齐属性长期保持稳定，防止其发生漂移。如果模型在部署时就已固定，我们可以先进行一轮安全训练，在部署前通过可解释性分析、红队测试等方式检查对齐情况，然后大体上就算完成了这项工作。但对于持续学习的模型，其内部表示、理解世界的概念体系乃至其他一切，都可能在部署期间发生剧烈变化。AI 可能读到新的道德哲学著作，进而决定不再认同最初的对齐使命；也可能发现关于世界的新事实，改变自己的概念体系，使先前的可解释性方法不再适用；在极端情况下，它甚至可能彻底重写自身架构和思维模式。跨越如此巨大的变化，仍然维持“对齐”，似乎是一项难以完成的挑战。但要让持续学习的智能体安全可靠，这恰恰是我们必须做到的事。
我们已经遇到过这种失配路径的一种轻得多的形式，即“上下文漂移”。上下文学习（ICL）实际上就像一个在上下文窗口内运作的“持续学习器”，而且，只要有人愿意，就可以向这个窗口输入任意具有对抗性的词元。要在任意上下文中维持“对齐”，确实很有挑战性，越狱、提示词注入等攻击就是例证。不过，实践中我们已经取得了相当大的进展，大幅提高了越狱的难度：几年前，对模型越狱几乎不费吹灰之力；今天，它已颇具难度，尽管仍然可能做到。持续学习面临类似的问题，只是其影响可能被无限放大：经过任意一系列输入，模型偏离自身“出厂设置”的程度几乎可以没有上限。不过，至少对于上下文学习而言，保持对权重的控制，再加上足够的对齐训练、系统性地堵住已知的对抗性输入路径，似乎能起到很大作用。核心问题在于，当权重本身也可以改变时，类似技术还能否继续奏效。一个很粗略的办法，或许是为权重变化设置不同的时间尺度：一些权重具有可塑性，另一些则保持固定，用固定权重来植入我们所理解的“对齐”。但即便如此，无论可塑权重变得多么不同，固定权重似乎都必须能够以某种方式，精确限定模型所能实现的函数范围。只有这样，才能防止一组失配的权重更新将整个模型推入失配状态。从根本上说，如果我们希望始终维持对齐，似乎就必须有某种东西保持固定；否则，无论我们用什么方式表征对齐，其底层载体都可能任意变化。
在更高的抽象层次上，我们可以看到，这项挑战实际上是定义一个“不变量”，再设计一套能够在变化中维持它的控制系统。定义这个不变量，本质上就是回答：一个系统究竟因为什么核心属性，才算是“对齐”的？这又回到了“外部对齐”和规定“真实奖励函数”的问题，只是换成了一种更抽象的形式。现在，规定单个奖励函数已经不够了，我们需要以某种方式规定一个能够随时间演化的学习过程，同时让它始终忠于那些我们认为对维持模型对齐至关重要的不变量。这个学习过程可以自主走进世界，学习各种事物，进行各种自我修改，前提是始终遵守那个不变量。
换个角度看，我们需要规定的内容又上升了一个层次。在预训练中，我们直接规定数据；在强化学习中，我们规定判断数据的规则；到了持续自主学习阶段，我们需要规定的是：模型依据什么规则决定自己需要哪些数据，以及它按照什么程序生成用于引导这些数据生成的奖励函数。因此，问题在于如何设计这一过程，使它即使面对持续不断、而且很可能幅度极大的变化，也能稳定地维持作为我们对齐目标的不变量。这些变化既来自模型对世界的内部表示，也来自世界本身。
当然，定义了不变量之后，我们还必须设计一个控制器，使它能够在潜在的巨大变化中维持这个不变量。实现这一点的路径显然还充满未知，单从问题本身来看，也很可能极具挑战性。不过，需要注意的是，从能力角度看，完全相同的问题也是持续学习的核心难点。在这里，它有着其他名字，比如“稳定性—可塑性困境”，以及“灾难性遗忘”这种失效模式。所谓灾难性遗忘，难道不正是无法保住那些我们希望维持的不变量吗？这里的不变量可以是“仍然能够完成先前学会的任务”这样基本的要求，但原理相通。同样，稳定性—可塑性困境也直指我们面临的根本权衡。模型过于稳定，就能记住已有知识，却会越来越难学到新东西；模型过于可塑，就能学习，却也可能遗忘。因此，如何设计一种系统，既能平衡这两者，又能在持续学习的同时保留旧有表示、让它们继续发挥作用，就是这里的根本问题。能力与对齐再一次紧密交织在一起。
当然，即使能力上的“灾难性遗忘”问题与对齐上的“忠于不变量”问题在结构上相同，也不意味着两者在实践中同样困难。我们很可能再次看到那个熟悉的模式：持续学习中某些高度可形式化的方面，例如保留能够明确判断对错的具体事实，可能比维持“善”或“对齐”这类更模糊的不变量容易得多。类似地，对于那些“看到了就知道”的目标，要定义出明确的奖励函数，本就很困难，这已经限制了强化学习在难以评价的任务上的进展，而它在可验证领域却突飞猛进。因此，这里的对齐问题就变成了：我们能否解决对齐这类模糊概念的“遗忘”问题？希望我们能借助在强化学习阶段发展出来、用于精确定义这些概念的方法。
我们究竟能否说清楚想要什么？
无论如何，退后一步看，我们可以发现两件非常重要的事。首先，与其把每个“阶段”看作一种方法或算法，不如将其理解为学习循环逐步内化的一个阶段。在“预训练”中，被内化的只有学习算法本身，数据仍由人类直接“手工”构建；到了“强化学习”，人类退后一步，由模型构建自己的数据，人类只提供判断程序和环境；随着我们迈向持续自主学习，几乎所有环节都被内化了：模型会构建自己的学习环境、数据课程和评判器。而这整套元学习系统，归根结底仍由人类构建，并寄望于它能够守住某个重要的不变量。
其次，每个阶段的对齐问题，都是能力问题在一面更阴暗的镜子里的映像。我们看到，对齐的困难往往更多地来自我们能否明确表达想要什么，方法本身倒未必是关键。相比能力问题，对齐通常要求我们作出更细致、更困难的界定，尽管也并非总是如此。或许并不令人意外的是，在那些最容易规定理想行为的领域，“能力”的进展尤为迅速：我们可以通过构建、筛选数据集隐含地表达要求，也可以通过验证器、评判器和奖励函数明确地表达要求。而在最难规定要求的领域，能力进展则相对滞后。此外，我们还看到，随着能力提升、系统变得越来越通用，对齐问题的源头也被不断移往更抽象的层次。最初的问题是：能否通过列举实例，覆盖我们想要的行为模式？随后变成：能否设计一套评判系统，根据轨迹和数据集能否培养出我们想要的行为，对它们作出判断？最后则是：能否设计一个元学习过程，构建出一个能够自主决定学习方向、最终学会我们所期望行为的学习者？于是，问题变成了：不断上升到更高层次，究竟会让问题更容易，还是更困难？它会带来新的可能性，还是只会增添危险？
这里潜藏的最深层问题，或许是：即使掌握了相应的方法，我们究竟能不能明确表达自己想要什么？这本质上就是外部对齐问题。假设我们已经解决了如何将某个目标植入 AI 的问题，我们真的有一个足够好的、可以具体交给它的目标吗？对于这个问题，我心中有着令人不安的不确定感。正如我在讨论“最大熵道德”的文章中所述，我的基本思路是一种外部对齐的“否定路径”：先明确我们绝对不想要什么，对于其他一切，则尽量不预先作出承诺，尽可能保留选择空间。随着我们自己发现和理解得更多，最重要的是始终保留纠正方向、进一步作出改变的能力。不过，仅仅保留选择空间并不够。选择空间并非最终目的，它的意义在于让我们最终能够作出选择。它必须服务于某些不变量的保护，并满足某些约束；这些不变量和约束体现了我们希望坚持的实质性价值与规范性承诺。同时，对于那些我们不愿过早排除的可能性，仍应保留通往它们的路径。这就成了稳定性—可塑性困境在价值规范层面的一个变体，或许更适合称为“抽象性—具体性困境”。我们希望原则足够普遍、足够抽象，能够经受剧烈变化、不确定性以及未来道德进步的考验；同时，它们又必须保留足够的实质内容和结构，避免沦为空话，或容许任意的改变与价值漂移。
因此，问题最终变成了：随着学习过程越来越多地由模型自身驱动、被内化到模型之中，我们能否设计出这样的“对齐”不变量——它们足够抽象，能够经受剧烈变化，同时又能保留我们赋予它们的核心规范性承诺和约束，使系统最终产出的结果仍能得到我们的认同与支持？还是说，抽象层次越高，原则就越模糊、越空洞，我们价值观中的实质内容也会在这一过程中逐渐消解？