本文译自 MiniMax 的 The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence1，2026 年 5 月 26 日提交于 arXiv，35 页 10 图 4 表。原文介绍 MiniMax-M2 系列，一族围绕「小激活可以释放最大现实智能」这条原则构建的 Mixture-of-Experts 语言模型。旗舰 M2 总参数 229.9B，每 token 只激活 9.8B。M2 系列是为 agentic 部署做端到端设计的，立在三个组件上：（i）agent 驱动的数据管线，在 agentic coding 和 Agentic Cowork 上产出大规模、可验证的轨迹，每条都锚定在一个可执行的 workspace 和一份与产物形态对齐的奖励上；（ii）Forge，一个可扩展的 agent-native RL 系统，能适配长程 agent 轨迹，配合 windowed-FIFO 调度、prefix-tree merging、推理优化，以及一套把训练、推理、agent 三者干净解耦、同时支持 white-box 和 black-box agent 的设计；（iii）最新的 M2.7 checkpoint 朝自演化迈出了早期的一步——自主 debug 训练任务、修改自己的 scaffold。从 M2 到 M2.7，这个组合把小激活量级的开销，换成了 agentic coding、深度搜索、办公任务和推理 benchmark 上的前沿档位表现。

MiniMax-M2.7 与闭源前沿基线在 agentic coding、Agentic Cowork、推理与知识三类 benchmark 上的表现对比，共八组柱状图。只有约 10B 激活参数，MiniMax-M2.7 仍然与规模大得多、算力开销高得多的系统保持竞争力
MiniMax-M2.7 与闭源前沿基线在 agentic coding、Agentic Cowork、推理与知识三类 benchmark 上的表现对比，共八组柱状图。只有约 10B 激活参数，MiniMax-M2.7 仍然与规模大得多、算力开销高得多的系统保持竞争力

1 引言

大语言模型正在从短的单轮对话，迅速迁移到长程的 agentic 工作流：编写并交付生产代码、在开放网络上导航、操作各种异构工具，以及跨几百个交错的推理与行动步骤产出结构化的办公产物[OpenAI，2025；Anthropic，2025；Google DeepMind，2025]。这个转变暴露出两类不同的困难。第一，agentic 任务天然的超长上下文，在训练和推理两侧都带来了严峻的效率与成本瓶颈，在大规模、高可用生产部署的严格要求下尤其如此。第二，真实环境中的部署要求解决那些本身就复杂、且容错空间很小的任务，比如生产级软件工程和知识密集的办公自动化。

为了应对这一对挑战，我们提出 MiniMax-M2 系列，一族围绕单一设计原则构建的 Mixture-of-Experts（MoE）语言模型：小激活可以释放最大现实智能。旗舰 M2 是一个 62 层的 decoder-only Transformer，总参数 229.9B、每 token 只激活 9.8B，组织成 256 个细粒度专家[Dai 等，2024]并采用 sigmoid gating，所有层都是带 GQA 的全多头 attention[Ainslie 等，2023]，原生上下文窗口 192K token，另有一个 Multi-Token Prediction（MTP）模块[Gloeckle 等，2024；DeepSeek-AI，2024]，它在推理时兼作投机解码的 draft 通路[Leviathan 等，2023]。29.2T token 的预训练奠定了基座；M2 大部分的现实能力，随后由一条 agent-native 的后训练管线构建出来，这条管线的各个组件从 M2 经 M2.5 一路协同演进到最新的 M2.7。

主要贡献。MiniMax-M2 系列持续的能力演进与性能提升，主要来自以下几项技术创新：

  • 我们为 agentic coding、协同工作（cowork）、推理和通用知识任务，设计了高保真、大规模的 agent 数据管线，其中每个任务都配有相应的静态或运行时环境、可验证奖励，或可信的反馈信号。我们发现，提升每条被接受轨迹的奖励质量与可信度——无论是通过可执行的验证信号，还是通过 judge 模型做证据核查——对于完全释放基座模型的内在潜力至关重要。

  • 我们构建了 Forge，一个面向大规模通用 agentic 强化学习的 agent-native RL 系统，它在统一的训练循环里无缝接纳 white-box 和 black-box（仅 API）两类 agent。通过把训练、推理和 agent 本身这几个关键架构组件解耦，并把这种分离与稳健性优先的算法设计、一套细致的奖励系统配合起来，Forge 实现了高度稳定的 RL 侧 scaling。此外 Forge 还纳入了 windowed-FIFO 调度来吸收轨迹长度的方差、prefix-tree merging，以及与我们部署栈协同设计的推理 kernel，从而大幅提升 RL 训练的效率与可扩展性。

  • 我们在 M2.7 上展示了自演化的一种早期可运行形态：模型在我们自己的基础设施上自主定位失败的训练任务、跨任务与实验修改自己的 agent scaffold，并通过在代表性的 ML 工程任务上做多轮自我改进来接受评测。M2 → M2.5 → M2.7 在 agentic benchmark 上的系列内提升已经反映了这一点，它关掉了前沿模型研发中最昂贵的 human-in-the-loop 瓶颈之一。

结果。图 1 预览了 MiniMax-M2.7 在三个能力域上的头条数字。在 agentic coding 上，M2.7 在 SWE-bench Pro 上取得 56.2，SWE-bench Multilingual 76.5，Multi-SWE-bench 52.7，Terminal-Bench 2.0 57.0。在 agentic cowork 上，它在 MM Claw 上取得 62.7，BrowseComp 77.8，GDPval-AA 50.0，Toolathlon 46.3。在 推理与知识 上，M2.7 在 AIME 2026 上取得 94.2，GPQA-Diamond 89.8。只有约 10B 激活参数，MiniMax-M2.7 已经接近最强的闭源前沿系统。完整的 benchmark 套件、逐 benchmark 分析和系列内进展，请见第 8 节。

2 预训练架构

2.1 总体架构

M2 是一个基于 Mixture-of-Experts（MoE）架构的大规模稀疏语言模型，设计目标是在维持较低的单 token 计算预算的同时扩大模型容量。它总参数 229.9B，每 token 激活 9.8B。模型实现为一个 62 层的 decoder-only Transformer，hidden 维度 3,072、词表 200,064，在 29.2T token 上预训练，最大上下文长度 192K。

M2 的每个 Transformer block 由一个多头自注意力模块加一个 Mixture-of-Experts（MoE）前馈层构成。attention 方面，M2 在所有层上都采用全多头 attention，48 个 query head、8 个 key-value head（GQA）[Ainslie 等，2023]。Rotary Position Embeddings（RoPE）[Su 等，2024]贯穿整个模型。这个设计背离了 MiniMax-Text-01[MiniMax，2025]所探索的混合 attention 机制，反映出我们在大规模设定下对全 attention 的偏好（2.2.2 节）。MoE 前馈层包含 256 个细粒度专家[Dai 等，2024]，每 token 激活 8 个。路由用 sigmoid gating 加上可学习的 per-expert bias 项实现，这改善了负载均衡，同时大幅降低了对辅助 loss 的依赖[Wang 等，2024]（2.2.1 节）。除了标准的 next-token 预测目标，我们在预训练中还加入了一个 Multi-Token Prediction（MTP）模块[Gloeckle 等，2024]。这个模块在继续预训练阶段通过权重复制扩展，以支持多步投机解码[Leviathan 等，2023]（2.3 节）。

2.2 模型设计选择

M2 的设计空间由两个架构决策主导：前馈层怎么稀疏化，以及 attention 怎么跨层组织。每个决策都是刻意与备选方案做过 benchmark 之后定下的，理由和支撑证据详述如下。

2.2.1 Mixture-of-Experts

M2 的前馈层采用 Mixture-of-Experts（MoE）架构，带三处针对表达力、路由动态和负载均衡的改动。

细粒度专家。我们采用细粒度专家设计，用数量更多、单个更小的专家：总专家数增加，同时每个专家的 FFN 尺寸减小。这提高了路由的组合多样性，也降低了跨设备专家利用率的方差（表 1）。

表 1：MoE 细粒度专家设计与 Multi-Token Prediction（MTP）模块的消融实验，在 MATH[Hendrycks 等，2021]、MMLU[Hendrycks 等，2021]、ARC-Challenge[Clark 等，2018]、KorBench[Ma 等，2025]和 HumanEval[Chen 等，2021]上评测。每行的最高分加粗。

Shots Baseline w/ MTP w/ Fine-Grained
模型配置
激活参数 – 2B 2B 2B
总参数 – 17.8B 17.8B 17.8B
训练 token – 500B 500B 500B
num_experts – 32 32 128
topk – 2 2 8
Benchmark 结果
MATH 4-shot 19.6 21.3 24.1
MMLU 5-shot 39.8 39.7 40.2
ARC-Challenge 25-shot 27.4 27.5 27.8
KorBench 3-shot 14.1 15.0 14.8
HumanEval 0-shot 29.7 30.1 32.5

Sigmoid gating。我们不用基于 softmax 的 top-$k$ gating[Shazeer 等，2017]，而是用 sigmoid gating 做专家路由。每个专家拿到一个独立的激活分数，从而去掉了 softmax 强加的零和约束。这允许多个专家同时以高置信度被激活，也让训练过程中的路由动态更平滑。

Expert bias。我们在 gating 函数里引入可学习的 bias 项，作为 per-expert 的路由分数偏移。这些 bias 与模型参数联合优化，隐式地调节专家利用率，使得辅助的负载均衡 loss 可以被大幅削减。

2.2.2 Attention

M2 在所有层上都采用全多头 attention，背离了 MiniMax-Text-01[MiniMax，2025]所用的混合设计——那个设计把 Lightning Attention[Qin 等，2024]与全 attention 交错排布。尽管高效 attention 机制在理论上很有吸引力，我们没有找到任何一个变体，能在覆盖推理、代码和 agent 任务的生产设定下可靠地追平全 attention 的质量。

评测的难处。核心挑战在于可靠地度量质量损失。在 MiniMax-Text-01 的研发过程中，我们的混合 attention 模型在标准 benchmark（MMLU[Hendrycks 等，2021]、BBH[Suzgun 等，2023]、MATH[Hendrycks 等，2021]、LongBench[Bai 等，2024]）上看起来追平了全 attention，但在更大规模上，复杂多跳推理里出现了明显的欠账。我们开发了代理指标来填这些坑，但代理指标与真实下游表现之间的相关性是脆弱的——它在更大规模上、或者在没见过的任务分布上，可能就不成立了。而且，做到统计显著的评测所需的算力，随任务复杂度大幅增长，不同架构与数据分布、训练配方之间的交互又难以预测，这让可靠的比较变得异常困难。

基础设施的差距。linear attention 和 sparse attention 的基础设施成熟度仍不及全 attention。许多 linear 架构即便在训练时也是 memory-bound 的。推理侧的关键挑战也还在：对低精度存储的敏感、缺少原生的 prefix caching 支持、与投机解码的整合方式不明朗。

混合 SWA 实验。我们为 M2 的 attention 层广泛探索过混合 Sliding Window Attention[Beltagy 等，2020]的各种变体，在多种配置上继续预训练了数千亿到数万亿 token——改变 SWA 与全 attention 的比例、调整 RoPE 设置、探索层内与层间的混合、分析 attention pattern（induction head[Olsson 等，2022]、retrieval head[Wu 等，2024]）、加入 sink token[Xiao 等，2024]。在预训练阶段，所有变体在检索、多跳推理和 in-context learning 任务上都表现退化（表 2）。SFT 之后，这个差距在长上下文上变得更加明显：在超过 32K 上下文的 benchmark（agent 任务和复杂的长上下文评测）上，SWA 变体明显差于全 attention。在 32K 以内的 benchmark 上，差异则是混合的、且绝对值很小——SWA 在一些指令跟随和较短程的 agent 任务上追平甚至超过了全 attention（比如 IFBench、XBench-ds），而全 attention 在知识密集的评测上保持优势（比如 GPQA-Diamond、MMLU-Pro），见表 3。这些发现说明，混合 SWA 在 attention 覆盖上的局限，对长上下文能力有关键影响，而对较短上下文的场景影响很小。

展望。随着上下文长度增长、GPU 算力的 scaling 放缓，次平方复杂度的 attention 会变得越来越重要。我们正在长上下文数据、评测方法和基础设施上投入，为这个转变做准备。

表 2：M2 架构规模下的预训练评测，全 attention 基线对比混合 SWA，覆盖通用知识（MMLU[Hendrycks 等，2021]、MATH[Hendrycks 等，2021]）、长上下文检索（HELMET[Yen 等，2024]、RULER[Hsieh 等，2024]）和上下文内翻译（MTOB[Tanzer 等，2024]）。每行的最高分加粗。

Baseline w/ SWA
HELMET ICL 75.8 72.7
MMLU 85.5 85.6
MATH 60.3 60.3
RULER 128K CWE 90.0 72.0
RULER 128K MQ 99.0 93.0
RULER 32K CWE 99.0 99.0
RULER 32K MQ 99.0 99.0
MTOB K-e Bleurt 60.0 45.0
MTOB e-k ChrF 44.8 27.2

表 3：M2 架构规模下的 SFT benchmark，全 attention 基线对比混合 SWA，覆盖通用推理与知识、以及 agentic 任务。通用 benchmark：AIME 2025、ARC-AGI-1[Chollet，2019]、GPQA-Diamond[Rein 等，2024]、MMLU-Pro[Wang 等，2024]、IFBench[Pyatkin 等，2025]。agent benchmark：SWE-verified[Jimenez 等，2024]、Terminal-Bench[Merrill 等，2026]、BrowseComp-zh[Zhou 等，2025]、GAIA-103[Mialon 等，2024]、XBench-ds[Chen 等，2025]、$\tau^{2}$-Bench[Barres 等，2025]。每行的最高分加粗。

Baseline w/ SWA
通用 Benchmark
AIME 2025 86.7 86.7
ARC-AGI-1 38.9 39.6
GPQA-Diamond 75.3 72.7
MMLU-Pro 80.5 80.1
IFBench 23.1 27.2
Agent Benchmark
SWE-verified 54.7 50.2
Terminal-Bench 26.7 23.8
BrowseComp-zh 32.8 28.7
GAIA-103 53.4 51.5
XBench-ds 58.0 63.0
$\tau^{2}$-Bench retail 62.3 67.5
$\tau^{2}$-Bench telecom 32.5 21.0

2.3 Multi-Token Prediction

M2 纳入了 Multi-Token Prediction（MTP）[Gloeckle 等，2024]，它训练模型联合预测接下来的 $K$ 个 token。这个设计既提供了更丰富的训练信号，也让推理时的投机解码[Leviathan 等，2023]成为可能。

M2 所用的 Multi-Token Prediction 模块架构。主模型（左）的 Transformer block 输出 h1 到 h4，末位 h4 经一路 RMSNorm 与 MTP Module 1 的 token embedding 拼接后过 Linear Projection 和一个 Transformer Block；MTP Module i 由主模型 Copy & Initialize 得到，Embedding Layer 和 Output Head 在主模型与所有 MTP 模块间共享，每个模块各自算一路 Cross-Entropy Loss
M2 所用的 Multi-Token Prediction 模块架构。主模型（左）的 Transformer block 输出 h1 到 h4，末位 h4 经一路 RMSNorm 与 MTP Module 1 的 token embedding 拼接后过 Linear Projection 和一个 Transformer Block；MTP Module i 由主模型 Copy & Initialize 得到，Embedding Layer 和 Output Head 在主模型与所有 MTP 模块间共享，每个模块各自算一路 Cross-Entropy Loss

预训练阶段。预训练时，M2 按 DeepSeek-V3[DeepSeek-AI，2024]的设计用单个 MTP 模块（$K=1$）训练（图 2），MTP loss 权重初始为 0.3，在 decay 阶段退火到 0.1。如表 1 所示，我们的消融表明 MTP 在各个 benchmark 上都一致地改善模型表现，其中推理密集型任务上的收益最大。

通过权重复制扩展。为了支持多步投机解码，我们在继续预训练的 decay 阶段把 MTP 模块从一个扩展到三个（$K=3$）。我们不用随机初始化，而是从主模型复制权重来初始化这些 MTP 模块。这个策略之所以关键，有两个原因：（1）复制初始化的模块比随机初始化的收敛明显更快，后者一开始 loss 很高，会暂时拖坏主模型；（2）它把这个过渡过程对主模型表示的扰动降到最小。扩展之后，我们先冻结主模型、只训 MTP 模块一小段时间，直到它们的 loss 稳定下来，然后切换到所有模块的联合训练。我们也试过全程冻结主模型，但发现在这种只训 MTP 的调度下，MTP 模块收敛到的最终质量比联合训练更差。

推理。推理时，三个 MTP 模块生成 draft token，由主模型在一次前向里完成验证，在保持与标准自回归解码完全相同的输出质量的同时提升吞吐。

3 预训练数据

训练数据。预训练语料是一份全面且经过细致整理的数据集，纳入了多样的来源，包括网页文档、学术文献、书籍、程序代码和结构化的问答内容。我们用模型化的奖励打分与辅助分类器相结合的方式，在多个维度上评估文档质量，并采用一种平衡的采样策略，上调高质量内容的权重，同时保留足够的类别多样性。

数据分布。预训练数据的混合比例在各领域间经过仔细平衡，代码、数学和 STEM 内容相对其自然分布被显著上采样。剩下的部分由通用网页内容、书籍和其他领域特定数据构成，确保对世界知识和语言多样性的广泛覆盖。在预训练的恒定阶段，我们一共训练了 19.9T token。

长上下文扩展。在初始预训练阶段之后，我们采用一个多阶段的训练流程，把模型的上下文窗口从 8K token 逐步经 32K 扩展到最终的 192K。decay 阶段使用总计 9.3T token 的数据预算，既包含短文本 decay 数据也包含长上下文数据，其中高质量的代码拼接、天然长篇的 PDF 文档，以及主题相关的文档打包，是长上下文训练样本的主要来源。decay 阶段我们混入高质量数据来巩固模型能力，同时扩展它的有效上下文长度。

4 后训练数据采集

4.1 Agentic Coding

我们在三个互补的领域上采集 agentic coding 的后训练数据：软件工程（SWE）、应用开发（AppDev）和终端交互任务，分别覆盖仓库级的代码演进、全栈开发和交互式终端环境。

SWE 与 AppDev 任务的 agentic coding 数据管线。上半的 SWE-Scaling Pipeline 有七个环节：数据获取与过滤、环境构建、PR 打标与路由、任务抽取与验证、模型化的任务校验、变换与增广、最终 SWE 数据集，末端产物是问题描述、可运行 Docker 环境、可验证奖励三件套。下半的 Appdev Pipeline 有六个环节：领域专家介入、meta query 与查询采样、查询去重与过滤、轨迹采样与 prompt 蒸馏、rubric 奖励与 Agent-as-a-Verifier、最终 Appdev 数据集
SWE 与 AppDev 任务的 agentic coding 数据管线。上半的 SWE-Scaling Pipeline 有七个环节：数据获取与过滤、环境构建、PR 打标与路由、任务抽取与验证、模型化的任务校验、变换与增广、最终 SWE 数据集，末端产物是问题描述、可运行 Docker 环境、可验证奖励三件套。下半的 Appdev Pipeline 有六个环节：领域专家介入、meta query 与查询采样、查询去重与过滤、轨迹采样与 prompt 蒸馏、rubric 奖励与 Agent-as-a-Verifier、最终 Appdev 数据集

4.1.1 真实数据驱动的采集：软件工程任务

为编程 agent 构造训练数据面临三个相互耦合的挑战：拿到广泛的任务多样性、确保客观的可验证性，以及扩到大规模训练所要求的量级。GitHub 是采集这类数据的一个丰富且天然结构化的来源：一个结构良好的 pull request 里就包含描述、相关的代码改动，以及提供客观正确性信号的测试用例。然而原始 PR 数据本身是嘈杂的、不能直接用，这促使我们构造了一条真实数据驱动的 SWE-scaling 管线：一条基于原始 GitHub 数据的、agent 驱动的自动化数据管线，用来产出多样、可验证的 SWE 式数据集与环境。具体地，这条管线经过下面六个连续的阶段。

  • PR 采集与过滤。管线的第一个阶段是大规模爬取采用宽松许可证的公开 GitHub 仓库，采集 pull request 及其关联的 issue，两者合起来提供代码 diff、测试文件和问题陈述。由于原始 GitHub 数据本身是嘈杂的，我们对那些最终被合入的 PR 施加基于规则的质量过滤，外加是否存在相关测试用例等额外判据。

  • Agent 合成的多语言 Docker 环境。在 SWE-scaling 管线里，我们的目标是为每个 PR 构造一个可运行的 Docker 环境。但我们观察到，在非 Python 的场景下，由于依赖异构、版本冲突，环境合成的可靠性更低。为解决这一点，我们引入一个 agent 驱动的执行循环，把专家知识纳入其中，在执行反馈的引导下迭代地生成并精修构建脚本。我们要处理的关键维度如下：

    • 编译型语言的构建系统编排。Java、Go、Rust、C++ 这类编译型语言需要复杂的工具链协调，包括编译器版本、构建工具和依赖求解。
    • 异构的执行与测试接口。不同语言暴露出各自不同的构建与测试流水，需要统一但又可适配的执行接口来做环境搭建与校验。
    • 仓库级的结构差异。各仓库在项目组织和依赖声明上的差异，要求为代码定位和测试执行采用自适应的策略。

  • PR 打标与任务多样化。为每个 PR 构造好 Docker 环境之后，我们做 PR 级的打标与路由。GitHub 的 PR 横跨一个很宽的任务类型分类，包括 bug 修复、功能添加、性能优化、重构和测试构造。这种路由是必要的，因为不同的任务类型要求对下游的可验证奖励作出不同的表述。

  • 基于测试的可验证奖励构造。我们设计以测试用例执行为依据的任务特定奖励函数，因为不同的 PR 类型要求根本不同的评估判据。

    • Bug 修复。对 bug 修复场景，我们抽取 F2P（Fail-to-Pass）和 P2P（Pass-to-Pass）测试用例。如果 golden patch 能通过这些测试，这条数据就被认为有效。然后我们让模型作为 agent 在沙箱里修这个 bug，并用 F2P 和 P2P 测试一起校验正确性。P2P 测试尤其重要，它确保修复过程中没有引入新的 bug。
    • 功能添加。对功能添加，传统的 F2P/P2P 逻辑可能不适用，因为测试往往依赖于新引入的代码。我们改为聚焦抽取新增的测试点，并确保 golden patch 能通过它们。
    • 性能优化。由于性能优化没有修 bug 的过程，这类情况下我们抽取那些能够验证优化前后存在稳定且显著性能差异的 P2P 测试。

  • 模型化的任务校验。原始 GitHub PR 往往结构性很弱，其关联的测试用例可能没有完整刻画底层问题，导致任务含义模糊或欠定。为缓解这一点，我们用一个模型来校验问题描述与测试用例之间的一致性，并在必要时补足缺失的信息，产出自包含且可执行的任务规格。

  • 任务变换与增广。为最大化数据集多样性，我们对已有的 PR 施加变换与增广策略，从单个来源生成多个任务变体。

    • Bug 注入。往代码库里额外引入 bug，以提高任务难度、扩展修复场景的分布。
    • Commit 合并。把相邻的 commit 或 PR 合并起来，构造复杂度更高的多步修复任务，做法类似 SWE-Smith[Yang 等，2024]。
    • SWE-Test 转换。把 bug 修复 PR 转换成 SWE-Test 任务，其中问题的表述被反转过来：agent 要写的不是修复，而是一个在打补丁前的代码上失败、打补丁后通过的测试用例，这直接锻炼写测试的能力，同时仍然完全可验证。
    • 代码评审任务。agent 做静态分析、审查代码改动、识别潜在缺陷，不需要可运行的环境。一致性由第二个 LLM 来校验，产出近似可验证的任务，对整体任务多样性有实质贡献。

SWE-scaling 管线最终产出一个大规模训练数据集，其中每个实例由一个问题陈述、一份基于测试的可验证奖励和一个可运行的 Docker 环境构成。对 M2 系列模型，这条管线横跨十种以上编程语言，覆盖很宽的编程任务类别。

4.1.2 专家驱动的采集：应用开发任务（AppDev）

SWE 任务聚焦对已有仓库的修改，比如 bug 修复、功能添加和重构，而应用开发（AppDev）任务要求从零构建完整的应用。这带来了不同的挑战：任务无法直接从已有代码库里抽取，质量信号需要超越静态分析的运行时验证，评估判据既涵盖功能正确性也涵盖主观的设计质量。为应对这些挑战，我们设计了一条 expert-in-the-loop 的数据管线，把领域专业知识与大规模的自动化验证结合起来。领域专家贡献编码了生产级技术模式的 meta query，撰写引导轨迹生成的 system prompt，并设计横跨执行、交互和美学的评估 rubric。随后一个 Agent-as-a-Verifier（AaaV）框架来做自动化的拒绝采样，它把生成出来的应用部署到沙箱环境里，通过工具辅助的交互来对着专家定义的 rubric 校验。这条管线让我们能在前端、后端、移动端、桌面端和仿真等多个领域上，合成多样、高质量的应用开发轨迹。

Expert-in-the-Loop 的查询合成。我们通过专家设计的 meta query 与自动化质量控制相结合，合成多样、高质量的开发任务查询。来自工程团队的领域专家贡献经过优化的 meta query，把他们的领域知识编码进去。每条 meta query 充当一个模板，捕捉本质的技术模式，指定框架生态（比如 React + Zustand + Tailwind）、架构约束，以及扎根于生产经验的现实用例。专家整理出分类别的种子池，覆盖 UI 组件库、CSS 框架、构建工具、SaaS 集成和常见的应用场景。这些 meta query 注入了受控的可变性：技术栈、样式方案和功能需求都从专家整理的分布里采样，以同时确保多样性和技术有效性。meta query 会基于下游的质量信号迭代精修，让专家可以剪掉那些持续产出低质量输出的模式，并放大那些能产生结构良好的开发任务的模式。

多样的用户查询由 meta query 与随机采样的种子组合而成，然后经过高温度的 LLM 生成处理，以最大化变化。每条 meta query 被扩展成多个具体查询，描述特定的开发任务，涵盖功能需求、技术选型和 UI/UX 规格。为控制冗余，我们施加基于 MinHash 的去重，在线性时间内以可配置的阈值做近重复的近似检测。最后，我们用 LLM-as-a-judge 在领域特定的 rubric 上评估每条查询的质量，rubric 组织成三类：技术栈合理性（兼容性、选型适宜性、组合有效性）、功能可行性（技术可达成性、描述具体度、UI/UX 逻辑）和需求清晰度（有效性、场景真实性、表述连贯性、完整性）。分数低于某个阈值的查询被拒掉。这确保只有形式良好、技术上站得住、范围也现实的开发任务才会进入轨迹采样。

带专家 system prompt 的轨迹采样。领域专家通过精心设计的 system prompt，把先验知识直接注入生成过程。这些 prompt 编码了针对我们早期模型已知缺陷的最佳实践。比如对 web 前端任务，专家观察到模型表现出次优的设计习惯，例如过度使用模板化的渐变背景。为抵消这些倾向，system prompt 明确阐述了横跨功能完整性、代码完整性、内容真实性和美学的设计准则与质量标准。除了设计上的引导，这些 prompt 还鼓励开发过程中的最佳实践：实现之前先写规格、对复杂任务维护结构化的 TODO 列表、通过测试做自我校验。我们还专门采集针对 skill 使用与内化的轨迹，让模型学会何时以及如何有效利用 skill。我们做法里的一个关键要素是 prompt 蒸馏：轨迹采样时模型收到完整的、加料过的 system prompt，而训练时我们有选择地丢掉这份引导的一部分。这种部分的不对称鼓励模型把专家编码的最佳实践内化为默认行为，减少它在推理时对显式 prompt 的依赖。

带 rubric 奖励和 Agent-as-a-Verifier 的拒绝采样。不像 SWE 任务里测试用例提供了天然的正确性信号，应用开发要求跨多个维度的整体评估，而这些维度无法只靠静态代码分析来判定。我们通过 Agent-as-a-Verifier（AaaV）来解决这一点，这个框架把生成出来的应用部署到沙箱环境里，通过工具辅助的交互来校验轨迹。评估经过三个层次化的层，每条判据都给出带强制证据的二值通过/失败判定：

  • 执行层校验应用是否真的能跑起来。具体检查包括：文件是否存在与语法是否有效、依赖能否求解与安装、构建是否成功与服务能否初始化、页面加载时的 HTTP 状态与是否没有 JavaScript 错误。在这一层失败的轨迹立即被拒，因为它们代表不可用的输出。
  • 交互层评估核心功能是否按预期工作。verifier agent 用 Playwright 检查：预期的交互元素是否存在、按钮与表单是否有响应、核心功能工作流能否端到端走完。这个 agent 会在部署好的应用里导航、触发用户交互、观察状态变化，以判定指定的功能是否真的实现了。
  • 视觉美学层评估主观的质量维度：排版的专业度、视觉层次的清晰度、配色的和谐度，以及对现代 UI 设计标准的遵循。

跨各层的总体通过率充当拒绝采样的奖励信号，其中执行层的检查作为立即拒绝的硬门槛。这套三层评估把 AaaV 与常规的 LLM-as-a-Judge 做法区分开来：verifier agent 不是从静态代码或截图上评判质量，而是在多轮里主动与运行中的应用交互，把观察到的行为对着专家定义的 rubric 打分。关键的是，我们经过严格过滤的多样查询分布与这套 Agent-as-a-Verifier 评估范式之间的协同，为后续的强化学习立起了稳固的基础，既提供了丰富的探索空间，也提供了可靠、以环境为依据的奖励信号。

4.1.3 Terminal-Gym：自动化的任务合成与环境生成

在 SWE-bench[Jimenez 等，2024]之外，Terminal-Bench[Merrill 等，2026]在一个功能完备的终端环境里评测 agent 做现实、复杂的任务，这对 LLM 的系统操作、debug 和命令行能力提出了显著更高的要求。为了提升模型在这类能力上的表现，我们提出 Terminal-Gym，一条自动化的数据合成管线，把整理好的真实编程场景系统性地转换成一份多样、可验证的终端任务语料。它通过生成结构化的任务 schema、动态演进查询难度，以及自动合成稳健的 Docker 运行时环境，为终端 agent 提供了一个高度可扩展的训练框架。

种子数据集选择。Terminal-Gym 以完整的 Stack Overflow 数据集为基础，它大规模地提供了高质量的真实编程与系统操作场景。在按时间排序原始数据以重建完整帖子之后，我们施加严格的规则过滤。我们丢掉没有 accepted answer 的帖子、低分帖子，以及过长的问答对。为了严格聚焦终端场景，我们按标签过滤，只保留与终端操作、系统配置、debug、脚本编写和相关软件工程流程有关的话题。剩下的每个帖子随后被标注上多个属性，包括问题质量、任务类型适用性、可验证性、任务类别、大致复杂度、环境要求和执行特征。我们只挑选满足严格判据的帖子：必须可脚本化、终端兼容、可验证、与 Linux/Docker 相关，且难度中等。最后，我们丢掉每个话题里嘈杂或冗余的内容，并挑选单一的高质量答案，形成基础的 Query-Answer Pair。

查询合成。我们进一步把挑选出的查询重写成结构化的任务描述。这包括把执行上下文具体化，包括必要的环境、所需的工具、预期的输入输出格式和成功判据。这些重写后的任务随后按可测性、完整性和清晰度分成四档，只有落在前两档的任务被保留。原始的 Query-Answer Pair 由此被转换成一个结构化的 schema，包含一条自然语言指令、任何必要的支撑文件或脚本，以及一段对预期终端行为的简明描述。

合成管线。每个结构化 schema 经过三个阶段的变换，成为一个完整的终端任务。

  • 阶段 1：环境与测试生成。一个 agent 为每个任务生成 Dockerfile 和相应的测试脚本。测试被执行以验证功能。如果测试失败，结构化的诊断反馈会返回给 agent 做迭代修复，一直持续到测试通过或达到最大重试次数。
  • 阶段 2：查询演进与统一测试。前面步骤生成的任务指令常常包含显式的提示、文件路径或预期的环境输出。为解决这一点，我们施加一个受控的查询演进过程，系统性地抽象掉或移除这些提示，同时保证语义一致。一个任务由此产生的所有变体，随后用一套由 LLM 生成的统一测试套件来评估。这种统一测试的做法迫使测试去校验任务底层的逻辑，而不是过拟合到特定的描述风格或显式提示上。实验结果表明这个方法在保证稳健评估上是有效的。
  • 阶段 3：难度校准。最后，我们严格过滤掉过于简单的任务。我们优先采样那些提示更少、zero-shot 通过率更低的任务变体。这个过滤过程会考虑一个参考求解器的历史通过率，以及环境合成期间所需的修复迭代次数，确保最终的 benchmark 保持高度挑战性和区分度。

最终，Terminal-Gym 为复杂的终端操作提供了一个高度可扩展的训练框架，我们正在把这个基础演进成零干预的 Anything2Docker 系统。此外，鉴于代码安全的重要性日益上升，我们正进一步扩展 CVE-Factory[Luo 等，2026]，以涵盖自主网络安全研究这一更广的前沿，推进 AI 驱动的漏洞分析与主动防御机制的边界。

4.2 Agentic Cowork

在编程与终端任务里可得的可验证信号之外，真实部署还要求 agent 能在异构的专业环境里工作——为拿到一手来源在开放网络上导航、在财务表格上做推理、撰写演示文稿，以及产出终端用户真正会消费的那一整类办公产物。Agentic Cowork 是这些能力背后的数据采集轨道，围绕四个领域组织：深度搜索与开放网络研究、知识工作者的办公任务、金融分析与表格操作，以及幻灯片生成。虽然每个领域都在各自不同的 workspace 上运作、产出各自不同的产物，四者遵循同一套整体设计。任务被实例化在真实、可运行的 workspace 上；轨迹从一组轮换的强 teacher 模型上蒸馏而来，且 scaffold 被刻意扰动过；接受与否由一个与产物形态对齐的验证信号来裁定，而不是靠单一的通用 judge。对那些结果不能直接被机器验证的子任务，我们采集多个候选回答，沿两个轴做成对比较来从中挑选——推理与行动的轨迹、以及最终的产物——之后再过一遍 rubric 过滤，强制执行严格的准确性与质量门槛。下面我们说明每个领域各自怎么实例化这条共享管线。

4.2.1 深度搜索与开放网络研究

这个领域针对那些要求 agent 在开放网络上导航、跨多个来源收集证据、并综合出一个有依据的答案的任务。为了大规模产出这类任务，我们采用一种 guide-and-rewrite 的合成策略。从一个种子问题出发，我们迭代地重写问题、遮蔽它所依赖的实体，直到这个任务变得足够难，能区分强 agent 和弱 agent。这个流程给了我们对任务难度的连续控制，让简单变体去锻炼基本检索、更难的变体去要求深度的多步浏览与跨来源印证。为了防止模型学会编造听起来合理的答案，每个合成出来的任务还配有一份显式的证据规格，一条采样出来的轨迹只有在其答案确实扎根于真正检索到的证据、而不是从模型记忆里背出来时，才会被接受。对于那些没有唯一简短答案的、更宽泛的报告式查询，我们把精确匹配的接受判据换成一个 rubric judge，沿事实准确性、透明度、不确定性处理和风险披露打分。轨迹从一组轮换的强 teacher 模型上蒸馏，周围的 scaffold 在不同 run 之间被扰动，使得学出来的策略能泛化到任何单一工具布局之外。

4.2.2 知识工作者的办公任务

这个领域覆盖端到端专业交付物的广阔空间——报告、幻灯片、备忘录、结构化文档——也就是知识工作者日常工作中产出的东西。我们把语料锚定在 GDPval[Patwardhan 等，2025]这个已有的办公任务 benchmark 上，并用一条模仿真实专业人士组织工作方式的合成管线来扩展它。

种子整理。我们首先从种子 benchmark 里整理出一个可用的经典任务子集，过滤掉那些超出我们 agent harness 支持范围的条目，使得种子部分为语料的其余部分提供一个干净、可执行的锚点。

层次化合成。在这个锚点之上，我们通过一个层次化的多阶段流程产出一份大得多的自合成语料。我们从公开职业数据库取来的宽泛职业类别出发，推导出纳入了文化与地域多样性的细粒度细分，确保对各行业、地区和文化语境的广泛覆盖。对每个细分，我们生成具体任务，连同模拟真实工作场景的详细任务描述，让数据扎根于真实的专业活动，而不是抽象或泛泛的指令。对每个任务，我们进一步产出一个由支撑文档构成的真实 workspace，以及若干具体程度不同的查询版本，把高层的任务描述转换成具体、可操作的问题设定，也让模型见到用户表述风格的一个谱系。每个任务还附带一份对预期交付物的结构化规格，使得合成、执行和接受判定共享同一套产物形态。

多轴 rubric 接受判定。接受与否由一份多轴 rubric 裁定，涵盖正面行为、负面行为、关键错误、地域适宜性和推理深度，在种子部分和自合成部分上统一施加。另有一道分类型的清洗环节会移除那些编造数据、引用或实体的轨迹，使得最终语料里只留下满足严格事实标准的产物。

4.2.3 金融分析与表格操作

这个领域覆盖两类互补的任务族，合起来横跨一位金融专业人士的日常工作：一是扎根于真实金融工具的信息检索、计算与推理；二是在真实工作簿上的表格操作。这两族由不同的任务合成管线构建，但共享同一套下游的接受判定与 scaffold 机制。

证据驱动的合成。对第一族，我们采用先前工作[Chen 等，2026]中引入的证据驱动任务合成管线，它把常规的自上而下撰写顺序反转过来：我们先执行真实的金融工具来采集有依据的执行 trace，再反向推导出严格被这些 trace 所蕴含的任务。这带来了构造性的 grounding——每个任务在设计上就既可执行、又能从可观察的工具输出上被验证，参考答案完全由工具实际返回的东西决定。

Workbook-walk 合成。对第二族，我们改为通过一次 workbook walk 来构建语料，思路上接近 WebExplorer[Liu 等，2025]那类轨迹驱动的合成方法。一个 agent 在种子工作簿上运行一组整理好的原子表格操作，它途经的中间状态被回收成新的种子，而在每条由此产生的轨迹上，我们按反序合成任务，从轨迹推出答案、再从答案推出问题。最后一道环节沿表述与难度两个轴让得到的问题池更多样。

覆盖范围。第一族针对的是检索、计算和推理类问题，其答案必须扎根于外部金融数据。第二族覆盖三条子轨道：涉及工作簿结构理解、公式应用和跨表操作的通用与竞赛级表格操作；横跨典型 PE、VC 和并购场景的金融建模；以及从半结构化源文档重建结构化工作簿。

接受判定。接受判定优先采用确定性的值级匹配。学生产物被执行，其公式由一个外部引擎重算，得到的单元格值再与 ground-truth 工作簿比对。对那些形态可能合理地存在差异的交付物，比如从半结构化文档重建的工作簿、或开放式的金融推理子任务，我们退回到 rubric 或 agent 判定。每个任务还会在多套 scaffold 下采样，使得学出来的策略对工具接口的变化是稳健的。

4.2.4 幻灯片生成与编辑

这个领域同时针对端到端的整套幻灯片创建和增量式的幻灯片编辑，合成管线因此沿两条并行的流水推进。第一条流水把幻灯片撰写当作一个开放式生成问题。我们整理出一批横跨各商业领域的多样源文档，并为每份文档推导出在描述粒度、长度和语言语域上各不相同的查询，使得到的任务覆盖一个现实的用户请求分布。第二条流水把幻灯片编辑当作一个局部干预问题。我们采样真实的幻灯片作为种子，沿多个多样性轴生成编辑指令，包括编辑的粒度（从单个元素经页面到文档级）、编辑的意图（内容、样式或结构），以及改动的复杂度。轨迹从一组轮换的强 teacher 模型上蒸馏，其中优先选用那些生成结果具备我们希望学生继承的视觉质量的 teacher。因为幻灯片产物最终是被视觉消费的，接受判定叠了多重互补的信号：执行成功、由一个 agent 判定的功能正确性、对基本排版美学的规则化检查，以及一个最终的视觉打分器——它把交付物渲染出来、当成图像来评判。为了防止策略过拟合到单一的渲染工具包上，我们还额外混入了在替代幻灯片生成库下产出的轨迹。

4.3 推理密集型任务

推理数据的核心目标是让模型具备在复杂问题上做深度、结构化思考的能力——证明数学定理、推导科学结论、设计算法、构造逻辑论证。这些任务横跨众多领域，而在每个领域内部，单个问题又允许多种不同的有效解题策略，形成任务与方法的一个组合空间。这个规模和多样性自然地导向一种以 scaling 为驱动的做法。我们沿三个互补的轴做 scaling，同时维护一条质量保障管线，以在量级上确保数据正确性。

查询侧 scaling。扩充独特问题的集合，特别是在代表性不足的难度带上，能直接改善覆盖度与泛化。我们把从已有来源的整理，与针对错误分析所识别出的能力缺口做定向合成结合起来。

回答侧 scaling。为每个查询生成多条正确的解题路径能改善推理多样性。随着每个查询的回答数增加，域外能力持续改善，且收益主要体现在 OOD 泛化上，说明多样的解题路径教给模型的是可迁移的推理策略，而不是对解法的记忆。我们刻画各难度档上的饱和特征，并把额外的采样集中在模型解法多样性仍然偏低的地方。

训练侧 scaling。除了独立地扩充查询和回答，我们还研究在固定算力预算下的最优数据混合比例——查询扩充与回答扩充的相对比重。前者改善问题覆盖度与领域广度，后者加深模型对解法策略空间的掌握。我们按当前的能力瓶颈落在哪里，逐训练阶段经验性地校准这个混合比例，并采用把资源集中到模型薄弱区域的动态分配。

质量保障。在量级上做 scaling 会引入噪声和错误数据的风险。为维持正确性，我们在管线的每个阶段都施加质量控制。对查询，我们施加多阶段清洗，把直接的查询打标与 rollout 回答的交叉比对结合起来，以识别含义模糊或形式不良的问题。对验证器，我们做系统性的 case 分析以覆盖更多边界条件与边缘情形，确保验证逻辑在各类问题上都保持准确。对答案，我们通过比对多个模型之间的表现差分来交叉核对正确性，把那些分歧暗示可能存在标注错误的实例标记出来。对回答，我们在纳入训练语料之前，施加一个结构化的 rubric 打分框架，沿明确定义的质量维度评估推理 trace。

4.4 通用对话与写作

这条轨道用覆盖面广的对话数据来补足上面的 agentic 与推理语料，横跨写作、通用问答和多轮对话。语料主体由带长链式思考（long CoT）推理的高质量样本构成，目标是在把推理能力注入模型的同时，保住它的通用胜任力，并为后续的强化学习提供一个稳定的冷启动基础。

每个子领域各有侧重。对写作，主要关注点是风格：高质量的查询被仔细整理过，使得回答遵循某种特定的风格标准，捕捉语气、结构和表达上的细微差别。写作管线里还纳入了一个文件系统，让模型能读写结构化文档，从而把它的写作能力与真实的生产力场景对齐。对通用问答，由于查询往往相对直接，重点转向在多个候选回答之间做挑选，以满足偏好对齐的质量要求。对多轮对话，重点落在更复杂的交互设定下的指令与 rubric 遵循——跨很多轮维持连贯、跨轮追踪上下文，以及在长上下文上稳健理解。

为进一步增强模型的能力与稳健性，数据集同时包含带工具和不带工具的样本。带工具的样本教模型在合适的时候有效利用代码解释器、搜索引擎这类外部工具，不带工具的样本则确保模型能在不依赖外部辅助的情况下独立推理。这种平衡的构成让模型能在多样的交互场景之间灵活适配。

生成之后，所有数据都经过自动验证器（规则化检查器与模型化评估器）的严格校验，加上系统性的质量检查，以在纳入训练管线之前确保正确性与一贯的高质量。

4.5 角色扮演与人格一致性

为了支持以人格为条件的长程对话——这是前面通用对话轨道没有锻炼到的一种主要真实部署模式——我们把角色扮演当作一条独立的数据轨道，配有它自己的形式化、benchmark、合成管线和奖励信号。

我们把角色扮演[MiniMax，2026]形式化为在联合空间 $\{\text{Worlds}\} \times \{\text{Stories}\}$ 上、以 $\{\text{User Preferences}\}$ 为条件的长程条件生成。核心目标是在延长的多轮对话中维持物理、叙事和风格上的一致性。基于「不一致是客观可检测的、而一致是主观的」这一洞察，我们引入 Role-Play Bench，它通过惩罚特定的失效模式（比如出戏、逻辑错误）来评估多轮自我对弈的轨迹，产出与线上互动强相关的离线指标。我们通过风格上多样的专家模型之间大规模自我对弈来合成训练数据。为保证质量、防止 mode collapse，我们施加沿四个轴的离散度采样、Best-of-N 过滤，以及由 LLM-as-a-judge 做的周期性段落级重写。我们用 RLHF 优化策略，用的是来自真实产品交互的隐式与显式反馈；这些原始信号通过因果推断和分层去偏来去噪，以分离出真正的质量指标，同时施加熵监控来缓解 reward hacking。

5 监督微调

我们做监督微调（SFT）来把想要的 interleaved thinking 行为灌进 M2，为后续的 RL 阶段提供一个强的起点。不像常规的长链式思考（CoT）数据里推理被限制在单个连续的块里，我们的 SFT 数据把思考 trace 与中间的行动、观察交错起来，让模型能在一条统一的轨迹里推理、行动并修正。为大规模产出这类数据，我们搭了一条系统化的数据管线，它对着领域特定的奖励信号做大规模拒绝采样，再接多阶段的数据清洗，产出高质量的 interleaved-thinking 轨迹。得到的 SFT 语料横跨四个核心领域——chat、推理、代码和 cowork——同时覆盖单轮推理和多轮 agentic 交互。

6 强化学习

6.1 RL 算法

6.1.1 Agent RL 建模

我们这样表述 agent 强化学习：把 LLM 当作策略，把模型生成过程之外的一切——包括上下文管理、记忆访问和 agent 状态转移——当作环境。这种分离提供了一个干净的抽象，把标准 RL 框架自然地扩展到能容纳 agentic 系统的复杂度。

6.1.2 MDP 表述

我们把 agent 与环境的交互建模为一个马尔可夫决策过程 $M = (S, A, T, R, \gamma)$。在每一步 $t$，agent 观察到一个状态 $s_t \in S$——由当前上下文窗口的内容构成，包括任务指令、之前的对话历史、工具输出，以及 agent 循环期间产生的任何产物——并产生一个行动 $a_t \in A$，定义为单步的 LLM completion。这个 completion 可以包含自然语言推理、一次工具调用请求、一次显式的上下文管理操作、与某个 sub-agent 的通信，或它们的任意组合。环境随后执行请求的操作、返回一个观察 $o_t$，它连同可能的上下文管理操作一起决定下一个状态：

$$ s_{t+1} = f_{\text{trans}}(s_t, a_t, o_t), \tag{1} $$

其中 $f_{\text{trans}}$ 表示一个任意的状态转移函数，它可以改变累积的上下文和 agent 循环的内部状态。轨迹 $\tau = (s_0, a_0, s_1, a_1, \ldots, s_T, a_T)$ 构成一个完整的 episode，策略 $\pi_\theta(a_t \mid s_t)$ 由 LLM 权重 $\theta$ 参数化。

一个关键的设计原则是，环境边界画在模型的生成接口上。所有处理、变换或响应模型输出的组件，都被当作环境动力学的一部分：

  • 工具环境：外部工具执行（代码解释器、搜索引擎、API），响应工具调用行动并返回结构化的观察。
  • Agent harness：harness 层的控制流，管辖 agent 在两次 LLM 调用之间如何推进——包括上下文管理、分支逻辑、sub-agent 委派，以及与外部模块的交互。

6.1.3 训练目标

这种建模的一个关键后果是，$\pi_\theta$ 不需要显式地推理或控制环境和状态转移。训练把单个 $(s_t, a_t)$ 对当作原子单位来处理：每一对构成策略梯度的一个训练样本。这把策略与状态演化的机制解耦开来——模型不需要知道 $s_t$ 是来自一次简单的消息追加、一次激进的上下文截断，还是一次完整的历史重写。同时，credit assignment、优势估计和奖励传播仍然可以在完整轨迹 $\tau$ 上按 episode 级别来做，确保每个 $(s_t, a_t)$ 对的贡献都是在整体任务结果的语境下被评估的。

6.1.4 策略优化

CISPO。我们把 Clipped Importance Sampling Policy Optimization（CISPO）[MiniMax，2025]适配到 M2 系列的 RL 训练上。目标函数是：

$$ J_{\text{CISPO}}(\theta) = \mathbb{E}_{(q,a) \sim \mathcal{D},\, \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot \mid q)} \left[ \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \mathrm{sg}\!\left(\hat{r}_{i,t}(\theta)\right) \hat{A}_{i,t} \log \pi_\theta(o_{i,t} \mid q, o_{i,其中 $G$ 是每个 prompt 的 rollout 轨迹数，$|o_i|$ 是轨迹 $i$ 的 token 长度，$\mathrm{sg}(\cdot)$ 表示阻止梯度流经重要性权重的 stop-gradient 算子。

重要性采样比被非对称地 clip：

$$ \hat{r}_{i,t}(\theta) = \mathrm{clip}\!\left(\frac{\pi_\theta(o_{i,t} \mid q, o_{i,上界 $1 + \epsilon_{\text{high}}^{\text{IS}}$ 防止过大的策略更新，而零下界则允许对那些在当前策略下变得不太可能的行动做激进的降权。对 clip 后的比值施加 stop-gradient，确保重要性权重只调节梯度幅度、不引入二阶项，从而得到一条稳定的一阶更新规则。

优势估计用带轨迹级 baseline 的 reward-to-go 来算：

$$ \hat{A}_{i,t} = \sum_{p=t}^{T} r_p - B_i, \tag{4} $$

其中 $r_p$ 是第 $p$ 步的复合奖励（下面定义），$B_i$ 是在轨迹 $i$ 上算出来的、用于降方差的 baseline。

6.1.5 奖励设计

对于可能长达 192K token、带上千个中间行动的 agent 轨迹，标准的结果型奖励不足以做 credit assignment。我们设计了一套由三个部分构成的复合奖励框架。

过程奖励。我们在整条轨迹上分配密集的中间奖励，针对特定的行为模式，包括对语言混杂和工具调用格式错误的惩罚，以及对结构良好的中间推理步骤的奖励。这些过程奖励在每个 $(s_t, a_t)$ 对上提供细粒度的监督信号，相比只有稀疏结果反馈的做法大幅改善了 credit assignment 的粒度。

任务完成时间奖励。传统的 RL 目标只为正确性做优化，忽略了执行效率。对 agentic 任务，功能上等价的轨迹在墙钟延迟上可能差别巨大，原因在于串行还是并行执行工具，以及 sub-agent 的调用开销。我们把相对完成时间纳入成一项显式奖励：

$$ r^{\text{speed}}_t = h\!\left(\frac{T_{\text{completion}}}{T_{\text{baseline}}}\right), \tag{5} $$

其中 $h(\cdot)$ 是一个单调递减的 shaping 函数，$T_{\text{completion}}$ 是这次 rollout 花掉的墙钟时间，$T_{\text{baseline}}$ 是一个参考完成时间。这激励策略去发现并利用并行的机会，产出既正确又高效的解法。

带 baseline 的 reward-to-go。为降低长程任务里的梯度方差，我们采用 reward-to-go 的表述：

$$ G_t = \sum_{\tau=t}^{T} \gamma^{\tau-t} r_\tau. \tag{6} $$

与轨迹级 baseline 结合起来，这个表述把梯度信号集中到那些后果尚未被计入的行动上，改善 credit assignment 的精度、也让优化更稳。

每一步的复合奖励是：

$$ r_t = \alpha \cdot r_t^{\text{process}} + \beta \cdot r_t^{\text{speed}} + r_t^{\text{perf}}, \tag{7} $$

其中 $\alpha$ 和 $\beta$ 是系数，用来在密集的行为反馈、效率激励与主要的任务表现信号之间做平衡。

6.1.6 混合领域 RL 训练

训练通用 agent 的一个关键挑战，是避免在任务特定优化与广泛能力保持之间做取舍。单领域 RL 训练——只在 agentic 任务上微调——有让模型基础推理与通用知识能力灾难性遗忘的风险。反过来，跨领域的顺序多阶段训练会诱发负迁移，因为一个领域上的收益会侵蚀先前训练过的领域的表现。

我们采用一种混合领域的 RL 训练策略来同时解决这两个问题。训练经过多个阶段，而在每个阶段内部，训练数据同时从四个领域抽取：推理、代码、agent 和通用。这种联合优化确保策略梯度更新在每一个训练步上都由一个多样的任务分布来告知，防止优化器过拟合到任何单一领域的奖励地形上。

跨阶段地，我们系统性地调整三个轴：

  • 领域混合比例。各领域数据的相对比重逐阶段调整。早期阶段侧重基础能力（推理和通用领域）以巩固模型的基本胜任力，后期阶段则逐步增加 agent 和代码任务的比重，以磨锐任务特定的表现。
  • 上下文长度。我们跨阶段以 per-domain 的粒度扩展最大上下文长度。这种课程式的推进让模型先掌握短程决策，再扩展到复杂 agent 任务所特有的长上下文轨迹。
  • 难度分布。在每个领域内部，训练任务的难度分布逐步朝更难的实例移动。早期阶段包含一个宽的混合以建立稳固的基础，后期阶段则集中在那些能把策略边界往前推的挑战性场景上。

这套混合领域策略带来复合式的收益：它同时改善模型的基础推理能力、在所有目标领域上的任务特定质量，以及端到端的用户体验——因为实际部署的 agent 遇到的是横跨这全部四个领域的异构请求混合。

6.2 RL 基础设施

6.2.1 问题表述

大规模训练 RL agent 要求同时满足三个本质上相互张力的期望——那个「不可能三角」：

  • 系统吞吐：最大化单位时间处理的原始 token 数，受 rollout 延迟、训练迭代时间、数据处理开销和 I/O 带宽支配。
  • 训练稳定性：约束策略梯度更新的方差，以确保单调改善和收敛，即 $\mathbb{E}[\mathrm{Var}(\nabla_\theta J)] < \delta$。
  • Agent 灵活性：支持任意的 agent 架构 $\mathcal{A} \in \Omega_{\text{agent}}$——从简单的单轮 scaffold 到带动态上下文管理的复杂多 agent 系统——而不需要对训练框架做 agent 特定的改动。

我们把基础设施的优化目标表述为最大化 Effective Agent Training Yield：

$$ \begin{aligned} \max_\theta\ &J(\theta) = \mathrm{Throughput}(\mathcal{A}) \times \mathrm{SampleEfficiency}(\mathcal{A}), \\ \text{s.t.}\quad &\forall \mathcal{A} \in \Omega_{\text{agent}},\quad \mathbb{E}[\mathrm{Var}(\nabla_\theta J)] < \delta,\quad \mathbb{E}[\|J^{(T)} - J^*\|] < \epsilon. \end{aligned} \tag{8} $$

这三个目标里的每一对都造成一种特定的工程张力。在 agent rollout 时间异构（从几秒到几小时）的情况下最大化吞吐，与维持稳定训练所需的分布一致性相冲突。支持任意的 agent 架构，与高效数据处理所要求的 agent 状态和训练逻辑之间的紧耦合相冲突。在长程轨迹（最长 192K token）上做到稳定的 credit assignment，与偏向短的、简单任务的吞吐最优调度相冲突。Forge 基础设施通过下面描述的架构与算法设计来化解这些张力。

6.2.2 系统架构

Forge 系统组织成三个解耦的模块，由一个中间件抽象层连接起来（图 4）。这个架构直接把上一小节描述的 agent RL 建模落地：画在模型生成接口上的策略与环境边界，映射成了 Training/Inference 侧与 Agent 侧之间的边界。

Forge RL 系统总览。Agent 侧分 Black Box（经 API 调用的不透明 agent）和 White Box（Agent Loop 与 LLM Server、Env Server、Reward Server 交互）两种；中间件层是 Gateway Server 与 Data Pool（存 Completions 的 prompt_ids、response_ids，以及 Rewards 的 outcome、process）；引擎层是 Rollout Engine 与 Train Engine，后者向前者 sync weights。三个模块通过标准化接口通信，让 agent 和训练循环可以各自独立扩展
Forge RL 系统总览。Agent 侧分 Black Box（经 API 调用的不透明 agent）和 White Box（Agent Loop 与 LLM Server、Env Server、Reward Server 交互）两种；中间件层是 Gateway Server 与 Data Pool（存 Completions 的 prompt_ids、response_ids，以及 Rewards 的 outcome、process）；引擎层是 Rollout Engine 与 Train Engine，后者向前者 sync weights。三个模块通过标准化接口通信，让 agent 和训练循环可以各自独立扩展

Agent 侧。这个模块封装任意的 agent 实现，编排它们与外部环境的交互。作为一个纯粹的轨迹生产者，agent 侧对训练和推理的机制完全无感。它驱动 MDP 表述里定义的环境动力学——执行工具调用、管理上下文、访问记忆——并记录得到的 $(s_t, a_t, o_t)$ 三元组供下游训练消费。

中间件抽象层。两个组件桥接 agent 侧和训练侧。Gateway Server 提供一个标准化的通信接口，在 agent 和 LLM 引擎之间路由 completion 请求，把 agent scaffold 的异构性抽象掉。Data Pool 充当分布式的轨迹存储，异步收集 rollout 数据，把生成与训练两条流水完全解耦，使各自可以独立扩展。

训练与推理侧。Rollout Engine 负责高吞吐的 token 生成，充当响应 Gateway 请求的策略 $\pi_\theta$。Train Engine 从 Data Pool 消费处理好的轨迹序列，计算 CISPO 策略梯度，并把更新后的权重同步回 Rollout Engine。

6.2.3 White-Box 与 Black-Box Agent 支持

上一小节的 MDP 表述把上下文管理、工具执行和记忆访问定义为环境动力学。基础设施必须支持 agent 实现这些动力学的两种不同范式，两者的区别在于框架对 agent 内部状态的可见程度。

White-Box Agent 把它们的上下文管理逻辑暴露给训练框架。状态转移 $s_{t+1} = f_{\text{CM}}(\mathrm{concat}(s_t, a_t, o_t))$ 在框架内部实现，使训练流水能直接观察上下文变换操作、并反向传播穿过它们。这种紧密整合让框架能构造出忠实反映 CM 所诱导分布的训练序列，确保策略是在真正的推理时状态分布上被优化的。white-box 整合对那些有明确定义的 CM 策略的 agent（比如滑动窗口截断、周期性摘要）特别有效，此时框架可以精确重建训练状态。

Black-Box Agent 把 agent 当作一个不透明的轨迹生产者。agent 把 completion 请求路由到 RL 服务的 Gateway，不暴露其内部的上下文管理、记忆压缩或多 agent 协调逻辑。框架只采集外部可见的 $(s_t, a_t, o_t)$ 三元组——其中 $s_t$ 是每次 completion 请求时呈现给 LLM 的上下文——并从这些观察构造训练数据。这种非侵入式的范式支持任意的内部架构，包括深度思考循环、激进的上下文重写和层次化的多 agent 系统，在不需要任何 agent 侧改动的情况下持续带来改善。

基于 Gateway 的抽象统一了这两种范式：white-box agent 唯一的不同在于它们的 CM 操作向框架注册过、可以在训练时重建，而 black-box agent 则完全依赖观察到的请求流。这个设计已经在数百种不同的 agent scaffold 和数千种工具调用格式上得到验证。

6.2.4 Windowed FIFO 调度

agent rollout 的完成时间表现出极端的方差——简单的 API 调用只要几秒，复杂的推理链要几小时——这在吞吐与分布一致性之间造成了一种根本张力。严格的 FIFO 调度保住了数据分布，但会受到 straggler 引起的队头（head-of-line，HoL）阻塞之苦。完全贪心的调度（谁先完成就取谁）最大化吞吐，但造成严重的分布漂移：早期的训练 batch 被短的、简单的任务主导，而难任务聚集到后期的 batch 里，导致梯度震荡和优化不稳。

我们提出 Windowed FIFO（图 5），一种在这两个极端之间做插值的混合调度策略。给定一个生成队列 $Q = [T_0, T_1, \ldots, T_{N-1}]$ 和当前队头下标 $i$，训练调度器只能取滑动窗口 $[T_i, T_{i+W-1}]$ 之内已完成的轨迹，其中 $W$ 是窗口大小（比如 $W = 0.3N$）。窗口之内，调度器贪心运作——任何已完成的轨迹都可以立即被取走，缓解 HoL 阻塞。跨窗口边界，严格的顺序被强制执行：窗口之外的轨迹无论完成状态如何都被阻塞，窗口只随着窗口头部的任务被消费而前移。

这提供了一个由 $W$ 控制的可调权衡：更小的值趋向严格 FIFO（分布一致性最大），更大的值趋向贪心调度（吞吐最大）。实践中，$W = 0.3N$ 在维持接近 FIFO 的分布性质的同时，大幅减少了集群的空闲时间。

Windowed FIFO 调度。上半是初始状态：generation batch 为 8、window size 为 4，窗口锚定在最早的活跃数据条目上，所有数据生成都来自模型版本 0。下半展示窗口推进后的状态：剩余窗口容量为 1，队列里是 7、11、12、13，0～10 除了 7 之外都已完成训练，由此得出最大乱序容忍度 3 = (4-1)、最大 off-policy 滞后 10 = 8 + 3 - 1。窗口之内完成顺序自由（缓解队头阻塞），跨窗口边界强制严格 FIFO（保住分布一致性）
Windowed FIFO 调度。上半是初始状态：generation batch 为 8、window size 为 4，窗口锚定在最早的活跃数据条目上，所有数据生成都来自模型版本 0。下半展示窗口推进后的状态：剩余窗口容量为 1，队列里是 7、11、12、13，0～10 除了 7 之外都已完成训练，由此得出最大乱序容忍度 3 = (4-1)、最大 off-policy 滞后 10 = 8 + 3 - 1。窗口之内完成顺序自由（缓解队头阻塞），跨窗口边界强制严格 FIFO（保住分布一致性）

6.2.5 用 Prefix Tree Merging 加速训练

在多轮 agent 轨迹里，顺序的消息追加与上下文管理操作，会让同一个 rollout group 内部的训练样本之间产生大量共享前缀。传统训练把每个样本独立处理，冗余地重算公共前缀——这在长上下文的 agent 场景里是一处特别严重的浪费。

我们提出 prefix tree merging 前缀树合并（图 6），它把训练计算从线性的样本处理重构成树结构的计算。多条共享一个公共前缀的 completion 被合并成一棵前缀树：共享前缀在前向传播里只算一次，之后计算分叉到各自的回答段。前向之后，这棵树用存下来的元数据解构开，loss 按样本独立计算。

这种重构在数学上与独立样本训练等价——共享前缀上的因果 attention 计算，无论算一次还是算 $k$ 次都产生完全相同的激活值——保证了零近似误差。实践中，prefix tree merging 取得最高 40 倍的训练加速，并相应地降低显存消耗，从而在不损害任何训练保真度的前提下支持更长的序列和更大的 batch。

Prefix tree merging。上半是三条 completion，都以同一段 long common context 开头，之后分别接 seq 1、seq 2、以及 seq 2 加 seq 3。下半合并成单棵 completion tree：long common context 只保留一份，seq 1 与 seq 2 从它分叉，seq 3 再从 seq 2 分叉。共享前缀在前向里只算一次，loss 计算前树会被解构，因此与独立样本训练在数学上等价，同时消除了前缀的重复计算
Prefix tree merging。上半是三条 completion，都以同一段 long common context 开头，之后分别接 seq 1、seq 2、以及 seq 2 加 seq 3。下半合并成单棵 completion tree：long common context 只保留一份，seq 1 与 seq 2 从它分叉，seq 3 再从 seq 2 分叉。共享前缀在前向里只算一次，loss 计算前树会被解构，因此与独立样本训练在数学上等价，同时消除了前缀的重复计算

6.2.6 推理加速

我们用三项架构优化来最大化 agent RL rollout 的生成吞吐。

基于 MTP 的投机解码。Multi-Token Prediction（MTP）模块通过 top-$K$ KL 散度 loss 与 RL 策略持续协同训练。这种协同训练确保 draft 接受率在非平稳的 RL 优化过程中始终保持高位，避免了随着策略演进本会出现的、拖坏投机解码表现的分布漂移。

异构的 prefill-decode 分离。prefill 与 decode 操作被解耦成独立调度的实例，消除了 Mixture-of-Experts（MoE）架构里混合调度带来的相互干扰。每个阶段采用针对自身计算特征优化的并行策略，同时最大化全局吞吐、最小化尾延迟。

全局 L3 KV cache 池。一个分布式的、DFS 支撑的全局 KV cache，通过 group 级的 rollout 调度最大化前缀缓存命中率。一个成本感知的请求路由器在排队延迟与缓存迁移成本之间动态权衡，在不压垮单个实例的前提下最大化缓存局部性，避免了 agent RL 所特有的多轮交互之间的重复 prefill。

7 Agentic 机制

7.1 Interleaved Thinking

LLM agent 必须编排在自然语言推理与外部工具调用（代码执行、网页浏览、API 调用等）之间交替的多步工作流。一个关键的设计问题是，模型的链式思考（CoT）该如何与工具使用的轮次交互，以及先前的推理状态是否该跨交互轮次保留下来。在 MiniMax-M2 里，我们把 interleaved thinking 采纳为一条第一等的 agent 建模原则：模型在单条轨迹里交替进行显式的思虑和工具执行，并把完整的推理状态跨轮次带下去。

交错的链式思考。我们把 interleaved thinking 定义为这样一种生成协议：模型以交替的顺序产出推理 token $r_t$ 和行动 token $a_t$：

$$ \tau = (r_1, a_1, o_1, r_2, a_2, o_2, \ldots, r_T, a_T, o_T), \tag{9} $$

其中 $o_t$ 表示执行行动 $a_t$ 之后返回的观察（工具输出）。每个推理段 $r_t$ 都以完整历史 $(r_1, a_1, o_1, \ldots, r_{t-1}, a_{t-1}, o_{t-1})$ 为条件，让模型可以在选择下一个行动之前修正计划、更新假设、纳入新证据。这与两种常见的替代方案形成对照：（1）前置推理，所有推理 token 都在任何行动之前产出，无法对中间观察做适配；（2）无状态的逐轮推理，先前的推理 token $r_{

推理状态持久化。让 interleaved thinking 成为可能的关键架构决策是：第 $t$ 轮模型的完整输出——包括所有思考块——都被追加到消息历史里，作为第 $t+1$ 轮的上下文提供给模型。记 $\mathcal{H}_t$ 为第 $t$ 轮的对话历史。在推理状态持久化之下：

$$ \mathcal{H}_{t+1} = \mathcal{H}_t \oplus [\mathrm{assistant}(r_t, a_t)] \oplus [\mathrm{tool}(o_t)]. \tag{10} $$

当推理状态被丢弃时，历史退化成 $\mathcal{H}_{t+1}^{\text{(drop)}} = \mathcal{H}_t \oplus [\mathrm{assistant}(a_t)] \oplus [\mathrm{tool}(o_t)]$，迫使模型在每一轮重新推导上下文、约束和部分结论，导致状态累积漂移、自我纠错能力变差。

Plan-Act-Reflect 循环。interleaved thinking 在每一轮 $t$ 上落实了一个结构化的认知循环：（1）Plan——模型回顾从先前推理和观察累积下来的状态，然后制定或精修一个策略；（2）Act——模型选择并执行一次以该计划为依据的工具调用；（3）Reflect——模型对照预期评估观察结果、更新它的世界模型，并判定是要修正计划还是继续推进。这个循环带来三样东西：通过对意外观察的反思实现自我纠错；通过复用假设与中间结论而不是重新推导，提升样本效率；以及通过可解释的推理 trace 获得可调试性。图 7 展示了这个过程。

M2 里 interleaved thinking 的 Plan-Act-Reflect 循环，图中并列对比三种协议。左列 No Thinking：Tool Info、System Prompt、User Prompt 之后直接 Tool Calling 与 Tool Response 交替，只在末尾有 Final Thinking 与 Final Content。中列 Extended Thinking：开头有一段 Thinking，之后就只是工具调用与响应的交替。右列 Interleaved Thinking：Thinking 与 Content 在每次 Tool Calling 之前反复出现，推理贯穿整条轨迹
M2 里 interleaved thinking 的 Plan-Act-Reflect 循环，图中并列对比三种协议。左列 No Thinking：Tool Info、System Prompt、User Prompt 之后直接 Tool Calling 与 Tool Response 交替，只在末尾有 Final Thinking 与 Final Content。中列 Extended Thinking：开头有一段 Thinking，之后就只是工具调用与响应的交替。右列 Interleaved Thinking：Thinking 与 Content 在每次 Tool Calling 之前反复出现，推理贯穿整条轨迹

推理状态持久化的效果。我们通过在每次模型调用前剥掉先前轮次的思考块来消融推理状态持久化，结果显示保留推理状态在各个 agentic benchmark 上都带来一致的收益，在深度搜索、软件工程这类需要延长的多步推理的任务上改善尤其大，说明当任务要求跨很多步做持续规划与迭代精修时，interleaved thinking 的作用最大。

7.2 自演化

我们详述模型训练朝自演化的一次转向。这个转向并非突然的跃迁，而是 M2 系列 agentic 能力稳步增长的结果——从例行的 debug 与报告任务，一路进展到一条完整整合的流水，其中 M2.7 主动驱动它自己的迭代研发（图 8）。

为把这件事落地，我们开发了模型迭代系统（Model Iteration System，图 8A），它运作在「人来掌舵、模型来建造」这一原则之上。研究员配置目标、通过对话引导 agent、审阅输出以决定下一步。这个 agent 在一个「Agent Harness」里工作——那是一个完全由内部的 M2.7 模型生成、零人工手写代码的 workspace。这套 harness 给模型配备了用于行动串联的层次化 skill、持久记忆、安全护栏和评测基础设施。

实践中，我们的 RL 团队通过一套动态的双环工作流使用这个系统（图 8B）。在人主导的实验规划之后，M2.7 进入一个自主执行阶段，去 profile 正在跑的任务、读日志、诊断指标异常。通过自动 debug 代码和调整配置，模型直接介入它自己的训练循环，吸收了每日迭代工作量的 30% 到 50%。人的审阅触发主要的迭代决策，而 agent 可以在两次审阅之间自动继续做有界的分析。

最终，这个系统让递归式的 scaffold 升级成为可能。在被交派优化一个内部编程 scaffold 的任务后，M2.7 执行了一个完全自主的 100 轮迭代周期：分析失败、修改代码、评估改动。这轮探索引入了循环检测等机制，也发现了更好的参数组合，在内部评测上带来 30% 的表现提升，表明模型能够改进那个塑造它后续迭代的基础设施本身。

（A）用来驱动 M2.7 自主执行的模型迭代系统：人负责配置 harness、引导 agent、审阅并决策，agent 侧的 Agent Harness 由层次化 skill、持久记忆、护栏和评测基建四块构成，其中的 Agent（M2*）读文档与日志、学习规范、自审代码、串联 skill、生成报告、构建与更新记忆、以及 cowork，并向人报告或上报。（B）RL 团队的双环工作流：实验规划、实验开发与运行、分析与报告、审阅与讨论、实验迭代循环五步，其中分析环节可由 agent 自动继续，下一轮迭代由人触发
（A）用来驱动 M2.7 自主执行的模型迭代系统：人负责配置 harness、引导 agent、审阅并决策，agent 侧的 Agent Harness 由层次化 skill、持久记忆、护栏和评测基建四块构成，其中的 Agent（M2*）读文档与日志、学习规范、自审代码、串联 skill、生成报告、构建与更新记忆、以及 cowork，并向人报告或上报。（B）RL 团队的双环工作流：实验规划、实验开发与运行、分析与报告、审阅与讨论、实验迭代循环五步，其中分析环节可由 agent 自动继续，下一轮迭代由人触发

8 评测

我们把 MiniMax-M2.7 与当前最强的、已公开部署的闭源前沿推理模型——Claude Opus 4.6、Claude Sonnet 4.6[Anthropic，2025]、GPT 5.4[OpenAI，2025]和 Gemini 3.1 Pro[Google DeepMind，2025]——在三个能力域上做对比，这三个域对应 M2 系列的设计优先级：agentic coding、Agentic Cowork（搜索、多工具 agent 和 workspace 操作），以及推理与知识。为了让系列内的进展显式可见，我们还额外报告上一个公开发布版本 MiniMax-M2.5 的分数。全程我们刻意偏向那些考验长程、以环境为依据的行为的 benchmark，而不是闭合形式的问答，因为前者才是 M2 数据管线和 Forge RL 系统明确为之构建的场景。

8.1 评测设置

模型与推理模式。每个闭源基线都在它最强的推理配置下评测：Claude Opus 4.6 和 Claude Sonnet 4.6 开 extended thinking，GPT 5.4 用 high reasoning effort，Gemini 3.1 Pro 用 high reasoning effort。M2.7 和 M2.5 在开启 thinking、并采用 7.1 节所述 interleaved-thinking 轨迹协议的条件下评测。除特别说明外，生成用 temperature 1.0、top-p 0.95；在 agentic benchmark 上所有模型共享同一套 scaffold 和工具环境。

Benchmark。我们把报告的 benchmark 组织成五个板块：

  • 软件工程与编程 agent。SWE-bench Pro[2025]考察工业级的仓库修复；SWE-bench Multilingual[Rashid 等，2025]考察跨语言的仓库级编辑；Multi-SWE-bench[2025]考察跨多仓库的任务迁移；NL2Repo 是我们内部的自然语言到仓库的合成 benchmark；Terminal-Bench 2.0[Merrill 等，2026]考察终端与系统操作任务；MLE Bench Lite[Chan 等，2025]考察自主的机器学习工程，我们在 8.3 节把它作为自演化的案例研究再看一遍。
  • 应用开发。VIBE-Pro 是我们内部的端到端全栈应用开发 benchmark；HyperTask 是一个内部的长程「vibe coding」套件，每个任务约有 100 条功能级或步骤级的需求。
  • Cowork——搜索与深度研究。BrowseComp[Wei 等，2025]、Wide Search[Liu 等，2025]，以及我们内部的 RISE benchmark，后者考察在现实网页复杂度下的多步浏览。
  • Cowork——agent、办公与 workspace。GDPval-AA[Patwardhan 等，2025]，即 OpenAI GDPval 办公任务套件中由 Artificial Analysis 判分的子集；Toolathlon[Huang 等，2025]考察异构工具使用；MM Claw 是我们内部的多模态 office-claw benchmark；MEWC v2 是从 Microsoft Excel World Championship 题池里抽出的 100 道题构成的内部难题子集；Finance Modeling Pro 是一个内部的、以 Excel 为载体、由专家 rubric 打分的金融建模套件。
  • 推理与知识。AIME 2026 考察竞赛数学；GPQA-Diamond[Rein 等，2024]考察研究生水平的科学；SciCode[Tian 等，2024]考察科学代码生成；IFBench[Pyatkin 等，2025]考察指令跟随；AA-LCR（Artificial Analysis Long-Context Reasoning）考察在长输入上的检索与推理；HLE[Phan 等，2025]（Humanity’s Last Exam，不带工具的子集）考察前沿难度的开放知识；MMLU-Pro[Wang 等，2024]考察广泛知识。

评测配置。SWE-bench Pro、SWE-bench Multilingual、Multi-SWE-bench 和 NL2Repo 在内部基础设施上运行，所有模型统一用 Claude Code 作为 scaffold（默认 system prompt 被覆盖），只有 GPT 5.4 用它原生的 CodeX scaffold；结果是 4 次试验的平均。Terminal-Bench 2.0 用 8 vCPU / 16 GB 的沙箱、2 小时墙钟超时、Terminus-2 XML scaffold 和经过验证的 2.0 数据集（HuggingFace 上的 zai-org/terminal-bench-2-verified）；每个模型 4 次试验，未重新评测的基线分数引自官方报告。MLE Bench Lite 的 22 项竞赛各自在单张 A30 的沙箱里、在我们内部的自演化 scaffold（Bash + WebSearch）下跑 24 小时；逐任务打分取最好的验证 checkpoint、报告测试集上的奖牌率；最终数字是 3 次独立 24 小时试验的均值。VIBE-Pro 用 Claude Code 作为交互逻辑和视觉保真度两方面的 verifier，通过容器化部署端到端跑通，取 3 次试验的平均。HyperTask、MM Claw、MEWC v2 和 Finance Modeling Pro 用专家定义的 rubric，在 3 次试验上打分。BrowseComp、Wide Search 和 RISE 共用 WebExplorer[Liu 等，2025]agent 框架，只对 system prompt 和工具描述做了轻微改动；当 token 用量超过最大上下文的 30% 时，所有 assistant 回复和工具返回都会被丢掉，以保持搜索存活。RISE 另外启用了一个基于 Playwright 的浏览器工具。GDPval-AA 是 Artificial Analysis 在 OpenAI 公开的 GDPval 数据集上的重新评测。AIME 2026、GPQA-Diamond、SciCode、IFBench、AA-LCR、HLE 和 MMLU-Pro 在 Artificial Analysis Index v4.0 协议下评测，不带工具、单次采样（pass@1）。

8.2 主要结果

表 4 报告 M2.7 对四个闭源前沿基线（Claude Opus 4.6、Claude Sonnet 4.6、GPT 5.4、Gemini 3.1 Pro）的结果。上一个公开的 M2 发布版本（M2.5）作为系列内参考被纳入。每行最强的分数加粗；「–」表示该模型没有在我们的 scaffold 下报告过分数，或截稿时还没有发布那项 benchmark 的结果。

表 4：MiniMax-M2.7 与闭源前沿基线的表现对比。M2.7 与 M2.5 两列是我们自己的模型，M2.5 那列给出上一个公开发布版本以便做系列内比较；后四列是闭源前沿基线。

分组 Benchmark M2.7 M2.5 Opus 4.6 Sonnet 4.6 GPT 5.4 Gemini 3.1 Pro
Coding Agent SWE-bench Pro 56.2 55.4 57.3 57.2 57.7 54.2
Coding Agent SWE-bench Multilingual 76.5 74.1 77.8 75.9 70.5 –
Coding Agent Multi-SWE-bench 52.7 51.3 50.3 51.0 49.0 –
Coding Agent NL2Repo 39.8 26.6 43.7 43.3 46.8 35.9
Coding Agent Terminal-Bench 2.0 57.0 51.7 65.4 59.1 75.1 68.5
Coding Agent MLE Bench Lite 66.6 51.5 75.7 72.7 71.2 66.6
App Dev VIBE-Pro 55.6 54.2 55.6 56.1 – 41.0
App Dev HyperTask 67.6 59.4 75.7 74.1 – 50.9
Search BrowseComp 77.8 76.3 84.0 74.7 82.7 85.9
Search Wide Search 75.2 70.3 79.4 75.8 77.9 –
Search RISE 64.3 50.2 68.5 58.8 63.3 –
Office & Tools GDPval-AA 50.0 35.0 55.0 57.0 58.0 41.0
Office & Tools Toolathlon 46.3 38.3 47.2 44.8 54.6 48.8
Office & Tools MM Claw 62.7 57.6 75.4 64.2 73.6 61.8
Office & Tools MEWC v2 63.3 49.8 62.0 77.2 76.5 42.2
Office & Tools Finance Modeling Pro 57.0 33.8 69.0 66.2 75.3 35.6
Reasoning & Knowledge AIME 2026 94.2 87.2 92.5 92.7 97.0 88.7
Reasoning & Knowledge GPQA-Diamond 89.8 85.2 89.6 87.5 92.0 94.1
Reasoning & Knowledge SciCode 47.0 43.0 51.9 46.8 56.6 58.9
Reasoning & Knowledge IFBench 76.0 72.0 53.1 56.6 73.9 77.1
Reasoning & Knowledge AA-LCR 72.0 65.0 70.7 70.7 74.0 72.7
Reasoning & Knowledge HLE 28.0 19.0 36.7 30.0 41.6 44.7
Reasoning & Knowledge MMLU-Pro 81.8 85.2 89.1 87.3 87.5 91.2

软件工程与编程 agent。M2.7 在整个 agentic-coding 套件上都有广泛的竞争力。它在 SWE-bench Pro 上取得 56.2，SWE-bench Multilingual 76.5，在 Multi-SWE-bench 上以 52.7 拿到所比较模型中的最高分，Terminal-Bench 2.0 达到 57.0。在 NL2Repo 上 M2.7 达到 39.8，比 M2.5（26.6）跳了 13 分，这反映了 4.1 节引入的新全栈仓库数据。在 MLE Bench Lite 上 M2.7 达到 66.6% 的奖牌率，比 M2.5 绝对提升 15 分；这个案例我们在 8.3 节详细讨论。

应用开发。在 VIBE-Pro 上 M2.7 达到 55.6，与领先的闭源基线持平。在更难的长程 HyperTask 套件上，M2.7 达到 67.6，比 M2.5 提升 8 分。应用开发是 M2 设计论点最干净的领域之一：在只有约 10B 激活参数的情况下，针对 AppDev 的训练数据加上 Agent-as-a-Verifier 奖励（4.1 节），把与那些每 token 激活量高一个数量级的前沿模型之间的差距补掉了大部分。

Cowork——搜索与深度研究。在开放网络的「搜索并综合」三项上，M2.7 在 BrowseComp 上达到 77.8，Wide Search 75.2，我们内部的 RISE benchmark 64.3（RISE 被设计成需要非平凡的多步浏览和带 Playwright 浏览器工具的跨来源印证）。RISE 也是这个板块里系列内涨幅最大的一项，从 M2.5（50.2）爬升了 14 分。M2.7 在那些要求更长规划视野和更丰富网页交互的任务上最有竞争力，这与我们构造深度搜索训练语料所用的、以 verifier 为依据的数据管线（4.2 节），以及 interleaved thinking 跨很多轮持久保留推理状态（7.1 节）是一致的。

Cowork——agent、办公与 workspace。在异构工具使用的 benchmark 上，M2.7 在 GDPval-AA 上达到 50.0，Toolathlon 46.3。在以 Excel 为载体的操作上，M2.7 在 MEWC v2 上达到 63.3，Finance Modeling Pro 57.0；MM Claw 上 M2.7 达到 62.7。这个板块显示出 M2 系列所有能力域里最大的系列内提升空间，M2.5 到 M2.7 在以 Excel 为载体的 benchmark 上有大幅收益（MEWC v2 $+13.5$、Finance Modeling Pro $+23.2$），GDPval-AA 上 $+15.0$。

推理与知识。在那些评测归结为不带工具的单次采样的推理密集 benchmark 上，M2.7 有竞争力。M2.7 在 AIME 2026 上取得 94.2，GPQA-Diamond 89.8，IFBench 76.0，AA-LCR 72.0，每一项都落在前沿档位内。其中 IFBench 的结果尤其反映了 4.3 节和第 6 节所描述的多领域 RL 策略与 rubric 化的回答过滤。在更宽的知识类 benchmark 上，M2.7 在 MMLU-Pro 上达到 81.8，SciCode 47.0，HLE 28.0。

系列内进展。为补足表 4 的跨模型快照，图 9 追踪了 M2 系列自身从最初的 M2 发布经 M2.5 到当前 M2.7 的轨迹，限定在三个 checkpoint 都在我们 scaffold 下评测过的那十一项 benchmark 上。两个模式很突出。第一，这组里每一项 benchmark 在三个 checkpoint 上都在改善，绝对涨幅从 $+11$ 分（AA-LCR、GPQA-Diamond）到 $+33.8$ 分（BrowseComp）。第二，涨幅的大小跟第 4 节所述的数据管线投入相吻合：那些 M2.5 / M2.7 语料引入了新任务族的 benchmark——深度搜索（BrowseComp $+33.8$、Wide Search $+12.9$）、工具使用（Toolathlon $+27.5$、GDPval-AA $+16.0$）和自主 ML 工程（MLE Bench Lite $+26.6$）——涨得最陡，而最初的 M2 本来就强的那些 benchmark（SWE-bench Multilingual、Multi-SWE-bench）则推进得更为渐进。推理类 benchmark（AIME 2025 $+16.0$、GPQA-Diamond $+11.8$、AA-LCR $+11.0$）走的是一条更平稳的曲线，与推理数据管线的多轴 scaling 相一致。合起来看，这张图说明 M2 系列的三条贡献轴——agentic 数据、Forge RL 系统（第 6 节）和自演化（7.2 节）——每一条都转化成了每个发布版本上稳定的改善轨迹，而不是集中在某单个 checkpoint 上。

MiniMax-M2 系列在十一项 benchmark 上的能力进展。每一格按能力域给 benchmark 分组，每项 benchmark 内部的三根柱依次对应最初的 M2 发布、M2.5 和当前的 M2.7。本图中的 AIME 数字指 AIME 2025，那是三个 checkpoint 都报告过的唯一一版 AIME；M2 的 BrowseComp 数字取自 Hugging Face 官方分数。十一项 benchmark 在三个 checkpoint 上全部改善，最大的涨幅集中在 agentic 深度搜索、工具使用和自主 ML 工程这几个域，也正是 M2.5 / M2.7 数据管线添加了新任务族的地方
MiniMax-M2 系列在十一项 benchmark 上的能力进展。每一格按能力域给 benchmark 分组，每项 benchmark 内部的三根柱依次对应最初的 M2 发布、M2.5 和当前的 M2.7。本图中的 AIME 数字指 AIME 2025，那是三个 checkpoint 都报告过的唯一一版 AIME；M2 的 BrowseComp 数字取自 Hugging Face 官方分数。十一项 benchmark 在三个 checkpoint 上全部改善，最大的涨幅集中在 agentic 深度搜索、工具使用和自主 ML 工程这几个域，也正是 M2.5 / M2.7 数据管线添加了新任务族的地方

8.3 案例研究：MLE Bench Lite 上的自演化

表 4 里的 MLE Bench Lite 结果，是对 7.2 节所述系统设计所对应的自演化能力最直接的证据。底层的驱动因素是 M2.7 在机器学习工程（MLE）上的强度：在 OpenAI 的 MLE Bench Lite[Chan 等，2025]上，M2.7 与 Gemini 3.1 Pro 打平，展示出独立编排 ML 流水、并修改自己的训练 scaffold 所需要的前沿级能力。

为在受控设定下检验这个能力，我们把 M2.7 作为一名独立的 ML 工程师，在 MLE Bench Lite 的 22 项竞赛上做了评测。这些任务虽然计算量很轻，但覆盖了一套标准 ML 工作流的所有阶段。

为引导模型，我们实现了一个由短期记忆和自我反馈驱动的简单自主 harness，harness 本身没有任何人工手写的代码。完成一轮迭代之后，agent 会记录一份记忆文件、并做严格的自我批评。这种自我反思式的批评为后续的 run 建立起明确的优化方向，让模型能在一条累积起来的反馈链上继续构建。

我们执行了三次独立试验，每次允许 24 小时的迭代演化。如图 10 所示，M2.7 表现出清晰的累积改善，随时间稳步提高它的奖牌率。最好的一次 run 拿到 9 枚金牌、5 枚银牌和 1 枚铜牌。跨试验平均 66.6% 的奖牌率，M2.7 与 Gemini 3.1 Pro 打平，展示出它自主驾驭并优化复杂的端到端 ML 流水的能力。

我们强调这个案例，不只是为了这个数值结果，更是为了一个定性的观察：M2.7 愿意去 debug 它自己的训练 scaffold、修改配置文件、迭代上百轮——这些行为闭合了 M2 系列所围绕设计的那个小激活 → 最大现实智能的循环。

M2.7 在 MLE Bench Lite 上跨迭代试验的奖牌率，横轴是最大累积有效运行时长（小时）。五条曲线都随时间阶梯式上升后走平：蓝色的 Any Medal Rate 在约 18 小时后稳定在 69.5% 附近，红色虚线的 Any Medal Rate（Real / CV-selected）稳定在 52% 附近、末端回落到 48%，金牌率停在 39%，银牌率 21.5%，铜牌率 8.7%
M2.7 在 MLE Bench Lite 上跨迭代试验的奖牌率，横轴是最大累积有效运行时长（小时）。五条曲线都随时间阶梯式上升后走平：蓝色的 Any Medal Rate 在约 18 小时后稳定在 69.5% 附近，红色虚线的 Any Medal Rate（Real / CV-selected）稳定在 52% 附近、末端回落到 48%，金牌率停在 39%，银牌率 21.5%，铜牌率 8.7%

9 结论

我们提出了 MiniMax-M2 系列，一族围绕「小激活可以释放最大现实智能」这一论点构建的 Mixture-of-Experts 语言模型。旗舰 M2 把一个 9.8B 激活 / 229.9B 总参的骨干，与三个从 M2 经 M2.5 协同演进到当前 M2.7 checkpoint 的组件配在一起：agent 驱动的数据管线，把每条训练轨迹都锚定在一个可执行的 workspace 和一份与产物形态对齐的奖励上；Forge，一个把长程训练同时扩展到 white-box 和 black-box agent 循环上的 agent-native RL 系统；以及自演化的一种早期可运行形态，其中 M2.7 自主 debug 它自己的训练任务、修改它的 agent scaffold。合起来，这些组件把约 10B 激活参数的开销，转化成了在 agentic coding、Agentic Cowork 以及推理与知识 benchmark 上、与单步算力高一个数量级的前沿系统持平的表现。我们把这些结果看作一条更长轨迹上的一步：数据、RL 系统和自演化这三条轴，每一条都远未饱和，后续的 M2.x checkpoint 会继续三者并进地 scaling。

附录 A 贡献者

原文附录 A 按字母序列出了这份报告的 205 位贡献者，此处不再转录；通讯邮箱是 model@minimax.io。

  1. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence, https://arxiv.org/abs/2605.26494 ↩︎