当预训练、SFT 与 RL 共用一个似然目标：配方工程正在变成数据配比问题

引言

基础模型的训练叙事，过去十年几乎被「阶段」支配：先在海量文本上做最大似然预训练⁠^1–3，再在更高质量或更贴近下游分布的语料上做中训练（midtraining）⁠^4,5，然后用人类演示做监督微调，最后用人类偏好或可验证奖励做强化学习对齐⁠^6–8。缩放律告诉我们算力、数据与参数如何互换⁠^9,10；Transformer 与后续开源底座与闭源报告把预训练本身标准化⁠^11–15；InstructGPT、偏好建模与近端策略优化把后训练写成另一条流水线⁠^6,16–18；直接偏好优化又把偏好学习收成分类损失⁠¹⁹。阶段标签方便分工与审计，也固化了「换阶段就要换算法、换训练器、换团队」的工程习惯。

两条几乎同时出现的线索，正在动摇这一习惯。其一，Song 等人把合适的强化学习目标推导为对模型自生成目标分布的最大似然拟合，从而把预训练、中训练、监督微调与强化学习置于同一似然算法之下；训练生命周期随之变成「训练哪些数据、比例多少、何时训练」，分阶段只是配比轨迹的一种特例（据论文）⁠^20,21。其理论基础来自 Maximum Likelihood Reinforcement Learning（MaxRL）：在终局二值反馈下，标准期望奖励强化学习只是似然目标的一阶近似，MaxRL 用采样算力在期望奖励与最大似然之间插值（据论文）⁠²²。其二，Yu 等人表明，权重归一化相对权重衰减的预训练收益，主要由诱导的有效学习率（ELR）轨迹驱动；对齐 ELR 后两者损失动力学基本重合，调度对象应从名义学习率转向 ELR，并据此提出 AIR 调度（据论文）⁠²³。另一项独立工作同样报告「ELR 塌缩」：匹配 ELR 后，不同学习率与参数范数下的损失轨迹在多种优化器与规模上近似重合（据论文）⁠²⁴。

现有讨论有三个缺口。第一，业界仍把「上 RL」「做 SFT」当作算法换代，缺少把静态语料与模型生成数据放进同一损失的共同语言。第二，数据混合与学习率调度常被分开调参，尽管已有工作指出两者应联合设计⁠^25,26。第三，反方证据引用不足：可验证奖励强化学习未必引出基础模型之外的新推理模式⁠²⁷；后训练存在「锐化税」⁠²⁸；范数控制也并非免费午餐⁠^29,30；统一并不自动取消安全门禁与阶段审计的需求。

我们不认为统一视角会在一夜之间取代所有分阶段流程；更可能的路径是：先在可验证奖励的领域模型上试点同 trainer 混合，再把 ELR 日志变成预训练报告的标配，最后才在组织层面把阶段 KPI 改成配方 KPI。这一顺序也体现在表 5 的时间尺度里。

本文的中心论点是：分阶段训练流水线正在被「单一似然目标 + 数据配比／有效学习率轨迹」重写；企业真正该管的是数据配比、有效学习率与可复现配方，而不是名义上的阶段标签。下文贡献有三点：

1. 给出统一似然训练与有效学习率的联合形式化（式 (1)–(6)）与记号表，把分阶段训练写成配比轨迹的特例，把名义学习率写成 ELR 的可见投影。
2. 提出「数据源—混合权重—有效学习率」三层调度框架，并做机制分析与路线对比，正反证据并列。
3. 给出配方诊断与干预排序算法（算法 1）、可复算示意计算，以及五条带时间尺度、证据、证伪条件与企业含义的前瞻判断。

全文结构如下。第 2 节给出统一似然、混合分布、有效学习率、AIR 形调度、配方状态与 pass@k 的形式化；第 3 节把设计空间收成数据源、混合权重、有效学习率三层；第 4 节按层做机制分析与路线对比，并讨论后训练目标与工程制品化；第 5 节给出配方诊断算法；第 6 节给出可复算示意；第 7–10 节依次为前瞻判断、常见误区、局限与结论。阅读时若时间有限，可先读表 2、表 3、算法 1 与表 5，再回到公式与反方证据。

问题形式化与记号

共用似然目标

记策略（自回归语言模型）为 π_θ。预训练、中训练与监督微调已经共用最大似然（交叉熵）形式，差别主要在数据：预训练与中训练拟合语料分布（提示为空），监督微调拟合「指令—演示」对⁠^6,31,32。对二值终局奖励，令成功概率 p_θ(x) = E_{y∼πθ(·|x)}[r(x,y)]，成功条件分布为 π_θ⁺(y|x) = π_θ(y|x, r=1)。MaxRL 表明，其更新可写成对当前策略成功条件分布的最大似然拟合（据论文）⁠^20,22：

式 (1) 把强化学习放回与预训练相同的似然拟合形式。生成策略不必等于正在优化的模型：对任意固定生成器 ν，只要取其成功条件分布 ν⁺，仍可用同一似然损失拟合（据论文）⁠²⁰。

数据源混合与分阶段特例

每个数据源 s 在迭代 t 由提示分布 ρ_s,t 与目标分布 μ_s,t 刻画。设混合权重 λ_s,t ≥ 0 且 ∑_s λ_s,t = 1，则联合训练分布为

式 (2) 即统一训练的核心：学习规则固定，变化的是数据分布。常规分阶段训练是「每一时刻只把权重放在一个源上」的特例；统一训练允许源重叠、权重平滑演化（据论文）⁠²⁰。实现上，各源可共享同一加权 token 交叉熵：预训练／中训练对语料 token 赋权 1，监督微调对提示赋权 0、对演示赋权 1，强化学习对成功回复赋与通过率相关的权重 A（据论文）⁠^20,33。

有效学习率

设某参数块范数为 r，名义学习率为 η，定义有效学习率

在权重归一化下 r 被固定，η_eff 与 η 成正比；在权重衰减下 r 随训练演化，同一名义调度对应不同的 ELR 轨迹。匹配 ELR 后，权重归一化与权重衰减的损失动力学基本重合（据论文）⁠^23,24。因此，真正应调度的对象是 η_eff(t)，而不是配置文件里的 η(t)。

AIR 型衰减与后期主导

在有限步数 K、给定峰值与终值学习率的约束下，可将理论动机的 1/√t 衰减做仿射变换，得到 AIR（Affine Inverse-square-Root）调度。据论文，在 128B token 的 MoE 预训练、累计学习率匹配时，AIR 相对余弦的终值训练损失约低 0.01；阶段对换实验表明，后期 ELR 调度解释了大部分收益（据论文）⁠²³。示意上可写

式 (4) 强调：形状参数与峰值／终值／累计学习率预算共同决定轨迹；只比较「余弦还是线性」而不固定累计学习率，结论不可比。

配比轨迹的可识别目标

对企业配方管理，需要一个可报告的状态。定义时刻 t 的配方状态为

其中 G_t 表示生成器配置（是否同策略、采样数、奖励定义）。两个名义「阶段名」相同但 R_t 不同的运行，不可比；两个阶段名不同但 R_t 路径相近的运行，应预期相近的损失动力学——这正是 ELR 塌缩与统一似然观点的可操作推论。

能力保持与锐化

后训练常提高 pass@1，却可能降低多样性或大 k 覆盖。设任务上单次成功率为 p，则

若训练主要抬高已可达任务的 p（锐化）而不扩大 {p>0} 的覆盖，则小 k 收益大、大 k 收益有限；这与「RL 未必扩展基础模型推理模式」及「锐化税」的报告一致（据论文）⁠^22,27,28。表 1 汇总记号。

分析框架：三层调度

我们把统一视角下的训练设计拆成三层，每一层作用在式 (1)–(6) 的不同变量上。

三层耦合：提高强化学习源的权重而不调整 ELR，可能表现为「RL 不稳定」；对齐 ELR 却使用与预训练冲突的数据源，则表现为能力遗忘。下一节按层展开机制与路线对比。

回看缩放律与计算最优文献，它们回答的是「在单一似然预训练目标下，参数与 token 如何互换」；本文回答的是「当目标仍是似然、但数据源与有效步长随时间变化时，企业应把哪些量当成一等公民」。两者兼容：Chinchilla 型会计仍可用于静态源，但必须把生成 token 与奖励评估算进预算，并把 η_eff 轨迹当作与 token 数并列的条件变量⁠^9,10,23。忽略后者，会出现「同样 token、同样名义 LR、不同范数控制，结果不可比」的假争议。

BERT 与 T5 的时代已经证明，预训练目标的形式（掩码、跨度破坏、文本到文本）会塑造迁移行为⁠^31,32；今日的统一训练则证明，后训练目标也可以回到同一似然家族。历史并不是简单循环，而是把「目标形式」与「数据日程」重新解耦：目标可以统一，日程必须显式。解耦之后，组织才能分别迭代数据质量与优化动力学，而不是每次都打包成一次不可解释的「换代训练」。

机制分析与路线对比

数据源层：静态语料、演示与可验证生成

数据源层决定「模型在拟合什么」。预训练语料提供宽覆盖的语言与世界知识⁠^1,3,14；中训练把分布从通用网页文本桥接到代码、数学或领域文本，据论文，对距离通用预训练较远的领域收益最大，且相对「只在专业数据上继续预训练」更能缓解遗忘⁠⁴。中训练综述把这一阶段系统化为连接预训练与后训练分布的实践⁠⁵；面向智能体的中训练配方则试图在后训练前注入可行动的先验⁠³⁴。监督微调提供指令—演示对；强化学习源则提供带奖励的模型生成，在可验证任务上可与 DeepSeek-R1 一类纯 RL 激励推理的路线衔接⁠^8,35,36。

统一训练的关键机制，是让这些源在同一加权似然损失下共存：生成器异步写入缓冲区，训练器按目标 token 比例采样静态数据与 RL 生成（据论文）⁠^20,33。MaxRL 进一步说明，为何「把 RL 写成似然」不只是记号游戏：标准 RL 优化 pass@1 的一阶项，而最大似然对应 pass@k 的调和组合；增加采样数在 MaxRL 中改善目标本身，而在 REINFORCE 中主要降低方差（据论文）⁠²²。DeepSeekMath 的 GRPO 等组相对方法仍是重要工程基线，但目标函数选择会改变 pass@1 与 pass@k 的权衡⁠^22,36。

反方与边界。第一，并非所有反馈都是二值可验证的：开放对话仍依赖偏好模型或 AI 反馈⁠^7,16，似然化需要额外构造。第二，自我生成中训练数据可改善后续 RL，但质量与多样性受生成器上限约束⁠³⁷。第三，跨行为策略优化等工作显示，离线演示与 on/off-policy 滚动也可共用回归目标，说明「统一」有多条数学路径，不唯 MaxRL 一种⁠³⁸。

混合权重层：比例与时机代替阶段门

混合权重层决定「什么时候学多少」。DoReMi 用小代理模型的分布鲁棒优化估计域权重，再放大到大模型，据论文在 The Pile 上相对默认域权重提升少样本平均准确率约 6.5 个百分点，并以约 2.6× 更少步数达到基线准确率⁠³⁹。双变量混合律、混合数据综述与损失重加权工作，把「配比」从启发式提升为可优化对象⁠^26,40,41。中训练研究还发现引入时机与混合权重强交互：早期引入可承受较高专业数据权重，过晚引入则难以靠加大权重补偿（据论文）⁠⁴。统一训练在受控设定中把推理语料混入预训练末段并在 RL 阶段继续使用，据论文改善了同算力下的精度—覆盖权衡，并为持续学习提供更好起点⁠²⁰。

这也解释了为何「SFT 后再 RL」的阶跃配方会显得脆弱：它对应 λ 的突变。持续预训练与对齐后继续训练的遗忘文献警告，分布切换过猛会损害已有能力⁠^42,43；保留研究则强调 on-policy 数据在缓解遗忘中的作用⁠⁴⁴。Off-policy 合并在持续学习上可优于 on-policy 自蒸馏的报告，提示混合层还有很大设计空间（据论文）⁠⁴⁵。Nemotron 与 AceReason 等开放配方继续展示 SFT 与 RL 协同的工程路径，但在统一视角下它们是特定 λ 轨迹，而非算法物种差异⁠^46,47。

反方证据：阶段门禁仍有非优化理由——安全评审、数据授权、算力采购与责任划分往往要求可命名的阶段。统一训练把阶段降格为配比特例，并不自动取消合规上的阶段报告；它要求报告 R_t，而不是只报告「我们在 SFT」。

有效学习率层：调度对象从名义 LR 转向 ELR

有效学习率层决定「更新有多猛」。权重衰减下范数增长，会使同一余弦调度的 ELR 逐渐变小；权重归一化固定范数，ELR 跟随名义 LR。Yu 等人用匹配干预显示，重放范数或重标定学习率后，WN 与 WD 的损失差距可塌到很小；AIR 在匹配累计学习率的控制实验中优于余弦及其他候选形状，且后期调度解释约九成与对照形状的差距（据论文）⁠²³。Liu 等人的 ELR 塌缩在多种优化器、结构与规模上复现了「比值支配损失动力学」的现象，并把权重衰减与 Hyperball 等范数控制的效应主要归因于其诱导的 ELR 时间表（据论文）⁠²⁴。

WSD（Warmup-Stable-Decay）从另一角度说明调度的阶段性功能：稳定阶段高学习率沿「河谷」快速推进，衰减阶段降低震荡、显现优化进度（据论文）⁠^48,49。但若只盯名义 LR，在 WN／WD 之间切换时会误判「归一化本身」的好坏——AIR 文中的开场悖论正是：同一名义调度下，WN 在余弦上最终领先、在 WSD 上全程落后（据论文）⁠²³。近期 SOLAR、衰减无关的 checkpoint 合并、学习率无关优化等，都在扩大调度设计空间⁠^50–52；终端收缩平均与预热时长缩放则提醒，调度与估计器、早期牺牲与长期收益之间存在交互⁠^53,54。数据日程与学习率日程应联合设计的结论，把混合层与 ELR 层显式绑在一起⁠²⁵。

反方与边界。Hyperball「并非免费午餐」与 MuonGS 对范数约束的放松表明，范数控制的收益依赖实现细节，不能简化成「一律 WN + AIR」⁠^29,30。AIR 的对齐理论建立在理想化假设上，与语言模型损失的定量联系仍是开放问题（据论文）⁠²³。把同一 ELR 轨迹用于持续训练、SFT 与 RL，尚待系统验证。

后训练目标：似然化、偏好与锐化税

在后训练内部，目标选择同样应放进统一语言。DPO 把 RLHF 收成分类损失，揭示「语言模型暗含奖励模型」⁠¹⁹；PPO 系 RLHF 仍是生产中的重要基线⁠^6,17。机制解释工作追问 RL 究竟改变了表征的什么⁠⁵⁵；Yue 等人发现，可验证奖励 RL 的优势在大 k 下可能被基础模型反超，暗示许多增益是激发而非扩展（据论文）⁠²⁷。Sharpening Tax 则直接命名后训练的锐化代价⁠²⁸。MaxRL 以 pass@k 视角提供了一条减轻多样性坍缩的似然路径（据论文）⁠²²。对无法验证的任务，原生推理模型等路线仍在探索如何在非验证数据上训练⁠⁵⁶。

低秩与量化适配（LoRA、QLoRA）改变的是可训练子空间，不改变「配方状态应被记录」的要求⁠^57,58。优化器从 Adam／AdamW 到后续预条件方法，改变的是更新几何，最终仍应映射到可报告的 ELR 或等价坐标⁠^59–63。

从「阶段叙事」到「配方制品」的工程含义

把式 (2) 与式 (5) 落到工程，会改变三份清单。第一份是数据清单：不再按「预训练桶／SFT 桶／RL 桶」永久隔离，而按可混合源登记，并记录授权范围、去污与可训练标记——这与数据 commons 收紧的大环境一致，也与企业内政策语料、法规语料必须可追溯的要求一致。第二份是训练器清单：生成与优化异步、共享缓冲与加权损失，成为统一训练系统的最小组件集⁠³³；这并不禁止在审计上导出「阶段视图」，但阶段视图应由 λ 轨迹渲染，而不是反向决定损失。第三份是优化器清单：AdamW、范数控制与 Muon 类预条件方法都可以用，但实验报告需给出 ELR 或范数轨迹，否则跨方法结论不可迁移⁠^23,30,60。

对领域大模型项目，中训练层往往是最高杠杆却最少被版本化的一段。据论文，中训练的收益随目标域与通用预训练的分布距离增大而增大，且引入过晚无法靠单纯加大权重弥补⁠⁴。这意味着「等预训练全部结束再灌领域数据」的习惯，可能系统性地丢掉可塑性窗口。智能体场景的中训练配方试图在后训练前注入工具使用与多步结构先验⁠³⁴，与「推训一体」平台上在线回流样本、离线再训练的闭环是同一类问题：样本何时进入 q_t，比它贴着哪个阶段标签更重要。

算力会计也会变。Chinchilla 以降的计算最优讨论，默认在单一预训练目标下权衡 token 与参数⁠^9,10；一旦 RL 生成占用训练 token 预算，有效算力应计入「静态 token + 生成 token + 奖励评估」。统一训练的受控实验正是在固定总预算下比较精度与覆盖（据论文）⁠²⁰。企业若仍用「SFT 人天＋RL 人天」做预算，而不是用 R_t 路径下的 token 会计，就会高估换框架的收益、低估换配比的收益。

开放权重生态提供了额外对照。DeepSeek-V3、Qwen3、Nemotron 3 等技术报告都描述了多阶段或级联式后训练，但公开文本很少给出可复现的 λ 时间序列与 ELR 轨迹⁠^14,15,46。AceReason 等强调 SFT 与 RL 协同⁠⁴⁷，在统一视角下应读作特定配比日程。复制研究综述则显示，推理模型的复现高度依赖数据与奖励细节⁠³⁵——这再次把「配方制品」推到能力声明之前。

需要强调的是，统一似然训练对基础设施的要求，集中在「缓冲、加权、异步」三点，而不是要求放弃所有现有阶段脚本。团队可以继续用阶段名做里程碑，只要里程碑绑定的是 R_t 快照。反之，若里程碑只绑定「SFT 完成」而无法导出当时的 λ 与 η_eff，则换人、换集群、换框架后几乎必然无法复现。开放研究中复现 DeepSeek-R1 类系统的经验，已经反复指向数据与奖励细节，而不是指向某个神秘的算法名字⁠^8,35。

反方综合：何时不应强行统一

强行统一有三类失败模式。第一类是奖励不可验证且标注噪声高：此时把偏好数据硬塞进同一似然缓冲，可能放大标注偏差；DPO／RLHF 流水线仍可能更合适，尽管它们也可以被改写为某种似然或分类目标⁠^7,19。第二类是数据授权按阶段切割：合同规定「仅可微调、不可预训练」时，法律边界优先于优化边界，混合权重必须在授权集合内为 0。第三类是组织能力不足：没有范数日志、没有奖励版本、没有保持集，统一只会制造「一个更大的黑箱」。

因此，本文主张的不是取消阶段，而是把阶段降级为「配比预设 + 门禁标签」。预设方便沟通；门禁满足合规；真正进入优化器的，应是式 (2) 的 q_t 与式 (3) 的 η_eff。若一家企业只能保留三者之一，优先保留可审计的门禁与数据授权；若能保留两者，加上 λ 与 ELR 日志；三者齐全，才谈得上「统一科学」意义上的配方迭代。

与智能体执行层的类比有助于理解边界：执行层决定可靠性与单位成本，并不抬高模型能力上限；统一似然决定训练规则与数据日程的表达，并不自动抬高数据质量上限。脏数据乘上优雅目标，仍是脏数据。DoReMi 一类方法优化的是域权重，前提是域内数据本身可训练⁠³⁹；中训练桥梁前提是专业语料与通用语料的相对位置可测⁠⁴。配方工程不能代替数据工程。

方法：配方诊断与干预排序

把上述分析收成可执行流程。算法 1 的目标是：在固定底座与评测集上，判断一项干预主要改变了数据配比、ELR 还是生成器配置，估计其对损失、pass@1、pass@k 与遗忘指标的影响，并给出可复现的配方版本号。

算法 1 有三处设计意图。第一，步骤 1 强制记录 R_t，直接对应式 (5)，避免「都叫 SFT」却不可比。第二，步骤 3 把混杂标出来：工业界大量「换了 RL 框架」的 A/B 其实同时改了数据、学习率与采样数。第三，步骤 6 把配方当成制品管理，这与模型权重、提示词版本并列，是企业可落地的最小闭环。OpenAI Gym 以来的强化学习实验规范强调环境与奖励定义必须可复现⁠⁶⁴；基础模型时代同样需要把数据源与 ELR 纳入该规范。

示意计算

下列数字除特别注明外均为示意，用于说明式 (1)–(6) 如何联动；脚本与随机种子见 src/figs.py。

混合权重。设三源：预训练 P、中训练 M、RL 生成 R。分阶段配方在 0–0.7 预算只用 P，0.7–0.85 只用 M，0.85–1.0 只用 R。统一配方在 0.5–1.0 预算使用 λ = (0.55, 0.25, 0.20)，并使三段的「有效 token 暴露」与分阶段相同。图 1 展示两条 λ 轨迹：阶跃对应分阶段，平滑对应统一混合。

有效学习率。设某参数块在权重衰减下范数从 1.0 线性增至 1.8，名义学习率为余弦：η(t) = η_term + ½(η_peak−η_term)(1+cos(πt))。则 η_eff(t) = η(t)/r(t) 比名义余弦更快下降。权重归一化固定 r=1.0 时，η_eff=η。图 2 给出三条曲线：名义余弦、WD 下的 ELR、WN 下的 ELR（等于名义）。

锐化与覆盖。模拟 1,000 个任务：70% 可达，p∼Beta(2,3)；30% 不可达。「锐化型后训练」把可达任务的 p 提高 50%（上限 1），覆盖不变；「扩展型」把可达 p 提高 10%，并把 12% 不可达任务变为 p=0.2。结果如图 3：锐化型 pass@1 约 0.421，高于扩展型约 0.342；到 k=32 时扩展型约 0.821，明显高于锐化型约 0.703（示意数据）。这与 MaxRL／RLVR 边界文献的定性图景一致⁠^22,27。

表 4 是示意排序，不是对任何真实系统的声称。它要传达的机制是：混合层与 ELR 层的改进可以叠加；只报 pass@1 会高估锐化、低估扩展。

示意：累计学习率匹配下的 ELR 差距

为说明「只比名义曲线」的危险，设峰值学习率 3×10⁻⁴、终值 3×10⁻⁵、总步数 10⁴，余弦名义调度。权重衰减下范数 r(t)=1+0.8t/T。对名义学习率求和得到累计学习率 Ση；对 ELR 求和得到 Ση_eff。在该示意参数下，Ση_eff/Ση ≈ 0.72，即有效更新量比名义会计少约 28%。若另一方法用权重归一化并声称「相同余弦」，其 Ση_eff 等于 Ση，比较从一开始就不等价。AIR 论文强调匹配累计学习率再比形状，正是为了堵住这类漏洞（据论文）⁠²³。

示意：混合层对遗忘的缓冲

设保持集损失上升量近似与「目标域 KL 突变量」成正比。阶跃配方在进入 RL 段时 λ_R 从 0 跳到 1，突变最大；统一配方 λ_R=0.2 且保留 λ_P=0.55，突变较小。表 4 中保持集相对下降 0.06 对 0.03 的示意，对应这一缓冲直觉，并不代替真实测量。持续预训练文献与对齐后遗忘测量，为「平滑配比」提供了独立动机⁠^42,43。

前瞻判断与研究议程

以下为弘犀智能研究团队的观点，不是事实陈述。

研究议程：（1）把 AIR／ELR 理论从预训练延伸到 SFT／RL 混合段；（2）在不可验证任务上构造可估计的似然代理目标；（3）建立跨实验室的配方交换格式（λ 序列、ELR 序列、奖励规范）；（4）量化统一混合对安全门禁与数据授权审计的影响，避免「算法统一」变成「治理空白」。

业界常见看法中可能错误的地方

第一，「上了 RL 就换了一种算法」。在 MaxRL／统一训练视角下，合适的 RL 更新是似然拟合；换的是数据源与权重，不一定是学习规则⁠^20,22。

第二，「权重归一化一定强于权重衰减」。未对齐 ELR 时的比较往往把调度差异算到归一化头上⁠^23,24。

第三，「数据混合与学习率可以分开调到最优再拼接」。两者应联合设计的证据在增多⁠^25,26。

第四，「pass@1 涨了就是能力扩展」。可能只是锐化；需看大 k 与保持集⁠^27,28。

第五，「统一训练等于取消阶段」。统一把阶段变成配比特例，合规与安全仍可能需要阶段化门禁与审计叙事。

第六，「有了 LoRA／QLoRA 就不需要管配方」。适配器只缩小更新子空间，λ 与 ELR 依然决定学到什么⁠^57,58。

实践上，一条可执行的最小配方单可以只有五行：数据源与授权哈希；λ(t) 的分段表；η_eff(t) 或范数日志指针；奖励与生成器配置；评测协议（含 pass@1、pass@K、保持集）。五行齐备，才能回答「这次涨点来自哪里」。缺任一行，组织就只能退回阶段标签叙事，重新落入本文批评的惯性。

对多租户或多行业模型，配方单还应标注「不可混入」的源：例如仅授权用于评测的语料、含个人敏感信息的回流日志、以及法规禁止用于训练的抓取文本。统一似然并不意味着任意数据都可进入同一损失；它只意味着：一旦获准进入，就用同一学习规则与显式权重对待。治理层仍决定准入——这与智能体平台把「模型只提议、系统做决定」分开，是同构的控制思想⁠⁶⁵。

附录式讨论：为何「配方」比「阶段」更可迁移

跨模型代际时，阶段名称的语义会漂移：昨天的「中训练」可能是今天的「退火预训练」，昨天的「RLHF」可能是今天的「可验证 RL + 少量偏好」。配比与 ELR 轨迹的语义更稳定：它们直接对应式 (2) 与式 (3) 中的变量。因此，知识沉淀应优先写成「在何种 λ 与 η_eff 路径下，何类数据源带来了可复现的 Δ」。提示词模板与框架品牌则更易过时。

对评测治理，建议至少固定四条曲线：训练损失、保持集、目标集 pass@1、目标集 pass@K。只有四条同时动，才允许宣称「能力扩展」；若仅 pass@1 升、pass@K 与保持集不动或下降，应默认记为锐化。这一规则不依赖是否采用统一 trainer，却与统一视角高度兼容⁠^22,27,28。

对供应商管理，询价清单可增加三项：是否支持静态与生成数据同损失混合；是否导出范数／ELR 日志；是否提供配方版本与数据哈希。缺项并不等于不能采购，但应反映在风险评级与复现成本中。Deep Hope S1 所强调的推训一体，若落到可检查条款，正是这些接口，而不是营销语句⁠⁶⁶。

局限性

其一，统一训练与 AIR 等关键证据多为近月预印本或初刊结果，数字为作者自报，本文未独立复现。其二，式 (1) 侧重二值可验证奖励；连续奖励与偏好场景需额外构造（如 TailRL 等扩展，见统一训练论文讨论）⁠²⁰。其三，示意计算中的混合权重、范数路径与 pass 分布是假设，只用于机制说明。其四，开源与工业配方（DeepSeek、Qwen、Nemotron 等）公开程度不一，本文对其的引用限于技术报告已写明的训练叙事，不推断未公开的配比数字⁠^14,15,46。其五，产品提及仅基于弘犀智能官网对 Deep Hope S1 与 Harness 的公开描述，不构成效果承诺，也不代表客户实测结果。

结论

回到中心论点。当预训练、中训练、监督微调与合适的强化学习可以共用一个似然目标，配方工程的重心就从「名义阶段标签」转向「数据配比与有效学习率轨迹」。数据源层决定拟合对象，混合权重层决定比例与时机，有效学习率层决定更新强度；三者合写为可版本化的配方状态 R_t。MaxRL 与统一训练提供了算法与系统上的合一，AIR 与 ELR 塌缩提供了优化动力学上的合一；反方证据则提醒我们：锐化税、遗忘、范数控制的边界，以及治理上仍可能需要的阶段门禁。

在弘犀智能的产品语境中，这一判断与 Deep Hope S1 的「推训一体」方向一致：据官网，该平台将统计／机器学习／深度学习与大模型部署与训练放在同一平台，强调推理与训练闭环；企业智能体平台 Harness 则把模型放在含治理层的十二组件里，强调可审计与受控更新⁠^65,66。对企业而言，可迁移的资产更可能是版本化的数据配比、ELR 轨迹与奖励规范，而不是一次跑出的权重快照。

对内部培训，可用一句话做检查：若学员只能复述「我们要做统一训练」，却说不出本周 λ 与 η_eff 的变化，说明知识停在口号层。若学员能指出哪一次涨点来自混合层、哪一次来自 ELR 层、哪一次只是锐化，说明配方语言已经进入日常决策。后者才是本文希望推动的组织变化。

要点小结：

1. 用式 (2) 看训练：学习规则可固定，变的是 q_t。
2. 用式 (3)–(4) 看优化：比较与迁移请对齐 ELR，而不是只贴名义 LR 曲线。
3. 用式 (5) 做管理：配方状态 R_t 写入模型注册。
4. 用式 (6) 做验收：同时看 pass@1 与大 k，警惕锐化税。
5. 分阶段仍可保留为审计预设，但不应再被误认为算法边界本身。

参考文献

1. 1.Brown, T. et al. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems 33 (2020); https://arxiv.org/abs/2005.14165.
2. 2.Touvron, H. et al. LLaMA: Open and Efficient Foundation Language Models. Preprint at https://arxiv.org/abs/2302.13971 (2023).
3. 3.Chowdhery, A. et al. PaLM: Scaling Language Modeling with Pathways. Preprint at https://arxiv.org/abs/2204.02311 (2022).
4. 4.Liu, E., Neubig, G. & Xiong, C. Midtraining Bridges Pretraining and Posttraining Distributions. Preprint at https://arxiv.org/abs/2510.14865 (2025).
5. 5.Mo, K. et al. Mid-Training of Large Language Models: A Survey. Preprint at https://arxiv.org/abs/2510.06826 (2025).
6. 6.Ouyang, L. et al. Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems 35 (2022); https://arxiv.org/abs/2203.02155.
7. 7.Bai, Y. et al. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. Preprint at https://arxiv.org/abs/2204.05862 (2022).
8. 8.DeepSeek-AI et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. Preprint / journal ref: Nature volume 645, pages 633-638 (2025); Preprint at https://arxiv.org/abs/2501.12948 (2025).
9. 9.Kaplan, J. et al. Scaling Laws for Neural Language Models. Preprint at https://arxiv.org/abs/2001.08361 (2020).
10. 10.Hoffmann, J. et al. Training Compute-Optimal Large Language Models. Preprint at https://arxiv.org/abs/2203.15556 (2022).
11. 11.Vaswani, A. et al. Attention Is All You Need. In Advances in Neural Information Processing Systems 30 (2017); https://arxiv.org/abs/1706.03762.
12. 12.Touvron, H. et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. Preprint at https://arxiv.org/abs/2307.09288 (2023).
13. 13.OpenAI. GPT-4 Technical Report. Preprint at https://arxiv.org/abs/2303.08774 (2023).
14. 14.DeepSeek-AI et al. DeepSeek-V3 Technical Report. Preprint at https://arxiv.org/abs/2412.19437 (2024).
15. 15.Yang, A. et al. Qwen3 Technical Report. Preprint at https://arxiv.org/abs/2505.09388 (2025).
16. 16.Stiennon, N. et al. Learning to summarize with human feedback. In Advances in Neural Information Processing Systems 33 (2020); https://arxiv.org/abs/2009.01325.
17. 17.Schulman, J., Wolski, F., Dhariwal, P., Radford, A. & Klimov, O. Proximal Policy Optimization Algorithms. Preprint at https://arxiv.org/abs/1707.06347 (2017).
18. 18.Ziegler, D. M. et al. Fine-Tuning Language Models from Human Preferences. Preprint at https://arxiv.org/abs/1909.08593 (2019).
19. 19.Rafailov, R. et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2305.18290.
20. 20.Song, Y. et al. Training Foundation Models with a Single Algorithm. Preprint at https://arxiv.org/abs/2610.40564 (2026).
21. 21.Song, Y. et al. Unified Training — Training Foundation Models with a Single Algorithm (project page). https://yudasong.github.io/unified-training/ (2026).
22. 22.Tajwar, F. et al. Maximum Likelihood Reinforcement Learning. Preprint at https://arxiv.org/abs/2602.02710 (2026).
23. 23.Yu, Q., Ma, X., Bin, X. & He, D. Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training. Preprint at https://arxiv.org/abs/2610.40362 (2026).
24. 24.Liu, Z. et al. Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining. Preprint at https://arxiv.org/abs/2608.24814 (2026).
25. 25.Wen, H., Luo, K., Yan, T., Chen, W. & Lyu, K. Data Schedules and Learning Rate Schedules Should Be Designed Together. Preprint at https://arxiv.org/abs/2610.29348 (2026).
26. 26.Li, J., Zhang, H., Xu, J., Cai, T. & Zhang, J. Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting. Preprint at https://arxiv.org/abs/2610.32141 (2026).
27. 27.Yue, Y. et al. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?. Preprint / journal ref: NeurIPS 2025 Oral; ICML 2025 AI4MATH workshop best paper; Preprint at https://arxiv.org/abs/2504.13837 (2025).
28. 28.Oh, C. et al. Sharpening Tax in Post-Training. Preprint at https://arxiv.org/abs/2610.01509 (2026).
29. 29.Xiao, Y. et al. Hyperball May Not Be a Free Lunch. Preprint at https://arxiv.org/abs/2607.22444 (2026).
30. 30.Glentis, A., Li, D. & Hong, M. MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control. Preprint at https://arxiv.org/abs/2610.37647 (2026).
31. 31.Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. NAACL-HLT 4171–4186 (2019); https://arxiv.org/abs/1810.04805.
32. 32.Raffel, C. et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. J. Mach. Learn. Res. 21, 1–67 (2020); https://arxiv.org/abs/1910.10683.
33. 33.Song, Y. et al. unified-training (code repository). GitHub, https://github.com/yudasong/unified-training (2026).
34. 34.Singhal, S. et al. Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe. Preprint at https://arxiv.org/abs/2610.22019 (2026).
35. 35.Liu, Y. et al. 100 Days After DeepSeek-R1: A Survey on Replication Studies and More Directions for Reasoning Language Models. Preprint at https://arxiv.org/abs/2505.00551 (2025).
36. 36.Shao, Z. et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. Preprint at https://arxiv.org/abs/2402.03300 (2024).
37. 37.RRV, A. et al. Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models. Preprint at https://arxiv.org/abs/2605.08472 (2026).
38. 38.Cheng, D. et al. Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target. Preprint at https://arxiv.org/abs/2610.12830 (2026).
39. 39.Xie, S. M. et al. DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining. Preprint at https://arxiv.org/abs/2305.10429 (2023).
40. 40.Ge, C., Ma, Z., Chen, D., Li, Y. & Ding, B. BiMix: A Bivariate Data Mixing Law for Language Model Pretraining. Preprint at https://arxiv.org/abs/2405.14908 (2024).
41. 41.Chen, Z., Miao, Y., Supryadi & Xiong, D. Data Mixing for Large Language Models Pretraining: A Survey and Outlook. Preprint / journal ref: Data Intelligence 8 (2026), Art. No. 2026r01; Preprint at https://arxiv.org/abs/2604.16380 (2026).
42. 42.Li, C. & Lee, H. Examining Forgetting in Continual Pre-training of Aligned Large Language Models. Preprint at https://arxiv.org/abs/2401.03129 (2024).
43. 43.Ibrahim, A. et al. Simple and Scalable Strategies to Continually Pre-train Large Language Models. Preprint at https://arxiv.org/abs/2403.08763 (2024).
44. 44.Chen, H., Razin, N., Narasimhan, K. & Chen, D. Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting. Preprint / journal ref: Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026; Preprint at https://arxiv.org/abs/2510.18874 (2025).
45. 45.Wu, C. H., Zhang, T. & Raghunathan, A. Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. Preprint at https://arxiv.org/abs/2610.05872 (2026).
46. 46.NVIDIA et al. NVIDIA Nemotron 3: Efficient and Open Intelligence. Preprint at https://arxiv.org/abs/2512.20856 (2025).
47. 47.Liu, Z. et al. AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy. Preprint at https://arxiv.org/abs/2506.13284 (2025).
48. 48.Wen, K. et al. Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective. Preprint at https://arxiv.org/abs/2410.05192 (2024).
49. 49.Dremov, A., Hägele, A., Kosson, A. & Jaggi, M. Training Dynamics of the Cooldown Stage in Warmup-Stable-Decay Learning Rate Scheduler. Preprint / journal ref: Transactions on Machine Learning Research (TMLR), 2025; Preprint at https://arxiv.org/abs/2508.01483 (2025).
50. 50.Shang, Q. et al. SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining. Preprint at https://arxiv.org/abs/2609.34681 (2026).
51. 51.Tian, C. et al. WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training. Preprint at https://arxiv.org/abs/2507.17634 (2025).
52. 52.Defazio, A. ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models. Preprint at https://arxiv.org/abs/2605.19095 (2026).
53. 53.Ousherovitch, A. & Wang, Y. Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining. Preprint at https://arxiv.org/abs/2609.25482 (2026).
54. 54.Topollai, K. & Choromanska, A. Balancing Early Performance Sacrifices with Long-Term Gains: Scaling Learning-Rate Warmup Duration Across Training Horizons. Preprint at https://arxiv.org/abs/2609.33041 (2026).
55. 55.Du, L., Tang, Y., Duan, X. & Liu, D. What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track. Preprint at https://arxiv.org/abs/2609.15064 (2026).
56. 56.Wang, Y., Liu, Z., Li, X., Lu, C. & Yang, C. Native Reasoning Models: Training Language Models to Reason on Unverifiable Data. Preprint at https://arxiv.org/abs/2602.11549 (2026).
57. 57.Hu, E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models. In Proc. International Conference on Learning Representations (2022); https://arxiv.org/abs/2106.09685.
58. 58.Dettmers, T., Pagnoni, A., Holtzman, A. & Zettlemoyer, L. QLoRA: Efficient Finetuning of Quantized LLMs. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2305.14314.
59. 59.Kingma, D. P. & Ba, J. Adam: A Method for Stochastic Optimization. In Proc. International Conference on Learning Representations (2015); https://arxiv.org/abs/1412.6980.
60. 60.Loshchilov, I. & Hutter, F. Decoupled Weight Decay Regularization. In Proc. International Conference on Learning Representations (2019); https://arxiv.org/abs/1711.05101.
61. 61.Ioffe, S. & Szegedy, C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In Proc. 32nd International Conference on Machine Learning (PMLR, 2015); https://arxiv.org/abs/1502.03167.
62. 62.Salimans, T. & Kingma, D. P. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks. In Advances in Neural Information Processing Systems 29 (2016); https://arxiv.org/abs/1602.07868.
63. 63.He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning for Image Recognition. Preprint at https://arxiv.org/abs/1512.03385 (2015).
64. 64.Brockman, G. et al. OpenAI Gym. Preprint at https://arxiv.org/abs/1606.01540 (2016).
65. 65.弘犀智能（Great Unicorn Intelligence）. 企业智能体平台 · Harness（Enterprise Agent Platform · Harness）. https://www.hxallai.com/en/platform/agent/ (2026).
66. 66.弘犀智能（Great Unicorn Intelligence）. Deep Hope S1 · 推训一体大模型平台（Deep Hope S1 · unified inference–training LLM platform）. https://www.hxallai.com/en/platform/deep-hope/ (2026).