先对齐有效学习率，再谈配方收益：预训练里被误归因的增益

引言

过去两年，大模型预训练的「配方」成了一个热闹的研究市场。归一化层在变：从 LayerNorm 到把所有向量约束在单位超球面上的 nGPT⁠^1,2；优化器在变：从 Adam 与 AdamW 到以矩阵正交化为核心的 Muon⁠^3–5；学习率调度也在变：从余弦退火到「预热—稳定—衰减」（WSD）、线性衰减到零与无调度方法⁠^6–9。每一种改动都伴随着可观的收益声明：nGPT 报告达到同等精度所需的训练步数减少 4 到 20 倍，Muon 的缩放实验报告约 2 倍的计算效率，ScheduleFree+ 报告在每参数 1,000 个 token 的长训练中比当前调度好 31%（均据论文）⁠^2,5,10。

问题在于，这些收益记在了哪个部件名下。2026 年 10 月 29 日公开的一项工作直接挑战了其中一类归因：权重归一化训练相对权重衰减的预训练损失收益，主要来自它诱导出的有效学习率轨迹，而不是归一化本身；对齐 ELR 轨迹后，两者的训练损失动态基本重合（据论文）⁠¹¹。作者据此主张，调度设计的对象应当是 ELR 而不是名义学习率，并提出了 AIR 衰减：在 1,280 亿 token 的混合专家预训练中，在累积学习率相同的条件下，末期训练损失比余弦调度低约 0.01（据论文）⁠¹¹。两个月前的另一项研究报告了更一般的「ELR 塌缩」：在优化器、架构、数据与规模各不相同的设置里，只要 ELR 匹配，不同学习率与参数范数的运行，其损失轨迹在整个训练过程中都会塌缩到一起，平均塌缩误差通常为千分之几，低于代表性配置下不同随机种子之间的波动（据论文）⁠¹²。

这些结果并非凭空出现。早在 2017 年，van Laarhoven 就指出，与归一化层结合时，L2 正则化并不起正则化作用，而是通过改变权重尺度影响有效学习率⁠¹³；Zhang 等人把「增大有效学习率」列为权重衰减的三种作用机制之一⁠¹⁴；Li 与 Arora 证明，批归一化加权重衰减与动量时，甚至可以用指数增长的学习率训练⁠¹⁵，后续工作又把学习率与权重衰减之积定义为「内禀学习率」⁠¹⁶。球面运动动力学与「旋转平衡」研究进一步说明，权重衰减会让各层的平均角更新收敛到一个稳态⁠^17,18。换言之，「步长由名义学习率与范数共同决定」是一个被反复证明的机制；新的是，它开始在大模型预训练的规模上被定量验证，并被用来解释近年的配方收益。

现有讨论有三个缺口。第一，配方论文通常在名义学习率上做扫描与对比，很少报告各参数组的范数与角更新，因此无法判断收益是否只是 ELR 轨迹不同造成的⁠^11,12。第二，优化器比较常常调参预算不对等、只在单一规模或单一批大小上比较、或在训练中途比较，系统评测表明这几项都会放大或翻转结论⁠^19–21。第三，企业侧的继续预训练与领域适配同样面临「重新升温学习率会不会遗忘」「该用什么调度」之类的问题⁠^22,23，但很少把它们放进 ELR 的坐标里讨论。

本文的中心论点是：在含归一化的现代大模型里，ELR 是学习率调度、范数控制与损失动态之间的公共坐标；在 ELR 对齐、调参预算对等、按训练终点比较之前，归一化、优化器与调度之争中的多数收益无法归因。由此推出两条工程主张：配方的设计对象应当从名义学习率改为 ELR 轨迹；配方的比较协议应当「先对齐，再计分」。本文贡献有三点：

1. 给出尺度不变性、ELR、解耦权重衰减下的范数平衡、累积 ELR 与损失曲线、收益三分解与表观加速的统一形式化（式 (1)–(6)）与记号表，说明为什么名义学习率不是一个跨配方可比的量，以及为什么 0.01 量级的损失差可以被报告成两位数的「加速」。
2. 提出按「作用于 ELR 的通道」划分配方改动的五类分析框架，并对名义调度工程、范数控制、新优化器、无调度加权重平均、超参数缩放律五条路线做机制对比，正反证据并列。
3. 给出 ELR 对齐的配方归因算法（算法 1）与三组固定随机种子的示意模拟，并提出五条带时间尺度、证据、证伪条件与企业含义的前瞻判断。

问题形式化与记号

尺度不变性

设网络中某一参数组（如一层的权重矩阵或一个神经元的权重向量）为 W，训练损失为 f。若该参数组之后紧跟归一化（批归一化、层归一化、RMSNorm 或权重归一化⁠^1,24,25），则对任意 c > 0 有

式 (1) 的两层含义都很直接：梯度与权重范数成反比，且梯度与权重正交，因此梯度步只会让范数增大而不会减小。权重归一化最初正是作为「把权重向量的长度与方向解耦」的重参数化提出的⁠²⁵。在现代 Transformer 里，被 RMSNorm、QK 归一化等包围的线性层，其很大一部分自由度在前向计算上近似满足式 (1)⁠^26,27；nGPT 则把这一性质推到极致，将所有向量都约束在单位超球面上⁠²。

有效学习率

对满足式 (1) 的参数组，真正决定函数变化的是方向 Ŵ = W/‖W‖ 的变化。设名义学习率为 η_t，定义有效学习率

p 的取值来自更新量对范数的依赖：SGD 的梯度按式 (1) 缩小为 1/‖W‖，换算到方向上再除以一次 ‖W‖；自适应与正交化优化器的更新幅度大致与梯度尺度无关，于是只除一次⁠^12,13,18。对 p = 1 的情形，η̃_t‖u_t‖ 近似就是每步的角更新幅度，u_t 为优化器给出的更新方向向量。球面运动动力学一文直接建议用「角更新」替代 ELR 来度量训练进展⁠¹⁷；MuonGS 一文则以 η_t/‖W_t‖_F 为 ELR，并分析其累积量⁠²⁸。

解耦权重衰减下的范数平衡

AdamW 把权重衰减从梯度中解耦⁠⁴。忽略更新与权重的相关性，一步之后的范数满足

式 (3) 说明，在恒定 η 与 λ 下，范数会趋向一个平衡值，平衡时的角更新 θ* 只由 ηλ 决定，与更新幅度无关。这正是「旋转平衡」的核心结论：权重衰减让各层、各神经元的平均旋转趋于一致⁠¹⁸。Wang 与 Aitchison 从另一角度得到同样的量：AdamW 学到的权重可以看作近期更新的指数滑动平均，时间常数为 1/(ηλ) 步；最优时间常数以轮次计大致不随模型与数据规模变化⁠²⁹。Power Lines 一文把它写成 τ = B/(ηλD)，并发现最优 τ 随每参数 token 数 D/N 呈幂律（据论文）⁠³⁰。也有工作质疑 λ 应与 η 成正比的惯例，主张稳态下应取与 η² 成比例⁠³¹。这些分歧恰好说明：λ 与 η 不是两个独立的旋钮，而是共同决定 ELR 的一对参数。

式 (3) 还有一个反直觉的推论：平衡并不总是稳定的。近期一项研究给出了尺度不变优化中学习率调度与权重衰减相互作用的精确离散时间律，指出恒定学习率加权重衰减无法稳定维持内部平衡，并把 ELR 分为收缩主导与扩张主导两个区间⁠³²；另一项研究则把「权重衰减过强时尺度不变权重范数被压向零、尖锐度骤升、损失尖峰」称为权重范数临界性⁠³³。

累积 ELR 与损失曲线

调度对最终损失的影响，近年来被几条经验律刻画：Tissue 等人用「学习率曲线下面积」S₁ 与「退火面积」S₂ 描述整条损失曲线⁠³⁴；多幂律把学习率之和的幂律与衰减带来的额外下降相加⁠³⁵。ELR 视角的修改是把其中的名义学习率换成 ELR：

其中 S̃⁽²⁾ 为按 ELR 计的退火面积。据论文，用 ELR 替换学习率后，拟合出的函数型缩放律可以跨范数控制方法迁移⁠¹²；MuonGS 一文则证明，不加范数控制的 Muon 其累积 ELR 只能按对数增长，而带权重衰减或超球约束的变体至少线性增长，这有助于解释前者经验上进展较慢⁠²⁸。式 (4) 的工程含义是：两个配方只要累积 ELR 与退火面积不同，就会有不同的损失曲线，哪怕它们的「部件」完全一样。

收益的三分解

设基线配方 A 与候选配方 B 在相同算力下的终点损失分别为 L_A 与 L_B，观测收益 Δ_obs = L_A − L_B。把它拆成三部分：

Δ_intr 是部件本身的收益：两者在同一条参考 ELR 轨迹 η̃_ref 上、以相同调参预算 k 比较；Δ_ELR 是两者 ELR 轨迹不同带来的差异；Δ_tune 是调参不对称带来的差异——若候选试了 k_B 组超参、基线只试了 k_A < k_B 组，记 m(k) 为 k 次试验中最优终点损失的期望，则在只有随机波动时也有 E[Δ_tune] = m(k_A) − m(k_B) > 0；ε 是种子噪声。权重归一化相对权重衰减的收益主要在 Δ_ELR⁠¹¹；优化器评测中「一种优化器的最优超参未必适合另一种」与「中途比较会因学习率衰减而翻转」，分别对应 Δ_tune 与比较时点的偏差⁠¹⁹。

从损失差到「表观加速」

配方论文常把损失差换算成「达到同样损失需要的算力或 token 倍数」。若在比较区间内损失服从 L(C) = E + A·C⁻ᵅ⁠^36,37，则

当 α 较小、L − E 也较小时，s 对 Δ 非常敏感。以 α = 0.15、L − E = 0.5 为例，0.01 的损失差对应约 1.14 倍的表观加速（示意参数）。这意味着，一个落在种子噪声与调参不对称范围内的损失差，可以被报告成「十几个百分点的加速」。式 (6) 本身没有错，错在把未分解的 Δ_obs 代入。

记号

表 1 汇总本文记号。

分析框架：配方改动作用于 ELR 的五条通道

如果 ELR 是公共坐标，那么任何配方改动都可以先问一个问题：它通过哪条通道改变了 ELR，又在 ELR 之外改变了什么。按这一问题，我们把常见的预训练配方改动分为五类（表 2）。分类的目的不是否认部件的独立价值，而是为每一类改动指明「对齐 ELR 需要做什么对照」。

C1 是最直接的通道：名义调度直接写进 η_t。线性衰减到零的研究发现，在最优峰值学习率下，D2Z 在算力最优数据量上稳定优于其他调度；据论文，一个 6.1 亿参数的模型以每参数 80 个 token 训练并用 D2Z，损失低于以每参数 200 个 token 训练并衰减到峰值十分之一的同一模型，作者称这相当于约 60% 的算力节省⁠⁸。作者给出的解释正是指数滑动平均视角下的早期「离开初值」与后期「平均噪声」之间的权衡⁠^8,29。这一结论在名义学习率层面成立；但当范数在训练中变化时，名义调度与 ELR 调度会偏离，AIR 的出发点正在于此⁠¹¹。

C2 的核心是范数。权重衰减、权重归一化与超球约束都改变 ‖W‖ 的轨迹，因而改变式 (2) 的分母。ELR 塌缩研究的受控干预显示，权重衰减与超球约束主要通过它们诱导的 ELR 调度来塑造损失动态（据论文）⁠¹²。但范数控制在 ELR 之外仍有作用：权重衰减被发现能提高预训练模型的可塑性，使一些预训练损失更差的基座在微调后反而更好（据论文）⁠³⁸；在近单轮训练的大模型中，权重衰减还被解释为平衡随机优化的偏差—方差，并改善训练稳定性⁠³⁹。这些都是 Δ_intr 的候选来源，但需要在 ELR 对齐后才能确认。

C3 是更新几何。Muon 等矩阵优化器改变的是 u_t 的方向与幅度。Moonshot 的缩放实验报告 Muon 约 2 倍的计算效率，同时指出放大 Muon 需要加入权重衰减并仔细调整逐参数更新尺度⁠⁵——后两者恰好都是 ELR 的旋钮。Essential AI 的研究报告 Muon 在远超临界批大小时仍更好地保持数据效率⁠⁴⁰；而最新的一项研究证明，梯度噪声会在预条件中引入偏差—方差权衡，即便学习率与动量都调到最优，优化器的排名也会随批大小翻转⁠²⁰。理论工作开始分析 Muon 在 Transformer 下一个 token 预测中的训练动态⁠⁴¹，也有工作指出它的大步长动态不能用经典的稳定性边缘图景描述⁠⁴²。这些都提醒我们：C3 的收益可能部分真实，但其大小依赖批大小、规模与 ELR 设置。

C4 关心的是 ELR 在各层之间如何分配。μP 让学习率可以从小模型零样本迁移到大模型⁠⁴³；跨参数化与优化器的大规模实验发现，若沿用以往工作的假设，最佳的学习率缩放规则常常会被排除在外⁠⁴⁴。在现代尺度不变架构里，训练很快进入由优化器支配的稳态，ELR 随宽度变化，μP 的迁移会退化；一项研究据此提出按宽度缩放权重衰减，以保持各子层增益不变⁠⁴⁵。QK 归一化等稳定化改动则改变了可用学习率的上限：小规模代理实验表明，大模型的注意力 logit 增长与输出 logit 发散在小模型的高学习率下同样出现，相应的缓解措施在小模型上同样有效⁠^26,27。「能用更大学习率」本身不是收益，它只是把可行的 ELR 区间推宽了。

C5 是估计器。权重平均、检查点合并与末端收缩平均都试图用平均替代学习率衰减。AlgoPerf 上的系统评测显示，权重平均能显著加快训练、带来可观的效率收益，并给出了平均与学习率退火的最佳组合方式⁠⁴⁶；WSM 把衰减与合并形式化地联系起来，并发现合并窗口长度是最关键的因素⁠⁴⁷；末端收缩平均一文则揭示了「调度」与「返回哪一个模型」之间的交互：一旦把估计器分离出来，最优的末端调度也会改变⁠⁴⁸。权重平均还被发现会影响后训练量化的表现⁠⁴⁹。若把 C5 的收益记在 C1 名下，就会选错调度。

机制分析与路线对比

名义学习率为何不可比

在一个配方里，名义学习率 η 与 ELR 之间隔着 ‖W‖。当两个配方的范数轨迹不同——一个有权重衰减、一个把范数固定为常数，一个从较大初始化开始、一个从较小初始化开始——同一个 η 就对应不同的 η̃。于是，「两个配方都在 η = 3×10⁻⁴ 下训练」并不意味着它们在同等条件下比较。式 (3) 给出了一个更细的推论：在解耦权重衰减的平衡态，角更新只取决于 ηλ；这意味着把 η 加倍、λ 减半，平衡态的 ELR 不变，而只改变到达平衡的速度⁠^18,29。由此，Power Lines 发现的「最优 λ 与批大小成线性关系」与「最优时间常数随 D/N 呈幂律」也可以读作：真正被优化的是时间常数与 ELR，而非 η 或 λ 单独的值⁠³⁰。

超参数缩放律的研究也指向同一方向。Step Law 训练了 3,700 多个模型，发现在固定模型与数据规模下超参数地形呈凸形且最优区较宽，最优学习率随模型与数据规模呈幂律（据论文）⁠⁵⁰；另一项研究发现 Adam 类优化器的最优学习率随批大小先升后降，存在「浪涌」现象⁠⁵¹；在 WSD 调度下，经典的临界批大小理论也需要修正⁠⁵²；在超稀疏混合专家中，最优学习率与批大小还随激活比例变化⁠⁵³；OpenEuroLLM 的推导则考察了最优学习率与批大小能否在稳定段与衰减段之间迁移⁠⁵⁴。这些规律都是在名义坐标里拟合的，若范数控制方式改变，拟合的系数就可能失效——这正是 ELR 塌缩研究所说「把学习率换成 ELR 后缩放律可以跨范数控制方法迁移」的意义⁠¹²。

归一化收益的重新解释

nGPT 报告的 4 到 20 倍步数缩减，是近年归一化路线最引人注目的数字之一⁠²。2026 年 8 月发布的 nGPT 训练配方给出了更保守、也更可复核的结果：在 300 亿总参数的混合 Mamba-2—Transformer 混合专家模型上，与同架构、用 AdamW 训练的未归一化模型相比，达到同样验证损失约需一半的训练 token（据论文）；值得注意的是，这份配方本身就包含了对数学习率衰减与「角更新控制」等 ELR 层面的设计⁠⁵⁵。近似归一化 Transformer 一文也报告，用标量近似归一化并约束参数范数后，可以去掉权重衰减与学习率预热⁠⁵⁶。

ELR 视角并不否认这些收益，而是改变了解释：固定范数意味着名义学习率直接等于（按比例的）ELR，研究者在名义坐标里设计的调度就是在 ELR 坐标里的调度；相比之下，权重衰减的配方中，ELR 由 η、λ 与范数动力学共同决定，往往在训练前期过小、后期又因范数收缩而偏大。AIR 一文正是在这一意义上指出，权重归一化的收益主要来自其 ELR 轨迹，把同一条 ELR 轨迹施加到权重衰减训练上，可以复现相应的训练动态（据论文）⁠¹¹。由此也能理解为什么预热会受益于对 ELR 的控制：研究发现预热的作用在于限制早期过大的角更新⁠⁵⁷，或把网络带到条件更好的区域、从而容忍更大的目标学习率⁠⁵⁸。

优化器之争中的调参不对称

优化器比较是 Δ_tune 最容易出现的地方。AlgoPerf 基准的作者在 2023 年就指出，社区目前无法可靠地识别训练算法的改进，原因包括如何判断训练完成、测量对工作负载细节的敏感性、以及如何公平比较需要调参的算法⁠²¹。首届竞赛的分析显示，外部调参规则下的冠军使用分布式 Shampoo，自调参规则下的冠军则是无调度 AdamW⁠^9,59；2026 年 10 月发布的 AlgoPerf V1 新结果中，在要求所有工作负载使用单一配置的自调参规则下，13 个提交里无调度 AdamW 再次排名第一，而学习率与动量在不同领域和算法间高度敏感（据论文）⁠⁶⁰。

更直接的证据来自对十种优化器的系统研究：作者指出，以往宣称 1.4 到 2 倍加速的比较存在两类方法缺陷，即调参不对等与评测设置有限或误导；在严格调参、按训练终点比较后，许多优化器相对于调好的基线的实际加速低于宣称值，并随规模下降，到 12 亿参数时只有约 1.1 倍；中途检查点的排名还可能因学习率衰减而翻转（据论文）⁠¹⁹。这与式 (5) 的分解完全一致：若候选优化器多调了几组超参，或在衰减开始前比较，Δ_obs 中就混入了 Δ_tune 与时点偏差。

调度：末段 ELR 才是主要收益来源

如果损失曲线主要由累积 ELR 与退火面积决定（式 (4)），那么调度的差异主要应该体现在末段。证据支持这一点。WSD 调度在稳定段损失偏高、在衰减段急剧下降，河谷地形假说把它解释为稳定段沿河底前进、衰减段降到谷底⁠^7,61；冷却阶段的研究发现，冷却形状体现了偏差—方差权衡，其影响与调 AdamW 超参的影响相当⁠⁶²；恒定学习率加冷却能像余弦一样可预测地缩放，并能复用训练运行以降低缩放实验成本⁠⁶³。AIR 一文进一步发现，共享的末段 ELR 调度会削弱前期学习率选择的影响，这是其收益的关键来源（据论文）⁠¹¹。损失曲线的「塌缩」研究则从另一端给出佐证：算力最优训练的不同规模模型，在归一化之后会塌缩到同一条曲线上，加入学习率衰减后塌缩得更紧，且一旦超参数缩放不当，塌缩就会被打破⁠^64,65。

无调度与可随时停止的训练路线，本质上是用平均或特定衰减形状去近似一条「对任何终点都合适」的 ELR 轨迹：Schedule-Free 把调度与迭代平均统一起来⁠⁹，并被解释为能沿河谷结构前进而无需衰减阶段⁠⁶⁶；随时预训练的理论分析强调权重平均在达到极小极大收敛率中的作用⁠⁶⁷；WSqD 用移位的平方根倒数基线替换 WSD 的恒定段⁠⁶⁸；AIR 的 1/√t 衰减与之同源⁠¹¹。也有工作尝试在线学习调度：SOLAR 以基础调度为参照，学习有界的状态相关残差修正⁠⁶⁹；「反应式优化器」甚至让语言模型智能体在一次训练中检查训练动态并改写优化器代码，其决策中常见的正是对学习率调度、优化器结构与数值精度的修改⁠⁷⁰。若这些方法的决策变量是名义学习率，它们同样会受到范数漂移的干扰。

稳定性：ELR 过大的代价

ELR 不是越大越好。理论上，归一化 SGD 的固定范数更新会诱导一个随梯度变小而增大的 ELR：它在早期加速学习，但在有限步长下最终打破加速、导致边际稳定⁠⁷¹。工程上，损失尖峰往往与 logit 增长有关：一项 2026 年 10 月的研究发现，长训练后才出现的「定时炸弹」式尖峰之前，语言模型输出头的量化误差会迅速增长，降低数值精度会加速尖峰，提高精度则改善稳定性（据论文）⁠⁷²；权重范数临界性则从范数一侧给出了尖峰机制⁠³³。主流开放模型的技术报告都把稳定性放在配方设计的中心：OLMo 2 报告了以提升训练稳定性为重点的架构与配方修改，并在预训练退火阶段引入专门的数据混合⁠⁷³；Llama 3 报告了在预训练末段用少量高质量数据退火⁠⁷⁴；DeepSeek-V3 报告了先恒定、后分段衰减的学习率安排⁠⁷⁵。这些做法都直接作用于末段 ELR，但报告中很少给出 ELR 本身。

反方证据：ELR 不是全部

ELR 视角有三条边界。第一，它主要适用于尺度不变的参数组；嵌入层、输出头、偏置与归一化增益等并不满足式 (1)，它们的学习率仍是名义学习率，而且往往是不稳定性的来源⁠^45,72。第二，部件可能在 ELR 之外有真实贡献：权重衰减对可塑性与表示可分性的影响⁠³⁸、矩阵优化器在大批量下的数据效率⁠^20,40、nGPT 在 300 亿参数规模上的 token 效率⁠⁵⁵，都还没有被 ELR 完全解释。第三，ELR 塌缩的精度依赖归一化设计与学习率—范数变化的时间尺度⁠¹²，在重复数据、多轮训练等场景下，批大小与正则化的最优选择也会改变⁠⁷⁶。因此本文的主张是「先对齐再归因」，而不是「一切收益都是 ELR」。

表 3 的数字均为论文自报⁠^{2,5,8,10,11,19,28,50,55,60}，它们的比较对象与条件各不相同，不能直接横向相加。表 3 要传达的是：五条路线中至少有四条的收益，部分或全部可以通过 ELR 轨迹解释；剩余的部分需要按算法 1 单独确认。

方法：ELR 对齐的配方归因

把上述分析收成一个可执行流程。算法 1 的目标是：给定一个基线配方与一个候选改动，在有限的训练预算下，把观测收益拆成式 (5) 的三部分，并据此决定是否采纳。

算法 1 有三处设计意图。第一，步骤 3 的「ELR 移植」直接对应 AIR 与 ELR 塌缩研究中的受控实验：让一个配方复现另一个配方的 ELR 轨迹，如果损失动态随之重合，收益就主要在 Δ_ELR⁠^11,12。第二，步骤 2 与步骤 5 体现了优化器评测文献的教训：等调参预算、按终点比较、跨规模与批大小检验⁠^19,20,60。第三，步骤 6 把下游微调纳入判定，因为预训练损失不是唯一目标，权重衰减等部件会改变可塑性⁠³⁸。

示意模拟

以下数字均为示意，用于说明式 (1)–(6) 如何联动；模型是一个 64 维的尺度不变回归（预测值为 x·w/‖w‖，带标签噪声，批大小 8，训练 3,000 步），脚本与随机种子（20261105）见 src/figs.py，不代表任何真实大模型训练的测量。

权重归一化与权重衰减的 ELR 塌缩。我们比较三种运行：权重衰减（名义学习率 0.6、λ = 0.02、初始范数 3）；权重归一化并把每步学习率设为权重衰减运行实测的 η̃_t（「匹配 ELR」）；权重归一化但使用同样的名义学习率 0.6（「同名义 LR」）。结果是：匹配 ELR 的运行与权重衰减运行的平滑损失曲线平均相差 0.0023，小于权重衰减运行换一个随机种子时的 0.0092；而同名义 LR 的运行与之平均相差 1.26，末期超额损失为 1.398，比权重衰减的 0.139 高一个数量级（Fig. 1）。权重衰减运行的 ELR 从初始的 0.067 变为末期的约 0.042。也就是说，在这个玩具模型里，「归一化更好还是更差」完全取决于给它什么 ELR，而不是归一化本身。

调参不对称制造的「收益」。设两个优化器的真实质量完全相同：终点损失是对数学习率的二次函数（曲率 0.08），最优点位置未知（标准差 0.35），每次运行有标准差 0.006 的种子噪声。重复 2 万次比较：候选试 12 组、基线试 3 组时，候选平均「占优」0.0075，有 63.4% 的比较占优超过 0.005；候选试 12 组、基线只用默认值时，平均占优 0.0145，73.6% 的比较占优超过 0.005；双方各试 6 组时，平均占优为 0，但仍有 23.8% 的比较由于噪声显示占优超过 0.005（Fig. 2）。按式 (6)，取 α = 0.15、L − E = 0.5，0.0075 与 0.0145 的损失差分别对应约 1.11 倍与 1.22 倍的表观加速。

共享末段 ELR 削弱前期选择。在权重归一化运行上比较两类调度：余弦衰减到峰值的 10%，以及前 60% 保持峰值、后 40% 从 0.3 线性衰减到 0.003 的共享末段。前期峰值 ELR 取 0.15、0.3、0.6、1.2。余弦调度的末期超额损失依次为 0.032、0.077、0.220、0.676，最差与最好相差约 21 倍；共享末段调度在四个峰值下的末期超额损失都是 0.031，且略优于余弦的最好结果（Fig. 3）。玩具模型的「记忆」比衰减段短，所以削弱得近乎完全；真实大模型中，论文报告的是削弱而非消除⁠¹¹。

表 4 不是对任何真实系统的声称。它要传达的机制是：同一个部件，在不同的 ELR 轨迹与调参预算下，可以显得更好、更差或没有差别；只有先对齐，比较才有意义。

前瞻判断与研究议程

以下为弘犀智能研究团队的观点，不是事实陈述。

研究议程有四个开放问题。第一，非尺度不变参数组（嵌入、输出头、增益）的「有效学习率」应如何定义，它们与尺度不变部分的 ELR 如何协同；损失尖峰研究提示，输出头往往是瓶颈⁠⁷²。第二，ELR 对齐能否扩展到矩阵优化器：Muon 的更新是正交化的，其「角更新」需要在谱范数而非 Frobenius 范数下定义，现有分析刚刚起步⁠^28,41。第三，ELR 坐标下的超参数缩放律是否比名义坐标更稳健，尤其在混合专家与重复数据场景⁠^53,76。第四，能否把式 (5) 的分解做成可以审计的公开协议，让配方论文像报告种子数一样报告调参预算与 ELR 轨迹。

要点小结：

1. 用式 (2) 看步长：尺度不变参数的步长是名义学习率与范数之比。
2. 用式 (3) 看权重衰减：平衡态角更新只由 ηλ 决定。
3. 用式 (4) 看调度：损失曲线主要由累积 ELR 与退火面积决定，末段最关键。
4. 用式 (5) 看收益：先拆出 ELR 差异与调参不对称，再谈部件收益。
5. 用式 (6) 看宣传：0.01 量级的损失差可以被换算成两位数的「加速」。

业界常见看法中可能错误的地方

「归一化让训练更快」。更准确的说法是：归一化改变了名义学习率与 ELR 之间的映射，使同一套名义调度对应了更合适的 ELR 轨迹。ELR 对齐后，权重归一化与权重衰减的训练动态基本重合⁠¹¹。

「新优化器有 2 倍加速」。在严格调参、按终点比较时，许多优化器的加速低于宣称值，并随规模收缩⁠¹⁹；最优优化器还可能随批大小改变⁠²⁰。2 倍可能是真的，但它是一个依赖条件的数字。

「看训练中途的损失曲线就能判断配方优劣」。WSD 类调度在稳定段损失偏高、衰减段才显示真实进展⁠⁶¹；中途检查点的排名可能因学习率衰减而翻转⁠¹⁹。比较应在训练终点或对齐的冷却点上进行。

「超参数可以从小模型直接迁移」。μP 只在接近初始化的阶段保证更新幅度一致；进入优化器支配的稳态后，ELR 随宽度变化，需要配合权重衰减缩放⁠^43,45。

「预训练损失越低越好」。权重衰减更大的基座可能预训练损失略差、微调后却更好⁠³⁸；权重平均还会影响后训练量化的表现⁠⁴⁹。配方的验收目标应包括下游适配。

局限性

本文有四点局限。第一，第 6 节的模拟是一个低维的尺度不变回归，只能说明机制，不能给出大模型上的数值；其中末段 ELR 的「完全削弱」是玩具模型记忆短的结果。第二，ELR 塌缩与 AIR 等关键证据来自 2026 年的预印本，结论以论文自报为准，尚待更多独立复现⁠^11,12。第三，式 (3) 的平衡分析忽略了更新与权重的相关性与动量，实际平衡值会偏离；也有工作对 λ 的缩放方式提出不同主张⁠³¹。第四，算法 1 的成本不低：ELR 移植至少需要额外一组运行，在最大规模上执行全部步骤对多数团队并不现实，实践中可以在两个较小规模上执行并外推，但外推本身有风险。

结论

ELR 不是一个新概念，但它正在从理论注脚变成大模型预训练配方的公共坐标。对齐 ELR 之后，权重归一化与权重衰减的差别大多消失；严格调参、按终点比较之后，新优化器的加速明显收缩；共享末段 ELR 之后，前期学习率的选择变得不那么重要。这三条证据指向同一个结论：在 ELR 对齐、调参预算对等之前，配方之争中的多数收益无法归因。

对企业而言，含义很具体。自研或继续预训练时，要记录 ELR，而不只记录名义学习率；评估外部的「加速」与「新配方」时，要问调参预算、比较时点与 ELR 是否对齐；领域继续预训练时，重新升温的幅度应按 ELR 而非名义学习率设计⁠^22,23。据官网，弘犀智能 Deep Hope S1 采用推训一体架构，统计、机器学习、深度学习与大模型可在同一私有化平台上部署和训练，并以行业大模型蒸馏构建专业能力⁠⁷⁷。在这类模型持续更新的平台上，我们建议把 ELR 轨迹、调参预算与下游微调结果写入每次模型更新的训练卡，使配方改动可以被复核和回退。

参考文献

1. 1.Ba, J. L., Kiros, J. R. & Hinton, G. E. Layer Normalization. Preprint at https://arxiv.org/abs/1607.06450 (2016).
2. 2.Loshchilov, I., Hsieh, C.-P., Sun, S. & Ginsburg, B. nGPT: Normalized Transformer with Representation Learning on the Hypersphere. Preprint at https://arxiv.org/abs/2410.01131 (2024).
3. 3.Kingma, D. P. & Ba, J. Adam: A Method for Stochastic Optimization. In Proc. International Conference on Learning Representations (2015); https://arxiv.org/abs/1412.6980.
4. 4.Loshchilov, I. & Hutter, F. Decoupled Weight Decay Regularization. In Proc. International Conference on Learning Representations (2019); https://arxiv.org/abs/1711.05101.
5. 5.Liu, J. et al. Muon is Scalable for LLM Training. Preprint at https://arxiv.org/abs/2502.16982 (2025).
6. 6.Loshchilov, I. & Hutter, F. SGDR: Stochastic Gradient Descent with Warm Restarts. In Proc. International Conference on Learning Representations (2017); https://arxiv.org/abs/1608.03983.
7. 7.Hu, S. et al. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies. Preprint at https://arxiv.org/abs/2404.06395 (2024).
8. 8.Bergsma, S. et al. Straight to Zero: Why Linearly Decaying the Learning Rate to Zero Works Best for LLMs. Preprint at https://arxiv.org/abs/2502.15938 (2025).
9. 9.Defazio, A. et al. The Road Less Scheduled. In Advances in Neural Information Processing Systems 37 (2024); https://arxiv.org/abs/2405.15682.
10. 10.Defazio, A. ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models. Preprint at https://arxiv.org/abs/2605.19095 (2026).
11. 11.Yu, Q., Ma, X., Bin, X. & He, D. Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training. Preprint at https://arxiv.org/abs/2610.40362 (2026).
12. 12.Liu, Z. et al. Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining. Preprint at https://arxiv.org/abs/2608.24814 (2026).
13. 13.van Laarhoven, T. L2 Regularization versus Batch and Weight Normalization. Preprint at https://arxiv.org/abs/1706.05350 (2017).
14. 14.Zhang, G., Wang, C., Xu, B. & Grosse, R. Three Mechanisms of Weight Decay Regularization. In Proc. International Conference on Learning Representations (2019); https://arxiv.org/abs/1810.12281.
15. 15.Li, Z. & Arora, S. An Exponential Learning Rate Schedule for Deep Learning. In Proc. International Conference on Learning Representations (2020); https://arxiv.org/abs/1910.07454.
16. 16.Li, Z., Lyu, K. & Arora, S. Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate. In Advances in Neural Information Processing Systems 33 (2020); https://arxiv.org/abs/2010.02916.
17. 17.Wan, R., Zhu, Z., Zhang, X. & Sun, J. Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD. In Advances in Neural Information Processing Systems 34 (2021); https://arxiv.org/abs/2006.08419.
18. 18.Kosson, A., Messmer, B. & Jaggi, M. Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks. In Proc. 41th International Conference on Machine Learning (PMLR, 2024); https://arxiv.org/abs/2305.17212.
19. 19.Wen, K., Hall, D., Ma, T. & Liang, P. Fantastic Pretraining Optimizers and Where to Find Them. Preprint at https://arxiv.org/abs/2509.02046 (2025).
20. 20.Dang, X., Wen, K. & Malladi, S. The Best Optimizer Depends on Batch Size. Preprint at https://arxiv.org/abs/2610.08975 (2026).
21. 21.Dahl, G. E. et al. Benchmarking Neural Network Training Algorithms. Preprint at https://arxiv.org/abs/2306.07179 (2023).
22. 22.Ibrahim, A. et al. Simple and Scalable Strategies to Continually Pre-train Large Language Models. Preprint at https://arxiv.org/abs/2403.08763 (2024).
23. 23.Singh, V. et al. Beyond Cosine Decay: On the effectiveness of Infinite Learning Rate Schedule for Continual Pre-training. Preprint at https://arxiv.org/abs/2503.02844 (2025).
24. 24.Ioffe, S. & Szegedy, C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In Proc. 32th International Conference on Machine Learning (PMLR, 2015); https://arxiv.org/abs/1502.03167.
25. 25.Salimans, T. & Kingma, D. P. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks. In Advances in Neural Information Processing Systems 29 (2016); https://arxiv.org/abs/1602.07868.
26. 26.Dehghani, M. et al. Scaling Vision Transformers to 22 Billion Parameters. In Proc. 40th International Conference on Machine Learning (PMLR, 2023); https://arxiv.org/abs/2302.05442.
27. 27.Wortsman, M. et al. Small-scale proxies for large-scale Transformer training instabilities. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2309.14322.
28. 28.Glentis, A., Li, D. & Hong, M. MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control. Preprint at https://arxiv.org/abs/2610.37647 (2026).
29. 29.Wang, X. & Aitchison, L. How to set AdamW's weight decay as you scale model and dataset size. Preprint at https://arxiv.org/abs/2405.13698 (2024).
30. 30.Bergsma, S. et al. Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training. Preprint at https://arxiv.org/abs/2505.13738 (2025).
31. 31.Chou, J. C.-C. Correction of Decoupled Weight Decay. Preprint at https://arxiv.org/abs/2512.08217 (2025).
32. 32.Amin, H., Chang, W.-K. & Khanna, R. When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay. Preprint at https://arxiv.org/abs/2609.09116 (2026).
33. 33.Li, X., Zhou, Z. & Xu, Z.-Q. J. Weight-norm Criticality: A Mechanism for Loss Spikes Induced by the Normalization and Weight Decay. Preprint at https://arxiv.org/abs/2607.21005 (2026).
34. 34.Tissue, H., Wang, V. & Wang, L. Scaling Law with Learning Rate Annealing. Preprint at https://arxiv.org/abs/2408.11029 (2024).
35. 35.Luo, K. et al. A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules. Preprint at https://arxiv.org/abs/2503.12811 (2025).
36. 36.Kaplan, J. et al. Scaling Laws for Neural Language Models. Preprint at https://arxiv.org/abs/2001.08361 (2020).
37. 37.Hoffmann, J. et al. Training Compute-Optimal Large Language Models. In Advances in Neural Information Processing Systems 35 (2022); https://arxiv.org/abs/2203.15556.
38. 38.Han, T., Bordt, S., Zhang, H. & Kakade, S. Weight Decay Improves Language Model Plasticity. Preprint at https://arxiv.org/abs/2602.11137 (2026).
39. 39.D'Angelo, F., Andriushchenko, M., Varre, A. & Flammarion, N. Why Do We Need Weight Decay in Modern Deep Learning? Preprint at https://arxiv.org/abs/2310.04415 (2023).
40. 40.Essential AI et al. Practical Efficiency of Muon for Pretraining. Preprint at https://arxiv.org/abs/2505.02222 (2025).
41. 41.Wu, S., Yang, Y., Huang, G. & Li, S. Theoretical Analysis of Muon on Transformers for Next-Token Prediction. Preprint at https://arxiv.org/abs/2611.04465 (2026).
42. 42.Chen, Y., Zhao, Q., Xu, X. & Liu, F. Muon Sublates the Edge of Stability in LLM Pretraining. Preprint at https://arxiv.org/abs/2609.34915 (2026).
43. 43.Yang, G. et al. Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. In Advances in Neural Information Processing Systems 34 (2021); https://arxiv.org/abs/2203.03466.
44. 44.Everett, K. et al. Scaling Exponents Across Parameterizations and Optimizers. In Proc. 41th International Conference on Machine Learning (PMLR, 2024); https://arxiv.org/abs/2407.05872.
45. 45.Fan, Z., Liu, Y., Zhao, Q., Yuan, A. & Gu, Q. Robust Layerwise Scaling Rules by Proper Weight Decay Tuning. Preprint at https://arxiv.org/abs/2510.15262 (2025).
46. 46.Ajroldi, N., Orvieto, A. & Geiping, J. When, Where and Why to Average Weights? Preprint at https://arxiv.org/abs/2502.06761 (2025).
47. 47.Tian, C. et al. WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training. Preprint at https://arxiv.org/abs/2507.17634 (2025).
48. 48.Ousherovitch, A. & Wang, Y. Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining. Preprint at https://arxiv.org/abs/2609.25482 (2026).
49. 49.Wang, H. et al. Understanding the Weight Averaging Mechanism in LLM Training for Post-Training Quantization. Preprint at https://arxiv.org/abs/2610.05329 (2026).
50. 50.Li, H. et al. Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining. Preprint at https://arxiv.org/abs/2503.04715 (2025).
51. 51.Li, S. et al. Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling. Preprint at https://arxiv.org/abs/2405.14578 (2024).
52. 52.Zhou, Y. et al. How to Set the Batch Size for Large-Scale Pre-training? Preprint at https://arxiv.org/abs/2601.05034 (2026).
53. 53.Tian, C. et al. Hyperparameter Scaling Laws Across MoE Sparsity. Preprint at https://arxiv.org/abs/2609.08690 (2026).
54. 54.Ajroldi, N. et al. Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss. Preprint at https://arxiv.org/abs/2608.28308 (2026).
55. 55.Loshchilov, I. & Ginsburg, B. Training nGPT. Preprint at https://arxiv.org/abs/2608.01284 (2026).
56. 56.Franke, J. K. H. et al. Learning in Compact Spaces with Approximately Normalized Transformer. Preprint at https://arxiv.org/abs/2505.22014 (2025).
57. 57.Kosson, A., Messmer, B. & Jaggi, M. Analyzing & Reducing the Need for Learning Rate Warmup in GPT Training. Preprint at https://arxiv.org/abs/2410.23922 (2024).
58. 58.Kalra, D. S. & Barkeshli, M. Why Warmup the Learning Rate? Underlying Mechanisms and Improvements. Preprint at https://arxiv.org/abs/2406.09405 (2024).
59. 59.Kasimbeg, P. et al. Accelerating Neural Network Training: An Analysis of the AlgoPerf Competition. Preprint at https://arxiv.org/abs/2502.15015 (2025).
60. 60.Kasimbeg, P. et al. Towards Easier-to-Tune Training Algorithms: New Results from AlgoPerf. Preprint at https://arxiv.org/abs/2610.13036 (2026).
61. 61.Wen, K. et al. Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective. Preprint at https://arxiv.org/abs/2410.05192 (2024).
62. 62.Dremov, A., Hägele, A., Kosson, A. & Jaggi, M. Training Dynamics of the Cooldown Stage in Warmup-Stable-Decay Learning Rate Scheduler. Transactions on Machine Learning Research (2025); https://arxiv.org/abs/2508.01483.
63. 63.Hägele, A. et al. Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations. In Advances in Neural Information Processing Systems 37 (2024); https://arxiv.org/abs/2405.18392.
64. 64.Qiu, S., Xiao, L., Wilson, A. G., Pennington, J. & Agarwala, A. Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks. Preprint at https://arxiv.org/abs/2507.02119 (2025).
65. 65.Bergsma, S. et al. Scaling with Collapse: Efficient and Predictable Training of LLM Families. Preprint at https://arxiv.org/abs/2509.25087 (2025).
66. 66.Song, M., Baek, B., Ahn, K. & Yun, C. Through the River: Understanding the Benefit of Schedule-Free Methods for Language Model Training. Preprint at https://arxiv.org/abs/2507.09846 (2025).
67. 67.Meterez, A., Nair, P. A., Morwani, D., Pehlevan, C. & Kakade, S. Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging. Preprint at https://arxiv.org/abs/2602.03702 (2026).
68. 68.Ma, J. & Chen, Y. WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training. Preprint at https://arxiv.org/abs/2607.10959 (2026).
69. 69.Shang, Q. et al. SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining. Preprint at https://arxiv.org/abs/2609.34681 (2026).
70. 70.Bai, X., Liang, J.-H., Teoh, J. & Sitzmann, V. Reactive Optimizers. Preprint at https://arxiv.org/abs/2610.33826 (2026).
71. 71.Lavie, I., Lauditi, C. & Pehlevan, C. A Solvable Model of Adaptive Learning Rate Rescaling: Acceleration, Stability & Scaling. Preprint at https://arxiv.org/abs/2610.06701 (2026).
72. 72.Chen, Z. et al. The Role of Quantization in Loss Spikes. Preprint at https://arxiv.org/abs/2610.38277 (2026).
73. 73.Team OLMo et al. 2 OLMo 2 Furious. Preprint at https://arxiv.org/abs/2501.00656 (2024).
74. 74.Grattafiori, A. et al. The Llama 3 Herd of Models. Preprint at https://arxiv.org/abs/2407.21783 (2024).
75. 75.DeepSeek-AI et al. DeepSeek-V3 Technical Report. Preprint at https://arxiv.org/abs/2412.19437 (2024).
76. 76.Min, S. Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs. Preprint at https://arxiv.org/abs/2610.15965 (2026).
77. 77.弘犀智能（Great Unicorn Intelligence）. Deep Hope S1 · 推训一体大模型平台（Deep Hope S1 · unified inference–training LLM platform）. https://www.hxallai.com/platform/deep-hope/ (2026).