推理正在学会"算账"：从显式思维链到潜在推理与自适应算力分配（深度版）

一、背景：为什么"多想"开始变得昂贵

显式思维链（Chain-of-Thought, CoT）让模型把中间步骤写成文字，再给出答案。它带来了两样好处：一是在数学、代码等可验证任务上准确率显著提升；二是人类可以读到"它是怎么想的"。代价同样直接：每多写一个 token，就多一次前向计算、多占一份 KV 缓存、多一点等待时间。对单次对话而言这只是几秒钟，对每天要处理数十万笔申请的企业系统而言，它会直接体现在 GPU 账单和服务时延上。

更麻烦的是，"想得多"并不单调地等于"想得好"。Guan 等人 [1] 在 GPT-OSS-20B、Qwen3 思考版、DeepSeek-R1 蒸馏系列等 6 个模型上采样了 92,448 条推理轨迹，发现原始"想到底"的平均准确率为 71.78%，平均消耗 8,281 个思考 token；而如果在每条轨迹准确率首次达到峰值的位置停下，大部分 token 都可以省掉，且准确率更高。这里有三个值得注意的细节：

• 冗余与退化并不同步。 MATH500 上冗余比例高达 78.8%，但准确率退化只有 1.83 个百分点；GPQA 冗余比例 61.4%，退化却达 16.98 个百分点。24 个"模型×基准"组合中，两者的 Spearman 相关系数为 −0.330 [1]。也就是说，"写了很多废话"和"把对的想成错的"是两种不同的病。
• 同一道题，轨迹之间差异巨大。固定模型和题目，16 条轨迹两两之间的冗余比例平均相差 20.23 个百分点，退化相差 10.06 个百分点 [1]。这意味着只看题目难度做决策（"这题难，多想"）天然有上限。
• 后期步骤大多"无功"，偶尔"有过"。越往后的步骤，越多是准确率不变的步骤，而改变时更常是变坏 [1]。

这些发现把问题拆成了三层：先要有一把可靠的尺子，量出浪费在哪里（想多少）；再要有一个便宜的开关，在生成之前或过程中决定要不要深想（何时想）；最后，如果深想确有必要，能否用比文字更紧凑的方式完成（怎么想）。下文按此顺序展开。

二、想多少：先把浪费量清楚

2.1 算法拆解 ①：逐步截断探测（STP）与理论前沿

一句话直觉：把一条推理过程在不同位置"剪断"，每剪一次就逼模型立刻作答，看看准确率随思考长度怎么变。

生活类比：像给一位学生录下完整的解题过程，然后分别在第 1 分钟、第 2 分钟……打断他："现在就写答案。"统计每个时间点的正确率，就能知道他是在第几分钟其实已经会了。

逐步流程 [1]：

1. 生成一条完整推理轨迹，按空行切成文本块，并不断合并相邻的小块，直到平均每步约 b=256 个 token；
2. 对每个截断位置 k（保留前 k 步），固定推理前缀不变，只重新采样答案 16 次，记录正确比例 P(k) 和保留的 token 数 L(k)；
3. 找到最早达到最高准确率的位置 k*；
4. 计算两项指标：冗余比例 OR 与准确率退化 AD；
5. 在全部轨迹的测量结果上，求解三类终止策略在给定平均预算下能达到的最高准确率，得到"理论前沿"。

关键公式：

k* = min{ k : P(k) = max_j P(j) }
OR = 1 − L(k*) / L(n)
AD = P(k*) − P(n)

• P(k)：在第 k 步截断后，模型重新作答的正确比例；
• L(k)：截断时保留的思考 token 数；n 是总步数，所以 L(n) 是"想到底"的长度；
• k*：最早达到最高正确率的截断点；
• OR：k* 之后的 token 占全部思考 token 的比例，即"多写了多少"；
• AD：峰值正确率比"想到底"高出多少，即"多想让结果变差了多少"。

理论前沿则把三种策略统一成一个"带预算约束的选择题"：在平均成本不超过 B 的前提下，为每个决策单元挑一个动作使平均准确率最高 [1]。三种策略的区别只在于决策单元与动作：动态路由按题目在"不想 /想到底"之间二选一；固定预算按题目设一个统一的 token 上限；动态早停按每条轨迹选择任意截断位置。

小算例（示意数字）：一条轨迹共 4,000 个 token，分为 16 步。截断在第 6 步（1,500 token）时正确率达到 0.9，之后再没超过 0.9，而想到底时正确率为 0.8。那么 OR = 1 − 1500/4000 = 62.5%，AD = 0.9 − 0.8 = 10 个百分点。

为什么有效、何时失效：STP 的价值在于用同一条轨迹做对照，排除了"换一条轨迹就换了运气"的干扰。三条前沿的排序（同预算下动态路由 ≤ 固定预算 ≤ 动态早停）说明，决策越细、越晚，可挖掘的空间越大：要追平"想到底"的准确率，动态路由需要 71.4% 的预算，固定预算 35.0%，动态早停只需 14.2% [1]。但作者明确指出，这些前沿是离线的理想参照，策略在决策时"看到了未来"，不能直接部署；且测量依赖切分方式和探测次数，探测本身也有额外开销 [1]。在 OTBench 上，作者把 ThinkSwitcher、Predictive Scheduling、ThinkBrake 三种公开方法改造成统一接口，它们都处在各自前沿之下 [1]。

这把尺子告诉我们两件事：动态早停的潜力远大于题目级路由；但题目级路由更容易落地，因为它只需要在生成前做一次决策。下一节的几项工作，正是在"容易落地"与"足够精细"之间找位置。

三、何时想：把深思交给一个廉价的开关

3.1 算法拆解 ②：根 token 策略优化（RPO）

一句话直觉：模型是否深想，其实在它写下 <think> 之后的第一个换行符时就已经"决定"了；那就只训练这一个 token。

生活类比：一位经验丰富的医生拿到病例，第一反应就知道"这个看一眼就行"还是"需要做全套检查"。RPO 不教医生怎么做检查，只训练他做这个第一判断。

逐步流程 [2]：

1. 约定开关：在模板里，<think> 后接 \n 进入长推理（Long），接 \n\n 立即关闭思考块进入短作答（Short）。两者在分词器里是不同的 token，因此"选哪种模式"成了一个清晰的二选一动作；
2. 轻量 SFT：用模型自己在两种模板下各自答对的样本做一轮监督微调，让它学会两种风格，且在默认模板下准确率不下降；
3. 平衡采样：每道题采样 n=16 条，其中 8 条强制 Short、8 条强制 Long；
4. 按组计奖励：统计 Short 组答对数 C_S、Long 组答对数 C_L。同一组的每条轨迹都拿到该组的成功计数作为奖励（Short 乘以权重 α_S，论文设 α_S = 1 + 1/n，稍微偏向 Short）；
5. 按模式标准化优势、只更新根 token：在一个批次内按模式分别求均值和标准差得到优势值，梯度只回传到根 token 的对数概率上，其余 token 全部屏蔽，另加对 SFT 参考模型的 KL 约束；
6. 部署时设阈值：读取根位置选 Short 的概率 p_short，若 p_short ≥ τ 走 Short，否则走 Long。τ 越大，路由越保守。

关键公式：

p_short(x) = p_θ( "\n\n" | x, <think> )
路由：p_short(x) ≥ τ → Short；否则 → Long
奖励：r_i = α_S·C_S(x)（若第 i 条是 Short）或 α_L·C_L(x)（若是 Long）

• x：输入问题；θ：模型参数；
• C_S(x)、C_L(x)：同一题 8 条 Short、8 条 Long 中答对的条数；
• α_S、α_L：两种模式的奖励权重；
• τ：上线时可调的阈值旋钮。

小算例（来自论文）：R1-Distill-1.5B 在 MATH500 上，τ=0.75 时把 62 道题分到 Short（这部分正确率 93.6%），其余 438 道走 Long（82.4%），整体 83.8%，与原始的 83.6% 持平 [2]。

为什么有效、何时失效：RPO 把"策略优化"从几千个 token 压缩到 1 个 token，峰值显存随之大降：1.5B 模型在 8 路并发、13K 上下文下，标准 GRPO 需要 146.86 GiB，RPO 只需 41.40 GiB [2]；按 8B 模型折算，总训练算力约为 AdaptThink 的 0.02 倍 [2]。在 Qwen3-8B 上，平均"思考比例"从 57.3% 降到 44.8%，Pass@1 从 63.8% 到 62.0%，作者定义的综合指标 RAR 从 0.90 改善到 0.72 [2]。

它的局限也很清楚：第一，它只决定"想或不想"，不管"想多久"；第二，作者自己承认根位置置信度对题目难度的校准偏弱，并对训练批次的难易构成敏感；第三，在 Qwen3-1.7B 和 Qwen3-32B 上，RPO 只做到与 SFT 相当而非更优 [2]。误路由统计也很有意思：τ=0.75 时，"本可短答却走了长推理"的有 77 题，"该深想却短答了"的只有 4 题 [2]——这个路由器是偏保守的，牺牲一部分节省来换安全。对生产系统而言，这恰恰是比较可取的默认偏向。

与之互补的是 Rouge [3]：它不是在"想 / 不想"之间二选一，而是用一个路由策略把固定的采样预算分配到多种推理格式上，基础模型用 GRPO 按样本奖励优化，并用"按排名、偏好更短正确解"的奖励鼓励简洁；路由策略通过闭式的 KL 正则策略改进步骤更新，再蒸馏进神经路由器。我们目前只读到其摘要，细节有待全文公开后验证。二者的思想背景都可以追溯到 2025 年的 Thinkless [12]，它用 <short> 与<think> 两个控制 token 选择模式，并把控制 token 的损失与回答损失解耦，报告长链思考的使用量减少 50%—90%。

3.2 算法拆解 ③：配对结果引导的推理分配（PORA）

单轮问答里，"想不想"只影响这一次回答。到了多步智能体任务，问题变得更复杂：这一步省下的预算，可能让后面的一步写错数据库，再花更多步去修复。PORA [4] 把这个"跨步算账"的问题做成了一个可学习的小控制器。

一句话直觉：从同一个状态出发，一条分支省着想、一条分支多想，然后都跑到任务结束，比较最终结果和总花费——用这个"双胞胎实验"的差值去训练一个小模型，让它学会预判。

生活类比：像 A/B 测试，但对象是"同一时刻的同一个决策"。如果你能把时间倒回某个节点，让自己分别"仔细核对一遍"和"直接提交"，再看两个平行世界各自的结局，你很快就会知道哪些节点值得多花时间。

逐步流程 [4]：

1. 采集检查点：在当前策略下跑任务，记录若干决策点 i 的状态（可见历史 s、剩余预算 b、剩余轮次 N）；
2. 配对分支：对每个检查点，把历史、环境、记忆、预算和随机状态原样复制到两个隔离分支：Preserve 分支本步只给短额度（AppWorld 与 BFCL 上为 128 token），Spend 分支给长额度（1,024 token）；之后两条分支按同一策略各自跑到结束；
3. 计算标签：质量差 q = Y_l − Y_s（多想的最终质量减去少想的），处理量节省 g = (C_s − C_l)/Z（少想的总处理量减去多想的，再归一化）；
4. 训练小控制器：冻结的文本编码器把任务、证据计划和已返回的观测编码成特征，再接两个独立的小 MLP 分别预测 Q̂≈q、Ĝ≈g；另有一项方向损失，同时学习两个"剩余预算价格"p_O、p_H。整个控制器只有 2,400—4,960 个可训练参数；
5. 在线决策：每一步只算一次得分 U，U ≥ 0 就多想，否则省着。推理时不再执行任何配对分支。

关键公式：

U = Q̂ + λ·Ĝ − p_O·O − p_H·H        （U ≥ 0 → Spend；U < 0 → Preserve）

• ̂Q：预测"这一步多想"能让最终质量提高多少；
• Ĝ：预测"这一步多想"能让后续总处理量节省多少（多想有时反而更省，因为避免了返工）；
• λ：质量与成本的折算系数（BFCL 等设置下为 0.05）；
• O：本步多花的额度相对剩余预算有多"重"，并按剩余轮次加权；
• H：多花之后，剩余预算距离"未来每轮都给短额度"还差多少；
• p_O、p_H：学出来的正价格，相当于"预算紧张时的惩罚力度"。最后一步时 O 与 H 都为 0。

小算例（示意数字）：在日历任务中，控制器预测本步多想能使最终质量提高 0.10（Q̂=0.10），并因减少后续修复节省 0.20 的归一化处理量（Ĝ=0.20），λ=0.05，则收益项为 0.10+0.01=0.11。若此时预算尚宽裕，O=0.2、H=0，学到的 p_O=0.3，则 U = 0.11 − 0.06 = 0.05 ≥ 0，选择多想；若预算已紧张，O=0.6、H=0.4、p_H=0.2，则 U = 0.11 − 0.18 − 0.08 < 0，选择省着。

为什么有效、何时失效：配对设计的好处是"控制变量"——两条分支只在这一步的额度上不同，差异可以干净地归因到这一个决策上。论文结果显示：在 BFCL 记忆类的三种后端上，PORA 分别达到 77.4%、81.3%、81.3%，比对比方法中的领先者高 17.4—32.9 个百分点；AppWorld 上 30.9% 对 27.3%；在代码和数学任务上，它达到或超过"每步都长推理"的效果，同时分别减少 50.6% 的执行模型 token 和 31.2% 的模型请求 [4]。消融也支持其设计：把训练标签在状态间打乱，代码任务成功率下降 7.9 个百分点；把学到的价格整体乘 0.5，向量记忆任务从 81.3% 降到 72.9% [4]。

但我们必须同时读到作者在附录中自报的统计结果：四项主要质量对比经 Holm 校正后的 p 值均为 0.25 [4]。部分控制器仅用不超过两打的配对样本拟合，每个分支只跑一次，标签是带噪的单样本估计；配对采集要求环境可以完整恢复，并非所有环境都能做到；控制器只在两档额度之间选择；在附录的其他执行模型上，各策略差距更小 [4]。换言之，PORA 提出了一个干净、可解释的框架，但其效果的统计确定性还不足以支撑"普遍更优"的结论。

四、怎么想：把思考搬进隐空间

如果"何时想"解决的是开关问题，那么"怎么想"关心的是：当确实需要深想时，能不能不把每一步都写成文字？这条线的起点是 2024 年底的 COCONUT [11]：它把模型最后一层的隐状态直接作为下一步的输入嵌入，不再解码成词，作者认为这种"连续思维"可以同时编码多个候选下一步，类似广度优先搜索。10 月的三项工作沿不同方向推进了这一思路。

4.1 INTACT：冻结主干，外挂一个"思考编码器"

INTACT [5] 的出发点很务实：很多企业已有经过对齐与验证的主干模型，不希望为潜在推理去改它的权重。它的做法是保持主干冻结，在外面接一个 6 层的 Transformer 编码器，读取主干最后一层的隐状态，按顺序生成 K=4 个块、每块 c=4 个向量，共 16 个潜在位置，作为前缀插入主干，主干再据此直接写答案。

训练分两阶段：第一阶段是"逐步替换蒸馏"，老师是写出文字步骤的主干，学生是用潜在块替换部分步骤的主干，二者在共享的后续文本上用 KL 散度对齐；同时用学生自己的采样做"保持项"，防止输出崩坏——消融显示去掉这一项会导致输出崩溃。第二阶段用 GRPO 式的组内标准化奖励，只更新编码器 [5]。

结果方面，Llama-3.2-3B 上 GSM8K 从冻结主干的 75.8% 提升到 79.3%，Qwen2.5-3B 从 77.6% 到 79.7%；Llama-3.1-8B 从 72.3% 到 83.6%，生成长度从 754 个 token 降到第一阶段的 269、第二阶段的 182 [5]。端到端时延从 4,180 ms 降到 3,386 ms（−19%），其中构造潜在前缀花 127.5 ms，但少生成 65 个 token 足以抵消 [5]。一个有说服力的对照是：如果给编码器喂一道"错误的题目"，8B 模型的 GSM8K 会降到 70.9%，低于冻结主干的 72.3%——说明潜在前缀确实携带了与题目相关的信息，而不只是"多给了几个位置" [5]。局限在于：1B 模型上不如增强 SFT（48.7% 对 61.6%），在 3B 以上 Nemo-SFT 也比第二阶段高 2.1—3.7 个百分点；潜在向量不可读；答案仍需自回归生成 [5]。

4.2 LLoCoT：用循环 Transformer 并行精炼一个"思考草稿区"

LLoCoT [6] 的思路更激进：既然串行生成是时延的主要来源，那就让所有潜在槽位同时被精炼。它设置 K=64 个可训练的种子槽位，用一个共享的 Transformer 循环 R=2 轮，每轮并行更新所有槽位，输出高斯分布的均值和方差，均值经投影回馈，答案解码器再以这些潜在向量为条件生成代码。训练目标来自一个把文字推理轨迹编码为潜在序列的 NF-CoT 变分自编码器 [6]。

在 Qwen3-1.7B 上，四个代码基准的平均分 63.6，对比推理 SFT 的 63.2、NF-CoT 的 62.0、基座 57.3 [6]。效率上的差距更醒目：H100 上首个答案 token 的等待时间 0.09 秒，对比推理 SFT 的 3.17 秒；端到端 11.47 秒对 15.16 秒 [6]。但作者也坦白：这是"并行化"而非"减少计算"，峰值显存和 FLOPs 反而更高；循环轮数并非越多越好（无回馈版本 R=6 时降到 61.2）；只验证了 1.7B 模型和代码任务 [6]。

4.3 算法拆解 ④：COMPASS——不写思维链，直接调节少数注意力头

一句话直觉：模型内部其实有一条"答对 vs 答错"的方向；在少数关键的注意力头上沿这个方向轻推一下，模型就会自己展开简短的推导。

生活类比：像调音台。你不重新录制整首歌（不改权重），也不让歌手多唱几段（不写长思维链），只把几个关键推子往上推一格，整首歌的听感就变了。关键是找对是哪几个推子。

逐步流程 [7]：

1. 找方向：用"直接作答"的提示跑一批训练题并判对错；在每个注意力头上，取最后一个提示 token 处的激活，正确样本的均值减去错误样本的均值并归一化，得到单位方向 θ；同时记录该头激活在θ 上投影的标准差 σ；
2. 选头：比较正确答案与错误答案的"首 token 分布"之差 Δp（论文观察到正确答案的首 token 集中在 "To"，错误答案集中在 "$"），把它通过输出词表矩阵映射回层输入空间，再与每个头在 θ 方向上的推动量做内积打分；在得分集中的末端层里挑选少数头；
3. 推一把：推理时，给选中头的输出加上 α·σ·θ，其余头不动。

关键公式：

θ = normalize( μ₊ − μ₋ )
s = ⟨ W_Uᵀ · Δp ,  W_O · σ · θ ⟩
干预：head_output ← head_output + α · σ · θ

• μ₊、μ₋：某个头在答对、答错样本上的平均激活；
• θ：从"错"指向"对"的单位方向；σ：该头沿 θ 的自然波动幅度，用来让不同头的推动量可比；
• W_O：把头输出写回残差流的矩阵；W_U：把隐状态映射到词表的矩阵；
• Δp：正确与错误答案首 token 概率分布之差；
• s：这个头"推一把"后能把输出往正确方向带多远；
• α：统一的推动强度。

小算例（来自论文）：Llama-3.1-8B 被问"Mary 有 30 只羊，一半每天产 1 kg 奶，另一半每天产 2 kg，共多少？"直接作答输出"15 kg"（错，3 个 token）；经 COMPASS 干预后，模型以 "To find the total milk collected" 开头，几行推导后得到正确答案 45 [7]。

为什么有效、何时失效：关键洞见在于"可解码 ≠ 可干预"。按"哪个头最能区分对错"来选头的 ITI 方法反而有害：MATH-500 上 Llama 从 40.8% 降到 23.6%，Qwen3-4B 从 53.8% 降到 30.6% [7]。COMPASS 改为按"对输出的因果影响"选头，发现有效的头集中在末端少数几层（Llama 第 32 层，Qwen3 第 35—36 层）。GSM8K 上，Llama-3.1-8B 从 66.8% 到 83.7%（CoT 为 83.4%），Qwen3-4B 从 76.2% 到 89.8%（CoT 92.3%），Gemma4-12B 从 49.4% 到 88.0%（CoT 96.1%），生成 token 比 CoT 少 20%—70%，如 Qwen3 在 SVAMP 上 68 对 224 [7]。不重新拟合直接迁移到 GSM-Plus 也有效 [7]。失效边界在于：方向的构造依赖二元对错标签，作者没有给出机制层面的解释，在 Gemma 的 SVAMP 上也不如 Fractional Reasoning [7]。

4.4 冷水：潜在链真的在"推理"吗？

潜在推理一个突出的风险，是我们把"读得出信息"误当成"在用这些信息"。Qiu 等人 [8] 在 21 种"模型×任务"配置上（ProsQA、PrOntoQA、GSM8k；GPT-2 与 Llama-3.2-1B-Instruct），对 COCONUT、CODI 与加入逐步监督的 SIM-CoT-COCONUT 做了删除、替换、探针和轨迹追踪四类检验。结论相当清醒：

• 在逻辑任务上，COCONUT 的答案在潜在链开始之前就已可读出，状态在最初几个槽位就稳定下来，删除无逐步监督的 COCONUT 链，在逻辑任务上最多只改变 3 个答案，但在算术任务上会掉点 [8]；
• 逐步监督能让模型依赖潜在链，并把各步骤有序地排布在槽位上；但即便是有序的链，也可能只是"占位符"——删除它会掉点，把内容换成噪声、均值或别的题目的向量却不改变答案 [8]；
• 在算术任务上，所有被测方法都依赖链的内容 [8]。

作者据此提出一个分类学：把"链里写了什么"与"模型怎么用它"分开讨论，并区分六类潜在链 [8]。这对上文三项工作是一种必要的校准：INTACT 的"错题前缀"对照、LLoCoT 的"均值回馈"消融、COMPASS 的因果选头，恰好都是在回答"有没有被用"，而不只是"有没有信息"。这也是我们判断一项潜在推理工作是否可信的一个实用标准。

五、训练侧：让探索本身也省钱

前面讨论的都是推理阶段的算力分配。训练阶段同样存在"浪费"：在可验证奖励强化学习（RLVR）里，GRPO 对每道题独立采样一组回答，模型可能反复采到同一类错误解法。

5.1 算法拆解 ⑤：重试感知策略优化（ReAPO）

一句话直觉：答错了就告诉它"错了，换个思路"，让它在同一组里接着试；并且按"第几次才答对"来分配功劳。

生活类比：老师批改作业时，不是让学生把同一道题独立重做十遍，而是在第一遍旁边写"不对，再想想"，学生带着上一次的失败重做。这样第二遍很少会重复第一遍的错误。

逐步流程 [9]：

1. 对每道题起一组 G 条采样，每条先独立作答；
2. 验证器判对则结束；判错则把这次回答和一句固定提示（"Your answer is wrong. Reflect on your previous answer and try something else."）拼进上下文，让模型再答一次；
3. 重复直到答对、达到最大尝试次数 K 或耗尽 token 预算；
4. 把这组里所有尝试的奖励放在一起做 GRPO 式标准化，每次尝试按自己的奖励获得优势值——失败的尝试不会因为后面答对而"沾光"；
5. 用这些优势值做策略梯度更新。

关键公式：目标是最小化"答对之前失败的次数"的期望 E[τ−1]，τ 是首次答对的尝试序号。作者证明，在"后续成功期望次数与尝试序号无关"的简化假设下，对所有尝试奖励做组内标准化得到的优势，在期望上与该目标的梯度成正比 [9]。

Â(i,j) = ( r(i,j) − mean(A) ) / std(A)，A = 本题所有尝试的奖励集合

• r(i,j)：第 i 条采样第 j 次尝试的奖励（对为 1，错为 0）；
• A：同一道题全部尝试的奖励集合。

小算例（示意数字）：3 条采样，第 1 条两次尝试（错、对），第 2 条一次就对，第 3 条两次都错。奖励集合 A = {0,1,1,0,0}，均值 0.4。答对的尝试得到正优势，答错的尝试得到负优势，第 1 条的首次失败不会因为第二次答对而被奖励。

为什么有效、何时失效：重试只在失败后发生，因此难题自动获得更多采样，易题几乎不额外花钱。在 Qwen3-0.6B 上，ReAPO 超过了组大小翻倍或训练步数翻倍的 GRPO，达到它们峰值准确率时分别少用 39% 和 31% 的生成 token [9]；第二次尝试几乎从不重复第一次的答案 [9]。局限：把最大尝试次数提到 3 收益有限，因为训练后期超过 90% 的轨迹在两次之内就成功；实验只覆盖数学和科学推理，尚未在代码和智能体场景验证 [9]。

同期的 SEPO [10] 从另一个角度处理探索瓶颈：当策略采样不到正确解时，用标签去"引导"策略产生正确推理，再以"看到这条引导推理的当前策略"作为自教师，把新发现的解法蒸馏回策略本身。作者报告在科学、工具调用和复杂逻辑推理上，在相同训练时间或步数下表现更好。我们目前仅读到摘要，具体数字未纳入。

六、横向对比：八类路线的取舍

把这张表纵向读，可以看到一条清晰的演进逻辑：决策点在前移（从事后到生成前），决策者在变小（从整个模型到一个 token、一个几千参数的控制器、几个注意力头），而可解释性出现了分化——路由与定价类方法让"为什么多想"变得可读，潜在推理类方法则让"想了什么"变得更难读。

七、我们的观点

以下是我们基于上述文献作出的判断，属于观点而非文献结论。

第一，"过度思考"被高估为一个问题，"思考分配"被低估为一个系统工程。 STP 的数据显示冗余与退化几乎不相关 [1]。把所有冗余都视为浪费并一律压缩，在 MATH500 这类任务上能省很多 token，在 GPQA 这类任务上却可能误伤真正的纠错过程。真正需要的是一个按任务、按状态、按成本动态调整的分配层，它更接近传统系统里的调度器，而不是模型里的某个技巧。

第二，路由器"偏保守"是优点，不是缺陷。 RPO 的误路由集中在"本可短答却深想" [2]，PORA 的价格在预算紧张时才起作用 [4]。在高风险业务中，"多花一点钱换稳妥"往往是合理的默认值。我们认为下一阶段的关键指标不是平均节省了多少 token，而是"该深想却没深想"的比例能否被压到业务可接受的水平之下，并且可被监控。

第三，潜在推理的效率红利真实存在，但它与可审计性之间存在张力，短期内不宜用于需要留痕的决策。INTACT 降低了 19% 时延 [5]，LLoCoT 把首 token 等待从秒级降到 0.09 秒 [6]，这些数字有吸引力。但分类学研究表明，潜在链可能只是占位符，"读得出信息"不等于"用了这些信息" [8]。在信贷审批、反欺诈等需要向监管和客户解释的场景，我们更倾向于把潜在推理用在不需要对外解释的中间环节（如检索重排、特征预筛），而把最终决策保留在可读的推理或规则之上。

第四，COMPASS 一类的激活调节被低估了。它不改权重、只需少量带标签样本、作用在少数可定位的头上 [7]，这在工程上意味着可以作为一个"开关"按场景启用，并可以对其做定向的回归测试。它的风险在于缺乏机制解释，但相比于重新训练整个模型，它的影响面更小、更容易回滚。

第五，一个开放问题：谁来为"多想"定价？ PORA 用学到的价格把预算压力内化进决策 [4]，这是一个好的开端。但在企业里，价格不只是 GPU 成本，还包括时延 SLA、审计成本、错误决策的损失。如何把这些异质成本统一成一个可学习、可解释、可被业务方调节的价格，是我们认为在 1—3 年内值得重点投入的方向。

八、未来展望

6—12 个月

• 从离线前沿走向在线逼近。 STP 给出了动态早停 14.2% 预算即可追平的理论空间 [1]，下一步会出现大量尝试用轻量信号（置信度、探针、步骤级奖励）在线逼近这一前沿的工作，OTBench 这类统一评测会成为比较基准。
• 路由与定价组件化。类似 RPO 的根 token 路由、PORA 的外置控制器，会被封装为推理服务框架中的可配置组件，与模型本身解耦。
• 潜在推理的"可用性检验"成为标配。删除、替换、错题前缀等对照实验会成为潜在推理论文的常规部分 [5][8]。

1—3 年

• "推理预算"成为与上下文长度并列的一等资源。模型接口可能显式暴露推理预算、价格与停止条件，由业务方设定。
• 混合推理形态。文字推理负责需要留痕的关键步骤，潜在推理负责高频、低风险的中间计算，二者在同一系统里由路由器调度。
• 训练与推理的预算统一优化。 ReAPO、SEPO 这类训练期的探索效率方法 [9][10]，与推理期的路由方法有望在同一框架下联合优化。

对金融风控与企业落地的含义

金融风控天然是一个"成本敏感、时延敏感、可解释性敏感"的三重约束场景。大多数申请是规则清晰的常规件，少数是需要深度核查的复杂件。这与"自适应推理"的思想高度契合：常规件走快速通道，复杂件才调用深度推理与多源证据核查。同时，每一次"为什么要深想"的决策本身也应当被记录、可以被复盘。

九、落地启示

1. 先度量，再优化。在自己的业务数据上，用类似 STP 的截断探测 [1] 测出冗余比例与退化幅度，分清"废话多"和"想错了"两类问题，再决定压缩策略。
2. 从成本较低的开关做起。题目级路由（如根 token 阈值 [2]）实现成本低、行为可预期，适合作为第一步；把阈值作为可调参数交给业务方。
3. 把"何时深想"写进日志。记录路由决策、预测收益与预算压力（如 PORA 的 Q̂、Ĝ、O、H [4]），便于事后审计与回归分析。
4. 潜在推理先用在内部环节。在需要对外解释的决策链上，保留可读的推理或规则路径。
5. 对任何"节省 X% token"的结论，追问三件事：统计显著性如何、在哪个模型规模上成立、误路由偏向哪一侧。

以弘犀智能所关注的风控决策与智能建模为例，这些思路可以自然地嵌入现有的分层决策流程：在已有的规则与模型分流之上，增加一个"推理预算层"，让大模型只在需要的地方深想，并把每一次深想的理由保留下来。

十、结语

2026 年 10 月的这批工作共同指向一个转变：推理能力的竞争，正在从"谁能想得更长"转向"谁能把每一份算力花在刀刃上"。STP 给出了尺子，RPO 与 PORA 提供了开关和价签，INTACT、LLoCoT 与 COMPASS 探索了更紧凑的思考形态，分类学研究则提醒我们不要把"看起来在想"当成"真的在想"。对企业而言，真正的门槛不在于选用哪一个算法，而在于能否把"推理预算"当作一种需要度量、分配、审计的资源来管理。

参考文献

1. [1] Weixin Guan, Liang Li, Shiyu Xie, et al. Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models. 中国科学院信息工程研究所等, 2026-10-09. https://arxiv.org/abs/2610.13570
2. [2] Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee. Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking. LG AI Research, 2026-10-13. https://arxiv.org/abs/2610.17767
3. [3] Tien-Phat Nguyen, Truong Nguyen, Thanh-Thien Le, et al. Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs. 2026-10-21.（仅读摘要）https://arxiv.org/abs/2610.30351
4. [4] Bo Yan, Qi Zhang, Zhen Tan, Tianlong Chen, Song Wang. PORA: Learning When More Reasoning Pays Off for LLM Agents. 2026-10-19. https://arxiv.org/abs/2610.27119
5. [5] Kutay Tire, Atula Tejaswi, Haris Vikalo, Sujay Sanghavi. INTACT: Inducing Latent Reasoning on a Frozen Backbone. UT Austin, 2026-10-14. https://arxiv.org/abs/2610.19568
6. [6] Gerard Grau García, Arnau Padrés Masdemont, Niccolò Grillo, et al. From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers. Qualcomm AI Research 等, 2026-10-08. https://arxiv.org/abs/2610.11472
7. [7] Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy. COMPASS: Finding Where Reasoning Lives in Language Models. 2026-10-05. https://arxiv.org/abs/2610.07469
8. [8] Jingjie Qiu, Sheldon Yu, Xunyi Jiang, et al. Does Latent Chain-of-Thought Actually Reason? A Single, Unifying Taxonomy for Latent Reasoning. 2026-10-15. https://arxiv.org/abs/2610.21182
9. [9] Nghi Dao, Calder Morton-Ferguson, Noah Golowich, Adam Block. ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning. 2026-10-20. https://arxiv.org/abs/2610.28770
10. [10] Wenhang Shi, Yiren Chen, Zhe Zhao, et al. Self-Evolution Reasoner: Continuous Optimization via Policy-Intrinsic Exploration and Exploitation. 2026-10-25.（仅读摘要）https://arxiv.org/abs/2610.34137
11. [11] Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, et al. Training Large Language Models to Reason in a Continuous Latent Space（COCONUT）. 2024-12-09.（背景文献）https://arxiv.org/abs/2412.06769
12. [12] Gongfan Fang, Xinyin Ma, Xinchao Wang. Thinkless: LLM Learns When to Think. 2025-05-19.（背景文献）https://arxiv.org/abs/2505.13379

弘犀研究 · 前沿 AI 深度综述 · 弘犀智能