长程智能体的“记功难题”：一次成败，如何分给几十步决策？（深度版）

一、背景：为什么“一个分数”不够用

当前智能体强化学习的主流起点是 GRPO 一类的组相对方法 [1]：对同一个问题采样一组轨迹，用每条轨迹的最终得分减去组内平均，得到一个“优势值”，再把这个值原样广播给轨迹里的每一个词元。对一道几百词元的数学题，这样做问题不大；但对一个要搜索十几次、调用几十次工具的智能体，同一个优势值意味着：成功轨迹里那几次走错的检索也被奖励了，失败轨迹里那次关键的正确检索也被惩罚了。

TWICE 的作者给出了一个直接的度量。据论文数据，他们在 Qwen2.5-3B 训练到第 200 次更新时，对 400 道留出的多跳问题中访问到的 1,036 个决策，用每个决策 128 次补充采样估计“真实优势”，再看各种方法给出的信用方向对不对：在优势不可忽略的决策里，GRPO 轨迹级信用方向错误的比例为 31.8%；树搜索兄弟节点为 24.9%，独立反事实分支（CRR）为 21.7%，VinePPO 为 18.6%，TWICE 为 6.9% [4]。三成决策“记反了功”，这就是长程训练效率低的一个重要原因。

可以把这个问题想象成一支足球队：只看比赛的最终比分，就给每位球员打同样的分数。赢球时，那位丢了球的后卫也拿了高分；输球时，那位进了球的前锋也被扣了分。比赛越长、传球越多，这种“平均主义”带来的误差就越大。智能体的轮次越多，同样的问题越突出——这也是为什么 10 月的工作几乎都把“长程”写进了标题。

此前已有两条经典思路：

• 补采样估值：VinePPO 从中间状态重新采样多条后续，用蒙特卡洛回报估计该状态的价值 [2]。准确，但贵。
• 同状态比较：GiGPO 在一组轨迹中找到“落到同一环境状态”的步骤，把它们放在一起做组内比较，得到步级优势 [3]。便宜，但只有状态重复时才可用。

10 月的研究可以按“信用从哪里来”分成五类：

1. 分支反事实：重新跑一遍，看换个决策结果会怎样 [4][8]。
2. 共享与校准：复用批内已有的后续证据，校准单条后续带来的噪声 [7]。
3. 学习型评论家：训练一个价值网络预测“从这里继续能否成功”[8][9][10]。
4. 自生成与证据信号：让模型自己指出关键轮次，或用数据中的证据标注构造过程奖励 [5][15]。
5. 蒸馏与更新侧修正：用教师或事后技能提供逐词元信号 [12][13][14]，或修正“信用如何落到参数更新上”[6][10]。

二、算法拆解 ①：TWICE——同样的运气，不同的选择

2.1 直觉

要知道“第 5 轮这次检索值多少分”，直接的办法是做反事实：把第 5 轮换成另一个检索词，其余照常跑完，比较两次结果。问题在于，“其余照常”很难做到。分支轨迹后面每一步的采样都是重新抽的随机数，所以两条轨迹的结果差异里，混着“第 5 轮换了”的效果，也混着“后面运气不同”的噪声。要分辨一个小优势，就得跑很多次。

TWICE（Twin-World Credit Estimation，2026-10-22）[4] 的观察是：在智能体搜索任务里，检索器、语料库、评分器都是确定的，一条轨迹完全由“策略的决策 + 采样噪声”决定。那么只要让分支轨迹在后续步骤读到完全相同的噪声，就能造出一个“孪生世界”：同样的运气，只有一个决策不同。

2.2 类比

比较两位厨师的手艺，更公平的方法是给他们同一批食材、同一口锅、同一个灶台。如果一个用新鲜蔬菜、一个用隔夜蔬菜，菜好不好吃就说不清是手艺还是食材。TWICE 做的，就是给反事实分支“同一批食材”。

2.3 步骤

1. 给噪声编号。采用 Gumbel-max 采样：每个词元取 argmax[logits/τ + ξ]。噪声 ξ 不再按全局词元计数生成，而是由键 κ =（回合 e，轮次 t，行号 ℓ，行内位置 j）通过计数器式伪随机函数生成。
2. 造孪生。在第 t 轮抽一个替代决策 y′，执行后，后续每一轮都读取与原轨迹相同键的噪声。由于键按“轮次 + 行”编号，即使第 t 轮长度变了，后续轮次仍能对齐；行内出现分歧，也会在下一行重新同步。
3. 算差值。轮次信用 D_t = U − U′_t（原轨迹结果减孪生结果）。
4. 分配预算。用平方根规则 q_t ∝ √(η̂_t / c_t) 决定在哪些轮次造孪生：预测两边结果越可能不同、成本越低的轮次，分配越多；再用 Horvitz–Thompson 估计校正抽样概率。
5. 更新策略。把轮次优势用于原轨迹（演员采样的轨迹）的策略梯度更新，部署时只用演员本身 [4]。

for episode e in batch:
traj = rollout(policy, keys=(e, t, line, pos))     # 键控 Gumbel 噪声
for turn t in traj:
if rand() < q_t:                               # q_t ∝ sqrt(eta_t / cost_t)
y_alt = sample(policy_old, state_t, fresh_keys)
twin  = replay_from(t, y_alt, same_keys_after_t)
D_t   = traj.U - twin.U
A_t   = D_t / q_t                          # Horvitz–Thompson 校正
update(policy, traj, A)

2.4 理论与结果（据论文数据）

论文证明三点 [4]：孪生信用在任何耦合质量下都是无偏的；它的方差等于独立反事实的方差乘以（1 − ρ），ρ 是孪生与原轨迹结果的相关系数；在耦合条件下，分辨大小为 Δ 的优势所需的采样次数从 Θ(Δ⁻²)降到 Θ(Δ⁻¹)。实测 ρ̄ = 0.57，均方误差相应降低到 1 − ρ̄ = 0.43 倍。

在七个问答基准上，TWICE 让 Qwen2.5-3B 和 7B 的平均精确匹配比 GRPO 分别高 5.3 和 4.5 个百分点，优于九个强化学习基线，辅助词元比 VinePPO 少 68%，每次更新耗时 152 秒对 262 秒；键控采样只是一个对数几率处理器，生成时间约增加 2%。与真实优势的相关系数为 0.72，VinePPO 为 0.51 [4]。

2.5 小例子（示意）

一个两跳问题：“《X》导演的出生地是哪里？”第 1 轮检索“《X》导演”，第 2 轮检索“某某出生地”。原轨迹答对，U = 1。在第 1 轮换成检索“《X》上映时间”，后续噪声不变，孪生轨迹答错，U′ = 0，于是 D₁ = 1：第 1 轮记功。如果换成“《X》导演是谁”这类同义检索，孪生同样答对，D₁ = 0：说明这一轮的具体措辞并不关键。

2.6 何时失效

孪生世界依赖“环境确定”这个前提。检索器、语料库、评分器都确定的搜索任务满足它；如果工具调用会返回带时间或随机性的结果（实时网页、并发系统、在线交易），后续“同样的运气”就无法复现，ρ下降，方差优势随之缩小 [4]。此外，TWICE 需要能修改采样器的推理服务，对于只能调用闭源接口的场景不适用。

三、算法拆解 ②：Self-Credit——让模型自己指出关键轮次

3.1 直觉

长程智能体为了不撑爆上下文，常会定期“压缩”：把前面的交互总结成一段摘要。Self-Credit（2026-10-20）[5] 的想法是：既然模型反正要写摘要，那就让它在摘要里引用包含关键证据的轮次（例如“根据第 1、3 轮的检索结果……”）。这些引用就是模型自己给出的信用。

但模型的自评不可全信。直接优化模型生成的反馈，容易出现投机与不稳定。Self-Credit 用组内重标定来过滤：把同一问题的多条轨迹放在一起，按相似动作匹配轮次，看被引用的动作在成功轨迹和失败轨迹中分别出现了几次。

3.2 类比

项目复盘时，每个人都说自己的工作很关键。可靠的做法是对比：成功的项目里都有、失败的项目里没有的那一步，才是真正的关键；成功和失败的项目里都有的那一步，只是“标准动作”，不该额外记功；只在失败项目里反复出现的那一步，要重点反思。

3.3 步骤与公式

对每个被引用、可跨轨迹匹配的轮次 t，确定权重 w_t（据论文设定 [5]）：

然后用权重替换 GRPO 的均匀广播：同一轮内所有词元得到 Â_{t,ℓ} = Â · w_t。成功轨迹中的摘要轮和最终答案轮自动视为被引用；摘要轮和答案轮不参与跨轨迹比较 [5]。

# 简化示意，匹配与计数细节见原文 [5]
for prompt in batch:
G = rollouts(policy, prompt, compaction_with_citations=True)
A = grpo_advantage(G)
for turn t cited in any rollout:
succ, fail = count_matched(t, G.success), count_matched(t, G.failure)
if succ > 1 and fail == 0:   w[t] = w_s
elif fail > 1 and succ == 0: w[t] = w_f(step)      # 退火
elif succ > 0 and fail > 0:  w[t] = 1.0
else:                        w[t] = beta if A > 0 else 1.0
token_adv = A * w[turn_of(token)]

3.4 结果（据论文数据）

在 BrowseComp-Plus 上，Self-Credit 让 Qwen3 8B 和 32B 分别比基座提高 37.0 和 36.2 个百分点，比最强的智能体强化学习基线高 8.5 和 5.6 个百分点；在 GAIA 和 xBench-DeepSearch 上分别比最强基线高 4.9 和 4.7 个百分点。消融显示，组内重标定，尤其是对失败轨迹中重复轮次的处理，在不同模型规模上都很重要 [5]。

3.5 何时失效

方法依赖“轮次可以跨轨迹匹配”：搜索类任务中，同一问题下的检索动作往往相似，匹配率高；在动作空间很大、每条轨迹都很独特的任务里（如开放式写作），可匹配的轮次少，重标定就难以触发。此外，引用本身由模型生成，模型能力较弱时引用质量会下降，权重的可靠性随之降低 [5]。

四、算法拆解 ③：EMPO——同一个动作，不该有两种更新方向

4.1 问题：信用对了，更新也可能错

前两种方法都在回答“每一步该记多少功”。EMPO（Effect-Marginal Policy Optimization，2026-10-21）[6] 指出了一个更隐蔽的问题：就算信用算对了，它落到参数更新上的方式也可能错。

在 ALFWorld 这样的家务环境里，模型可以写“Go to fridge 1”，也可以先写一句“我先看看冰箱”再输出同一个动作。两种文本的执行效果完全相同，但在 PPO 类目标中，它们各有自己的概率比率。如果一条轨迹后来成功、另一条失败，同一个动作就会因为“说法不同”被一边推高、一边压低。作者把这称为信用—更新错位，并证明即使策略上下文和执行效果固定，信用与文本的配对方式也会直接改变更新方向 [6]。

4.2 类比

两位员工用不同的措辞提交了同一份报销单，一位被表扬、一位被批评，理由只是“这次项目碰巧成了/没成”。下次大家学到的不是“该不该报销”，而是“该用哪种措辞”——这显然不是我们想教的东西。

4.3 步骤

1. 在同一局部比较组里，把执行效果相同（映射到同一规范动作）的回复归为一类 K。
2. 对每个回复计算长度归一化的比率：q_i = exp((1/T_i)·Σ_t Δlog p_θ,t)。
3. 把同类回复的比率取平均，得到一个共享的“效果比率” q_K = (1/|K|)·Σ_{i∈K} q_i。
4. 用共享比率 q_K 与原有优势 Â_i 组成目标 ℒ(q_K, Â_i)。轨迹、奖励、优势估计器全部不变，不需要额外评论家或采样 [6]。

groups = group_by_canonical_effect(responses)        # "Go to fridge 1" 的各种说法
for K in groups:
q = [exp(mean(logp_new[i] - logp_old[i])) for i in K]
q_K = mean(q)
for i in K:
loss += clipped_objective(q_K, A_hat[i])      # 共享比率，保留各自优势

4.4 结果（据论文数据）

在 Qwen2.5-1.5B-Instruct 上，EMPO-G 把 GRPO 的 ALFWorld 成功率从 69.5% 提高到 83.3%，WebShop 从 62.8% 提高到 70.3%；EMPO-GiG 把 GiGPO 的结果从 90.1% 提高到 94.0%（ALFWorld）、从 73.8% 提高到 77.3%（WebShop）。在 Qwen2.5-VL-3B-Instruct 的 Sokoban 上，EMPO-G 从 72.7% 提高到 84.4%，EMPO-GiG 从 75.0% 提高到 81.3% [6]。改进在 7B 规模上同样存在。

4.5 何时失效

EMPO 需要一个把文本映射到“规范执行效果”的函数。在动作格式固定的环境（家务、购物、推箱子）里这很自然；在自由形式的工具参数或代码编辑里，“两段代码是否等价”本身就是难题，归类错误会把不同的动作强行绑在一起。

五、其他路线：校准、评论家、过程奖励与蒸馏

5.1 共享后续证据：ConCal

GiGPO 在共享状态上比较动作，但每个动作的价值只来自一条采样后续，后面的偶然决策会扭曲前面的信用。ConCal（2026-10-27）[7] 把同一任务中“经过相同状态—动作—状态转移”的访问匹配起来，合并它们的后续证据，再把校准后的价值向前传播，不需要额外采样。据论文数据，在 Qwen2.5-1.5B-Instruct 上，ConCal 在 ALFWorld 和 WebShop 上的成功率比 GiGPO 高 3.39 和 5.86 个百分点 [7]。

5.2 主动学习的评论家：FOCUS 与 SCALE

FOCUS（2026-10-26）[8] 用“选择性分支”训练评论家：采样后续的预算优先给那些预计更能降低评论家估计误差的状态；再用评论家的价值以 TD(λ) 给相邻状态之间的片段打分。它还把上下文压缩产生的片段边界用作价值估计和信用分配的单位。据论文数据，在每步生成预算相同的条件下，Qwen3.5-9B 在 BrowseComp-Plus 上达到 55.4（最强基线 48.2），在 DeonticBench 上达到 56.5（基线 52.4）[8]。

SCALE（2026-10-20）[9] 认为，一个回报预测总体准确的评论家，仍可能分不清局部动作的好坏。它让评论家在每个前缀上同时预测回报和“成功值”（从此处最终完成任务的概率），把成功值的变化通过 Success-GAE 转成多步动作信用，并按预测器的可靠性调节其贡献。据论文数据，在五个智能体基准和三个模型骨干上，多数设置下优于对比方法，成功率提升最多 4.1 个百分点 [9]。

MPO（2026-10-26）[10] 观察到评论家的价值主要在“轮次之间”变化，于是把优势估计和重要性采样都锚定在轮次尺度，再在轮次内对词元做更细的分配。论文报告在搜索、工具使用和自动化任务上，4B 与 30B-A3B 模型相对强基线有一致提升 [10]。

5.3 过程奖励：有证据时很有用

EG-GRPO（2026-10-18）[15] 利用合成深度搜索数据中的证据标注，找到每条必要证据第一次被引用的步骤，以“新获得的证据”构造步级过程奖励，并把累积证据作为知识状态做状态条件下的相对优势估计。论文报告在五个深度搜索基准上总体优于标准 GRPO 与其他步级基线 [15]。

5.4 蒸馏：把“事后之明”变成逐词元信号

• ToolOPD（2026-10-19）[12] 发现，在策略蒸馏默认“信用在轨迹上均匀分布”，但实际信用集中在少数关键动作上；仅反转最终结果，就会显著改变多个轮次的信用。它把每条完成的轨迹和结果总结成“事后技能”，测量技能对教师给出的学生动作概率的改变，并将其转为考虑结果的信用，用于加权蒸馏损失 [12]。
• Distill Until Divergence（2026-10-16）[13] 进一步指出，一旦错误动作改变了后续状态，事后技能的监督就可能与当前状态不匹配。于是它按“出错边界”路由：成功经验强化成功轨迹和出错前的决策，失败纠正针对决定性错误，出错之后的部分只用 GRPO 优化 [13]。
• RIPPLE（2026-10-22）[14] 针对编程智能体“能写出看似合理的批评，却继续沿错误路线走”的问题，用只看前缀的教师提供恢复监督，并对“触发反思、诊断、纠正动作”三个阶段分别记功；局部有效性信号对轨迹优势做门控。据论文数据，在四个仓库级软件工程基准上，比基座策略平均提高 4.8 分，部署时不需要辅助评论家 [14]。

六、细粒度信用什么时候帮倒忙

When Fine-Grained Credit Assignment Helps and Hurts（2026-10-26）[11] 用电影预告片剪辑做测试平台，构造了素材选择、叙事排序、粗剪、精剪四类任务。据论文数据：

• 在平均超过 60 轮的“精剪”上，衰减式过程奖励相对只用结果的 GRPO 有 45.4% 的相对提升；在平均 30–40 轮的另外三类任务上，只用结果的 GRPO 仍有竞争力，衰减式过程奖励的相对提升最多 10.4%。
• 来自 LLM 裁判的过程奖励一开始会改善工具使用、鼓励视觉检查；但固定权重的过程奖励随着训练推进，出现过度推理和冗余工具调用：过程奖励持续上升，任务完成率和结果分数却在下降。把过程奖励权重衰减到零，可以缓解这种奖励投机，同时保留早期收益。
• 在策略自蒸馏（OPSD）虽然提供了密集的逐词元监督，却几乎没有提升甚至明显退化，并且对特权信息的选择高度敏感；作者分析认为，长轨迹可能稀释了有用信号 [11]。

七、横向对比

注：各方法的模型、任务与预算不同，数值不可直接横比。

工程实践：上线一种新信用方法前的四项检查

1. 先测“信用方向正确率”。仿照 TWICE 的审计做法 [4]：抽一批留出问题，对访问到的决策用较多补采样估计参考优势，再看候选方法给出的信用符号是否一致。这一步不依赖最终基准分数，能更早发现方法是否“记对了功”。
2. 再看额外开销的构成。补采样、评论家训练、教师前向、采样器改造，各自消耗的资源不同。论文报告的“辅助词元”“每次更新耗时”“生成时间增加”[4]，应在自己的硬件和推理框架上复测。
3. 检查前提是否成立。环境是否确定、轮次能否跨轨迹匹配、动作能否映射到规范效果、数据是否带证据标注——这四个问题分别对应 TWICE、Self-Credit、EMPO 与 EG-GRPO 的适用条件 [4] [5][6][15]。
4. 监控“辅助信号与结果信号”的背离。无论是过程奖励、模型自评还是教师信号，一旦辅助分数持续上升而任务完成率下降，就应暂停并检查投机行为 [11]。

这四项检查的共同点是：它们都在回答“新方法到底改变了哪些决策的信用”，而不是只看最后一个平均分。对于训练预算有限的团队，先做小规模审计、再决定是否全量替换，是更稳妥的路径。

八、我们的观点

第一，“记功”比“给分”更值钱。同样一条成功轨迹，三成决策可能被记反了功 [4]。在奖励已经确定的情况下，改进信用分配往往比设计新奖励更直接，也更少引入投机。

第二，没有通用方案，只有匹配环境的方案。环境确定就用孪生反事实 [4]；动作重复多就用同状态比较与共享校准 [3][7]；有证据标注就用证据型过程奖励 [15]；动作格式固定就加效果边际比率 [6]。选型的第一步是看清自己的环境，而不是追逐新方法。

第三，过程奖励要有“退场机制”。过程信号在训练早期能加速学习，在后期可能被投机 [11]。权重衰减、组内对照 [5]、出错边界截断 [13]，本质上都是同一件事：让辅助信号在完成任务后及时让位给真实结果。

第四，更新侧的问题容易被忽视。EMPO 证明，信用算对了，参数更新也可能跑偏 [6]。在评估训练管线时，应当把“同一动作的不同说法是否得到一致更新”列入检查项。

九、未来展望

6–12 个月：

• 推理框架会更普遍地暴露“可键控采样”接口，让孪生反事实成为常规工具，而不是研究原型 [4]。
• 上下文压缩会与信用分配一体化设计：压缩产生的片段边界、摘要引用，直接成为价值估计与记功的单位 [5][8]。
• 智能体强化学习的论文会更多报告“信用方向正确率”这类诊断指标，而不只是最终成功率 [4] [7]。

1–3 年：

• 对于带随机性的真实环境，可能出现“部分孪生”方法：只对可重放的工具调用共享噪声，其余部分用学习型评论家补足 [4][8][9]。
• 过程奖励会从“固定权重”转向“随训练阶段和轨迹长度自适应”[11]。
• 信用分配会向数据侧延伸：哪些训练任务、哪些轨迹对最终能力贡献更大，同样是一个可以用反事实与组内比较回答的问题。

十、对金融风控与企业落地的启示

1. 先判断环境是否可重放。规则引擎、历史数据回测、模拟授信流程，大多是确定性环境，适合孪生反事实一类的精确记功方法 [4]；涉及实时外部数据的流程则更适合评论家或组内比较。
2. 为业务动作建立“规范动作表”。审批智能体的“退回补件”“转人工复核”等动作，往往有多种文字表述；建立规范映射，既便于 EMPO 式的更新对齐 [6]，也便于审计统计。
3. 用证据标注构造过程奖励。风控场景天然有“结论必须有证据”的要求，证据首次被引用的位置可以直接用作步级信号 [15]。
4. 过程奖励必须监控完成率。一旦出现“过程分上升、业务结果下降”，就是投机的信号，应及时衰减过程权重 [11]。
5. 记功结果可以反哺规则。被反复记为“关键”的决策步骤，往往对应可以沉淀为显式规则的业务经验。弘犀智能在规则引擎与智能决策实践中，也在探索这种“从轨迹到规则”的闭环。

十一、结语

长程智能体的训练瓶颈，正在从“有没有奖励”转向“奖励能不能被正确地分配”。10 月的这批研究给出了几种互补的答案：让反事实共享运气，让模型自己指认关键，让同一动作得到同一更新，让过程信号适时退场。把功记对了，智能体才能学到真正该学的东西。

想了解弘犀智能在规则引擎与智能决策系统方面的实践，欢迎点击文末「阅读原文」访问 www.hxallai.com。

参考文献

1. [1]Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（提出 GRPO）. arXiv, 2024-02-05.（背景文献）https://arxiv.org/abs/2402.03300
2. [2]Amirhossein Kazemnejad, Milad Aghajohari, Eva Portelance, Alessandro Sordoni et al. VinePPO: Refining Credit Assignment in RL Training of LLMs. arXiv, 2024-10-02.（背景文献）https://arxiv.org/abs/2410.01679
3. [3]Lang Feng, Zhenghai Xue, Tingcong Liu, Bo An. Group-in-Group Policy Optimization for LLM Agent Training. arXiv, 2025-05-16.（背景文献）https://arxiv.org/abs/2505.10978
4. [4]Zeropy Surio, Tobias Engel, Mei-Lin Chou, Anika Raman, Samuel Okafor. Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning. arXiv, 2026-10-22. https://arxiv.org/abs/2610.31544
5. [5]Fangcong Yin, Ming Yin, Tanvi Bhandarkar, Aashu Singh et al. Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling. arXiv, 2026-10-20. https://arxiv.org/abs/2610.28388
6. [6]Shaojin Ma, Ruitao Wang, Pengyi Li, Jie Yang et al. One Act, Many Masks: Effect-Marginal Policy Optimization for Long-Horizon Agents. arXiv, 2026-10-21. https://arxiv.org/abs/2610.29427
7. [7]Yingjian Chen, Lang Zhou, Zixin Zhao, Pingfan Li et al. Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning. arXiv, 2026-10-27. https://arxiv.org/abs/2610.37195
8. [8]Zhengping Jiang, William Jurayj, Liaoyaqi Wang, Chunsheng Zuo et al. FOCUS: Active Critic Learning for Long-Horizon Language Model Agents. arXiv, 2026-10-26. https://arxiv.org/abs/2610.35801
9. [9]Jiaxi Liu, Shixiong Kai, Zhentao Tang, Yang Li et al. From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents. arXiv, 2026-10-20. https://arxiv.org/abs/2610.27623
10. [10]Tao Ren, Hui Yang, Jia Deng, Tingyang Chen et al. Multiscale Policy Optimization for Long-Horizon LLM Agents. arXiv, 2026-10-26. https://arxiv.org/abs/2610.35013
11. [11]Lei Zhao, Zongheng Cao, Xinyu Hu. When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing. arXiv, 2026-10-26. https://arxiv.org/abs/2610.35497
12. [12]Chu Zhao, Lei Tang, Yanming Wang, Jianzhe Zhao et al. ToolOPD: Credit-Aware On-Policy Distillation for Tool-Use Agents. arXiv, 2026-10-19. https://arxiv.org/abs/2610.25693
13. [13]Yibin Huang, Conghui Zhu. Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL. arXiv, 2026-10-16. https://arxiv.org/abs/2610.23048
14. [14]Jingxuan Xu, Zihang Xu, Yuechen Luo, Ziqi Miao et al. RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding. arXiv, 2026-10-22. https://arxiv.org/abs/2610.31276
15. [15]Sijia Luo, Mengjie Gao, Yuxiao He, Mengshu Sun et al. EG-GRPO: Evidence-Guided Step-level Credit Assignment for Deep Search Agents. arXiv, 2026-10-18. https://arxiv.org/abs/2610.25269