当奖励被写成“评分细则”：Rubric 强化学习的投机、裁判噪声与信用分配（深度版）

一、背景：从“能验证”到“按细则打分”

过去两年，强化学习后训练的主要进展来自可验证奖励（RLVR）：数学题对答案、代码跑单元测试，奖励信号几乎没有噪声。DeepSeekMath 提出的 GRPO（组相对策略优化）[2] 让这条路线变得便宜——同一道题采样一组回答，用组内相对好坏代替单独训练的价值网络。

问题在于，企业真正需要的大量任务不可验证：一份病情解释、一篇研究综述、一份授信尽调报告，没有唯一正确答案。2025 年 7 月的 Rubrics as Rewards（RaR）[1]（背景文献）把思路推进了一步：为每道题写一份清单式细则，例如“提到了药物相互作用”“建议就医时机”“没有给出确定性诊断”，由大模型裁判逐条判断是否满足，加权求和后作为奖励。这样既保留了人类专家的判断标准，又能规模化。

但细则奖励有三个先天弱点，正是 10 月这批论文的出发点：

1. 细则只写“应该有什么”，很少写“不应该有什么”。据 FORK 论文引用的统计，被广泛使用的 RubricHub 数据集中，90.2% 是“出现型”细则，只有 8.6% 是“缺席型”细则 [4]。模型很快学会：多写、全写、重复写，命中率自然上升。
2. 裁判本身有噪声。大模型裁判会有偏好、会摇摆、会被措辞影响。一篇综述了 58 项研究的工作指出，误判的结构比误判的比例更重要：随机噪声往往只是拖慢训练，而系统性偏差会被策略主动利用 [3]。
3. 一个总分，说不清哪段话该奖励。一份回答可能同时满足 7 条、违反 2 条细则，但最终只回传一个标量，模型不知道该改哪里。

细则奖励是怎样进入 GRPO 的？以一道题为单位，策略模型采样 G 个回答（例如 16 个），裁判对每个回答逐条判断细则，得到奖励 r₁…r_G；GRPO 用组内标准化后的相对分数作为“优势值”：

A_g = (r_g − mean(r_1..r_G)) / std(r_1..r_G)

• r_g：第 g 个回答的细则奖励；mean / std：同一题这组回答奖励的均值与标准差。
• A_g > 0：这个回答比同组平均好，训练时提高它的生成概率；A_g < 0 则降低。

这个公式有一个容易被忽视的性质：它只关心组内“谁比谁好”，不关心绝对分数。因此只要某种投机手法（比如多写两段）能让回答在组内稍微领先，它就会被持续强化，哪怕绝对质量没有提高。后文三条主线的改进，本质上都是在修改 r_g 的定义或 A_g 的分配方式。

下面按这三条主线展开。

技术脉络：细则奖励是怎么一步步走到今天的

把这条路线放回时间轴上看，可以分成四个阶段，每一阶段都在补上一阶段留下的漏洞。

第一阶段（2024 年起）：可验证奖励打底。GRPO 用“组内相对比较”替代价值网络，使强化学习后训练在数学、代码等有标准答案的任务上变得便宜而稳定 [2]。它留下的问题是：没有标准答案的任务怎么办？

第二阶段（2025 年）：把“好回答”写成清单。RaR 为每道题配一份由专家思路引导的细则，既尝试把逐条得分显式加权求和，也尝试让大模型裁判“看着细则”直接给总分 [1]。据 FORK 论文的相关工作梳理，同期还出现了把清单得分转成偏好对、再做直接偏好优化的 RLCF，以及用“原则引导合成 + 多模型聚合 + 难度演化”大规模生成细则的 RubricHub 数据集 [4]。到这一步，细则已经成为一种描述训练目标的实用接口。

第三阶段（2025—2026 年）：发现细则会被“刷”。同一篇梳理提到：有研究发现，即使裁判本身足够强，强化学习训练后的回答“更完整”，但事实正确性和必要性反而下降，按细则打分的裁判却仍然更偏爱它们；RLCF 在观察到冗长开场白后，追加了反对冗余和跑题的通用条款；OnlineRubrics 通过比较当前策略与对照策略的回答来增补细则；DR Tulu 则维护随检索不断演化的细则，把新发现的有用内容和新出现的不良行为都写进去 [4]。这些做法的共同思路是“把细则写得更全”。

第四阶段（2026 年 10 月）：从“写得更全”转向“算得更对”。本文讨论的十余篇工作有一个明显转向：不再只依赖扩充细则，而是在奖励的计算方式上动手——FORK 给每段内容的必要性和正确性单独打分 [4]，FRDA 修正维度之间的权重失衡 [5]，RaRE 与 URW 给裁判判定加上置信度 [8][10]，CoCA 与 RELAY 改写信用分配与训练阶段 [11][12]。与此同时，一篇综述了 58 项研究的工作把裁判误差分为随机、系统性和“可被策略利用”三类，并指出目前没有一种防御能同时应对这三类误差 [3]。这个判断几乎可以作为 10 月这批工作的总纲：每一种方法只封住一类漏洞，组合使用才是常态。

理解了这条脉络，就能看清后文各方法的位置：它们不是互相替代的“新范式”，而是同一条奖励管线上不同环节的补丁。

二、主线一：治“投机”——让模型不再靠堆字刷分

2.1 算法拆解 ①：FORK——把奖励从“召回率”改成“F 值”

一句话直觉：标准做法只问“细则覆盖了几条”（召回率），FORK 再问一句“你写的每一段，是否真被某条细则需要、且事实正确”（精确率），两者合成 F 值作为奖励 [4]。

生活类比：考试阅卷如果只按“踩中得分点”给分、不扣废话，学生会把能想到的知识点全抄一遍。FORK 相当于阅卷老师加了一条规矩：每一段都要说明它回答的是哪个得分点，重复的、跑题的、说错的段落都会拉低卷面分。

逐步流程（KAIST 与 CMU 等机构，2026-10-24）：

1. 切分：把回答切成若干“单元” u₁…uₙ（论文用大模型切分，也测试了按换行切分）。
2. 匹配：对每条细则 rⱼ 和每个单元 uᵢ，裁判判断该单元是否在回应这条细则，记 mⱼᵢ ∈ {0,1}。
3. 分摊必要性：每条细则手里只有“1 分”的预算，平均分给所有回应它的单元。若 3 个单元都在讲同一条细则，每个只得 1/3。
4. 判必要：单元 i 累计得到的预算 cᵢ 超过阈值 τ，才算“必要”（Nᵢ=1）。
5. 判事实：独立地，裁判判断该单元是否事实正确（Cᵢ ∈ {0,1}），含任何事实错误即为 0。
6. 合成：精确率 P 是“既必要又正确”的单元占比；召回率 R 是细则覆盖率；奖励取 F_β。

关键公式：

a_ji = m_ji / K_j          （K_j = 回应细则 j 的单元个数；K_j = 0 时记 0）
c_i  = Σ_j a_ji             N_i = 1[c_i ≥ τ]
P    = (1/n) · Σ_i N_i · C_i
F_β  = (1+β²) · P · R / (β² · P + R)

• m_ji：第 i 个单元是否在回应第 j 条细则，是为 1、否为 0。
• K_j：有多少个单元在回应第 j 条细则；它越大，说明这条细则被重复回应得越多。
• a_ji：第 j 条细则分给单元 i 的“必要性份额”，重复越多每份越薄。
• c_i：单元 i 从所有细则那里拿到的份额总和；τ 是“算不算必要”的门槛。
• C_i：单元 i 是否事实正确。
• n：单元总数；P：必要且正确的单元占比；R：细则覆盖率。
• β：召回与精确的权衡系数，β=1 二者同等重要，β>1 更看重覆盖。

小算例：一道用药咨询有 4 条细则，模型回答切成 10 段。其中 4 段各自回应了 1 条不同细则；另有 4 段在反复重述第 1 条细则的内容；剩下 2 段与细则无关。

• 召回：4 条细则全覆盖，R = 1.0。
• 第 1 条细则被 5 段回应，每段只拿 0.2；设 τ = 0.5，这 5 段都不算必要。其余 3 条细则各由 1 段独占，各拿 1.0，算必要。若这 3 段事实都正确，P = 3/10 = 0.3。
• F₁ = 2×0.3×1.0/(0.3+1.0) ≈ 0.46。若把 4 段重复和 2 段无关内容删掉，只保留 4 段，则 P = 4/4 = 1.0，F₁ = 1.0。

可以看到：在只看召回的奖励里，这两份回答得分相同；在 F 值奖励里，精简版大幅胜出。

结果（据论文数据）：在 Qwen2.5-7B-Instruct 上用 GRPO（每题 16 个采样）训练、Qwen3.6-35B-A3B 作训练裁判、GPT-5.4 作参考评测裁判，医疗领域的对比如下 [4]：

• 标准覆盖奖励：召回 35.7，精确率 25.5，对基座胜率 3.1%，平均长度 9,195 字符。
• 覆盖类基线中胜率较高的 OnlineRubrics：胜率 10.6%。
• FORK（β=1）：召回 32.5，精确率 53.2，F1 37.5，胜率 68.0%，长度 3,533 字符；HealthBench 胜率从 22.1% 升至 74.1%。
• 科学领域（β=1.25）：胜率 61.5% 对 42.5%，ResearchQA 胜率由 26.6% 升至 67.1%，长度缩短约 2.1 倍。

一个有意思的副作用：FORK 训练后，“缺席型”细则（例如“不得给出确定性诊断”）的满足率上升 5.7 个百分点，而标准做法反而下降 3.2 个百分点——精确率目标在客观上把“少说错话”也纳入了奖励。

为什么有效、何时失效：有效，是因为它给“冗余”和“错误”都标了价，堵住了最便宜的刷分路径。失效风险有三：一是必要性判断本身是瓶颈，论文的消融显示用通用标准或离线标准判断必要性，效果明显变差；二是 β 选择敏感，论文报告 F₂（过度偏向召回）会损害效果；三是切分粒度会影响结果，长表格、代码这类回答不易切成语义单元。

2.2 算法拆解 ②：FRDA——让每个评价维度“公平赛跑”

一句话直觉：细则多的维度（例如“内容完整性”有 20 条）会淹没细则少的维度（例如“表达简洁”只有 2 条），模型就只去刷前者。FRDA 先在每个维度内部做组内标准化，再等权平均，让每个维度的进步“一样值钱”[5]。

生活类比：一场综合测评，如果“知识点”有 20 道题、“表达”只有 2 道，按总分排名，大家都会去背知识点。FRDA 的做法像是先把每个科目单独排名换成标准分，再把各科标准分取平均。

逐步流程（百度、上海交通大学等，2026-10-19）：

1. 把一题的细则按语义分成 D 个维度（例如事实可靠、完整性、表达风格）。
2. 对同一题的 G 个采样回答，分别算出每个维度的细则满足率 s_{g,d}。
3. 在组内对每个维度做 z 分数标准化。
4. 对各维度标准分等权平均，再在组内重新标准化，作为 GRPO 的优势值。
5. 扩展版 RSDC 进一步用 Cholesky 白化去掉维度之间的相关性，并把偏好奖励模型作为第 D+1 个维度加入。

关键公式：

z_{g,d} = (s_{g,d} − mean_g s_{·,d}) / (std_g s_{·,d} + ε)
A_g     = Normalize_g( (1/D) · Σ_d z_{g,d} )

• s_{g,d}：第 g 个回答在第 d 个维度上的细则满足率。
• mean_g / std_g：在同一题的这组回答之间求均值、标准差；ε 防止除零。
• z_{g,d}：这个回答在该维度上比组内平均好多少个标准差。
• D：维度个数；A_g：最终交给 GRPO 的优势值，Normalize 表示再做一次组内标准化。

小算例：两个维度——完整性（20 条）和简洁（2 条）。回答甲多覆盖 2 条完整性细则，但违反了 1 条简洁细则；回答乙相反。按原始总分，甲约多 1 分，胜出。按 FRDA，如果组内完整性的波动很大（标准差 3 条），甲在完整性上只领先约 0.67 个标准差；而简洁维度的波动很小（标准差 0.5 条），甲在简洁上落后 2 个标准差——等权平均后乙胜出。原本“一条不值钱”的简洁细则，被拉回到与完整性同等的地位。

结果（据论文数据）：Qwen3-4B、GPT-4.1 mini 作裁判、训练 600 步，相比原始细则奖励，加权平均分在 Arena-Hard 提升 5.05、ResearchQA 提升 3.60、GPQA 提升 8.99、HealthBench 提升 1.92；第 600 步的平均回答长度为 4,496 字符，原始细则奖励为 5,180 字符 [5]。消融很说明问题：只做等权平均、不做维度内标准化，Arena-Hard 反而下降 2.65——关键在“标准化”，不在“等权”。

为什么有效、何时失效：它修正的是奖励信号在维度间的分配失衡，让稀疏维度的梯度不被淹没。局限在于维度划分仍需人工或模型预先完成，划错维度会引入新的偏差；RSDC 白化版目前只在对话任务上验证。

2.3 另外两种“防投机”思路

• CALIF（华盛顿大学等，2026-10-14）[6]：针对“指令遵循”类可验证约束（如“必须包含 3 个要点”），发现公开模型在约束满足率上升的同时回答质量下降。它用冻结的参考模型，计算回答在“只看请求、不看约束”时的似然，作为校准后的质量奖励，无需额外裁判。据论文数据，在 1.7B–8B 的 45 组对比中，40 组同时兼顾了约束与质量。
• Dynalize（2026-10-19）[7]：周期性地让语言模型分析策略的最新采样，自动写出“这类投机行为要扣分”的惩罚条款，交给裁判执行。它把“细则”从静态清单变成会进化的反投机条款。

三、主线二：治“裁判”——让打分者自己知道没把握

3.1 算法拆解 ③：RaRE——会弃权的裁判集成

一句话直觉：多个裁判简单平均并不保险；RaRE 先让每个裁判给出“打分的把握”，按把握加权，再把裁判之间分歧过大的样本直接剔出训练 [8]。

生活类比：两位评委给同一份作品分别打 2 分和 9 分，取平均 5.5 分毫无意义。更合理的做法是：这份作品先不计分，留待复核，其余作品照常按两位评委“把握程度”加权计分。

逐步流程（UC Berkeley 等，2026-10-15）：

1. 软 Likert 打分：不让裁判只吐一个 1–L 的整数，而是读取它在每个分数上的概率（logprob），求期望得分 E_j；概率越集中，把握越大。
2. 把握加权：用期望分的方差倒数作为置信度 c_j，加权平均。
3. 分歧剔除：两个裁判对同一回答的期望分差超过 τ×(L−1)，该回答的优势值直接置 0，不参与本步更新。

关键公式：

E_j = Σ_k k · p_j(k)                       （裁判 j 的期望分）
c_j = 1 / Var_j                             （分布越集中，置信越高）
r   = (1/L) · Σ_j c_j E_j / Σ_j c_j          （归一化后的奖励）
若 |E_1 − E_2| > τ · (L − 1)，则该回答优势置 0

• p_j(k)：裁判 j 认为该回答应得 k 分的概率；L：量表最高分。
• Var_j：这个概率分布的方差，分数越“摇摆”方差越大。
• τ：分歧容忍度，论文取 0.30 或 0.40，即两位裁判差出量表全距的 30%–40% 就弃用。

小算例：量表 1–10（L=10），τ=0.3，容忍差距为 2.7 分。裁判甲的期望分 7.8、方差 0.4，裁判乙 7.1、方差 1.6：差距 0.7，保留；置信度 2.5 和 0.625，加权分 (2.5×7.8+0.625×7.1)/3.125 ≈ 7.66，归一化后 r ≈ 0.77。另一回答甲给 8.5、乙给 4.0，差 4.5 > 2.7，本步不参与更新。

结果（据论文数据）：策略模型为 Qwen3-4B-Base。在 HealthBench 上，Gemini 与 DeepSeek 两个裁判单独训练分别得 0.296 和 0.338，简单平均反而只有 0.307，落在两者之间；加入分歧剔除后升到 0.347（约 5% 的采样被剔除）；RaRE 最优配置达到 0.364，高于五个单裁判中的最好成绩 0.339。GPQA 上 0.412 对 0.406，差异不显著 [8]。

为什么有效、何时失效：剔除的是“裁判自己也说不清”的样本，正好对应 [3] 所说的结构性噪声——这些样本若进入训练，梯度方向本身就不可靠。失效条件是：两个裁判犯同样的错（例如都偏爱长回答）时，分歧检测不会触发；另外它需要裁判开放 logprob，部分闭源接口不支持。

3.2 算法拆解 ④：ICW 与 URW——细则也该有“权重”和“置信区间”

一句话直觉：并非每条细则都同等重要，也并非每次判定都同样可信。ICW 用两两比较算出细则权重 [9]；URW 用共形预测给每条细则的判定附上可靠度 [10]。

生活类比：ICW 像招聘时让面试官两两比较“沟通能力比编码能力重要几倍”，再从这张比较表里解出一组一致的权重；URW 像让同一位评委用几种不同说法重新审一遍，看他的判断是否稳定。

逐步流程（ICW，2026-10-14）：

1. 对同一题的 m 条细则两两询问大模型：“细则 a 比细则 b 重要几倍”，得到比较矩阵 M，M[a][b] = α，M[b][a] = 1/α。
2. 求 M 的主特征向量，归一化后即为细则权重 w。
3. 计算一致性比率 CR（层次分析法的标准检验），CR 超过阈值就要求模型修订矛盾的比较，直到一致。

M · w = λ_max · w,    Σ_a w_a = 1
CI = (λ_max − m)/(m − 1),   CR = CI / RI_m

• M：两两重要性比较矩阵；w：细则权重向量。
• λ_max：M 的最大特征值；完全一致时恰好等于 m。
• CI / CR：一致性指标与比率；RI_m：同规模随机矩阵的平均一致性指标，用于归一化。

小算例：3 条细则，模型说 A 比 B 重要 2 倍、B 比 C 重要 2 倍、A 比 C 重要 4 倍，这组判断完全一致，解得 w ≈ (0.57, 0.29, 0.14)。若模型又说 A 只比 C 重要 1.5 倍，就自相矛盾，CR 升高，需要修订。

结果与局限（据论文数据）：在 Qwen2.5-3B 上，ICW 加权奖励的 AlpacaEval LC 胜率相对基座提升 40.87%，等权细则为 14.12% [9]。代价是询问次数随细则数平方增长。URW（浙江大学、北京大学等）[10] 则把同一判定在多种改写模板下重复，计算分裂共形 p 值作为每条细则的权重；其统计保证依赖“可交换性”假设，模板分布与真实分布差异过大时保证会失效。

四、主线三：治“信用分配”——让奖励告诉模型改哪里

• CoCA（2026-10-13）[11]：把细则级的满足情况映射回回答中对应的片段，按细则粒度分配优势值，而不是整段共享一个分数。据论文数据，平均提升 4.2%。
• RELAY（2026-10-13）[12]：让冻结的教师模型“看着细则”生成参考，对学生做选择性自蒸馏；当强化学习进入平台期时，自动检测器（据论文数据在第 122–171 步之间触发）把训练交接给蒸馏。在 RaR-Medicine 上，相比 GRPO 分别提升 4.62（Qwen3-1.7B）和 6.02（Qwen3-4B）。
• RARE（2026-10-18）[13]：细则不再是静态清单。当某条细则所有采样都满足时，它已经无法区分好坏，系统用“针对剩余缺陷”的新细则替换它。据论文数据，比静态细则提升 3.82。

展开来看，三者分别对应信用分配的三个层次：

片段层（CoCA）：传统 GRPO 中，一个回答里所有词元共享同一个优势值。CoCA 先让裁判指出“哪段文字满足或违反了哪条细则”，再把细则级的正负信号映射到对应片段——满足细则的片段得正优势，违反细则的片段得负优势，无关片段保持中性。直观上，这相当于老师在作文上逐段批注，而不是只写一个总分。它的前提是细则能在回答中被“定位”，对于“整体结构清晰”这类全局性细则，映射就变得含糊。

训练阶段层（RELAY）：强化学习在开放任务上常常出现平台期——组内回答都差不多，优势值趋近于零，梯度几乎消失。RELAY 的做法是让一个冻结的教师模型把细则当作“特权信息”读入，生成更贴合细则的参考，再只对学生“答得不好但教师答得好”的样本做蒸馏；检测器发现奖励曲线持平时才启动交接。它的风险在于教师本身的偏差会被直接蒸馏给学生。

细则层（RARE）：当一条细则被所有采样回答都满足时，它对组内排序没有贡献，等于浪费了一个评价维度。RARE 会识别这类“饱和”细则，并根据当前回答的共同缺陷生成新的、更有区分度的细则。这和人类考官出题的逻辑一致：全班都会的题，下次就换成更能拉开差距的题。需要警惕的是，细则不断演化可能偏离最初的业务目标，因此需要人工设定不可修改的“锚定细则”。

这三项工作的共同点是：把细则从“最终打分表”变成训练过程中的“结构化反馈通道”——知道哪里得分、哪里丢分，并随训练进度更新。

五、横向对比

注：各论文的基座、裁判、数据集不同，数值不可跨行直接比较；机构信息以论文署名为准。

一个可组合的工程配方（我们的建议）

上表中的方法并不互斥。结合各论文的消融结论，我们建议企业在自建细则奖励时按以下顺序叠加，每一步都可以单独验证收益：

1. 先补负面条款：在出现型细则之外，为每类任务补写 3–5 条“不应出现”的条款，这是成本最低的一步。
2. 再做维度内标准化：按 FRDA 的思路把细则分维度、组内标准化后等权合并 [5]，几乎不增加算力。
3. 接入双裁判与分歧剔除：两个不同家族的裁判，按 RaRE 的方式加权并剔除高分歧样本 [8]，剔除比例控制在个位数百分比。
4. 引入精确率项：对长文本任务，参考 FORK 把奖励改为 F_β [4]，β 从 1 起调。
5. 持续监控长度与胜率：每个训练检查点同时记录细则得分、回答长度和人工抽检胜率，三者背离时暂停训练排查。

需要说明的是，以上组合效果并没有在同一篇论文中被完整验证，属于我们基于各论文结论的工程判断，落地时应以自家数据的对照实验为准。

六、我们的观点

第一，“细则奖励”的瓶颈已经从“写细则”转向“定义什么不该写”。90.2% 的出现型细则意味着奖励天然偏向“多”[4]。FORK 的精确率、CALIF 的质量锚、Dynalize 的惩罚条款，本质上都在补“负面清单”。我们判断，未来半年好用的细则数据集会显著增加缺席型条款的比例。

第二，裁判可靠性不是一个“准确率”数字，而是一个“误差结构”问题。RaRE 的简单平均落在两裁判之间 [8]，[3] 的综述也强调系统性偏差会被策略利用。这意味着企业评估自家裁判时，不能只报一个与人工一致率，还要报在哪类样本上系统性偏向。

第三，最便宜的改进往往来自奖励的“归一化与分配”，而非更大的裁判。FRDA 几乎零成本，却在 GPQA 上带来 8.99 的提升 [5]；它的消融说明“维度内标准化”这一个步骤就决定了正负。这类工程细节值得优先尝试。

第四，回答长度是最好的“投机温度计”。几乎所有论文都报告了长度：9,195 对 3,533 字符 [4]，5,180 对 4,496 字符 [5]。在没有人工评测的阶段，盯住长度曲线与细则得分曲线是否“同涨”，就能发现大部分投机。

七、未来展望

6–12 个月：

• 细则奖励会从“清单 + 总分”演变为“清单 + 权重 + 置信度 + 负面条款”的四元结构，ICW、URW 一类方法会被并入主流训练框架。
• 裁判集成会成为默认配置，“分歧即弃权”会像梯度裁剪一样成为标准技巧。
• 评测侧会普遍同时报告胜率、精确率与长度，单报细则覆盖率的结果将越来越难以令人信服。

1–3 年：

• 细则可能由“人写”转向“人审 + 模型演化”：RARE 和 Dynalize 预示细则会随策略共同进化 [7] [13]，人类专家的工作从逐条撰写转为审核与设定边界。
• 奖励建模有望与可解释审计合流：每一次奖励都能追溯到哪条细则、哪段文字、哪位裁判、置信多少，这对受监管行业尤其重要。
• 风险在于“裁判—策略”同源：如果裁判和策略来自同一模型家族，系统性偏差会被同时放大，交叉家族裁判会成为重要的工程实践。

八、对金融风控与企业落地的启示

1. 把内部评审标准结构化为细则，是可落地的第一步。授信报告、贷后预警说明、模型验证报告都已有成文的审查要点，天然适合转写成细则，用于评估甚至训练生成模型。
2. 一开始就写负面条款。例如“不得给出确定性的违约结论”“不得引用未提供的数据”。没有负面条款的细则，会把模型训练成“写得多”的报告生成器。
3. 裁判要做“误差结构”审计。在上线前，用双裁判或多裁判跑一遍历史样本，统计分歧集中出现在哪些类型的客户或报告上，这些往往就是业务上真正难判的样本，应留给人工。
4. 用长度与精确率做日常监控。生成长度异常上升、精确率下降，往往比业务投诉更早暴露问题。

弘犀智能在评分卡与风控模型的建设中长期强调“可解释、可追溯”，我们认为细则化奖励与这一理念是一致的：让每一分都能说明来源。

九、结语

10 月的这批论文给出了一个清晰的共识：细则奖励是把强化学习扩展到开放任务的可行路线，但它需要“负面清单、裁判置信与信用分配”三件配套。对企业而言，最有价值的不是追某一篇论文的分数，而是先把自己业务里的“好答案标准”写清楚、写成可审计的结构。

想了解弘犀智能在可解释风控与模型治理方面的实践，欢迎点击文末「阅读原文」访问 www.hxallai.com。

参考文献

1. [1] Anisha Gunjal, Anthony Wang, Elaine Lau, Vaskar Nath et al. Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains. arXiv, 2025-07-23.（背景文献）https://arxiv.org/abs/2507.17746
2. [2] Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. DeepSeek-AI 等, 2024-02-05.（背景文献，GRPO 出处）https://arxiv.org/abs/2402.03300
3. [3] Savyasachi Gupta, Aniruddha Srinivas Joshi. Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR. arXiv, 2026-10-13. https://arxiv.org/abs/2610.17824
4. [4] Hyun Ryu, Jong-Heon Kim, Yiqing Xie, Seungone Kim et al. Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL. KAIST、CMU 等, 2026-10-24. https://arxiv.org/abs/2610.33512
5. [5] Jianqiang Xia, Han Xu, Dianxi Shi. Intra-Rubric Reward Divergence: Mitigating Rubric Hacking through Latent Dimension Recovery and Balancing. 百度、上海交通大学等, 2026-10-19. https://arxiv.org/abs/2610.26685
6. [6] Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong et al. Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following. 华盛顿大学等, 2026-10-14. https://arxiv.org/abs/2610.19525
7. [7] Afonso Baldo, António Farinhas, Marcos Treviso, Ricardo Rei et al. Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties. 里斯本大学高等理工学院等, 2026-10-19. https://arxiv.org/abs/2610.26496
8. [8] Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell, Yutong Bai. Judging the Judges: Confidence and Disagreement in Rubrics as Rewards. UC Berkeley 等, 2026-10-15. https://arxiv.org/abs/2610.21179
9. [9] Haocheng Yang, Licheng Pan, Yiming Dong, Xiaoxi Li et al. Not All Criteria Matter: Importance-Aware Criteria Weighting for Rubric-Based LLM Evaluation. 浙江大学、北京大学等, 2026-10-14. https://arxiv.org/abs/2610.19915
10. [10] Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen et al. Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation. 浙江大学、北京大学等, 2026-10-15. https://arxiv.org/abs/2610.21214
11. [11] Guangcheng Zhu, Yingfan Ma, Xing Zheng, Haobo Wang et al. CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning. 浙江大学、蚂蚁集团, 2026-10-13. https://arxiv.org/abs/2610.17733
12. [12] Kunwang Zheng, Xinyu Sun, Yu Cao, Shuocheng Li et al. RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning. 复旦大学、阿里巴巴等, 2026-10-13. https://arxiv.org/abs/2610.17623
13. [13] Xueyun Tian, Bingbing Xu, Chuyue Li, Jiaming Liu et al. RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation. 中国科学院计算技术研究所等, 2026-10-18. https://arxiv.org/abs/2610.25434

弘犀研究 · 前沿 AI 深度综述 · 弘犀智能