EN 联系我们 在线试用
弘犀研究 · 深度分析概率校准

2026 年 11 月 2 日 · 弘犀研究 约 69 分钟阅读 HXR-20261102-02

ANALYSIS

风险决策中的大模型应输出可校准的概率而非答案：校准、成本阈值与拒判容量的统一框架

弘犀智能研究团队 / HX Research Team, 弘犀智能科技（深圳）有限公司

下载 PDF（英文原版）引用本文参考文献（72）

大模型正被越来越多地用于反欺诈筛查、合规审查、临床分诊和工单路由等离散风险决策，近期还出现了单次前向即输出选项概率的决策模型。然而，模型的答案或口头置信度常被直接接入规则引擎，背后的假设是更准的模型更安全、校准能提高区分度、转人工越多越稳妥。本文认为，在风险决策中，大模型应作为可校准概率的提供者，而不是答案的提供者。我们以贝叶斯决策与拒判理论为基础，用六个编号公式统一成本敏感阈值、含复核误差的拒判带、校准度量、再校准、保形风险控制与复核容量，并比较五类概率来源。文献证据与可复算的模拟显示：决策质量取决于概率能否被可靠地设阈值，而不只取决于准确率；校准不改变区分度，其价值体现在成本变化、拒判与漂移场景；复核者误差与容量会改变最优拒判带。本文给出校准—阈值—拒判算法和五条可证伪的判断。

近日，Nace.AI 以开放权重发布了 27B 稠密“决策模型”Drex Max v1：它不生成文本，而是对给定的上下文和一组带名字的问题，在一次前向中输出每个选项的概率，支持选择题、是非题和序数评分三种问题类型（据官方模型卡与媒体报道）⁠1,2。这类模型在近几个月形成了一个可辨识的类别。一份面向从业者的综述把它们称为“System 1 决策模型”，即在一次前向中把输入映射为有类型的结构化决策，并把校准列为核心主题⁠3；一个覆盖 105 项任务、9.2 万道题的基准显示，较大的 System 1 模型在非智能体任务上的准确率可与快速闭源大模型持平或更高，概率校准更好，延迟约为其四分之一（据论文）⁠4。

对风险决策而言，这一变化的意义不在于又多了一类模型，而在于它把一个长期被忽略的问题摆上了台面：规则引擎和人工复核需要的是一个可以设阈值的概率，而不是一段文字答案。银行的反欺诈、药企的合规初审、医院的分诊、平台的工单路由，本质上都是在误报成本、漏报成本和复核成本之间做取舍。一段“该交易存在风险”的生成文本无法与成本矩阵对接；一个口头报出的“置信度 90%”是否真的意味着十次里错一次，也需要检验。这一需求在信用评分中由来已久：统计分类方法在消费信贷评分中的应用早有系统综述⁠5，大规模基准比较了数十种分类算法，并主张以多种性能指标而非单一准确率评估评分模型⁠6；医疗预测的方法学文献则把校准称为“预测分析的阿喀琉斯之踵”⁠7。

现有实践存在三个缺口。第一，概率的来源五花八门，包括口头置信度、答案 token 的对数概率、单次前向的决策头、外接的校准网络和多次采样的一致性，它们的校准性、粒度和成本差别很大，却常被当作同一种东西使用。第二，校准、阈值和拒判通常由不同团队分别处理：算法团队报告准确率与 ECE，业务团队按经验定阈值，运营团队按人手定转人工比例，三者之间没有共同的度量。第三，反方证据较少被引用：有研究发现决策模型在 15 项社会科学标注任务中的 14 项上落后于最好的大模型⁠8；也有研究发现，在提示注入检测中，决策模型的原生概率并不总是优于事后校准的分类器分数⁠9。

本文的中心论点是：在风险决策中，大模型应当作为“概率提供者”而不是“答案提供者”接入系统；决策质量由三件事共同决定，即概率能否被可靠地设阈值、阈值是否来自显式的成本、拒判是否受人工容量约束。本文的贡献有三点：

  1. 用六组编号公式把成本敏感阈值、含复核误差的拒判带、校准度量、再校准、保形风险控制与复核容量放进同一套记号，说明它们之间的数量关系。
  2. 按“概率来源—后处理—决策规则”三层对比现有技术路线，正反证据并列，给出各路线的适用边界与失效方式。
  3. 给出一个可执行的校准—阈值—拒判算法（算法 1）和可复算的示意计算，以及五条带时间尺度、证据、证伪条件和企业含义的前瞻判断。

问题形式化与记号

成本敏感的二元决策

记 y ∈ {0, 1} 为是否发生风险事件（1 表示坏样本，如欺诈、违规或高危病例），x 为可观测信息，p(x) = Pr(y = 1 | x) 为真实后验概率，q(x) 为系统给出的概率。设把坏样本放行的代价为 CFN，把好样本拦截的代价为 CFP。对一个样本，“拦截”的期望代价为 (1 − p)·CFP，“放行”的期望代价为 p·CFN。贝叶斯最优规则是

当 q > t∗ 时拦截，t∗ = CFP / (CFP + CFN)(1)

式 (1) 成立的前提是 q = p，即概率是校准的。当 CFN = 10、CFP = 1 时，t∗ = 1/11 ≈ 0.091，远低于很多系统默认的 0.5。若 q 与 p 不一致，被错分到阈值另一侧的样本，每个带来的额外代价为 |p·CFN − (1 − p)·CFP|。这一代价只在阈值附近产生，所以全局平均的校准误差可能很小，而决策损失并不小。Zadrozny 与 Elkan 研究分数变换，正是从“分类器分数须先变为准确概率，才能代入成本矩阵”出发的⁠10；“校准”这一概念本身可追溯到 Dawid 对“良好校准的贝叶斯预测者”的定义⁠11。

含复核误差的拒判带

在“拦截”和“放行”之外增加第三个动作“转人工复核”，其固定成本为 CD，复核者的出错率为 ε。转人工的期望代价为 CD + ε·[p·CFN + (1 − p)·CFP]。当且仅当它低于两个自动动作中较小的那个时才转人工：

转人工，当 min{q·CFN, (1 − q)·CFP} > CD + ε·[q·CFN + (1 − q)·CFP](2)

ε = 0 时，式 (2) 退化为经典的拒判规则，拒判带为 CD/CFN < q < 1 − CD/CFP。取 CD = 0.4，拒判带为 (0.04, 0.60)。ε > 0 时拒判带变窄：复核者也会出错，转人工本身就有隐性代价。这就是 Chow 的最优识别误差—拒判权衡⁠12；深度网络上的选择性分类把它推广为“在给定覆盖率下控制风险”⁠13。

校准的度量与再校准

把样本按 q 分成 B 个箱，箱 b 内样本占比为 nb/n、平均概率为 q̄_b、实际坏样本比例为 ȳ_b，则期望校准误差与 Brier 分数分别为

ECE = Σb (nb/n)·|ȳ_b − q̄_b|，　Brier = (1/n)·Σᵢ (qᵢ − yᵢ)²(3)

常用的两种事后再校准是对模型的原始 logit z 做单调变换：

温度缩放：q = σ(z / T)；　Platt 缩放：q = σ(a·z + b)(4)

其中 σ 为 logistic 函数。温度缩放只有一个参数，最早在现代神经网络上被证明简单有效⁠14；Platt 缩放多一个截距，可以同时修正“过度自信”和“整体偏移”。两者都是单调变换，不改变样本的排序，因此不改变 AUC 或 KS 这类区分度指标。这一点在下文中很关键。Brier 分数最早用于检验天气概率预报⁠15，属于严格适当评分规则⁠16；ECE 的分箱形式来自 Naeini 等人⁠17。分箱估计本身有偏：Kumar 等人指出分箱估计会低估校准误差⁠18，Nixon 等人也发现 ECE 对分箱方式敏感⁠19。保序回归与 Platt 缩放的系统比较可追溯到 Niculescu-Mizil 与 Caruana⁠20，多类别情形有 Dirichlet 校准等推广⁠21；Minderer 等人发现，非卷积的新架构往往校准更好，模型规模与预训练量并不能完全解释校准差异⁠22。

保形风险控制

校准给出的是平均意义上的保证。若业务需要“自动放行的样本中，漏报率不超过 α”这类有限样本保证，可以使用保形方法。设 R̂_n(λ) 为校准集上阈值 λ 对应的经验风险，单个样本的损失上界为 B，则保形风险控制选取⁠23

λ̂ = inf{ λ : [n·R̂_n(λ) + B] / (n + 1) ≤ α }(5)

在校准集与线上样本可交换的前提下，λ̂ 使线上的期望风险不超过 α。这个前提正是它在风险决策中最容易失效的地方，下文“校准为什么会‘过期’”一节将讨论。式 (5) 即保形风险控制的形式⁠24，其理论基础是 Vovk 等人的保形预测框架⁠25；协变量偏移与非可交换场景已有加权推广⁠26,27，但都需要对偏移形式作额外假设。

复核容量

设有 M 名复核人员，每人每天可用于复核的有效时间为 A 分钟，单个样本平均处理 τ 分钟，日处理量为 V，则可转人工的比例上限为

ρ = Pr(转人工) ≤ κ = M·A / (τ·V)(6)

当式 (2) 给出的拒判带所覆盖的比例超过 κ 时，必须按“转人工带来的期望节省”从高到低截取，而不是简单收窄阈值。表 1 汇总本文记号。

表 1 | 本文主要记号
记号含义出现位置
y, x, p, q风险事件标签、可观测信息、真实后验、系统给出的概率式 (1)
CFN, CFP, t∗漏报代价、误报代价、贝叶斯阈值式 (1)
CD, ε转人工固定成本、复核者出错率式 (2)
B, ECE, Brier分箱数、期望校准误差、Brier 分数式 (3)
z, T, a, b原始 logit、温度、Platt 参数式 (4)
α, λ̂, R̂_n目标风险、保形阈值、校准集经验风险式 (5)
M, A, τ, V, κ复核人数、每日有效时间、单件处理时间、日处理量、可转人工比例上限式 (6)

分析框架：概率来源、后处理与决策规则

我们把“大模型进入风险决策”拆成三层。第一层是概率来源，回答“q 从哪里来”；第二层是后处理，回答“q 如何被修正成接近 p”；第三层是决策规则，回答“q 如何变成动作”。三层各自有若干技术路线，失效方式不同。

概率来源有五类。口头置信度是让模型在回答后报出一个数字，成本最低，但依赖提示。答案 token 概率是读取答案位置上各选项 token 的对数概率并在合法选项上归一化，需要白盒或 logprob 接口。单次前向决策头是专门训练的读出头，在一次前向中输出全部选项的概率，Drex Max 与 Chinese Decision 属于这一类⁠1,28。外接校准网络在冻结的大模型上训练一个小网络，用内部特征预测输出是否正确⁠29。采样一致性对同一问题多次采样，用答案一致的比例作为置信度。Kadavath 等人较早发现，预训练模型在合适的格式下对自身答案的概率大体校准⁠30；GPT-4 技术报告显示，后训练后模型的校准变差⁠31；Tian 等人则发现，对经人类反馈微调的模型，口头报出的置信度有时比条件概率校准更好⁠32，这与下文的反方证据一致。

后处理有四类：温度缩放、Platt 缩放、保序回归等单调再校准；训练期校准，如校准感知的强化学习或以熵为目标的双层优化⁠33,34；保形预测与保形风险控制；以及按群组的分层校准。决策规则有三类：单阈值、拒判带、级联，级联即先由小模型或决策模型处理，不确定的再交给大模型或人工。

表 2 | 五类概率来源的对比（证据均为论文或官方自报，未经独立复现）
← 左右滑动查看完整表格 →
概率来源机制主要优点主要问题适用条件代表性证据
口头置信度模型在回答后报出数字黑盒可用，成本低粒度粗，随提示漂移，更多反映“是否愿意承诺”只有 API、样本量小排序可达 AUROC 0.956，但重复询问会翻转 4%–9% 的决策
答案 token 概率读取答案位置的选项 logit与正确性关联更紧需要 logprob 接口；后训练常使其过度自信可访问 logit 的开放模型与口头置信度相比，更接近“证据强度”信号
单次前向决策头专门训练的读出头输出全部选项概率一次前向、延迟低、天然可阈值化准确率可能落后于最好的大模型；需在本域再校准高频、低延迟、选项固定部分任务 ECE 约 1%；但 15 项任务中 14 项落后于最好的大模型
外接校准网络用冻结模型内部特征预测正确性不改动底座需要标注数据；随底座更换失效底座稳定、可读内部特征二分类任务上置信度更可靠
采样一致性多次采样，统计一致比例无需内部访问成本成倍增加；会放大共同误解弱模型、低频高价值决策三样本一致性 AUROC 约 0.77–0.79，低于口头置信度

表 2 中的数字分别来自对口头置信度的分析⁠35、口头与内部置信度的对比⁠36,37、决策模型的评测⁠8,28和外接校准网络⁠29。可以看到，没有哪一类来源同时在准确率、校准、粒度和成本上占优。这决定了第二层与第三层的必要性：概率来源只决定起点，可用的决策概率要靠后处理和决策规则共同产生。

机制分析与路线对比

为什么生成式模型的置信度不能直接接入阈值

第一个机制是“口头置信度反映的是承诺，而不是正确性”。Kumaran 借用知觉决策神经科学中的两阶段弃权范式：模型先作答并报出置信度，再决定是把答案交给用户还是弃权。据论文，口头置信度对“是否承诺”的预测明显好于对“是否答对”的预测；校准后的 token 对数概率则相反，与正确性的区分能力耦合；剔除与对数概率共享的方差后，口头置信度的剩余部分仍与承诺对齐，而与正确性的关联接近随机⁠37。Zhang 等人在 30 个模型、8 个分类任务上比较口头置信度与基于 logit 的置信度，发现两者在关联、幅度和校准三个维度上经常背离；指令微调后的模型往往报出更高的置信度，置信度差距更大、校准更差；提示设计主要改变的是报出置信度的分布⁠36。

第二个机制是“后训练让模型更准，也让它更自信”。Yaldiz 等人比较监督微调与可验证奖励强化学习（RLVR）在决策任务上的校准，发现 RLVR 提升了任务表现，却产生了极度过度自信的模型，而监督微调的校准明显更好，在分布偏移下也是如此；他们的诊断是，推理轨迹中的决策 token 只是在“抽取”已经做出的决策，不携带置信信息（据论文）⁠33。Bereket 与 Leskovec 发现，对随机结果的二元预测，GRPO 会导致过度自信，PPO 和 RLOO 则校准良好，去掉 GRPO 的组内标准差归一化即可修复⁠38。Wang 等人进一步指出，现成推理模型的置信度先验高度集中在少数几个高值上，并在强化学习中持续存在，这会抑制对罕见置信度取值的策略梯度更新⁠39。

第三个机制与智能体有关。Xuan 等人发现工具类型会造成“置信度二分”：网页搜索等证据类工具因检索信息中的噪声，系统性地诱发严重的过度自信；代码解释器等验证类工具通过确定性反馈约束推理，可以缓解失准（据论文）⁠40。医疗场景的证据更直接。一项研究在 MedMCQA 上加入语言不确定性提示，或删去正确选项迫使模型应当弃权，结果是准确率随不确定性增加而下降，置信度却没有相应下降，“不安全的自信错误”显著增加⁠41。另一项对 34 个本地部署的临床大模型的评估发现，给出干净证据可把平均准确率从 73.5% 提高到 94.1%，危险的过度自信从 8.0% 降到 1.6%；而标准 RAG 与智能体式 RAG 没有复现这一安全性表现，增加推理算力的收益有限（据论文）⁠42。作者的结论是，安全性不是规模扩大的被动结果。

反方证据提醒我们不要走到另一个极端。Meyer 等人发现，在审计并修正基准错误之后，与答案一同报出的口头置信度对正确性的预测 AUROC 达到 0.956 和 0.937，明显高于三样本一致性的 0.765 和 0.790；但用等价提示重新询问同一答案的置信度，分数平均变化 0.043 到 0.084，在 0.8 的阈值上翻转 4% 到 9% 的决策（据论文）⁠35。Sun 等人把这种现象称为“分数粒度缺口”：在 9 个大模型、3 个基准的 25 个组合上，单次口头置信度在正确换算为类别概率后排序能力出人意料地好，但只取少数几个不同的值，因而只能提供很少几个粗糙的阈值⁠43。对风险决策而言，后者是致命的：t∗ = 0.091 这样的阈值，在一个只会报 0.7、0.8、0.9、0.95 的分数上无法实施。早期的系统评测也报告了口头置信度普遍偏高的现象⁠44。

单次前向决策模型：可阈值化，但不自动更准

决策模型直接解决了粒度问题：它在合法选项上输出连续概率。Chinese Decision 系列把每个问题编译为共享的指令与候选提示，在一次前向中读取候选字母的 logit 并在合法选项上归一化，随模型发布经验证集拟合的温度；据论文，其 4B 模型在 30.79 万条决策的 CJ-Bench 上总体准确率为 85.97%，在医疗、法律和金融三个领域的平均准确率为 84.00%，期望校准误差为 1.00%⁠28。在诈骗来电筛查上，JevLite 用 LoRA 微调 Qwen3-4B，使两个答案标签 logit 的温度缩放 softmax 即为“是诈骗”的概率；据论文，在 577 个逐轮决策上，三种子集成的 AUROC 为 0.974、校准误差为 0.052，对合法来电无误报，每次决策 64.5 毫秒，比同一底座微调为生成答案的方式快 4.9 倍⁠45。

但这些结果的作者本人也写明了边界。JevLite 的论文指出，增益来自读出方式与校准，而不是准确率；微调后的 ModernBERT 编码器并不显著更差；配方选择接触过测试集；所有来电者都是合成的⁠45。Ibrahim 与 Zaki 在 18 项计算社会科学分类任务上把首个商用决策模型与 19 个大模型对比，据论文，决策模型在 15 项评测任务中的 14 项上落后于该任务最好的大模型，中位差距为 11.6 个 macro-F1 点，但测得成本低约 44 倍；它的置信度比 16 个大模型的口头置信度校准更好，但有三个前沿模型的中位校准误差更低（0.066 对 0.157）；在同伴支持对话的共情任务上，它报出高置信度却接近随机⁠8。他们的建议是把决策模型放在流程的第一步：把低置信度样本交给大模型，可以在四分之一到二分之一的成本下达到或超过只用大模型的效果。

安全类任务的证据也类似。Lan 等人在 47,611 条留出样本上评估提示注入检测，据论文，大模型裁判的区分度最高（AUROC 0.897），决策模型其次（0.871）；决策模型的原生概率并不总是优于事后校准的分类器分数；温度缩放改善了校准却没有改善区分度；在 1% 的漏报率目标下，所有“门禁＋复核”系统都需要超过 91.8% 的升级比例⁠9。最后这一点值得风险团队警惕：当漏报目标极严而区分度不够时，任何校准都无法避免把几乎全部样本交给人工。System1-Arena 也显示，在闭环环境中，大型开放大模型成功率最高（最高 32.9%），小型 System 1 模型很少成功（据论文）⁠4。

综合起来，决策模型改变的是“概率能否被实施”，而不是“区分度的上限”。式 (4) 的单调再校准不改变 AUC，这一理论事实与温度缩放“改善校准但不改善区分度”的实证结果一致⁠9。

校准为什么会“过期”：迁移、配置漂移与压缩

校准参数是在某个分布、某个推理配置下拟合的。Jin 等人指出，事后温度缩放本质上依赖领域，在一个领域拟合的温度不能推广到其他领域⁠34。Afrin 与 Shihab 在 13 个大模型裁判、8 个领域、1,176 次预先声明的迁移上检验“源域与目标域的准确率差距能否预示再校准失效”，据论文，相同的差距可以带来相反的迁移结果，无泄漏的相关系数仅为 0.25，其 95% 置信区间包含 0⁠46。Ovadia 等人的大规模评估较早表明，在数据集偏移下，各类不确定性方法的校准都会随偏移增大而变差⁠47。

对大模型而言，分布之外还有一个常被忽略的偏移来源：推理配置。Zhu 等人把提示模板、解码温度和权重量化的改变称为“配置偏移”，在 9 个模型、4 个数据集、4 种非一致性分数上发现，配置偏移持续侵蚀保形预测的有效性，经验覆盖率常低于目标，而预测集大小基本不变（据论文）⁠48。Tong 等人在 12 个模型上发现，压缩经常使准确率与不确定性脱钩，较大的模型更能吸收压缩带来的不确定性，而不确定性的膨胀常呈阈值式而非渐进式⁠49。这意味着，一次“只换了量化版本”或“只改了提示模板”的上线变更，即使准确率回归测试通过，也可能让式 (5) 的保证失效。

群组层面的问题更隐蔽。Salem 等人发现，在群组构成发生轻度偏移时，标准的保形风险控制在最多 47% 的试验中违反风险预算；他们提出的分层群组条件方法在部分模型上实现了零违约，但相对全局方法的参与成本为 22 到 37 个百分点，即需要更多弃权（据论文）⁠50。SHIFT-Jev 针对决策模型的分布偏移给出一套监测、弃权与持续适配流程：据论文，带 KL 锚定的微调加温度缩放把偏移下的校准误差从 0.289 降到 0.087；在 10% 的目标风险下，经认证阈值的学习型不确定性分数在 27 次测试中有 3 到 5 次超标，而同样认证的最大概率分数有 5 到 15 次，保形预测集有 9 到 14 次；对预测标签做卡方检验可检出 95% 到 99% 的类别先验偏移⁠51。后一点对风险业务尤其重要：坏样本比例的变化，是置信度类监测最容易漏掉的偏移。类别先验偏移的检测与校正有成熟方法：Saerens 等人用 EM 调整分类器输出以适应新的先验⁠52，Lipton 等人用黑箱预测器的混淆矩阵估计并校正标签偏移⁠53。

拒判与人工：容量、疲劳与偏差

式 (2) 和式 (6) 把人放进了决策。机器学习文献中对应的方向是“学习转交”（learning to defer）。Alves 等人在成本敏感的欺诈检测场景中提出 DeCCaF，用监督学习估计每位人类专家的出错概率，再在工作量约束下用约束规划全局最小化误差成本⁠54，并为此发布了包含 50 名合成欺诈分析员预测的 FiFAR 数据集，给出现实的人工容量定义⁠55。Zhang 等人进一步放弃“人的表现恒定”的假设，用心理学疲劳曲线建模随累计工作量下降的人类表现，并在约束马尔可夫决策过程中优化合作预算⁠56。学习转交的早期形式化来自 Madras 等人⁠57，Mozannar 与 Sontag 给出了一致的代理损失⁠58。

人不仅会累，还会被转交给他的样本改变。Pesenti 等人发现，标准的学习转交策略在类别不平衡时会不成比例地转交少数类；226 人的用户研究显示，面对高度不平衡的转交集合，参与者对多数类的分类准确率更低⁠59。智能体监督的研究给出同样的方向：审核者对“什么是有风险的动作”只有中等一致（Fleiss κ = 0.52），考虑疲劳后，安全性对升级率呈倒 U 形⁠60。这两项发现共同说明：拒判带不能只按模型的不确定性来画，还要考虑交到人手上的样本构成。人机协作研究还发现，AI 的解释会提高人对 AI 建议的接受度，而不论建议对错，人机团队并不总能优于单独的一方⁠61。

关于“用不确定性还是学一个转交器”，Wundram 与 Baumgartner 在眼科数据上发现，不确定性量化方法在分布外输入下可能比监督训练的转交模型更稳健⁠62。工程落地方面，一个部署在企业业务流程平台中的客服系统用坐席“接受建议或修改”的低成本反馈训练评论器来校准弃权，只在高置信步骤自动执行、不确定时交给坐席，据论文自动化了 45% 的会话、平均处理时长下降 39%，服务质量未下降⁠63。一项交通事故严重程度分级研究则展示了选择性转交的典型权衡：保留 70% 样本自动分类时，自动部分的 macro-F1 从 0.522 升到 0.573，被转交的部分作为人工复核候选，未做进一步评估⁠64。后一句同样值得注意：许多论文报告的是“自动部分”的指标，而转交部分的真实结果没有被测量。最大 softmax 概率是识别错分与分布外样本的经典基线⁠65。

与规则引擎的分工：概率提议，规则决定

风险决策系统里，大模型不是唯一的决策者。Akhtyamov 讨论了信贷流程中的自进化智能体，认为只有把自我修改限制在运行时执行层（指令文本、工具调用逻辑和原语组合）而保持模型权重不变，每次适配才能成为一个附带原因与测试的差异；据论文，在模拟中，带准入门禁的循环在 7,449 个候选变更中接纳了 144 个，没有一个在留出历史上使误差变差⁠66。Zhou 等人的综述则从可复现性角度指出，金融 AI 中的大模型智能体工作流存在批次相关的输出分歧与轨迹漂移，需要分层的评估框架⁠67。

这些证据支持一种明确的分工：概率由模型给出并经过校准与认证；阈值由成本矩阵导出并作为配置受版本管理；最终动作由规则引擎执行，规则可以覆盖概率，例如监管硬性要求、黑名单与额度上限；转人工的样本附带概率、命中的规则和证据，复核结果回流到校准集。早期的信用评分大模型研究也提示，大模型在一些信用任务上有泛化潜力，同时存在偏差风险⁠68。监管框架提出了相近的要求：美国联邦银行监管机构 2026 年 4 月发布的模型风险管理修订指引（SR 26-2，取代 SR 11-7）采用以风险为本的方法，要求按模型风险状况管理模型的开发、验证与使用（据官方文件）⁠69。

表 3 | 后处理与决策规则路线对比
← 左右滑动查看完整表格 →
路线机制主要收益主要风险适用条件不适用条件
温度缩放单参数单调变换简单，数据需求小领域依赖，不修正整体偏移同域、样本量有限坏样本比例变化大
Platt／保序回归两参数或非参数单调变换同时修正偏移与过度自信小样本过拟合（保序）有足够本域标注标注极少
训练期校准校准感知强化学习、熵目标跨域更稳需重新训练，成本高自研或可微调模型只有闭源 API
保形风险控制有限样本风险保证给出可审计的上界依赖可交换性；群组违约校准集与线上同分布配置或人群频繁变化
拒判带按式 (2) 转人工降低期望成本人工容量、疲劳与偏差有专业复核团队复核者出错率高
级联决策模型先筛，大模型或人工后判成本显著降低级联阈值需本域认证高频决策、长尾难例决策模型在本域显著失准

方法：校准—阈值—拒判流程

前文的分析可以合成一个可执行的流程。算法 1 的目标是：给定一个概率来源和一份带标签的本域样本，输出一套可实施、可审计的决策配置，包括再校准映射、成本阈值、拒判带和经认证的风险上界。

算法 1 校准—阈值—拒判流程（Calibrate–Threshold–Defer, CTD）

输入: 本域带标签样本 D（按时间切分为拟合集 D₁、校准集 D₂、时间外测试集 D₃）；概率来源给出的原始分数 z；成本 CFN、CFP、CD；复核者出错率 ε 的估计；复核容量参数 M、A、τ、V；目标风险 α；群组划分 G（如产品线、地区、渠道）

输出: 再校准映射 g；阈值 t∗；拒判带；转人工比例 ρ ≤ κ；保形阈值 λ̂ 及其适用的配置指纹；时间外测试集上的期望成本、ECE 与各群组风险

  1. 冻结推理配置（模型版本、提示模板、解码参数、量化方式），计算其指纹；后续一切结论只对该指纹有效
  2. 在 D₁ 上检查分数的不同取值个数；若少于 20 个，判定为“粒度不足”，更换概率来源或改用多次查询聚合
  3. 在 D₁ 上拟合 g（温度缩放、Platt 或保序回归，按 D₂ 上的负对数似然选择），得到 q = g(z)
  4. 按式 (1) 计算 t∗；按式 (2) 计算拒判带；按式 (6) 计算 κ；若拒判带覆盖比例超过 κ，按“期望节省 = min{q·CFN, (1 − q)·CFP} − CD − ε·[q·CFN + (1 − q)·CFP]”降序截取
  5. 在 D₂ 上按式 (5) 计算 λ̂，对每个群组 g ∈ G 单独复核，群组数较多时用 Bonferroni 校正
  6. 在 D₃ 上报告期望成本、AUC、ECE、Brier、转人工比例和各群组风险；与“原始分数＋0.5 阈值”和“原始分数＋经验最优阈值”两个基线比较
  7. 上线后，以配置指纹变化、预测标签分布的卡方检验和校准误差的滚动估计作为三类触发器；任一触发即回到步骤 3

复杂度与适用条件: 拟合与阈值计算为 O(n log n)；需要本域标签且标签延迟可接受；需要校准集与线上近似可交换；坏样本极稀少（如低于 0.5%）时 ECE 与群组风险的估计方差很大，应优先报告 Brier 与成本

算法 1 有三处设计值得解释。步骤 1 把推理配置当作校准的一部分，直接来自配置偏移与压缩研究⁠48,49：同一个模型换一个提示模板或量化版本，就是一个需要重新校准的新系统。步骤 2 的粒度检查来自分数粒度缺口⁠43。步骤 7 把预测标签分布的卡方检验列为单独的触发器，是因为类别先验偏移是置信度类监测最容易漏掉的变化⁠51。

示意计算

下面用一组示意数据说明式 (1)—(6) 的联动。数据完全由模拟生成，不对应任何真实业务；脚本 src/sim.py 与 src/figs.py 使用固定随机种子，可复算。

设定：坏样本比例 5%；真实后验由一个分离度为 2.2 的双正态模型给出；模型的原始 logit 是真实后验 logit 的 2 倍再加 1，即同时存在过度自信和整体偏高。拟合集 5,000 笔，测试集 20,000 笔。成本取 CFN = 10、CFP = 1、CD = 0.4，复核者出错率 ε = 5%，复核容量上限 κ = 10%。按式 (1)，t∗ = 1/11 ≈ 0.091；按 ε = 0 的式 (2)，拒判带为 (0.04, 0.60)。

表 4 | 示意计算：五种配置在测试集上的每千笔期望成本（示意数据）
← 左右滑动查看完整表格 →
配置校准误差 ECE每千笔期望成本转人工比例
原始概率，阈值 0.50.020256.80
原始概率，成本阈值 t∗0.020198.80
温度缩放后，成本阈值 t∗0.011191.80
Platt 校准后，成本阈值 t∗0.002184.20
Platt 校准＋拒判带（容量 10%）0.002162.510.0%

表 4 给出四个结论。第一，阈值的选择比模型更重要：同一组原始概率，把阈值从默认的 0.5 改为成本导出的 t∗，每千笔期望成本从 256.8 降到 198.8，降幅约 23%。第二，校准误差小不等于决策损失小：原始概率的 ECE 只有 0.020，看上去“已经很准”，但直接套用 t∗ 比校准后多付约 8% 的成本。原因在于坏样本比例只有 5% 时，绝大多数样本落在接近 0 的箱里，这些箱的误差很小，把 ECE 拉低了，而决策损失集中在 t∗ 附近（图 1）。第三，温度缩放只修正了过度自信，没有修正整体偏移，因此不如 Platt 缩放；校准后的成本 184.2 与真实后验下的 184.6 基本相同，说明校准已接近上限。第四，在 10% 的容量内转人工，成本再降约 12%，降到 162.5。

可靠性图（双对数刻度）：横轴为模型给出的概率（分箱均值），纵轴为实际坏样本比例，画出原始概率、Platt 校准后两条折线与表示完美校准的对角虚线，Platt 校准后的点贴近对角线（示意数据）
图 1 | 可靠性图。横轴、纵轴均为对数刻度。原始概率在高分段明显高于实际坏样本比例；Platt 校准后接近对角线。示意数据，由弘犀智能研究团队计算。

需要特别指出一个反直觉的对照：如果不做校准，而是在原始概率上直接搜索经验最优阈值，最优阈值约为 0.025，对应成本约 184.9，与校准后几乎相同（图 2）。这与式 (4) 的单调性一致：在成本固定、分布稳定、只有一个二元决策时，校准与“换一个阈值”是等价的。校准的独立价值体现在三种情况：成本矩阵会变，需要用式 (1) 直接换算新阈值；需要式 (2) 的拒判带，而拒判带的两端直接依赖概率的绝对值；需要与其他概率（规则命中率、其他模型）组合或做跨群组比较。

每千笔期望成本随决策阈值 t（0 至 0.6）变化的两条曲线：原始概率与 Platt 校准后，竖虚线标出 t∗ = 1/11，校准后曲线的最低点落在 t∗ 附近（示意数据）
图 2 | 每千笔期望成本随决策阈值的变化。原始概率的成本最低点偏离 t∗，校准后的最低点落在 t∗ 附近。示意数据，由弘犀智能研究团队计算。

最后看容量。图 3 把容量上限从 0 逐步放宽到 25%。成本随容量增加而下降，到约 16% 时达到最低（约 155.1），继续放宽反而略有上升，稳定在约 157.4。原因是式 (2) 在 ε = 0 下画出的拒判带覆盖约 18% 的样本，但复核者有 5% 的出错率，对靠近拒判带边缘的样本，转人工的真实代价已高于自动决策。把 ε 纳入式 (2) 可以直接得到更窄的拒判带。这正是“转人工越多越稳妥”这一直觉的反例。

每千笔期望成本随可转人工复核比例上限（0 至 25%）变化的折线：成本从约 184 逐步下降，在约 16% 处最低（约 155），此后略有回升并持平（示意数据）
图 3 | 拒判容量与每千笔期望成本。约 16% 处成本最低，此后因复核者出错，成本略有回升。示意数据，由弘犀智能研究团队计算。

前瞻判断与研究议程

以下判断为弘犀智能研究团队的观点，不是事实陈述。每条给出时间尺度、依据、证伪条件和企业含义。

表 5 | 五条前瞻判断（观点）
← 左右滑动查看完整表格 →
编号判断时间尺度主要依据证伪条件企业含义
1在高频、选项固定的风险决策环节，单次前向决策模型或答案 token 读出将取代“生成答案＋口头置信度”成为默认接口12–18 个月决策模型的校准与延迟优势⁠4,45；口头置信度粒度缺口⁠43主流生成式 API 普遍提供连续、可阈值化且经第三方验证校准的置信度输出选型时把“可阈值化的连续概率”列为硬要求
2决策模型与前沿大模型的级联将成为主流部署形态，而不是二选一6–12 个月低置信度转交大模型可在四分之一到二分之一成本下达到同等效果⁠8；保形级联⁠70单一模型在准确率与成本上同时占优，级联在生产中被普遍放弃在本域认证级联阈值，并记录每一级的转交比例
3推理配置指纹（模型、提示、解码、量化）将与校准参数绑定，进入模型风险管理的变更流程12–24 个月配置偏移侵蚀保形保证⁠48；压缩使不确定性脱钩⁠49大规模研究表明常见配置变更对校准与覆盖率的影响普遍可忽略任何配置变更触发重新校准与时间外回测
4转人工策略将从“按不确定性比例”转向“按容量、复核者误差与样本构成联合优化”12–24 个月疲劳感知转交⁠56；转交偏差⁠59；成本与容量约束下的转交⁠54生产评估显示简单不确定性阈值与联合优化的效果差距普遍小于 2%估计每位复核者的误差率，把 ε 写进式 (2)
5后训练将出现“校准约束”的标配：面向决策任务的强化学习会把校准损失或校准感知奖励作为默认组成部分12–24 个月RLVR 与 GRPO 导致过度自信⁠33,38；置信度先验集中⁠39新一代推理模型在未做专门处理的情况下，在决策任务上的校准普遍优于监督微调模型对供应商模型要求提供分领域的校准报告

围绕这些判断，我们认为值得投入的研究问题包括：一是低坏样本比例下的校准评估，ECE 在此场景下系统性偏低，需要以成本或阈值附近的局部校准为主；二是标签延迟下的在线再校准，风险业务的表现期常以月计；三是对转交样本的真实结果做跟踪评估，避免只报告自动部分的指标；四是把规则引擎的命中信息作为校准的协变量，研究概率与规则的联合校准。

业界常见看法中可能错误的地方

第一，“模型更准，就可以直接用它的答案”。决策需要的是可阈值化的概率；即使是同一组概率，默认阈值 0.5 与成本阈值之间的差距，在示意计算中带来约 23% 的成本差异。

第二，“ECE 很低，说明已经校准好了”。在低坏样本比例下，ECE 被大量接近 0 的样本拉低，决策损失集中在阈值附近，应同时报告阈值附近的局部校准与期望成本。

第三，“校准能提高区分度”。单调再校准不改变排序，温度缩放改善校准却不改善区分度已被实证⁠9。校准的价值在成本变化、拒判和组合场景中体现。

第四，“问模型有多确定就行”。口头置信度更多反映模型“愿不愿意承诺”，而不是“对不对”⁠37，并且粒度粗、对提示敏感⁠35,43。

第五，“转人工越多越稳妥”。复核者有误差、会疲劳，转交集合的构成还会影响复核者的判断⁠56,59；示意计算中，超过一定比例后成本反而上升。

第六，“一次校准，长期有效”。模型版本、提示模板、量化方式和人群构成的变化都会让校准过期⁠48,50。

局限性

本文有四点局限。其一，引用的多数研究是近 12 个月的预印本，数字为作者自报，尚未经同行评审或独立复现；决策模型相关的部分结果来自开发方或使用合成数据。其二，示意计算采用双正态的理想化数据生成过程，成本、复核者出错率与容量都是假设值，只用于说明机制；真实风险业务存在标签延迟、拒绝推断与反馈回路，会使校准更难。其三，本文主要讨论二元决策，多类别与序数决策的阈值与拒判设计更复杂。其四，Drex Max 等新发布模型尚无独立的本域评测，本文只引用其官方描述，不对其在任何风险业务中的表现作判断。

结论

回到中心论点。在风险决策中，大模型应当作为概率提供者接入系统。决策质量由三件事共同决定：概率能否被可靠地设阈值，阈值是否来自显式成本，拒判是否受人工容量约束。生成式模型的口头置信度排序能力不差，但更多反映承诺而非正确性，粒度粗、易漂移；单次前向决策模型解决了粒度与延迟问题，但不自动更准，需要在本域再校准，并常以级联方式与大模型配合；校准不改变区分度，它的价值在成本变化、拒判和漂移场景中体现；转人工必须同时考虑容量、复核者误差与样本构成。

在弘犀智能的实践中，这一分工体现在两个产品的设计上。据弘犀智能官网，SAM 数据分析与评分卡建模平台由一个主管智能体编排七个专业智能体，完成十四步建模流程，并设有十四个具名人工门禁，流程中任一环节变更会使下游步骤失效并重跑⁠71；企业智能体平台 Harness 的治理层包括规则引擎（以代码表达政策，判断业务动作是否被允许）、逐次复核的权限与授权以及可重放的审计追踪，坚持“模型只提议，系统做决定”⁠72。这与本文的框架一致：概率由模型提供并经过校准，阈值与规则作为受控配置，最终决定权保留在规则与具名的人。

要点小结：

  1. 让模型输出概率而不是答案，并先检查分数的粒度能否支持所需的阈值。
  2. 阈值从成本矩阵导出：t∗ = CFP / (CFP + CFN)，不要默认 0.5。
  3. 低坏样本比例下不要只看 ECE，同时看阈值附近的校准与期望成本。
  4. 拒判带要把复核者误差和容量写进去，转人工不是越多越好。
  5. 把推理配置指纹与校准参数绑定，任何配置变更都触发重新校准。

参考文献

  1. 1.Nace.AI. Drex Max v1 (model card). Hugging Face, https://huggingface.co/nace-ai/drex-max-v1 (2026).
  2. 2.Razzaq, A. Nace AI Open-Sources Drex Max v1: A 27B Decision Model That Runs Locally on Apple Silicon. MarkTechPost, https://www.marktechpost.com/2026/11/01/nace-ai-open-sources-drex-max-v1-local-inference/ (2026).
  3. 3.Roitman, H. The Hitchhiker's Guide to System 1 Models: Fast Decision-Making Beyond LLMS. Preprint at https://arxiv.org/abs/2610.33775 (2026).
  4. 4.Chen, T., Liu, X., An, R., Wang, Z. & Zhou, M. System1-Arena: Which Decisions Can Be Left to System 1?. Preprint at https://arxiv.org/abs/2610.21244 (2026).
  5. 5.Hand, D. J. & Henley, W. E. Statistical Classification Methods in Consumer Credit Scoring: A Review. J. R. Stat. Soc. A 160, 523–541 (1997); https://doi.org/10.1111/j.1467-985X.1997.00078.x.
  6. 6.Lessmann, S., Baesens, B., Seow, H. V. & Thomas, L. C. Benchmarking state-of-the-art classification algorithms for credit scoring: An update of research. Eur. J. Oper. Res. 247, 124–136 (2015); https://doi.org/10.1016/j.ejor.2015.05.030.
  7. 7.Van Calster, B., McLernon, D. J., van Smeden, M., Wynants, L. & Steyerberg, E. W. Calibration: the Achilles heel of predictive analytics. BMC Med. 17, 230 (2019); https://doi.org/10.1186/s12916-019-1466-7.
  8. 8.Ibrahim, H. & Zaki, Y. Evaluating Decision Models for Text Annotation in Computational Social Science. Preprint at https://arxiv.org/abs/2609.24574 (2026).
  9. 9.Lan, Q., Kaul, A., Pandurangan, V. & Sanyal, I. From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection. Preprint at https://arxiv.org/abs/2610.20907 (2026).
  10. 10.Zadrozny, B. & Elkan, C. Transforming classifier scores into accurate multiclass probability estimates. In Proc. 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 694–699 (ACM, 2002); https://doi.org/10.1145/775047.775151.
  11. 11.Dawid, A. P. The Well-Calibrated Bayesian. J. Am. Stat. Assoc. 77, 605–610 (1982); https://doi.org/10.1080/01621459.1982.10477856.
  12. 12.Chow, C. On optimum recognition error and reject tradeoff. IEEE Trans. Inf. Theory 16, 41–46 (1970); https://doi.org/10.1109/TIT.1970.1054406.
  13. 13.Geifman, Y. & El-Yaniv, R. Selective Classification for Deep Neural Networks. In Advances in Neural Information Processing Systems 30 (2017); https://arxiv.org/abs/1705.08500.
  14. 14.Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q. On Calibration of Modern Neural Networks. In Proc. 34th International Conference on Machine Learning 1321–1330 (PMLR, 2017); https://arxiv.org/abs/1706.04599.
  15. 15.Brier, G. W. Verification of forecasts expressed in terms of probability. Mon. Weather Rev. 78, 1–3 (1950); https://doi.org/10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2.
  16. 16.Gneiting, T. & Raftery, A. E. Strictly Proper Scoring Rules, Prediction, and Estimation. J. Am. Stat. Assoc. 102, 359–378 (2007); https://doi.org/10.1198/016214506000001437.
  17. 17.Pakdaman Naeini, M., Cooper, G. & Hauskrecht, M. Obtaining Well Calibrated Probabilities Using Bayesian Binning. In Proc. AAAI Conference on Artificial Intelligence 29, 2901–2907 (2015); https://doi.org/10.1609/aaai.v29i1.9602.
  18. 18.Kumar, A., Liang, P. & Ma, T. Verified Uncertainty Calibration. In Advances in Neural Information Processing Systems 32 (2019); https://arxiv.org/abs/1909.10155.
  19. 19.Nixon, J. et al. Measuring Calibration in Deep Learning. In Proc. CVPR Workshops (2019); https://arxiv.org/abs/1904.01685.
  20. 20.Niculescu-Mizil, A. & Caruana, R. Predicting good probabilities with supervised learning. In Proc. 22nd International Conference on Machine Learning 625–632 (ACM, 2005); https://doi.org/10.1145/1102351.1102430.
  21. 21.Kull, M. et al. Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration. In Advances in Neural Information Processing Systems 32 (2019); https://arxiv.org/abs/1910.12656.
  22. 22.Minderer, M. et al. Revisiting the Calibration of Modern Neural Networks. In Advances in Neural Information Processing Systems 34 (2021); https://arxiv.org/abs/2106.07998.
  23. 23.Angelopoulos, A. N. & Bates, S. A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. Preprint at https://arxiv.org/abs/2107.07511 (2021).
  24. 24.Angelopoulos, A. N., Bates, S., Fisch, A., Lei, L. & Schuster, T. Conformal Risk Control. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2208.02814.
  25. 25.Vovk, V., Gammerman, A. & Shafer, G. Algorithmic Learning in a Random World (Springer, 2005); https://doi.org/10.1007/b106715.
  26. 26.Tibshirani, R. J., Barber, R. F., Candès, E. J. & Ramdas, A. Conformal Prediction Under Covariate Shift. In Advances in Neural Information Processing Systems 32 (2019); https://arxiv.org/abs/1904.06019.
  27. 27.Barber, R. F., Candès, E. J., Ramdas, A. & Tibshirani, R. J. Conformal prediction beyond exchangeability. Ann. Stat. 51, 816–845 (2023); https://doi.org/10.1214/23-AOS2276.
  28. 28.Yan, Q. Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making. Preprint at https://arxiv.org/abs/2610.23170 (2026).
  29. 29.Wang, J. et al. ProbPlug: A Plugin Uncertainty Network for Reliable Confidence in LLM Binary Classification. Preprint at https://arxiv.org/abs/2609.10122 (2026).
  30. 30.Kadavath, S. et al. Language Models (Mostly) Know What They Know. Preprint at https://arxiv.org/abs/2207.05221 (2022).
  31. 31.OpenAI. GPT-4 Technical Report. Preprint at https://arxiv.org/abs/2303.08774 (2023).
  32. 32.Tian, K. et al. Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback. In Proc. Conference on Empirical Methods in Natural Language Processing (2023); https://arxiv.org/abs/2305.14975.
  33. 33.Yaldiz, D. N. et al. Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning. Preprint at https://arxiv.org/abs/2601.13284 (2026).
  34. 34.Jin, R., Wang, Z., Dai, Z., Xiao, J. & Hou, B. Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration. Preprint at https://arxiv.org/abs/2608.07419 (2026).
  35. 35.Meyer, L., Rossi, S., Chen, W., Laurent, T. & Li, Y. An Analysis of Training-Free Self-Reported Confidence in Language Models. Preprint at https://arxiv.org/abs/2609.20541 (2026).
  36. 36.Zhang, H. et al. When Linguistic and Internal Confidence Diverge in Large Language Models. Preprint at https://arxiv.org/abs/2608.28382 (2026).
  37. 37.Kumaran, D. Reported Confidence in LLMs Tracks Commitment More Than Correctness. Preprint at https://arxiv.org/abs/2606.29490 (2026).
  38. 38.Bereket, M. & Leskovec, J. Uncalibrated Reasoning: GRPO Induces Overconfidence for Stochastic Outcomes. Preprint at https://arxiv.org/abs/2508.11800 (2025).
  39. 39.Wang, S. et al. On the Pitfalls of Verbalized Confidence Priors for Calibrating Large Reasoning Models. Preprint at https://arxiv.org/abs/2609.32470 (2026).
  40. 40.Xuan, W. et al. The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents. Preprint at https://arxiv.org/abs/2601.07264 (2026).
  41. 41.Tahermazandarani, M., Mahmood, A., Islam, F. & Sheng, Q. Z. When Confidence Fails: Overconfidence in LLMs under Uncertainty and Missing Clinical Information. Preprint at https://arxiv.org/abs/2608.09080 (2026).
  42. 42.Wind, S. et al. Safety and accuracy follow different scaling laws in clinical large language models. Preprint at https://arxiv.org/abs/2605.04039 (2026).
  43. 43.Sun, A., Sun, T. & Geng, J. The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions. Preprint at https://arxiv.org/abs/2606.22179 (2026).
  44. 44.Xiong, M. et al. Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. Preprint at https://arxiv.org/abs/2306.13063 (2023).
  45. 45.Ren, S. et al. Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model. Preprint at https://arxiv.org/abs/2609.23959 (2026).
  46. 46.Afrin, F. & Shihab, I. F. When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges. Preprint at https://arxiv.org/abs/2609.27954 (2026).
  47. 47.Ovadia, Y. et al. Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. In Advances in Neural Information Processing Systems 32 (2019); https://arxiv.org/abs/1906.02530.
  48. 48.Zhu, Y. et al. Conformalized Large Language Models under Configuration Shift. Preprint at https://arxiv.org/abs/2608.01460 (2026).
  49. 49.Tong, Y. et al. Does Compression Preserve Uncertainty? A Unified Benchmark for Quantized and Sparse LLMs via Conformal Prediction. Preprint at https://arxiv.org/abs/2606.01850 (2026).
  50. 50.Salem, M., Böhm, L., Pontes, D. & Ferrugem, A. Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models. Preprint at https://arxiv.org/abs/2607.24562 (2026).
  51. 51.Saeed, M. A. et al. SHIFT-JEV: Certified Abstention and Gain-Gated Continual Adaptation for LLM-Based Decision Models under Distribution Shift. Preprint at https://arxiv.org/abs/2610.34329 (2026).
  52. 52.Saerens, M., Latinne, P. & Decaestecker, C. Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure. Neural Comput. 14, 21–41 (2002); https://doi.org/10.1162/089976602753284446.
  53. 53.Lipton, Z. C., Wang, Y. & Smola, A. Detecting and Correcting for Label Shift with Black Box Predictors. In Proc. 35th International Conference on Machine Learning (PMLR, 2018); https://arxiv.org/abs/1802.03916.
  54. 54.Alves, J. V. et al. Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints. Preprint at https://arxiv.org/abs/2403.06906 (2024).
  55. 55.Alves, J. V. et al. FiFAR: A Fraud Detection Dataset for Learning to Defer. Preprint at https://arxiv.org/abs/2312.13218 (2023).
  56. 56.Zhang, Z., Nguyen, C. C., Rosewarne, D., Wells, K. & Carneiro, G. Fatigue-Aware Learning to Defer via Constrained Optimisation. Preprint at https://arxiv.org/abs/2604.00904 (2026).
  57. 57.Madras, D., Pitassi, T. & Zemel, R. Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer. In Advances in Neural Information Processing Systems 31 (2018); https://arxiv.org/abs/1711.06664.
  58. 58.Mozannar, H. & Sontag, D. Consistent Estimators for Learning to Defer to an Expert. In Proc. 37th International Conference on Machine Learning (PMLR, 2020); https://arxiv.org/abs/2006.01862.
  59. 59.Pesenti, D., Bogani, A., Teso, S. & Pugnana, A. Too Much of the Same: From Algorithmic to Human Bias in Learning to Defer. Preprint at https://arxiv.org/abs/2608.28050 (2026).
  60. 60.Turan, E. Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human. Preprint at https://arxiv.org/abs/2606.08919 (2026).
  61. 61.Bansal, G. et al. Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance. In Proc. 2021 CHI Conference on Human Factors in Computing Systems 1–16 (ACM, 2021); https://doi.org/10.1145/3411764.3445717.
  62. 62.Wundram, A. M. & Baumgartner, C. F. Is Uncertainty Quantification a Viable Alternative to Learned Deferral?. Preprint at https://arxiv.org/abs/2508.02319 (2025).
  63. 63.Borovkov, N. et al. Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows. Preprint at https://arxiv.org/abs/2604.23855 (2026).
  64. 64.Chhetri, G., Baitullah, A. & Das, S. Toward Auditable and Calibrated AI for Dementia-Related Crash Severity Prediction: A Selective Deferral Framework to Support Human Review. Preprint at https://arxiv.org/abs/2609.22694 (2026).
  65. 65.Hendrycks, D. & Gimpel, K. A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks. In Proc. International Conference on Learning Representations (2017); https://arxiv.org/abs/1610.02136.
  66. 66.Akhtyamov, R. The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate. Preprint at https://arxiv.org/abs/2610.10629 (2026).
  67. 67.Zhou, R. et al. From Accuracy to Auditability: A Survey of Determinism in Financial AI Systems. Preprint at https://arxiv.org/abs/2605.23955 (2026).
  68. 68.Feng, D. et al. Empowering Many, Biasing a Few: Generalist Credit Scoring through Large Language Models. Preprint at https://arxiv.org/abs/2310.00566 (2023).
  69. 69.Board of Governors of the Federal Reserve System, Office of the Comptroller of the Currency & Federal Deposit Insurance Corporation. SR 26-2: Revised Guidance on Model Risk Management (Federal Reserve, 17 April 2026); https://www.federalreserve.gov/supervisionreg/srletters/sr2602.htm.
  70. 70.Dou, Y., Lian, S. & Li, S. Conformal Cascade: Distribution-Free Accuracy Guarantees for Multi-Tier LLM Inference. Preprint at https://arxiv.org/abs/2607.25018 (2026).
  71. 71.弘犀智能（Great Unicorn Intelligence）. SAM 数据分析与评分卡建模平台（SAM Data Analysis & Scorecard Modeling Platform）. https://www.hxallai.com (2026).
  72. 72.弘犀智能（Great Unicorn Intelligence）. 企业智能体平台 · Harness（Enterprise Agent Platform · Harness）. https://www.hxallai.com/en/platform/agent/ (2026).

数据可用性　本文未使用任何真实业务数据，也未产生新的实验数据。文中引用的数字均来自所列参考文献与官方文件；示意计算的数据由模拟脚本按文中设定生成。

代码可用性　模拟与图 1—3 的脚本为 src/sim.py 与 src/figs.py（Python，固定随机种子），随本文资料包提供，可完整复算表 4 与图 1—3 的全部数字。

利益冲突　作者为弘犀智能科技（深圳）有限公司员工。文中提及的 SAM 数据分析与评分卡建模平台和企业智能体平台 Harness 为该公司产品。

【版权声明】本文版权归弘犀智能科技（深圳）有限公司所有。任何形式的转载、引用评论或改写，均须署名作者（弘犀智能研究团队）并注明出处（弘犀智能，https://www.hxallai.com）。

引用本文

弘犀智能研究团队. 风险决策中的大模型应输出可校准的概率而非答案：校准、成本阈值与拒判容量的统一框架[EB/OL]. 弘犀研究, 2026-11-02. https://www.hxallai.com/research/calibrated-probabilities/.

参考格式：GB/T 7714—2015

交流探讨

想把这些方法用到您的业务里？

欢迎与弘犀智能的建模与智能体团队交流具体场景：从推理预算、证据链到可审计的决策流程，我们可以一起评估落地路径。

预约交流 返回弘犀研究