金融智能体评测的范式迁移：从"答对题"到可辩护、可审计的决策（深度版）

导读

两年前，人们评价一个"金融大模型"，多半看它在金融问答、财报阅读或资格考试题上答对了多少。这种考法在当时是合理的：先确认模型"懂行"，再谈应用。

但当大模型从"回答问题"走向"替人干活"，也就是读材料、调工具、写代码、给出授信或交易建议时，平均分就不够用了。一位信贷审批负责人真正想问的是另外几件事：

• 它在我们这个审查环节可靠吗？在财务分析上排第一的模型，在关联方识别上是否也靠得住？
• 材料不全时，它会不会要材料？要的是不是关键的那一份？
• 它写的规则代码，执行的是不是我描述的那套逻辑？
• 历史回测很好看，明年还好吗？
• 它能自我改进，那改了之后还能不能被审查？

2026 年 8 月到 10 月的一批研究，正好分别回答了这几个问题。本文精读其中 12 项工作 [1]–[12]，把它们放在同一条主线上：金融智能体的评测，正在从"答对题"迁移到"做出可辩护、可审计的决策"。所谓"可辩护"，是指一笔决策在事后被问"为什么"时，能拿出证据、计算过程、规则依据和变更记录。

全文结构如下：第一部分说明为什么旧考法失灵；第二部分给出"六道关"框架；第三到第六部分逐关精读代表性工作，穿插 4 个算法讲解框；随后是横向对比、我们的观点、未来展望和落地启示。

一、旧考法为什么失灵：三种错位

错位一：总分与环节。金融业务是由许多不同性质的环节串成的流水线。FinRiskAtlas 在 53 个任务族、9,742 个实例上评测了 33 个模型配置，发现 11 个审查操作之间模型排名的平均 Spearman 相关只有 0.42；11 个操作的领先者分散在 9 个不同配置上；若按总榜选模型，在某些操作上的"后悔值"（与该操作最佳配置的差距）可达 18.01 分 [1]。换句话说，一个总分无法告诉你，这个模型在你那个环节是不是好用。

错位二：文字与行为。大模型擅长写出合理的解释，但解释和行为是两回事。ReguSim 发现，智能体交易员可以在理由里引用规则，却仍然提交违反可执行约束的订单；更麻烦的是，把交易员的理由展示给监控模型，反而会让监控者更容易放过已被系统拒绝的订单 [4]。MintEval 发现，模型写出的策略代码能编译、能回测，行为却与要求不一致，而且读代码的大模型评审看不出来 [6]。

错位三：历史与未来。金融环境是非平稳的。Quant-Arena 让 9 个前沿模型在 2022—2023 年数据上反复迭代策略，然后在封存的 2024 年评估：迭代让每个模型的研究期得分都上升了（均值从 36.47 升至 43.55），但只有 4 个模型的样本外收益随之上升 [5]。LiveMACE 在 30 天实时市场里观察到，收益排名随时间大幅波动，并且常常与能力指标背离 [7]。

这三种错位，共同指向一个结论：评测的对象应当从"一道题的答案"下沉到"一笔决策的全过程"。

二、六道关：一条演进脉络

把这批工作按一笔决策的生命周期排开，可以得到图 2 的六道关：

1. 证据充分：缺件会补，矛盾会查。代表：FinRiskAtlas 的追问评测 FinRisk-Ask [1]、FinHopper 的多跳取证 [9]、UWBench 的原始文档赛道 [2]。
2. 计算确定：比率、分值交给代码，不交给模型"心算"。代表：UWBench 的确定性评分 [2]、Oculi 的确定性统计 [3]、CredWise 的校准与解释 [10]、贷款政策核查原型 [12]。
3. 言行一致：引用规则不等于遵守规则。代表：ReguSim [4]。
4. 行为等价：代码做的就是要求的。代表：MintEval [6]。
5. 样本外：历史好不等于未来好。代表：Quant-Arena [5]、LiveMACE [7]。
6. 变更可审：改了什么、为什么改、测过没有。代表：Akhtyamov 的"Harness 唯一可变面" [8]。

这六关之间有清晰的演进关系。前两关回答"单笔决策的输入和计算是否站得住"；第三、四关回答"智能体实际做的事是否与它说的、被要求的一致"；最后两关把时间维度拉进来，回答"跨时间和跨版本是否仍然可靠"。越往后，评测越接近监管机构对模型风险管理的要求：不仅模型要好，模型的生命周期也要可控。

三、第一关：证据充分——会不会追问，问没问到点上

3.1 FinRiskAtlas：以"审查操作"为单位的评测 [1]

问题。金融风险审查由许多操作组成：主体核验、财务异常识别、关联关系判断、合规条款匹配等等。通用榜单把它们混在一起打一个分，掩盖了操作之间的差异。

机制。 FinRiskAtlas（蚂蚁国际等团队，8 月 26 日，背景）构建了 53 个任务族、9,742 个实例，按审查操作组织评测。其中值得关注的是 FinRisk-Ask 子集：它来自真实的专业审查轨迹，共 680 个状态，在其中 583 个状态里审查员选择了"追问"（Ask，要求补充材料），97 个状态里选择了"继续"（Proceed）。模型面对同样的状态，要决定是追问还是继续，如果追问，还要说清楚要什么。

结果。除了前文提到的 0.42 平均排名相关和 18.01 的后悔值，FinRisk-Ask 揭示了一个反直觉现象：在所有 32 个非评审配置中，追问召回率都高于继续召回率，二者差距的中位数达到 46.26 分。也就是说，模型普遍倾向于"多问"，但问得准不准是另一回事。

局限。追问的"正确答案"来自已记录的审查员行为，而审查员本身也可能问得不够或问得过多；论文明确说明这是对"已记录的专业转移"的评测，而非对最优审查策略的评测。

算法框 1：ERA——把"该不该问"和"问得准不准"拆开相乘

一句话直觉：一个好的追问，先要"开口"，再要"问到点上"；两件事缺一件，都等于没问好。

生活类比：就像去医院看病，医生既要意识到需要做检查（不能什么都不查就开药），也要开对检查单（不能怀疑骨折却去验血）。

步骤：

1. 取出所有审查员选择了"追问"的状态，集合记为 T_Ask（共 583 个）。
2. 统计模型在其中多少个状态也选择了追问，得到追问召回率 AskR。
3. 对模型追问的每个状态 t，按三级标准给追问内容打分 z_t：直接对准缺失证据记 1，相关但不完整记 0.5，无关记 0。
4. 在模型确实追问的状态上求 z_t 的平均，得到条件请求对齐率 CRA。
5. 两者相乘得到端到端的证据请求对齐率 ERA。

公式：

AskR = 100 × |A| / |T_Ask|
CRA  = 100 × Σ_{t∈A} z_t / |A|
ERA  = 100 × Σ_{t∈T_Ask} z_t / |T_Ask| = AskR × CRA / 100

其中 T_Ask 是审查员选择追问的状态集合；A 是这些状态中模型也选择追问的子集；z_t ∈ {0, 0.5, 1} 是第 t 个状态的追问得分（模型没追问时 z_t = 0）。由于分母相同，ERA 恰好等于 AskR 与 CRA 的乘积除以 100。

算例（论文数据）： Ling-2.6-1T 的 AskR = 96.57%，CRA = 82.58%，ERA = 96.57 × 82.58 / 100 ≈79.75，为全场 ERA 的领先者。Qwen3.7-Max 的 CRA 高达 87.67%（全场 CRA 的领先者），但 AskR 只有 57.80%，ERA ≈ 50.7（论文报告 50.68）。前者"问得多且准"，后者"问得准但问得少"。

为什么有效：乘法结构让两个短板都无法被另一项掩盖。论文还发现，行动一致率（BAcc）相差不到 0.1 分的两个配置，ERA 最多可相差 28.31 分，说明"动作选对"不代表"证据要对"。

何时失效：三级评分依赖评审对"直接对准"的判断，存在主观性；同时 ERA 只看"该问时问得好不好"，不惩罚"不该问时乱问"，需要和继续召回率 ProceedR 一起看。

3.2 FinHopper：多跳取证，每一步都是硬约束 [9]

问题。金融事实查询常常是多跳的：先查出某基金的基金经理，再查此人管理的另一只基金，再查那只基金某季度的重仓股。与通用多跳问答不同，金融中每一跳的中间答案都是精确的类型化约束（实体、日期、事件或数值），一步错了，后面的检索会沿着一条"看似合理但完全错误"的轨迹走下去。

机制。 FinHopper（华南理工大学与腾讯 FiT 团队，10 月 19 日，已被 EMNLP 2026 接收）用状态转移框架把经过验证的原子金融问答模式组合成 1 到 6 跳的依赖链，覆盖股票、基金和宏观数据，并为每一跳提供标准中间答案。

结果。在 20 个智能体配置上：不使用搜索工具时，所有模型的得分都低于 8.1%；使用工具后，表现较好的 Claude-4.5-Sonnet（思考模式）微平均得分 67.3%，而人类专家为 81.7%；到 6 跳问题，二者分别是 31.1% 和 64.4%。模型的平均耗时约 31 秒，人类专家约 324 秒。

局限。评测集规模不大（6 个跳数档共 200 道题），作者也说明中间步骤的标注是诊断信号，而非独立的测试样本。

算法框 2：过程分——答案错了，也要看走对了几步

一句话直觉：最终答案对得满分；答错了，按"中间关键事实找对了多少"给部分分，但最多给一半。

生活类比：数学考试的步骤分：结果算错了，但前面的公式和推导写对了，老师会酌情给分，只是不会给满分。

公式：

s_final   = 1 若最终答案（统一单位、日期、格式后）与标准答案一致，否则 0
s_process = α × (1/N) × Σ_{i=1..N} I(k_i ⪯ A)
S(A)      = s_final + (1 − s_final) × s_process

其中 A 是模型的回答；k_1…k_N 是 N 个标准中间答案；I(k_i ⪯ A) 表示回答中蕴含了第 i 个中间答案时取 1，否则取 0；α = 0.5 是部分分上限。

算例（示意数值，非论文案例）：一道 4 跳题，模型最终答案错误，但找对了前 3 个中间答案，则 s_process = 0.5 × 3/4 = 0.375，S = 0 + 1 × 0.375 = 0.375。若最终答案正确，则 S = 1。

汇总时，论文同时报告两种平均：按题目分布加权的微平均 Σ w_k·Score_k（w_k 是 k 跳题的占比），以及六档等权的宏平均 (1/6)·Σ Score_k。由于 1—2 跳的简单题占了 50%，宏平均更能反映长链条上的稳健性。

为什么有效：它区分了"完全没思路"和"思路对了但最后一步失误"，对改进检索策略很有诊断价值。

何时失效： "蕴含"判断需要评审模型完成，存在误判可能；而且在金融实务中，最终数字错了就是错了，过程分只能用于诊断，不能用于验收。

3.3 UWBench：把信贷审批拆成可审计的评分卡 [2]

UWBench 是一个面向信贷审批智能体的开放基准，目前处于公开 alpha 阶段，尚无官方排行榜。它的公开赛道 commercial-credit-v0.1 包含 10 个合成的商业信贷案例，分为三条赛道（包括直接面对原始文档的赛道）。它的设计有两点值得借鉴（图 3 右）。

其一，评分构成中确定性部分不少于 70%：数据与表格准确性、定量计算准确性各占 18%，政策与安全占 15%，证据与可审计性占 12%，追问与流程行为占 5%，这些都由确定性规则或引用可达性检查完成；风险与矛盾发现（18%）、决策与额度（10%）、报告质量（4%）才引入标注匹配、效用矩阵或盲评。

其二，硬性封顶：无论加权总分多高，静默推翻强制拒贷的结论最多 40 分，隐瞒重大风险最多 60 分，编造引用则证据项直接清零。这与信贷实务中"一票否决"的逻辑一致。

四、第二、三关：计算确定与言行一致

4.1 让确定性系统做计算，让大模型做组织

在计算确定这一关，几项工作走的是同一条路线。

Oculi（加拿大皇家银行团队，8 月 28 日，背景）是一个对话式信用风险分析平台，分为推理层（大模型智能体）、执行层（MCP 工具服务器）和展示层 [3]。它的核心"分群发现"流程用确定性统计方法搭配大模型引导的特征选择，在一个 200 多个特征的按揭贷款组合上寻找风险分群。论文未给出与人工方法的定量对比。

CredWise（9 月 29 日）是一个受控的智能体信用风险评估框架 [10]。它在 Lending Club 数据上按时间切分训练 XGBoost，ROC-AUC 为 0.7109；经过概率校准，Brier 分数从 0.2157 降至 0.1273，期望校准误差（ECE）从 0.2862 降至 0.0585；SHAP 特征重要性排名在扰动下的 Spearman 相关为 0.9959；相似案例检索的 Hit@1 为 0.929；任务路由准确率为 95.6%。最关键的设计是：模型给出概率和解释，最终决策由人做出。需要说明的是，0.71 的 AUC 并不高，这项工作的价值在于治理结构，而不在于预测精度。

贷款政策核查原型（10 月 14 日）分两步：先把内部授信政策文件抽取为结构化规则，再逐条核查贷款申请 [12]。在 11 份已知存在政策例外的真实申请上，它发现了大部分例外，还找出了一些人工审查遗漏的问题；作者坦言系统存在误报，不能替代人工判断。

这三项工作有一个共同点：大模型负责"读懂"与"组织"，计算和最终判断交给确定性系统或人。

4.2 ReguSim：把"说了什么"和"做了什么"拆开 [4]

问题。合规评测常常只看一个"合规分"，但模型可能说得头头是道，做的却是另一回事。

机制。 ReguSim（8 月 20 日发布，10 月 12 日修订）构建了一个可执行约束的交易模拟环境，以及一个标注了目标交易的监控基准 ReguBench。它把四类产物严格分开：陈述的理由、尝试的行动、执行层的拦截、监控者看到的证据。

结果。第一版实验以 DeepSeek V4 Pro 和 Gemini 3.5 Flash 为交易员：可见的规则能减少、但不能消除被拒绝的违规订单，激励设定或角色设定会改变行为。修订版扩展到 GPT-6 Astra、Claude Fable、Kimi K3 和 DeepSeek V4.1 Flash，又有三点发现：

• 在监控任务中，把交易记录里暴露角色的参与者名称替换掉之后，大模型的检测 F1 下降 8—18 个百分点，说明模型部分依赖"名字线索"而非交易模式本身；
• 表现较好的大模型监控者，仍然不如一个使用同样可见证据训练的逻辑回归检测器；
• 在桥接实验中，向 Claude Fable 展示交易员的理由后，它更容易接受已被系统拒绝的订单；加入"请明确核查"的指令可以减少这一错误。

局限。环境是模拟的，规则由可执行谓词定义，作者明确说明这不是对真实市场法律合规性的认证。

我们的解读。 "理由会误导监控者"这一点值得每个打算用大模型审核大模型的团队重视。我们在《长程智能体的真正瓶颈》一文中介绍过的 VeriHarness 也发现，验证者需要独立的证据通道才能可靠 [11]。在金融场景中，监控者必须看到执行层的事实，而不只是被监控者的说法。

五、第四、五关：行为等价与样本外

5.1 MintEval：能跑通不等于做对了 [6]

问题。交易员用口语描述一个策略，大模型把它写成代码。代码能编译，回测能出图，但执行的逻辑可能和描述并不一样。这种"静默失败"在金融中危害很大，因为它不会报错。

机制。 MintEval（10 月 2 日）先从模块库（6 个信号模块、2 个过滤模块、3 个仓位模块、9 个风控模块）程序化地组合出参考策略，再回译成带行话的口语指令（中位长度 96 个英文词），让被测模型重新实现，最后在同样的行情和交易摩擦下逐根 K 线比较两段程序的行为。v0 版本在 BTCUSDT 15 分钟数据上有 800 个任务。

算法框 3：行为等价——不比代码像不像，比每根 K 线上做的事是否一样

一句话直觉：两段代码写法再不同，只要每根 K 线上的目标仓位都一样，就算等价；写法再像，差一个比较符号也不算。

生活类比：检查两个厨师是否按同一份菜谱做菜，不看他们的笔记，而是让他们用同样的食材做同一道菜，逐口尝。

步骤：

1. 两段程序实现同一个接口 strategy(hist, state, pos, ind)，在每根 K 线收盘时被调用，返回下一根 K 线的目标仓位（−1 到 1）以及可选的止损、止盈价。
2. 引擎逐根释放数据，任何访问未来数据的行为直接报错，无法被吞掉；生成的代码在沙箱中运行（只允许 math/numpy，10 秒预算）。
3. 把目标仓位量化后逐根比较。

公式：

活跃K线集合  B = { t : 参考程序或被测程序在 t 时持仓或目标仓位非零 }
ActionMatch = |{ t ∈ B : Q(ĉ_t) = Q(c_t) }| / |B|
静默失败     = CompileOK = 1 且 ActionMatch < 0.9

其中 c_t、ĉ_t 分别是参考程序和被测程序在第 t 根 K 线的目标仓位；Q(·) 是量化函数；CompileOK = 1 表示程序没有报错、超时或偷看未来。辅助指标还有 TradeF1（方向、开仓 K 线、平仓 K 线都一致才算匹配的完整交易）和 |ES|（总收益差的绝对值，单位为基点）。之所以取绝对值，是因为"碰巧赚钱的实现错误仍然是错误"。

算例（示意数值，非论文案例）：一年数据中有 2,000 根活跃 K 线，被测程序在 1,750 根上与参考程序的目标仓位一致，则 ActionMatch = 0.875 < 0.9。如果它能正常编译运行，就记为一次静默失败。

为什么只看活跃 K 线：两个策略都空仓的时段天然一致，计入后会让所有分数虚高。

何时失效：指令由大模型回译生成，可能存在歧义；论文也说明部分约定是借助 Claude Opus 5.5 撰写的，这可能对该模型略有利。另外，逐 K 线等价是很严格的标准，某些"等价但不同"的合理实现也会被判为不一致。

结果。在 200 题分层子集上，Claude Opus 5.5 的平均 ActionMatch 为 0.889，完全复现 57.5% 的任务，但仍有 27.5% 的任务静默失败；在规格被正确读懂的实现中，有 79.2% 在超过 10% 的活跃 K 线上行为不一致。更值得警惕的是，把另一个策略生成基准（QuantCode-Bench）使用的大模型评审原样拿来，它判定 55 个 Opus 静默失败和 120 个 GPT-5.4-mini 静默失败全部通过；而对于 7 个"策略完全写错"的对照样本，它全部拒绝。也就是说，读代码的评审能识别"明显写错了"，却识别不了"差一点"。

5.2 Quant-Arena：封存一年，再看结果 [5]

问题。大模型能否独立完成量化研究的闭环：提出假设、实现成信号、回测、决定保留什么？

机制。 Quant-Arena（10 月 21 日）使用真实 A 股数据。模型只能在 2022—2023 年数据上获得反馈，然后冻结一个策略，在封存的 2024 年评估；评估器按现金账户规则施加交易约束和成本，包括基于模拟订单簿估算的市场冲击。

结果。 2024 年等权市场的年化收益为 17.1%。

• 各模型总分最高的配置，相对市场的超额年化全部为负：GPT-6 Astra −6.3 个百分点，GPT-6 Sol−8.4，GPT-5.6 Terra −8.7，Claude Opus 5.5 −12.7，Claude Sonnet 5.5 −29.2（图 4 右）。
• 在全部 38 个配置中，13 个取得正收益，只有 GPT-6 Sol 的中等推理档跑赢市场（+1.4 个百分点），但它并不是该模型总分最高的配置。
• 排序相关性（RankIC）与年化收益的 Spearman 相关只有 0.09，十分位组合的收益呈驼峰形。
• GPT-6 Astra 的领先主要来自择时：75% 的交易日持有现金，1—2 月的最大回撤为 −1.7%，同期市场为 −29.6%。
• 多数策略的平均股票仓位不到一半，付出了交易成本，却只吃到部分市场涨幅。

局限。只封存了一个年份，且 2024 年 A 股的走势有其特殊性，单一年份的结论不宜过度外推。

5.3 LiveMACE：结果与能力的错位 [7]

LiveMACE（复旦大学等，10 月 7 日）把 5 个前沿大模型放进实时加密货币和美股市场做 30 天模拟盘交易，在同一 ReAct 框架上构造基础、工具使用、持久记忆、规则遵循、多智能体协作五种匹配配置。它同时看三类信号：任务结果、引入某机制后的受控效应、以及从完整轨迹中提取的过程诊断。

结论是明显的"结果—能力错位"：收益排名随时间大幅波动，经常与能力指标背离；相似的收益可能来自截然不同的机制使用方式。过程诊断还暴露了各机制的瓶颈：冗余的工具调用、无效的记忆复用、无法审计的规则执行、多智能体之间有限的证据整合。作者据此主张，"能使用某机制""有效使用该机制"和"取得更好结果"是三个不同的能力维度。

六、第六关：变更可审——自我改进必须过闸门

6.1 Harness 作为唯一可变面 [8]

问题。能自我改写的智能体，会毁掉监管者审查的对象：一个有名字的变更、一份有记录的测试、一次审批。

机制。 Akhtyamov（10 月 7 日）的主张是：只有把自我进化限制在运行时 Harness 内（指令、工具调用逻辑、原语组合），保持模型权重不变，进化才是可审查的。每一次适配都应该是一个附带原因和测试的差异记录。

论文先列出 5 类威胁：静默漂移、对回溯测试的过拟合、无法追溯的变更、目标被俘获、外部模型变更（最后一类不在本文的缓解范围内）。然后设计了双循环引擎：

• 本地循环：一次只改一个参数，每轮 3 个候选，同时处理 3 个错误簇，连续 3 次停滞后升级；
• 全局循环：从类型化原语库中整体替换一个原语，每轮 6 个候选。

所有候选都要通过同一道准入闸门才能部署。

算法框 4：准入闸门——显著改进，且不把原本对的改错

一句话直觉：一个变更要上线，必须同时证明两件事：在统计上确实更好；在旧版本原本做对的案例上，几乎不会改错。

生活类比：医院引进新疗法，不仅要证明总体疗效更好，还要证明原来能治好的病人不会因为换疗法而变差。

步骤：

1. 在新规则口径下重新标注的留出集上，把旧版 h 和候选版 h′ 逐案配对比较。
2. 统计 b（旧版错、新版对的案例数）和 c（旧版对、新版错的案例数），计算改进量 ĝ 及其方差。
3. 只有当改进量的 95% 下界大于 0，且旧版答对的案例中被改错的比例不超过 ε 时，才放行。
4. 无论放行还是拒绝，都先写入一条包含 SHA-256 摘要的哈希链记录，再执行部署。

公式：

ĝ    = (b − c) / n_k
var̂  = (b + c) / n_k² − (b − c)² / n_k³
放行 ⇔  ĝ − z_0.975 × √var̂ > 0   且   |{x ∈ C : h′(x) ≠ y(x)}| / |C| ≤ ε

其中 n_k 是参与比较的案例数；z_0.975 ≈ 1.96；C 是旧版 h 答对的案例集合；y(x) 是案例 x 在新口径下的标签；ε = 0.005。

算例（论文 7.5 节的真实记录）：监管口径从"直接持股 ≥25% 即触发"改为"按穿透持股计算"。本地循环的第一个候选是"不再把制裁名单命中当作触发条件"。在 4,561 个真实应放行的案例上，它消除了 287 个误报、新增 4 个，即 b = 287，c = 4：

• ĝ = 283 / 4,561 ≈ 0.0620；
• var = 291 / 4,561² ̂− 283² / 4,561³ ≈ 1.315 × 10⁻⁵，√var ̂≈ 0.00363；
• 下界 = 0.0620 − 1.96 × 0.00363 ≈ 0.0549 > 0，与论文报告的 95% 区间 [5.5, 6.9] 一致，改进条款通过。

但在旧版答对的 6,696 个案例中，有 864 个（12.9%）会被改错，意味着持股超标的被制裁实体将被放行，远超 0.5% 的容忍度，非回归条款不通过，拒绝。本地循环被拒 21 次后升级到全局循环，最终把"直接持股检查"替换为"穿透持股检查"：误报下降 26.3 个百分点（下界 25.0），旧版答对案例中仅 21 个被改错（0.31%，归因于执行噪声），作为第 25 条记录放行。

为什么有效：只看"近期错误变少"的系统，很容易通过放松筛查标准来减少误报。非回归条款正好封住了这条捷径。

何时失效：当正确的变更本身改动面很大时，固定的 ε 会把执行噪声误判为回归。在高强度结构性变化下，闸门 24 次拒绝了完全正确的版本，10 个随机种子中只有 5 个恢复；把 ε 放宽到 0.010 后 10/10 恢复，且没有放行有害变更。作者认为下一步应按候选改动的案例数调整容忍度。

结果。在 3 类口径重新解释、3 档严重程度、每格 10 个随机种子的实验中，带闸门的双循环从 7,449 个候选中放行 144 个，留出历史数据上无一变差；540 份日志、43,814 条记录的哈希链全部验证通过。把闸门换成"近期轨迹错误更少"的检查后，同样的循环放行了 550 个变更，其中 309 个有害，90 次运行中有 49 次漏报率高于 10%。误报确实下降了，但那是因为筛查被放松了。

论文还报告了一个参考运行：在证据来源可能无响应的情况下，一个不感知可用性的流水线对"证据不足、本应上报"的案例有 55.1% 照常做了决策；加入评审与恢复层后降至 6.5%，同时误报从 22.5% 降至 5.0%，漏报从 15.3% 降至 3.5% [8]。

局限。这是一项仿真研究，使用的是模拟智能体和种子搜索提议器，而非真实大模型；闸门依赖"新口径下的标签"，而这需要合规部门把监管解释编码成可执行规则；恢复层是一个有文档说明的参数化模型。

七、横向对比

脉络。从时间线看，8 月的 FinRiskAtlas、ReguSim 和 Oculi 先把"环节"和"四类产物"拆开；9—10 月，CredWise 和贷款政策核查原型把确定性计算与人工决策放进了架构；10 月的 MintEval、Quant-Arena、LiveMACE 把行为和时间维度拉进来；同月的 Akhtyamov 则把视角提升到"版本"层面。评测单位一路下沉：题目 → 操作 → 产物 → K 线 → 年份 → 变更。

八、我们的观点

观点一：金融智能体的评测单位应当是"决策+证据状态"，而不是"任务"。一笔授信决策可以拆成若干操作，每个操作都有自己的证据需求。FinRiskAtlas 的 0.42 告诉我们，不按环节评测就无法选型。我们认为，机构内部评测集的构建方式，应当参照审批流程图，而不是参照公开榜单。

观点二：确定性检查正在回归中心位置。 UWBench 不少于 70% 的确定性评分、MintEval 的逐 K 线比对、闸门的配对检验与哈希链，都在用确定性机制约束概率性的模型。我们的判断是：大模型负责提议、归纳和解释，确定性系统负责计算和把关，这将成为金融场景中的标准分工。

观点三："用大模型审大模型"必须配上执行层证据。 MintEval 中读代码的评审放过了全部静默失败，ReguSim 中交易员的理由让监控者更容易放行被拒订单。这两项独立的结果指向同一个结论：评审者如果只看被审者的"说法"，就会被说服。必须让评审者看到执行结果、拦截记录和原始数据。

观点四：样本外检验在金融中是硬门槛。 Quant-Arena 里迭代提高了研究期得分，却没有提高大多数模型的样本外收益，这是典型的过拟合信号。信用评分领域早已形成跨时间验证（OOT）的惯例，大模型生成的特征和策略也必须遵守。

观点五：可审查的自适应，比自适应本身更重要。智能体能否自我改进不是关键，关键是每次改进能否被命名、被测试、被审批、被回溯。Akhtyamov 的工作虽然停留在仿真，但它给出了一个可以直接映射到现有模型风险管理流程的方案。我们认为，这条路线比"让模型自由进化"更有可能先在受监管业务中落地。

九、未来展望

6—12 个月：

• 环节级评测集成为选型标配。预计会有更多机构按业务流程构建内部评测，公开基准也会进一步细分到操作层面。
• "静默失败率"进入代码生成验收。凡是由大模型编写或修改的规则、策略代码，都需要逐笔行为比对。
• 评审模型的设计从"读文本"转向"读证据"。评审者的输入将默认包含执行日志和拦截记录。

1—3 年：

• 变更记录将成为智能体的"第二份产出"。每次提示词、工具逻辑或原语组合的调整，都会自动生成带测试结果的差异记录，类似今天的代码审查流程。
• 监管框架逐步覆盖智能体。 Akhtyamov 在论文中指出，2026 年 4 月的美国模型风险指引把智能体 AI 排除在适用范围之外（此为论文作者的表述）；我们预计这一空白会在未来几年内被填补，而"可审查的变更"会是核心要求之一。
• 实时、持续的评测取代一次性考试。 LiveMACE 式的持续评测和 Quant-Arena 式的封存验证会结合起来，形成"上线前封存验证 + 上线后持续监控"的双轨体系。

对金融行业的含义：

• 智能体会首先进入辅助性、可回溯的环节，例如材料核查、政策比对、风险分群和报告初稿，而不是直接做最终授信决定；
• 模型风险管理团队的职责会从"验证一个模型"扩展到"验证一条带智能体的流水线"，包括其中的每一次变更；
• 数据与规则的工程化程度会成为差异化因素：只有把政策写成可执行规则、把历史决策沉淀为可回放的样本，才能建立上述闸门和回测。

十、落地启示

对做风控决策和智能建模的团队，我们建议从以下几件事做起：

1. 按审批流程建评测集。把贷前审查拆成主体核验、财务分析、关联识别、政策符合性判断、额度建议等操作，分别构建样本，不同环节可以选用不同模型。
2. 把"追问质量"纳入考核。参照 ERA，同时考核"该不该要材料"和"要的对不对"。
3. 计算永远交给代码。财务比率、偿债覆盖率、评分卡分值由确定性代码计算，大模型只负责理解材料和组织证据。
4. 规则与策略代码做行为比对。新旧逻辑在同一批历史样本上逐笔比较决策差异，差异样本逐一复核，而不是只看总体指标是否接近。
5. 所有调整走变更闸门。放行标准设为"新口径下显著改进，且旧版做对的样本几乎不被改错"，并留存不可篡改的记录。
6. 坚持跨时间验证与持续监控。封存时间窗口做最终验证，上线后持续监控稳定性和校准度。

这些做法与弘犀在风控决策平台和智能建模中一直坚持的方法论是相通的：可解释、可回测、可监控、可审批。大模型和智能体是新的"调查员"和"提议者"，而让它们进入授信决策链条的前提，是纳入同样严格的验证与治理框架。

结语

金融从来不缺聪明的预测，缺的是经得起追问的决策。这批研究的共同价值，在于把"经得起追问"拆成了可以度量的部分：证据有没有要齐，计算是不是确定的，做的和说的是否一致，代码是不是按要求执行，换到明年还灵不灵，改了之后还能不能查。

当这六道关都有了可操作的度量，金融智能体才真正具备了进入受监管业务的条件。评测范式的这次迁移，本质上是让大模型学会接受金融行业早已形成的那套纪律。

参考文献

1. [1] Zhong, S., Zhu, J., Xu, Q., Sun, L., Wang, Y., Sun, Q., Chen, S., Zhang, T. 等. FinRiskAtlas: Decision-Aligned Evaluation of Large Language Models for Financial Risk Review. arXiv:2608.25325, 2026-08-26.（背景）https://arxiv.org/abs/2608.25325
2. [2] UWBench 项目组. UWBench: Open, vendor-neutral benchmark for credit underwriting agents. GitHub 仓库（public alpha），访问于 2026-10-27. https://github.com/uwbench/uwbench
3. [3] Ho, V., Diana, K., Mourad, S., Pilipovic, M., Nagisetty, V., Hajimirsadeghi, H. Oculi: A Conversational Agentic Platform for Automated Credit Risk Analysis. arXiv:2608.28944, 2026-08-28.（背景）https://arxiv.org/abs/2608.28944
4. [4] Luo, Y., Jiang, Y., Xie, Q., Lan, L., Cong, L. W., Rao, A., Song, Y. ReguSim: Evaluating LLM Agent Rule Grounding in Financial Compliance. arXiv:2608.19974, 2026-08-20（v2 修订于 2026-10-12）. https://arxiv.org/abs/2608.19974
5. [5] Qian, H., Jiang, Z., Li, W., Xu, C., Lin, X., Peng, Y. 等. Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research. arXiv:2610.30113, 2026-10-21. https://arxiv.org/abs/2610.30113
6. [6] Wang, S., Wang, Y., He, Y. MintEval: Do LLMs Implement the Trading Strategy You Asked For? A Behavioural-Equivalence Benchmark for Natural-Language-to-Strategy Code. arXiv:2610.03080, 2026-10-02. https://arxiv.org/abs/2610.03080
7. [7] Zhao, J., Fu, L., Wen, Y., Wang, Y. 等（含 Zhang, Q., Huang, X.）. LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets. arXiv:2610.09872, 2026-10-07. https://arxiv.org/abs/2610.09872
8. [8] Akhtyamov, R. The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate. arXiv:2610.10629, 2026-10-07. https://arxiv.org/abs/2610.10629
9. [9] Wu, Y., Lin, M., Ying, Q., Dan, L., Zhao, H., Liu, Q. 等. FinHopper: A Progressive Multi-Hop Benchmark for Complex Financial Agents with Step-wise Evaluation. arXiv:2610.26036, 2026-10-19（EMNLP 2026）. https://arxiv.org/abs/2610.26036
10. [10] Tiwari, A. K. CredWise: A Controlled Agentic Decision-Intelligence Framework for Explainable and Auditable Credit-Risk Assessment. arXiv:2609.37223, 2026-09-29. https://arxiv.org/abs/2609.37223
11. [11] Zhang, C., Han, R., Wang, Z., CuiZhu, Z., Collier, N., Pfister, T., Lee, C.-Y. VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks. arXiv:2610.00972, 2026-10-01. https://arxiv.org/abs/2610.00972
12. [12] Voboril, F. LLM-Based Policy Compliance Verification of Loan Applications. arXiv:2610.20155, 2026-10-14. https://arxiv.org/abs/2610.20155

弘犀研究 · 前沿 AI 深度综述 · 弘犀智能