金融智能体的“数据血缘”：数字对了，账却错了（深度版）

一、背景：金融场景对“数字”的要求不一样

在通用问答里，答案“基本对”往往就够了；在金融场景里，一个数字至少要同时满足五个条件：主体对（哪家公司、哪个机构）、科目对（哪个会计概念）、期间对（哪个报告期、哪个时点）、单位对（元还是千元、股还是千股）、口径对（合并还是单体、单独申报还是共同申报）。任何一项错了，数字再精确也是错账。

另一个特点是时效。价格、利率、披露内容都只在某一天成立。大多数金融基准在标注时把答案固定下来，市场一变，标准答案就过时了；一旦答案泄露进训练数据，基准奖励的就是记忆而不是检索与分析 [2]。

第三个特点是对抗性。交易智能体把新闻当证据，而它们读同样的信息源、用近似的策略，一条伪造的帖子就可能让许多智能体在同一时刻做出同样的交易 [3]。

10 月的研究可以归入四条主线：

1. 溯源：每个数字来自哪里、绑定到什么含义 [1][7]。
2. 时效：标准答案如何随市场更新 [2]。
3. 对抗与一致性：伪造信息如何影响决策，决策与执行、报告是否一致 [3][4]。
4. 流程与经验：策略开发、经验记忆、多智能体分工如何保证可靠 [5][6][8][9][10][11]。

二、溯源：算法拆解 ①——NumTrace 的三重判定

2.1 直觉

基于参考答案的检查可以判定一个答案错了，却说不清错在哪里。NumTrace（2026-10-26）[1] 为金融分析智能体的每一个数字主张建立“出生证明”：它来自哪份文件的哪一段，被赋予了什么金融含义。

2.2 类比

会计审计中的“账实核对”：报表上的一个数字，要能追到凭证，凭证要能追到原始单据；而且凭证上的科目、期间、金额单位必须与报表一致。只核对金额相等而不核对科目，就会出现“数字对、账户错”。

2.3 步骤

据论文描述 [1]：

1. 构建基准。540 个问题，覆盖 2,163 份 SEC EDGAR 文件，切分为 41,726 个文本块；2,306 个答案槽位；参考答案按会计规则（216 条确定性规则）在冻结快照上生成，并有 36,345 个原文锚点。问题覆盖机构持股（13F 表）和高管应得薪酬（Item 402(i)）等此前较少被数值基准覆盖的内容。
2. 为每个主张建立溯源记录。包括：来源（快照中精确的文档与偏移）；主张声明的绑定（主体、科目、期间、单位、口径，以及智能体对原始数字施加的倍数）；该来源处原始数字的参考绑定；推导方式（直接引用或基于日志输入计算）；以及第一个出现偏差的阶段。
3. 给出三个独立判定：- 数值：数字是否等于参考值； - 绑定：主体、科目、期间、单位、口径是否正确； - 支持：所引用的权威来源是否同时支持数值与绑定。
4. 计算 RNWA 率。一个主张若通过数值检查却没通过绑定检查，就是“数字对、账户错”（RNWA）。RNWA 率衡量“只看数值”与“数值 + 绑定同时正确”两种通过率之间的差距。

for claim in agent_answer.numeric_claims():
rec = provenance(claim)                  # 来源跨度、声明绑定、参考绑定、推导、首个偏差
阶段
v = (claim.value == ref.value(rec.slot))
b = (rec.stated_binding == ref.binding(rec.slot))   # 主体/科目/期间/单位/口径
s = source_supports(rec.span, claim.value, rec.stated_binding)
if v and not b: rnwa += 1

2.4 小例子（据论文数据）

• 单位陷阱：13F 申报的金额在 2023-01-03 之前以千美元计，之后以美元计 [1]。同一个“12,345”（示意）在两个时期相差一千倍。
• 反向的单位错误：论文给出一例，智能体把 402(i) 表中以美元列示的一栏当作千美元，把 542 美元写成了“0.54 百万美元”[1]。

2.5 结果（据论文数据）

作者审计了 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个智能体：RNWA 错误占各自失败主张的 67.5%–81.8%；在 13F 共同申报组的问题上，约 91% 的主张通过数值检查，但通过绑定检查的不到一半。参考答案的可靠性也经过检验：一位无法接触 NumTrace 代码和参考答案的程序员根据书面规则独立重新实现，在 110 个抽样问题上，444 个槽位中有 443 个一致，仅有的不一致是一个成员名称的拼写 [1]。

2.6 何时失效

三重判定依赖结构化的参考绑定。对于 SEC EDGAR 这类格式规范的申报文件，规则可以写清；对于非结构化的研报、新闻或口头信息，“口径”往往本身就有争议，绑定判定会变得主观。作者也说明，216 条规则中 194 条属于惯例，未做标注者间一致性检验 [1]。

三、时效：算法拆解 ②——把问题写成可执行程序

3.1 直觉

如果答案每天都会变，那就不要存答案，存“算答案的方法”。LiveSearch（2026-10-27）[2] 把每个问题存为可执行的验证代码：一个对专业金融数据服务的类型化调用程序，加上一个声明式抽取器。问题文本冻结，标准答案在评测时执行程序得到，每天由定时任务重新执行，全程无人工、无语言模型参与 [2]。

3.2 类比

考试题不再是“2026 年 10 月 27 日某指数收盘点位是多少”，而是“请查询最近一个交易日的收盘点位”，阅卷老师手里拿的不是答案，而是一份“如何查到答案”的操作说明，阅卷当天照做一遍。背下来的旧答案自然没用。

3.3 步骤

据论文描述 [2]：

1. 枚举程序。从真实工具响应中枚举调用程序与抽取器；抽取器语言没有分支和表达式，可以机械检查。
2. 语言化。语言模型只负责把已经确定的程序“翻译”成自然语言问题，从不选择答案。
3. 每日执行。定时任务重新执行程序，得到当天的标准答案。
4. 容差匹配。数值答案按相对误差容差判定，文本答案另有匹配规则。

question = {
"text":    "（由程序语言化得到的问题）",
"program": [call("quote", symbol=S, field="close", date="latest_trading_day")],
"extract": path("data[0].close"),        # 无分支、无表达式
"match":   relative_tolerance(eps)
}
gold_today = extract(execute(question.program))

3.4 结果（据论文数据）

在通用网页搜索条件下，六个当代工具调用模型的答案准确率为 70.9%–76.7%；连续三天里，70% 的问题标准答案发生了变化；即使采用考虑容差的匹配，直接复用前一天的快照，在一天之内就会在多数问题上失败。作者还发现，逐题追踪能揭示被总体准确率掩盖的正确性动态变化 [2]。

3.5 何时失效

方法依赖可编程访问的专业数据服务。对于需要人工判断才能确定的“答案”（例如某项披露是否构成重大事项），无法写成无分支的抽取器。此外，数据服务本身的口径变更，也会让“同一程序”在不同日期产出不可比的结果。

四、对抗与一致性

4.1 信息注入：攻击的是证据，不是指令

Fake News, Real Crashes（2026-10-19）[3] 系统研究了针对交易智能体的“信息注入”攻击：与攻击模型指令的提示注入不同，它攻击的是智能体信任的证据。基准包含五种注入方式、七类事件，在 15 只美国股票上评估约一万次决策。据论文数据：

• 提示注入的攻击成功率为 14%，而伪造新闻达到 62%；两个 30 词的模板在全部 15 只股票上达到 100%。
• 对“事实投毒”模板，表面形式比内容更重要：去掉具名来源或“突发”标签，成功率从 100% 降到 0%，而虚假内容本身完全不变。
• 成功率取决于智能体状态：伪造的指标面板对“准备持有”的智能体成功率为 91%，对“准备买入”的只有 12%；股票选择对成功率的影响（34%–87%）大于注入方式。
• 扩大模型只能部分防护：GPT-4o 能把结构性注入降到 0%，但事实投毒仍有 93% 的成功率，前沿推理模型也没有更好；增加智能体只有在层级汇总的流水线中才有效——星形流水线把成功率降到 9%，同伴辩论下仍有 74%。在三种拓扑中，伪造的叙事都仍会出现在中间输出里。
• 一个安全调优的模型在带有明确对抗标记时成功率为 0%，同样内容混入真实信息流后为 46%。每次注入会驱使智能体在攻击者选择的方向上动用约 1.6 万美元，约为其 2 万美元购买力的 80% [3]。

4.2 行为一致性：决策、订单、成交、账本、报告

FIDES-Live（2026-10-27）[4] 指出，即使最终组合价值计算正确，交易智能体产出的决策、订单、成交回执、账户状态与报告之间也不一定一致。它把审计拆成结构化决策有效性、可选的数值承诺遵守、执行与账本对账、基于回执的报告，并明确标注覆盖范围与“无法评分”的结果。据论文数据，作者回溯审计了十条推理路线、7,299 个加密货币账户轮次和 310 轮股票试点：加密货币决策有效率 97.35%，可评分响应中的结构化报告准确率 90.81%，但不同路线的表现差异很大；承诺遵守率总体 94.36%，在带有非空订单提议的约束上降到 62.63%，有效空提议则为 97.56%；所有保留的现金与持仓变动都能与成交记录对上 [4]。作者特别说明，这些结果不能证明长期交易能力、解释的语义忠实性或审计反馈的因果收益 [4]。

五、流程与经验

5.1 算法拆解 ③：MemTrial——给记忆“开庭审理”

问题。组合管理智能体会从经验中学习：把每条记忆的价值记为“用到它的决策结果”。但在金融市场中，这个结果主要反映的是当天所有决策共同面对的市场涨跌，于是记功追踪的是市场，而不是经验本身；这类智能体往往还不如简单持有等权（1/N）组合 [5]。

直觉。MemTrial（2026-10-08）[5] 的办法是“让记忆受审”：对同一个决策，起草“用这条经验”和“不用这条经验”的多个版本，让它们面对同一个市场；共同的市场影响在差值中相互抵消，剩下的才是经验的贡献。

类比。想知道某位分析师的建议值不值钱，不能只看他推荐那天大盘涨没涨；要比较同一天“听他的”和“不听他的”两种操作的差距。

步骤 [5]：

1. 每个决策检索到 4 条经验，按部分因子设计挑出 8 种组合，各起草一版决策。
2. 对每条经验，计算其 Banzhaf 值：在这些草稿中“包含它”与“不包含它”的结果差的平均。
3. 由于每个日期只出现一次、每份草稿都是带噪声的模型采样，用分层贝叶斯模型在日期和相似经验之间汇总这些记功。
4. 只有当学到的价值在未见过的日期上预测有效后才据此行动；否则锚定在保守的参照（如 1/N）附近。

E = retrieve(memory, state, k=4)
drafts = fractional_factorial(E, n=8)             # 8 种经验组合
R = {d: evaluate(decide(state, d), market_today) for d in drafts}
for e in E:
banzhaf[e] = mean(R[d] for d if e in d) - mean(R[d] for d if e not in d)
posterior = hierarchical_bayes_update(banzhaf, by=[date, similar_experience])
action = act_on(posterior) if validated_on_unseen_dates(posterior) else anchor(1/N)

结果（据论文数据）。在已知经验质量的半合成基准上，MemTrial 在 15 种方法中表现领先；在价值不成立时也能限制损失：在 PortBench 与 InvestorBench 上最多比 1/N 低 2.2%，而最好的经验学习智能体低 15%–38%；在五种设置上平均，把最好经验学习智能体的效用提高 21.2%；在八个模型上，在 InvestorBench 上优于所有基于 LLM 的基线 [5]。

何时失效。每个决策要起草 8 份，推理成本约为单次决策的数倍；当市场环境发生结构性变化，历史日期上验证有效的经验价值可能突然失效，此时方法的保护机制是回到锚点，而不是继续获益。

5.2 策略开发要“先可靠，再盈利”

QuantHarness（2026-10-19）[6] 认为，一次成功的策略开发运行，仍可能实现了错误的规则、使用了决策时点不可得的信息，或者掩盖了修复与候选筛选如何改变了策略。它设计了两层 Harness：金融专用的工作流把开发分为需求规格、数据落地、构建、测试、评审；Harness 核心在每个阶段强制信息、动作和承诺的边界。据论文数据，在作者提出的 FinRelBench 上，QuantHarness 的任务成功率为 90.72%，对比系统为 74.23%–84.54%；压力测试显示边界能拦住定向违规，结构化运行记录有助于证据检索与决策重放 [6]。

Auditing LLM Alpha-Factor Mining（2026-10-21）[7] 则是一份“复盘”：作者对一个保存完好的因子挖掘项目做了三层审计，发现历史对比混用了指标口径（被保留候选的均值对比每轮最大值的均值），发布的 1,837 条表达式目录还排除了样本外非正的结果。对冻结池中全部 1,047 个不重复的表达式重新核算后，923 条可评分，其中 671 条平均秩 IC 为正、252 条为负；而简单的未训练参照也显示正相关，因此这个分布不能证明智能体具有增量能力或盈利能力 [7]。

5.3 技能、表格与分工

• FinSkillBench（2026-10-02）[8]：在 2,603 个时点化情景、12 个子任务上执行 17,820 次评估。据论文数据，精选技能包把平均分从 0.366 提高到 0.528（+16.2 分），单次情景内自生成的技能只加 0.5 分；单独提供人工文档 +5.6 分，单独提供可执行工具 +19.5 分，两者组合小于相加。作者的结论是，“技能溢价”是整个模型—资源—Harness 系统的属性，而不只是模型的属性 [8]。
• MBABench-2.0（2026-10-22）[9]：101 个从零构建财务表格的任务，最难的一项估计需要三年以上经验的建模师 33 小时；129 条标准覆盖 12 个类别。在 8 个模型、4 类 Harness 的 20 多个智能体中，表现领先的智能体通过率仅 16% [9]。
• 单智能体还是多智能体（2026-10-20）[10]：在 300 份合成授信评估备忘录上，比较一个智能体检查六项要求与三个智能体各查两项。据论文数据，在单智能体有漏检的三个模型上，团队多发现 0.08–0.10 的带说明缺陷（其中两个模型达到校正显著性），但在全部四个模型上都产生更多误报；平衡准确率变化不超过 0.02，词元消耗为 2.2–2.4 倍；探索性比较中，让单智能体采样三次、任一次标记即报，在部分模型上的平衡准确率高于团队 [10]。

5.4 可靠性档案

Agent Reliability Profiles（2026-10-02）[11] 提出金融服务中“每个智能体一份”的可靠性证据单元：档案记录一个有边界、可证伪的主张——该智能体系统在其运行边界内可靠运行。运行边界由自主等级、运行设计域、动作类别和控制包络四项定义；保障分三级：机构自证（Level 1）、在自身环境中测试验证（Level 2）、由合格独立评估方执行同样测试（Level 3），另有可跨机构比较的基准档案 [11]。

这个框架的价值在于“档案格式不变、证据等级递进”：同一份档案，从机构自己填写开始，逐步加入本地测试和独立评估的证据，而不必每升一级就重写一套材料 [11]。对金融机构而言，这与现有的模型风险管理思路相近——先界定用途与边界，再提供与风险相称的验证证据。把前文的数字溯源、时效评测、一致性审计结果放进这份档案，就能形成一条从“单个数字”到“整个智能体”的完整证据链。

六、横向对比

注：各研究的任务、模型与评价口径不同，数值不可直接横比。

实践：一个数字上线前的七问清单

结合上面的研究，我们建议把下面七个问题作为金融智能体输出中每个关键数字的质检清单：

这份清单的前四问可以大部分交给确定性规则自动完成，第五问交给可执行查询，第六问需要来源分级与人工确认相结合，第七问则依赖全链路对账。清单本身不复杂，关键是把它嵌入智能体的输出流程，而不是事后抽查。对于刚开始试点的团队，可以先在一个报告类型、一个数据源上跑通，再逐步扩展到更多场景。

七、我们的观点

第一，金融智能体的评测单位应当从“答案”下沉到“数字”。一个答案里可能有十几个数字，每个都有主体、科目、期间、单位、口径五个维度 [1]。只看最终答案对错，会让七八成的失败原因不可见。

第二，“数字对”比“数字错”更危险。RNWA 错误能通过数值核对，在人工复核时也很容易被放过 [1]。金融机构的智能体质检，应当把“绑定核对”列为与“数值核对”同等的必检项。

第三，时效性要在评测里显式建模。用固定答案的基准评估金融搜索智能体，等于在奖励记忆 [2]。内部评测集应尽量以“查询程序”而不是“答案快照”保存。

第四，多加智能体不等于更可靠。同伴辩论挡不住伪造新闻 [3]，三人分工多抓了缺陷也多了误报 [10]。有效的结构是层级汇总与独立核对，而不是简单的人多。

第五，可靠性要有档案。运行边界、控制措施、测试证据、独立评估，应当以统一格式记录 [11]，这既是内部治理的需要，也是与监管沟通的基础。

八、未来展望

6–12 个月：

• 金融智能体输出会附带逐数字的溯源记录，成为报告的标准附件 [1]。
• 金融机构的内部评测集会转向“问题即程序”，每天自动刷新标准答案 [2]。
• 交易与投研智能体会在新闻输入端增加来源核验与可信度剥离，避免被“突发”“据某机构”这类表面标记左右 [3]。

1–3 年：

• 智能体可靠性档案可能成为金融机构采购与部署智能体时的常见材料，并逐步与独立评估结合 [11]。
• 经验记忆会普遍采用“反事实记功 + 保守锚点”的设计，避免把市场涨跌误记为经验价值 [5]。
• 策略开发智能体会把“先可靠再盈利”写进流程：信息可得性检查、口径一致性检查、全量候选登记成为默认步骤 [6][7]。

九、对金融机构与弘犀智能客户的落地建议

1. 建立数字级血缘。对智能体生成的每一个关键数字，记录来源文件、位置、主体、科目、期间、单位、口径和推导方式；质检时分别核对数值与绑定 [1]。
2. 把单位与口径规则写成确定性规则。例如“某日期之前以千元计”这类规则，适合用规则引擎统一维护，而不是依赖模型每次自行判断 [1]。弘犀智能的规则引擎实践中，这类口径规则是较早被固化的内容之一。
3. 评测集以程序形式保存。涉及行情、利率、披露的问题，保存查询程序和抽取规则，按日刷新答案 [2]。
4. 新闻输入做来源分级。对未经核验来源的“突发”信息，限制其直接触发交易或授信动作，采用层级汇总与人工确认 [3]。
5. 对账要覆盖全链路。决策、订单、成交、账本、报告逐轮对账，承诺类约束（如仓位上限）单独统计遵守率 [4]。
6. 为每个上线智能体建立可靠性档案。明确自主等级、适用范围、动作类别和控制措施，并逐步引入独立测试 [11]。

十、结语

金融行业对数字的要求，从来不只是“算得对”，还要“说得清、追得到、经得起查”。10 月的研究把这些要求逐项变成了可以测量的指标：三重判定让“数字对、账户错”无处藏身，可执行问题让标准答案随市场更新，行为一致性审计让决策与账本相互印证，可靠性档案让边界与证据有据可查。数据血缘，是金融智能体走向生产的必修课。

想了解弘犀智能在规则引擎与智能决策系统方面的实践，欢迎点击文末「阅读原文」访问 www.hxallai.com。

参考文献

1. [1]Tianlei Zhu, Matt White, Xue Liu, Xiao-Yang Liu. NumTrace: Auditing the Number Provenance of Financial Analyst Agents. arXiv, 2026-10-26. https://arxiv.org/abs/2610.34887
2. [2]Sinuo Wang, Wentao Zhao, Jiacheng Lu, Rui Sun et al. LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents. arXiv, 2026-10-27. https://arxiv.org/abs/2610.37166
3. [3]Mengxiao Wang, Nitesh Saxena. Fake News, Real Crashes: Information Injection Attacks on LLM Financial Trading Agents. arXiv, 2026-10-19. https://arxiv.org/abs/2610.26438
4. [4]Arther Tian, Alex Ding, Simon Wu, Aaron Chan. FIDES-Live: Evaluating Behavioral Concordance in Sequential Trading Agents. arXiv, 2026-10-27. https://arxiv.org/abs/2610.36476
5. [5]Guanghao Wu, Zhuo Cai, Shoujin Wang. MemTrial: Learning When to Trust Memory in LLM Portfolio Agents. arXiv, 2026-10-08. https://arxiv.org/abs/2610.11732
6. [6]Jiasheng Mao, Jiacheng Liu, Hengwei Ye, Zheng Tian. Reliable Before Profitable: QuantHarness for Governing Financial Strategy Development with LLM Agents. arXiv, 2026-10-19. https://arxiv.org/abs/2610.26101
7. [7]Yufeng He. Auditing LLM Alpha-Factor Mining: Metric Provenance and Full-Cohort Reanalysis. arXiv, 2026-10-21. https://arxiv.org/abs/2610.29500
8. [8]Jermyn Zhen Yong Bek, Zhuang Qiang Bok, Zhongtian Sun. Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows. arXiv, 2026-10-02. https://arxiv.org/abs/2610.03564
9. [9]Julian Poeltl, Thomson Yen, Patrick Shea, Shubham Anil Varma et al. MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability. arXiv, 2026-10-22. https://arxiv.org/abs/2610.31711
10. [10]Pei Liu. The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task. arXiv, 2026-10-20. https://arxiv.org/abs/2610.27488
11. [11]Mike Hsu, Medha Bankhwal, Béatrice Moissinac, Kevin Werbach et al. Agent Reliability Profiles in Financial Services. arXiv, 2026-10-02. https://arxiv.org/abs/2610.04123