执行层决定智能体的可靠性与成本，而非能力上限：接口、验证与注意力预算的机制分析

过去一个周末的几条消息，表面上互不相干。DeepSeek Harness 团队发文提出 Super-agent 架构，认为单个任务已经越来越受模型能力约束，而多任务并行受的是人的注意力约束，一个人通常只能同时跟进 3 到 5 个活跃会话⁠¹，并开源了一个研究原型⁠²。同一时间，DeepSeek 在 API 文档中写明，通过 DeepSeek Harness、Claude Code 或 Codex 使用其 API 时触发的服务端搜索与抓取调用，从北京时间 11 月 1 日零点起按成功请求计费⁠³。Hugging Face 热榜上，一篇论文在功能完全对齐的条件下比较 MCP 与命令行两种工具接口，发现智能体行为和成本出现系统性差异⁠⁴；另一篇论文用现成前沿模型、不做额外训练，靠递归子智能体和异步搜索解出了 PutnamBench 绝大部分题目⁠⁵。

这些事件指向同一个问题：当模型本身已经足够强，决定一个智能体“能不能交付”的变量还剩哪些，它们各自如何起作用，又在哪里失效。本文把这些变量统称为执行层（execution layer），即位于模型权重之外、决定模型输出如何变成系统动作并被确认的那部分软件：工具接口如何呈现能力，验证器如何判定成功，调度器如何分配人和机器的注意力，计量系统如何给每一步定价。从 ReAct 把推理与行动交替组织⁠⁶、Toolformer 让模型自学调用 API⁠⁷，到面向大量真实 API 的 Gorilla 与 ToolLLM⁠^8,9 和多智能体对话框架 AutoGen⁠¹⁰，“模型＋执行层”已是智能体的标准形态；AgentBench、WebArena 与 SWE-bench 等基准也都在完整的执行环境中评测模型⁠^11–13。

现有讨论存在三个缺口。第一，执行层优化的收益常以单次成功率（pass@1）报告，难以区分它是让本来做得到的任务更稳定，还是让原本做不到的任务变得可做；近期研究表明两者在更大尝试预算下会出现反转⁠¹⁴。第二，接口、验证、调度和计量通常被分开研究，缺少一个把可靠性、金钱成本和人工注意力放进同一度量的框架。第三，反方证据被引用得不够：有研究发现在 MCP 与 CLI 的对比中，智能体框架本身的影响远大于接口⁠¹⁵；也有研究以“苦涩的教训”为题，表明一个简单循环加高效的验证接口即可匹敌复杂编排⁠¹⁶。Kapoor 等人此前指出，只看准确率、不计成本的智能体评测会得出关于收益来源的错误结论，并使系统不必要地复杂和昂贵⁠¹⁷。

本文的中心论点是：在长程任务上，执行层决定的是智能体的可靠性与单位成本，而不是它的能力上限；执行层的收益可以很大，但主要以“激发”的形式出现，并且与具体模型强耦合。本文的贡献有三点：

1. 提出“执行层四面”分析框架，并用四组编号公式把逐步可靠性、激发与扩展、每个验证成功任务成本、人工监督容量统一到同一套记号下。
2. 对表示面、验证面、调度面、计量面逐一做机制分析与技术路线对比，正反证据并列，给出每条路线的适用边界。
3. 给出一个可执行的执行层诊断与干预排序算法（算法 1），附可复算的示意计算，以及五条带时间尺度、证据、证伪条件与企业含义的前瞻判断。

问题形式化与记号

逐步可靠性的复利

设一个任务需要 L 个依次完成的关键步骤，第 t 步在前序步骤正确的条件下成功的概率为 s_t。若任何一步失败都会导致任务失败且不可恢复，则端到端成功率为

式 (1) 的含义很直接：每步可靠性的微小变化，会被步数 L 放大。L = 30 时，s 从 0.97 提高到 0.98，P 从 0.401 升到 0.545，相对提升约 36%；而 s 从 0.95 降到 0.94，P 从 0.215 掉到 0.156。式 (1) 是一个保守的上界模型：真实智能体存在错误恢复，此时有效的 s_t 是“出错且未被纠正”的补概率；它也忽略了步骤之间的相关性。可靠性研究发现，随任务时长增加，能力排名和可靠性排名会出现多位次倒置，前沿模型由于更常尝试激进的多步策略，在部分领域的“崩溃”比例最高达 19%（据论文）⁠¹⁸。长任务测量从另一个角度印证了这一点：据论文，前沿模型以 50% 成功率完成的任务时长自 2019 年以来约每七个月翻一番，作者认为这主要来自可靠性与纠错能力的提升⁠¹⁹；τ-bench 用 pass^k 度量多次试验下的一致性，据论文，gpt-4o 在零售领域的 pass^8 低于 25%⁠²⁰。

执行层上限与策略失配

记执行层（论文中称 harness）为 H，模型策略为 π。Mu 等人在 KL 正则化控制框架下证明，部署回报可以分解为⁠²¹

其中 U(H) 是该执行层能提供的最好回报，即“上限”；Δ(π, H) 是策略自身次优决策造成的损失，即“失配”。训练只改变 Δ，更换执行层则同时改变 U 和 Δ。这一分解解释了一个常被误读的现象：用固定模型比较两个执行层，比到的是“上限与失配之差”，而不是执行层本身的好坏。

激发与扩展

设任务集合中第 i 个任务的单次尝试成功率为 p_i，在有可靠验证器的条件下允许 k 次独立尝试，则

极限 Pr(p_i > 0) 是“可达任务覆盖率”。据此定义两类改进：只提高已可达任务的 p_i，称为激发（elicitation），它在 k 小时收益大、在 k 大时收益趋于零；提高覆盖率，称为扩展（expansion），它在 k 大时仍有收益。Kim 等人对执行层优化做了这种拆分，发现执行层相对于更强干预（如模型扩容、更多推理算力）的 pass@1 优势，在更大尝试预算下可能反转，且总体增益会掩盖难题上的不足⁠¹⁴。式 (3) 采用 Chen 等人提出的 pass@k 无偏估计⁠²²。重复采样研究显示，覆盖率随样本数在四个数量级内近似对数线性增长，在代码与形式证明等可自动验证的领域可直接转化为成功率⁠²³。Yue 等人用大 k 下的 pass@k 检验可验证奖励强化学习，发现它没有诱导出基础模型之外的新推理模式：小 k 时训练后模型领先，大 k 时基础模型反超（据论文）⁠²⁴。这与本文对执行层收益的“激发”判断在机制上同构。

当验证器不完美时，设其对正确结果的接受率为 α、对错误结果的误接受率为 β，被接受结果中真正正确的比例为

P = 0.40、α = 0.9、β = 0.1 时，Prec ≈ 0.857；同一验证器下 P 升到 0.55，Prec ≈ 0.917。这说明验证器质量与基础成功率是互补的：基础成功率越低，同一个验证器放行的错误越多。训练验证器对候选解排序与过程监督逐步打分，是提高 α、压低 β 的两条经典路线⁠^25,26。以大模型为裁判也是一种验证器：它与人类偏好的一致率可超过 80%，但存在位置、冗长与自我偏好等偏差⁠²⁷，这些偏差正是 β 的来源。

每个验证成功任务的成本

设一次尝试的模型 token 成本为 c_tok，调用搜索 n_s 次、抓取 n_f 次，单价分别为 p_s、p_f；每次失败尝试需要人工复核，成本为 h。若失败后可重试直到验证成功，尝试次数服从几何分布，期望为 1/P，于是

式 (5) 把计量面和可靠性放进同一个式子：降低单次成本而不改变 P，C∗ 线性下降；提高 P，则机器成本和人工成本同时下降，人工项下降得更快。

人工监督容量

设一名审核人员每天可用于审核的有效注意力为 A 分钟，处理一次升级平均需要 τ 分钟，每个任务的期望升级次数为 e，则一名审核人员能支撑的任务吞吐量上限为

其中 r 是对成功任务的抽检比例。式 (6) 假设审核质量不随负载变化；Turan 的研究指出这一假设不成立：当审核者因升级负载增加而疲劳时，系统的实际安全性对升级率呈倒 U 形，安全最优的升级率低于“全部升级”⁠²⁸。表 1 汇总本文记号。人因工程的经典研究早已指出，自动化程度提高后，人会在误用、弃用与滥用之间摆动⁠²⁹；而自动化越可靠，监督者越容易失去在异常时接管所需的技能与警觉，即“自动化的反讽”⁠³⁰。

分析框架：执行层四面

我们把执行层拆成四个相互独立又互相耦合的“面”。这种划分的依据是：每个面作用在式 (1)—(6) 的不同变量上，失效方式也不同。

表示面决定模型“看到”的能力长什么样：工具描述、参数结构、返回格式、观测字段的顺序。它主要作用于逐步成功率 s_t 和策略失配 Δ。验证面决定“成功”如何被判定：编译器、证明检查器、单元测试、状态查询、独立评审。它作用于 α、β 和尝试预算 k。调度面决定任务、会话和人如何被组织：单会话还是路由—工作者两层，事件驱动还是指令驱动，外部看门狗如何检测“没崩溃但没进展”的状态。它作用于 e、τ 和 A。计量面决定每一步花多少钱、能否访问：工具按次计费、预算感知、数据访问的授权信号。它作用于 c_tok、p_s、p_f，也作用于未来训练数据的可得范围。

四个面之间存在耦合。表示面的改进往往通过减少无效调用同时降低计量成本；验证面的加强会增加计量成本，但通过提高 P 降低 C∗；调度面决定验证失败后由谁、在多长时间内处理。下文逐面展开，每一面都按“机制—正面证据—反方证据—适用边界”的顺序组织。

机制分析与路线对比

表示面：同样的能力，不同的行为

表示面的核心问题是：当可执行能力完全相同，只改变它呈现给模型的方式，智能体的行为会不会变。Shi 等人构造了 MICA 框架，从同一份语义动作契约同时渲染出 MCP 和 CLI 两种接口，并让解码出的动作走同一个运行时⁠⁴。据论文，在六个模型、三个交互环境中，两种接口导致任务表现和交互成本出现明显差异；在 2,004 条成对的自然轨迹中，94.3% 出现结构化分歧，且早期差异会沿后续交互传播。作者据此把“接口实现”定位为一个可直接干预的边界，提出的 DART 方法在保持已验证语义承诺的前提下修复接口相关的实现，据论文在全部六个设置中提高基准分数，最多 9.0 分，并在三个环境中都降低了 MCP 的 token 成本。这一方向最早由 SWE-agent 系统化：它把智能体视为一类新的“用户”，为其设计专用的智能体—计算机接口，并显示接口设计本身即可显著改变软件工程任务的完成情况⁠³¹；CodeAct 把动作空间统一为可执行的 Python 代码，据论文在 17 个模型上优于 JSON 或文本格式的动作⁠³²。

这一结果从机制上看并不意外。式 (2) 指出，经过后训练的策略会携带其训练时执行层的偏好。Mu 等人在 MiniWoB++ 上做了一个干净的反事实：把观测字段的顺序颠倒，所有最优决策都不变，但一个训练过的模型的成功率从 85.0% 降到 19.2%（据论文）⁠²¹。换言之，表示面的差异之所以影响大，是因为策略本身对表示是过拟合的。工具描述是表示面的另一处薄弱点：一项针对 103 个 MCP 服务器、856 个工具的实证研究发现，97.1% 的工具描述至少有一处缺陷，56% 没有清楚说明工具用途；补全描述可使任务成功率中位数提高 5.85 个百分点，但执行步数同时增加 67.46%，并在 16.67% 的情况下出现表现回退（据论文）⁠³³。

反方证据同样有力。Alier Forment 等人在七种智能体框架、五个模型上执行同一个固定的软件任务，并通过检查仓库实际状态而不是智能体自述来判定完成⁠¹⁵。据论文，主导效应是框架本身：两个只支持 CLI 的框架完成了全部运行，且比支持 MCP 的五个框架便宜 5.0 到 28 倍；严格成对的 13 组 MCP/CLI 成本比从 0.43 倍到 29 倍不等，无法给出稳定方向。两种接口的失败频率相同，差别在于失败的代价：MCP 运行中 12.9% 的花费没有换来任何完成的工作，CLI 为 2.2%。他们还发现智能体经常不使用被指定的接口，因此不核验实际行为的比较测到的是一个未知的混合。Fan 等人对编码智能体的组件级研究给出类似的边界：预定义工具对 bash 能力弱的模型有帮助，而 bash 能力强的模型只用 bash 接口就能有效工作，成本明显更低⁠³⁴。

把正反两类证据放在一起，可以得到一个比“MCP 好还是 CLI 好”更有用的结论：接口的效应真实存在，但方向取决于模型、框架和任务三者的组合；稳定的规律是，接口是否暴露了动作所需的状态与语义。Wang 把这一点概括为“可调用不等于可操作”：一个工具调用可以完全合法，却仍让智能体无法判断下一步，例如外部效果已经提交但响应丢失时，已提交与未提交的状态在智能体看来无法区分⁠³⁵。工具故障研究进一步说明了这一点：在按开源 MCP 生态真实事故分布校准的故障注入下，任务完成分从 8.08 降到 3.23（满分 10），120B 模型并没有比 20B 模型保留更多的无故障得分，而不同智能体框架吸收故障的能力差别明显（据论文）⁠³⁶。这直接反驳了“更大的模型更能容错”的直觉。

验证面：验证器决定可以花多少次尝试

验证面的核心作用在式 (3) 和式 (4) 中：有可靠的验证器，k 次尝试才能转化为 pass@k；验证器的误接受率 β 决定放行的错误有多少。形式化证明是验证器最可靠的场景，因此也最能看清执行层的作用。EasyProver 由具有隔离上下文的递归智能体、异步搜索、并行 tactic 试探和弹性的 elaboration 服务构成，据论文在不额外训练现成前沿模型的条件下，证出 PutnamBench 672 题中的 669 题和全部 6 道 IMO 2026 形式化题，并以证明或反驳方式解决 NTP4VC 600 个验证条件中的 597 个⁠⁵。由于这些基准接近饱和，作者发布了更难的 Aegis：把编程竞赛题转为真实 Rust 实现与 Lean 规格的验证任务，在 2,000 条分层抽样陈述上，每条 30 分钟预算内证出 1,054 条，即 52.7%（据论文）。Lean 4 这类可执行的证明助手为验证面提供了误接受率几乎为零的判定器⁠³⁷，早期的 GPT-f 已用形式验证把语言模型的生成接成闭环⁠³⁸。

这组结果常被解读为“精巧的编排胜过训练”。另外两项研究给出了更克制的读法。Moalla 等人的 h1 只给模型一个高效的 Lean 4 接口，并通过验证器反馈和自我反思让它持续工作，不强加分解或搜索结构；据论文，在匹配模型的条件下，它与 Goedel-Architect、AlphaProof Nexus 等专门流程持平或更好，而消融表明“简单本身不够，高效的 Lean 接口在很大程度上决定成本与解题率”⁠¹⁶。Ortega 等人的 mini-Lean-agent 只给模型一个 bash 工具，由独立的可信评估器验证最终产物，据论文在 Putnam 2025 基准上以每题 2 美元的上限解出 12 题中的 7 题，换用另一底座模型时 12 题全解、平均每题 1.28 美元⁠³⁹。两项研究共同说明：在验证器可靠的领域，起决定作用的是“验证反馈的效率”，即表示面与验证面的交界，而不是编排的复杂度。

验证还会花钱。Rögnvaldsson 等人用控制平面观察失败的 Lean 尝试、估计再尝试一次的成功概率与成本，再决定继续还是换一种分解，据论文在 PutnamBench 子集上比固定步数基线平均降本 28.9%，性能保持⁠⁴⁰。在没有形式化验证器的领域，验证本身要设计。Zhang 等人比较了初始指令、执行中提醒、完成门禁和独立评审四层共 17 种验证设计，据论文，独立评审的性价比更好，在 Terminal-Bench 上提高平均准确率 5.9 到 9.5 个百分点，成本为基线的 1.13 到 1.25 倍；完成门禁增益可能更大，但成本可能大幅上升⁠⁴¹。VeriHarness 的发现提醒我们式 (4) 中 β 的来源：多次采样的结果之间，分歧常常暴露正确的备选，而共识可能掩盖错误⁠⁴²。

验证面的边界在于“宽度只买速度，不买上限”。Bobadilla-Suarez 等人指出，best-of-k 编排恰好实现最好那个工作者的上限；在 30 个同族工作者上，失败重叠达到最大，多数投票在 55 个任务中失败 23 个（42%，据论文）⁠⁴³。这与式 (3) 一致：同族模型的 p_i 高度相关，增加 k 主要提高已可达任务的成功率，不扩大覆盖率。测试时计算的研究给出同样的边界：据论文，按题目难度自适应地分配推理计算可以比扩大参数更划算，但收益取决于基础模型在该题上已有的成功率与可用的验证器⁠⁴⁴；Reflexion 一类以语言反馈自我修正的方法同样以外部反馈信号为前提⁠⁴⁵。

调度面：瓶颈从模型移到人的注意力

调度面回答的是：当单个任务越来越不需要人盯，谁来盯一组任务。DeepSeek 的 Super-agent 文章给出了一个工程化的回答⁠¹。它把智能体与单个手动驱动的会话解耦，提出四个特征（持续、高效、主动、常驻）和五个模块：两层架构中，长期存在的 Router 层负责全部人机交互与全局协调、本身不执行任务，上下文隔离的 Worker 层高并发执行；事件驱动设计把群聊消息、邮件、日历提醒、代码评审意见和 CI 结果等环境事件作为 Trigger；多通道全双工交互；计算、状态与环境分离；以及在主系统之外运行的独立 Watchdog 会话。文章特别指出，许多异常并不是崩溃，而是进程仍在运行却陷入无效循环或偏离目标，因此看门狗既要监测基础设施存活，也要用模型判断每个 Worker 是否在取得实质进展。文章明确说明这是架构思路，不是现有产品功能；开源的原型也声明是研究代码，与内部版本和文章所述实现并不相同⁠²。

从式 (6) 看，这套设计在做三件事：两层架构让人只与一个 Router 交互，降低每次升级的处理时间 τ；事件驱动和看门狗减少需要人发现的异常，降低 e；Router 不执行任务，避免单点成为瓶颈。Srinivasan 从分布式系统角度给出了同构的抽象：生产级智能体的承重原语是“随机—确定边界”，由提议者、验证者、提交步骤和拒绝信号四部分组成；事件驱动编排、监督者加门禁、人在回路等六种运行时模式是这一边界的不同组合⁠⁴⁶。该文还指出一种失效：基于 LLM 的消费者在重放同一份确定性事件日志时可能产生不同的下游输出，称为“重放分歧”。这对事件驱动架构的审计与复现提出了明确要求。

调度面的反方证据来自对人的建模。Turan 在 125 个对抗加权的智能体动作上请审核者标注风险，Fleiss κ 仅为 0.52，说明“有风险”本身没有唯一正确标签；把审核者建模为会随升级负载疲劳之后，实际安全性对升级率呈倒 U 形（据论文）⁠²⁸。这意味着“每个动作都让人批准”并不是安全的默认值。Khanal 等人的可靠性研究还发现，记忆类脚手架在其评测的全部 10 个模型上都损害了长程表现⁠¹⁸，提醒我们跨会话持续上下文并不天然带来收益，Super-agent 的 Router 记忆需要被单独评测。

计量面：工具调用与数据访问正在被定价

计量面的变化在近日最具体。DeepSeek 官方文档显示，Search 与 Fetch 两个接口按成功请求计费，不按 token 或返回条数计费，单价均为每千次成功请求 0.75 美元；只有返回 HTTP 200 且产生结果的请求才计费，失败请求和空结果不计费；通过 DeepSeek Harness、Claude Code、Codex 使用 DeepSeek API 时的服务端工具调用，此前免费，自北京时间 2026 年 11 月 1 日零点起按次计费（据官方文档）⁠^3,47。同一定价页列出的 deepseek-flash 价格为：高峰时段每百万输入 token（缓存未命中）0.3 美元、每百万输出 token 1.2 美元，非高峰减半（据官方文档）⁠⁴⁷。需要说明，媒体关于人民币计价的报道未在官方文档中核实，本文只使用官方文档中的美元价格。

计费改变的不只是账单，还有智能体的最优策略。Liu 等人发现，单纯提高工具调用预算并不能提高网页搜索智能体的表现，因为智能体缺少“预算意识”，很快触到天花板；为其提供持续的预算追踪、并据此调整规划与验证策略后，成本—表现的帕累托前沿得到推进（据论文）⁠⁴⁸。计量面也带来新的攻击面：Zhou 等人构造的恶意 MCP 服务器只修改文本可见字段，保持函数签名和最终正常返回，即可把智能体引入冗长的调用链，据论文单次查询成本最多放大 658 倍，常规提示过滤和输出监测很少能发现⁠⁴⁹。工具调用轨迹本身也会泄露用户画像：基于 25 个真实 MCP 服务器生成的 4,000 条轨迹上，攻击者的画像推断成功率为 26.25%，高于仅凭先验猜测的 17.97%（据论文）⁠⁵⁰。这一攻击面与间接提示注入同源：工具返回的数据可以劫持智能体的后续行为⁠⁵¹；AgentDojo 以 97 个任务和 629 个安全用例显示，现有攻击与防御都还不足以解决这一问题⁠⁵²。

计量面向上游延伸到训练数据。Longpre 等人对 14,000 个网站域名的纵向审计显示，2023 到 2024 年间数据使用限制快速增加，C4 中约 5% 以上的 token、以及 28% 以上最活跃维护的关键来源已被完全限制（据论文）⁠⁵³。10 月 30 日，OpenAI、Google、Microsoft 和 Anthropic 表示将遵守基于 IETF AIPREF 工作组方案、写在 robots.txt 中的共享“policy token”；据报道，Anthropic 已采用该信号，OpenAI 称将在“未来几个月”实施，Google 与 Microsoft 计划明年支持，Meta 表示支持但未说明是否遵守⁠⁵⁴。Google 官方博客说明，当网站用该 token 拒绝训练且未单独指定 Google-Extended 时，Google 计划将其视为禁止 Google-Extended，并以 2027 年支持为目标⁠⁵⁵。学术界的提案走得更远：terms.txt 试图在类 robots.txt 文件中按路径、按用途表达机器访问条款，并通过签名、委托令牌和 HTTP 402 协商实现计价⁠⁵⁶。在线抓取按次付费，训练抓取按偏好授权，两者合起来意味着“数据可得性”正在从默认免费变成一个需要计量和授权的执行层变量。

训练侧的回声：调度对象取代算法分阶段

执行层的论点有一个训练侧的对照。Song 等人把合适的强化学习目标推导为对模型自生成目标分布的最大似然拟合，从而把预训练、中训练、监督微调和强化学习置于同一个基于似然的训练算法之下；训练生命周期由此变成“训练哪些数据、比例多少、何时训练”的问题，分阶段训练只是特例（据论文）⁠⁵⁷。Yu 等人发现，权重归一化训练相对权重衰减的收益主要来自其诱导的有效学习率轨迹，对齐有效学习率后两者的损失动力学基本重合；据此提出的 AIR 调度在 128B token 的 MoE 预训练中，在累计学习率匹配时比余弦调度的最终训练损失低约 0.01（据论文）⁠⁵⁸。另一项研究也观察到有效学习率匹配时损失轨迹“塌缩”到一起⁠⁵⁹。

这两项工作与本文论点的关系在于：它们都把“调度”提升为一级设计对象，即数据混合的时间表和有效学习率的时间表。它们也给本文论点划出边界。式 (2) 中只有训练能降低失配 Δ，只有执行层能提高上限 U；Mu 等人的实验显示，被固定模型比较否决、但上限更高的新执行层，在其下继续训练后会超过原智能体⁠²¹。因此执行层与训练不是替代关系，而是“执行层定上限、训练消失配”的分工；把执行层和后训练分开优化，会系统性低估两者的组合收益。

方法：执行层诊断与干预排序

前文的分析可以落到一个可执行的流程上。算法 1 的目标是：在给定模型和任务集上，判断一项执行层干预属于激发还是扩展，估计它对每个验证成功任务成本 C∗ 和人工吞吐 N_max 的影响，并在统计上可靠地排序。

算法 1 中有三处设计值得说明。第一，步骤 1 要求以实际状态判定完成，这是因为智能体会忽略被指定的接口或误报完成⁠¹⁵，自述成功会系统性抬高 P。第二，步骤 5 使用成对检验与多重校正，因为排行榜上的小差距往往不足以排序：对 SWE-bench 的审计发现，Verified 前三十名中相邻的 29 对，用精确 McNemar 检验在 α = 0.05 下一对也无法区分，而同一模型在不同框架下的得分范围可达 29.8 个百分点（据论文）⁠⁶⁰。第三，步骤 7 的表示扰动检验直接来自式 (2)：一项干预的收益若在字段换序后大幅消失，说明它是在降低当前模型的失配，而不是提高执行层上限，换模型时大概率需要重做。成对比较采用 McNemar 检验⁠⁶¹，这也是 Dietterich 在比较学习算法的近似统计检验中推荐的做法之一⁠⁶²。

示意计算

为说明式 (1)—(6) 如何联动，下面给出一组示意数据。除 DeepSeek 官方单价外，其余参数均为假设，脚本与随机种子见 src/figs.py，可复算。

可靠性。设任务有 L = 30 个关键步骤。基线执行层的逐步成功率 s = 0.97，P = 0.97³⁰ ≈ 0.401；一次接口修复把 s 提高到 0.98，P ≈ 0.545（图 1）。再加一个独立评审环节，假设 P 进一步升到 0.62，这一假设与论文报告的独立评审增益量级相近⁠⁴¹。

成本。每次尝试的 token 用量假设为 20 万输入 token（按缓存未命中计）与 2 万输出 token，按 deepseek-flash 高峰价计为 0.2 × 0.3 + 0.02 × 1.2 = 0.084 美元；每次尝试调用 20 次搜索、10 次抓取，按每千次 0.75 美元计为 30 × 0.00075 = 0.0225 美元（单价据官方文档⁠⁴⁷）。可见在这一假设下，工具调用约占单次机器成本的 21%，并非可以忽略的零头。每次失败尝试的人工复核成本假设为 h = 0.40 美元，独立评审额外消耗 20% 的 token。按式 (5) 计算，结果见表 4 与图 2。

表 4 有两点反直觉之处。其一，独立评审让单次机器成本上升，但 C∗ 继续下降，因为它通过提高 P 同时减少了重试和人工复核。其二，在人工复核单价远高于单次机器成本时，C∗ 对 P 的敏感度远高于对 token 单价的敏感度：把 token 单价降一半，基线 C∗ 只从 0.863 降到 0.759；而把 P 从 0.401 提到 0.545，C∗ 降到 0.529。

监督容量。设每名审核人员每天有 A = 360 分钟有效审核时间，每次升级处理 τ = 4 分钟，抽检率 r = 0.1。按式 (6)，基线 e = 0.599 + 0.1 ≈ 0.70，N_max ≈ 360 / (4 × 0.70) ≈ 129 个任务/天；接口修复＋独立评审后 e = 0.38 + 0.1 = 0.48，N_max ≈ 188 个任务/天。这只是在审核质量不随负载变化下的上限；若考虑疲劳，应把升级率控制在倒 U 形的峰值附近，而不是用满⁠²⁸。

激发与扩展。为说明式 (3)，我们模拟 1,000 个任务：70% 的任务可达，其单次成功率服从 Beta(2, 3)，30% 不可达。“执行层优化”把可达任务的成功率提高 60%（上限为 1），不改变覆盖率；“模型升级”只把可达任务的成功率提高 15%，但让 15% 的不可达任务变为可达（单次成功率 0.25）。结果如图 3：执行层优化的 pass@1 为 0.430，高于模型升级的 0.335；到 k = 32 时，前者为 0.700，后者为 0.747，排序反转。

这组示意数据的企业含义是：如果业务允许多次尝试并且有可靠验证器（例如对账、规则校验、代码测试），评估一项改进时必须同时报告 pass@1 和较大 k 下的 pass@k；如果业务只允许一次尝试（例如面向客户的实时回复），激发型改进的价值就更高。

前瞻判断与研究议程

以下判断为弘犀智能研究团队的观点，不是事实陈述。每条都给出时间尺度、依据、证伪条件和企业含义。

围绕这些判断，我们认为有四个研究问题尤其值得投入：一是建立执行层的标准化扰动测试，把“与当前模型的耦合程度”变成可报告的指标；二是在无形式化验证器的业务领域（合规审查、报告撰写）构造误接受率 β 可估计的验证器；三是把审核者疲劳纳入监督策略的离线评估；四是研究执行层与后训练的联合优化，验证“执行层定上限、训练消失配”的分工在更大规模上是否成立。

业界常见看法中可能错误的地方

第一，“MCP 比 CLI 好”或反过来。证据显示接口效应真实存在，但方向随模型、框架和任务变化，严格成对的成本比可从 0.43 倍到 29 倍⁠¹⁵。更可靠的问题是接口是否暴露了动作所需的状态与语义。

第二，“更强的模型更能容错”。在真实分布的工具故障下，更大的模型没有保留更多的无故障得分，框架层的错误处理更关键⁠³⁶。

第三，“人工审批越多越安全”。在审核者会疲劳的条件下，安全性对升级率呈倒 U 形⁠²⁸。

第四，“执行层优化等于能力提升”。多数执行层收益是激发，pass@1 的优势在大尝试预算下可能反转⁠¹⁴。

第五，“排行榜上的小差距代表排序”。前三十名中相邻的成对比较大多无法在统计上区分⁠⁶⁰。

第六，“token 是唯一的变动成本”。工具调用已经按次计价⁠³，恶意工具还能把单次成本放大数百倍⁠⁴⁹。

局限性

本文有四点局限。其一，引用的多数研究是近几个月的预印本，数字为作者自报，尚未经同行评审或独立复现；形式化证明领域的结果不一定能外推到没有可靠验证器的业务任务。其二，式 (1) 假设步骤独立且不可恢复，式 (5) 假设失败可独立重试，式 (6) 假设审核质量不随负载变化，三者在真实系统中都只近似成立。其三，示意计算中的 token 用量、调用次数、人工复核成本与成功率提升幅度都是假设值，只用于说明机制，不代表任何具体系统的实测表现。其四，Super-agent 是一篇架构文章，其内部实例的效果没有公开的量化评测，本文只讨论其设计逻辑。

结论

回到中心论点。在长程任务上，执行层决定的是智能体的可靠性与单位成本，而不是能力上限。表示面通过逐步成功率的复利放大细小差异，但其效应方向依赖模型与框架；验证面决定尝试预算能否转化为成功，可靠验证器加高效反馈接口往往胜过复杂编排；调度面把瓶颈从模型移到人的注意力，监督容量需要被显式设计；计量面让工具调用与数据访问都开始有价格。训练侧的统一化与有效学习率研究提示，执行层与训练应被看作“定上限”与“消失配”的分工。

在弘犀智能的实践中，这些原则落在企业智能体平台 Harness 的治理层：据弘犀智能官网，该平台把智能体定义为“大脑＋双手＋缰绳”，由认知层、知识与行动层、治理层三层十二个组件构成，其中通过 MCP/API 的受控工具调用、规则引擎、逐次复核的权限与授权以及可重放的审计追踪，对应本文的表示面、验证面与调度面；模型只提议，最终由系统决定⁠⁶³。

要点小结：

1. 用 P = s^L 看可靠性：长程任务里每步的小改进会被步数放大。
2. 区分激发与扩展：同时报告 pass@1 和大 k 下的 pass@k，不把执行层收益当作能力提升。
3. 用每个验证成功任务成本 C∗ 做预算：人工复核和工具调用都要算进去。
4. 把人的注意力当作稀缺资源：按负载设定升级预算，而不是逐动作审批。
5. 优先投资验证器和状态语义：它们比提示和流程更可能跨模型代际保留价值。

参考文献

1. 1.DeepSeek Harness Team. Exploring Super-agent Design: Towards a More Autonomous Agent System. X (DeepSeek Harness), https://x.com/DeepSeekHarness/status/2116857257245987236 (2026).
2. 2.DeepSeek. dsh-superagent-prototype: Towards a More Autonomous Agent System (research prototype). GitHub, https://github.com/deepseek-ai/dsh-superagent-prototype (2026).
3. 3.DeepSeek. Search & Fetch. DeepSeek API Docs, https://api-docs.deepseek.com/guides/search/ (2026).
4. 4.Shi, Z., Pang, L. & Li, Y. Matched Capabilities, Different Behaviors: A Controlled Study of MCP and CLI Interfaces for Language Agents. Preprint at https://arxiv.org/abs/2610.34298 (2026).
5. 5.Ganguly, D. et al. Scaling Lean Theorem Proving for Real-World Code Verification. Preprint at https://arxiv.org/abs/2610.38174 (2026).
6. 6.Yao, S. et al. ReAct: Synergizing Reasoning and Acting in Language Models. In Proc. International Conference on Learning Representations (2023); https://arxiv.org/abs/2210.03629.
7. 7.Schick, T. et al. Toolformer: Language Models Can Teach Themselves to Use Tools. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2302.04761.
8. 8.Patil, S. G., Zhang, T., Wang, X. & Gonzalez, J. E. Gorilla: Large Language Model Connected with Massive APIs. In Advances in Neural Information Processing Systems 37 (2024); https://arxiv.org/abs/2305.15334.
9. 9.Qin, Y. et al. ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2307.16789.
10. 10.Wu, Q. et al. AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. Preprint at https://arxiv.org/abs/2308.08155 (2023).
11. 11.Liu, X. et al. AgentBench: Evaluating LLMs as Agents. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2308.03688.
12. 12.Zhou, S. et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2307.13854.
13. 13.Jimenez, C. E. et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2310.06770.
14. 14.Kim, Y. et al. Elicitation or Expansion? Demystifying Gains from Agent Harness Optimization. Preprint at https://arxiv.org/abs/2610.27889 (2026).
15. 15.Alier Forment, M., Casañ Guerrero, M. J., García-Peñalvo, F. J. & Pereira, J. The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task. Preprint at https://arxiv.org/abs/2608.08654 (2026).
16. 16.Moalla, S., Rammal, A., Patel, N., Munos, R. & Kempe, J. h1: A Taste of the Bitter Lesson in Automated Theorem Proving. Preprint at https://arxiv.org/abs/2610.35962 (2026).
17. 17.Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N. & Narayanan, A. AI Agents That Matter. Preprint at https://arxiv.org/abs/2407.01502 (2024).
18. 18.Khanal, A., Tao, Y. & Zhou, J. Beyond pass@1: A Reliability Science Framework for Long-Horizon LLM Agents. Preprint at https://arxiv.org/abs/2603.29231 (2026).
19. 19.Kwa, T. et al. Measuring AI Ability to Complete Long Software Tasks. In Advances in Neural Information Processing Systems 38 (2025); https://arxiv.org/abs/2503.14499.
20. 20.Yao, S., Shinn, N., Razavi, P. & Narasimhan, K. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. Preprint at https://arxiv.org/abs/2406.12045 (2024).
21. 21.Mu, J., Shen, R. & Shu, Y. Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces. Preprint at https://arxiv.org/abs/2610.37255 (2026).
22. 22.Chen, M. et al. Evaluating Large Language Models Trained on Code. Preprint at https://arxiv.org/abs/2107.03374 (2021).
23. 23.Brown, B. et al. Large Language Monkeys: Scaling Inference Compute with Repeated Sampling. Preprint at https://arxiv.org/abs/2407.21787 (2024).
24. 24.Yue, Y. et al. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? In Advances in Neural Information Processing Systems 38 (2025); https://arxiv.org/abs/2504.13837.
25. 25.Cobbe, K. et al. Training Verifiers to Solve Math Word Problems. Preprint at https://arxiv.org/abs/2110.14168 (2021).
26. 26.Lightman, H. et al. Let's Verify Step by Step. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2305.20050.
27. 27.Zheng, L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. In Advances in Neural Information Processing Systems 36 (Datasets and Benchmarks Track) (2023); https://arxiv.org/abs/2306.05685.
28. 28.Turan, E. Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human. Preprint at https://arxiv.org/abs/2606.08919 (2026).
29. 29.Parasuraman, R. & Riley, V. Humans and Automation: Use, Misuse, Disuse, Abuse. Hum. Factors 39, 230–253 (1997); https://doi.org/10.1518/001872097778543886.
30. 30.Bainbridge, L. Ironies of automation. Automatica 19, 775–779 (1983); https://doi.org/10.1016/0005-1098(83)90046-8.
31. 31.Yang, J. et al. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. In Advances in Neural Information Processing Systems 37 (2024); https://arxiv.org/abs/2405.15793.
32. 32.Wang, X. et al. Executable Code Actions Elicit Better LLM Agents. In Proc. 41st International Conference on Machine Learning (PMLR, 2024); https://arxiv.org/abs/2402.01030.
33. 33.Hasan, M. M., Li, H., Rajbahadur, G. K., Adams, B. & Hassan, A. E. Model Context Protocol (MCP) Tool Descriptions Are Smelly! Towards Improving AI Agent Efficiency with Augmented MCP Tool Descriptions. Preprint at https://arxiv.org/abs/2602.14878 (2026).
34. 34.Fan, R. et al. An Empirical Study of Harness Design for Coding Agents. Preprint at https://arxiv.org/abs/2609.20804 (2026).
35. 35.Wang, Z. Callability Is Not Operability: Controlled Interface Interventions for LLM Agents. Preprint at https://arxiv.org/abs/2608.23628 (2026).
36. 36.Iannillo, A. K. et al. Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance. Preprint at https://arxiv.org/abs/2610.32555 (2026).
37. 37.de Moura, L. & Ullrich, S. The Lean 4 Theorem Prover and Programming Language. In Automated Deduction – CADE 28, Lecture Notes in Computer Science 12699, 625–635 (Springer, 2021); https://doi.org/10.1007/978-3-030-79876-5_37.
38. 38.Polu, S. & Sutskever, I. Generative Language Modeling for Automated Theorem Proving. Preprint at https://arxiv.org/abs/2009.03393 (2020).
39. 39.Ortega, T. et al. Do Theorem Provers Need Theorem-Proving Agents? mini-Lean-agent: A Coding-Agent Baseline for Lean. Preprint at https://arxiv.org/abs/2610.17331 (2026).
40. 40.Rögnvaldsson, K., Sun, C., Dekoninck, J. & Vechev, M. Optimizing the Cost-Quality Tradeoff of Agentic Theorem Provers in Lean. Preprint at https://arxiv.org/abs/2606.04883 (2026).
41. 41.Zhang, Z. et al. Rethinking Verification in Agent Harnesses. Preprint at https://arxiv.org/abs/2610.34577 (2026).
42. 42.Zhang, C. et al. VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks. Preprint at https://arxiv.org/abs/2610.00972 (2026).
43. 43.Bobadilla-Suarez, S., Suh, B. & Fortin, R. Audit the Scaffold, Not the Checkpoint: A Stationarity Dichotomy for Recursive Self-Improvement in Agentic Coding. Preprint at https://arxiv.org/abs/2609.34924 (2026).
44. 44.Snell, C., Lee, J., Xu, K. & Kumar, A. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. In Proc. International Conference on Learning Representations (2025); https://arxiv.org/abs/2408.03314.
45. 45.Shinn, N. et al. Reflexion: Language Agents with Verbal Reinforcement Learning. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2303.11366.
46. 46.Srinivasan, V. A Methodology for Selecting and Composing Runtime Architecture Patterns for Production LLM Agents. Preprint at https://arxiv.org/abs/2605.20173 (2026).
47. 47.DeepSeek. Models & Pricing. DeepSeek API Docs, https://api-docs.deepseek.com/quick_start/pricing (2026).
48. 48.Liu, T. et al. Budget-Aware Tool Use Enables Effective Agent Scaling. Preprint at https://arxiv.org/abs/2511.17006 (2025).
49. 49.Zhou, K. et al. Beyond Max Tokens: Stealthy Resource Amplification via Tool Calling Chains in LLM Agents. Preprint at https://arxiv.org/abs/2601.10955 (2026).
50. 50.Duan, D. et al. How Much Can Tool Calls Reveal About You? Privacy Leakage from Tool-Call Traces. Preprint at https://arxiv.org/abs/2610.41885 (2026).
51. 51.Greshake, K. et al. Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. Preprint at https://arxiv.org/abs/2302.12173 (2023).
52. 52.Debenedetti, E. et al. AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. In Advances in Neural Information Processing Systems 37 (Datasets and Benchmarks Track) (2024); https://arxiv.org/abs/2406.13352.
53. 53.Longpre, S. et al. Consent in Crisis: The Rapid Decline of the AI Data Commons. Preprint at https://arxiv.org/abs/2407.14933 (2024).
54. 54.Roth, E. The biggest names in AI are backing a new way to opt out of scraping. The Verge, https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out (2026).
55. 55.Mueller, J. Supporting a shared AI training control for websites. Google Search Central Blog, https://developers.google.com/search/blog/2026/10/ai-training-control (2026).
56. 56.Chowdhury, R. terms.txt: A Consent and Compensation Protocol for Agentic Web Access. Preprint at https://arxiv.org/abs/2609.11152 (2026).
57. 57.Song, Y. et al. Training Foundation Models with a Single Algorithm. Preprint at https://arxiv.org/abs/2610.40564 (2026).
58. 58.Yu, Q., Ma, X., Bin, X. & He, D. Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training. Preprint at https://arxiv.org/abs/2610.40362 (2026).
59. 59.Liu, Z. et al. Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining. Preprint at https://arxiv.org/abs/2608.24814 (2026).
60. 60.Liu, F., Liu, Y., Sun, R., Luo, L. & Guo, S. Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead. Preprint at https://arxiv.org/abs/2609.17394 (2026).
61. 61.McNemar, Q. Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages. Psychometrika 12, 153–157 (1947); https://doi.org/10.1007/BF02295996.
62. 62.Dietterich, T. G. Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Comput. 10, 1895–1923 (1998); https://doi.org/10.1162/089976698300017197.
63. 63.弘犀智能（Great Unicorn Intelligence）. 企业智能体平台 · Harness（Enterprise Agent Platform · Harness）. https://www.hxallai.com/en/platform/agent/ (2026).