Agentic RL + Harness
J1 Harness 决定分差
模型是发动机,Harness 才是变速箱
一句话定义智能体的实际表现 = 模型能力 × 脚手架(Harness)质量。Harness 指模型之外的一切工程:提示编排、工具集、上下文管理、子智能体分工、验证循环与状态持久化——它决定了同一个模型能跑出多少分。
机制拆解
- 上下文跨窗接力把长任务切成可交接的阶段,用结构化进度文件(如 progress.txt、init.sh)保证换窗不丢状态。
- 关注点分离规划、生成、评估交给不同的智能体;模型自评会“自我表扬”,必须引入外部评估者。
- 验证循环内建每完成一个特性即跑端到端验证,通过才允许标记完成并提交。
- 与模型共同设计Harness 的每个组件都编码了一条“模型自己做不到什么”的假设;Anthropic 在 Opus 从 4.5 升到 4.6 后,反而删掉了一个脚手架构件。
20 分以上的落差全部来自脚手架与评测口径,而非模型本身。
代表工作
- Claude Agent SDKHarness 可编程化
- mini-SWE-agent约 100 行代码 → SWE-bench Verified 74%
- Terminal-Bench榜单按“模型 × Harness”配对列名
- poolside 2.1首次公开点名 Harness 过拟合
银行落点
选型不能只比模型分数。银行应建立“行内标准 Harness”,用同一套脚手架横向评测候选模型;供应商报价时必须说明其分数是在哪个 Harness、哪个评测口径下取得的。
一句带走
换模型的收益上限由模型定,换 Harness 的收益下限由你定——工程能力就是分差里的那 11 到 15 个百分点。
来源Anthropic《Effective harnesses for long-running agents》(2025-11-26)、《Harness design for long-running apps》(2026-03-24);Epoch AI《Why benchmarking is hard》(2025-12-23);Scale SEAL SWE-bench Pro 公榜;tbench.ai 榜单
