Agentic RL / RLVR
T1 智能体强化学习
可验证奖励驱动的多轮训练
一句话定义把大模型当作多轮决策策略,在“思考—调用工具—观察结果”的循环中用可自动验证的奖励做端到端强化训练,直接优化任务完成率而非下一个词的似然。
机制拆解
- 可验证奖励(RLVR)以测试通过、答案正确、任务达成等客观信号替代人工偏好评分,从源头压制奖励投机。
- GRPO 算法族组内相对优势替代价值网络;DAPO / GSPO / GiGPO 分别处理长序列、MoE 与分层信用分配。
- 智能体中期训练在预训练与后训练之间插入大规模合成轨迹的持续训练,上下文从 32K 扩到 128K。
- 异步 rollout 基础设施并行环境交互+动态数据课程;开源框架(verl / AReaL 等)把复现门槛大幅拉低。
范式意义:训练信号从“单轮答案是否正确”扩展到“多轮工具轨迹是否达成目标”,这正是 2025 年三大基准集体拐点的共同引擎。
代表工作
- Kimi K2开源 1T MoE
- 通义 DeepResearch30.5B 全开源
- DeepSeek-R1Nature 封面
- Agentic RL 综述 2509.02547500+ 篇
银行落点
银行大量作业天生自带可验证奖励——工单是否解决、账是否平、报文是否通过校验。可在脱敏仿真环境中先训后用,把行内业务规则变成奖励函数。
一句带走
不是教模型会说话,是训模型把事办成——奖励只认可核验的结果。
来源Agentic RL 综述 arXiv:2509.02547;Kimi K2 arXiv:2507.20534;通义 DeepResearch arXiv:2510.24701;DeepSeek-R1 arXiv:2501.12948




