整体解决方案 · 银行智能体平台

把前沿技术装配成一座可审计的银行智能体平台

智能体能否在银行上线,取决于平台而非单个应用。弘犀智能研究人员把前沿算法 TOP20 与协作机制 TOP20 装配为一套八层组件架构:运行时、上下文、记忆、知识、工具网关、身份审批、安全、可观测与评测由平台统一提供,治理内嵌而非外挂。以下十五张组件级详设,是弘犀为银行建设智能体平台提供的参考架构与方法论。

15 张组件级详设单会话 8 小时上限5 级动作审批4 级全链路追踪
一条笔直、对称的数据中心机房通道,两侧是成排的服务器机柜,天花板灯光明亮,整体呈青绿色调
总体设计

十五张组件级图纸,两条架构原则

银行智能体平台详细设计分为四组:总体与运行时(A1–A3)、上下文与知识(A4–A6)、管控与度量(A7–A11)、部署与时序(A12–A15)。每一张都是可以直接指导建设的组件级图纸,而不是示意图。

架构第一原则:平台化而非应用化

上下文装配、记忆、工具网关、身份、审批、可观测、评测七项能力必须由平台统一提供。若每个应用各造一套,合规检查将无法穿透,成本也会重复投入。

架构第二原则:治理内嵌而非外挂

审批等级写进工具元数据,由网关强制执行;红线约束写进上下文固定区,不参与压缩;留痕字段随调用自动产生。治理若靠事后检查,必然滞后且不完整。

读图方法:A1 的左列是能力环节(做什么),中列是功能要求(怎么做),右列是平台模块(谁来做);A2—A15 逐一展开右列的每个模块。

From Capability Stages to Platform Components

A1 总体架构 · 七环节如何映射到平台组件

七环节能力架构是平台设计的起点:每个环节先明确“做什么”,再拆成功能要求,最后落到由平台统一提供的模块上。

能力环节 → 功能要求 → 平台模块
能力环节功能要求平台模块
① 完成感知任务受理网关 · 意图与边界解析 · 验收标准登记会话网关 / 任务台账
② 认知规划规划引擎 · 里程碑生成 · 计划人工确认点编排引擎(C11)
③ 资源调用上下文装配 · 记忆检索 · 知识检索 · 工具选择上下文服务 / 记忆服务 / 知识服务 / 工具网关
④ 受控执行沙箱执行 · 权限校验 · 分级审批 · 写入单点收敛运行时 / 身份服务 / 审批中心
⑤ 结果验证外部校验 · 裁判打分 · 交叉验证 · 引用回溯质检服务(C14/C18)
⑥ 风险治理护栏 · 注入防御 · 全链路留痕 · 内容标识 · 熔断安全服务 / 可观测平台
⑦ 持续改进经验回写 · 评测回归 · 灰度放量 · 漂移检测评测平台 / 经验库

Layered Component Architecture

A2 分层逻辑架构 · 八层组件与接口边界

平台自上而下分为八层,七项横切关注点贯穿全部八层;层与层之间以四条接口边界约束调用关系。

八层组件与横切关注点
  1. 1渠道接入层手机银行 · 网上银行 · 网点终端 · 远程银行坐席台 · 企业网银 · 开放 API · 内部办公端
  2. 2智能体应用层客服助手 · 客户经理助手 · 信贷审查智能体 · 反洗钱甄别智能体 · 单证审核智能体 · 运营数字员工 · 研发助手
  3. 3编排与执行层规划引擎(C11) · 编排模式库(C9) · 写入单点(C10) · 耐久执行与检查点(C12) · 审批中心(C15)
  4. 4上下文与记忆层上下文装配服务(C8) · 短期会话记忆 · 长期记忆(抽取—整合—反思) · 经验案例库(T4) · 命名空间隔离
  5. 5知识与数据层制度条款向量库 · 客户与关联关系图谱 · 客户 360 视图 · 业务回执与校验结果 · 数据分类分级标签
  6. 6模型与推理层私有化大模型集群 · 小模型矩阵(T15) · 路由与级联(C3) · 推理加速与缓存(C4) · 微调与蒸馏管线(C17)
  7. 7工具与集成层MCP 工具网关(C2) · 核心 / 信贷 / 支付等系统适配器 · 外部数据接口 · 代码与浏览器沙箱
  8. 8治理与运维层智能体身份目录(T19) · 安全护栏与红队(T20/C16) · 可观测与审计(C20) · 评测平台(C19) · 模型风险管理
接口边界一:应用层不得直连模型与工具

所有模型调用经推理层路由、所有工具调用经工具网关——否则成本、权限与留痕都会失控。

接口边界二:写操作只允许经编排层的写入单点

这既是读写不对称的架构落法(C10),也让审计锚点唯一化。

接口边界三:知识层的权限过滤发生在检索时

按客户经理权限、数据分类分级标签过滤候选集,而不是生成后再屏蔽(呼应 C5)。

接口边界四:治理层对全部调用具备否决权

安全护栏与审批中心的拦截优先级高于业务逻辑,且拦截动作本身必须留痕。

Runtime: Isolation, Lifetime & Quotas

A3 运行时详设 · 会话隔离、时长与配额约束

运行时的三个硬约束——隔离粒度、会话时长、空闲超时——直接决定业务流程的切分方式。以下以主流企业级运行时规格为基线。

会话生命周期状态机
  1. 创建按会话标识路由到独占微虚机
  2. 活跃处理请求,保持文件与内存
  3. 空闲默认 15 分钟无请求即转入
  4. 终止8 小时上限、显式停止或健康检查失败
  5. 销毁内存擦除,文件系统清除
运行时约束与架构含义
约束项典型规格架构含义
隔离粒度每会话独占微虚拟机,独立计算、内存与文件系统多租户与客户数据隔离的物理底线
单会话最长时长8 小时(可配);持久算力型可达 14 天超时业务必须设计为可分段续跑(C12)
空闲超时默认 15 分钟等审批必须挂起,而不是空转占用
会话亲和按会话标识路由;无标识则每次新建并产生冷启动会话标识须由渠道侧稳定生成并全链路透传
单会话资源约 2 vCPU / 8 GB / 1 GB 会话存储大文件处理需外置对象存储,而非会话内暂存
并发与限流账户级活跃会话数千量级;新建会话速率受限高峰需排队与降级策略,不能假设无限扩容
会话标识

由渠道统一生成(建议 UUID 且长度充足),与客户号、渠道号、员工号绑定并全链路透传,作为可观测与审计的主键。

沙箱边界

代码执行与浏览器沙箱须禁用出网或走白名单代理;严禁将 shell、文件系统、浏览器、邮件工具置于同一无约束流程(C16)。

长流程改造

审批等待、外部接口超时、跨营业日三类断点必须落检查点;恢复时须校验业务状态是否已被他人变更。

容量与降级

按峰值话务与并发上限做容量规划;触顶时优先保障对客渠道,内部批量任务自动降级排队。

一句话结论

隔离粒度、会话时长、空闲超时三个硬约束决定了业务流程的切分方式——设计业务时就要按这三条来划分步骤,而不是等实现时再迁就。

选型问卷(招标可直接引用)

是否每会话独立微虚拟机?会话结束是否擦除内存与文件?最长时长与空闲超时是否可配?会话亲和如何实现?并发与新建速率上限是多少?

来源企业级智能体运行时公开文档(会话生命周期、配额与限流规格);具体数值以所选平台版本为准,自建时按同等口径设定。

Context Assembly Pipeline

A4 上下文装配管线 · 分区、预算与缓存策略

上下文不是拼接字符串,而是一条有分区、有预算、有缓存语义的装配管线:分区自上而下即从前缀到后缀,越靠前越稳定、越容易命中缓存。

装配分区与缓存属性(自上而下=前缀到后缀)
  1. ① 系统指令区角色 · 边界 · 输出规范 · 工具使用指引静态 · 长期命中
  2. ② 合规红线区权限边界 · 禁止事项 · 适当性与话术红线固定 · 不可压缩
  3. ③ 工具定义区场景化最小工具集(按业务包挂载)半静态 · 版本变更才失效
  4. ④ 长期记忆区客户画像 · 历史结论 · 经验案例(按需注入)动态 · 不命中
  5. ⑤ 知识检索区制度条款 · 图谱结果 · 外部资料(带出处)动态 · 不命中
  6. ⑥ 会话历史区本次交互历史(超阈值触发压缩,红线区不参与)动态 · 不命中
预算分配参考(占窗口比例 %)
触发阈值

上下文利用率达到约 70% 即触发压缩,避免逼近上限时被动截断。

压缩比例

会话历史 3:1–5:1;工具输出 10:1–20:1;优先清理已消费的工具结果(最安全的轻量形态)。

保护清单

合规红线区、当前任务目标、未决问题清单、已获授权范围——四类内容永不进入压缩范围。

压缩留痕

每次压缩记录事件标记、压缩前后 token 数与被丢弃内容摘要,纳入可观测与审计(呼应判断六:压缩会抹除安全约束)。

为什么必须由平台统一实现

若各应用自行拼装上下文,红线区就会被遗漏、缓存前缀就会各不相同、压缩策略也无法审计——这三件事任何一件出问题,都是生产事故级别。

Memory Service Design

A5 记忆服务详设 · 命名空间、写入管线与合规删除

记忆服务是独立的、受权限约束的平台组件:命名空间既是隔离边界,也是权限边界;可查、可删、可审、防污染四问必须在设计阶段回答。

命名空间设计(隔离边界=权限边界)
命名空间模板记忆类型生命周期访问控制
/客户/{客户号}/画像/语义记忆跨会话长期有效客户经理按管护关系授权
/客户/{客户号}/偏好/偏好记忆跨会话长期有效同上,且支持客户自助查看与删除
/客户/{客户号}/会话/{会话号}/摘要/摘要记忆会话级,随 TTL 过期仅本次服务人员可见
/业务/{业务类型}/经验/经验案例库长期,供全行复用按业务条线授权,脱敏后入库
/员工/{员工号}/工作台/工作上下文短期,日终清理仅本人及其主管可见
写入管线的工程事实
异步且滞后

抽取—整合—反思均为后台异步执行,长期记忆呈最终一致;应用逻辑不得在同一轮对话内依赖刚写入的长期记忆。

写入有速率闸

同一主体会话的事件写入通常受每秒个位数速率限制,天然构成写操作的串行化——与读写不对称原则一致。

抽取有算力预算

长期记忆抽取受 token 预算约束(如每分钟十万量级),高峰期抽取会排队,须监控积压深度。

冲突要有策略

同一事实被不同会话更新时,采用“新值覆盖 + 保留历史版本”,并对关键字段(如风险等级)要求人工确认后才更新。

可查

按客户号导出全部记忆条目及其来源会话、生成时间、生成方式;提供客户侧可读视图。

可删

删除请求级联到原文记录 → 派生摘要 → 向量索引 → 图谱节点 → 缓存;向量索引缺乏可证明删除时,以“逻辑失效 + 检索屏蔽 + 定期重建”兜底并出具删除凭证。

可审

每条记忆携带溯源链(来源会话、工具、原始记录标识、生成模型版本);无溯源的记忆不得进入决策链路。

防污染

记忆写入须校验来源可信度;对外部来源内容标记不可信,禁止其直接影响决策;定期做投毒检测(少量恶意文档即可显著污染检索结果)。

设计要点

把命名空间直接作为鉴权条件,让“谁能读写哪些记忆”由身份系统裁决,而非应用代码判断——这是多租户隔离能否通过审计的关键。

Knowledge & Retrieval Layer

A6 知识与检索层 · 三类存储的分工与权限前置

向量库、知识图谱与关系型 / 键值存储各有所长、并存互补;本层最关键的一条设计是:权限过滤前置到检索阶段。

三类存储的分工矩阵
维度向量库知识图谱关系型 / 键值
承载内容制度条款、产品说明、案例文本、会议纪要客户关联、股权担保链、受益所有人、组织架构客户 360 结构化字段、额度状态、风险等级
擅长问题“哪条规定适用于此”(单跳事实)“这家企业连着谁”(多跳关系)“当前状态是什么”(精确取值)
更新语义异步重嵌入,存在静默陈旧风险抽取式更新,建议标记失效而非物理删除事务性更新,强一致
银行典型用途制度问答、话术生成、案例参考关联方识别、担保圈排查、集团客户穿透实时决策取数、额度与限额校验
主要风险召回不全或召回过期条款图谱构建质量与刷新滞后与核心系统一致性、并发读写
检索时权限前置(本层最关键的一条设计)
  1. ① 解析请求识别客户号与业务场景
  2. ② 取用户权限管护关系与岗位授权
  3. ③ 构造过滤器数据分类分级 + 权限标签
  4. ④ 带过滤检索候选集在检索阶段即被裁剪
  5. ⑤ 结果附出处每条结论挂原始链接
  6. ⑥ 生成与留痕记录检索了什么、用了什么
为什么权限必须前置到检索

若先全量检索再在生成阶段屏蔽,模型已经“看到”了越权内容,其推理与措辞都可能泄露信息——事后屏蔽是伪安全。

为什么结论必须挂出处

监管检查、审贷会质询、投诉处理都需要穿透到原始依据。无出处的结论,在银行等同于无效结论。

为什么要记录“检索了什么”

当结论出错时,必须能区分是“资料没找到”还是“找到了但用错了”——这两类问题的整改方向完全不同。

刷新与陈旧治理

制度条款变更须触发对应向量与图谱的定向重建,并对高频引用条款设置版本校验,避免智能体持续引用已废止的规定。

Tool Gateway Design

A7 工具网关 · 接入、鉴权、限流与变更管控

工具网关是智能体访问行内系统的唯一出口:统一接入、统一鉴权、统一分级管控、统一留痕。

网关六项职责
协议适配

把行内 API、存储过程、批量作业统一转为标准工具描述,屏蔽后端差异。

鉴权与令牌

校验入站身份,向下游换取受众绑定的短时效令牌,凭证入保险库并轮换。

分级管控

按五级动作等级(放行—终审)强制审批、双人复核或直接拒绝,等级存于工具元数据。

限流与熔断

按工具、按智能体、按客户三维限流;异常调用模式触发熔断并告警。

留痕与回放

记录调用方、参数、结果摘要、耗时、成本,形成可回放的调用链。

变更管控

工具描述与 schema 版本钉死并做哈希校验,任何变更都触发重新审批。

出站鉴权时序(以标准授权协议为例)
← 左右滑动查看完整内容 →
角色12345
智能体发起工具调用 · 携带工作负载令牌等待等待等待收到结果 · 结果入上下文
工具网关校验入站身份查等级与限流取下游令牌调用下游系统记录调用链
身份服务验签与受众校验令牌交换保险库命中 / 新签 · 返回短时效令牌记录凭证使用
业务系统按令牌授权执行返回结果与回执

强制节点(人工 / 治理)

金色为不可绕过的管控节点:等级与限流检查、令牌交换。

关键设计一:禁止令牌透传

网关不得把上游令牌原样转给下游,必须做令牌交换并绑定受众,否则权限边界形同虚设。

关键设计二:工具变更即重新审批

工具描述是模型行为的一部分,描述被改等于行为被改——这是最容易被忽略的攻击面(见 C16 事故清单)。

关键设计三:网关是唯一出口

禁止应用绕过网关直连业务系统;绕过即意味着无限流、无留痕、无分级管控。

Identity & Tiered Approval

A8 身份与审批 · 给智能体发工号,把权限刻在动作上

智能体、责任人、被代理人三方绑定,三者缺一不得上岗;动作按后果的不可逆程度分为五级,等级由网关强制执行。

智能体身份模型(三方绑定)
智能体身份

工号 · 所属岗位 · 能力清单;创建、变更、回收全程记录

责任人身份

直属主管 · 业务归属;绩效与问责主体

被代理客户 / 员工

代表谁在操作;授权范围与有效期

三者缺一 · 不得上岗

动作分级审批矩阵(建议直接作为制度附表)
← 左右滑动查看完整内容 →
等级动作示例技术控制人工要求留痕要求
放行知识检索、生成草稿、内部查询只读权限,出网白名单无调用链留痕,按比例抽检
提示写入工作底稿、流转内部工单写权限限定命名空间系统提示,可事后复核全量留痕 + 内容快照
审批对外发送、客户信息变更、外呼发起需审批令牌方可执行经办人确认并录入理由含审批人、理由、时点
双控账务处理、额度调整、参数变更权限分离 + 二次确认双人复核,操作与复核分离双人身份与差异记录
终审资金支付、授信审批、对外报送与披露强制人工闸门,不可绕过有权人签批;重大事项委员会授权完整决策依据 + 版本 + 签批链
等级刻在工具上

审批等级作为工具元数据由网关强制执行,不依赖提示词自觉——提示词可被绕过,元数据不能。

权限随岗位而非随人

智能体按岗位授予最小权限;岗位调整时,旧权限须从活跃实例中即时抹除,避免权限沉积。

自主度提升需数据支撑

智能体每扩展一级可执行的动作(例如从“提示”级扩展到“审批”级、再到“双控”级),都必须提交 pass^k 达标报告、影子运行比对结果与红队报告三份材料。

来源金发〔2026〕8 号(高风险应用关键环节人工监督干预、谁使用谁负责);企业智能体身份产品能力(身份模板、条件访问、生命周期治理)。

Security in Depth

A9 安全纵深 · 风险清单到控制项的逐条落地

智能体十大风险逐条对应平台控制项与归属模块;安全有效性要靠持续红队来验证,而不是一次跑分。

智能体十大风险与平台控制项
风险项平台控制项归属模块
行为劫持 / 目标被篡改红线区固定注入 + 计划人工确认点 + 目标一致性校验上下文服务 / 审批中心
提示注入(含工具描述藏指令)不可信内容隔离 + 能力标签裁决 + 工具描述哈希钉版与变更审批安全服务 / 工具网关
工具滥用最小工具集 + 分级审批 + 危险工具组合禁令工具网关
身份与权限越权智能体工号 + 令牌交换与受众绑定 + 命名空间鉴权身份服务
护栏与沙箱不足每会话微虚机隔离 + 出网白名单 + 代码沙箱禁网运行时
敏感信息泄露检索时权限前置 + 输出脱敏 + 内容采集开关知识服务 / 可观测
数据与记忆投毒来源可信度校验 + 外部内容标记不可信 + 定期投毒检测记忆服务
资源耗尽三维限流 + 成本配额 + 熔断降级工具网关 / 运行时
供应链风险依赖钉版 + 来源白名单 + 仿冒包监测研发流程
过度信任与责任模糊终审级动作强制人工签批 + 三方身份绑定 + 决策依据留痕审批中心 / 可观测
红队与验证机制
频率要求

按季度常态化红队;模型版本、脚手架、工具集、提示模板任一发生变更,即追加一次专项测试。

方法要求

必须采用“攻击者感知、允许多次尝试”的评估方式。公开实测显示:通用注入成功率约 11%,针对性定制攻击可达 81%,多次尝试平均约 80%。

结论要求

单次基准跑分不构成安全结论;报告须给出攻击成功率、平均尝试次数与失败模式分布。

闭环要求

每个成功攻击案例都必须转化为一条控制项或一条评测用例并纳入回归——否则红队只是演习,而不是治理。

爆炸半径隔离(一条硬禁令)

严禁把 shell 执行、文件系统读写、浏览器访问、邮件外发四类能力放入同一个无约束工作流。四者任意组合都可能被注入指令串联成完整的数据外泄链路;确需组合时,必须拆分为不同智能体、不同权限域,并在中间插入人工闸门。

与三道防线的映射

一道防线在业务流程内嵌护栏与审批闸门;二道防线负责红队演练、策略引擎与风险计量;三道防线核查行为日志完整性与控制项有效性——智能体安全不是新体系,而是既有体系的新对象。

来源OWASP Top 10 for Agentic Applications 2026(2025-12-09);NIST CAISI 智能体劫持评估(629 用例);MCP 生态安全事故汇编。

Observability & Audit Trail

A10 可观测与审计 · 四级追踪与必备字段

可观测是“操作留痕、事后可查”这一监管要求的技术形态:四级追踪逐级可下钻,八类审计字段随调用自动产生。

四级追踪结构(逐级可下钻)
  1. 会话 Session客户一次完整交互;主键为渠道生成的会话标识,绑定客户号与员工号审计主键
  2. 任务 Task一次目标达成过程;记录目标描述、验收标准、最终状态与耗时目标与验收
  3. 步骤 Step规划、检索、生成、审批等原子步骤;记录输入摘要、模型版本与耗时原子步骤
  4. 工具调用 Tool Call每次外部调用;记录工具名、调用标识、参数摘要、结果状态与下游跨度下游跨度
审计日志必备字段(八类)
身份三元组

智能体工号 + 责任人 + 被代理客户 / 员工,以及本次生效的授权范围

决策依据

检索到的知识条目与出处、注入的记忆条目、生效的规则版本

执行记录

工具调用序列、参数摘要、结果状态、下游系统回执标识

人工触点

审批人、审批时点、审批理由、是否修改及修改内容

模型与配置

模型名称与版本、提示模板版本、工具集版本、脚手架版本

资源与成本

输入 / 输出 token、缓存读取量、耗时、首字时延、估算成本

异常与拦截

护栏命中、限流熔断、注入检测告警、压缩事件标记

内容标识

对外输出是否已按规定添加生成内容标识(显式与隐式)

埋点必须前置

上线后再补埋点,意味着历史数据不可追溯;追踪结构应与审计字段一次性对齐设计。

内容采集要有开关

提示与输出原文属敏感内容,须按合规单独开关并脱敏——可观测不等于全量留存原文。

留痕要能回放

监管检查与投诉处理需要还原“当时智能体看到了什么、依据什么、谁批准的”,而不只是结果。

监管对齐

金发〔2026〕8 号要求完整记录智能体每一次工具调用的输入、决策依据和执行结果;《人工智能生成合成内容标识办法》(2025-09-01 施行)要求对外生成内容添加显式与隐式标识——两项要求都必须在埋点设计阶段落实,而不是上线后补做。

一句话检验标准

如果监管来问“这笔业务智能体为什么这么判”,能在五分钟内完整还原它当时看到的资料、依据的规则、经过的审批——做得到就合格,做不到就不能上生产。

Evaluation & Metrics System

A11 评测与度量体系 · 上线门槛与持续监控

上线是一条分段推进的流水线,每一段都有通过条件;门槛按业务风险等级差异化设定,评测集是与代码同等重要的资产。

上线流水线与通过条件
  1. 离线评测分层评测集,pass^k 达标
  2. 影子运行一个完整业务周期,分歧样本逐单复盘
  3. 灰度放量按比例放开,配自动回退阈值
  4. 全量上线持续抽样,漂移检测
  5. 在线监控四类指标同屏,异常自动降级
上线门槛建议(按业务风险等级差异化)
← 左右滑动查看完整内容 →
风险等级典型场景pass^k 门槛成本与时延约束人工要求
低(放行、提示)知识问答、草稿生成、内部检索pass^3 ≥ 90%单任务成本 ≤ 预算基线事后抽检 ≥ 5%
中(审批)外呼话术、客户信息变更建议、工单处置pass^5 ≥ 90%P95 时延 ≤ 服务标准全量经办人确认
高(双控)账务处理建议、额度调整建议、可疑交易定性pass^8 ≥ 95%成本与时延双约束双人复核 + 差异留痕
极高(终审)资金支付、授信审批、对外报送与披露不以自动化为目标不适用人工终审,智能体仅提供依据
要检出多大的提升,每组需要多少评测样本
检出 +2 pct6,300
检出 +4 pct1,580
检出 +7 pct480
检出 +12 pct165

双样本比例检验,80% 功效 / 95% 置信。

小样本说明不了“提升”

100 条样本、80% 通过率的置信区间约为 72%–88%——小样本无法支撑“提升了几个点”的结论。

用配对设计降样本

采用配对设计(同一批样本前后对比),可把样本需求降低约一个数量级。

必须分层报告

按查询类型分层报告,避免整体指标掩盖某一类场景的显著劣化。

核心主张

评测集是与代码同等重要的资产——分场景建设、版本化管理、专人维护,并在每次模型或脚手架变更后强制回归。

Deployment Topology & Capacity Planning

A12 部署拓扑与容量成本 · 把账算清楚

“数据不出行”的落法是三域混合部署:敏感数据与写操作留在行内生产域,推理在行内 AI 域完成,外联只发送脱敏后的意图与实体。

混合部署拓扑(数据不出行的落法)
行内生产域

核心业务系统 · 客户数据 · 工具网关 · 审批中心 · 审计日志

全部敏感数据与写操作
脱敏关卡
  1. 本地转写 → 令牌化
  2. 小模型残留检测
  3. 仅“意图 + 实体”外发
  4. 结果回内域还原
行内 AI 域

私有化大模型集群 · 小模型矩阵 · 记忆与知识库 · 沙箱执行

脱敏后可推理,不出行
受控外联域

外部数据接口 · 白名单外部模型(仅接收脱敏后的意图与实体)

经脱敏与过滤后方可外发
容量估算方法(可直接套用的四步)
步骤方法示例口径
① 估显存权重显存 ≈ 参数量 × 每参数字节;总显存 ≈ 权重 × 1.3–2.0(含 KV 缓存与激活)70B 半精度约 140 GB 权重,需 2–4 张 80 GB 卡
② 估吞吐按目标并发与平均输出长度换算每秒 token 需求,参照单卡实测吞吐高并发下需为长上下文预留额外 KV 缓存
③ 定利用率目标利用率由服务等级反推:要求首字时延低时,利用率上限须下调交互式场景常取五到七成,不可满配
④ 算卡数卡数 ≈ 需求速率 × 平均服务时长 ÷ 目标利用率,再叠加冗余与灾备另需为峰值与灰度并行预留余量
成本优化的四个杠杆(按收益排序)
缓存命中率

静态前缀稳定即可长期命中,命中与未命中成本差约一个数量级——第一杠杆。

路由与级联

简单请求走小模型,同质量下成本可显著下降(区间较宽,须按自身流量实测)。

上下文瘦身

工具集裁剪与压缩阈值管理,直接减少每次调用的输入 token。

批处理与量化

连续批处理提升吞吐;八比特量化近乎无损省显存,四比特省更多但需评估精度。

来源容量估算公式与量化取舍来自公开工程实践(数值为量级参考,须以行内 POC 实测为准);隐私流水线的设计思路参考国际领先银行的公开披露。

Availability, Rollout & Continuous Improvement

A13 高可用、灰度与持续改进 · 扛得住故障,管得住变更,转得起闭环

生产可用不仅要跑得通,还要扛得住故障、管得住变更,并在每月一次的改进闭环中持续变好。

可用性设计的四个层次
模型层

多模型互备 + 自动降级:主模型不可用时降级到备用模型或规则引擎,宁可能力下降,不可服务中断。

会话层

会话状态外置持久化;单实例故障时可在其他实例恢复(会话不可热迁移,须支持可重放而非可续接)。

数据层

记忆与知识库同城双活;因长期记忆抽取为异步,恢复点目标不可能为零,须在“可重放”层面设计而非“可续接”。

业务层

所有智能体流程必须保留人工兜底通道;任何环节不可用时都可无缝回退到人工处理,且客户无感。

变更管控:什么算一次“变更”
变更项管控要求
模型版本必测
脚手架版本必测
提示模板必测
工具集与描述必测
知识库重建必测
记忆策略必测
审批等级调整需审批
路由策略需监控

标注“必测”的变更须重新执行离线评测与影子运行,未通过不得进入灰度。

持续改进闭环(每月运转一次)
  1. 采集人工修正 · 退回理由 · 投诉与差错
  2. 归因按失败模式分类,定位到环节
  3. 沉淀写入经验库,补充评测用例
  4. 整改调提示 / 工具 / 知识,或触发微调
  5. 回归评测集验证,影子比对
  6. 放量灰度扩大,或回退
变更管控的核心认知

智能体的行为由模型、脚手架、提示、工具、知识五者共同决定,改任何一个都等于换了一个系统——所以凡“必测”变更,未通过离线评测与影子运行不得进入灰度。

闭环能否转起来,取决于第一步

人工修正与退回理由必须以结构化标签采集,而不是自由文本备注。这一个动作决定了整个持续改进体系是“数据驱动”还是“感觉驱动”。

End-to-End Trace: Customer Service

A14 端到端调用链一 · 一次对客咨询的完整时序

一次对客咨询从发起到答复:横向是时间推进,纵向是责任分工;金色节点是不可省略的人工与治理节点。

对客咨询调用链
← 左右滑动查看完整内容 →
角色123456
客户 / 渠道发起咨询 · 生成会话标识收到答复 · 含内容标识
安全与身份身份鉴权 · 注入检测权限装载检索权限过滤输出脱敏与话术合规校验
上下文服务装配六分区 · 红线区固定注入注入记忆与知识压缩留痕(如触发)
编排与模型意图识别 · 小模型分流难例升级大模型生成答复 · 带出处独立实例复核
工具与数据查账户 / 产品 · 经网关鉴权记忆写入(异步)
人工与治理低置信转人工坐席高风险产品强制转人工全链留痕入审计

强制节点(人工 / 治理)

金色为三个强制节点:低置信转人工、高风险产品强制转人工、对外输出添加生成内容标识。

三个强制节点

① 低置信或意图不明 → 转人工坐席,并计入“人工升级率”指标;② 高风险产品推介 → 强制转人工,不得由智能体完成适当性匹配;③ 对外输出 → 按规定添加生成内容显式与隐式标识。

四个可观测锚点

① 会话标识贯穿全链,作为审计主键;② 每次模型调用记录 token 与缓存读取量,用于成本核算;③ 每次工具调用记录调用标识与下游回执;④ 压缩事件单独打标,用于排查“规则被总结掉”类问题。

读图提示

金色格子不是为了降低效率,而是为了让这条链路能够上生产、过审计。

End-to-End Trace: Corporate Credit Review

A15 端到端调用链二 · 一次对公信贷审查的完整时序

一次对公信贷审查:计划前置确认、并行读单点写、分歧标红、终审不可绕过——智能体完成准备,有权人保留决定。

对公信贷审查调用链
← 左右滑动查看完整内容 →
角色123456
客户经理提交案卷 · 发起审查确认调查计划补充材料接收审查报告
规划与编排解析任务边界 · 登记验收标准生成调查计划与里程碑扇出并行读(五个子智能体)汇总与重规划单点写入 · 生成报告归档案卷
子智能体材料 / 财务 / 征信 / 关联 / 行业并行各回结构化摘要(结论 + 证据 + 置信度)
知识与工具图谱穿透关联方 · 外部数据核验财务勾稽 · 沙箱计算制度条款检索 · 带出处
验证与把关交叉验证 · 分歧标红独立复核实例 · 按细则打分
人工与治理权限与身份校验计划人工确认审查人复核修改审贷会终审签批

强制节点(人工 / 治理)

金色为监管要求落点:计划人工确认、单点写入、审查人复核、审贷会终审。

计划前置确认

让客户经理在执行前一次性审核“查什么、查到什么程度”,比事后返工便宜得多。

并行读、单点写

五个子智能体只读不写,报告由唯一写入者生成,审计锚点唯一。

分歧标红而非自动裁决

交叉验证的价值在于暴露分歧,裁决权仍在审查人手里。

终审不可绕过

授信审批属最高风险等级,智能体只提供依据与草稿。

监管映射

尽职调查须现场与非现场相结合并形成书面报告;贷审分离、分级审批;高风险应用关键环节须有人工监督干预——三项要求分别落在计划确认、单点写入与终审签批三个节点上,对应《流动资金贷款管理办法》(金融监管总局令 2024 年第 2 号)与金发〔2026〕8 号的要求。

相关监管文件

  1. [33] 金发〔2026〕8 号《关于银行业保险业人工智能安全开发应用的指导意见》,2026-06-18,共 32 项。
  2. [34] 《银行业保险业数字金融高质量发展实施方案》,金融监管总局办公厅,2025-12-22,33 项任务。
  3. [35] 《流动资金贷款管理办法》(金融监管总局令 2024 年第 2 号),2024-07-01 施行。
  4. [36] 《固定资产贷款管理办法》(金融监管总局令 2024 年第 1 号),2024-07-01 施行。
  5. [37] 《商业银行金融资产风险分类办法》(2023 年第 1 号令),2023-07-01 施行。
  6. [38] 《中华人民共和国反洗钱法》(2024 修订),2025-01-01 施行。
  7. [39] 《金融机构大额交易和可疑交易报告管理办法》(2025 修订版),2025-12-01 施行。
  8. [40] 《金融机构客户尽职调查和客户身份资料及交易记录保存管理办法》,2026-01-01 施行。
  9. [41] 《金融机构产品适当性管理办法》(金融监管总局令 2025 年第 7 号),2026-02-01 施行。
  10. [42] 《银行业保险业消费投诉处理管理办法》(银保监会令 2020 年第 3 号)。
  11. [43] 《银行保险机构消费者权益保护管理办法》(银保监会令 2022 年第 9 号),2023-03-01 施行。
  12. [44] 银保监规〔2022〕13 号《关于进一步促进信用卡业务规范健康发展的通知》。
  13. [45] 国家标准《互联网金融 个人网络消费信贷 贷后催收风控指引》,2025-02-28 发布。
  14. [46] 《银行保险监管统计管理办法》(银保监会令 2022 年第 10 号),2023-02-01 施行。
  15. [47] 《人工智能生成合成内容标识办法》(四部门),2025-09-01 施行。
  16. [48] 《生成式人工智能服务管理暂行办法》,2023-08-15 施行;UCP600 第 4、5、14、16 条。
开始合作

从一个业务问题开始,让 SAM 给出可验收的模型

无论您来自银行业、快消营销、制药还是其他行业,都可以先在线试用,或预约我们的建模专家交流具体场景。