弘犀研究 · 深度分析交付链竞争

弘犀研究 · 深度分析 · 2026 年 11 月 1 日 约 55 分钟阅读 HXR-20261101-01

交付链竞争:入口、单位成本与可验证性正在取代参数规模

弘犀智能研究团队

下载 PDF(英文原版)引用本文参考文献(44)

摘要:本文以 2026 年 10 月下旬公开的产品发布、官方技术博客与论文为证据,提出一个中心论点:大模型竞争的约束条件,正从“能否训练出更强的模型”转向“能否以足够低的单位成本、通过可信的入口,把一次可验证的推理交付给用户”。我们用“每个成功任务的期望成本”这一指标统一分析系统级分发、订阅容量设计、推理加速、无教师自蒸馏、训练环境与量化制品质量,并逐项讨论机制、代价与适用边界。文末给出五条带时间尺度和证伪条件的前瞻判断,以及企业可执行的评估框架。文中数字均标注来源,未经独立复现。

关键词:交付链;单位任务成本;系统级分发;推理效率;自蒸馏;训练环境;量化制品

导语:为什么“更大的模型”不再是充分答案

过去两年,行业讨论大模型时习惯先问参数规模和基准分数。2026 年 10 月最后一周的几件事放在一起看,问题的重心已经移动了。苹果宣布国行 Apple 智能将在部分体验中接入阿里千问,11 月 4 日随开发者 Beta 开放测试,12 月随 iOS 27.3 面向中国用户推出⁠1,2。Anthropic 在定价页上为 Ultra 档写明“已验证账户不设五小时限额”,周用量为 Pro 的十倍⁠3。Canva 发布面向设计编辑的视觉语言模型 Brush,官方称相对其旧设计智能体,一般编辑任务快至多约 69%,单次编辑成本低约 46%⁠4。同一周的论文则集中在推理省算力、无外部教师的自蒸馏、训练环境与量化制品质量上。

这些事件的共同点是:没有一件是靠“更大的底座模型”取胜的。它们分别作用在交付链的不同环节——谁能触达用户、每次调用花多少钱、调用成功的概率有多高、成功能不能被验证。我们把这条链写成一个简单的表达式,作为全文的分析工具:

每个成功任务的期望成本 C* = c / q。其中 c 是单次尝试的全部成本(推理算力、重试、人工复核分摊),q 是单次尝试被验证为成功的概率。若失败可以独立重试直到成功,所需尝试次数服从几何分布,期望为 1/q,于是 C* = c/q。

这个式子很朴素,却能解释一个常被忽略的事实:降低 c 的手段如果同时降低了 q,C* 可能不降反升。低比特量化、并行解码、视觉 token 剪枝都有这种风险。反过来,一些看上去“不省算力”的投入——训练环境的状态校验、量化制品的冒烟测试、隐私授权流程——作用在 q 或者作用在“成功能否被确认”上,对 C* 的贡献往往更大。在此之上再乘以入口规模 N,就是一家公司在交付链上的竞争位置。

本文据此组织五个递进的问题:入口和容量为什么正在成为稀缺资源;推理单位成本有哪几种降法、各自的隐藏代价是什么;便宜的学习信号从哪里来;为什么可验证性正在成为新的瓶颈;物理算力的新形态在这条链上处于什么位置。表 1 先给出本文证据与 C* 各项的对应关系,后文逐项展开。

表 1 本文核心证据与“交付链”各环节的对应(证据强度为弘犀智能研究团队判断)
← 左右滑动查看完整表格 →
证据主要作用于证据类型我们关注的问题
Apple 智能接入千问入口规模 N、授权率官方新闻稿、通讯社报道系统级分发的隐私边界如何被定义
Claude Ultra 取消五小时限额容量与定价结构官方定价页长时智能体会话如何改变容量经济
Canva Brush单次成本 c、成功率 q官方新闻稿(自报数据)垂直后训练能否在同等质量下降本
LOWN、Soft-MTP、量化研究单次成本 c论文降本手段对 q 的副作用
WISD 与自蒸馏解剖研究训练成本论文没有强教师时学习信号来自哪里
WebAnything、Genie 4、Broken on Arrival成功率 q 的可测量性论文、官方博客环境与制品能否被验证
Project Suncatcher长期能源与算力成本官方博客、预印本轨道算力近期能承担什么

一、入口与容量:分发正在从“谁的模型强”转向“谁能被授权调用”

系统级分发改变了用户获取的成本结构

苹果的新闻稿写得很克制:Apple 智能由苹果构建的生成式模型驱动;在部分体验中加入对千问的支持,中国用户可以在 Siri、写作工具和视觉智能中使用千问,包括文本与图像理解;用户登录千问账户或使用“通过 Apple 登录”即可访问;本次更新不包含 Siri AI 及 WWDC 2026 宣布的其他下一代功能⁠1。新华社英文报道补充了阿里方面的说法:用户可以选择是否启用千问集成以及分享哪些信息,阿里称不会把用户请求和生成内容用于模型训练⁠2。

从交付链看,这件事的意义不在于“千问被选中”,而在于获取用户的边际成本被重写了。独立 App 需要用户主动下载、注册、形成使用习惯,每一步都有流失;系统级入口把调用嵌在用户已经在用的写作工具、Siri 和相机里,N 的上限由设备保有量决定,而不是由应用商店排名决定。代价是:模型供应方让出了界面控制权和一部分用户关系,换取的是调用量。

隐私边界:可验证隐私与承诺型隐私

更值得分析的是隐私边界的结构。苹果在 2024 年介绍 Private Cloud Compute(PCC)时,专门指出传统云端 AI 的一个难题:服务方声称不记录某类用户数据,安全研究者通常无法验证这一承诺,服务方自身也难以持久地强制执行;PCC 的设计目标之一,就是让这类承诺变得可被外部检查⁠5。这为我们提供了一个对照框架:

  • 端侧模型:数据不离开设备,隐私依赖设备安全;
  • 苹果自有云(PCC):数据离开设备,但隐私承诺被设计成可验证;
  • 第三方模型接入(本次千问):数据在用户授权后发往第三方,隐私依赖授权流程与服务方的承诺。

三者不是优劣排序,而是信任来源不同:前两者更多依赖技术机制,第三者更多依赖授权设计与合同承诺。研究也提示,即使只传输模型的输出分布而不传原始数据,端云协同解码仍可能泄露私有上下文信息;该研究提出的防御方法据论文可把泄露降低至多 87.2%,同时保持协同质量⁠6。这说明“发送前授权”只解决了“发不发”的问题,“发出去的东西里包含什么”仍需要数据最小化来约束。

对企业的含义很具体。越来越多的企业会在自有 App 或内部系统里接入多家模型,这时需要回答的不是“哪家模型分数高”,而是三件事:每次调用是否经过与目的绑定的授权;发出的上下文是否做了最小化;调用方能否事后证明自己做到了前两点。这三件事决定的是授权率和合规风险,最终作用于 N 和 c。

容量经济:从“时段限速”到“预算制”

Anthropic 的变化看上去是产品细节。定价页显示:Max 档每月 100 美元,每五小时和每周均为 Pro 用量的五倍;Ultra 档每月 200 美元,周用量为 Pro 的十倍,已验证账户不设五小时限额,并附注用量限制仍然适用,触达限额的速度取决于所用模型、对话长度和文件大小⁠3。

把它放进容量模型就能看出含义。订阅产品通常用两层闸门控制成本:短窗口限额(如五小时)控制峰值并发,长窗口限额(如一周)控制总量。去掉短窗口闸门、保留周闸门,等价于把一个“小桶快漏”的令牌桶换成“大桶慢漏”的令牌桶:总量不变,但允许用户在一段连续时间里集中消耗。为什么要这样做?因为智能体工作负载的形状变了。一个长时间运行的编程智能体会在几个小时内连续调用模型、读写文件、运行测试,五小时窗口恰好会在任务中途把它截断,而中断的代价不只是等待时间——上下文要重建,部分工作要重做,c 被抬高,q 被拉低。

我们用一组示意数据说明(示意数据,可复算):设某用户每周额度为 100 个单位,一个长任务需要 40 个单位、需连续执行;五小时窗口额度为 25 个单位。有短窗口限制时,该任务必然被打断一次,假设恢复上下文需额外消耗 6 个单位、并有 20% 概率因状态丢失而整体重做,则期望消耗为 40 + 6 + 0.2×40 = 54 个单位;无短窗口限制时为 40 个单位。周额度相同,用户能完成的长任务数从约 1.85 个提高到 2.5 个。对供应方而言,代价是峰值负载更难预测,需要用更大的容量冗余或更精细的调度来承担。

垂直模型:在可检查的输出上降本

Canva Brush 给出的是另一种降本路径。官方介绍,Brush 从一个开放权重模型出发,用真实设计与编辑任务做后训练,再结合大规模强化学习;奖励系统从视觉质量、版式是否符合设计原则、是否按要求完成任务等维度评估,“好”的标准由公司内部专业设计师确定;运行时它用一个智能体循环编写并执行代码来修改设计元素,再检查页面上的结果来决定下一步,所有产出都可以继续手动编辑⁠4。

这里的关键机制是“通过代码改稿并检查渲染结果”。设计稿在 Canva 内部是结构化对象,改稿可以表达为对结构的操作,结果可以被程序检查。这让 q 在训练时可以被稠密地评估,也让运行时的自检有据可依。官方称在多数编辑任务上,Brush 的质量与旧方案持平或更好,同时更快、更省(自报数据,未经独立评测)⁠4。与之对照,通用大模型在同类任务上能力强,但单次调用成本更高;在“数亿用户、数十亿设计”的规模下,每次任务多出几美分就会累积成可观成本——这是 Canva 自己给出的理由⁠4。

这一路线的边界也清楚:它依赖输出结构化、可检查、奖励可以由领域专家定义。在开放式写作、复杂推理等难以程序化检查的任务上,垂直小模型相对通用模型的优势会收窄。研究也表明,在推理类任务上,推理时算力的增益存在饱和点,超过阈值后准确率提升递减,混合专家架构在准确率与算力之间更易取得平衡⁠7;按难度把简单请求留给小模型、只把难题升级给大模型的级联方法,可以在给定概率下约束推理成本超出预算的风险⁠8。垂直模型与级联路由,本质上都是在“q 足够高”的前提下压低 c。

观点 1(12–24 个月):系统级入口接入第三方模型,将以“逐次授权 + 数据不用于训练的承诺 + 上下文最小化”为基本配置,竞争重点从模型分数转向隐私机制的可验证程度。支撑证据是 Apple 与阿里公开的授权设计⁠1,2,以及端云协同场景下已被证实的泄露风险⁠6。若主要终端入口在此期间开始默认、无提示地调用第三方模型,或把用户数据用于训练改为默认选项,则该判断被推翻。企业含义:在自有产品中接入外部模型时,应把“每次调用可审计的授权记录”作为验收项,而不是事后补齐。

二、单位推理成本:三种降法,以及它们各自如何伤害成功率

降低 c 的技术路线很多,按“省的是什么”可以归成三类:少处理输入(跳过或剪掉冗余的输入 token),一次多产出(多 token 预测、投机解码、扩散模型的并行解码),每次算得更便宜(低比特量化)。三类方法都能在论文的平均指标上给出漂亮的数字,但它们损害 q 的方式不同,企业在选型时需要分别检验。

少处理输入:LOWN 的“一致即复用”判据

扩散式视觉语言模型在每一步去噪时都要处理完整输入。LOWN 的作者统计,在他们研究的基准上,视觉 token 占输入的 89%–97%,因此大部分解码算力花在反复处理同一张图上⁠9。他们做了一个直接的测量:在每个解码步分别用“带图”和“不带图”两种方式预测,发现去掉图像只在平均 22.8% 的步骤里改变了正在揭开的 token,最低的基准只有 7.9%⁠9。

据此,LOWN 的机制可以写成一个判据。记第 t 步对被掩码位置 i 的“仅文本”预测为 ŷ_t(i),最近一次带图预测为 ŷ_s(i)(s < t)。若 ŷ_t(i) = ŷ_s(i),则认为该位置的旧预测被“认证”,可以复用而不必再看图;只有当仅文本预测与上次带图预测不一致时,才重新处理图像。被认证的 token 数量同时决定本步揭开多少 token⁠9。据论文,这一方法无需训练、无需调阈值,在十个基准上保留 LLaDA-V 约 99.6% 的分数,平均解码 FLOPs 约为原来的 35.3%,并且可以与视觉 token 剪枝正交叠加⁠9。

为什么这个判据有效?粗略估算可以说明(示意数据,可复算):若视觉 token 占输入 93%,仅文本前向的代价约为完整前向的 7%(忽略注意力的非线性开销);若需要重新看图的步骤占 22.8%,则每步平均代价约为 0.07 + 0.228 × 1 ≈ 0.30 个完整前向。再加上“认证越多、一步揭开越多”带来的步数减少,量级上与论文报告的 35.3% 一致。它的本质是用一次便宜的“反事实检查”(不看图会不会改变答案)来决定是否付出昂贵的计算。

与视觉 token 剪枝相比,两条路线的取舍很清楚。剪枝永久丢弃一部分视觉信息,在每一步仍然处理剩余图像;LOWN 不丢信息,而是在时间维度上跳过不需要的计算。剪枝的风险已有专门研究:在视觉证据被削弱时,模型可能利用文本捷径答对题目,使得平均准确率掩盖“是否真的选对了视觉 token”;相同的保留 token 数在不同剪枝位置下的端到端开销也不同⁠10。另一项审计在图像发生配对扰动时发现,按扰动后图像重新选择保留位置,会让压缩模型的失败率比复用原位置高 2.05–9.60 个百分点(据论文)⁠11。LOWN 的局限也需要说明:它目前针对 LLaDA 系列扩散式模型,判据依赖“仅文本预测”与“带图预测”的可比性;在图像信息贯穿每一步的任务(如密集的视觉定位)上,需要看图的比例会升高,节省随之缩小——作者也观察到不同基准对图像的需求差异很大⁠9。更一般地,扩散模型的并行解码依赖条件独立假设,当 token 间依赖强时质量必然下降,标准数学和代码基准不足以暴露这种退化⁠12。

一次多产出:投机解码与 MTP 的“接受率”约束

投机解码的思想是用便宜的草稿模型一次提出若干 token,再由目标模型并行验证,在不改变输出分布的前提下加速⁠13。若每个草稿 token 被接受的概率为 α、草稿长度为 k,每次验证期望产出的 token 数为 E = (1 − α^(k+1)) / (1 − α)⁠13。代入示意数据:α = 0.8、k = 3 时,E ≈ 2.95;α 降到 0.6 时,E ≈ 2.18。接受率对收益的影响是非线性的。

投机解码每次验证的期望产出 token 数随草稿接受率变化的曲线:草稿长度 k = 1、3、5、7 四条曲线,草稿越长对接受率越敏感(示意计算)
图 1 | 投机解码每次验证的期望产出随接受率变化。草稿长度越长,对接受率越敏感。公式据 Leviathan 等,曲线为示意计算。

多 token 预测(MTP)把“草稿模型”内化为主干上的附加预测头。早期工作显示,用 n 个独立输出头预测后续 n 个 token,可以提高样本效率,并让模型在推理时加速至多约 3 倍⁠14;DeepSeek-V3 把 MTP 作为预训练目标之一⁠15。10 月 28 日的 Soft-MTP 论文指出了标准 MTP 训练的一个缺陷:MTP 交叉熵的梯度可以精确分解为两部分,一部分是把每个 MTP 头拉向模型自身下一 token 预测分布的 KL 自蒸馏项,它有利于投机解码;另一部分是信噪比低的残差,会淹没有用的 KL 信号,并同时干扰下一 token 与多 token 学习,且随规模加重⁠16。写成式子是:

∇L_CE(MTP) = ∇KL(p_NTP ‖ q_MTP) + r,其中 p_NTP 为模型自身的下一 token 分布,r 为低信噪比残差。

作者提出“KL 梯度恢复”技巧:当两个分布共享线性输出头时,可以通过直通梯度路由组合两者已有的交叉熵梯度,精确得到 KL 的梯度,而不必构造词表大小的 logit 矩阵;由此得到的 Soft-MTP 只需改动一行代码,不增加参数,据论文在 1.67 亿到 12 亿参数范围内优于标准 MTP⁠16。这一结论的规模范围较小,能否外推到数百亿参数的预训练,还需要更大规模的验证。

“一次多产出”在真实服务中的收益常被高估。一项在生产级推理引擎 vLLM 上的系统研究发现,目标模型的验证开销主导了执行时间,接受长度在不同位置、请求和数据集之间差异显著,实测加速与理论上界之间存在明显差距⁠17。另一项在单张 A10G 上的受控测试显示,两 token MTP 让输出吞吐提升 1.91–2.19 倍,平均接受长度中位数为 2.37–2.60(据论文);但其执行路径更长更复杂,主要矩阵运算并不比自回归更快,收益来自减少了重复执行的次数⁠18。还有工作尝试把预训练模型直接蒸馏为独立的多 token 预测模型,据论文在 GSM8K 上解码快 3 倍以上、准确率下降不足 5%⁠19——5% 的下降在很多业务里已经足以抵消提速。

每次算得更便宜:量化的两个隐藏成本

量化是直观的降本手段:权重位数减半,显存和带宽减半。但两项近期研究揭示了 c/q 视角下的隐藏成本。其一是“token 膨胀”:低比特量化的推理模型即使仍然答对,也常常生成更长的思维链,INT4/INT3 量化可以保住准确率,却增加推理 token 用量,抵消了单 token 的提速⁠20。其二是“决策边际收缩”:对 16 个模型在 4、3、2 比特下的研究发现,量化前后两个候选首 token 的分数差近似满足 m′ ≈ c·m + b,斜率 c 通常小于 1 且随精度降低而变小;工具调用中“是否调用工具”往往比“调用哪个工具”更敏感⁠21。

把两者放进 C* = c/q(示意数据,可复算):基线 c = 1.00、q = 0.80,C* = 1.25。4 比特量化使单 token 成本降到 0.60,但推理 token 膨胀 1.3 倍,c = 0.78;若 q 降到 0.74,C* ≈ 1.05,仍然划算。若是一个小模型的低比特版本,q 降到 0.50,C* = 1.56,反而比不量化贵 25%。再看决策边际:取 c = 0.7、b = −0.1,原边际 m 落在 0 到 −b/c ≈ 0.143 之间的正向决策会在量化后翻转;若某个“是否调用工具”的决策分布里有 12% 落在这个区间,就意味着约 12% 的调用决策改变方向,而平均准确率可能只下降一两个点。

每个成功任务的期望成本 C* = c/q 随单次尝试成功率变化:基线与 4 比特量化两条曲线,标出小模型低比特 q = 0.50 时 C* = 1.56、大模型量化 q = 0.74 时 C* = 1.05(示意数据)
图 2 | 每个成功任务的期望成本 C* = c/q。量化降低 c,但若 q 下降过多,C* 反而上升。示意数据,由弘犀智能研究团队计算。
量化使决策边际按 m′ ≈ 0.7m − 0.1 收缩:虚线为无量化,实线为量化后,阴影翻转区 0 < m < 0.143 内的正向决策会翻转(示意参数)
图 3 | 量化使决策边际按 m′ ≈ c·m + b 收缩,阴影区内的正向决策会翻转。线性关系据 Wu 等,参数为示意数据。
表 2 三类推理降本路线的机制、收益与对成功率的风险(据所引论文整理)
← 左右滑动查看完整表格 →
路线机制典型收益(据论文)对 q 的主要风险适用边界
跳过输入(LOWN)一致性判据决定是否重读图像解码 FLOPs 约 35.3%,分数保留约 99.6%图像信息贯穿全程的任务节省缩小扩散式 VLM,图文问答类任务
剪枝视觉 token丢弃低重要度 token依方法而异文本捷径掩盖错误;分布扰动下失败率上升输入冗余高、视觉细节要求低
一次多产出(投机/MTP)草稿 + 并行验证单请求吞吐约 1.9–2.2 倍接受率随任务波动;大批量下收益缩水输出可预测性高、延迟敏感
低比特量化降低数值精度显存与带宽显著下降token 膨胀;决策边际收缩;小模型失效大模型、非临界决策

观点 2(6–18 个月):企业采购与评估推理服务的口径,将从“每百万 token 价格”转向“每个被验证成功的任务成本”;订阅与企业合同会更多从短时段限速转向按周或按月的预算制。支撑证据是长时会话的容量设计变化⁠3、量化带来的 token 膨胀与决策翻转⁠20,21,以及实测加速与理论值的差距⁠17。若主流服务商在此期间重新收紧短窗口限额,或 token 单价下降速度远快于任务成功率的变化、使得按 token 计价仍然足以近似任务成本,则判断不成立。企业含义:选型压测应同时记录 token 用量、重试次数与人工复核率,用 c/q 而不是单价比较方案。

三、学习信号:没有强教师时,便宜的监督从哪里来

推理成本之外,训练成本是交付链的上游。近一年后训练的一条主线是在线策略自蒸馏(OPSD):让模型在自己的采样轨迹上,向一个“看到参考答案的自己”学习。它的直觉解释是“教师掌握了学生没有的特权信息”。最近几项解剖研究对这个解释提出了挑战,而 WISD 恰好走了相反的方向。

特权信息不是全部:三项解剖研究

其一,有研究把参考解替换为另一道题的题目与解答,保持学生轨迹、教师和蒸馏目标不变,结果仍然优于基座模型,且与标准 OPSD 相当;作者据此认为,OPSD 的收益并不一定来自参考解本身,教师在新上下文中被诱导出的行为是重要因素⁠22。其二,另一项研究构造了 5319 道数学题、每题六种推理视角,发现与之匹配的“无参考蒸馏”就解释了 Qwen3-1.7B 的大部分提升,参考答案带来的额外收益有限,而且收益强烈依赖学生的状态:把短回答采样换成长思维链采样,增益会变成损失⁠23。其三,第三项研究发现 OPSD 的增益随规模迅速收缩——从 1.7B 的 3.05 个百分点降到 8B 的 0.14 个百分点(据论文),原因是教师可以利用学生不具备的信息,形成“模仿差距”;改为主要在经过答案校验的轨迹上监督后,增益在 1.7B 到 8B 上稳定在 3.2–3.8 个百分点⁠24。

三项研究合在一起,指向一个比“特权信息”更朴素的解释:有效的信号来自“同一个模型在两种条件下的对比”,以及监督落在了正确的轨迹上。

WISD:用“更弱的自己”制造对比

WISD 不去构造更强的教师,而是用低比特量化或幅值剪枝构造一个更弱的版本,再把原模型与弱化模型之间的对比作为训练信号,不需要任何特权信息⁠25。为便于理解,可以把这种信号写成一个示意形式(我们的示意化写法,并非论文原式):在学生自己的采样 y 上,比较 log π_θ(y_t | ·) − log π_weak(y_t | ·)。差值大的位置,是“能力被削弱后先丢失的决策”,也是模型能力中值得重点强化的部分。

据论文,在数学与代码推理任务上,量化与剪枝两种弱化方式分别使平均准确率提高 4.0 和 5.5 个百分点;剪枝版把 Qwen3.5-4B 在 HMMT 2025 上从 57.7% 提到 70.5%,在 LiveCodeBench v6 上从 39.1% 提到 56.7%;量化版把 Qwen3.6-35B-A3B 在两项上分别从 68.5% 提到 74.6%、从 61.8% 提到 69.5%⁠25。

为什么“弱化”能提供有用的信号?一个合理的解释是:量化与剪枝对模型能力的破坏不是均匀的,它们优先破坏那些边际较小、依赖精细数值的决策——这与前文“量化收缩决策边际”的发现相互印证⁠21。弱化模型因此像一个“哪里脆弱”的探针,对比信号把训练集中在这些脆弱决策上。这也解释了它与 OPSD 的互补关系:OPSD 告诉模型“更好的自己会怎么做”,WISD 告诉模型“更差的自己会在哪里出错”。

这一路线的边界有三点。其一,论文报告的规模是 4B 稠密模型和 35B 总参数、3B 激活的混合专家模型,前文 OPSD 增益随规模收缩的结果⁠24提醒我们,需要在更大模型上独立复现。其二,任务集中在有可验证答案的数学与代码上,开放式任务的效果未知。其三,对比信号的有效性依赖弱化方式“恰好”破坏了值得强化的能力,换一种弱化方式或换一个模型家族,结论可能不同。

表征收敛:数据视角的设计比规模更关键

同一周还有一篇理论工作,把“柏拉图表征假说”从猜想推进为定理。原假说认为,不同模态训练的模型随规模增长会收敛到相似的表征⁠26。新论文证明:联合嵌入预测架构(JEPA)在各模态上分别训练时,只要正样本对是同一场景的两次观测(作者称为“好视角”),学到的表征在一次旋转意义下相同;下一 token 预测则是一种“坏视角”的 JEPA(正样本是同一文档的不同部分),这解释了语言模型为什么只能靠规模与视觉对齐⁠27。据论文,在同一语料上,好视角达到相同对齐程度所需的训练样本比下一 token 预测少 42 倍;一个 1.09 亿参数的文本 JEPA 与 DINOv2、CLIP 图像编码器的对齐程度,超过作者评测的所有语言模型(至 720 亿参数)⁠27。

反方证据同样有分量。有研究指出,常用的表征相似度指标会被网络规模本身抬高,经过置换零分布校准后,全局谱度量显示的收敛大体消失,只有局部邻域关系仍保持跨模态一致⁠28。另一项研究认为原始证据比后续引用所暗示的弱:互为近邻指标只捕捉粗粒度结构,对齐随语言模型增强的趋势在近期模型上饱和,一对一的图文配对本身有利于对齐⁠29。还有研究在 16 个语言模型上发现,模型在“共同答错”的题目上表征反而更相似,决策后的表征差异很大,共享信息对预测的因果影响很小⁠30。

把正反证据放在一起,我们的读法是:表征收敛在粗粒度与局部结构上是真实的,而它更多由“训练视角”的设计决定,而不是由参数规模决定。这对企业的启示是具体的:在做多模态检索、图文对齐或跨系统表征迁移时,与其追求更大的编码器,不如先改善配对数据的质量——让正样本真正是“同一对象的两次观测”。

观点 3(12–24 个月):无外部教师的自对比与自蒸馏方法,将成为企业在专有领域做后训练的常规选项之一,因为它不依赖调用更强模型的接口,也不需要大量标注;但其增益随模型规模递减的问题会成为主要争议。支撑证据是 WISD 的报告结果⁠25和三项解剖研究⁠22–24。若在 30B 以上的稠密或混合专家模型上,独立复现显示此类方法的平均增益低于 1 个百分点,则判断应下调为“仅适用于中小模型”。企业含义:领域后训练的预算应优先投在“可校验的任务与答案”上,这是自蒸馏类方法生效的前提。

四、可验证性:环境与制品正在成为新的瓶颈

前三节讨论的是怎样让 c 下降。但 C* = c/q 里还隐含一个前提:q 必须能被测出来。对智能体而言,q 的测量依赖训练和评测环境;对开源部署而言,q 的测量依赖下载到的制品是否真的能用。这两处恰好是本周证据集中、又容易被忽视的地方。

训练环境:源站重建、校验合成与生成式世界

网页智能体需要多样、可执行、可重置的网站环境。WebAnything 的作者把既有路线归为三类:人工辅助的镜像需要逐站工程;生成式构建可能偏离指定的真实网站;录制回放保留了观测,但交互覆盖受限于录到的内容⁠31。他们的方案是从真实网址出发,由“探索—构建”组件采集浏览器可观测的结构、资源与交互结果,再由独立的验证器检查冻结后的候选环境,指导局部修复或定向重采。据论文,他们构建了覆盖 14 个应用领域、53 个类别的 244 个网站制品,支持 12984 个已执行并通过验收的任务;在盲审中与人工辅助的 WebHarbor 相比,三项保真度指标 12 胜 2 平 0 负;用 5856 条交互轨迹微调 Qwen3.5-9B 后,在固定评测框架下 WebArena-Verified 总体成功率提高 13.33 个百分点⁠31。

另一条路线是“校验过的合成环境”。有研究把每个生成的网站表示为页面、导航、数据库记录、状态变更标记与任务约束构成的结构化骨架,在训练前检查并修复结构、语义、一致性与可行性缺陷;据论文,可行任务比例从 48.6% 提高到 94.8%,训练出的策略迁移到 WebArena、WebShop 等环境时表现更好⁠32。这个数字值得停下来看:未经校验的合成环境里,超过一半的任务本身就做不成。若用这样的环境训练,模型学到的不是“完成任务”,而是“在不可能的任务上给出看似合理的行为”,评测得到的 q 也因此失真。

环境还会变化。有基准专门模拟上下文、感知与执行三类环境漂移,发现网页智能体习得的技能在漂移下系统性退化,其中执行层面的漂移压力更大⁠33。这意味着环境不是一次性建好的资产,而需要像软件一样维护和回归测试。

生成式世界模型站在另一端。Genie 4 是 DeepMind 新一代实时可交互世界模型,原生生成环境声、音乐与对话,可以用自然语言实时改变天气、镜头或加入人物,并由 Gemini 家族模型在用户输入之间监控与引导场景保持连贯;官方定位之一是为机器人与智能体开发训练环境,目前以研究预览形式向可信测试者开放⁠34。官方同时写明了局限:它可以在短时会话中保持环境连贯,但视觉细节与物体恒存性仍会随时间漂移,尤其是在模拟运行更久、多次复杂改动或在场景中大范围移动之后;复杂物理交互、实时音频准确性、可辨识文字渲染、空间准确性与长期一致性仍是研究中的问题⁠34。独立基准印证了这一点:在最长 180 秒、由智能体在线调整镜头的长时探索测试中,十个视频世界模型的局部视觉质量能维持更久,但长程记忆与演化仍然薄弱⁠35。

三条路线的取舍可以用“状态是否可校验”来概括。源站重建与校验合成的环境有后端状态,任务完成与否可以由程序判定,奖励可以稠密且可信;生成式世界模型产出的是像素与声音,没有可以直接查询的“真实状态”,奖励只能靠另一个模型去判断,误差会层层叠加。这并不否定世界模型的价值——在具身智能、感知训练和难以搭建实体环境的场景里,它们提供了别处无法获得的数据多样性——但在软件类智能体的训练上,可校验的状态比逼真的画面更重要。

制品质量:可复现不等于可用

开源模型的交付链末端是用户下载的量化文件。Broken on Arrival 的作者检查了 Ollama 官方库中全部 305 个可写代码的 GGUF 标签(覆盖 15 个模型系列)以及 22 个热门 Hugging Face 社区文件,指出他们检查的注册方都没有记录对文件做过功能测试⁠36。用 15 道代码题初筛、再用 HumanEval+ 全部 164 题复测后,有 7 个官方标签(2.3%)至多只能解出 6 题,全部是参数不超过 40 亿的模型的低比特量化版本⁠36。更关键的发现是:作者从原始权重重建了 5 个可疑文件,与注册表文件逐张量一致,说明文件没有损坏——“完全可复现”并不意味着“能用”;在权重、工具链和张量配方不变的情况下,加入重要性矩阵(imatrix)校准,就让 Qwen2.5-Coder-3B 在三个量化等级上从 0 题提高到 76–113 题;而同样的未校准配方用在更小的 1.5B 模型上却正常,说明配方本身不能预测失败⁠36。

另一项研究从供应链角度补上了另一半:模型签名验证的是全精度权重,而用户运行的是量化制品,其生成过程在当前披露条件下并不是确定的。在下载量居前的 198 个 GGUF 仓库中,没有一个记录构建环境,第三方按记录信息逐位复现的比例为 0/198;补上卡片遗漏的浮点收缩设置与逐张量量化配方后,7/8 的目标文件可以在 x86 上逐位复现⁠37。还有研究发现,质量指标不能代替安全测试:在一组量化检查点上,质量稳定甚至提升的同时,拒答率下降了 12–68 个百分点(据论文)⁠38。在服务端,前缀缓存复用会让“同一请求得到不同答案”,而量化放大了这种分歧:Qwen2.5-7B 在 16 比特下有 37.4% 的多轮工具调用回合出现路径分歧,4 比特下升至 82.5%(据论文)⁠39。

把这些放回 C* 的框架:制品失效让 q 在部署后悄悄归零,而平均基准分数和文件哈希都不会报警。对企业来说,2.3% 看上去不高,但如果一家公司在不同业务线自行下载、部署十几个低比特小模型,至少遇到一个失效制品的概率就不低(示意数据,可复算:若每个制品独立地有 2.3% 失效,部署 15 个时至少一个失效的概率为 1 − 0.977^15 ≈ 29.5%)。冒烟测试的成本是几十道题的推理,与之相比几乎可以忽略。

观点 4(12–24 个月):在软件类智能体的训练与评测中,“源站重建 + 状态校验”或“校验合成”的环境会成为主力,生成式世界模型的主战场在具身与感知仿真;同时,低比特制品的发布会逐步附带功能冒烟测试与构建信息。支撑证据是本节引用的环境研究⁠31,32、世界模型的官方局限与独立基准⁠34,35,以及制品审计⁠36,37。若出现以生成式世界模型为主要训练环境、在 WebArena 类基准上稳定超过源站重建环境的公开结果,或主要模型注册表 12 个月后仍未披露任何功能测试,则相应部分被推翻。企业含义:私有化部署的验收清单应包括“下载后功能冒烟测试”“构建参数留档”与“安全拒答回归”三项,不以文件哈希一致作为可用性证明。

五、物理算力:轨道上的“Hello World”在交付链上处于什么位置

最后看交付链的上游端——能源与算力。10 月 30 日,Google Research 宣布 10 月 1 日发射的 Project Suncatcher 原型星完成调试,包括为主机与 TPU 托盘上电并运行早期机器学习测试;在一次地面站过境时向星上的 Gemma 4 开放模型上传提示词,经挪威斯瓦尔巴下行得到一首关于太空的俳句,官方称之为“数据中心级 TPU 在轨的首次 AI 回复”;后续将测试 TPU 在热应力与辐射暴露下的表现,为 2027 年双星互联任务铺路⁠40。

要判断这一步的分量,需要回到 2025 年公布的系统设计⁠41,42。其设想是在晨昏太阳同步低轨部署搭载 TPU 的太阳能卫星星座,用自由空间光链路互联。几项关键约束值得逐条看:

  • 星间带宽:要达到地面数据中心级的分布式训练,星间链路需要每秒数十太比特;由于接收功率与距离平方成反比,方案要求卫星以千米甚至更近的距离密集编队飞行;台架演示已用单对收发器实现每向 800 Gbps⁠41。
  • 辐射:在 67 MeV 质子束测试中,Trillium TPU 的高带宽内存在累计剂量 2 krad(Si) 后才开始出现异常,约为屏蔽条件下五年任务预期剂量 750 rad(Si) 的 2.7 倍,单芯片测到 15 krad(Si) 未出现可归因于总剂量的硬失效⁠41。
  • 经济性:按持续学习率推算,发射价格可能在 2030 年代中期降至每千克 200 美元以下,届时单位千瓦年的发射与运营成本可能与地面数据中心的能源成本大致相当;官方同时列出热管理、高带宽地面通信与在轨可靠性等未解难题⁠41。

独立分析给出了更保守的边界:比较发射、发电、散热、辐射与再入等因素,并用对分带宽与屋顶线模型分析星间网状网络后,作者认为低轨推理可能可行,而在轨训练前沿规模大模型不太可能与地面数据中心竞争⁠43。另一项研究提出“先看负载”的框架:在轨处理遥感影像、把原始数据压缩为语义产物,可减少 99.7%–99.99% 的下行数据量,这类就地处理才是早期适合上轨的负载⁠44。

所以,这次“Hello World”验证的是“数据中心级加速器能在轨通电、运行开放模型并回传结果”,而不是“轨道算力已经可以替代地面集群”。它在交付链上的位置,是长期的能源成本项,以及近期的在轨数据就地推理。

观点 5(24 个月):在 2028 年底之前,轨道算力只会承担在轨数据的就地推理与技术验证,不会进入通用的大模型训练或面向大众的推理服务。支撑证据是官方自述的工程难题与时间表⁠40,41,以及独立的成本与网络分析⁠43,44。若 2027 年的双星任务公开展示跨星分布式训练,且星间链路带宽达到地面训练集群的量级,则判断被推翻。企业含义:算力规划不必为“太空算力”预留预算,但做遥感、海事、应急等业务的企业,可以开始评估“在轨预处理 + 地面精算”的数据链路。

结语:把预算从“更大”挪到“更可验证”

回到中心论点。本文讨论的每一组证据,都可以落在 C* = c/q 与入口规模 N 上:系统级分发与授权设计决定 N 和授权率;订阅容量设计与垂直后训练改变 c 的结构;推理加速与量化降低 c,却可能通过 token 膨胀、决策翻转和接受率波动拉低 q;无教师自蒸馏降低了训练侧获取学习信号的成本;环境与制品的可验证性决定 q 能否被测准;轨道算力是远期的能源项。

业界常见的几种看法因此需要修正。“量化等于省钱”只在 q 不明显下降时成立;“表征收敛意味着规模终将统一各模态”的证据比引用时显得的要弱,视角设计比规模更关键;“世界模型将取代真实环境”在软件智能体训练上为时尚早,状态可校验比画面逼真更重要;“文件哈希一致即可放心部署”已被实证推翻;“太空算力将很快缓解能源瓶颈”混淆了技术验证与商业可用。

对准备在本季度做决策的企业,我们建议用表 3 做一次自查。

表 3 企业交付链自查框架(弘犀智能研究团队整理)
← 左右滑动查看完整表格 →
环节要回答的问题可度量指标不合格的信号
入口与授权每次外部模型调用是否有与目的绑定的授权授权记录覆盖率只在开户时授权一次
单位成本方案比较是否按成功任务计价c/q、token 用量、重试率只比较 token 单价
降本副作用加速或量化后,关键决策是否翻转决策翻转率、拒答回归只看平均准确率
学习信号后训练是否有可校验的任务与答案已校验样本占比主要依赖未校验的合成数据
环境训练与评测环境是否有可查询的状态可行任务比例、环境回归通过率无法判定任务是否完成
制品部署前是否做了功能冒烟测试冒烟通过率、构建参数留档以哈希一致代替功能验证

在弘犀智能的实践里,这些检查点被放在智能体运行的治理层中处理。我们的企业智能体平台 Harness 治理引擎包括模型路由器(按任务选择模型并锁定版本,禁止运行途中自动升级,以保证可复现)、工具网关(对每次调用执行 Schema 校验、授权、白名单、限流、脱敏与幂等控制等职责)和独立验证器(从输入、过程、结果到行动分层重验)等模块;推训一体大模型平台 DH S1 支持私有化部署,并在在线链路中提供指标监控与 A/B 测试。这些设计对应的正是表 3 中“授权”“成本”“制品”和“验证”几行(产品信息据弘犀智能官网)。

要点小结:

  1. 竞争焦点正在从参数规模转向交付链,统一的度量是每个成功任务的期望成本 C* = c/q。
  2. 降低 c 的三类手段都有损害 q 的特定方式,选型要测决策翻转、token 用量和接受率,而不是只看平均分。
  3. 自蒸馏的有效信号来自“对比”和“正确的轨迹”,弱化的自己也可以是好教师,但规模外推有待验证。
  4. 可校验的环境与经过功能测试的制品,是 q 能被测准的前提。
  5. 轨道算力近期只承担在轨就地推理与验证。

参考文献

  1. 1.Apple. Apple 智能即将登陆中国. Apple Newsroom (China), https://www.apple.com.cn/newsroom/2026/10/apple-intelligence-features-are-coming-to-users-in-china/ (2026).
  2. 2.Xinhua. Alibaba's Qwen AI model to integrate into Apple Intelligence in landmark partnership. https://english.news.cn/20261101/773fa2ac33a34a5ca3484d7e5920d094/c.html (2026).
  3. 3.Anthropic. Plans & pricing (Claude Max and Ultra). https://claude.com/pricing (2026).
  4. 4.Canva Research Team. Introducing Canva Brush, a vision-language model for design. Canva Newsroom, https://www.canva.com/newsroom/news/canva-brush/ (2026).
  5. 5.Apple Security Engineering and Architecture et al. Private Cloud Compute: a new frontier for AI privacy in the cloud. Apple Security Research Blog, https://security.apple.com/blog/private-cloud-compute/ (2024).
  6. 6.Zhang, K., Zou, T., Gu, Z. & Liu, Y. Auditing and Mitigating Privacy Leakage in Cloud-Edge Collaborative Decoding. Preprint at https://arxiv.org/abs/2608.29111 (2026).
  7. 7.Prucs, Á., Csutora, N., Antal, M. & Marosi, M. Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models. Preprint at https://arxiv.org/abs/2512.24776 (2025).
  8. 8.Valkanas, A., Pal, S., Rumiantsev, P., Zhang, Y. & Coates, M. C3PO: Optimized Large Language Model Cascades with Probabilistic Cost Constraints for Reasoning. Preprint at https://arxiv.org/abs/2511.07396 (2025).
  9. 9.Cho, D., Kim, J., Shin, S. & Yang, E. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs. Preprint at https://arxiv.org/abs/2610.36671 (2026).
  10. 10.Li, G., Chen, G., Shan, S. & Yang, J. Are We Evaluating VLM Token Pruning Right? Looking Beyond Accuracy and Token Count. Preprint at https://arxiv.org/abs/2610.24740 (2026).
  11. 11.Isaac & Li. VTC-AUDIT: An Interventional Reliability Audit for Visual-Token Compression under Paired Image Shifts. Preprint at https://arxiv.org/abs/2610.34545 (2026).
  12. 12.Kang, W. et al. ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs. Preprint at https://arxiv.org/abs/2510.04767 (2025).
  13. 13.Leviathan, Y., Kalman, M. & Matias, Y. Fast Inference from Transformers via Speculative Decoding. Preprint at https://arxiv.org/abs/2211.17192 (2022).
  14. 14.Gloeckle, F., Idrissi, B. Y., Rozière, B., Lopez-Paz, D. & Synnaeve, G. Better & Faster Large Language Models via Multi-token Prediction. Preprint at https://arxiv.org/abs/2404.19737 (2024).
  15. 15.DeepSeek-AI et al. DeepSeek-V3 Technical Report. Preprint at https://arxiv.org/abs/2412.19437 (2024).
  16. 16.Teoh, J. Multi-Token Prediction Done Right. Preprint at https://arxiv.org/abs/2610.38331 (2026).
  17. 17.Liu, X., Yu, J., Park, J., Stoica, I. & Cheung, A. Speculative Decoding: Performance or Illusion?. Preprint at https://arxiv.org/abs/2601.11580 (2025).
  18. 18.Sah, S. P. Beneath the Tokens: A Performance Engineering Study of Multi-Token Prediction in GPU-Accelerated LLM Inference. Preprint at https://arxiv.org/abs/2609.35188 (2026).
  19. 19.Kirchenbauer, J. et al. Multi-Token Prediction via Self-Distillation. Preprint at https://arxiv.org/abs/2602.06019 (2026).
  20. 20.Lian, X. et al. Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models. Preprint at https://arxiv.org/abs/2606.25519 (2026).
  21. 21.Wu, Z., Dhiman, S. & Koshiyama, A. Which Decisions Low-Bit Quantization Breaks, and How to Predict Them. Preprint at https://arxiv.org/abs/2608.06564 (2026).
  22. 22.Ichihara, Y., Iwase, N., Quamar, M. A. & Komiyama, J. Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation. Preprint at https://arxiv.org/abs/2608.09228 (2026).
  23. 23.Zhang, X. et al. What Does Privileged Information Add to On-Policy Self-Distillation?. Preprint at https://arxiv.org/abs/2609.20612 (2026).
  24. 24.Hossain, M. I., Kousar, H. & Tourni, I. C. Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning. Preprint at https://arxiv.org/abs/2609.37915 (2026).
  25. 25.Wu, Y., Han, S. & Cai, H. Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models. Preprint at https://arxiv.org/abs/2610.38681 (2026).
  26. 26.Huh, M., Cheung, B., Wang, T. & Isola, P. The Platonic Representation Hypothesis. Preprint at https://arxiv.org/abs/2405.07987 (2024).
  27. 27.Balestriero, R. & LeCun, Y. Proving and Improving the Platonic Representation Hypothesis with JEPAs. Preprint at https://arxiv.org/abs/2610.39302 (2026).
  28. 28.Gröger, F., Wen, S. & Brbić, M. Revisiting the Platonic Representation Hypothesis: An Aristotelian View. Preprint at https://arxiv.org/abs/2602.14486 (2026).
  29. 29.Koepke, A. S., Zverev, D., Ginosar, S. & Efros, A. A. Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale. Preprint at https://arxiv.org/abs/2604.18572 (2026).
  30. 30.Usama, M. & Chang, D. E. Convergence Without Understanding: When Language Models Agree on Representations but Disagree on Reasoning. Preprint at https://arxiv.org/abs/2605.23315 (2026).
  31. 31.Xie, T. et al. WebAnything: From the Wild Web to Scalable Agent Environments. Preprint at https://arxiv.org/abs/2610.37786 (2026).
  32. 32.Zhang, C. et al. Training Needs Trustworthy Worlds: Verified Synthetic Web Environments for Agent Learning. Preprint at https://arxiv.org/abs/2608.21898 (2026).
  33. 33.Chen, B., Zhou, Z. & Li, Y. SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents. Preprint at https://arxiv.org/abs/2610.33528 (2026).
  34. 34.Hadsell, R., Rivas, D. & Qi, H. Genie 4: a new generation of world simulation. Google DeepMind Blog, https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/ (2026).
  35. 35.Wang, M. et al. WorldProbe: When Video World Models Fall Apart under Long-Horizon Spatial Exploration. Preprint at https://arxiv.org/abs/2610.39721 (2026).
  36. 36.Patodiya, A. Broken on Arrival: Non-Functional Quantized LLM Artifacts in Public Model Registries and How to Catch Them. Preprint at https://arxiv.org/abs/2609.05881 (2026).
  37. 37.Liu, W. & Tsai, C. What You Sign Is Not What You Run: The Verifiability Gap in Quantized LLM Supply Chains. Preprint at https://arxiv.org/abs/2610.19498 (2026).
  38. 38.Kadadekar, S. Quality Is Not a Safety Proxy Under Quantization. Preprint at https://arxiv.org/abs/2606.10154 (2026).
  39. 39.Patodiya, A. Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving. Preprint at https://arxiv.org/abs/2609.04748 (2026).
  40. 40.Beals, T. We've received our first response from the Project Suncatcher prototype satellite. Google Blog, https://blog.google/innovation-and-ai/models-and-research/google-research/project-suncatcher-satellite-response/ (2026).
  41. 41.Beals, T. Exploring a space-based, scalable AI infrastructure system design. Google Research Blog, https://research.google/blog/exploring-a-space-based-scalable-ai-infrastructure-system-design/ (2025).
  42. 42.Agüera y Arcas, B. et al. Towards a future space-based, highly scalable AI infrastructure system design. Preprint at https://arxiv.org/abs/2511.19468 (2025).
  43. 43.Berkel, K. v. The Cost and Network Limits of Space-Based AI Compute. Preprint at https://arxiv.org/abs/2607.14172 (2026).
  44. 44.Singh, D. N. Which Workloads Belong in Orbit? A Workload-First Framework for Orbital Data Centers Using Semantic Abstraction. Preprint at https://arxiv.org/abs/2603.20317 (2026).

【版权声明】本文版权归弘犀智能科技(深圳)有限公司所有。任何形式的转载、引用评论或改写,均须署名作者(弘犀智能研究团队)并注明出处(弘犀智能,https://www.hxallai.com)。

引用本文

弘犀智能研究团队. 交付链竞争:入口、单位成本与可验证性正在取代参数规模[EB/OL]. 弘犀研究, 2026-11-01. https://www.hxallai.com/research/delivery-chain/.

参考格式:GB/T 7714—2015

交流探讨

想把这些方法用到您的业务里?

欢迎与弘犀智能的建模与智能体团队交流具体场景:从推理预算、证据链到可审计的决策流程,我们可以一起评估落地路径。