当训练要看授权、检索要按次计费：开放网络正从免费底料变成计量输入

引言

过去五年，大模型预训练的数据底座几乎都来自同一个源头：对开放网络的大规模爬取。Common Crawl 这类公开存档⁠¹，经过清洗、去重与质量过滤，变成了 C4、The Pile、RefinedWeb、Dolma、FineWeb 与 DCLM 等一代又一代语料⁠^2–8。缩放律给这条路线提供了经济学解释：在给定算力下，参数与 token 应同步增长，而 token 的来源默认是「再多爬一点」⁠^9,10。在这套叙事里，网页几乎是免费的底料，真正的成本只在算力。

这一默认正在从训练端松动。Longpre 等人对 14,000 个网络域名的纵向审计发现，仅在 2023—2024 一年之内，robots.txt 的限制就使 C4 中约 5% 以上的 token、以及 28% 以上最活跃维护的关键来源被完全限制使用；若按服务条款计，受限比例达到 C4 的 45%（据论文）⁠¹¹。同一团队此前对 1,800 多个文本数据集的许可审计显示，常用数据托管站点上的许可遗漏率超过 70%、错误率超过 50%（据论文）⁠¹²。更值得注意的是限制的分布：对新闻网站的研究发现，60.0% 的信誉良好网站至少禁止一个 AI 爬虫，而错误信息网站只有 9.1%；前者的屏蔽比例从 2023 年 9 月的 23% 升至 2025 年 5 月的近 60%（据论文）⁠¹³。另一项覆盖访问量前一百万网站的研究报告，事实报道质量高的新闻机构有 55% 禁止 GPTBot，而右倾网站只有 4.1%（据论文）⁠¹⁴。对创作者的调查与测量则表明，robots.txt 的效力受制于技术认知与爬虫是否遵守，反向代理层的屏蔽更强，但部署有限⁠¹⁵。

2026 年 10 月 30 日，这一趋势进入了标准化阶段。OpenAI 宣布将在 robots.txt 中遵守一个面向基础生成式 AI 训练的通用偏好信号，计划在未来几个月实施，原有爬虫控制继续有效⁠¹⁶；Google 表示，网站用这一共享「policy token」声明不用于训练、且未单独指定 Google-Extended 时，将视同禁止 Google-Extended，并计划在 2027 年支持⁠¹⁷。据报道，Anthropic 已经采用，Microsoft 计划明年支持，Meta 表态支持但未承诺遵守⁠¹⁸。这些信号的语义来自 IETF AI 偏好（AIPREF）工作组的词表与附着协议草案⁠^19,20；而工作组章程明确把偏好的技术强制、客户端认证与训练审计列在范围之外⁠²¹。换言之，训练偏好正在变得可表达、可统一，但其约束力仍主要依赖遵守方的自愿与合规压力。

推理端的变化同样在发生，而且更直接地体现为价格。DeepSeek 的官方文档写明，其 Search 与 Fetch 接口按成功请求计费，每千次各 0.75 美元，通过 DeepSeek Harness、Claude Code 或 Codex 使用其 API 时触发的服务端搜索与抓取，从北京时间 2026 年 11 月 1 日 0 点起计费⁠²²。Anthropic 的网页搜索工具按每千次搜索 10 美元计费，检索回来的内容还要作为输入 token 另行计费，并在后续轮次中继续占用上下文⁠²³；OpenAI 的价目表同样把网页搜索工具调用与搜索内容 token 分开列示，部分模型按每次调用固定 8,000 输入 token 计⁠²⁴。在内容方一侧，Cloudflare 自 2025 年起试行按次付费抓取（pay per crawl），用 HTTP 402 状态码与价格头与爬虫协商⁠²⁵；学术界已经提出 terms.txt 这类按路径、按用途声明机器访问条款并附带签名回执的协议⁠²⁶，以及为异质内容自动定价的按次抓取定价智能体⁠²⁷。

为什么检索计费此时变得重要？因为智能体正在把检索从「偶尔查一下」变成持续的背景负载。DeepSeek Harness 团队描述的 Super-agent 设想，是一个跨会话常驻、事件驱动、能并行推进多项任务的持续智能体，并称内部实例已在即时通讯与代码托管平台上持续运行⁠²⁸。对生产智能体负载的刻画研究发现，三个应用的生产轨迹在搜索查询与网页抓取上存在大量跨请求冗余，工具结果缓存可去掉 35.2% 的冗余搜索调用（据论文）⁠²⁹。当检索调用的数量随智能体常驻时间而非用户提问次数增长时，按次计费就从零头变成了结构性成本。

现有讨论有三个缺口。第一，训练端的数据限制常按 token 比例报告，但限制与来源质量正相关，按 token 计的比例会系统性低估对模型质量的影响⁠^11,13,14。第二，数据受限的缩放研究、合成改写的缩放研究与检索增强的缩放研究分属不同社区，很少放进同一张成本账⁠^30–33。第三，企业侧几乎没有把「某段知识应该训进模型，还是每次去查」当作一个可计算的决策；而一旦检索按次计价，这个决策就有了明确的盈亏平衡点。

本文的中心论点是：开放网络正在从免费底料变成计量输入——训练端受可声明的偏好信号约束，推理端受按次计费约束；由于限制集中在高质量来源上，模型能力的边际来源将从爬取规模转向「许可感知的数据配比」与「有预算的检索策略」，企业应把数据权利与检索调用当作与算力并列的一等成本项来管理。本文贡献有三点：

1. 给出质量加权受限率、数据受限下的有效数据量、按次检索成本、预算门控与内化—检索盈亏平衡的统一形式化（式 (1)–(6)）与记号表，说明为何按 token 计的受限比例低估了损失，以及检索计价如何决定知识应放在参数里还是放在检索里。
2. 提出「四条输入通道 × 三类控制信号」的分析框架，并对规模爬取、授权与开放许可语料、合成改写、推理期检索、私有数据加领域小模型五条路线做机制对比，正反证据并列。
3. 给出许可感知的数据与检索预算分配算法（算法 1）与固定随机种子的示意计算，并提出五条带时间尺度、证据、证伪条件与企业含义的前瞻判断。

全文结构如下：第 2 节给出形式化与记号；第 3 节给出分析框架；第 4 节做机制分析与路线对比；第 5 节给出算法；第 6 节给出示意计算；第 7—10 节依次为前瞻判断与研究议程、常见误区、局限与结论。

问题形式化与记号

质量加权的受限率

设候选训练语料由域名（或来源）d = 1,…,D 组成，第 d 个来源的 token 数为 n_d，质量权重为 w_d ∈ [0,1]（可理解为对下游能力的边际贡献，常由基于模型的质量分类器近似⁠^7,8），受限指示为 o_d ∈ {0,1}（robots.txt、AI 偏好信号、TDM 保留或服务条款任一层面声明不允许训练）。按 token 计与按质量加权计的受限率分别为

以 token 为权重取期望，可以得到一个简单但关键的恒等式：

式 (2) 说明，只要受限与质量正相关（Cov_n(w,o) > 0），按 token 报告的受限比例就会低估对「有效数据」的削减，差额等于协方差除以平均质量。前述审计中「全部 token 的 5% 对关键来源的 28%」「高事实报道新闻机构 55% 对右倾网站 4.1%」的落差，正是这一协方差为正的经验迹象（据论文）⁠^11,14。这里的 o_d 还可以推广为遵守概率：偏好信号并不自带强制力⁠^21,34，不同厂商的遵守时间表也不同⁠¹⁸，因此实际进入训练的数据，是「声明」与「遵守」两层过滤的结果。

数据受限下的有效数据量

受限会直接减少唯一 token 数 U。Muennighoff 等人把重复数据的边际价值写成指数衰减：重复 R 轮后的有效数据量为

其中 R* 为重复价值的衰减常数，L 为与 Chinchilla 形式一致的损失⁠^10,31。据论文，在固定算力下重复至多约 4 轮，损失与使用唯一数据相比变化可以忽略；继续重复，追加算力的价值最终衰减为零⁠³¹。式 (3) 的含义是：受限首先压缩 U，重复能补偿一部分，但补偿有上限；当 U 在高质量部分被压缩得更多时（式 (2)），真正需要补的是 ∑n_dw_d，而不是 ∑n_d。

按次计价的检索成本

推理期检索的单次任务成本可以拆成生成 token、检索调用与检索内容回填三部分。设第 k 类工具（搜索、抓取等）每次成功调用价格为 p_k，调用次数为 m_k，每次回填 T_r,k 个输入 token，输入与输出 token 单价为 c_in 与 c_out，则

括号里的 p_k + c_inT_r,k 是每次检索的有效单价 p_eff。这个拆分有一个常被忽略的推论：检索回来的内容按输入 token 计费，并可能在后续轮次反复占用上下文⁠^23,24，因此即便工具调用本身很便宜，回填 token 也可能主导检索成本；长上下文中证据位置对利用率的影响又意味着「多塞」不等于「多用」⁠³⁵。

预算门控

设对查询 x，不检索时回答正确的概率为 a(x)，检索后为 r(x)，检索的边际效用为 Δ(x) = r(x) − a(x)，它可以为负（检索伤害）。门控策略 g(x) = 1[u(x) ≥ τ] 依据可计算的不确定性分数 u(x) 决定是否检索，阈值 τ 由预算 b 决定：

这一写法与「把主动检索重写为效用估计」的预算化评估一致：检索只有通过相对不检索答案的边际正确率变化才有价值，标称阈值未必在未来数据上达到目标使用率（据论文）⁠³⁶。基于草稿 logits 不确定性的免训练门控⁠³⁷、把「是否搜索」从解题中分离出来的强化学习⁠³⁸、识别自身知识边界的搜索智能体⁠³⁹与工具效率奖励⁠⁴⁰，都可以看作对 u(x) 或 g(x) 的不同实现；早期的 Self-RAG 与按问题复杂度路由的 Adaptive-RAG 则是这一思路的前身⁠^41,42。

内化与检索的盈亏平衡

一段知识可以「训进参数」（获取许可、整理、训练或蒸馏，并按知识变化频率定期刷新），也可以「每次去查」。设一次性内化成本为 C_lic + C_train，每次刷新成本为 C_ref，知识半衰期为 τ_k，规划期为 H，每次查询平均检索 m̄ 次，则内化优于检索的条件为

式 (6) 把企业常说的「这块知识要不要做进模型」变成可计算的问题：查询量 Q_H 越大、检索越贵、知识越稳定（τ_k 越大），越应内化；知识越易变、查询越稀疏，越应检索。它与检索增强语言模型的文献并不矛盾——RETRO、Atlas 与 MassiveDS 表明更大的数据存储可以用更少参数换取同等或更好的知识任务表现⁠^33,43,44——式 (6) 只是把这些结论放回一个包含价格与许可的预算约束里。

记号

表 1 汇总本文记号。

分析框架：四条输入通道与三类控制信号

把式 (1)–(6) 放回系统视角，大模型从外部世界获取知识的通道可以归为四条：训练期的开放网络爬取、训练期的授权与开放许可语料、训练期的合成与改写数据，以及推理期的检索。每条通道都受到三类控制信号的作用：声明（内容方表达允许或不允许什么）、计价（每单位访问要付多少钱）和执行（谁来保证声明与计价被遵守）。表 2 给出这一框架。

框架中的三类信号之所以要分开，是因为它们的成熟度不同步。声明层正在快速标准化：IETF 词表把用途分为 AI 训练（train-ai，使用资产修改模型的学习参数）、AI 使用（ai-use，把资产作为生成式 AI 模型的输入）与搜索（search，应用的主要目的是选择资产并把用户引导到资产所在位置）等类别，并规定接收方只处理它已实现的表达方式⁠¹⁹；附着草案定义了在 HTTP 与 robots.txt 中携带这些偏好的方式⁠²⁰。早于 AIPREF 的 TDMRep 则面向欧盟文本与数据挖掘例外下的权利保留⁠⁴⁵。计价层仍处于试点与私有方案阶段：内容方的按次抓取、工具方的按次检索、学术提案中的 HTTP 402 协商与签名回执⁠^22,25,26。执行层最弱：robots.txt 规范本身写明「这些规则不是访问授权的一种形式」⁠³⁴，AIPREF 章程把技术强制排除在范围之外⁠²¹，真正的约束主要来自法规与合规压力——欧盟《人工智能法》第 53 条要求通用模型提供者制定遵守欧盟版权法的政策、识别并遵守 TDM 例外下的权利保留，并公开训练内容摘要⁠⁴⁶，配套的通用目的 AI 行为准则设有版权章节⁠⁴⁷；我国《生成式人工智能服务管理暂行办法》第七条要求使用具有合法来源的数据和基础模型，涉及知识产权的不得侵害他人依法享有的知识产权⁠⁴⁸。

三层不同步，带来两个直接后果。其一，同一份网页在不同厂商、不同时间点的可用性不同，训练语料的「快照日期」本身成为配方的一部分。其二，声明层的细分让训练与检索可以被分别对待：一个站点可以允许检索而禁止训练（例如 train-ai=n、search=y），这会把它的知识从「参数」推向「检索」，进而进入式 (4)–(6) 的计价账本。下一节按通道展开机制。

机制分析与路线对比

训练端：偏好信号的语义、约束力与质量偏移

偏好信号的第一个机制效应，是把「是否可训」从站点逐一点名爬虫，变成一次声明覆盖所有参与方。OpenAI 在公告中把收益表述为减少网站运营者为每家提供商分别维护规则的负担⁠¹⁶；Google 则给出了具体的解释规则：共享 token 表示不用于训练、且未单独指定 Google-Extended 时，视同禁止 Google-Extended⁠¹⁷。可以预期，声明成本下降之后，声明数量会上升；而上升最快的，恰恰是那些有编辑团队、有法务资源、内容质量高的来源。

第二个机制效应是质量偏移。式 (2) 的协方差项并非理论构造：信誉良好新闻网站与错误信息网站在 AI 爬虫屏蔽上的落差、事实报道质量与屏蔽率的正相关，以及政治立场中性的媒体限制最强（58%）、超党派与低事实报道网站限制较少的发现（据论文）⁠^13,14，都指向同一个方向：遵守偏好信号的爬虫，看到的网络会更偏向低质量与极化内容。Longpre 等人据此警告，如果这些限制被遵守或执行，它们将迅速改变通用 AI 系统的数据多样性、新鲜度与缩放规律（据论文）⁠¹¹。时间维度上的偏移同样存在：对开放预训练语料的分析发现，模型的有效知识截止时间常与声明的截止时间不一致，原因之一是 Common Crawl 新快照中含有大量旧数据（据论文）⁠⁴⁹。当高质量新内容被屏蔽、旧内容继续留在快照里，「新鲜度」会进一步下降。

第三个机制效应关乎记忆与版权风险，它反过来强化了内容方的屏蔽动机。早期研究已经证明可以从大模型中提取逐字训练数据⁠⁵⁰，且记忆程度随模型容量、样本重复次数与提示上下文长度对数线性增长（据论文）⁠⁵¹；对 14 个开放权重模型与 200 本书的测量显示，多数模型不会记住多数书籍，但存在显著例外（据论文）⁠⁵²。这一证据结构使训练数据的权利问题无法被「平均而言风险很小」轻易化解，也使内容方更倾向于先声明、再谈判。

用重复、改写与授权语料填补缺口

训练端的缺口有三种填法，它们的机制与边界各不相同。

第一种是重复。式 (3) 表明，少量重复几乎没有损失，但收益递减⁠³¹。最新工作把这一结论细化了：Baron 等人指出，过去的数据受限处方把权重衰减等超参数固定不变，会导致损失随算力增加反而上升；按规模迁移超参数并引入集成后，在 FineWeb 的 1 亿 token 上验证损失降低 0.15 nats 以上（据论文）⁠⁵³。另一项研究发现，最优重复次数的排序会随模型规模改变，在 5.2 亿参数的 Proof-Pile-2 实验中把重复从 16 轮降到 8 轮反而改善了损失（据论文）⁠⁵⁴。在数据稀缺而算力充足时，掩码扩散语言模型比自回归模型更能利用重复数据（据论文）⁠⁵⁵。这些结果的共同含义是：受限之后，「同样的数据训多少轮、怎么训」本身成为需要按规模校准的配方变量。

第二种是合成与改写。Phi-1 用约 60 亿 token 的「教科书质量」网页数据加约 10 亿 token 的 GPT-3.5 合成教材与习题，训练出 13 亿参数、HumanEval pass@1 达 50.6% 的代码模型（据论文）⁠⁵⁶，说明高质量合成数据可以替代大量原始数据。Roberts 等人提出的改写缩放律把生成改写所耗算力计入预算后发现：最优改写占比随算力上升，从 3×10¹⁸ FLOPs 时的不足 10% 升至 10²² FLOPs 时的 32%；在只有固定种子语料的数据受限设定下，用同规模改写器改写自身预训练数据训练出的模型，在 30 亿参数以内的每个规模上都优于只用自然数据的最佳结果（据论文）⁠³²。但合成数据有已知的失效模式：Shumailov 等人在《自然》上报告，不加区分地用模型生成内容递归训练会造成不可逆缺陷，分布尾部消失⁠⁵⁷；没有足够新鲜真实数据的自消费循环会使质量或多样性逐代下降⁠⁵⁸。反方证据同样明确：若合成数据与真实数据累积而非替换，测试误差存在与迭代次数无关的上界⁠⁵⁹；引入外部验证器可避免坍塌，但长期会收敛到验证器的「知识中心」，验证器不完美时早期收益会停滞甚至反转⁠⁶⁰。对式 (1)–(3) 而言，合成改写的作用是放大保留下来的高质量 U，而不是凭空恢复被屏蔽来源的独有信息。

第三种是授权与开放许可语料。2025 年 1 月发表的开放数据最佳实践报告还写道，当时尚无在有意义规模上只用开放获取与公有领域数据训练的模型⁠⁶¹；同年 6 月发布的 Common Pile v0.1 收集了来自 30 个来源、约 8 TB 的公有领域与开放许可文本，用其训练的两个 70 亿参数模型在相近算力下与 Llama 1、Llama 2 7B 表现相当（据论文）⁠⁶²。代码领域更早出现了先例：The Stack 只收录宽松许可的源代码，并提供「Am I in The Stack」查询与移除流程⁠⁶³；其第二代在 Software Heritage 存档之上构建⁠⁶⁴。这些工作说明，许可干净的语料可以达到可用规模；它们的边界是多样性与新鲜度——新闻、行业报告与专业社区内容恰恰较少以开放许可发布。

推理端：检索从免费附赠变成按次计费

检索增强生成的原始动机，是把知识从参数中分离出去，使其可更新、可溯源⁠^65,66。RETRO 用 2 万亿 token 的检索库，以约 1/25 的参数量在 The Pile 上取得与 GPT-3 相当的表现；Atlas 只用 64 个样本就在 Natural Questions 上超过 42% 的准确率，比参数多 50 倍的 540B 模型高 3 个百分点；MassiveDS 用 1.4 万亿 token 的数据存储证明，较小模型加大存储可在知识密集任务上胜过更大的纯参数模型（均据论文）⁠^33,43,44。随后，WebGPT、Toolformer、ReAct 与 Search-R1 把检索从固定管线变成模型自主决定的动作⁠^67–70；BrowseComp 这类基准则把「持续搜索难以找到的信息」本身作为能力来衡量⁠⁷¹。

这条路线有一个隐含前提：检索调用便宜，且被检索方愿意被检索。两个前提正在同时变化。价格方面，式 (4) 的 p_k 已经是公开价目表中的显性项，不同提供商之间可相差一个数量级以上⁠^22,23。可得性方面，对 11,500 个真实查询的研究发现，屏蔽 Google AI 爬虫的网站显著更少被 AI 概览引用，生成式搜索与传统搜索检索到的来源高度不同（平均 Jaccard 相似度低于 0.2）（据论文）⁠⁷²；关于数字公共资源的讨论则指出，若个人转向生成式 AI 获取信息而不再贡献内容，公共知识可能出现供给不足，开放网络也可能因访问限制而关闭⁠⁷³。也就是说，检索并不能无条件替代被屏蔽的训练数据：AIPREF 词表允许内容方分别声明训练、AI 使用与搜索⁠¹⁹，按次抓取则让「可检索」同样可以被定价⁠^25,27。

价格分化还改变了评测的含义。BrowseComp 依赖实时网页搜索接口，动态且不透明的接口使不同深度研究方法难以公平比较；BrowseComp-Plus 改用固定语料与人工核验的支持文档，以便隔离检索器的贡献⁠⁷⁴。一旦检索按次计价，「准确率相同但调用次数相差三倍」的两个系统在企业侧就是两种完全不同的产品。

何时检索：门控、预算与检索伤害

式 (5) 的关键在于 Δ(x) 可以为负。预算化的主动检索评估发现，检索伤害不可忽略，不同数据集与预算下路由器的排序会变化，标称阈值可能达不到目标使用率，而简单的不确定性或检索分数基线往往能与学习型效用路由器相当（据论文）⁠³⁶。这给企业一个务实的起点：先用便宜的门控把检索率降下来，再谈复杂的学习型路由。

现有方法在三个层次上实现门控。在推理层，TARG 只用一个不带上下文的短草稿的前缀 logits 计算不确定性，超过阈值才检索，无需额外训练⁠³⁷。在训练层，AdaSearch 用两阶段、以结果为导向的强化学习把「解题」与「是否搜索」解耦，显著减少不必要的搜索调用，相对总是搜索仅有小幅准确率代价（据论文）⁠³⁸；IKEA 用知识边界感知的奖励让智能体优先使用内部知识⁠³⁹；ZEST-Search 在无标注设定下用工具感知奖励减少冗余搜索⁠⁴⁰。在系统层，缓存与去重直接作用于 m̄：生产轨迹中的大量冗余搜索与抓取意味着，相当一部分检索费用可以不花⁠²⁹。

反方证据：为什么不必悲观

本文的论点容易被误读为「开放网络枯竭论」，需要把反方证据摆在同等位置。第一，数据存量的预测本身存在宽区间：Villalobos 等人估计，若趋势延续，模型训练数据规模将在 2026—2032 年间接近公开人类文本存量（据论文）⁠³⁰，并同时指出合成数据、跨领域迁移与数据效率改进可以支撑后续进展。第二，过滤与去重的进步持续提高单位 token 的价值：RefinedWeb 表明经过充分过滤与去重的网页数据即可训练出强模型⁠⁵，FineWeb 与 DCLM 证明基于模型的质量过滤是构建高质量训练集的关键⁠^7,8。第三，开放许可语料与改写缩放律已经给出可行路径⁠^32,62。第四，偏好信号是自愿遵守的，且遵守时间表分散⁠^18,21，短期内对已发布模型的影响有限。

这些反方证据并不推翻中心论点，而是修正它的强度：问题不在于「数据没了」，而在于「免费的高质量数据变少，且其减少无法用 token 比例看见」；与此同时，填补缺口的每一种办法——重复、改写、授权、检索——都有可计量的价格。

表 3 把五条路线放在同一张表里对比。

方法：许可感知的数据与检索预算分配

把上述分析收成一个可执行流程。算法 1 的目标是：在给定算力、许可预算与检索预算下，决定哪些知识进入训练配比、哪些留给检索，以及检索门控的阈值，并留下可审计的权利台账。

算法 1 有三处设计意图。第一，步骤 1 把偏好状态当作随时间变化的数据，而不是一次性合规勾选；这与 Dated Data 揭示的快照时间偏差相呼应⁠⁴⁹。第二，步骤 3 的顺序体现反方证据：授权语料优先，因为它同时解决质量与可审计性；改写只追加、不替换，因为累积能避免坍塌而替换不能⁠^57,59。第三，步骤 5 要求报告实际使用率与伤害率，而不是只报告准确率，这正是预算化检索评估的建议⁠³⁶。

示意计算

以下数字均为示意，用于说明式 (1)–(6) 如何联动；脚本与随机种子（20261104）见 src/figs.py，不代表任何真实系统的测量。

质量加权受限率。模拟 20,000 个来源：token 数服从对数正态分布，质量权重服从 Beta(2,3)，受限概率随质量按 logistic 函数上升。结果是按 token 计的受限率 ρ_tok 为 11.3%，按质量加权的 ρ_q 为 16.9%，差额 5.6 个百分点，与式 (2) 右侧 Cov_n(w,o)/E_n[w] 的数值一致。按质量十分位看，最低分位的受限 token 占比约 0.5%，最高分位约 43.0%（Fig. 1）。也就是说，同一个「约一成数据受限」的报告，可以对应约六分之一的有效数据损失，以及顶层来源四成以上的损失。

内化与检索的盈亏平衡。设一次性许可与训练成本 2 万美元、每次刷新 2,000 美元、规划期 12 个月、每次查询平均检索 3 次、每次回填 3,000 个输入 token、输入 token 单价按每百万 0.30 美元计（示意单价）。检索调用单价取两个公开价位：每千次 0.75 美元与每千次 10 美元⁠^22,23。则每次检索的有效单价 p_eff 分别为 0.00165 美元与 0.0109 美元；值得注意的是，在低价位下回填 token 的费用（0.0009 美元）已超过调用费本身。按式 (6)，知识半衰期为 1 个月时，盈亏平衡查询量分别约为每年 889 万次与 135 万次；半衰期为 12 个月时，分别降至约 444 万次与 67 万次（Fig. 2）。检索越贵、知识越稳定，越早值得把知识内化。

预算门控。模拟 10,000 个查询：不检索时的正确率服从 Beta(2.2,1.6)，检索在 8% 的查询上造成伤害、在其余查询上带来幅度不等的提升；门控依据带噪声的不确定性分数。结果是：从不检索准确率 58.0%；总是检索 69.4%，每千次查询检索费用约 32.7 美元（按每千次 10 美元价位、每次 3 次调用）；在 30% 检索预算下，不确定性门控达到 64.1%，费用约 9.8 美元；同预算的理想路由可达 66.2%（Fig. 3）。门控以 30% 的检索费用拿到了约 53% 的准确率增益，理想路由约 71%；两者之间的差距，是学习型路由值得投入的上限。

表 4 不是对任何真实系统的声称，它要传达的机制是：同样的「受限比例」与同样的「检索准确率」，在质量加权与成本加权之后，可以对应完全不同的工程决策。

前瞻判断与研究议程

以下为弘犀智能研究团队的观点，不是事实陈述。

研究议程有四个开放问题。第一，如何在不访问被屏蔽内容的前提下估计 ρ_q——质量分 w_d 本身需要内容，这是一个自指问题。第二，数据归因能否支撑按贡献付费：影响函数已能扩展到 520 亿参数的模型⁠⁷⁵，但把它变成可结算的计量单位仍有距离。第三，检索伤害的成因是否可以被预测，从而把式 (5) 的 Δ(x) 从事后统计变成事前估计。第四，当训练与检索分别被声明，模型「记得」的知识与「查到」的知识发生冲突时，应以哪一方为准，以及如何向用户呈现这种冲突。

业界常见看法中可能错误的地方

「受限的只是一小部分数据。」按 token 计确实如此，按质量加权则不然。式 (2) 表明差额等于质量与受限的协方差除以平均质量，现有测量显示这一协方差为正⁠^11,13,14。用 token 比例做预算，会低估补数据的成本。

「合成数据可以无限替代真实数据。」合成改写确有缩放规律可循⁠³²，但替换式的自消费循环会坍塌⁠^57,58，验证器只能把模型拉向验证器自身的知识中心⁠⁶⁰。合成数据放大的是保留下来的信息，而不是被屏蔽来源的独有信息。

「检索总比不检索好。」检索伤害不可忽略，阈值也未必在新数据上达到目标使用率⁠³⁶；长上下文中证据位置会影响利用率⁠³⁵。检索应当被门控，而不是默认开启。

「工具调用便宜，检索成本可以忽略。」单次调用价格不同提供商之间可相差一个数量级⁠^22,23，回填 token 还要另算⁠²⁴；当智能体常驻运行时，调用次数随运行时间增长⁠^28,29。示意计算中，低价位下回填 token 的费用已超过调用费本身。

「偏好信号是强制的，遵守就安全了。」robots.txt 规范明言其规则不是访问授权⁠³⁴，AIPREF 章程把技术强制排除在范围外⁠²¹；合规依据仍来自版权法与行业监管⁠^46,48。偏好信号降低了表达成本，没有替代法律判断。

「开放许可语料一定训练不出好模型。」Common Pile 的 7B 模型在相近算力下与 Llama 1、Llama 2 7B 相当（据论文）⁠⁶²，The Stack 也显示仅用宽松许可代码即可达到此前报告的代码基准水平（据论文）⁠⁶³。开放许可语料的短板是覆盖面与新鲜度，而不是可训练性。

局限性

本文有五点局限。第一，质量加权受限率依赖质量分 w_d 的定义，不同分类器会给出不同的 ρ_q；我们只论证了差额的方向与结构，没有给出真实语料上的数值。第二，偏好信号的实施细节仍在变化，部分厂商的实施时间表来自公告与媒体报道⁠^16,18，本文据此给出的判断可能随实施细节调整。第三，价目表随时可能变动，示意计算中的单价只用于说明结构。第四，式 (6) 假设内化后的知识质量与检索相当，现实中内化可能带来幻觉或过时风险，检索也可能带来来源噪声。第五，本文不提供法律意见；涉及版权与数据合规的具体判断，应由具备资质的专业人员作出。

结论

回到中心论点。开放网络正在从免费底料变成计量输入：训练端的偏好信号让「是否可训」可以一次声明、全网生效，而限制集中在高质量来源上，使按 token 计的损失系统性偏低；推理端的按次计费让每一次检索都成为显性的成本项，并随智能体常驻运行而放大。模型能力的边际来源因此从爬取规模转向两件可以计算、也必须计算的事：许可感知的数据配比，以及有预算的检索策略。

在弘犀智能的产品语境中，这一判断落到两处。据官网，Deep Hope S1 支持私有化部署，提供以公司制度、行业法规与产品资料为事实基础的 RAG 检索，回答附原文出处、无出处则拒答，并以行业大模型蒸馏构建专业能力⁠⁷⁶，对应表 3 中的路线 R5；企业智能体平台的 Harness 治理引擎通过受控的 MCP／API 接口执行工具调用，由治理层保留最终决定权⁠⁷⁷，可用于落实算法 1 中的调用台账与预算门控。对企业而言，可迁移的资产不是一次爬下来的语料，而是一本持续更新的权利与调用台账。

要点小结：

1. 用式 (2) 看数据：受限比例要按质量加权，差额等于协方差除以平均质量。
2. 用式 (3) 补缺口：先授权、再重复、后改写，改写只追加、不替换。
3. 用式 (4) 算检索：每次检索的有效单价包含回填 token。
4. 用式 (5) 管调用：检索要门控，报告实际使用率与伤害率。
5. 用式 (6) 做分区：查询量大、知识稳定的部分内化，其余检索。

参考文献

1. 1.Common Crawl Foundation. Common Crawl: open repository of web crawl data. https://commoncrawl.org/ (2026).
2. 2.Raffel, C. et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. J. Mach. Learn. Res. 21, 1–67 (2020); https://arxiv.org/abs/1910.10683.
3. 3.Dodge, J. et al. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. In Proc. 2021 Conference on Empirical Methods in Natural Language Processing (2021); https://arxiv.org/abs/2104.08758.
4. 4.Gao, L. et al. The Pile: An 800GB Dataset of Diverse Text for Language Modeling. Preprint at https://arxiv.org/abs/2101.00027 (2020).
5. 5.Penedo, G. et al. The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only. Preprint at https://arxiv.org/abs/2306.01116 (2023).
6. 6.Soldaini, L. et al. Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research. In Proc. 62nd Annual Meeting of the Association for Computational Linguistics (2024); https://arxiv.org/abs/2402.00159.
7. 7.Penedo, G. et al. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale. Preprint at https://arxiv.org/abs/2406.17557 (2024).
8. 8.Li, J. et al. DataComp-LM: In search of the next generation of training sets for language models. Preprint at https://arxiv.org/abs/2406.11794 (2024).
9. 9.Kaplan, J. et al. Scaling Laws for Neural Language Models. Preprint at https://arxiv.org/abs/2001.08361 (2020).
10. 10.Hoffmann, J. et al. Training Compute-Optimal Large Language Models. In Advances in Neural Information Processing Systems 35 (2022); https://arxiv.org/abs/2203.15556.
11. 11.Longpre, S. et al. Consent in Crisis: The Rapid Decline of the AI Data Commons. In Advances in Neural Information Processing Systems 37, Datasets and Benchmarks Track (2024); https://arxiv.org/abs/2407.14933.
12. 12.Longpre, S. et al. A large-scale audit of dataset licensing and attribution in AI. Nature Machine Intelligence 6, 975–987 (2024); https://doi.org/10.1038/s42256-024-00878-8.
13. 13.Steinacker-Olsztyn, N., Gosain, D. & Dao, H. Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web. In Proc. ACM Web Conference 2026 (2026); https://arxiv.org/abs/2510.10315.
14. 14.Bouchaud, P. & Ramaciotti, P. Web Crawler Restrictions, AI Training Datasets & Political Biases. Preprint at https://arxiv.org/abs/2510.09031 (2025).
15. 15.Liu, E. et al. Somesite I Used To Crawl: Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. Preprint at https://arxiv.org/abs/2411.15091 (2024).
16. 16.OpenAI. Making it easier for websites to express AI training preferences. https://openai.com/index/helping-websites-express-ai-training-preferences (2026).
17. 17.Mueller, J. Supporting a shared AI training control for websites. Google Search Central Blog, https://developers.google.com/search/blog/2026/10/ai-training-control (2026).
18. 18.Roth, E. The biggest names in AI are backing a new way to opt out of scraping. The Verge, https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out (2026).
19. 19.Keller, P. & Thomson, M. A Vocabulary For Expressing AI Usage Preferences. Internet-Draft draft-ietf-aipref-vocab-08, IETF, https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/ (2026).
20. 20.IETF AI Preferences Working Group. Associating AI Usage Preferences with Content in HTTP. Internet-Draft draft-ietf-aipref-attach-05, https://datatracker.ietf.org/doc/draft-ietf-aipref-attach/ (2026).
21. 21.IETF. AI Preferences (aipref) working group charter. https://datatracker.ietf.org/wg/aipref/about/ (2026).
22. 22.DeepSeek. Search & Fetch (API documentation). https://api-docs.deepseek.com/guides/search/ (2026).
23. 23.Anthropic. Web search tool (Claude Platform documentation). https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/web-search-tool (2026).
24. 24.OpenAI. API pricing (tools: web search). https://platform.openai.com/docs/pricing (2026).
25. 25.Allen, W. & Newton, S. Introducing pay per crawl: Enabling content owners to charge AI crawlers for access. Cloudflare Blog, https://blog.cloudflare.com/introducing-pay-per-crawl/ (2025).
26. 26.Chowdhury, R. terms.txt: A Consent and Compensation Protocol for Agentic Web Access. Preprint at https://arxiv.org/abs/2609.11152 (2026).
27. 27.Archer, R., Ghili, S. & Haghpanah, N. Pay-Per-Crawl Pricing for AI: The LM-Tree Agent. Preprint at https://arxiv.org/abs/2604.01416 (2026).
28. 28.DeepSeek Harness. Exploring Super-agent Design: Towards a More Autonomous Agent System. X (formerly Twitter), https://x.com/DeepSeekHarness/status/2116857257245987236 (2026).
29. 29.Chang, C. et al. From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems. Preprint at https://arxiv.org/abs/2608.15127 (2026).
30. 30.Villalobos, P. et al. Will we run out of data? Limits of LLM scaling based on human-generated data. Preprint at https://arxiv.org/abs/2211.04325 (2022).
31. 31.Muennighoff, N. et al. Scaling Data-Constrained Language Models. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2305.16264.
32. 32.Roberts, N. et al. Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints. Preprint at https://arxiv.org/abs/2610.31867 (2026).
33. 33.Shao, R. et al. Scaling Retrieval-Based Language Models with a Trillion-Token Datastore. In Advances in Neural Information Processing Systems 37 (2024); https://arxiv.org/abs/2407.12854.
34. 34.Koster, M., Illyes, G., Zeller, H. & Sassman, L. Robots Exclusion Protocol. RFC 9309, IETF, https://www.rfc-editor.org/rfc/rfc9309.html (2022).
35. 35.Liu, N. F. et al. Lost in the Middle: How Language Models Use Long Contexts. Trans. Assoc. Comput. Linguist. 12, 157–173 (2024); https://arxiv.org/abs/2307.03172.
36. 36.Qian, P. et al. When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost. Preprint at https://arxiv.org/abs/2607.24010 (2026).
37. 37.Wang, Y., wei, L. & Ling, H. Retrieval as a Decision: Training-Free Adaptive Gating for Efficient RAG. Preprint at https://arxiv.org/abs/2511.09803 (2025).
38. 38.Lin, T.-H. et al. AdaSearch: Balancing Parametric Knowledge and Search in Large Language Models via Reinforcement Learning. Preprint at https://arxiv.org/abs/2512.16883 (2025).
39. 39.Huang, Z., Yuan, X., Ju, Y., Zhao, J. & Liu, K. Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent. Preprint at https://arxiv.org/abs/2505.07596 (2025).
40. 40.Luo, Q.-W. et al. Heterogeneous Co-Evolution Learning for Tool-Efficient Search Agents with Zero Labels. Preprint at https://arxiv.org/abs/2610.39682 (2026).
41. 41.Asai, A., Wu, Z., Wang, Y., Sil, A. & Hajishirzi, H. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2310.11511.
42. 42.Jeong, S., Baek, J., Cho, S., Hwang, S. J. & Park, J. C. Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity. In Proc. 2024 Conference of the North American Chapter of the Association for Computational Linguistics (2024); https://arxiv.org/abs/2403.14403.
43. 43.Borgeaud, S. et al. Improving language models by retrieving from trillions of tokens. In Proc. 39th International Conference on Machine Learning (PMLR, 2022); https://arxiv.org/abs/2112.04426.
44. 44.Izacard, G. et al. Atlas: Few-shot Learning with Retrieval Augmented Language Models. J. Mach. Learn. Res. 24, 1–43 (2023); https://arxiv.org/abs/2208.03299.
45. 45.W3C TDMRep Community Group. TDM Reservation Protocol (TDMRep), Final Community Group Report. https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/ (2024).
46. 46.European Union. Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 53: Obligations for providers of general-purpose AI models. https://artificialintelligenceact.eu/article/53/ (2024).
47. 47.European Commission. The General-Purpose AI Code of Practice. https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai (2025).
48. 48.国家互联网信息办公室等. 生成式人工智能服务管理暂行办法（Interim Measures for the Management of Generative AI Services）. https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm (2023).
49. 49.Cheng, J. et al. Dated Data: Tracing Knowledge Cutoffs in Large Language Models. Preprint at https://arxiv.org/abs/2403.12958 (2024).
50. 50.Carlini, N. et al. Extracting Training Data from Large Language Models. In Proc. 30th USENIX Security Symposium (2021); https://arxiv.org/abs/2012.07805.
51. 51.Carlini, N. et al. Quantifying Memorization Across Neural Language Models. In Proc. International Conference on Learning Representations (2023); https://arxiv.org/abs/2202.07646.
52. 52.Cooper, A. F. et al. Extracting memorized pieces of (copyrighted) books from open-weight language models. Preprint at https://arxiv.org/abs/2505.12546 (2025).
53. 53.Baron, E. et al. Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling. Preprint at https://arxiv.org/abs/2610.37842 (2026).
54. 54.WANG, Z. & Kanamori, T. Selecting Repetition Counts Across Model Scales in Data-Constrained Pretraining. Preprint at https://arxiv.org/abs/2610.05126 (2026).
55. 55.Prabhudesai, M., Wu, M., Zadeh, A., Fragkiadaki, K. & Pathak, D. Diffusion Beats Autoregressive in Data-Constrained Settings. Preprint at https://arxiv.org/abs/2507.15857 (2025).
56. 56.Gunasekar, S. et al. Textbooks Are All You Need. Preprint at https://arxiv.org/abs/2306.11644 (2023).
57. 57.Shumailov, I. et al. AI models collapse when trained on recursively generated data. Nature 631, 755–759 (2024); https://doi.org/10.1038/s41586-024-07566-y.
58. 58.Alemohammad, S. et al. Self-Consuming Generative Models Go MAD. In Proc. International Conference on Learning Representations (2024); https://arxiv.org/abs/2307.01850.
59. 59.Gerstgrasser, M. et al. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. Preprint at https://arxiv.org/abs/2404.01413 (2024).
60. 60.Yi, B., Liu, Q., Cheng, Y. & Xu, H. Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence. Preprint at https://arxiv.org/abs/2510.16657 (2025).
61. 61.Baack, S. et al. Towards Best Practices for Open Datasets for LLM Training. Preprint at https://arxiv.org/abs/2501.08365 (2025).
62. 62.Kandpal, N. et al. The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text. Preprint at https://arxiv.org/abs/2506.05209 (2025).
63. 63.Kocetkov, D. et al. The Stack: 3 TB of permissively licensed source code. Preprint at https://arxiv.org/abs/2211.15533 (2022).
64. 64.Lozhkov, A. et al. StarCoder 2 and The Stack v2: The Next Generation. Preprint at https://arxiv.org/abs/2402.19173 (2024).
65. 65.Lewis, P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems 33 (2020); https://arxiv.org/abs/2005.11401.
66. 66.Guu, K., Lee, K., Tung, Z., Pasupat, P. & Chang, M.-W. REALM: Retrieval-Augmented Language Model Pre-Training. In Proc. 37th International Conference on Machine Learning (PMLR, 2020); https://arxiv.org/abs/2002.08909.
67. 67.Nakano, R. et al. WebGPT: Browser-assisted question-answering with human feedback. Preprint at https://arxiv.org/abs/2112.09332 (2021).
68. 68.Schick, T. et al. Toolformer: Language Models Can Teach Themselves to Use Tools. In Advances in Neural Information Processing Systems 36 (2023); https://arxiv.org/abs/2302.04761.
69. 69.Yao, S. et al. ReAct: Synergizing Reasoning and Acting in Language Models. In Proc. International Conference on Learning Representations (2023); https://arxiv.org/abs/2210.03629.
70. 70.Jin, B. et al. Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. Preprint at https://arxiv.org/abs/2503.09516 (2025).
71. 71.Wei, J. et al. BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents. Preprint at https://arxiv.org/abs/2504.12516 (2025).
72. 72.Grossman, R. et al. How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews. Preprint at https://arxiv.org/abs/2604.27790 (2026).
73. 73.Noroozian, A. et al. Generative AI and the Future of the Digital Commons: Five Open Questions and Knowledge Gaps. Preprint at https://arxiv.org/abs/2508.06470 (2025).
74. 74.Chen, Z. et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. Preprint at https://arxiv.org/abs/2508.06600 (2025).
75. 75.Grosse, R. et al. Studying Large Language Model Generalization with Influence Functions. Preprint at https://arxiv.org/abs/2308.03296 (2023).
76. 76.弘犀智能（Great Unicorn Intelligence）. Deep Hope S1 · 推训一体大模型平台（Deep Hope S1 · unified inference–training LLM platform）. https://www.hxallai.com/platform/deep-hope/ (2026).
77. 77.弘犀智能（Great Unicorn Intelligence）. 企业智能体平台 · Harness（Enterprise Agent Platform · Harness）. https://www.hxallai.com/platform/agent/ (2026).