2026 年 10 月,Meta 与 NVIDIA 先后发布了面向智能体工作流的原生多模态 MoE 底座 [1][2][3],"能不能看懂图"已不再是新闻。与此同时,一批基准与方法论文把问题推到了更深处:在 37 万页真实 PDF 上,即使把正确页面直接交给模型,准确率上限也只有 81.7%;金融报表里的表格题,9 个模型平均只有 28.9% [4];在不断被修订的企业记录中,总体准确率领先的模型在"证据不足、应当拒答"的题目上只答对 65.5% [7]。本文把多模态系统拆成一条证据链——找得到、看得清、读得懂、判得准——逐环梳理 10 月的代表性工作,拆解 4 个核心算法,并讨论它们对信贷材料审核、财报分析等金融场景的意义。

一、背景:底座在"合并",难点在"取证"
先看底座。Meta 于 10 月 15 日发布的 Muse Spark Open 是一个原生多模态 MoE 模型,总参数约 8,160 亿、每个 token 激活约 420 亿,上下文最长 100 万 token,接收文本、图像、音频和视频输入、输出文本;Meta 明确其训练面向智能体编码,并称可在两台 Apple M5 Ultra Mac Studio 上借助 MLX 运行 [1][2]。同日 NVIDIA 发布的 Nemotron 3.5 Super VL 是 1,200 亿参数、每 token 激活 120 亿的 MoE,把推理、工具调用与文本、图像、文档、视频理解合并进同一个模型,团队不必再分别部署文本模型和视觉模型 [3]。两者的共同点是:用 MoE 控制激活成本、原生多模态而非外挂视觉模块、面向智能体工作流。厂商博客中的吞吐与成本倍数属于厂商口径,本文不作比较。
底座能"看",不等于系统能"取证"。企业里的多模态任务很少是"给一张图问一个问题",更常见的是:从几百份 PDF 里找到那一页财报附注,从一张密密麻麻的扫描件里看清某一格数字,把表格读成可以计算的结构,并在多份互相矛盾的记录之间判断哪一个才算数——或者坦率地说"材料不够"。这四步中的任何一步断掉,答案都会错,而且往往错得"看起来很有道理"。

下面先用三个基准量出"断点"在哪,再逐环看方法。
二、断点在哪:三个基准的诊断
2.1 VELD-QA:定位只是开始,读懂才是瓶颈
VELD-QA [4] 由 15,000 个完全人工撰写的问答对组成,覆盖 5,859 份真实 PDF、共 372,445 页,在图表、表格和复杂版面之间做了均衡;每题都标注了支撑页面、证据元素和对被引视觉内容的描述,因此可以把"检索"和"理解"分开评估。几个关键发现:
- 只给问题、不给文档时,没有模型超过 21.4%,表格题只有 1.6%—4.2%,排除了"靠记忆答题"的可能 [4];
- 直接给出正确页面时,准确率在 39.1% 到 81.7% 之间,仍有 9.2% 的测试题没有任何模型能完整答对;表格题对每个模型都是最难的(最高 76.0%,而复杂版面题最高 88.9%)[4];
- 检索本身也会断:在非图表题上,视觉检索器能把 83%—88% 的正确页面放进前 3,文本检索器只有 63%;当证据跨两页以上时,ColPali 的 Recall@3 从 85.2% 降到 70.0%;文档从 20 页以内增长到 101—300 页时,从 88.2% 降到 78.9% [4];
- 金融报表表格是难度突出的一块:检索前 3 页时 17.1%,即使给出正确页面也只有 28.9%,而学术文献中的表格分别为 61.7% 和 74.3%。把人工抽取的表格"工作表"加进输入后,GPT-5.4 在这类题上从 27.7% 跃升到 68.5% [4]。作者的概括很直接:"答案就在页面上,但没有被读出来。"
还有一个值得注意的差异:Claude 系列和 GPT-6 Astra 在"检索到全部正确页面"时与给定正确页面差距很小;Gemini 系列即使检索到了全部正确页面仍有明显落差,常常引用了正确页面却抽错了数值 [4]。这说明"找到"和"用好"是两种不同的能力。
2.2 MMEnterprise-Bench:多召回一些,未必答得更好
MMEnterprise-Bench [7] 模拟了团队协作中不断演化的工作区:同一信息在 Slack、邮件、Notion、报告和图表之间被分享、更正、修订,形成多个版本。1,613 道题分为证据推理、冲突消解(跨源冲突与时间冲突)和不可回答三类。结论有三:
- 总体准确率领先的 GPT-5.6 Sol 在检索 50 条记录时也只有 68.0%;开源模型中较好的 Qwen3.5-27B 为 50.3% [7];
- 召回率上升不等于准确率上升:用 2B 检索器把检索条数从 50 增到 100,证据召回率从 57.0% 升到 64.8%,Qwen3.5-2B 的准确率却从 25.0% 降到 22.2% [7];
- 会推理不等于会拒答:GPT-5.6 Sol 在不可回答题上只有 65.5%,而 Gemini 3.8 Flash 为 87.4% [7]。
论文中的一个案例很有代表性:一份修订备忘录把访谈数从 43 更正为 34,同时新增了一行值为 23 的证据,而 Notion 中的旧值 32 迟迟未更新;问题问的是新增那一行,GPT-5.6 Sol 答成了 34 [7]。这正是信贷档案、合同版本、监管报送中天天在发生的事。
2.3 TopoGraphRAG-Bench 与 VL-DocIR:证据之间的结构
TopoGraphRAG-Bench [6](NeurIPS 2026)在 201 份长篇视觉丰富文档上构造了 2,024 道题,按单跳检索、桥接链式推理、多源综合三种"证据拓扑"组织,并用反事实验证保证题目确实需要对应的模态和证据。多模态 GraphRAG 整体表现较好,但在图文对齐不完整或需要组合多个证据单元时仍会失败。VL-DocIR [5](NeurIPS 2026)则把检索评测扩展到 29,641 份文档、388,548 页(含 SEC 委托书),271,760 个查询覆盖单页、文档内多页、跨文档三种证据结构;评测中表现较好的配置也只达到 69.3 的 nDCGAll@10 [5]。

三个基准合起来说明:检索、视觉理解、表格阅读、冲突与拒答,每一环都是独立的失败来源,单靠更强的底座无法一并解决。下面按证据链逐环看方法。
三、找得到:多向量检索与"按需付费"的索引
3.1 算法拆解 ①:晚交互打分(MaxSim)与位置引导聚类压缩(HAC)
一句话直觉:不要把一整页压成一个向量,而是让查询里的每个词去页面的每个小图块里"找最像的那一块",再把这些"最像"加起来;然后想办法把每页上千个图块向量合并成几十个,而不丢掉关键证据。
生活类比:像在一本厚厚的年报里找"2025 年营业收入同比增长"。你不会把每页读成一句话的摘要再比较,而是拿着"营业收入""2025 年""同比"三个关键词,分别在每页上找最匹配的位置。压缩则像做笔记:把一页上相邻、内容相近的段落合并成一条笔记,但不能把表头和数据行混成一团。
逐步流程:
- 编码:视觉语言模型把页面图像切成网格图块,每块输出一个向量;查询的每个 token 也输出一个向量(这种"查询与页面各自编码、最后再交互"的方式称为晚交互,代表工作是 ColPali [15]);
- MaxSim 打分:查询第 i 个向量在页面所有图块向量中取最大内积,再对所有 i 求和(或求平均)[8][9];
- HAC 压缩(EVIE [8]):给每个图块向量拼上一个二维正弦位置编码,按 0.9∶0.1 的权重混合语义与位置并归一化,作为聚类特征;
- 用 Ward 层次聚类反复合并"合并后簇内误差增加最小"的两簇,直到剩 K 个;
- 每簇只存原始语义向量的均值(位置只影响"谁和谁一组",不进入存储),查询端不变,仍用 MaxSim。
关键公式:
s(q, p) = Σ_i max_j ⟨ e_q,i , e_p,j ⟩
z_i = L2( 0.9·L2(v_i) + 0.1·p_i ) μ_c = L2( mean_{i∈c} v_i )
e_q,i:查询第 i 个 token 的向量;e_p,j:页面第 j 个图块的向量;⟨·,·⟩为内积;v_i:第 i 个图块的语义向量;p_i:它在页面上的二维位置编码;z_i:用来决定聚类分组的特征;μ_c:第 c 个簇最终被存下来的向量;L2(·):把向量长度归一化为 1。
小算例(示意数字):查询"营业收入 2025 年同比",三个词在某页上的最大相似度分别为 0.82(表格第 3 行)、0.77(表头年份列)、0.64(增长率列),页面得分 2.23;另一页三者为 0.80、0.30、0.25,得分 1.35。第一页胜出——它不是"整体更像",而是"每个关键词都有落脚点"。
为什么有效、何时失效:MaxSim 保留了细粒度的局部匹配,这对表格与图表尤其重要;代价是存储与计算——每页要存上千个向量。压缩的难点在于,Agarwal 等人 [10] 指出的:用质心替代一簇向量后,MaxSim 实际上从"取簇内最大"变成了"取簇内平均",簇内向量越分散,偏差越大。EVIE 的实验正好说明了"怎么分组"有多重要:同样保留 32 个向量、64 维时,按网格机械池化在 ViDoRe V3 上只有 49.37,纯语义 Ward 聚类 58.12,加入位置引导后 59.58(未压缩为 64.39)[8]。按作者口径,这一配置每百万页只需 3.81 GiB,相对未压缩的 1,024 token、256 维 BF16 索引压缩了 128 倍 [8]。不压缩时,EVIE-8B 在 ViDoRe V3 上 nDCG@10 为 66.75,比表中领先的外部基线高 1.43 [8]。失效边界同样清楚:压缩带来的损失主要来自池化本身(表中从 64.39 降到 59.58),对极细小的数字证据仍有风险;Agarwal 等人的线性校正在 ViDoRe v3 的 16 种压缩设置下都带来提升,但所有压缩设置仍低于未压缩基线 [10]。

3.2 算法拆解 ②:FlexVDR——给每个查询分配"刚好够用"的表示
压缩解决的是"存多少",FlexVDR [9] 关心的是"每次查询算多少"。
一句话直觉:简单查询用浅层、窄维度、少 token 的"经济版"表示,困难查询才动用完整模型;用一个小预测器在查询刚编码几层时就判断该走哪条路线。
生活类比:像医院分诊。挂号台的护士问两句话,就决定你去普通门诊还是专家门诊;绝大多数人去普通门诊就能解决,而系统整体的效率和质量都更好。
逐步流程 [9]:
- 定义路线:每条路线 r = (ℓ, d, τ) 指定编码器在第 ℓ 层退出、只保留前 d 维、只保留前 τ 比例的 token;另保留一条"原生完整路线";
- 训练紧凑路线:冻结原生检索器,只训练各层的小映射头,用"检索交叉熵 + 向原生完整路线打分分布蒸馏"的损失,让每条紧凑路线尽量模仿完整路线的排序;
- 生成标签:对训练查询,用每条路线检索一次,以 nDCG@5 作为该路线的"效用",得到一个效用向量;
- 训练分配器:用查询在最浅退出层的平均隐状态,回归预测所有路线的效用;
- 在线选择:选使"预测效用 − λ × 结构代价"最大的路线;λ 由部署前在校准集上选定:在质量下降不超过 0.5 个百分点的前提下,使平均代价最小。
关键公式:
c(r) = α·ℓ/L + (1−α)·τ²·d/D r̂ = argmax_r [ û(q, r) − λ·c(r) ]
ℓ/L:退出层占总层数的比例(编码成本);τ²·d/D:匹配计算量的相对大小(查询与页面 token 都按 τ 保留,所以是平方);û(q, r):预测这条路线对该查询的检索效用;λ:资源偏好,越大越省。
为什么有效、何时失效:它把"效用预测"与"资源偏好"分开,换 λ 不需要重新训练。在五种骨干、三个 ViDoRe 版本上,平均 nDCG@5 降幅都低于 2 个百分点;ColPali 在 V1 上把 66.60% 的查询分到低预算路线,得分 83.16 对原生 83.90 [9];webAI 骨干上 FLOPs 减少 20.4%,nDCG@5 下降 0.86 个百分点 [9]。但不同骨干的"可压缩空间"差别很大:ColQwen2 只有 12.31%—19.76% 的查询能用低预算路线 [9];λ 从 0.05 提到 0.2 时,质量保持率会从 97.0%—98.9% 降到 81.0%—90.8% [9]。这类方法只节省在线查询侧的计算,文档索引仍需离线准备。
四、看得清:在一页高分辨率图像里聚焦
找到了那一页,下一步是看清那一格。过去一年流行的"用图像思考"(thinking with images)让模型调用裁剪、放大等工具多轮观察,但每轮都要重新编码图像、多次调用模型,时延高昂。
4.1 算法拆解 ③:LoRe——只放大一块区域的"记忆"
一句话直觉:让模型先写出它要看的区域坐标,然后不裁图、不重新编码,直接把这块区域在 KV 缓存里的"值"放大一倍,接下来的推理自然会更多地用上这块证据。
生活类比:像在一张已经拍好的大合照上用荧光笔圈出一个人。你没有重新拍照,也没有把他单独剪下来,但之后每次看这张照片,你的目光都会先落到荧光笔圈住的地方。
逐步流程 [11]:
- 预填充:图像和问题一次性编码,所有视觉 token 的键(K)和值(V)写入缓存;
- 模型自己框出区域:提示模型先输出普通文本
<box>x1, y1, x2, y2</box>,再推理和作答;一个轻量解析器每 4 个 token 检查最近 128 个 token 中是否出现完整的框; - 映射到视觉 token:按视觉编码后的有效网格,把框换算成被覆盖的视觉 token 位置集合 P;
- 放大值缓存:在每一层把 P 内的 V 乘以放大系数 γ(默认 2),键、位置编码、token 顺序和注意力掩码都不变;然后在同一个请求中继续解码;
- 强化学习:用"答案正确为主、格式和定位为辅"的奖励训练模型,让它学会框出真正有用的区域。如果框缺失或无法解析,缓存保持不变,正常解码。
关键公式:
o′ = o + (γ − 1) · Σ_{j∈P} α_j · v_j
R = min{ 1, r_acc + (1 − r_acc)·(0.03·r_fmt + r_loc) }
o:注意力层原本的输出,等于所有 token 的值v_j按注意力权重α_j的加权和;P:被框住的视觉 token 集合;γ:放大系数,γ=1 表示不放大;- 第一个式子说明:只改值不改权重,等于把"被框区域"对输出的贡献额外加了 (γ−1) 倍;
R:强化学习奖励;r_acc为答案是否正确(1 或 0),r_fmt为格式分,r_loc为定位分。答对时奖励直接封顶为 1,定位与格式分只在答错时提供"部分分"。
小算例(示意数字):某个注意力头对一张发票图像的注意力中,"金额"所在区域的 4 个 token 合计获得 0.2 的权重,其余 0.8 分给其他区域。γ=2 时,这 4 个 token 对输出的贡献从 0.2 份变为 0.4 份;注意力权重本身没变,但"金额"的信息在残差流里的分量翻倍了。
为什么有效、何时失效:在 Qwen2.5-VL-7B 上,免训练版本已把 V* 从 72.4% 提升到 77.4%,加入强化学习后达到 82.6%;HR-Bench 从 66.0% 到 73.6%;作者新建的 COCO-ObjQA 小目标子集从 72.3% 到 83.1% [11]。单次请求 2.16 秒,比对比中速度领先的显式视觉推理基线快 2.8 倍 [11]。消融显示:去掉答案奖励,V* 降到 70.1%;去掉定位奖励,平均框重合度从 0.43 降到 0.28 [11]。用标准答案框替换模型预测的框,V* 可达 84.1%,说明定位仍有提升空间 [11]。
作者也坦率列出了边界:放大的是已经编码进来的视觉信息,不能恢复编码时丢失的细节,也不能做旋转、翻转等需要新观察的操作;一个框可能同时包住干扰物;框数从 1 增加到 3,V* 反而从 82.6% 降到 80.2%;评测仅限单图问答 [11]。对于需要比对多处证据的任务(如核对发票与合同两处金额),单框聚焦是不够的。

4.2 算法拆解 ④:TwinPrune——用"与邻居有多不同"决定保留哪些视觉 token,以及一个评测陷阱
高分辨率图像会产生数千个视觉 token,裁剪它们是降低成本的常用手段。TwinPrune [12] 的贡献有两层:一个简单的重要性信号,以及一个更值得重视的评测提醒。
一句话直觉:一个图块如果和周围的图块长得都差不多(比如大片空白),它就是冗余的;如果和邻居很不一样(比如文字笔画、边框、数字),它就携带信息,应该保留。
生活类比:压缩一张扫描件时,你会把大片白底合并成一块,而保留每个字的笔画——因为笔画处"与周围不同"。
逐步流程 [12]:
- 把视觉 token 排成 H×W 网格,对每个位置计算它与 w×w 邻域内其他 token 的平均余弦相似度,用 1 减去它得到"密度" ρ;
- 在 3、5、7 三种邻域尺度上计算并取最大值,兼顾细节和粗结构;
- 预填充阶段:在选定层把低密度 token 合并进高密度"锚点",减少计算量;
- 解码阶段:按密度对视觉 KV 排序,只保留前 k 个(保留原始位置编码),减少显存。
关键公式:
ρ_ij = 1 − (1/|N|) · Σ_{(i′,j′)∈N_w(i,j)} cos( x_ij , x_i′j′ )
x_ij:网格第 i 行第 j 列的视觉 token 向量;N_w(i,j):它周围 w×w 的邻居(不含自身);cos:余弦相似度;ρ_ij越大,说明这个 token 越"与众不同",越值得保留。
评测陷阱:作者指出,MMBench、POPE、ScienceQA 这类基准只看模型输出的第一个 token(选项字母或"是/否"),而第一个 token 在解码阶段裁剪生效之前就已经确定了。因此,只用这类基准验证"解码阶段裁剪不掉点"在结构上是无效的。他们的实验很说明问题:在 InternVL-3.5-8B 上把解码阶段的视觉 KV 全部删掉,MMBench 的预测只变了 0.54%,TextVQA 却有 45.5% 的预测发生变化 [12]。作者建议,任何解码阶段的压缩结论至少要在 MM-Vet 或 DocVQA 这类"完整生成"的基准上验证 [12]。在这类基准上,密度 top-k 的 KV 淘汰在 TextVQA 上保留 12.5% 时比 H2O 高 9.6 个百分点 [12]。
与之思路互补的是 P2P [13]:它不删 token,而是借用可解释性中的"激活修补",找出哪些解码层里视觉 token 的投影输出可以用一个固定的中性向量替代。在 3% 的精度容忍度下,它保留约 94% 的稠密精度并减少 55% 的 FLOPs;分析还显示,视觉信息的整合主要发生在中间层,早期和后期层很少需要针对视觉 token 的计算 [13]。
五、读得懂与判得准:从解析到拒答
VELD-QA 的"工作表实验"[4] 已经说明,把表格转成结构化文本,是提升金融表格题准确率的有效杠杆。Read-Parse-Describe [14](NeurIPS 2026)把这一思路做成统一任务:给定一页图像,模型要输出一个有序的版面元素列表,包含边界框、语义标签、阅读顺序、识别文本,以及视觉元素的替代文本描述;数据集包含 2,402 份文档、18,163 页、125,218 个版面元素和 11,338 个视觉实例。作者发现现有端到端模型和流水线解析器都难以同时恢复阅读顺序与视觉语义,并提出一个复用多层视觉特征、注入网格空间引导的增强模块 [14]。
"判得准"则是目前较薄弱、方法较少的一环。MMEnterprise-Bench [7] 显示,冲突消解与拒答并不随总体推理能力自动提升;TopoGraphRAG-Bench [6] 显示,当证据需要跨模态组合时,系统容易在拓扑上出错。我们没有在 10 月看到专门针对"多源冲突下拒答"的成熟方法,这本身就是一个信号。
六、横向对比:证据链上的技术路线
← 左右滑动查看完整表格 →| 环节 | 代表工作 | 核心机制 | 改动位置 | 收益(作者报告) | 主要代价 / 风险 |
|---|---|---|---|---|---|
| 找得到 · 存储 | EVIE [8] | 证据裁判数据 + 嵌套维度 + 位置引导聚类 | 训练 + 建索引 | 3.81 GiB/百万页时 nDCG@10 为 59.58 | 池化损失约 4.8 分;改维度需重聚类 |
| 找得到 · 打分 | 线性校正 [10] | 学一个 d×d 矩阵修正压缩后打分 | 打分函数 | ViDoRe v3 上 16 种设置全部提升 | 仍低于未压缩基线 |
| 找得到 · 计算 | FlexVDR [9] | 按查询选择深度/维度/token 路线 | 查询编码 | nDCG@5 降幅 <2 个百分点 | 不同骨干可压缩空间差异大 |
| 看得清 · 聚焦 | LoRe [11] | 模型框区域 + 放大值缓存 + RL | 解码时缓存 | V* 72.4→82.6,单次请求 | 不能恢复丢失细节;单框 |
| 看得清 · 裁剪 | TwinPrune [12] | 局部密度信号,预填充合并 + 解码淘汰 | 视觉 token | TextVQA 12.5% 保留时 +9.6 | 需完整生成基准验证 |
| 看得清 · 旁路 | P2P [13] | 用中性向量替代部分层视觉计算 | 解码层 | FLOPs −55%,精度约 94% | 需校准集;跨任务泛化待验证 |
| 读得懂 | Read-Parse-Describe [14] | 统一版面解析 + 替代文本 | 解析模型 | 统一任务基准 | 阅读顺序与视觉语义仍难兼顾 |
| 判得准 | MMEnterprise [7] 等 | 冲突与拒答评测 | 评测 | 暴露短板 | 尚缺成熟方法 |
纵向看,有三条演进线索:其一,从"一页一个向量"到"一页多个向量"再到"按需压缩、按需计算",检索正在把"细粒度"与"成本"同时纳入优化目标;其二,从"多轮调用工具看图"到"在单次请求内调整注意力的输入",视觉聚焦正在从系统层下沉到模型内部;其三,评测从"答对率"转向"在哪一环断掉",VELD-QA、MMEnterprise 都在刻意把检索、阅读、拒答拆开测。
七、我们的观点
以下为我们基于上述文献的判断,属于观点而非文献结论。
第一,"表格阅读"被严重低估。业界讨论多模态时,焦点常在图像理解与视频,但 VELD-QA 的数据表明,金融报表表格才是真正的洼地:给了正确页面也只有 28.9%,加入结构化工作表后提升 40 多个百分点 [4]。这意味着在财报、流水、征信报告这类场景中,一个可靠的表格结构化环节,其边际价值很可能高于换一个更大的底座。
第二,"召回率"作为检索系统的核心指标正在失效。 MMEnterprise 显示,多召回反而可能让小模型答得更差 [7];VELD-QA 显示,有的模型检索到了全部正确页面仍会抽错数值 [4]。我们认为,企业评估检索增强系统时,应把"证据完整性 × 证据使用正确率"作为联合指标,并为不同规模的下游模型设定不同的检索预算。
第三,压缩类论文的结论需要更严格的审视。 TwinPrune 揭示的"只看首 token 的基准无法验证解码阶段压缩"[12] 是一个普遍存在的评测漏洞。对于涉及数字抽取的业务,任何视觉 token 压缩都应在完整生成、逐字段比对的任务上验收。
第四,拒答能力应该被当作一项独立的产品能力来建设,而不是寄希望于底座。总体准确率领先的模型在拒答上并不领先 [7]。在风控等场景中,"材料不足、需要补件"往往比给出一个看似合理的答案更有价值。我们认为,未来一年值得投入的方向之一,是基于证据链的显式校验——每一个数值都能回溯到页码、坐标和版本,并在证据冲突或缺失时触发拒答或人工复核。
一个开放问题:LoRe 这类"在模型内部聚焦"的方法提升了效率,却让"模型看了哪里"更难被外部审计——尽管它输出的框坐标本身是一个可记录的线索。如何在效率与可审计性之间取得平衡,值得持续关注。
八、未来展望
6—12 个月
- 检索的"弹性化":EVIE 的嵌套维度、FlexVDR 的路线分配、线性校正的打分修补 [8][9][10],会被组合成一套可按成本与质量目标配置的检索组件;
- 结构化阅读成为标配环节:统一版面解析与表格结构化 [14] 会被前置到检索增强流程中,"图像 + 结构化文本"双通道输入将更常见;
- 评测更加"分段化":越来越多的基准会像 VELD-QA 一样,把检索、阅读、推理、拒答拆开计分 [4][7]。
1—3 年
- 证据可回溯成为合规要求的一部分:每个由模型给出的数值都附带页码、坐标、版本与置信度,形成可审计的证据链;
- 多源冲突与版本管理进入模型能力:模型需要理解"哪个版本在什么时间点有效",这与企业的文档版本管理、数据血缘系统深度结合;
- 视觉聚焦与压缩走向自适应:根据任务风险自动决定压缩强度——低风险任务大胆压缩,高风险数字抽取任务保守保留。
对金融风控与企业落地的含义
信贷审批、贷后管理、反欺诈中的大量材料是多模态的:营业执照、财报、银行流水、合同扫描件、现场照片。上述研究对这类场景的启示是:把问题拆成证据链,分别度量、分别优化;把表格结构化、版本识别、拒答机制作为独立模块建设;并让每一个关键数值都能回溯到原始材料。
九、落地启示
- 先做分段评测:在自有材料上分别统计"检索到正确页面的比例""给定正确页面时的抽取准确率""证据不足时的拒答率",找到真正的断点。
- 优先投入表格结构化:对财报、流水类材料,先把表格转成结构化数据再交给模型,VELD-QA 的结果显示这一步的收益可能非常大 [4]。
- 检索预算与下游模型匹配:小模型不宜检索过多记录,大模型可以适当放宽 [7]。
- 压缩方案必须在完整生成任务上验收:涉及数字抽取的场景,不要用选择题基准验证压缩效果 [12]。
- 记录证据坐标与版本:让模型输出的每个关键字段都附带来源页码、区域与版本号,为审计和复核留下抓手。
以弘犀智能关注的风控决策与智能建模为例,多模态材料的价值最终要落到可计算、可回溯的特征上:从扫描件和报表中稳定地抽取结构化字段,并在材料冲突或缺失时明确提示,才能让下游的风险模型与决策流程真正受益。
十、结语
当底座已经能"看",多模态的竞争就从"能不能看"转向了"能不能把证据拿准"。10 月的这批工作给出了一张清晰的地图:检索在学会按需付费,视觉聚焦在下沉到模型内部,评测在学会定位断点,而表格阅读与拒答仍是亟需补课的两环。对企业而言,把多模态系统当作一条可度量、可审计的证据链来建设,比追逐单一指标更接近真正的可靠。
参考文献
- [1] Meta AI Research. Introducing Muse Spark Open. Meta 官方博客, 2026-10-15. https://research.meta.ai/blog/muse-spark-open
- [2] Pedro Cuenca(Hugging Face). Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta. Hugging Face Blog, 2026-10-15. https://huggingface.co/blog/meta-muse-spark-open
- [3] Chris Alexiuk, Chintan Patel(NVIDIA). NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning. NVIDIA Technical Blog, 2026-10-15. https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning/
- [4] Zhivar Sourati, Marianne Menglin Liu, Rongguang Wang, et al. VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents. 2026-10-14. https://arxiv.org/abs/2610.20964
- [5] Simon Ott, Yufan Chen, Ruiping Liu, et al. VL-DocIR: A Benchmark for Vision-Based Long Document Information Retrieval. NeurIPS 2026, 2026-10-12.(仅读摘要)https://arxiv.org/abs/2610.17057
- [6] Ruochi Li, Jianzhe Lin, Haoxuan Zhang, et al. TopoGraphRAG-Bench: Evaluating Multimodal GraphRAG on Layout-Grounded Evidence Reasoning. NeurIPS 2026, 2026-10-07.(仅读摘要)https://arxiv.org/abs/2610.09360
- [7] Seohyun Lee, Jongha Kim, Dohwan Ko, et al. MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records. 2026-10-20. https://arxiv.org/abs/2610.27911
- [8] Zifei Wang, Wei Wen, Qiang Ji, Qian-Wen Zhang, Ruizhi Qiao, Xing Sun. EVIE: Evidence-Vector-Informed Embeddings for Visual Document Retrieval. 腾讯 IMA 产品中心 / 优图实验室, 2026-10-08. https://arxiv.org/abs/2610.11553
- [9] Haowen Xiang, Yibo Yan, Xin Zou, et al. FlexVDR: Learning to Allocate Matryoshka Representation Budgets for Visual Document Retrieval. 香港科技大学(广州)/ 阿里巴巴等, 2026-10-19. https://arxiv.org/abs/2610.30177
- [10] Mihir Agarwal, Sabyasachi Basu, Viraj Agrawal. Simple Linear Corrections for Compression in Late Interaction. 2026-10-09. https://arxiv.org/abs/2610.14196
- [11] Zerui Chen, Changrui Chen, Fei Ni, Jiankang Deng. Look Before You Reason: Implicit Visual Thinking for Efficient Multimodal Reasoning. Imperial College London, 2026-10-19. https://arxiv.org/abs/2610.27341
- [12] Kai Liu, Anqi Li, Junxian Li, et al. TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models. 上海交通大学 / 华为等, 2026-10-13. https://arxiv.org/abs/2610.17530
- [13] Rahul Chowdhury, Timothy A. Rupprecht, Xuan Shen, et al. From Patching to Pruning Visual Computation in Vision–Language Models. 2026-10-02.(仅读摘要)https://arxiv.org/abs/2610.03389
- [14] Yuheng Chen, Yufan Chen, Zhuojun Cai, et al. Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation. NeurIPS 2026, 2026-10-14.(仅读摘要)https://arxiv.org/abs/2610.20335
- [15] Manuel Faysse, Hugues Sibille, Tony Wu, et al. ColPali: Efficient Document Retrieval with Vision Language Models. ICLR 2025, 2024-06-27.(背景文献)https://arxiv.org/abs/2407.01449
弘犀研究 · 前沿 AI 深度综述 · 弘犀智能