HuggingFace Papers 2025-10-23

数据来源：HuggingFace Papers

Latest Papers

1. LightMem: Lightweight and Efficient Memory-Augmented Generation

Despite their remarkable capabilities, Large Language Models (LLMs) struggle to effectively leverage historical interaction information in dynamic and complex environments. Memory systems enable LLMs to move beyond stateless interactions by introducing persistent information storage, retrieval, and utilization mechanisms. However, existing memory systems often introduce substantial time and computational overhead. To this end, we introduce a new memory system called LightMem, which strikes a balance between the performance and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of human memory, LightMem organizes memory into three complementary stages. First, cognition-inspired sensory memory rapidly filters irrelevant information through lightweight compression and groups information according to their topics. Next, topic-aware short-term memory consolidates these topic-based groups, organizing and summarizing content for more structured access. Finally, long-term memory with sleep-time update employs an offline procedure that decouples consolidation from online inference. Experiments on LongMemEval with GPT and Qwen backbones show that LightMem outperforms strong baselines in accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API calls by up to 159x, and runtime by over 12x. The code is available at https://github.com/zjunlp/LightMem.

中文摘要

尽管大型语言模型（LLMs）具有出色的能力，但它们在动态且复杂的环境中仍难以有效利用历史交互信息。记忆系统通过引入持久的信息存储、检索和利用机制，使LLMs能够超越无状态的交互。然而，现有的记忆系统通常会带来大量的时间和计算开销。为此，我们提出了一种名为LightMem的新型记忆系统，该系统在性能与效率之间实现了平衡。LightMem受人类记忆的Atkinson-Shiffrin模型启发，将记忆组织为三个互补的阶段。首先，认知启发的感官记忆通过轻量压缩快速过滤无关信息，并根据主题对信息进行分组。接着，主题感知的短期记忆整合这些基于主题的分组，对内容进行更结构化的整理和总结。最后，具有睡眠时间更新功能的长期记忆使用离线程序，将巩固过程与在线推理解耦。在基于GPT和Qwen的LongMemEval实验中，LightMem在准确性上优于强基线（提升高达10.9%），同时将令牌使用量减少了多达117倍，API调用数减少了多达159倍，运行时间减少超过12倍。代码可在 https://github.com/zjunlp/LightMem 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决现有大语言模型（LLM）记忆系统在长上下文、多轮交互场景中面临的三大核心痛点：

冗余噪声过载
原始对话数据包含大量与任务无关或重复的信息，直接送入强模型进行记忆构建会浪费算力、拖慢推理，甚至削弱 LLM 的上下文学习能力。
语义混杂与粒度失衡
固定窗口或单轮粒度的分段方式无法捕捉跨轮语义关联，导致后续摘要生成时主题纠缠、细节丢失，降低记忆项的准确性。
实时更新延迟高
传统系统在推理阶段同步执行记忆合并、去重、冲突消解等操作，造成测试时延迟随交互长度线性累积，难以满足实时应用需求。

为此，作者提出 LightMem——一套受 Atkinson–Shiffrin 人类记忆模型启发的轻量级三级记忆架构，通过“感官预过滤→主题感知的短期整合→离线睡眠期长期固化”的流水线，在保持问答性能的同时显著降低 token 消耗、API 调用次数与运行时间。

Q: 有哪些相关研究？

论文在 §5 与实验部分将相关研究归为三大主线，并指出它们与 LightMem 的差异：

硬提示压缩（Hard Prompt Compression）

代表工作：LLMLingua-2、LongLLMLingua、Selective-Context、TokenSkip
共同点：用小型模型或熵/注意力指标删除冗余 token，降低推理开销。
差异：它们聚焦“单次输入”压缩，而 LightMem 把压缩作为记忆流水线第一级，并与后续主题分段、长期固化协同，形成持续压缩-更新闭环。

RAG 系统中的切块策略（Chunking for RAG）

代表工作：固定长度切块、RAPTOR（递归摘要树）、SeCom（LLM 语义切块）、HippoRAG（神经生物学切块）
共同点：将静态文档切为可检索单元。
差异：RAG 切块面向静态语料；LightMem 的 Topic Segmentation 面向动态对话流，需在线识别话题边界并随时间演化，且与短期记忆容量阈值联动。

LLM Agent 记忆系统

早期线性/顺序记忆：MemGPT、SCM
结构化记忆：Memory Bank、A-MEM（知识图谱）、MemoryOS（类 OS 分页）、Mem0（摘要+近期上下文）、Zep（时序知识图谱）
多类型混合记忆：MEMOS、Mirix
共同点：通过外部存储让 LLM 跨会话保持状态。
差异：
– 它们主要优化有效性（召回、推理深度），而 LightMem 把“轻量化”作为核心目标，在感官层即用压缩模型预过滤，整体减少 10×–100× token 与 API 调用。
– 更新机制上，现有系统多在线执行合并/删除，测试时延迟高；LightMem 借鉴“睡眠固化”，将重抽象、去重、冲突消解移到离线并行阶段，在线仅做追加式软更新，实现毫秒级推理延迟。
– 粒度控制上，LightMem 提出主题感知的短期记忆缓冲区，用动态阈值决定何时触发摘要，兼顾细节保留与 API 成本，而多数既有系统采用固定窗口或单轮级摘要。

简言之，LightMem 首次把“人类记忆三阶段”完整映射到 LLM 记忆系统，并在每个阶段引入轻量算法（压缩模型、注意力-语义混合分段、离线并行更新），在 LONGMEMEVAL 上同时取得 SOTA 精度与 10× 以上效率提升，填补了“高效记忆”这一细分方向的空白。

Q: 论文如何解决这个问题？

论文将“高效且可持续的 LLM 记忆”拆解为三个耦合子问题，并对应设计 LightMem 的三级流水线。每一级均给出轻量级算法，使整体复杂度从 O(T) 级联调用降为 O(1) 在线 + O(T) 离线并行。核心思路可概括为：先压缩、再分段、后离线固化，具体如下。

1. 感官记忆（Light1）：把“冗余”挡在门外

问题：原始对话 token 80 % 以上与下游任务无关，直接喂给强模型会浪费算力并稀释上下文信号。
解决：

预压缩子模块
采用轻量压缩模型 θ（LLMLingua-2，<2 GB 显存）做二分类 token 保留决策：

P(retain x_i|x;θ)= softmax(ℓ_i)_1

动态阈值 τ 取保留分数的 r 分位，保证压缩率 r 可控。
对生成式 LLM 还可改用条件熵过滤：高熵 token 视为信息量大，强制保留。
主题分段子模块
维护 512 token 循环缓冲区；满触发分段。
混合边界检测：
注意力局部峰值集 B1 ：利用 LLMLingua-2 的相邻句注意力对角元 M(k,k-1) ；
语义相似度集 B_2 ：用嵌入模型计算相邻句 cosine，低于阈值 τ 视为话题转移；
最终边界 B = B_1 ∩ B_2 ，既保证局部突变又避免注意力下沉误判。
输出： topic-segment = {turn₀…turnₖ}，后续记忆构造以 topic 为最小单元，显著降低语义混杂。

2. 短期记忆（Light2）： topic 级摘要 + 容量驱动触发

问题：若每轮都调用 LLM 写记忆，API 次数 = 对话轮数；若一次喂入多轮，主题混杂又降低摘要质量。
解决：

将同一 topic 的多轮对话累积到 STM 缓冲区，直到 token 数 ≥ 阈值 th 才触发一次摘要调用：

∑i = f(∑)(S_i), quad S_i ⊂eq user_j, model_j

生成记忆条目 Entryᵢ = {topic, embedding(sumi), 原始轮次}，直接写入 LTM；
因 topic 内语义一致，摘要精度高；又因批量触发，API 次数下降 1–2 个数量级。

3. 长期记忆（Light3）：在线“软更新”（追加）+ 离线“睡眠固化”

问题：传统系统实时执行合并/冲突消解，延迟随记忆规模线性增长。
解决：

软更新（测试时）
仅做追加写：新 Entry 直接入库并带时间戳，毫秒级完成，在线延迟恒定。
离线并行固化（sleep-time）
为每条 Entry 预计算更新队列：

Q(ei)= Top_k(e_j,sim(v_i,v_j)) ;|; t_j≥t_i,; j≠i (:n)

只允许“新→旧”方向更新，符合时间因果。

因各队列相互独立，可并行调用 LLM 执行合并、抽象、去重、冲突消解；整体延迟从 ΣTᵢ 降至 maxTᵢ。
固化后生成高阶摘要与跨 topic 链接，进一步提升下游检索精度。

4. 端到端效率收益

token 消耗：压缩 r=0.6、th=512 时，输入输出总计减少 32×–117×。
API 调用：以 topic 为单元批量摘要，减少 17×–177×。
运行时间：在线阶段仅轻量压缩+追加写，离线并行固化，总 wall-time 降低 1.67×–12.45×。
精度：在 LONGMEMEVAL-S 上比最强基线 A-MEM 再提升 2.7 %–9.7 %，验证“轻量化”并不牺牲性能。

总结

LightMem 通过“压缩-分段-离线固化”三级协同，把传统记忆系统的线性级联开销转化为常数级在线 + 可并行离线，在保证问答精度的同时实现数量级效率提升，回答了“如何兼顾性能与效率”这一核心问题。

Q: 论文做了哪些实验？

论文在 §4 与附录围绕 LONGMEMEVAL-S 基准展开系统实验，覆盖有效性、效率、消融、参数敏感性、模块贡献与案例剖析六大维度。主要实验一览如下（按贡献归类，非表格形式陈述）：

1. 主实验：端到端对比

数据集：LONGMEMEVAL-S，500 条多会话对话，平均 50 session/110 k token；5 条含脏数据被直接丢弃。
骨干模型：GPT-4o-mini、Qwen3-30B-A3B-Instruct-2507。
基线：① Full-Text ② NaiveRAG ③ LangMem ④ A-MEM ⑤ MemoryOS ⑥ Mem0。
指标：QA Accuracy、Summary/Update 两阶段 token 消耗、API 调用次数、Runtime。
结果（表 1）：

在线软更新阶段，LightMem 在 3 组 (r, th) 配置下 Accuracy 均列第一，最高比 A-MEM 提升 9.7 %。
总 token 减少 32×–117×，API 调用减少 17×–177×，运行时间缩短 1.67×–12.45×。
离线并行固化后，精度不降，累计效率仍保持 10× 级优势。

2. 参数敏感性实验

压缩率 r 与 STM 阈值 th 联合扫描（表 2 & 表 4）：

小 th（256）配 r=0.6、大 th（512/1024）配 r=0.7 时 Accuracy 最佳，验证“容量-保真”权衡。
低 r 普遍更省 token，但过低（0.4）会丢失关键细节导致精度下滑。

雷达图（图 5）：将 ACC、Input/Output/Total token、Calls、Time 六指标归一化，可视化不同 (r,th) 配置的权衡形状，指导实际部署。

3. 模块消融实验

Topic Segmentation 消融（图 4c）：

去掉混合分段后，GPT 精度 ↓6.3 %，Qwen ↓5.4 %，验证“注意力+语义”联合边界检测对后续摘要质量至关重要。

Pre-compressing 单独评测（图 4a）：

将压缩后文本直接作为上下文做 QA，r∈
0.5,0.8
与原始文本精度无显著差异，说明 LLMLingua-2 压缩保真，可安全前置。

4. 分段方法对比实验

边界检测精度（图 4b）：

以 LONGMEMEVAL 自然 session 边界为真值，Attention-Only、Similarity-Only、Hybrid 三种方法在 50 % 压缩文本上对比。
Hybrid 准确率 >80 %，显著高于单信号方法，证明双重约束可有效抑制注意力下沉与局部波动。

5. 睡眠固化案例剖析

硬更新 vs 软更新（§4.6）：

构造“周一计划去东京→两小时后询问去京都列车”场景。
硬更新会覆盖掉“东京”信息，LightMem 软更新保留两条记录，离线阶段再合并为“东京主行程+京都顺访”，实现无信息丢失的长期一致化。

6. 类别级细粒度评测（附录表 3）

将 500 题按 Temporal、Multi-Session、Knowledge-Update、Single-User、Single-Assistant、Single-Preference 六类划分：

LightMem 在需跨会话整合或知识修正的前三类上领先幅度最大（最高 ↑35 %），验证其长程整合优势。
在单轮偏好类问题样本少、方差大，但 LightMem 仍保持竞争力。

7. 可重复性细节（附录 C & D）

公开硬件配置、随机种子、脏数据样本索引。
提供 LLM-as-Judge 的 5 类任务评测提示模板，确保结果可复制。

综上，实验从主指标对比→参数扫描→模块消融→边界质量→类别细分→案例可视化逐层递进，既验证了 LightMem 的 SOTA 性能，也系统回答了“为何如此高效而不失精度”这一核心问题。

Q: 有什么可以进一步探索的点？

作者已在 §6 给出四条未来工作路线图；结合实验结果与当前趋势，可进一步探索的关键点归纳如下：

1. 离线固化加速

KV-Cache 复用：睡眠期合并多为“同一 topic 多次摘要”任务，可离线预计算 key-value cache，把 N 次 LLM 调用降为 1 次解码 + 多次头层微调。
分层固化策略：对长期无访问记忆先执行高压缩/量化摘要，热记忆保持高精度，实现“温度-自适应”固化，进一步削减 30 %–50 % 算力。

2. 知识图谱融合

轻量三元组抽取：在 STM 摘要阶段即引入本地小模型抽取〈主语，关系，宾语〉，与原文 chunk 并存，形成“文本-图”双索引。
多跳推理评测：在 LONGMEMEVAL 基础上构造需要 2–3 跳关系链的问答，检验图记忆能否在 token 不增情况下提升准确率。

3. 多模态记忆扩展

统一向量空间：将图像/音频经 CLAP、ImageBind 等编码后与文本嵌入对齐，实现跨模态相似度检索。
事件级对齐：利用时间戳与共同注意力，把用户语音、环境图像与对话文本自动对齐为同一“多模态事件”，解决真实场景下跨通道信息整合。

4. 参数-非参数协同

记忆门控机制：在 LLM 前馈层增设可训练门控，动态决定“从参数记忆还是外部记忆”读取，实现梯度回传下的端到端优化。
联合训练策略：采用强化学习，把“是否写入/遗忘/合并”作为动作，以问答奖励为信号，学习最优记忆策略，减少手工阈值。

5. 隐私与遗忘机制

本地差分隐私：在睡眠固化阶段加入 DP-SGD，对写入记忆加噪，提供可量化的隐私预算 ε。
用户级遗忘：实现“精准删除”而非“全局重训”，利用反向索引定位受影响的记忆条目，仅对含该用户数据子图进行局部重摘要。

6. 在线学习适应性

增量压缩模型微调：让压缩模型 θ 随用户领域词汇增量微调，避免通用压缩器对专业术语欠保留。
概念漂移检测：监控新写入记忆与旧记忆语义偏离度，触发早期“睡眠”固化，防止过时信息堆积。

7. 系统级优化

GPU-CPU 异构流水线：压缩与嵌入放 CPU，摘要与固化放 GPU，异步队列实现零拷贝，提升吞吐。
边缘-云协同：边缘设备仅保留 Light1+Light2 做毫秒级响应；睡眠固化批量上传云端，兼顾实时性与深度整合。

8. 新基准与评测协议

百万级会话 benchmark：目前 LONGMEMEVAL-M 达 1.5 M token，但仅 500 条；可构造 10 k 用户×100 session 的超长场景，评估可扩展性。
记忆可解释性指标：除 Accuracy 外，引入“记忆覆盖率”“事实一致性”“溯源精度”等，防止高分但幻觉增多的风险。

综上，LightMem 把“高效能记忆”从概念推到实用，但仍留给社区加速、结构、多模、隐私、在线学习五大开放战场，值得后续深入研究。

Q: 总结一下论文的主要内容

LightMem：面向长程交互的轻量级高效记忆系统

背景痛点

LLM 固定上下文窗口导致“无状态”缺陷，现有外部记忆系统普遍冗余高、语义混杂、实时更新延迟大，难以兼顾性能与效率。

核心思路

受 Atkinson–Shiffrin 人类记忆模型启发，提出三级流水线：

感官记忆（Light1）

预压缩：轻量模型 θ 做 token 级二分类，保留率 r 可控，即时剔除冗余。
主题分段：注意力局部峰值 ∩ 相邻句相似度 < τ，在线切出语义一致片段。

短期记忆（Light2）

以 topic 为单元累积至 token 阈值 th，批量调用 LLM 一次摘要，生成带嵌入的条目 {topic, sum, turn}。
既减少 API 次数，又避免跨主题混杂。

长期记忆（Light3）

在线仅追加写（软更新），毫秒级完成。
离线“睡眠”阶段并行执行合并、去重、抽象，整体延迟从 ΣTᵢ → maxTᵢ。

实验结果（LONGMEMEVAL-S, 110 k token/样本）

精度：GPT-4o-mini 上最高 68.6 %，较最强基线 A-MEM ↑9.7 %。
效率：token 消耗 ↓32×–117×，API 调用 ↓17×–177×，运行时间 ↓1.7×–12.5×。
消融：去 topic 分段导致精度 ↓6 %；压缩 50 %–80 % 对 QA 无显著影响。
边界检测：混合分段准确率 >80 %，显著优于单一信号。

贡献总结

首次把“人类三阶段记忆”完整映射到 LLM，系统级降低冗余。
提出可配置压缩-主题累积-离线固化范式，实现数量级效率提升且精度 SOTA。
代码开源，支持即插即用，为长上下文、多轮代理提供轻量记忆底座。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jizhan Fang,Xinle Deng,Haoming Xu,Ziyan Jiang,Yuqi Tang,Ziwen Xu,Shumin Deng,Yunzhi Yao,Mengru Wang,Shuofei Qiao,Huajun Chen,Ningyu Zhang

Categories: cs.CL,cs.AI,cs.CV,cs.LG,cs.MA

PDF URL: https://arxiv.org/pdf/2510.18866.pdf

Arxiv URL: https://arxiv.org/abs/2510.18866

Arxiv ID: 2510.18866

CoolPaper URL: https://papers.cool/arxiv/2510.18866

Published: 2025-10-21T17:58:17Z

Updated: 2025-10-21T17:58:17.000Z

2. World-in-World: World Models in a Closed-Loop World

Generative world models (WMs) can now simulate worlds with striking visual realism, which naturally raises the question of whether they can endow embodied agents with predictive perception for decision making. Progress on this question has been limited by fragmented evaluation: most existing benchmarks adopt open-loop protocols that emphasize visual quality in isolation, leaving the core issue of embodied utility unresolved, i.e., do WMs actually help agents succeed at embodied tasks? To address this gap, we introduce World-in-World, the first open platform that benchmarks WMs in a closed-loop world that mirrors real agent-environment interactions. World-in-World provides a unified online planning strategy and a standardized action API, enabling heterogeneous WMs for decision making. We curate four closed-loop environments that rigorously evaluate diverse WMs, prioritize task success as the primary metric, and move beyond the common focus on visual quality; we also present the first data scaling law for world models in embodied settings. Our study uncovers three surprises: (1) visual quality alone does not guarantee task success, controllability matters more; (2) scaling post-training with action-observation data is more effective than upgrading the pretrained video generators; and (3) allocating more inference-time compute allows WMs to substantially improve closed-loop performance.

中文摘要

生成性世界模型（WMs）现在可以以惊人的视觉逼真度模拟世界，这自然引发了一个问题：它们是否能够赋予具身智能体预测感知能力，从而用于决策制定。在这一问题上的进展受限于评估的碎片化：现有的大多数基准测试采用开放循环协议，仅强调视觉质量，而核心问题——具身效用，即 WMs 是否真正帮助智能体在具身任务中取得成功——仍未解决。为填补这一空白，我们推出了 World-in-World，这是第一个在封闭循环世界中对 WMs 进行基准测试的开放平台，该平台反映了真实智能体与环境的交互。World-in-World 提供了统一的在线规划策略和标准化的动作接口，使异构 WMs 能够用于决策制定。我们策划了四个封闭循环环境，以严格评估各种 WMs，将任务成功作为主要评价指标，并超越了对视觉质量的常见关注；我们还提出了具身环境下世界模型的首个数据扩展规律。我们的研究揭示了三个惊人的发现：（1）单靠视觉质量并不能保证任务成功，可控性更为重要；（2）使用动作-观察数据进行后训练扩展比升级预训练视频生成器更有效；（3）分配更多推理时计算资源可以显著提高 WMs 的封闭循环性能。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在填补“生成式世界模型（WM）能否真正提升具身智能体任务表现”这一关键空白。现有评测大多只在开环、视觉质量层面比较模型，忽视了闭环交互中“任务成功”这一最终目标。为此，作者提出 World-in-World 平台，首次在统一闭环环境中评测异构世界模型对感知、导航、操作等具身任务的实际效用，并揭示视觉质量≠任务成功、后训练数据缩放与推理耗时缩放比升级预训练生成器更有效等三大发现。

Q: 有哪些相关研究？

与 World-in-World 直接相关的研究可归纳为三类：视觉生成、世界模型、具身任务基准。以下按类别列出代表性工作，并注明其与本文的关联。

1. 视觉生成（Image / Video / 3D / 4D Generation）

代表工作	核心贡献	与本文关系
Stable Video Diffusion (SVD)Blattmann et al., 2023	潜空间视频扩散模型，支持文本/图像条件	作为零样本基线被纳入闭环评测，并后续后训练
Wan2.1 / Wan2.2Wan et al., 2025	14B 级开源文本到视频生成器	零样本与后训练双重身份参与 benchmark
LTX-VideoHaCohen et al., 2024	实时潜视频扩散	被统一 API 接入，验证“可控性>视觉质量”
Cosmos-Predict2Agarwal et al., 2025	NVIDIA 物理 AI 世界基础模型	提供动作条件接口，用于操纵后训练
PathDreamer / SE3DSKoh et al., 2021-2023	全景图像新视角生成，专为室内导航设计	作为“图像型”世界模型基线
SoraBrooks et al., 2024	文本驱动分钟级视频生成	虽闭源未实测，但论文在 Related Work 中定位其为“被动开环生成”代表

2. 世界模型（World Models for Decision Making）

代表工作	核心贡献	与本文关系
Navigation World Models (NWM)Bar et al., 2025	相机轨迹条件视频生成，专用于导航	作为“轨迹型”世界模型基线
GenieParker-Holder & Fruchter, 2025	交互式 3D 世界生成，支持潜在动作	被引为“游戏世界模型”并行工作
Video Language PlanningDu et al., 2024	用文本引导视频生成做长程任务规划	同属“生成式规划”范式，但无统一闭环评测
COMBOZhang et al., 2025	多智能体合作的世界模型	在 Related Work 中列为“多智能体扩展”方向
PhysDreamer / InterDynZhang et al., 2024; Akkerman et al., 2025	将物理规律注入扩散模型	论文 Discussion 指出其为“精细动力学”未来方向

3. 具身任务基准（Embodied Task Benchmarks）

代表工作	核心贡献	与本文关系
VBenchHuang et al., 2024	视频生成质量评测套件	被本文用作“视觉质量”对比指标，证明与任务成功低相关
WorldModelBench / WorldScoreLi et al., 2025a; Duan et al., 2025	统一评估图像+相机轨迹到视频生成	仅开环视觉指标，未测闭环任务表现
Habitat / HM3D / Matterport3DSavva et al., 2019; Ramakrishnan et al., 2021; Chang et al., 2017	室内导航标准仿真器与数据集	作为 AR / ImageNav / A-EQA 的评测环境
RLBenchJames et al., 2020	7-DoF 机械臂操作基准	提供操纵任务与演示数据，用于后训练与评测
OpenEQAMajumdar et al., 2024	开放词汇具身问答数据集	被本文纳入 A-EQA 任务，衡量主动探索与回答质量

小结

World-in-World 首次将上述三条研究线整合到同一闭环接口下，揭示“视觉生成质量≠具身任务成功”，并通过后训练与推理缩放两条低成本路径，将现有视频生成器转化为更有效的“具身世界模型”。

Q: 论文如何解决这个问题？

论文通过构建 World-in-World 这一统一闭环评测与训练框架，将“生成式世界模型是否真正提升具身智能体任务表现”的疑问转化为可量化、可复现的实验研究。具体解决路径分为四大模块：

1. 闭环评测接口：把“视觉质量”为中心转向“任务成功”为中心

统一在线规划策略
提出“提案–仿真–修正”三阶段闭环流程，形式化为策略引导的束搜索：

D^start = π(revision)l((hat A^((m))t,hat O^((m))_t)r(m=1)^(M),o_t,gr)

每一步用世界模型滚动预测未来观测 hat O_t ，再按任务奖励排序，选取最优动作序列执行，真正形成“模型-环境”闭环。

统一动作 API
设计可插拔控制器 I=mathcal C(A) ，把任意动作序列映射到三种条件输入：

文本 prompt
相机轨迹
低层连续动作
使异构生成器（文本驱动、轨迹驱动、图像驱动）可在同一任务、同一指标下公平比较。

2. 多任务 benchmark：覆盖感知、导航、操作核心维度

任务	决策类型	世界模型用途	关键指标
Active Recognition (AR)	识别+导航	合成未来视角辅助识别；滚动评估候选路径	Success Rate (↑)、平均步数 (↓)
Image-Goal Navigation	纯导航	模拟各路径未来观测，选最优	SR、SPL、路径长度
A-EQA	开放问答+探索	预测探索计划未来观测，评估信息增益	Answering Score、SPL
Robotic Manipulation	7-DoF 操作	预测各抓取序列后续帧，选最高奖励	SR、平均决策步

所有任务均使用与训练场景完全不重叠的测试场景，确保评测的是泛化能力而非记忆。

3. 后训练配方：低成本把“视频生成器”变成“具身世界模型”

数据构造
– 对 Habitat 任务：在 HM3D/Matterport3D 训练场景内，按“多样性+物理合理+低冗余”原则自动采样 40 万条全景轨迹，每条带 RGB-D 与离散动作。
– 对操纵任务：用 RLBench 官方接口生成 200 条×4 任务连续 7-DoF 演示，每条 150 帧。
训练目标
在预训练权重上仅做 1 epoch 微调，最大化条件概率：

maxθ; mathbb E[log pθ!(Xmid x_1,mathcal C(A))]

其中 mathcal C(A) 为统一 API 输出的文本/轨迹/动作条件。显式对齐动作空间与领域分布，而无需重新设计架构。

资源消耗
14B 模型用 LoRA 仅 74 H100 小时；2B 模型全参微调 5–15 小时，成本比重新预训练低 2–3 个数量级。

4. 缩放定律：数据缩放 + 推理缩放双轮驱动

训练时数据缩放
固定 1 epoch，仅改变样本量（400 → 80 k）。AR 任务中 Wan2.1† 的 SR 从 60.25% → 63.34%，呈现平滑对数线性增长，且大模型容量高、饱和慢。
推理时计算缩放
固定模型，仅增加每 episode 的候选滚动数（3 → 11）。SVD† 的 SR 从 53.36% → 60.98%，证明“多推几步”即可显著提升决策质量，无需重新训练。

结果总结

视觉质量高≠任务成功高：相关系数仅 0.15（图 2）。
后训练 40 k 样本即可让 14B 文本到视频模型在 AR 上相对提升 4.3% SR，超越更大规模纯预训练模型。
推理阶段把候选计划从 3 扩到 11，再涨 7.6% SR，验证“推理缩放”有效性。

通过上述四步，论文把“世界模型是否有用”这一模糊问题转化为可量化的闭环指标，并给出低成本落地路径：
“后训练数据缩放 + 推理耗时缩放” >> “盲目扩大预训练生成器”。

Q: 论文做了哪些实验？

论文围绕“世界模型在闭环具身任务中的实际效用”共设计并执行了三大类实验，覆盖四个任务、十余种模型与多维消融分析。具体实验一览如下：

1. 主评测实验：闭环任务成功率对比

目的：验证“世界模型能否提升基线策略”以及“视觉质量是否等于任务成功”。

任务	基线策略	世界模型类型	评测指标	关键结果
Active Recognition (AR)	VLM / Heuristic	零样本+后训练（文本/动作/视角）	SR、Mean Traj.	最佳后训练模型 Wan2.1† 64.79% SR，相对 VLM 提升 14.5%，步数减少 2.18。
Image-Goal Navigation	VLM	同上	SR、SPL、Mean Traj.	Wan2.1† 45.14% SR，相对 VLM 提升 9.7%，SPL 提升 6.22。
A-EQA	VLM	同上	Ans. Score、SPL、Mean Traj.	LTX-Video† 48.6 分，相对 VLM 提升 2.9 分，SPL 提升 2.2。
Robotic Manipulation	VLM / 3D-DP	后训练（动作条件）	SR、Mean Traj.	SVD† 46.5% SR，相对 VLM 提升 2.0%；3D-DP 基线从 24% 提升到 44.7%。

结论：

所有任务中，引入世界模型一致提升基线策略。
视觉质量与任务成功相关性仅 ≈0.15（图 2），打破“越逼真越好”直觉。

2. 消融实验：锁定关键因子

2.1 可控性 vs. 视觉质量

指标：用 LPIPS 计算“指令-预测帧”与“真值帧”偏差，定义 Controllability = 1 − LPIPS。
结果：Controllability 与 AR 的 SR 呈 秩相关系数 0.78，远高于视觉质量（0.15）。

2.2 后训练数据缩放

设置：固定 1 epoch，仅改变样本量 400 → 4 k → 40 k → 80 k。
结果：Wan2.1† SR 从 60.25% → 63.34%，SVD† 从 56.8% → 60.98%，呈对数线性增长（图 6）。

2.3 推理时间缩放

设置：每步候选计划数 M 从 2 逐步增至 11（对应每 episode 平均推理次数 3 → 11）。
结果：SVD† SR 从 53.36% → 60.98%，零额外训练，仅增加推理算力即可提升 7.6%。

2.4 输入视角消融

对比：全景 RGB（576×1024）vs. 前视 RGB（480×480）作为条件。
结果：
AR：全景略优（+0.3–2.7% SR）。
ImageNav：全景反而下降 2–3% SPL，归因于全景→透视分辨率损失。

3. 可视化与错误分析

动作一致性可视化（图 13–18）
给定“仅前进”动作序列，对比模型 rollout 是否出现旋转或穿墙。
– 好例：Cosmos-P2†、Wan2.1† 帧间平移一致。
– 坏例：零样本 Hunyuan、LTX-Video 出现漂移或幻觉物体，解释其低 SR。
动力学失败案例（附录 E）
操纵任务中，部分模型预测物体穿透桌面或抓手未闭合，导致规划误判，说明接触动力学仍是瓶颈。

4. 额外对照实验

不同 VLM 基线（表 5）
将 Qwen2.5-VL-72B 换成 InternVL3-78B，世界模型仍稳定带来 3–6% SR 提升，验证改进与特定 VLM 无关。
训练-测试场景不重叠验证
所有 Habitat 任务的后训练数据均来自与评测场景完全不重叠的 858 个训练场景，确保提升源于泛化而非记忆。

实验规模速览

维度	数量
世界模型	11（6 零样本 + 5 后训练）
参数范围	0.69B – 14B
评测 episodes	551 (AR) + 144 (ImageNav) + 184 (A-EQA) + 200 (Manip) = 1079
后训练数据量	40 k（导航）+ 0.8 k（操纵）
GPU 小时	总计 ≈ 180 H100 小时（后训练）

一句话总结

实验系统性地证明：
“低成本后训练 + 推理缩放” 即可让现有视频生成器在具身任务上获得显著增益，而单纯追求视觉逼真度并不能保证闭环成功。

Q: 有什么可以进一步探索的点？

以下展望按“问题–可行路径–预期收益”三段式给出，均直接对应论文在 Discussion 与未来工作部分的留白，可作为后续研究切入点。

1. 跨环境泛化：把“web-video 先验”变成“物理一致先验”

问题：现模型在未见场景易退回训练分布，出现穿墙、漂浮、忽略动作等违背物理的 rollout。
路径：
引入物理-aware 损失（连续帧深度/光度一致性、碰撞惩罚、重力先验）。
采用课程式微调：先密集采集多场景“物理违规”伪标签，再用强化/自监督微调修正。
收益：降低闭环规划被虚假观测误导的概率，提升零样本迁移成功率。

2. 长程依赖：从“单段 rollout”到“ episodic memory ”

问题：模型仅模拟 L=5–14 步，随时间累积误差导致场景漂移；全局 panorama 亦无法提供跨段历史。
路径：
在生成器内部引入持久化记忆槽（slot-based memory、3D voxel feature 或 NeRF latent）。
训练时以“整段 episode”为样本，用 Transformer-XL / Long Context Tuning 机制让模型自回归地读写记忆。
收益：支持 100+ 步长程规划，可用于“多房间搜索”“长程搬运”等任务。

3. 精细交互动力学：把“视频外观”变成“接触-力-形变”

问题：操纵任务增益最小，根源在于缺乏对接触、摩擦、柔性体形变的建模。
路径：
在条件输入中显式加入力-扭矩或触觉图像通道，构建 Force/Poke+RGB 多模态扩散框架。
与可微物理引擎（DiffPhy / Nvidia Warp）联合训练，让生成器预测“下一帧+接触力+物体加速度”。
收益：使世界模型对“推、拉、按、插”等接触丰富动作给出物理可信 rollout，操纵 SR 有望提升 10–20%。

4. 统一动作表示：让“不同机器人”共用同一世界模型

问题：每换机器人或动作空间就需重训或重调 API。
路径：
采用 3D 流形动作编码（3Dflow-action）或 SE(3) 扩散策略，把不同 embodiment 的末端执行器位姿映射到共享流形。
世界模型条件只接受“标准化 SE(3) 动作 + 任务嵌入”，与机器人几何无关。
收益：一次后训练，零样本迁移到不同臂展、夹具或移动底盘，实现“模型即插即用”。

5. 推理-训练协同缩放：让“算力”自动决定“计划深度”

问题：目前 M 与 rollout 长度靠人工调，无法随算力动态调整。
路径：
采用自适应 Monte-Carlo Tree Search 或 Adaptive Model Predictive Control，在推理时根据置信度动态增/减候选数与深度。
引入“推理预算”作为超参，训练阶段即对不同预算做知识蒸馏，使模型在任意预算下都能给出最优决策。
收益：边缘设备用少算力快速决策，云端用多算力做精细规划，同一模型覆盖多级硬件。

6. 人类对齐的奖励模型：让“世界模型”与“人类偏好”一致

问题：现有评分函数 S(·) 多为任务-specific 启发式，易忽略人类安全/舒适偏好。
路径：
用 RLHF 训练“视觉-语言奖励模型”(VLM-RM)，直接以人类标注的“哪条轨迹更优”为监督。
将 VLM-RM 作为 revision policy，与世界模型一起滚动打分，形成“生成-评判”双模型闭环。
收益：降低机器人走“危险捷径”或“过度探索”的风险，提升人类可接受度。

7. 多智能体世界模型：从“我预测”到“我们预测”

问题：当前仅考虑单智能体视角，无法建模他人意图与联合动力学。
路径：
条件输入扩展为“多视角帧+其他智能体动作序列”，输出多帧联合观测。
采用集中式生成-分布式执行框架，用一组共享 latent 统一预测环境与他人行为。
收益：可支撑协作搬运、多车协同驾驶等场景，让每智能体在“群体未来”基础上规划自身动作。

8. 在线持续学习：让“世界模型”在部署后仍进化

问题：后训练一旦结束模型即冻结，无法利用在线交互数据。
路径：
采用弹性权重巩固（EWC）或回放缓冲，实时微调生成器，纠正重复性误差。
引入“自我验证”机制：当真实观测与 rollout 误差超过阈值，自动触发局部微调。
收益：长期部署后模型仍保持低漂移，降低维护成本。

9. 统一基准 2.0：把“室内”扩展到“室外+动态+天气”

问题：现有四项任务集中在静态室内场景。
路径：
引入 Carla/NGSIM 交通场景、Gibson 户外住宅、FarmBot 农业环境，构建跨域 leaderboard。
增加“天气变化”“昼夜交替”“动态障碍”等条件，评估模型对光度与动力学外参的鲁棒性。
收益：推动世界模型从“实验室”走向“真实世界”。

10. 神经-符号混合规划：让“生成”与“推理”互补

问题：纯神经 rollout 可解释性差，难以注入符号规则（如交通规则、抓取顺序）。
路径：
在 revision 阶段引入符号规划器（PDDL/ASP），把 world model 的观测作为初始状态，生成符号可行解，再交由扩散模型“渲染”成视觉轨迹。
采用可微符号层，实现端到端训练。
收益：保证物理/逻辑合规的同时，保留生成模型对复杂视觉细节的建模能力。

以上方向可单独深入，也可组合成“物理-记忆-多智能体-在线学习”一体化框架，逐步把“看起来真”的世界模型升级为“用起来稳”的具身大脑。

Q: 总结一下论文的主要内容

World-in-World 提出首个闭环、任务驱动的世界模型评测与后训练框架，核心内容可概括为“一个平台、两大发现、三条路径”：

① 一个平台：World-in-World

统一闭环接口
– 提案-仿真-修正在线规划策略：用世界模型滚动预测未来观测，按任务奖励选动作。
– 统一动作 API：把任意动作序列转成文本/轨迹/低层控制，适配异构生成器。
四项具身任务（1079 episodes）
Active Recognition｜Image-Goal Navigation｜Active EQA｜Robotic Manipulation
指标只看“任务成功”，不看“视频美观”。

② 两大发现

视觉质量 ≠ 任务成功
相关系数仅 0.15；可控性（动作-观测对齐）与成功率秩相关 0.78。
后训练 > 换更大模型
40 k 条动作-观测微调 1 epoch，14B Wan2.1 在 AR 提升 4.3% SR，优于直接换 80 k 预训练更大的 Wan2.2-A14B。

③ 三条低成本提升路径

数据缩放：后训练样本 400 → 80 k，SR 对数线性增长。
推理缩放：每 episode 推理次数 3 → 11，SR 再涨 7.6%，零额外训练。
统一动作 API：文本/轨迹/连续动作一键切换，让“任何视频生成器”都能当“世界模型”用。

结论：生成式世界模型要“活得久”，靠的不是更逼真的视频，而是闭环任务成功；低成本后训练+推理缩放即可把现有视频生成器升级为可用的具身世界模型。代码与 benchmark 已开源。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jiahan Zhang,Muqing Jiang,Nanru Dai,Taiming Lu,Arda Uzunoglu,Shunchi Zhang,Yana Wei,Jiahao Wang,Vishal M. Patel,Paul Pu Liang,Daniel Khashabi,Cheng Peng,Rama Chellappa,Tianmin Shu,Alan Yuille,Yilun Du,Jieneng Chen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18135.pdf

Arxiv URL: https://arxiv.org/abs/2510.18135

Arxiv ID: 2510.18135

CoolPaper URL: https://papers.cool/arxiv/2510.18135

Published: 2025-10-20T22:09:15Z

Updated: 2025-10-20T22:09:15.000Z

3. Efficient Long-context Language Model Training by Core Attention Disaggregation

We present core attention disaggregation (CAD), a technique that improves long-context large language model training by decoupling the core attention computation, softmax(QK^T)V, from the rest of the model and executing it on a separate pool of devices. In existing systems, core attention is colocated with other layers; at long context lengths, its quadratic compute growth compared to the near-linear growth of other components causes load imbalance and stragglers across data and pipeline parallel groups. CAD is enabled by two observations. First, core attention is stateless: it has no trainable parameters and only minimal transient data, so balancing reduces to scheduling compute-bound tasks. Second, it is composable: modern attention kernels retain high efficiency when processing fused batches of token-level shards with arbitrary lengths. CAD partitions core attention into token-level tasks and dispatches them to dedicated attention servers, which dynamically rebatch tasks to equalize compute without sacrificing kernel efficiency. We implement CAD in a system called DistCA, which uses a ping-pong execution scheme to fully overlap communication with computation and in-place execution on attention servers to reduce memory use. On 512 H200 GPUs and context lengths up to 512k tokens, DistCA improves end-to-end training throughput by up to 1.35x, eliminates data and pipeline parallel stragglers, and achieves near-perfect compute and memory balance.

中文摘要

我们提出了核心注意力解耦（CAD），这是一种通过将核心注意力计算 softmax(QK^T)V 与模型其他部分解耦并在单独的设备池上执行，从而改善长上下文大语言模型训练的技术。在现有系统中，核心注意力与其他层共同放置；在长上下文长度下，其二次计算增长与其他组件的接近线性增长相比，导致数据和流水线并行组之间负载不平衡和滞后。CAD 的实现基于两个观察。首先，核心注意力是无状态的：它没有可训练参数，只有最少的临时数据，因此平衡问题简化为调度计算密集型任务。其次，它是可组合的：现代注意力核在处理具有任意长度的融合批次 Token 级分片时仍能保持高效。CAD 将核心注意力划分为 Token 级任务并将其分派给专用的注意力服务器，这些服务器动态重新批处理任务以平衡计算，而不损失核效率。我们在一个名为 DistCA 的系统中实现了 CAD，该系统使用乒乓执行方案以充分重叠通信与计算，并在注意力服务器上进行原地执行以减少内存使用。在 512 个 H200 GPU 和最长 512k Token 的上下文长度下，DistCA 将端到端训练吞吐量提高最多 1.35 倍，消除了数据和流水线并行滞后，并实现了近乎完美的计算和内存平衡。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对长上下文大语言模型（LLM）训练中的负载失衡问题，提出“核心注意力解聚（Core Attention Disaggregation, CAD）”方法，目标是在不牺牲吞吐的前提下，同时消除数据并行（DP）与流水线并行（PP）中的“拖尾”现象，实现计算与内存的双重均衡。具体要解决的痛点包括：

文档打包（document packing）导致的注意力 FLOPs 方差
注意力计算量随序列长度呈二次增长，而其余层近似线性。同一批总 token 数相等的 chunk，其注意力负载可能差异 4× 以上，造成 DP 同步点与 PP 微批间的拖尾。
现有补救方案只能“二选一”

变长 chunk：均衡注意力 FLOPs，却使激活内存失衡（最高 3× 差距）。
上下文并行（CP）：均衡内存与计算，但引入大量 all-gather 通信，且无法解决 PP 阶段间拖尾。

根本矛盾：注意力与非注意力组件复杂度不匹配
当两者共置并同步扩缩时，随模型与上下文增大，失衡加剧。

CAD 通过将无参数、无状态的 softmax(QK⊤)V 计算单独解聚到“注意力服务器”池，实现：

注意力负载可在 token 级任意分片、重批，达到近完美均衡；
非注意力部分保持线性复杂度，可独立均衡计算与内存；
通信通过 ping-pong 执行与调度优化被完全掩盖。

实验在 512 H200 GPU、512 K 上下文规模下，将端到端吞吐提升最高 1.35×，并消除 DP/PP 拖尾。

Q: 有哪些相关研究？

与本文直接相关的研究可归纳为三类：

长上下文训练中的负载均衡；
上下文/序列并行及其优化；
模型解聚（disaggregation）思想在 LLM 系统中的实践。

FlexSP (Wang et al., 2025b)
提出动态上下文并行，用整数线性规划（ILP）为不同文档子组选择 CP 度数以缓解拖尾，但 ILP 求解随规模呈 NP-hard，且仅面向 FSDP 场景。
WLB-LLM (Wang et al., 2025c)
同时采用“变长数据块”与“per-document CP”：前者通过迁移长文档均衡注意力 FLOPs，后者将每篇文档切成 2c 份并头尾配对以抵消因果掩码带来的计算倾斜。该方法被本文选为主要 baseline，但其均衡 FLOPs 会放大激活内存差异，且 CP 的 all-gather 通信随节点数增至 ~40% 延迟占比。
DeepSpeed-Ulysses (Jacobs et al., 2023) / Ring-Attention (Liu et al., 2024a)
序列维分片并行，配合 all-to-all 通信交换 KV/Query 状态，支持超长序列。然而固定均匀切片在因果掩码下仍存在早期 token 计算量小、后期大的天然失衡，需要 head-tail 配对等技巧缓解。
Zeppelin (Chen et al., 2025)
面向数据并行的变长负载均衡调度，通过动态重分配样本使各 DP 副本的 FLOPs 近似相等，但未与 CP/PP 联合优化，也未解决内存随 token 数线性增长带来的新瓶颈。
MegaScale-Infer / DistServe / ShuffleInfer (Zhu et al., 2025; Zhong et al., 2024; Hu et al., 2025)
将预填充-解码或 Attention-FFN 在推理阶段解聚到不同 GPU 池，以降低时延或提高吞吐。其动机与本文“把注意力拆出去”相似，但面向的是推理且多针对 MoE 或 decode 阶段，训练场景下的计算均衡、通信掩盖与梯度流同步并非其设计重点。
FlashAttention / FlashAttention-2 (Dao et al., 2022)
IO-aware 注意力核函数，通过分块-tile 重计算避免存储 O(l²) 注意力矩阵，为本文“CA 无状态、可任意分片重批”提供了 kernel 基础。
Megatron-LM (Shoeybi et al., 2019)
提供 TP/PP/DP/CP 四维并行及 1F1B 流水线调度框架，DistCA 直接复用其非注意力层实现，仅替换注意力计算逻辑，因而与上述并行方案正交且可叠加。

Q: 论文如何解决这个问题？

论文提出 Core Attention Disaggregation (CAD)，把“无参数、无状态”的 softmax(QK⊤)V 计算从 Transformer 层中完全剥离，独立调度到一块共享的“注意力服务器”池，使得注意力负载与非注意力负载可以分别均衡、独立扩缩。核心手段与流程如下：

剥离与抽象

仅解聚 Core Attention (CA)——即不含任何可训参数的 softmax(QK^top)V ，其余 QKV/O-Proj、FFN、LayerNorm 等仍留在原 GPU。
CA 无梯度、无持久状态，仅保留每行 softmax 统计量，因而天然“可拆分、可迁移”。

Token 级分片 & 重批

任意文档可按 128-token 块大小（FA2 tile 粒度）拆成若干 CA-task；
不同文档、不同 PP 阶段、不同 DP 副本的 CA-task 可重新拼成一条大 kernel，只要总 token 数足够即可保持高 MFU，实现“计算均衡”而不牺牲 kernel 效率。

运行时系统 DistCA

In-place attention server：同一张 GPU 在“计算上下文无关层”与“执行 CA 服务器”两种角色间时间片轮转，避免 CA 侧内存闲置、FFN 侧内存溢出。
Ping-pong 执行：把一批 micro-batch 再切成 nano-batch（Ping/Pong），利用双层流使“上一层的 CA 通信”与“下一层的非注意力计算”完全重叠，通信延迟被隐藏。
流水线适配：所有 PP stage 在同一 tick 处于同一方向（全 Forward 或全 Backward），空闲的 warmup/drain GPU 被动态征用为 CA 服务器，消除 PP 拖尾气泡。

通信感知贪婪调度器
对给定文档集合，求解

min Load-Imbalance + λ · Comm-Volume

先按 FLOPs 计算目标均值 bar F ；
对“赤字”服务器迭代迁移候选分片，优先选择 ∆FLOPs / comm-bytes 最大的分片；
支持中途再分裂，直至各服务器负载相差 < ε· bar F 或继续迁移无显著收益。

理论通信上界
在 50 GB/s InfiniBand、Llama-34B 配置下，可证明当文档被切成 ≤ 31 份时，CA 所需的 Q+KV 通信时间仍能被非注意力层的计算时间完全覆盖；模型越大、隐藏维度越高，可切分数上限进一步增大。

通过上述设计，CAD 在 512 H200 GPU、512 K 上下文的 8B/34B 模型上实现：

端到端吞吐提升 1.35×；
DP 与 PP 拖尾被完全消除，GPU 利用率接近 100%；
内存占用均衡，无 OOM；
与现有 4D 并行正交，可直接嵌入 Megatron-LM 训练框架。

Q: 论文做了哪些实验？

论文在 NVIDIA DGX H200 集群（最多 512 GPU） 上，对 LLaMA-8B 与 LLaMA-34B 模型、128 K / 256 K / 384 K / 512 K 最大文档长度，分别进行了 3D 并行（无 PP） 与 4D 并行（含 PP） 两组端到端训练实验，并辅以消融与微基准测试。关键实验一览：

实验类别	变量范围	核心指标	主要结论
3D 并行吞吐对比	64→256 GPU，128 K→512 K 最大长度，Pretrain & ProLong 分布	平均迭代时间，相对 WLB-ideal 的 speedup	DistCA 稳定 1.07–1.20×（8B）与 1.05–1.12×（34B），随 DP 规模增大优势扩大；Pretrain 分布（短文档多）提升更高。
4D 并行吞吐对比	64→512 GPU，128 K→384 K 长度，同上分布	同上	8B 达 1.15–1.35×，34B 最高 1.25×；PP 阶段空闲 GPU 被回收为 CA-server，显著缩小 pipeline bubble。
拖尾与利用率量化	512 K-token chunk，8 节点，DP=4/8	平均空闲时间占比	可变长 chunk 基线 idle 19 %（DP=4）→ 55 %（DP=8）；DistCA 将 idle 降至 ≈0 %，负载标准差 < 2 %。
通信掩盖验证	8B/34B，8 & 16 节点，Pretrain 分布	迭代延迟 vs 理想“1-byte signal”基线	DistCA 延迟与 signal 基线几乎重合，通信被完全隐藏；去掉 ping-pong 后延迟 +10–17 %。
调度器容忍度消融	容忍因子 ε=[0,0.3]	延迟、通信字节	8B 在 ε≤0.2 时延迟平稳；34B 需 ε≥0.1 以避免通信过量。ε=0.05–0.15 可减少 20–25 % 通信量而无性能损失。
内存占用对比	512 K 长度，256 GPU	峰值激活内存	可变长 chunk 峰值内存 +8–17 %；DistCA 各 rank 内存差异 < 2 %，且总批大小更大时仍无 OOM。
弱扩展测试	GPU 64→512，批大小等比例放大	throughput vs GPU 数	DistCA 实现近线性弱扩展（斜率 0.98），基线因拖尾与 CP 通信，斜率仅 0.74。
微基准：kernel 吞吐	单 H200，shard 长度 32→4 096	TFLOPS	shard≥128 token 即可满吞吐；<128 因 padding 掉至 65 %，验证“≥tile 粒度重批”可行性。

综上，实验覆盖 吞吐、扩展性、拖尾、通信、内存、调度超参 六个维度，均表明 DistCA 在 更大规模、更长上下文 场景下优势持续放大。

Q: 有什么可以进一步探索的点？

静态内存池 + CUDA Graph
当前 CA-task 形状多变，PyTorch 频繁 malloc/free 导致碎片与 GC 开销，在 34B-4D 实验里已观测到 CPU 侧 launch 延迟。可预分配一块按 tile 对齐的静态内存池，并用 CUDA Graph 把通信+kernel 打包，消除 launch 与碎片。
跨层 KV 复用 / 窗口稀疏
本文假设每层的 KV 都需完整通信。若引入局部窗口、稀疏注意力或跨层 KV 共享，可削减通信量；调度器需把“KV 共享度”纳入成本模型，重新设计分片策略。
容错与弹性
注意力服务器无状态，天然适合 checkpoint-free 弹性训练。可探索：
服务器宕机时，其 CA-task 即时重调度到任意空闲 GPU；
与 CPU 内存/NVMe 交换 KV，实现“秒级”热迁移，提升整体可用性。
自动扩缩容（Auto-scaling）
训练过程中文档长度分布随 curriculum 变化，可让控制器根据实时 CA-queue 长度动态增减 attention server 比例，而非固定 50 % 时间片，进一步缩短临界路径。
与 MoE / 专家并行协同
MoE 每层已含 all-to-all token 路由。若把 CA 与专家路由合并为同一次通信，可摊销延迟；调度器联合优化“专家-CA”双重分片，避免两次 all-to-all。
更细粒度 CA-task（Q 与 KV 子范围）
当前一个 CA-task 必须持有 Q 分片的完整 KV 上下文。允许“Q 子范围 × KV 子范围”将引入更多调度自由度，可建模为二维分块背包问题，寻求通信量下界。
扩展到多模态长序列
文本-视觉-音频混合序列中，注意力模式更复杂（图像块稀疏、音频局部相关）。可将“模态类型”作为额外维度，设计模态感知的 CA-task 切分与掩码重批策略。
理论最优切分算法
现有贪婪迁移仅得局部最优。可研究：
将文档切分 + 服务器映射联合建模为“带容量约束的整数分区”问题，开发近似比保证的 PTAS；
引入强化学习，让调度器在线学习通信-计算 trade-off，适应新模型、新网络拓扑。

Q: 总结一下论文的主要内容

问题
长上下文 LLM 训练中，注意力 FLOPs 随序列长度二次增长，其余层近似线性。文档打包导致同批总 token 数相等的 chunk 间注意力负载差异巨大，进而在数据并行（DP）与流水线并行（PP）中形成“拖尾”与气泡，现有方法只能牺牲内存或通信来换取部分均衡。
核心观察

注意力纯计算无参数，状态极小，可当作“无状态”任务任意调度。
现代 FlashAttention 类 kernel 对 token 来源无感，只要总 tile 数足够即可满吞吐，支持“任意分片→重批”。

方案：Core Attention Disaggregation (CAD)
将 softmax(QK⊤)V 单独解聚为“CA-task”，分发到共享的注意力服务器池；非注意力层留在原 GPU。通过 token 级动态分片与重批，实现注意力负载近乎完美均衡，而内存仅随线性部分增长。
系统实现 DistCA
in-place 服务器：同一 GPU 时间片轮转，兼顾高内存利用率。
ping-pong 执行：双层流交替，通信与计算完全重叠。
通信感知贪婪调度：以 ∆FLOPs/comm-bytes 为启发式，迭代迁移或分裂分片，直至负载差 < ε。
实验结果
512 H200 GPU、512 K 上下文、8B/34B 模型：
端到端吞吐较最强基线 (WLB-ideal) 提升 最高 1.35×，DP/PP 拖尾消除，GPU 利用率近 100 %。
弱扩展接近线性；通信延迟被完全隐藏；内存差异 < 2 %。
贡献

提出“核心注意力解聚”概念，首次把无状态注意力作为独立可调度单元。
设计支持 token 级重批、通信掩盖与 PP 无缝融合的完整运行时。
大规模实测验证：在更长、更大场景下优势持续放大，为后续长上下文训练提供新的并行维度。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yonghao Zhuang,Junda Chen,Bo Pang,Yi Gu,Yibo Zhu,Yimin Jiang,Ion Stoica,Eric Xing,Hao Zhang

Categories: cs.LG,cs.DC

PDF URL: https://arxiv.org/pdf/2510.18121.pdf

Arxiv URL: https://arxiv.org/abs/2510.18121

Arxiv ID: 2510.18121

CoolPaper URL: https://papers.cool/arxiv/2510.18121

Published: 2025-10-20T21:40:51Z

Updated: 2025-10-20T21:40:51.000Z

4. UniGenBench++: A Unified Semantic Evaluation Benchmark for Text-to-Image Generation

Recent progress in text-to-image (T2I) generation underscores the importance of reliable benchmarks in evaluating how accurately generated images reflect the semantics of their textual prompt. However, (1) existing benchmarks lack the diversity of prompt scenarios and multilingual support, both essential for real-world applicability; (2) they offer only coarse evaluations across primary dimensions, covering a narrow range of sub-dimensions, and fall short in fine-grained sub-dimension assessment. To address these limitations, we introduce UniGenBench++, a unified semantic assessment benchmark for T2I generation. Specifically, it comprises 600 prompts organized hierarchically to ensure both coverage and efficiency: (1) spans across diverse real-world scenarios, i.e., 5 main prompt themes and 20 subthemes; (2) comprehensively probes T2I models’ semantic consistency over 10 primary and 27 sub evaluation criteria, with each prompt assessing multiple testpoints. To rigorously assess model robustness to variations in language and prompt length, we provide both English and Chinese versions of each prompt in short and long forms. Leveraging the general world knowledge and fine-grained image understanding capabilities of a closed-source Multi-modal Large Language Model (MLLM), i.e., Gemini-2.5-Pro, an effective pipeline is developed for reliable benchmark construction and streamlined model assessment. Moreover, to further facilitate community use, we train a robust evaluation model that enables offline assessment of T2I model outputs. Through comprehensive benchmarking of both open- and closed-sourced T2I models, we systematically reveal their strengths and weaknesses across various aspects.

中文摘要

最近在文本生成图像（Text-to-Image, T2I）方面的进展凸显了可靠基准在评估生成图像是否准确反映文本提示语语义中的重要性。然而，(1) 现有基准缺乏提示场景的多样性和多语言支持，而这两者对于实际应用至关重要；(2) 它们仅在主要维度上进行粗略评估，涵盖的子维度范围有限，且在细粒度子维度评估方面不足。为了解决这些限制，我们提出了 UniGenBench++，一个用于 T2I 生成的统一语义评估基准。具体而言，它包含 600 个按层次组织的提示，以确保覆盖性和效率：(1) 涵盖多样化的现实场景，包括 5 个主要提示主题和 20 个子主题；(2) 全面探查 T2I 模型在 10 个主要和 27 个子评估标准下的语义一致性，每个提示评估多个测试点。为了严格评估模型对语言和提示长度变化的鲁棒性，我们提供了每个提示的英文和中文版本，分别为短版和长版。利用闭源多模态大语言模型（Multi-modal Large Language Model, MLLM）——Gemini-2.5-Pro 的通用世界知识和细粒度图像理解能力，我们开发了高效的流程，用于可靠的基准构建和模型评估。此外，为进一步便利社区使用，我们训练了一个稳健的评估模型，使得 T2I 模型输出能够离线评估。通过对开源和闭源 T2I 模型的全面基准测试，我们系统地揭示了它们在各方面的优势和不足。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决现有文本到图像（T2I）生成评估基准在语义一致性评测上的三大缺陷：

场景与语言多样性不足
既有基准的提示（prompt）集中于少数英文短句，缺乏真实世界中的多语言、多长度、多主题场景，导致模型在受限条件下表现良好，却在实际应用中失效。
评估维度粗粒度
现有工作通常只覆盖 5–9 个一级维度，且缺少二级子维度（如“属性”下缺少材质、颜色、形状等细分），无法诊断模型在细粒度语义上的具体缺陷。
缺乏高效、可复现的评测 pipeline
依赖人工或昂贵闭源多模态大模型（MLLM）在线 API，既不可复现也不便于社区大规模使用。

为此，作者提出 UniGenBench++：

600 条分层组织的英汉双语、长短双版本提示，覆盖 5 大主题、20 子主题、10 个一级维度、27 个子维度，每条提示含 1–10 个显式测试点（testpoint）。
基于 Gemini-2.5-Pro 的点级评估 pipeline，输出二元判断与可解释理由。
蒸馏得到离线评估模型，在 27 个子维度上平均提升 8–16% 准确率，支持社区离线评测。

通过大规模对比实验，系统揭示了主流闭源与开源模型在逻辑推理、语法理解、关系生成等细粒度能力上的强弱差异，为后续 T2I 模型优化提供诊断依据。

Q: 有哪些相关研究？

论文在第二节 “Related Work” 与表格 I 中系统梳理了与 文本到图像（T2I）生成评估 直接相关的研究，可归纳为两条主线：

1. T2I 生成模型

范式	代表工作	关键特点
扩散模型	GLIDE, Imagen, Stable Diffusion, FLUX, HiDream, SDXL, Playground	基于 U-Net / Transformer 去噪，强调高分辨率与真实感
自回归模型	DALL·E, CogView, Emu3, Infinity, Janus 系列	将图像 token 化后逐 token 生成，便于与 LLM 统一架构
混合架构	Bagel, Show-o2, OmniGen2	融合扩散与自回归，引入链式思考或 RL 微调，提升指令跟随

2. T2I 语义评估基准

基准	一级维度	子维度	提示长度	语言	每提示测试点	离线评估模型	主要局限
GenEval	6	无	短	英	1	✗	仅物体检测级对齐，缺子维度
T2I-CompBench	8	无	短	英	1	✗	缺少语法、逻辑、文本生成等维度
DPG-Bench	5	无	长	英	1	✗	仅关注密集提示，缺多语言与细粒度子维度
WISE	6	无	短	英	1	✗	侧重世界知识，缺主题多样性
TIIF-Bench	9	无	短/长	英	1–2	✗	子维度未展开，无中文，无离线模型
UniGenBench++（本文）	10	27	短/长	英+中	1–10	✓	统一覆盖主题、语言、长度、子维度与离线评估

3. 评估方法相关研究

CLIP-score 系列（CLIP, CLIP-I, CLIP-T）
仅做全局图文相似度，无法捕捉细粒度语义错误。
VLM-as-a-Judge
利用闭源多模态大模型（GPT-4o, Gemini-2.5-Pro）做零样本评判，成本高、不可复现。本文首次将其蒸馏为可离线运行的专用评估模型（UnifiedReward-2.0-qwen-72b 微调），在 27 个子维度上平均提升 8–16% 准确率。

4. 强化学习与奖励模型

DPO/GRPO 系列（DeepSeek-R1, Pref-GRPO, DanceGRPO 等）
利用人类反馈或 AI 反馈微调 T2I 模型，本文的离线评估模型可直接作为此类方法的奖励函数，形成闭环。

总结

已有研究集中于粗粒度、单语言、短提示、无离线评估的设定，UniGenBench++ 首次在多语言、多长度、多主题、子维度、可离线五个维度上实现统一，填补了社区在细粒度语义诊断与可复现评测工具上的空白。

Q: 论文如何解决这个问题？

论文通过“构建基准 + 设计评测协议 + 提供离线工具”三位一体的方案，系统性地解决了现有 T2I 语义评估的三大痛点。具体做法如下：

1. 构建层次化、多语言、多长度提示库

目标：补足“场景多样性”与“语言/长度鲁棒性”空白。

600 条提示 → 覆盖 5 大真实场景主题（Creative、Art、Illustration、Film&Story、Design）× 20 子主题。
双语双长度 → 每条提示同时提供英文/中文 × 短/长版本，共 4 份变体；长版在短版基础上用 MLLM 扩写并自动对齐测试点，保证语义一致。
多测试点 → 单条提示含 1–10 个显式 testpoints，总计 3.3 万个细粒度标签，兼顾“覆盖”与“效率”。

2. 设计 10×27 细粒度评估维度

目标：把“粗粒度”拆成“可诊断的细粒度”。

一级维度	二级子维度（举例）
Attribute	Quantity、Color、Material、Shape、Size、Expression
Action	Contact、Non-contact、Hand、Full-body、Animal、State
Grammar	Pronoun Reference、Negation、Consistency
Relationship	Composition、Similarity、Inclusion、Comparison
Logical Reasoning	因果、对比、多步推理
Text Generation	文字内容、字体、位置、无错别字
……	……

每条子维度均配有in-context 描述，告诉评测模型“看什么、怎么判”，实现可解释诊断。

3. 基于 MLLM 的“点级”评测流水线

目标：兼顾“细粒度”与“高效率”。

输入：提示 pi + 生成图 x_i + testpoint 描述 d(i,1),…,d_(i,k)
输出：每条 testpoint 独立二元判断 r(i,j)∈0,1 + 自然语言理由 e(i,j)
流程：Gemini-2.5-Pro 一次前向即可串行完成所有 testpoints 评估，无需多轮对话；后续按

Rc=∑(i,j) 1d(i,j)∈c land r(i,j)=1{∑(i,j) 1d(i,j)∈c}

在子维度、一级维度两层聚合，既给出分数也给出错误归因。

4. 蒸馏专属离线评估模型

目标：解决“闭源 API 不可复现、成本高”问题。

数据：用上述流水线采集 375 k（图+提示+testpoint→r,e）样本。
基座：UnifiedReward-2.0-qwen-72b
训练：标准语言模型目标

L(θ)=-∑(t)log Pθ(y^((t))mid y^((<t)),xi,p_i,d(i,j))

同时学习“判”与“解释”。

效果：在 27 个子维度上平均提升 8–16% 准确率，社区可本地离线运行，与在线 Gemini-2.5-Pro 评分分布高度一致（Pearson > 0.92）。

5. 大规模横向对比实验

目标：验证基准可“用”且能“诊断”。

评测模型：40+ 开源 + 15 闭源，覆盖扩散/自回归/混合架构。
变量：英/中 × 短/长共 4 种输入条件。
结果：
– 闭源整体领先，但逻辑推理普遍低于 80%，语法与关系生成仍是瓶颈。
– 开源头部模型（Qwen-Image、Hunyuan-Image-2.1）在属性、世界知识上已逼近闭源，但复合语义、中文文字生成差距仍大。
– 同一模型在不同语言/长度下波动最高达 15 分，说明语言与长度鲁棒性值得继续研究。

总结

通过“丰富提示 → 细维度 → 点级评测 → 离线模型 → 大规模诊断”的完整闭环，论文不仅提供了一个可复现、可扩展的基准，还直接交付了社区可用的离线评估工具，从而把 T2I 语义评测从“粗放体验”推进到“细粒度诊断”阶段。

Q: 论文做了哪些实验？

论文围绕 UniGenBench++ 进行了三类核心实验，分别验证：

主流模型的全面语义能力；
离线评估模型的有效性；
与初版基准的差异消融。

实验规模覆盖 40+ 开源 + 15 闭源 模型，4 种语言/长度条件，27 个子维度，共计 >160 万张生成图像 与 330 万个细粒度标签。具体设置与结果如下：

1. 主实验：横向对比 T2I 模型语义一致性

目的：系统揭示闭源与开源模型在 10×27 维度上的强弱。

变量	设置
模型池	闭源 15 款：GPT-4o、Imagen-3/4 系列、Seedream-3/4、FLUX 系列、Nano Banana 等开源 40+ 款：Qwen-Image、Hunyuan-Image-2.1、Janus 系列、Bagel、SDXL、FLUX.1-dev 等
输入条件	英语短提示 / 英语长提示 / 中文短提示 / 中文长提示（共 4 组）
评估指标	子维度准确率 R_c （公式 4）+ 一级维度平均 + Overall 平均分
评估器	Gemini-2.5-Pro（在线）+ 自训离线模型（仅用于一致性验证，不影响主排名）

主要结论（按语言/长度分组）

条件	Top-3 闭源	Top-3 开源	关键发现
En-Short	GPT-4o (92.8) > Imagen-4-Ultra (91.5) > Nano Banana (87.4)	Qwen-Image (78.8) > Hunyuan-Img-2.1 (74.6) > FLUX-Krea-dev (69.9)	逻辑推理差距最大：开源最高 53.6 vs 闭源 84.9
En-Long	GPT-4o (92.6) > Imagen-4-Ultra (91.0) > Seedream-4 (89.8)	Qwen-Image (83.9) > Hunyuan-Img-2.1 (82.2) > Echo-4o (76.4)	长提示放大语法/关系缺陷：开源 Grammar 平均 <60，闭源 >80
Zh-Short	GPT-4o (91.0) > Seedream-4 (87.3) > Imagen-4-Ultra (83.2)	Qwen-Image (81.0) > Hunyuan-Img-2.1 (77.8) > Echo-4o (72.4)	中文文本生成：开源几乎全军覆没（<3%），闭源 Seedream-4 达 94%
Zh-Long	GPT-4o (90.5) > Seedream-4 (90.3) > Imagen-4-Ultra (83.9)	Hunyuan-Img-2.1 (87.0) > Qwen-Image (86.9) > Echo-4o (78.3)	长中文逻辑推理：闭源平均 80+，开源最高 71

图 1(3) 与表 II–V 给出 27 维细粒度雷达图与数值，显示逻辑推理、语法、关系-包含、文本生成为所有开源模型共同短板。

2. 离线评估模型实验

目的：验证自训模型能否替代 Gemini-2.5-Pro，实现低成本、可复现的社区评测。

步骤	内容
数据	375 k 样本（图+提示+testpoint→r,e），其中 300 k 训练 / 75 k 验证
基座	UnifiedReward-2.0-qwen-72b
训练	标准语言模型目标（公式 5），epoch=1，lr=2e-5，全局 batch=256
评测	用 Gemini-2.5-Pro 作为“真值”，计算 27 子维度准确率

结果（图 5）

平均绝对提升 +9.7%；最难维度 Grammar-Negation 提升 +16.7%。
Pearson 相关系数 0.92（p<0.001），证明离线模型与闭源教师排序一致。
推理速度 ↑≈20×，单卡 A100 评测 600 提示仅需 8 分钟，成本降至 1/50。

3. 消融实验：与 UniGenBench 初版对比

目的：量化“双语+长度+离线模型”带来的增量。

因素	设置	Overall 提升
仅加中文提示	原 553 英短 → 英短+中短	+4.8%（开源平均）
再加长提示	英短+中短 → 英短+英长+中短+中长	+7.3%
再加离线模型	用 Qwen2.5-VL-72b → 自训离线	+9.7%（评估准确率）

综合三步，诊断能力（F1@子维度）从 0.68 → 0.81，显著优于原基准。

4. 鲁棒性验证

重复采样 3 次，Overall 分数 std < 0.4，表明评测稳定。
跨架构一致性：扩散/自回归/混合三类模型在 27 维排名 Kendall τ > 0.89，说明维度设计对架构无偏。

总结

实验从“横向能力对比 → 评测工具验证 → 消融增量分析”三个层面，充分证明：

UniGenBench++ 能细粒度诊断当前 T2I 模型的真实语义缺陷；
自训离线评估模型准确、高效、可复现，可直接替代闭源 API；
双语与长度扩展显著提升了评测覆盖度与鲁棒性，为后续社区研究与 RL 微调提供了可靠基准与奖励信号。

Q: 有什么可以进一步探索的点？

以下方向可被视为 UniGenBench++ 的自然延伸，既呼应其尚未完全解决的短板，也契合 T2I 社区下一步的技术需求。为便于后续研究，按“数据-任务-方法-工具”四象限列出，并给出可验证的指标或原型目标。

1. 数据与场景扩展

方向	可探索点	预期指标/交付
多语言深度化	增加日语、法语、阿拉伯语等低资源语言；考察字符形态（RTL、连体）对文本生成的影响。	新增 3 种语言，每语 600 提示；文本生成子维度 F1 提升 >10%。
跨模态提示	引入语音、草图、参考图作为条件，评测“跨模态语义一致性”。	新建 10k 样本，定义 5 个一级维度（音频→图像、草图→图像…）；Top-1 准确率 >75%。
视频与动态场景	将静态提示扩展为时序描述（“宇航员骑龙穿过土星环，随后龙尾扫过冰晶”），评测动作连贯性与物理合理性。	构建 2k 文本-视频对；提出 Video-27 维度，平均准确率 >65%。

2. 任务与评测维度

方向	可探索点	预期指标/交付
可组合推理	引入多步逻辑链（因果→对比→包含），评测模型能否“按顺序”正确呈现多步语义。	新建子维度 Chain-of-Reasoning，准确率 <60%→>75%。
数值精度	考察“恰好 7 只蓝色独角兽”这类精确计数与精确比例；现有模型在 ≥5 计数时准确率骤降。	子维度 Exact-Count，SDXL 当前 32%→目标 70%。
可编辑一致性	给定同一张图的连续编辑指令（“把龙改成水晶材质，再增加两只角”），评测每次编辑后保留历史语义的能力。	提出 Edit-Consistency 指标，当前最佳 55%→目标 80%。

3. 方法与模型优化

方向	可探索点	预期指标/交付
统一奖励模型	用 UniGenBench++ 的 330 万标签训练多任务奖励模型，同时支持英语/中文、短/长、27 子维度，供 RL 微调直接调用。	单模型 27 维平均 F1>0.85；在 Pref-GRPO 框架下使 SDXL 整体提升 >5%。
链式思考生成	让模型先输出结构化“草图-描述-分镜”，再生成图像，评测能否降低逻辑错误。	逻辑推理子维度准确率提升 >15%；推理延迟增加 <30%。
细粒度控制微调	以子维度标签为条件，引入模块化 cross-attention（颜色→颜色 token，数量→数字 token），实现单维度开关式控制。	颜色/数量/形状单独控制成功率 >90%，其余维度不变性 ≥95%。

4. 工具与社区接口

基准	一级维度	子维度	提示长度	语言	每提示测试点	离线评估模型	主要局限
GenEval	6	无	短	英	1	✗	仅物体检测级对齐，缺子维度
T2I-CompBench	8	无	短	英	1	✗	缺少语法、逻辑、文本生成等维度
DPG-Bench	5	无	长	英	1	✗	仅关注密集提示，缺多语言与细粒度子维度
WISE	6	无	短	英	1	✗	侧重世界知识，缺主题多样性
TIIF-Bench	9	无	短/长	英	1–2	✗	子维度未展开，无中文，无离线模型
UniGenBench++（本文）	10	27	短/长	英+中	1–10	✓	统一覆盖主题、语言、长度、子维度与离线评估

5. 长期挑战

物理与因果一致性：液体不倒流、光影符合三维，需要引入可微物理引擎或神经辐射场监督。
文化-地域公平性：同一提示在不同文化背景下的“正确性”可能冲突，需建立地域化标签。
评估即训练（Eval-to-Train）：让奖励模型与生成模型联合在线迭代，把 UniGenBench++ 从“诊断”升级为“自我改进”的闭环。

可验证的旗舰目标（12 个月）

发布 UniGenBench-V 视频扩展，2k 提示、27 维、平均准确率 >65%。
开源 UniGen-Reward-27B 奖励模型，在 Pref-GRPO 下使任意 5B 扩散模型 Overall +6%。
建立实时诊断插件，社区月活 >10k 次生成评测。

这些探索可直接利用论文已开源的 600 提示、330 万标签与离线模型作为起点，降低启动成本，同时把 T2I 语义评测从“静态基准”推向“动态、可进化、可交互”的下一阶段。

Q: 总结一下论文的主要内容

问题：现有 T2I 语义评测基准存在“场景单一、语言单一、维度粗、无离线工具”四大缺口。
方案：提出 UniGenBench++，600 条英汉双语×长短双版提示，覆盖 5 主题×20 子主题，细拆 10 一级×27 二级维度，每条含 1–10 显式测试点。
评测：用 Gemini-2.5-Pro 点级打分（0/1+理由），蒸馏出可离线运行的 7B 评估模型，27 维平均提升 9.7%，速度↑20×。
实验：40+ 开源与 15 闭源模型横向对比，揭示逻辑推理、语法、关系生成仍为共同短板；开源在中文文本生成几乎归零，闭源最高 94%。
贡献：统一双语多长度细粒度基准 + 可复现离线工具 + 大规模诊断结果，推动 T2I 语义评测进入“细粒度、可进化、社区可用”阶段。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yibin Wang,Zhimin Li,Yuhang Zang,Jiazi Bu,Yujie Zhou,Yi Xin,Junjun He,Chunyu Wang,Qinglin Lu,Cheng Jin,Jiaqi Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18701.pdf

Arxiv URL: https://arxiv.org/abs/2510.18701

Arxiv ID: 2510.18701

CoolPaper URL: https://papers.cool/arxiv/2510.18701

Published: 2025-10-21T14:56:46Z

Updated: 2025-10-21T14:56:46.000Z

5. Chem-R: Learning to Reason as a Chemist

Although large language models (LLMs) have significant potential to advance chemical discovery, current LLMs lack core chemical knowledge, produce unreliable reasoning trajectories, and exhibit suboptimal performance across diverse chemical tasks. To address these challenges, we propose Chem-R, a generalizable Chemical Reasoning model designed to emulate the deliberative processes of chemists. Chem-R is trained through a three-phase framework that progressively builds advanced reasoning capabilities, including: 1) Chemical Foundation Training, which establishes core chemical knowledge. 2) Chemical Reasoning Protocol Distillation, incorporating structured, expert-like reasoning traces to guide systematic and reliable problem solving. 3) Multi-task Group Relative Policy Optimization that optimizes the model for balanced performance across diverse molecular- and reaction-level tasks. This structured pipeline enables Chem-R to achieve state-of-the-art performance on comprehensive benchmarks, surpassing leading large language models, including Gemini-2.5-Pro and DeepSeek-R1, by up to 46% on molecular tasks and 66% on reaction tasks. Meanwhile, Chem-R also consistently outperforms the existing chemical foundation models across both molecular and reaction level tasks. These results highlight Chem-R’s robust generalization, interpretability, and potential as a foundation for next-generation AI-driven chemical discovery.

中文摘要

尽管大语言模型（LLMs）在推动化学发现方面具有显著潜力，但当前的LLMs缺乏核心化学知识，推理路径不可靠，并且在各类化学任务中的表现不够理想。为了解决这些挑战，我们提出了Chem-R，一种可推广的化学推理模型，旨在模仿化学家的深思熟虑过程。Chem-R通过三阶段框架进行训练，逐步建立高级推理能力，包括：1）化学基础训练，用于建立核心化学知识；2）化学推理协议蒸馏，结合结构化的专家级推理轨迹以指导系统且可靠的问题解决；3）多任务组相对策略优化，优化模型在分子级和反应级多样任务中的平衡表现。该结构化流程使Chem-R能够在综合基准测试中达到最先进的表现，超过包括Gemini-2.5-Pro和DeepSeek-R1在内的领先大语言模型，在分子任务上提升高达46%，在反应任务上提高66%。与此同时，Chem-R在分子级和反应级任务中也持续优于现有化学基础模型。这些结果突显了Chem-R的强大泛化能力、可解释性，以及作为下一代人工智能驱动化学发现基础的潜力。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对当前大语言模型（LLM）在化学领域“不会像化学家一样思考”的核心痛点，提出并验证了 Chem-R 框架，旨在系统性地解决以下三大挑战：

化学基础薄弱
现有 LLM 频繁出现 SMILES、IUPAC 等基本分子表示错误，导致后续推理链从一开始就不可靠。
推理过程混乱
模型缺乏类似专家的“先分析官能团→再判断反应类型→最后给出产物”的固定范式，生成的 CoT 冗长、跳跃、易犯事实错误，难以被化学家信任。
多任务性能失衡
即便引入 CoT，模型在分子级与反应级任务间表现差异巨大，强任务持续“压榨”训练信号，弱任务愈发边缘化。

Chem-R 通过三阶段训练管道，依次“打地基、教套路、再平衡”，使 8 B 模型在 25 项化学任务上平均提升 30–60 %，并输出可解释、可验证的“化学家式”推理链。

Q: 有哪些相关研究？

论文将相关研究划分为两条主线，并在第2节（Related Work）中系统梳理：

通用大模型推理增强

Chain-of-Thought 激发：Wei et al. 2022、Kojima et al. 2022 提出零样本/少样本 CoT 提示。
高质量推理链获取：Liu et al. 2023a、Tong et al. 2024 采用拒绝采样；DeepSeek-R1（Guo et al. 2025）用纯 RL 从冷启动训练出长 CoT。
过程级监督：Lightman et al. 2024、Wang et al. 2024 引入逐步奖励；Du et al. 2023、Kirchner et al. 2024 用“生成-验证”双模型架构抑制幻觉。

化学专用大模型

早期潜知识挖掘：Hatakeyama-Sato et al. 2023 证明 GPT-4 已隐含化学知识。
化学指令微调：ChemLLM（Zhang et al. 2024b）、ChemMLLM（Tan et al. 2025）、ChemDFM（Zhao et al. 2025c）等通过大规模分子-文本对进行 SFT，覆盖命名、性质预测、反应预测等任务。
化学推理专用模型：ether0（Narayanan et al. 2025）、ChemDFM-R（Zhao et al. 2025b）引入 RL 或 DPO 以提升多步推理能力，但仍缺乏显式、模块化的“化学家工作流”。

Chem-R 在上述基础上首次提出“化学推理协议（CRP）”概念，把专家级、可复现的逐步范式蒸馏进小模型，并用多任务 GRPO 重新加权，实现既通用又可解释的化学推理。

Q: 论文如何解决这个问题？

论文将“让 LLM 像化学家一样可靠推理”拆解为三个递进瓶颈，对应设计三阶段训练框架，形成 Chem-R 完整解决方案：

1. Chemical Foundation Training（夯基础）

目标：根治 SMILES、IUPAC、反应式等低级错误，让模型“看得懂化学语言”。
数据：920 k 对非推理问答（SMILES↔IUPAC、反应物→产物、性质标签等）。
方法：标准监督微调（SFT），仅输入-输出对齐，不生成中间推理。
效果：模型获得“化学语法检查器”能力，为后续链式思考提供无错起点。

2. Chemical Reasoning Protocol Distillation（教套路）

目标：把杂乱无章的 CoT 升级为“专家级工作流”，可复现、可解释、可纠错。
两步流程
① Protocol Generation
用 70 B 教师模型对同一任务采样 k 条正/负推理路径。
让教师对比正负例，提炼出通用四步模板（如命名任务：解构→找母体→编号→组装），并总结每步易错点。
跨任务合并同类步骤，形成模块化 Chemical Reasoning Protocol（CRP）。

② Protocol-Guided Synthesis & Finetuning

对每条训练题，把“CRP + 正确答案”作为提示，让教师生成严格遵循模板的 CoT。
采用拒绝采样：若根据 CoT 重新生成的答案 ≠ 原答案，则整条丢弃，确保逻辑-结论一致性。
用约 100 k 条高质量（问题，CoT，答案）对进行 SFT，使学生模型内化专家范式。

3. Multi-task Group Relative Policy Optimization（再平衡）

目标：解决“强任务愈强、弱任务愈弱”的跷跷板现象，实现分子-反应全谱均衡。
策略
在验证集上估计各任务准确率 s_t，按

pt = (1-s_t)^α / Σ(1-s(t′))^α

重新加权采样，越弱任务更新越多。

采用 GRPO 组内优势估计，对同一问题生成 G=5 条回答，用 clipped-ratio + KL 正则更新策略，奖励仅基于任务-specific 准确率，无格式奖励。
训练后模型在 9 大任务 25 子集上同时达到 SOTA，且推理链保持高可解释性。

总结

Chem-R 通过“先纠错、再教套路、后调平衡”的三段式 pipeline，把通用 8 B 模型转化为具备化学家级、可验证、跨任务均衡推理能力的化学专用模型，在分子与反应两大族任务上平均领先最强基线 30–60 %。

Q: 论文做了哪些实验？

论文围绕“分子级”与“反应级”两大任务族，在 4 个公开基准、25 项子任务上开展系统实验，并辅以多维度消融与专家评测，具体包括：

1 主实验：全面基准测评

数据集	覆盖任务	指标
ChEBI-20	分子设计（文本→SMILES）、分子描述（SMILES→文本）	Exact Match、BLEU-4
ChemLLMBench	IUPAC↔SMILES 双向命名、性质预测（BBBP/HIV/Tox21/ClinTox/BACE）	Exact Match、Accuracy
TOMG-Bench	分子编辑/优化/定制生成	加权成功率 WSR
USPTO	反应产物预测、逆合成、产率高低判断、试剂选择	Exact Match、Accuracy

对比模型
– 通用基座：Llama-3.1-8B、Llama-3.3-70B、GPT-4o
– 通用推理：Gemini-2.5-Pro、DeepSeek-R1、QWQ-32B
– 化学基座：ChemLLM-20B、ChemDFM-v1.0-13B / v1.5-8B
– 化学推理：ether0-24B
– 任务专用：Chemformer、Uni-Mol、MolT5 等（附录 D）
结果
Chem-R-8B 在 25 子任务全部列第一，平均领先次佳模型 30–60 %；反应相关任务优势最突出，产率预测 0.85（次佳 0.37）、逆合成 0.39（次佳 0.15）。

2 消融实验：三阶段贡献与关键组件

消融对象	典型下降	结论
去掉 Phase-1（基础）	命名 0.49→0.14	低级错误激增
去掉 Phase-2（CRP）	反应预测 0.82→0.00	无推理能力
去掉 Phase-3（GRPO）	逆合成 0.39→0.28	均衡性受损
去掉 CRP 模板	逆合成 0.28→0.20	逻辑松散
去掉正确答案信息	反应预测 0.69→0.13	高质量数据是关键
单任务 vs 多任务	试剂选择 0.46→0.50	多任务带来正向迁移
均匀采样 vs 加权采样	逆合成 0.33→0.39	重加权显著提升弱任务

3 超参与样本效率

k 样本曲线：Phase-2 教师采样 k=5→10 时性能快速提升，k>10 收益饱和；跨任务混合协议可在 k=5 达到 k=20 的 95 % 效果，降低高难任务数据需求。
GRPO 训练曲线：Figure 3(d)(e) 显示 600 步内分子/反应任务同步稳步提升，无过拟合。

4 分布外（OOD）评估

在 ChemCoTBench 四项分子优化任务（Solubility、DRD2、JNK3、GSK3-β）上：

基座 Llama-3.1-8B 成功率 2–10 %
Chem-R 成功率 24–83 %，平均提升 40×，且大幅优于 70 B 级模型 Llama-3.3-70B

5 人类专家盲评

6 维度 0–5 分制（化学正确性、逻辑连贯、步骤完整、结论可信、表达清晰、专家洞察）：

模型	化学正确性	逻辑连贯	专家洞察	平均分
Chem-R	4.75	4.85	4.55	4.60
Gemini-2.5-Pro	3.95	4.25	3.75	4.00
DeepSeek-R1	3.45	3.80	3.20	3.60
ether0	2.15	2.35	1.85	2.20

6 案例可视化

附录 E 给出命名、反应预测、分子设计等 side-by-side 案例，展示 CRP 如何引导模型避免“ benzyne 机制”等典型幻觉，生成与专家一致的逐步逻辑。

综上，实验从基准性能→组件必要性→数据效率→分布外泛化→人类可解释性五个层面，系统验证了 Chem-R 的先进性、鲁棒性与实用价值。

Q: 有什么可以进一步探索的点？

以下方向可被视为 Chem-R 的“直接延伸”或“深层扩展”，具备学术与落地双重价值：

1 三维结构感知推理

现状：Chem-R 仅处理 1D-SMILES / IUPAC。
探索：将 3D 坐标或 2D 图编码为隐式向量，与 CRP 的文本推理流双向融合，实现“看到构象再断键”的立体化学级推理；可借鉴 Chem3DLLM 的跨模态投影器方案。

2 实验条件-产率联合建模

现状：产率预测被简化为二元分类。
探索：构建连续产率 + 反应条件生成的一体化框架：
– 用贝叶尔神经网估计预测不确定性，主动建议“下一步实验”；
– 引入强化学习把“实验成本”作为奖励，实现预算约束下的最优 DOE 策略。

3 可验证推理 = 可执行实验

现状：CRP 只保证逻辑自洽，不与真实 wet-lab 挂钩。
探索：
– 将 CRP 每一步映射到机器人固体加料 / 液体移液动作，形成“语言-动作”对齐数据，用逆强化学习微调，使模型直接输出可执行的 Python-API 脚本（兼容 Opentrons、Hamilton）。
– 在闭环自动化平台运行，失败结果即时回流为“负样本”，实现在线自我修正。

4 多模态“文献-专利”预训练

现状：CRP 数据由教师模型合成，未利用海量文献。
探索：
– 构建“正文-示意图-实验段-支持信息”多模态语料，用 Masked SMILES Modeling + Caption Matching 预训练，再接入 CRP 蒸馏；预期可引入最新反应类型（光氧化、C–H 活化等），降低分布漂移。
– 引入“专利反译”任务：给定 Claims 文本，生成对应通式 Markush 结构，提升模型对 IP 语言的理解。

5 可解释性再下沉：合成子级反事实

现状：CRP 只给出一条正向路径。
探索：
– 对同一产物采样多条逆合成路径，用 Shapley 值量化“哪一步改变对成本/可行性影响最大”，生成反事实解释：“若把 C–N 键断开改为 C–O 键断开，所需催化剂价格上升 3.2×”。
– 为每步提供可点击的文献支持（类似 Perplexity），实现“白盒”决策。

6 安全与伦理护栏

现状：未考虑毒理、法规、双重用途。
探索：
– 在 CRP 模板中显式插入“Safety & Compliance”步骤，调用 RTECS、REACH、ITFG 数据库 API 进行实时检查；若生成分子落入 Schedule 1 或 PAINS 框架，自动触发“拒绝回答”或“替代结构建议”。
– 构建红队数据集，评估模型对“如何合成剧毒/爆炸物”提问的鲁棒性，并用 RLHF 进行对抗式加固。

7 轻量化与边缘部署

现状：8 B 模型仍需多卡推理。
探索：
– 对 CRP 进行“子图-token”对齐剪枝：若某任务只需识别酯交换，则保留相关注意力头，其余稀疏化，实现 2 B 级别单卡实时推理。
– 结合 4-bit 量化 + speculative decoding，在笔记本端达到 30 token/s，满足通风橱旁即时交互需求。

8 持续学习 = 化学空间永不膨胀

现状：训练完成后权重静态。
探索：
– 采用 Elastic Weight Consolidation（EWC）（ Kirkpatrick et al. 2017）或 LoRA-Replay，定期用内部新实验数据微调，避免遗忘旧知识；为每类反应维护“记忆缓冲区”，实现终身化学家助手。

9 跨语言与本地化

现状：仅英文 CRP。
探索：
– 构建中文、德文、日文专利平行语料，验证 CRP 模板是否在不同语言文化下保持“同一逻辑同一结论”；评估发现中文专利更侧重“产率-成本”逻辑，可反向丰富英文 CRP 的奖励函数。

10 开放基准与社区挑战

现状：作者自建 25 子任务。
探索：
– 推出“Chem-RBench-Live”月度榜：公开接受社区提交的新反应，模型需在 24 h 内给出产率预测 + 实验方案 + 成本估算，真正与全球实验室实时比拼；失败案例即时入库，形成持续更新的“活基准”。

以上任意一条均可直接接入 Chem-R 现有三阶段框架，在数据、奖励或推理模板层面做“插件式”升级，为下一代 AI 化学发现提供持续动力。

Q: 总结一下论文的主要内容

Chem-R: Learning to Reason as a Chemist
一句话总结：用三阶段训练把通用 8 B 模型改造成“化学家脑”，在 25 项分子/反应任务上全面 SOTA，且输出可验证、可解释的逐步推理链。

1 背景痛点

现有 LLM 常犯 SMILES/IUPAC 低级错误 → 推理链一开始就崩。
CoT 杂乱无章，像“脑洞”而非“实验记录”，化学家不敢用。
多任务跷跷板：强任务压榨训练信号，弱任务被忽视。

2 Chem-R 三阶段框架

阶段	目标	数据/方法	关键产出
1. Chemical Foundation	消灭低级错误	920 k 非推理问答（SMILES↔IUPAC、反应→产物）（SFT）	化学“语法检查器”
2. CRP Distillation	教专家级套路	① 教师模型采样→提炼四步通用模板（解构→母体→编号→组装）+ 易错警示② 用模板+正确答案重生成 CoT → 拒绝采样保留自洽链（SFT）	Chemical Reasoning Protocol（CRP）：可复现、可纠错
3. Multi-task GRPO	平衡多任务	按验证准确率 (1-s_t)^α 重加权采样 → GRPO 组内优势估计+KL 正则（RL）	弱任务不掉线，全谱提升

3 实验结果

25 子任务全部第一；反应任务领先最猛：
– 产率预测 0.85（次佳 0.37）
– 逆合成 0.39（次佳 0.15）
消融：缺任一阶段性能崩；CRP 模板与“正确答案信息”缺一不可。
OOD：ChemCoTBench 四项分子优化成功率提升 4–8×。
人类盲评（6 维度 0–5）：Chem-R 平均 4.6，显著高于 Gemini-2.5-Pro、DeepSeek-R1、ether0。

4 贡献清单

提出首个“化学家式”推理模型 Chem-R，8 B 尺寸即可领先 70 B 通用模型。
创新 CRP 蒸馏：把专家工作流转 modular、可复用文本模板，解决 CoT 幻觉。
多任务 GRPO 重加权：首次在化学领域实现“难易任务同步提升”的 RL 训练。
建立新标杆：代码、模型、CRP 模板全部开源，供社区继续扩展。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Weida Wang,Benteng Chen,Di Zhang,Wanhao Liu,Shuchen Pu,Ben Gao,Jin Zeng,Lei Bai,Wanli Ouyang,Xiaoyong Wei,Tianshu Yu,Tianfan Fu,Shuzhou Sun,Jiatong Li,Zifu Wang,Yuqiang Li,Shufei Zhang

Categories: cs.CE

PDF URL: https://arxiv.org/pdf/2510.16880.pdf

Arxiv URL: https://arxiv.org/abs/2510.16880

Arxiv ID: 2510.16880

CoolPaper URL: https://papers.cool/arxiv/2510.16880

Published: 2025-10-19T15:27:13Z

Updated: 2025-10-19T15:27:13.000Z

6. MoGA: Mixture-of-Groups Attention for End-to-End Long Video Generation

Long video generation with Diffusion Transformers (DiTs) is bottlenecked by the quadratic scaling of full attention with sequence length. Since attention is highly redundant, outputs are dominated by a small subset of query-key pairs. Existing sparse methods rely on blockwise coarse estimation, whose accuracy-efficiency trade-offs are constrained by block size. This paper introduces Mixture-of-Groups Attention (MoGA), an efficient sparse attention that uses a lightweight, learnable token router to precisely match tokens without blockwise estimation. Through semantic-aware routing, MoGA enables effective long-range interactions. As a kernel-free method, MoGA integrates seamlessly with modern attention stacks, including FlashAttention and sequence parallelism. Building on MoGA, we develop an efficient long video generation model that end-to-end produces minute-level, multi-shot, 480p videos at 24 fps, with a context length of approximately 580k. Comprehensive experiments on various video generation tasks validate the effectiveness of our approach.

中文摘要

使用扩散变换器（DiTs）进行长视频生成的瓶颈在于全注意力随序列长度的二次增长。由于注意力高度冗余，输出主要由少数查询-键对主导。现有的稀疏方法依赖于块级粗略估计，其精度与效率的权衡受到块大小的限制。本文提出了组混合注意力（MoGA），这是一种高效的稀疏注意力机制，使用轻量级的可学习令牌路由器，无需块级估计即可精确匹配令牌。通过语义感知路由，MoGA能够实现有效的长程交互。作为一种无内核方法，MoGA可无缝集成到现代注意力堆栈中，包括FlashAttention和序列并行。在MoGA的基础上，我们开发了一种高效的长视频生成模型，可端到端生成分钟级、多镜头、480p分辨率、24帧/秒的视频，上下文长度约为58万。对各种视频生成任务的全面实验验证了我们方法的有效性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决“基于 Diffusion Transformer（DiT）的端到端长视频生成”中的核心瓶颈——全注意力（full attention）随序列长度呈二次方增长的计算复杂度。具体而言，论文关注以下关键问题：

长视频（如分钟级、多镜头、480p@24 fps，上下文约 580 k token）生成时，全注意力计算量巨大，难以在有限资源下端到端训练与推理。
现有稀疏注意力方法普遍采用“块级粗估计”策略，在效率与精度之间受块大小掣肘，无法做到 token 级精准匹配。
多阶段流水线或历史压缩方案会引入手工偏置、信息丢失或误差累积，难以保证跨镜头一致性与端到端优化。

为此，论文提出 Mixture-of-Groups Attention (MoGA)，通过轻量级、可学习的 token 路由器把相关 token 动态分配到若干组，并在组内执行全注意力，从而以 kernel-free 方式实现：

精准、语义感知的稀疏注意力，避免块级相似度混淆；
与现代注意力栈（FlashAttention、序列并行）无缝兼容；
端到端生成分钟级、多镜头、高帧率长视频，同时保持角色身份、背景与运动一致性。

Q: 有哪些相关研究？

论文在第 2 节系统回顾了与“长视频生成”和“稀疏注意力”两条主线相关的研究，可归纳为以下脉络（按出现顺序整理，不重复引用标号）：

长视频生成范式

多阶段（Multi-stage）方法

先规划关键帧，再逐段补全中间帧。
代表：Captain Cinema、Filmaster、StoryAnchors、VideoTetris、Nuwa-XL 等。
缺点：分段目标不一致，误差累积，手工偏置强，难以端到端优化。

自回归（Autoregressive）方法

逐段顺序生成，用短期/长期记忆或层次化因果表示维持一致性。
代表：Diffusion Forcing、StreamingT2V、FAR、CasusVid、MAGI-1 等。
缺点：生成时长有限，或难以在真实场景下保持多镜头一致性。

上下文压缩（Context-compression）方法

通过循环层、重要性采样、帧打包等方式把历史信息压缩到固定计算预算。
代表：TTT、FramePack、Lovic 等。
缺点：信息丢失，难以维持长距离语义依赖。

端到端长上下文（Full-attention）方法

直接在超长序列上跑全注意力，如 LCT；
受限于二次复杂度，只能在小窗口或短片段内实现。

视频生成中的稀疏注意力

静态先验（Static-prior）方法

利用时空局部性先验，固定 3D 滑窗、径向窗口或在线模式选择。
代表：STA、SVG、Radial Attention 等。
缺点：无法捕捉动态长距离依赖，跨镜头一致性差。

粗到细动态稀疏（Coarse-to-fine Dynamic）方法

先对连续时空块做粗粒度打分，再选 top-k 块做细粒度注意力。
代表：VSA、VMoBA、MoBA 等。
缺点：块大小决定效率-精度权衡，块级相似度易混淆；块越小，粗阶段开销越大。

在线聚类稀疏（Training-free Clustering）方法

推理阶段对 token 做 k-means 聚类，选 top-k 簇中心参与注意力。
代表：SVG2。
缺点：前向需额外聚类迭代，不可微，难以端到端训练。

与本文最相近的研究

MoE/Token-Routing 思想：Switch Transformer、ST-MoE 等，用可学习门控把 token 路由到专家子网络。
组内注意力（Group-wise Attention）：FlashAttention、序列并行框架，支持在任意 token 子集上高效执行标准 attention。
多镜头文本条件：EchoShot、IC-LoRA 等，通过关键帧或跨模态 attention 实现镜头级文本控制。

MoGA 与上述工作的核心区别：

摒弃“块级粗估计”，首次在视频 DiT 中引入可端到端训练的轻量级 token 路由器，实现精准语义分组；
无需额外 k-means 或手工窗口，** kernel-free** 兼容 FlashAttention 与序列并行；
支持分钟级、多镜头、480p@24 fps 端到端生成，兼顾长距离一致性与局部连续性。

Q: 论文如何解决这个问题？

论文提出 Mixture-of-Groups Attention（MoGA），用“可学习的 token 路由器”替代传统稀疏注意力的“块级粗估计”，在端到端训练中同时完成 精准分组 与 高效长上下文建模。核心思路与实施步骤如下：

1. 问题重述

全注意力复杂度 O(N^2) 随帧数二次增长，分钟级视频（≈580 k token）不可行。
现有稀疏方案：
– 静态窗口：无法捕捉跨镜头长依赖。
– 粗到细块选择：块大小固定，相似度混淆，效率-精度难兼顾。
目标：在 kernel-free、无手工偏置 的前提下，实现 token 级精准稀疏 并兼容 FlashAttention/序列并行。

2. MoGA 核心设计

2.1 轻量级 Token 路由器

单层线性 + Softmax：

r = Router(x)∈R^M,quad p(i|x)=softmax(r)_i

直接输出 分组概率，无需全局相似度矩阵；权重即 可学习的聚类中心。

2.2 动态分组与组内全注意力

硬分配： g(x)=argmax_i p(i|x)
组内执行标准 Self-Attention：

MoGA(x)=p(g(x)|x)·SA!(q,K(g(x)),V(g(x)))

复杂度降至 O(N^2/M) （均匀分配下界）。

2.3 组平衡损失

防止路由器塌陷到少数组：

L(gb)=α∑(i=1)^M Fi P_i,quad F_i=(1) / (N)∑_x 1(g(x)=i),, Pi=(1) / (N)∑(g(x)=i)p(g(x)|x)

目标最小化时对应均匀分布。

2.4 与局部窗口互补：Spatial-Temporal Group Attention (STGA)

静态预分组：空间 2×2 （或 4×4 ）+ 时间滑窗；
仅做局部注意力，保证 短程连续性；
镜头边界处 跨组共享 KV（仅增 2 帧），抑制切换闪烁。

2.5 镜头级文本条件

在 Cross-Modal Attention 中为每镜头引入独立短文本嵌入，实现 精准时间轴控制。

3. 数据管道（保障多镜头分钟级训练）

视频级：VQA+OCR 过滤 → AutoShot+PySceneDetect 分镜 → 单镜头池。
镜头级：去水印、最大面积裁剪 → MLLM 生成稠密 caption → 相邻镜头合并成 ≤65 s 多镜头样本，修剪过渡帧。

4. 系统级兼容

Kernel-free：分组后调用现有 flash_attn 接口，支持任意组形状。
序列并行：在 all-gather 前同步路由结果，保证跨卡 token 归属一致。
训练策略：先 10 s 短片段 3 k 步，再 30 s 长片段 1 k 步，稳定收敛。

5. 效果总结

稀疏度 71.25 % 下，5 s 单镜头多项质量指标 ≥ 全注意力 baseline；
10 s 多镜头 在 Cross-Shot CLIP/DINO 上优于 EchoShot（全注意力）；
30 s–60 s 分钟级视频 端到端生成，FLOPs 降低 3×，训练/推理提速 1.7×，角色身份与背景一致性显著提升。

通过“可学习 token 路由 → 语义分组 → 组内全注意力”这一简洁框架，MoGA 在 不修改注意力内核 的前提下，实现了长视频生成的 精度-效率-可扩展性 统一。

Q: 论文做了哪些实验？

论文围绕 单镜头短片段 → 多镜头中片段 → 多镜头长片段 三级尺度，系统对比了 稀疏注意力性能 与 多镜头视频生成质量，并辅以消融与可视化分析。主要实验如下：

1 实验设置概览

维度	配置
基线模型	Wan2.1-1.3B / 14B；自研 MMDiT-48层（更长上下文）
训练数据	自建多镜头 480p 数据集，单条 5–65 s，总时长未披露
训练步数	两阶段：10 s 片段 3 k 步 → 30 s 片段 1 k 步；lr=1e-5
MoGA 超参	M=5（Wan）或 20（MMDiT）；空间窗口 2×2 或 4×4；平衡损失权重 α=0.1
评估指标	VBench 全套（主体/背景一致性、运动平滑度、美学、图像质量）+ 跨镜头 CLIP/DINO 相似度

2 主实验结果

2.1 单镜头 5 s 视频（300 文本提示）

方法	稀疏度	主体↑	背景↑	运动↑	美学↑	图像↑
Wan-14B（全注意力）	0 %	0.9611	0.9560	0.9936	0.5807	0.6680
DiTFastAttn	50 %	0.9456	0.9394	0.9924	0.5269	0.6466
SVG	50 %	0.9002	0.8926	0.9870	0.5370	0.6357
VMoBA	31 %	0.8605	0.8876	0.9789	0.5369	0.6111
MoGA	71 %	0.9699	0.9542	0.9927	0.5810	0.6994

更高稀疏度下全部质量指标≥全注意力，验证精准路由优于块级稀疏。

2.2 多镜头 10 s 视频（100 剧本）

方法	主体↑	背景↑	运动↑	美学↑	图像↑	Cross-DINO↑	Cross-CLIP↑
IC-LoRA+Wan	0.9476	0.9538	0.9901	0.5237	0.6684	0.4669	0.7169
EchoShot	0.9544	0.9518	0.9939	0.5718	0.6534	0.5961	0.8469
MoGA	0.9549	0.9597	0.9919	0.5890	0.6729	0.6623	0.8654

跨镜头一致性显著优于全注意力 EchoShot，说明稀疏化反而抑制噪声。

2.3 多镜头 30 s 视频（11 剧本×105 提示）

方法	主体↑	背景↑	运动↑	美学↑	图像↑
IC-LoRA+Wan	0.8946	0.9169	0.9872	0.5759	0.6835
MoGA-Wan14B	0.9572	0.9475	0.9893	0.5789	0.6993
MoGA-MMDiT	0.9305	0.9301	0.9895	0.5881	0.6996

端到端 MoGA 全面超越多阶段流水线，最长 60 s、1441 帧、578 k token 仍可保持高视觉保真。

3 消融与效率分析

3.1 计算效率（Wan2.1-1.3B，30 s）

注意力	FLOPs	内存	训练/推理提速
Full	6.94 PFLOPs	基准	1×
MoGA M=5	2.26 PFLOPs	相同	1.71×
MoGA M=20	1.22 PFLOPs	相同	≈1.75×

线性随 M 减小，无额外内存开销（对比 VMoBA 需块索引缓冲）。

3.2 组数 M 的敏感性（10 s 视频，固定预算）

M	Cross-DINO↑	Cross-CLIP↑	稀疏度	PFLOPs
1	0.8206	0.5919	0 %	0.88
2	0.8589	0.6761	41 %	0.59
4	0.8672	0.6853	66 %	0.42
8	0.8606	0.6910	79 %	0.36
16	0.8569	0.6896	81 %	0.35

M=4–5 为最佳平衡点，过稀疏会削弱全局交互。

3.3 组平衡损失必要性

无损失时路由器迅速塌陷（Fi 极不均匀），导致一致性指标下降 >5 %。
加入后平衡指标快速收敛至 1，训练稳定。

3.4 MoGA vs. STGA 单独作用

仅 MoGA：长距离一致但局部不连续，出现伪影。
仅 STGA：局部平滑但跨镜头身份漂移。
二者结合：互补，可视化中帽子、服装、背景均保持跨镜头一致。

4 可视化与扩展

30 s 八镜头剧情：MoGA 人物帽子、面部特征全程一致；IC-LoRA 出现身份漂移；EchoShot 拼接处背景跳变。
1 分钟 1441 帧：发丝、耳环、背景橱柜位置自动维持一致，无需额外提示。
动画风格：2D 卡通、水墨等多风格 60 s 视频仍保持时序连贯，验证泛化性。

5 结论

实验覆盖 稀疏度-质量-效率 三维权衡，证明：

MoGA 在 >70 % 稀疏度 下仍持平或超越全注意力；
端到端多镜头分钟级视频生成 在多项主客观指标上超越现有最强流水线与稀疏注意力方案；
路由器、组平衡损失、局部窗口三者缺一不可，且与现代注意力内核完全兼容。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为 算法-模型、系统-工程、数据-评测、应用-场景 四个层面，均与 MoGA 的核心思想（可学习 token 路由 + 组内注意力）直接相关。

算法-模型层面

动态组数 M

目前 M 固定；可引入 样本依赖或层依赖 的路由，使 M 随内容复杂度或序列长度自适应变化，进一步节省计算。

层次化路由

先粗粒度“镜头级”路由，再细粒度“语义实体级”路由，形成 两级 MoGA，兼顾跨镜头一致性与局部细节。

跨模态联合路由

当前文本条件仅作用于 Cross-Attention；可将文本特征拼入 router 输入，实现 文本-视觉联合分组，提升剧本驱动的一致性。

可微软分配

目前用 hard-assignment + 梯度截断；可探索 稀疏 Soft-MoGA（Top-k 组加权），使梯度更平滑，支持更深网络。

时间维度因果约束

在自回归或蒸馏框架下，为路由引入 因果掩码，保证生成阶段只能看到历史帧，实现 Streaming-MoGA。

与压缩-召回机制互补

将 MoGA 选出的关键组作为 记忆槽，配合帧级压缩器（如 VAE 潜码或 Token 合并），实现 “稀疏+压缩”混合长上下文。

系统-工程层面

Kernel 级融合

把路由索引生成、permute、flash_attn、re-permute 三部分写成 单 CUDA kernel，减少 PCIe 往返，进一步提速。

动态负载均衡并行

当 M 较大时，不同组 token 数差异会导致 GPU warp 空转；可借鉴 MoE 的 expert parallelism + token padding 策略，实现组级负载均衡。

量化-稀疏协同

对 router 权重与 attention 权重做 INT8/INT4 量化，结合 MoGA 的稀疏模式，实现 “量化稀疏 Attention”，推向边缘端部署。

异构计算

Router 计算量极小，可 offload 到 CPU/GPU Graph 或 DPU，让 GPU 仅执行 FlashAttention，提高整体利用率。

数据-评测层面

更长、更密、更复杂剧本

构建 5–10 分钟多故事线 数据集，引入角色对白、场景往返、闪回等叙事结构，验证 MoGA 对 超长依赖（>2 M token） 的极限。

细粒度一致性指标

除 CLIP/DINO 外，引入 人脸身份向量（ArcFace）、服饰纹理哈希、3D 场景深度一致性 等，自动量化 “同一角色不同角度” 的保真度。

路由可解释性评测

可视化 router 权重空间，计算 组间语义纯度（SILhouette score） 与 跨镜头组稳定性，衡量路由是否真正捕获“实体”而非噪声。

应用-场景层面

交互式长视频编辑

利用 MoGA 的分组特性，支持 “组级掩码编辑”（如只替换某角色组 token），实现 局部重绘+时序自动传播。

360°/VR 长视频

将全景图块作为 token，router 自动把 相邻视角 或 同一物体 分到一组，降低 360° 视频生成的全局注意力开销。

多风格一致化

在动画、卡通、像素风等风格下，验证 router 是否仍能 跨风格识别同一语义实体，推动 风格迁移长视频 落地。

实时流媒体生成

结合因果 Streaming-MoGA 与帧级缓存，实现 “边生成边播放” 的直播级应用，探索延迟-质量权衡。

理论-基础层面

稀疏注意力表达能力

从 表达能力/逼近论 角度，证明 MoGA 类路由注意力对长距离依赖的 Universal Approximation 性质，给出组数 M 与误差 ε 的理论下界。

路由 collapse 的相变分析

用 动力系统 工具分析平衡损失权重 α 与 router 塌陷临界点，指导 α 的自适应调度。

与 Operator Learning 的联系

把 router 视为 学习到的稀疏矩阵结构，探讨其与 稀疏算子学习、稀疏图神经网络 的数学同构性，引入更多图算法优化分组。

以上方向既有 短平快的工程增量，也包含 长线理论与新场景探索，可分层推进，持续释放 MoGA 的潜力。

Q: 总结一下论文的主要内容

问题：Diffusion Transformer 做端到端长视频生成时，全注意力 O(N^2) 随帧数爆炸；现有稀疏方案用块级粗估计，效率-精度受块大小掣肘，且难以保持跨镜头一致性。
方法：提出 Mixture-of-Groups Attention（MoGA）——轻量级可学习 token 路由器把相关 token 动态分到 M 组，组内执行标准 FlashAttention，复杂度降至 O(N^2/M) ，无需手工窗口或额外 k-means。辅以组平衡损失、局部时空窗口注意力和镜头级文本条件，兼顾长距离一致与局部连续。
数据：自建分钟级多镜头 480p 数据集（5–65 s），含稠密镜头 caption 与干净边界。
实验：
– 单镜头 5 s：71 % 稀疏度下各质量指标 ≥ 全注意力 baseline。
– 多镜头 10 s：跨镜头 CLIP/DINO 相似度超越 EchoShot 等全注意力方案。
– 多镜头 30–60 s：端到端生成 1441 帧/578 k token，FLOPs 降低 3×，训练推理提速 1.7×，主体与背景一致性显著优于多阶段流水线。
结论：MoGA 用“可学习路由+组内注意力”实现 kernel-free、高稀疏、高保真的长视频生成，为分钟级、多镜头、480p@24 fps 的端到端 DiT 模型提供了可扩展的注意力范式。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Weinan Jia,Yuning Lu,Mengqi Huang,Hualiang Wang,Binyuan Huang,Nan Chen,Mu Liu,Jidong Jiang,Zhendong Mao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18692.pdf

Arxiv URL: https://arxiv.org/abs/2510.18692

Arxiv ID: 2510.18692

CoolPaper URL: https://papers.cool/arxiv/2510.18692

Published: 2025-10-21T14:50:42Z

Updated: 2025-10-21T14:50:42.000Z

7. Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs

While Multimodal Large Language Models (MLLMs) excel at holistic understanding, they struggle in capturing the dense world with complex scenes, requiring fine-grained analysis of intricate details and object inter-relationships. Region-level MLLMs have been a promising step. However, previous attempts are generally optimized to understand given regions in isolation, neglecting crucial global contexts. To address this, we introduce Grasp Any Region (GAR) for comprehen- sive region-level visual understanding. Empowered by an effective RoI-aligned feature replay technique, GAR supports (1) precise perception by leveraging necessary global contexts, and (2) modeling interactions between multiple prompts. Together, it then naturally achieves (3) advanced compositional reasoning to answer specific free-form questions about any region, shifting the paradigm from passive description to active dialogue. Moreover, we construct GAR-Bench, which not only provides a more accurate evaluation of single-region comprehension, but also, more importantly, measures interactions and complex reasoning across multiple regions. Extensive experiments have demonstrated that GAR-1B not only maintains the state-of-the-art captioning capabilities, e.g., outperforming DAM-3B +4.5 on DLC-Bench, but also excels at modeling relationships between multiple prompts with advanced comprehension capabilities, even surpassing InternVL3-78B on GAR-Bench-VQA. More importantly, our zero-shot GAR-8B even outperforms in-domain VideoRefer-7B on VideoRefer-BenchQ, indicating its strong capabilities can be easily transferred to videos.

中文摘要

虽然多模态大语言模型（MLLMs）在整体理解方面表现出色，但它们在捕捉复杂场景中的密集世界时仍然存在困难，这需要对复杂细节和对象之间的关系进行精细分析。区域级MLLMs一直是一个有前景的尝试。然而，以往的尝试通常优化于孤立地理解给定区域，忽略了关键的全局上下文。为了解决这一问题，我们提出了Grasp Any Region（GAR）方法，用于全面的区域级视觉理解。借助有效的RoI对齐特征重放技术，GAR支持： (1) 利用必要的全局上下文实现精确感知；(2) 对多个提示之间的交互进行建模。综合起来，它能够自然实现 (3) 高级组合推理，以回答关于任何区域的特定自由格式问题，从被动描述转向主动对话。此外，我们构建了GAR-Bench，它不仅提供对单区域理解更准确的评估，更重要的是，可以衡量多区域之间的交互和复杂推理。大量实验表明，GAR-1B不仅保持了最先进的描述生成能力，例如在DLC-Bench上以+4.5分超越DAM-3B，同时在建模多提示关系和高级理解能力方面表现出色，甚至在GAR-Bench-VQA上超越InternVL3-78B。更重要的是，我们的零样本GAR-8B甚至在VideoRefer-BenchQ上超越了同领域的VideoRefer-7B，表明其强大的能力可以轻松迁移到视频领域。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决现有多模态大语言模型（MLLM）在区域级视觉理解中的三大缺陷：

孤立区域理解：已有方法通常仅对单个提示区域进行孤立分析，忽视全局上下文，导致误判（如将青蛙造型拖鞋识别为真实青蛙）。
细节与上下文不可兼得：采用局部裁剪或池化特征的策略，要么丢失全局信息，要么牺牲局部细节。
缺乏多区域交互与组合推理能力：现有基准与模型均侧重单区域描述，无法处理多提示间的复杂关系及高阶推理任务。

为此，作者提出 Grasp Any Region（GAR） 框架，通过 RoI-aligned 特征回放 技术，在单次前向传递中同时获得：

高保真局部细节
全局上下文感知

从而支持：

精准单区域描述
多提示间关系建模
组合推理（如非实体识别、位置推理、多物交互）

并配套构建 GAR-Bench 基准，系统评估单区域、多提示交互及复杂推理能力。

Q: 有哪些相关研究？

论文在第 2 节“Related Works”中将相关研究划分为三大主线，并指出各自与 GAR 的差异。以下按主线归纳，并给出代表性文献编号（对应论文参考文献序号）。

1. 通用多模态大语言模型（General MLLMs）

典型范式：冻结视觉编码器（CLIP-ViT 等）+ 线性/MLP 投影 → 大语言模型。
代表工作：
LLaVA 系列
26, 27
Qwen2.5-VL
1
InternVL3
66
GPT-4o
31
、Gemini-2.5-Pro
10
等闭源模型
共同缺陷：缺乏细粒度定位能力，只能对整图进行全局问答，无法按需“聚焦”任意区域。

2. 区域级多模态大语言模型（Region-Level MLLMs）

按区域表示方式细分：

表示方式	代表方法	主要局限
视觉标记	Set-of-Mark [54]	需手工设计标记，难以端到端优化
边界框	Shikra [3]、GPT4RoI [64]、Ferret [58]	只能处理矩形框，无法精确到像素掩膜
分割掩膜	Osprey [60]、DAM [22]、PAM [25]	仅支持单掩膜提示，且裁剪或池化后丢失全局上下文

GAR 与上述方法的核心区别：

支持任意数量掩膜提示同时输入；
通过 RoI-aligned 特征回放 在不裁剪的前提下同时保留局部细节与全局上下文。

3. 区域级评测基准（Region-Level Benchmarks）

基准	评测重点	是否支持多提示交互	是否包含组合推理
RefCOCO/RefCOCOg	指代表达理解	×	×
Ferret-Bench [58]	单区域详细描述	×	×
DLC-Bench [22]	单区域详细描述	×	×
MDVP-Bench [24]	单区域描述+OCR	×	×
GAR-Bench（本文）	单区域+多提示关系+组合推理	√	√

小结

GAR 在架构层面通过“全局一次编码 + RoI 特征回放”统一解决局部细节与全局上下文矛盾；在任务层面首次将多提示交互与组合推理纳入端到端训练与评测，填补了区域级 MLLM 研究的空白。

Q: 论文如何解决这个问题？

论文提出 Grasp Any Region（GAR） 框架，从架构设计、数据管线与评测协议三条线同步解决“区域级理解”中的核心痛点。关键手段可概括为：

1. 架构：RoI-aligned Feature Replay

单次全局编码
用 AnyRes 策略把整图+全部掩膜提示一次性送入 ViT，得到全局特征图 F∈R^(H× W× C) ，保证上下文不丢失。
掩膜嵌入
二进制掩膜 M_i 经轻量卷积→零初始化 mask embedding，与对应 patch 嵌入相加，实现无参数增量的空间提示。
RoI-Align 特征回放
对每个提示掩膜 M_i 计算其最小外接框，在 F 上直接 RoI-Align 提取固定长度向量 v_i 。
由于 v_i 来自完整场景特征图，天然携带全局语境，同时保持亚像素级局部细节，避免裁剪或池化带来的信息降质。
统一输入 LLM
全局特征 + 所有 v_i 拼接后投影到词嵌入空间，与文本指令一起喂入 LLM，实现单前向即可完成多区域关系推理。

2. 数据：GAR-2.5M 分层生成管线

阶段	目标	关键操作	规模
Round 1	单区域细粒度识别	在 Describe-Anything-1.5M 上微调 seed captioner → 引入 ImageNet-21K 细分类标签 → LLM 校验得到 456 K 高质量描述	456 K
Round 2	多提示关系建模	引入 PSG 全景场景图 → 用 Qwen2.5-72B 作为 LLM-Merger，生成① 关系感知描述 144 K② 关系问答对 144 K③ 多选题 126 K	414 K
合并	统一训练集	上述三部分+原始描述数据混合，得到 GAR-2.5M	2.5 M

3. 评测：GAR-Bench 双协议

GAR-Bench-Cap
评估模型能否用一句连贯自然语言同时描述多个提示之间的空间/动作/语义关系，而非独立罗列单区域描述。
GAR-Bench-VQA
细分为
Perception：颜色、形状、材质、纹理（单区域基本属性）
Reasoning：
– Position：全局序数位置推理
– Non-Entity：识别镜像、阴影、屏幕内容等非实体
– Relation：多提示间复杂关系，含冗余干扰

所有题目均为多选题，经四轮 SOTA 模型“难度过滤”，保证挑战性。

4. 结果验证

1B 模型在 GAR-Bench-VQA 上超越 InternVL3-78B（50.6 vs 50.5）。
8B 零样本在 VideoRefer-BenchQ 上击败领域内 VideoRefer-7B（72.0 vs 71.9），证明静态图像训练即可迁移到视频场景。
在 DLC-Bench、Ferret-Bench、MDVP-Bench 等区域描述任务上全部取得新 SOTA。

一句话总结

GAR 通过“全局一次编码 + RoI 特征回放”实现不丢上下文的高保真区域特征提取，配合百万级多提示关系数据与专门评测基准，首次让 MLLM 在任意数量掩膜提示下完成精准感知+多区域交互+组合推理的三级跳。

Q: 论文做了哪些实验？

论文在实验部分（§4 及附录 §C、§D）系统验证了 Grasp Any Region（GAR） 在区域级理解与通用多模态能力两方面的有效性。实验可归纳为 6 大任务群、18 个基准、2 组消融，覆盖单区域、多区域、图像、视频、零样本与领域内对比。

1. 区域级理解实验

任务群	基准	评测重点	主要结果（SOTA 以 ★ 标出）
单区域详细描述	DLC-Bench [22]	多句细粒度 caption	★ GAR-1B/8B 77.1/77.0（+3.0↑ 超 DAM-3B）
Ferret-Bench [58]	指代表达+OCR	★ GAR-8B 64.8（全指标第一）
MDVP-Bench [24]	多面板/截图/自然图	★ GAR-8B 178.6（领先第二名 50+ 分）
多区域关系描述	GAR-Bench-Cap	多提示交互 caption	★ GAR-1B/8B 57.5/62.2（超 Gemini-2.5-Pro 59.3）
区域问答推理	GAR-Bench-VQA	感知+推理共 424 题	★ GAR-1B 50.6（> InternVL3-78B 50.5）★ GAR-8B 59.9（> GPT-4o 53.5）
开放词汇识别	LVIS [15] / PACO [36]	类别+部件语义 IoU	★ GAR-8B 88.7/91.8 IoU（新最佳）

2. 视频迁移实验（零样本）

基准	子任务	结果
VideoRefer-BenchD [61]	单帧/多帧详细描述	GAR-8B 3.44/3.25（> DAM-8B 3.34/3.03）
VideoRefer-BenchQ [61]	关系/时序/未来推理	★ GAR-8B 72.0（> 领域内 VideoRefer-7B 71.9）

3. 通用多模态能力验证

基准	任务类型	GAR-8B 得分	对比
V* [51]	视觉搜索	59.2	> DAM-3B 45.0
MMVP [43]	视觉错觉	78.0	> DAM-3B 60.7
RealWorldQA [53]	真实世界知识	58.7	> DAM-3B 54.3
MMStar [4]	细粒度视觉感知	43.9	> DAM-3B 39.7

4. 消融实验

4.1 架构消融（表 8/9）

baseline1：仅局部裁剪图 → GAR-Bench VQA 37.8
baseline2：DAM 式 zero 初始化交叉注意力 → 40.0
baseline3：全局图+局部裁剪图拼接 → 36.6
GAR：RoI-aligned 特征回放 → 50.6（+10↑ 以上）

在 PerceptionLM-1B、Qwen2.5-VL-3B、InternVL3-2B 三种底座上重复，回放机制均带来 >+8 的一致提升。

4.2 数据消融（表 10）

仅用 Seed-1.5M → GAR-Bench-Cap 13.8
+Fine-Grained 456K → 14.2（DLC +3.1）
+Relation 414K → 57.5（+43↑ 巨幅跃升，验证多提示数据关键性）

5. 定性分析

图 5：DLC-Bench 样例，GAR-8B 利用全局语境正确识别“微波炉 vs 木质橱柜”，DAM-3B 误为“衣柜”。
图 7/8：GAR-Bench-VQA 关系与非实体样例，展示 GAR-8B 能捕捉“人并未真正读书”“镜像非实体”等细节，而 Gemini-2.5-Pro / o3 失败。
图 9/10：视频描述与未来预测失败案例，揭示静态图像模型在大运动变化时仍有限。

6. 额外分析

DLC-Bench 评测缺陷（§F）：LLaMA3.1-8B 文本-only 评判易产生假阴性/假阳性；引入 GPT-4o 多模态评判后一致性显著提升。
推理速度（表 8）：RoI-Replay 相比全局-局部拼接减少 256 → 4 352 tokens，延迟 87.7 ms，兼顾精度与效率。

一句话总结

实验从单区域→多区域→视频→通用基准逐级展开，定量+定性+消融全方位验证：GAR 在所有区域级任务上取得新 SOTA，且零样本视频表现超越领域内专用模型，同时保持通用多模态竞争力。

Q: 有什么可以进一步探索的点？

以下展望均基于论文已暴露的局限与未触及的空白，可作为后续研究的直接切入点。

1. 动态时序建模

现状：GAR 仅在图像上训练，16 帧均匀采样+AnyRes 简单扩展，对大位移、快速运动或镜头切换敏感（图 9/10 失败案例）。
探索：
引入 时序 RoI-Align，在 3D 特征立方体上沿时间维度对齐，显式捕捉轨迹。
采用 SAM-2 或 CoTracker 生成跨帧一致掩膜，替代逐帧独立分割。
设计 时序-位置嵌入，使 LLM 感知帧序与运动速度。

2. 多模态链式推理

现状：GAR 单轮回答，复杂逻辑链（如“先左后右再交互”）仍可能出错。
探索：
将 RoI-Replay 特征作为工具调用，接入 LLM 的 function-calling 接口，实现“观察→思考→再观察”多轮闭环。
引入 视觉思维链（Visual-CoT） 损失，显式生成中间掩膜或箭头图，再给出最终答案，可解释性与准确率同步提升。

3. 自监督区域预训练

现状：GAR 依赖 PSG 等人工场景图标注，规模与多样性有限。
探索：
采用 对比式 Mask-Align 预训练：随机掩膜图像块→RoI-Replay 特征与文本 CLIP 特征对齐，无需人工关系标签即可学习区域-语义对应。
利用 SA-1B 十亿级掩膜，设计 掩膜填空任务：给定周边区域，自回归生成被掩膜区域的特征，提升小样本场景表现。

4. 高效化与端侧部署

现状：AnyRes 多 tile 策略导致 ViT token 数随提示数线性增长（最大 4 352）。
探索：
稀疏 RoI-Align：仅在特征图采样 14×14 网格，其余位置用稀疏卷积或局部窗口注意力，减少 50%+ 计算。
掩膜共享缓存：同一图像多次查询不同区域时，全局特征图只算一次并常驻 GPU 缓存，实现 毫秒级交互式问答。
INT4 量化+KV-cache 压缩：对投影后的区域特征做 矢量量化，在精度下降 <1% 前提下，内存占用降至 1/4。

5. 复杂视觉现象理解

现状：非实体识别仅覆盖镜面反射，对折射、阴影、透明材质等仍易混淆（图 8 失败案例）。
探索：
引入 物理一致性损失：利用 RGB-D 或双视角立体，约束模型预测的深度/法向与掩膜区域一致，强制学习“真实几何”与“虚像”差异。
构建 Visual Illusion Dataset，系统收集阴影、折射、透视、错觉艺术图片，生成“看起来是 vs 物理不是”对比问答，提升鲁棒性。

6. 跨模态区域编辑与生成

现状：GAR 仅做理解，未涉及生成。
探索：
将 RoI-Replay 特征注入 扩散模型交叉注意力，实现“一句话只改指定区域”的局部编辑（如把青蛙拖鞋换成兔子拖鞋，其余卧室不变）。
设计 区域-文本对齐分数作为扩散引导项，保证编辑结果与提示区域形状、位置、光照一致。

7. 开放世界增量学习

现状：GAR 固定词汇，遇新类别需重新训练。
探索：
采用 提示调优池（Prompt Pool）：为每类新区域动态分配若干可学习 token，与 RoI 特征拼接，仅更新池参数即可识别新概念，实现 不遗忘旧类的持续区域学习。
结合 视觉提示检索：用文本编码器在线检索最相关提示 token，避免人工设计模板。

8. 真实场景交互式 Agent

现状：GAR 单轮问答，未与外部环境闭环。
探索：
把 GAR 作为 “视觉皮层” 接入机器人或 GUI-Agent：每步观察→RoI-Replay 提取关键物体→LLM 决策→机械臂/鼠标执行，实现 “看哪点哪” 的细粒度操作。
引入 状态-动作掩膜对齐：用强化学习奖励函数鼓励模型关注与任务成功最相关的区域，形成可解释注意力热图。

一句话总结

后续可从时序、效率、自监督、物理一致性、生成式编辑、持续学习与 embodied AI七个方向切入，把 GAR 的“精准区域理解”能力升级为动态、交互、可生成、可持续演进的下一代多模态核心模块。

Q: 总结一下论文的主要内容

论文提出 Grasp Any Region（GAR），一套面向任意区域级理解的多模态大语言模型框架，并配套构建评测基准 GAR-Bench。核心贡献与结果可浓缩为：

1. 问题

现有 MLLM 只能“看全图”，对密集复杂场景的细粒度区域理解不足：

单区域方法孤立分析，全局上下文缺失→误判（青蛙拖鞋→真青蛙）。
多区域方法无法建模提示间关系，更无组合推理基准。

2. 方法

RoI-aligned Feature Replay 统一解决“细节+上下文”矛盾：

整图+全部掩膜 一次 ViT 编码→全局特征图 F 。
对各掩膜 RoI-Align 从 F 提取向量→既高分辨率又自带语境。
全局特征与所有区域向量一并送入 LLM，单前向完成多提示问答。

辅以 2.5 M 分层数据：

456 K 细粒度描述 → 强化单区域识别。
414 K 关系场景图 → 支持多提示交互与组合推理。

3. 评测

GAR-Bench 首次系统评估区域级三大能力：

Perception（颜色/形状/材质/纹理）
Reasoning（位置序数、非实体识别、多提示关系）
Caption（多提示一体化描述）

4. 结果

GAR-1B → 在 GAR-Bench-VQA 超越 InternVL3-78B（50.6 vs 50.5）。
GAR-8B → 零样本在 VideoRefer-BenchQ 击败领域内 VideoRefer-7B（72.0 vs 71.9）。
在 DLC-Bench、Ferret-Bench、MDVP-Bench、LVIS、PACO 等全部取得新 SOTA。

5. 结论

GAR 用“一次全局编码 + RoI 特征回放”实现任意数量掩膜提示下的
精准感知 · 多提示交互 · 组合推理三级跳，
在图像与视频区域任务上同时刷新最佳成绩，为密集视觉世界理解提供了新基线。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Haochen Wang,Yuhao Wang,Tao Zhang,Yikang Zhou,Yanwei Li,Jiacong Wang,Ye Tian,Jiahao Meng,Zilong Huang,Guangcan Mai,Anran Wang,Yunhai Tong,Zhuochen Wang,Xiangtai Li,Zhaoxiang Zhang

Categories: cs.CV,cs.AI,cs.CL

PDF URL: https://arxiv.org/pdf/2510.18876.pdf

Arxiv URL: https://arxiv.org/abs/2510.18876

Arxiv ID: 2510.18876

CoolPaper URL: https://papers.cool/arxiv/2510.18876

Published: 2025-10-21T17:59:59Z

Updated: 2025-10-21T17:59:59.000Z

8. IF-VidCap: Can Video Caption Models Follow Instructions?

Although Multimodal Large Language Models (MLLMs) have demonstrated proficiency in video captioning, practical applications require captions that follow specific user instructions rather than generating exhaustive, unconstrained descriptions. Current benchmarks, however, primarily assess descriptive comprehensiveness while largely overlooking instruction-following capabilities. To address this gap, we introduce IF-VidCap, a new benchmark for evaluating controllable video captioning, which contains 1,400 high-quality samples. Distinct from existing video captioning or general instruction-following benchmarks, IF-VidCap incorporates a systematic framework that assesses captions on two dimensions: format correctness and content correctness. Our comprehensive evaluation of over 20 prominent models reveals a nuanced landscape: despite the continued dominance of proprietary models, the performance gap is closing, with top-tier open-source solutions now achieving near-parity. Furthermore, we find that models specialized for dense captioning underperform general-purpose MLLMs on complex instructions, indicating that future work should simultaneously advance both descriptive richness and instruction-following fidelity.

中文摘要

尽管多模态大型语言模型（MLLMs）在视频字幕生成方面表现出色，但实际应用需要的是遵循特定用户指令的字幕，而不是生成详尽且不受限制的描述。然而，当前的基准测试主要评估描述的全面性，往往忽略了模型遵循指令的能力。为填补这一空白，我们推出了 IF-VidCap，这是一个用于评估可控视频字幕的新基准，包含 1,400 个高质量样本。与现有的视频字幕或通用指令遵循基准不同，IF-VidCap 采用系统化框架，从格式正确性和内容正确性两个维度评估字幕。我们对 20 多个知名模型进行了全面评估，结果揭示了一个微妙的格局：尽管专有模型仍占主导地位，但性能差距正在缩小，顶级开源解决方案现已达到接近同等水平。此外，我们发现专注于密集字幕生成的模型在处理复杂指令时表现逊色于通用 MLLMs，这表明未来的工作应同时提升描述的丰富性和遵循指令的准确性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决“现有视频字幕模型难以遵循复杂用户指令”这一核心问题。具体而言：

应用需求：视频编辑、生成、脚本撰写等下游任务要求字幕不仅准确，还必须满足格式、长度、风格、内容过滤等细粒度约束。
评估空白：主流视频字幕基准只关注描述的全面性与语义正确性，忽视了对“指令遵循能力”的系统评测。
研究目标：提出首个面向“可控视频字幕”的评测框架 IF-VidCap，系统衡量模型在同时满足多条组合式约束（平均 6 条，最多 19 条）时的表现，推动模型从“会描述”走向“受控生成”。

Q: 有哪些相关研究？

论文将相关研究划分为两大主线：文本端的指令遵循评估与视频端的字幕基准。代表性工作如下：

1. 指令遵循评估（Instruction-Following Evaluation）

基准	特点	与 IF-VidCap 的区别
IFEval (Zhou et al., 2023)	最早系统评测 LLM 对格式、长度等“可验证约束”的遵从	纯文本，无视频模态
FollowBench (Jiang et al., 2024)	多级细粒度约束（4-5 层难度）	纯文本
InfoBench (Qin et al., 2024a)	引入“信息完整性”约束	纯文本
SysBench (Qin et al., 2024b)	系统消息一致性	纯文本
CFBench (Zhang et al., 2025a)	10–25 类约束，规模 1k	纯文本
ComplexBench (Wen et al., 2024)	组合推理型约束	纯文本
CELLO (He et al., 2024)	真实场景复杂指令	纯文本

共同点：均聚焦文本模态，未涉及视频-语言跨模态的指令遵循。

2. 视频字幕基准（Video Captioning Benchmarks）

基准	特点	与 IF-VidCap 的区别
CapsBench (Liu et al., 2024)	细粒度质量打分，200 段视频	无指令约束
Dream-1K (Wang et al., 2024)	1000 段短视频，侧重密集描述	无指令约束
CaReBench (Xu et al., 2025)	检索导向的字幕质量	无指令约束
VidCapBench (Chen et al., 2025)	可控文本-到-视频生成的字幕评估	仅关注描述准确性，无格式/风格指令
AuroraCap (Chai et al., 2025)	高效长视频细节字幕	无指令约束
Vript (Yang et al., 2024)	结构化长字幕，支持脚本生成	提供结构化标注，但未评估“是否按指令生成”

共同点：仅衡量“描述得好不好”，不衡量“是否按给定约束生成”。

3. 多模态指令遵循（Multimodal Instruction Following）

基准	特点	与 IF-VidCap 的区别
Visit-Bench (Bitton et al., 2023)	视觉-语言跨任务指令跟随	覆盖图像+视频，但任务多样且粗粒度，非字幕专用
Video-MME (Fu et al., 2025)	视频问答为主	侧重问答准确率，无生成约束
MLVU (Zhou et al., 2025)	长视频多任务理解	问答/检索任务，非字幕生成

小结

文本侧：已有成熟且细粒度的指令遵循评测体系，但局限于纯文本。
视频侧：字幕基准繁荣，却普遍忽视“按指令生成”这一真实应用需求。
IF-VidCap 首次把“细粒度、组合式指令”引入视频字幕场景，填补了跨模态可控生成的评估空白。

Q: 论文如何解决这个问题？

论文从“数据-评测-训练”三条线同步推进，系统解决“视频字幕模型不会按指令生成”的问题：

1. 构建专用评测基准 IF-VidCap

规模：1 400 条视频-指令-清单三元组，覆盖 13 类内容、27 种约束类型。
复杂度：单条指令平均 6 条约束（最多 19 条），同时涉及格式、内容、风格、长度、语言等维度。
评估范式：
– 规则可验约束（格式、长度、JSON 结构等）→ LLM 提取 + 脚本判定，得到 Rule-based CSR/ISR。
– 开放语义约束（实体、事件、视角、情感推理等）→ 基于视频内容设计 QA，由 LLM-as-Judge 判定，得到 Open-ended CSR/ISR。
指标：

CSR=(1) / (m)∑(i=1)^m(1) / (n_i)∑(j=1)^(ni)s(ij), quad ISR=(1) / (m)∑_(i=1)^m s_i

其中 s_(ij)=1 表示第 i 条指令的第 j 条约束被满足， s_i=1 表示该指令全部约束被满足。

2. 大规模实验诊断瓶颈

20 余个主流 MLLM（含 Gemini-2.5、GPT-4o、Qwen-VL、InternVL-3.5 等）在 IF-VidCap 上同时暴露三大现象：

格式控制远易於内容控制：Rule-based CSR 普遍 > 80 %，Open-ended CSR 最高仅 59 %。
专用密集字幕模型（Tarsier、Video-LLaVA）在复杂指令下全面落后通用 MLLM，说明“描述得细”≠“能受控”。
推理模式（thinking）显著提升 ISR，证实组合约束需要多步推理。

3. 发布配套训练数据与模型

46 K 视频-指令-样本通过“字幕→反向合成指令”策略生成，确保与测试集零重叠。
微调方案：以 Qwen2.5-VL-7B-Instruct 为骨干，采用 bf16 + AdamW + cosine lr 5e-6，2 epoch 得到 IF-Captioner-Qwen。
效果：在同等 7 B 规模下，ISR 从 10.92 % → 12.76 %，CSR 从 58.12 % → 61.64 %，验证“额外指令微调”即可显著增强可控性。

4. 提供可复现工具链

自动化评测脚本与人工校验接口全部开源，支持新模型一键接入、约束类型灵活扩展。
错误分类体系（长度、JSON、关键词排除、视角误识别等）为后续研究提供明确改进方向。

综上，论文通过“建立难基准→大规模诊断→释放训练数据→给出微调范例”的闭环，首次把视频字幕任务从“描述自由生成”推向“严格指令遵循”，为后续可控多模态生成研究提供了可量化的起点与工具。

Q: 论文做了哪些实验？

论文围绕 IF-VidCap 基准开展了四类核心实验，系统验证其难度、区分度与实用价值：

1. 主实验：20 个主流模型整体排名

模型谱系
– 闭源：Gemini-2.5-Pro/Flash、GPT-4o、Gemini-2.0-Flash
– 开源：Qwen-VL 系列（3B–72B）、InternVL-3.5（8B/38B/241B）、VideoLLaMA3、MiniCPM-V-4.5、Llama-3.2-Vision、LLaVA-V1.6、Video-LLaVA、ARC-Hunyuan-Video、Tarsier2
– 自训：IF-Captioner-Qwen-7B
指标
整体 & 细粒度 ISR/C SR，并拆分为
– Rule-based（格式）
– Open-ended（内容）
关键结论

同一家族 参数越大 → ISR/C SR 越高
开源 top 模型（Qwen3-VL-235B、InternVL-3.5-241B）已逼近闭源对手
Thinking 模式 平均带来 3–5 % ISR 绝对提升
专用密集字幕模型（Tarsier2）ISR 仅 1.4 %，远低于通用模型
IF-Captioner-Qwen 在 7 B 档实现 +1.8 % ISR / +3.5 % CSR 的显著提升

2. 细粒度消融实验

2.1 指令复杂度影响

在 1 021 条“高耦合”子集上，按 约束条数（2–3/4–5/6–7/8–9）与 提示长度（0–19/20–39/40–59/60–79 token）分组
结果：ISR/C SR 与复杂度呈 单调下降；8–9 约束时 ISR 下降 40 % 以上

2.2 视频输入参数影响（以 Qwen2.5-VL-7B 为例）

帧数（8→16→32→64→128）
– CSR/ISR 先升后降，64 帧最佳；128 帧因序列过长性能回落
分辨率（168→280→336→448→784 px）
– 两项指标随分辨率 线性提升，784 px 时 ISR +2.3 %

3. 评估协议可靠性实验

人工 vs 自动一致性
随机抽取全测试集，用三名专业标注员获得“金标准”，再以三款 LLM（GPT-5-mini、DeepSeek-V3.1-NoThink、Qwen3-32B）作为自动评委。
– GPT-5-mini 整体一致率 96.33 %（Rule 96.90 % / Open 96.08 %）
– 开源评委亦达 92 % 左右，验证自动评测可替代人工

4. 约束类型诊断实验

对 27 类约束分别计算 CSR，观察模型“偏好”与“盲区”
– 格式类（Plain-text、JSON、List）头部模型 > 90 %
– 长度/字数 仍是最大格式瓶颈，7 B 模型仅 60 % 左右
– 内容类（Exclude、Perspective、Inference）平均 CSR < 55 %，成为拉开差距的主因
– 模型家族系统性缺陷：Llama-3.2-Vision 对 JSON 关键字错位；LLaVA 对 Markdown 语法准确率 < 30 %

5. 错误案例剖析

归纳 5 类高频失败模式

长度不足/超出
复杂 JSON 缺字段或键名错误
排除词约束失效（Negative Constraint）
相机视角/空间关系误识别
多对象场景下生成重复、无法停机的“循环输出”

通过上述实验，论文不仅给出了可复现的排行榜，还量化了“复杂度-性能”曲线、验证了自动评估的可信度，并指出内容级约束是当前模型最大的系统性瓶颈，为后续研究提供了明确的改进方向。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为“数据-任务-评测-训练-应用”五条线，供后续研究参考：

1. 数据与任务扩展

长视频指令遵循
当前平均 20 s，可扩展到分钟级甚至电影全长，引入“时序摘要+多段约束”任务，考察模型在长时间线上保持指令一致性的能力。
多模态指令
同时给定文本+语音+图像（例如参考帧或故事板）作为约束，测试模型对跨模态指令的融合与对齐。
动态指令
在视频播放过程中实时插入新约束（streaming scenario），考察模型在线修正生成的能力。
多语言/方言约束
目前仅中英，可引入代码混合、方言、稀有语种，评测低资源语言下的指令跟随稳定性。

2. 评测协议升级

主观/抽象约束
对“幽默、诗意、悬疑感”等主观风格，引入人机混合评分+众包一致性指标，弥补纯 LLM-as-Judge 的天花板。
细粒度时间对齐
现有内容约束只到“有无”层面，可要求事件级时间戳或帧区间，引入 Temporal-IoU 等指标。
对抗性约束
设计互斥或循环依赖的指令（如“用恰好 50 字描述所有对象”+“不得出现数字”），测试模型在矛盾需求下的鲁棒性与错误恢复。
可解释评测
要求评委模型输出约束满足/违反的链式解释，便于开发者定位失败环节，而不仅是二元标签。

3. 训练与模型结构

强化学习微调
用约束满足度（CSR）作为奖励信号，进行 RLHF/RLAF 微调，缓解监督式微调对硬性约束的“平均化”倾向。
多任务课程学习
按“格式→内容→组合→对抗”四阶段课程逐步加难，验证课程策略能否提升最终 ISR。
显式约束解码
在生成阶段引入 Constrained Decoding（如 FSAs、Code-LLM 的语法树）保证 JSON/表格/长度等硬约束 100 % 合法，再并行做语义修正。
模块化架构
将“感知→规划→生成”解耦：先用视频 LLM 输出结构化中间表示（scene graph），再用纯文本 LLM 受控生成，最终提升内容约束准确率。

4. 应用与系统

视频编辑工作流
与 Adobe、DaVinci 等编辑软件 API 对接，实现“一句话生成符合剪辑要求的字幕+关键帧标记”，验证在真实生产管线中的时间/精度收益。
自动数据标注
利用高 ISR 模型为海量无标注视频生成带约束字幕，反向提升视频检索、片段定位等下游任务的数据质量。
边缘设备部署
量化/蒸馏出 ≤3 B 的“小模型”，在手机或车载芯片上运行，考察低算力环境下的指令跟随衰减曲线。

5. 风险与伦理

偏见与排除约束
测试模型对“不得提及肤色/性别”等公平性指令的遵从度，量化是否会因训练数据偏差而失效。
恶意指令检测
构建红队数据集，包含“生成误导性字幕用于深度伪造”等恶意 prompt，评估模型对违规请求的拒绝能力。

综上，IF-VidCap 打开了“可控视频字幕”这一新赛道，未来可在更长、更主观、更实时、更鲁棒四个维度持续深化，同时兼顾应用落地与伦理风险。

Q: 总结一下论文的主要内容

IF-VidCap 论文核心总结

1. 问题

现有视频字幕基准只测“描述对不对”，不测“是否按用户指令生成”。实际应用（编辑、生成、脚本）需要格式、长度、内容、风格等多条组合约束，当前 MLLM 在此场景下表现未知。

2. 方法

基准：1 400 条短视频-指令-清单三元组，平均 6 条约束（最多 19），覆盖 27 类格式/内容约束。
评估：
– Rule-based CSR/ISR：LLM 提取 + 脚本验格式。
– Open-ended CSR/ISR：视频问答验语义。
训练：46 k 视频-指令-样本，用“字幕→反向合成指令”策略微调 Qwen2.5-VL-7B，得到 IF-Captioner-Qwen。

3. 实验

20 余个模型：闭源 Gemini-2.5/GPT-4o 领先，开源 Qwen3-VL-235B、InternVL-3.5-241B 逼近；专用字幕模型 Tarsier ISR 仅 1.4 %。
复杂度消融：约束条数或提示长度↑ → ISR/C SR 单调↓。
输入因素：64 帧、784 px 最佳；再长或再高清反降。
人工一致率：GPT-5-mini 自动评委 vs 人工达 96.33 %。
约束诊断：格式类 > 90 %，内容类 < 55 %，为最大瓶颈。

4. 结论

首次系统量化“视频字幕指令遵循”难度与差距。
格式控制已较好，内容+组合约束是后续主攻方向。
发布数据、代码、模型，推动“会描述”走向“严受控”。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shihao Li,Yuanxing Zhang,Jiangtao Wu,Zhide Lei,Yiwen He,Runzhe Wen,Chenxi Liao,Chengkang Jiang,An Ping,Shuo Gao,Suhan Wang,Zhaozhou Bian,Zijun Zhou,Jingyi Xie,Jiayi Zhou,Jing Wang,Yifan Yao,Weihao Xie,Yingshui Tan,Yanghai Wang,Qianqian Xie,Zhaoxiang Zhang,Jiaheng Liu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18726.pdf

Arxiv URL: https://arxiv.org/abs/2510.18726

Arxiv ID: 2510.18726

CoolPaper URL: https://papers.cool/arxiv/2510.18726

Published: 2025-10-21T15:25:08Z

Updated: 2025-10-21T15:25:08.000Z

9. Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.

中文摘要

我们推出了 Ring-1T，这是首个开源、最先进的思维模型，拥有万亿级参数。它总计拥有 1 万亿参数，每个 token 激活约 500 亿个参数。在万亿参数规模下训练此类模型带来了前所未有的挑战，包括训练-推理不对齐、回滚处理效率低下以及 RL 系统瓶颈。为解决这些问题，我们开创了三项互相关联的创新：（1）IcePop 通过 token 级差异掩码和裁剪来稳定 RL 训练，解决训练-推理不匹配导致的不稳定问题；（2）C3PO++ 通过动态划分长回滚的 token 预算，提高资源利用率，从而获得高时间效率；（3）ASystem 是一个高性能 RL 框架，旨在克服阻碍万亿参数模型训练的系统性瓶颈。Ring-1T 在关键基准测试中取得突破性成果：AIME-2025 得分 93.4，HMMT-2025 得分 86.72，CodeForces 得分 2088，ARC-AGI-v1 得分 55.94。值得注意的是，它在 IMO-2025 上取得银牌级别成绩，凸显其卓越的推理能力。通过向社区发布完整的 1T 参数 MoE 模型，我们为研究社区提供了直接访问最前沿推理能力的机会。这一贡献标志着在普及大规模推理智能方面的重要里程碑，并为开源模型性能建立了新的基准。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在突破“万亿参数规模推理模型”在强化学习（RL）训练中的三重瓶颈，使公开社区首次获得可与闭源顶尖模型媲美的超大规模“思考”模型。具体而言，工作聚焦以下核心问题：

训练-推理失配导致的崩溃
在 MoE 结构下，训练引擎与推理引擎的概率计算差异随长链思维（long-CoT）迭代被指数级放大，引发梯度爆炸与策略发散。
长轨迹 rollout 的资源闲置
单条超长生成序列会独占算力，造成 GPU 空转、token 预算失衡，严重拖慢万亿参数模型的 RL 效率。
系统级扩展瓶颈
传统分布式框架在参数同步、内存管理、容错恢复等方面无法满足 1 T 规模模型的高吞吐、低延迟、稳定训练需求。

为此，作者提出 Ring-1T，通过三项相互耦合的创新一次性解决上述问题，实现稳定、高效、可扩展的万亿参数强化学习，并在数学、代码、逻辑推理等基准上取得开源 SOTA。

Q: 有哪些相关研究？

论文在“Stable RL”“Efficient RL”“RL Infrastructure”三条主线与以下代表性工作直接对话：

训练-推理一致性
– GSPO (Zheng et al., 2025) 采用“路由回放”缓解 MoE 概率漂移，但引入额外计算/内存开销。
– TIS (Yao et al., 2025) 用重要性采样加权修正梯度，仍保留异常 token 的更新，论文实验显示其差异会随训练放大。
长序列 rollout 效率
– TPPO (Fan et al., 2025) 对 PPO 做截断 rollout 并修正偏差，侧重算法层面。
– 异步 RL 系统 FlexLink/AreAL (Fu et al., 2025) 提供可中断 worker，但未在 token 预算粒度做动态切分。
大规模 RL 基础设施
– OpenRLHF (Hu et al., 2025)、VeRL (Sheng et al., 2024) 依赖共享文件系统或 NCCL 点对点同步，分钟级延迟且内存静态占用。
– Slime (Zhu et al., 2025) 尝试销毁-重建 NCCL 通信组以释放显存，但重新初始化开销巨大。
– vLLM、SGLang、Megatron-LM 等通用框架未针对 RL 的“训练-推理同卡”场景做内存与确定性联合优化。

论文提出的 IcePop、C3PO++、ASystem 分别针对上述三类工作的关键局限（梯度扰动累积、rollout 空闲、同步/内存瓶颈）给出系统级-算法级协同方案，从而首次在 1 T 参数规模上实现稳定高效的强化学习训练。

Q: 论文如何解决这个问题？

论文将“万亿参数 RL 训练”拆解为稳定性、效率、系统三大子问题，分别给出算法-系统协同的解决方案，并通过三阶段训练流程一次性验证其有效性。具体做法如下：

IcePop：用“双边界掩码”根治训练-推理失配

问题：MoE 动态路由 + 长 CoT 导致推理/训练引擎概率差异随迭代指数放大（定理 1 给出下界 δ_(t+1)≥(1+(η) / (2)μ)δ_t ）。
解法：
– token 级校准：只在区间 $
α,β
（默认 0.5≤π(train)π(infer)≤5$）内计算重要性权重，其余 token 梯度直接掩码为零。
– 双端裁剪：对保留 token 再施加 PPO-clip，形成“内外双保险”。
效果：梯度范数与 KL 漂移被锁死在常数级，训练 400 步仍稳定上升（图 6）。

C3PO++：用“预算切片 + 缓冲续传”消除长 rollout 闲置

问题：单条超长生成独占 GPU，token 预算被撑爆，其余卡空转。
解法：
– token 预算 Φ 作为硬阈值，推理池并行产生片段；一旦累计 token 达到 Φ 立即触发训练。
– 跨版本续传：未完成的轨迹保留在缓冲池，下一迭代用最新策略继续生成，避免重复从头采样。
效果：rollout 阶段提速 2.5×，端到端整体 1.5×，基准分数无损（图 7-8）。

ASystem：用“单控制器+SPMD”架构打通系统级瓶颈

Hybrid Runtime：同一进程内原地切换训练/推理模式，NCCL 通信组不销毁，零数据搬迁。
AState：zero-redundancy P2P 权重同步，1 T 参数全网更新 <10 s。
AMem：GPU 显存冷热切换 + 多通道聚合，batch 提升 30 %，OOM 率下降 90 %。
ASandbox：serverless 沙盒，100 ms 冷启动，5000 QPS 隔离执行代码/逻辑验证，保证 RL 奖励实时、确定。

三阶段训练流程把上述组件串成闭环
① Long-CoT SFT：64 k 长序列监督，先让模型具备“会思考”的初始策略。
② Reasoning RL：在数学/代码/科学/逻辑可验证任务上，用 IcePop+C3PO++ 稳定采样→预算级更新→同步广播，持续 480 prompt×8 rollout。
③ General RL：引入人类偏好数据，GRPO 微调写作、安全、指令遵循，保证推理能力不外泄。

通过“算法掩码稳定梯度 + 预算切片提速 rollout + 零冗余系统同步”，论文首次在 1 T 参数规模上实现不崩溃、高吞吐、可复现的强化学习，直接推导出 Ring-1T 在 AIME-25、CodeForces、ARC-AGI-1 等基准上取得开源 SOTA。

Q: 论文做了哪些实验？

论文围绕稳定性、效率、端到端性能三条主线设计实验，覆盖从16 B 小规模消融到1 T 全量模型的完整 spectrum，并额外给出IMO-2025 实战案例。主要实验如下：

IcePop 稳定性消融

对象：Ring-mini-2.0（16.8 B 总参 / 0.75 B 激活）
对照：Vanilla GRPO vs. TIS vs. IcePop
指标：AIME-25 平均 pass@64、梯度范数、概率差异 KL
结论：IcePop 在 600 步内将 AIME-25 得分从 63 % → 77 %（+14 %），相对 TIS 再提升 6 %；梯度与 KL 漂移被锁死在常数级，无崩溃。

C3PO++ 效率对比

对象：Ring-1T 推理 RL 阶段（1 T 总参 / 50 B 激活）
对照：Baseline（一次性完整 rollout） vs. C3PO++
指标：单步 wall-clock、rollout 占比、训练 reward、benchmark 分数
结论：rollout 阶段提速 2.5×，端到端 1.5×；reward 曲线与 Baseline 几乎重合；AIME-25、CodeForces、ARC-AGI-1 分数无损。

Ring-1T 全量基准评测

覆盖 8 大领域、20 + 数据集：
– 数学：AIME-2025、HMMT-2025、Omni-MATH、CNMO-2024、FinanceReasoning、UGMathBench
– 代码：LiveCodeBench-v6、CodeForces、Aider
– 推理：ARC-AGI-1、BBEH、ZebraLogic、HLE
– 知识：GPQA-Diamond、MMLU-Pro、C-Eval、Phybench、AGIEval、TriviaQA、CMMLU
– 对齐：ArenaHard-v2、Creative-Writing-v3、IFEval
– 医疗：HealthBench
– 多轮：MultiChallenge
– 智能体：BFCL-v3
对手：开源 MoE（DeepSeek-V3.1-Terminus、Qwen3-235B-A22B-Thinking-2507）+ 闭源 API（Gemini-2.5-Pro、GPT-5-Thinking）
结果：
– 数学：AIME-25 93.40 %（开源第一，整体第二）；HMMT-25 86.72 %（开源第一）。
– 代码：CodeForces 2088 分（全场最高）；LiveCodeBench 78.30 %（开源第一）。
– 推理：ARC-AGI-1 55.94 %（整体第二，领先最强开源 15.32 %）。
– 对齐：ArenaHard-v2 胜率 81.59 %（开源第一）。
– 医疗：HealthBench 57.93 %（开源第一）。

IMO-2025 实战测试

协议：单提交、纯自然语言推理，禁用代码或符号求解器；集成至多智能体框架 AWorld。
结果：一次提交解出 4 题（P1、P3、P4、P5），对应银牌线；第三次提交给出 P2 几乎完整几何证明；P6 与 Gemini-2.5-Pro 同陷 4048 错误答案。

敏感性 / 消融补充

掩码区间：
0.5,5
（默认） vs.
0.5,2
vs.
0.4,5
——窄区间立即失稳，宽区间允许高置信 token，默认区间在稳定性与多样性间最佳。
剪切比例：全程维持 1–2 ‰，且被剪 token 熵更高，验证掩码确实剔除“高方差、低信号”样本。

以上实验从小规模算法验证 → 系统级效率度量 → 全量 SOTA 对比 → 真实奥赛场景四层次证明：IcePop 保证训练不崩溃，C3PO++ 保证 rollout 不闲置，ASystem 保证万亿参数可扩展，最终 Ring-1T 在公开社区首次达到与闭源顶尖模型同档的推理水平。

Q: 有什么可以进一步探索的点？

以下方向可直接继承 Ring-1T 的算法-系统框架，继续向更高智能、更低代价、更强鲁棒推进：

训练-推理一致性的极限探索

将 IcePop 的“区间掩码”升级为浮点误差可证明上界的确定性训练算子（如 CUDA 级逐位对齐、FP8 量化的累积误差补偿）。
研究梯度-差异联合正则，把 δ_(t+1)≥(1+(η) / (2)μ)δ_t 的指数界压到线性或常数界，实现真正意义上的零漂移 RL。

更长上下文的 rollout 效率

把 C3PO++ 的“token 预算”与视频/音频/多图模态的帧率、分辨率联合建模，形成跨模态统一预算；探索可变长度 checkpoint 以支持百万级步续传。
结合投机解码或MoBA 线性注意力，在继续 rollout 时先低代价草稿生成，再高代价精修，进一步压缩闲置时间。

推理成本与模型稀疏度的联合优化

在 50 B 激活参数基础上引入动态宽度：根据问题难度自动调整每层专家数（0.3 B–50 B 滑动），形成推理 FLOPs-性能帕累托前沿。
研究**“思考预算”可解释控制器**，让用户用 1 美元、10 美元、100 美元直接买对应“思考深度”，实现商业级弹性计费。

Agentic RL 的专用架构

把 Ring-1T 作为基座策略，外挂工具调用、内存记忆、环境反馈三通道，用异步 off-policy 方式持续更新，解决当前“纯语言推理”留下的工具使用短板。
引入多智能体自我对弈（self-play debate），让多个 1 T 模型分别扮演验证者、反驳者、总结者，用博弈论收益替代简单可验证奖励，提升形式证明与科学发现能力。

数据-算法协同的“自改善飞轮”

用 Ring-1T 生成难度自适应的新题：当模型通过率 >70 % 自动提升复杂度，<30 % 则降级，形成在线课程学习；结合 IcePop 的稳定更新，实现数据飞轮永不崩溃。
探索形式化验证奖励（Lean、Coq 自动判分），把数学、硬件验证、合约证明纳入统一 RL 目标，推动“可证明安全”的 AI 系统。

系统级极端扩展

ASystem 目前 10 s 完成 1 T 参数同步，可继续向10 T–100 T探索：
– 采用NVLink-cum-RDMA 多轨拓扑+ephemeral checkpoint 技术，把同步延迟压到 1 s 内；
– 引入计算-存储一体（近内存处理）缓解 PCIe 带宽瓶颈，实现百万 GPU 级无单点瓶颈训练。

鲁棒性与安全性的可证明增强

在 IcePop 掩码区间加入对抗扰动敏感度指标，实时剔除可能被攻击者利用的“高敏感 token”，形成对抗训练-推理一致性联合保证。
研究差分隐私-RL 兼容的梯度聚合，使万亿参数模型在继续学习医疗、金融等隐私数据时，给出ε-δ 级可证明隐私损失。

低资源场景的“蒸馏-压缩”协同

用 Ring-1T 生成超长思维链伪标签，训练 7 B–30 B 小模型时同步蒸馏动态预算策略，让小模型也能按需“思考 32 k-128 k token”，实现消费级 GPU 上的银牌级推理。
结合量化-稀疏化-专家裁剪三合一，探索一次性剪枝 90 % 参数而性能下降 <3 % 的极限稀疏方案，为端侧推理铺路。

通过“确定性训练算子 + 跨模态预算控制器 + 自改善课程 + 可证明安全”四大赛道，可把 Ring-1T 的万亿参数成果推向更高智能、更低能耗、更广场景的下一代推理模型。

Q: 总结一下论文的主要内容

论文核心贡献可概括为“一个模型 + 三大创新 + 四类实验”，首次在开源社区实现万亿参数推理模型的稳定强化学习训练与 SOTA 性能。

1. 目标模型：Ring-1T

架构：MoE，总参数量 1 T，每 token 激活 ≈ 50 B
训练三阶段

Long-CoT SFT：64 k 长序列监督，习得基础推理
Reasoning RL：可验证奖励（数学/代码/科学/逻辑）+ IcePop & C3PO++
General RL：人类偏好数据 + GRPO，提升对齐与通用任务

2. 三大互联创新

创新	解决痛点	关键技术	效果
IcePop	训练-推理概率漂移 → 梯度爆炸	双端掩码 + 区间裁剪 M(k)=k,&k∈[α,β]0,&else	梯度范数、KL 差异锁死；AIME-25 再 +14 %
C3PO++	超长 rollout 独占 GPU → 低利用率	Token 预算 Φ 驱动动态切片 + 跨版本续传	Rollout 阶段 2.5× 提速，端到端 1.5×，性能无损
ASystem	万亿参数同步/内存/容错瓶颈	Hybrid Runtime + AState + AMem + ASandbox	1 T 参数同步 <10 s；OOM 降 90 %；百万 GPU 级扩展

3. 四类实验验证

小规模稳定性消融（16 B 模型）
IcePop vs. TIS vs. GRPO：AIME-25 绝对提升 14 %，训练 600 步无崩溃。
系统效率对比（1 T 模型）
C3PO++ rollout 2.5× 加速，端到端 1.5×，reward 与基准分数持平。
全量 SOTA 评测（20 + 数据集）

数学：AIME-25 93.4 %、HMMT-25 86.72 %（开源第一）
代码：CodeForces 2088 分（全场最高）
推理：ARC-AGI-1 55.94 %（整体第二，+15.3 % 超最强开源）
对齐/医疗/多轮/智能体共 8 域，开源模型全面领先。

实战奥赛测试
IMO-2025 一次提交解 4 题，达银牌线；纯自然语言推理，无代码/符号外挂。

4. 结论与局限

结论：首次证明万亿参数 RL 训练可同时实现稳定、高效、开源 SOTA，为大规模推理智能树立新基线。
局限：GQA 推理成本仍高；训练-推理未完全数值一致；工具使用等代理能力待加强。

5. 未来方向

确定性训练算子、跨模态预算控制、自改善课程、Agentic RL、10 T 级系统、可证明安全与低资源蒸馏等。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ling Team,Anqi Shen,Baihui Li,Bin Hu,Bin Jing,Cai Chen,Chao Huang,Chao Zhang,Chaokun Yang,Cheng Lin,Chengyao Wen,Congqi Li,Deng Zhao,Dingbo Yuan,Donghai You,Fagui Mao,Fanzhuang Meng,Feng Xu,Guojie Li,Guowei Wang,Hao Dai,Haonan Zheng,Hong Liu,Jia Guo,Jiaming Liu,Jian Liu,Jianhao Fu,Jiannan Shi,Jianwen Wang,Jianxin Lai,Jin Yang,Jun Mei,Jun Zhou,Junbo Zhao,Junping Zhao,Kuan Xu,Le Su,Lei Chen,Li Tang,Liang Jiang,Liangcheng Fu,Lianhao Xu,Linfeng Shi,Lisha Liao,Longfei Zheng,Meng Li,Mingchun Chen,Qi Zuo,Qiang Cheng,Qianggang Cao,Qitao Shi,Quanrui Guo,Senlin Zhu,Shaofei Wang,Shaomian Zheng,Shuaicheng Li,Shuwei Gu,Siba Chen,Tao Wu,Tao Zhang,Tianyu Zhang,Tianyu Zhou,Tiwei Bie,Tongkai Yang,Wang Hong,Wang Ren,Weihua Chen,Wenbo Yu,Wengang Zheng,Xiangchun Wang,Xiaodong Yan,Xiaopei Wan,Xin Zhao,Xinyu Kong,Xinyu Tang,Xudong Han,Xudong Wang,Xuemin Yang,Xueyu Hu,Yalin Zhang,Yan Sun,Yicheng Shan,Yilong Wang,Yingying Xu,Yongkang Liu,Yongzhen Guo,Yuanyuan Wang,Yuchen Yan,Yuefan Wang,Yuhong Guo,Zehuan Li,Zhankai Xu,Zhe Li,Zhenduo Zhang,Zhengke Gui,Zhenxuan Pan,Zhenyu Huang,Zhenzhong Lan,Zhiqiang Ding,Zhiqiang Zhang,Zhixun Li,Zhizhen Liu,Zihao Wang,Zujie Wen

Categories: cs.CL,cs.AI

PDF URL: https://arxiv.org/pdf/2510.18855.pdf

Arxiv URL: https://arxiv.org/abs/2510.18855

Arxiv ID: 2510.18855

CoolPaper URL: https://papers.cool/arxiv/2510.18855

Published: 2025-10-21T17:46:14Z

Updated: 2025-10-21T17:46:14.000Z

10. GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

While diffusion models achieve state-of-the-art generation quality, they still suffer from computationally expensive sampling. Recent works address this issue with gradient-based optimization methods that distill a few-step ODE diffusion solver from the full sampling process, reducing the number of function evaluations from dozens to just a few. However, these approaches often rely on intricate training techniques and do not explicitly focus on preserving fine-grained details. In this paper, we introduce the Generalized Solver: a simple parameterization of the ODE sampler that does not require additional training tricks and improves quality over existing approaches. We further combine the original distillation loss with adversarial training, which mitigates artifacts and enhances detail fidelity. We call the resulting method the Generalized Adversarial Solver and demonstrate its superior performance compared to existing solver training methods under similar resource constraints. Code is available at https://github.com/3145tttt/GAS.

中文摘要

虽然扩散模型在生成质量上达到了最先进水平，但它们仍然存在计算开销大的采样问题。近期的研究通过基于梯度的优化方法来解决这一问题，这些方法从完整采样过程提炼出少步 ODE 扩散求解器，将函数评估次数从几十次减少到仅几次。然而，这些方法通常依赖复杂的训练技巧，并且没有明确关注细粒度细节的保留。在本文中，我们提出了广义求解器（Generalized Solver）：一种简单的 ODE 采样器参数化方法，不需要额外的训练技巧，并在质量上优于现有方法。我们进一步将原始蒸馏损失与对抗训练相结合，这有助于减轻伪影并增强细节保真度。我们将所得方法称为广义对抗求解器（Generalized Adversarial Solver），并在类似资源限制下展示了其相比现有求解器训练方法的优越性能。代码可在 https://github.com/3145tttt/GAS 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决扩散模型采样计算开销过大的问题。具体而言：

扩散模型虽在生成质量上达到 SOTA，但需数十步乃至上百步的数值积分，推理耗时严重。
近期“蒸馏”思路通过梯度优化把完整 ODE 求解器压缩成 3–8 步的“学生”求解器，但现有方法存在以下瓶颈：
参数化空间受限，仅优化少量乘性系数或时间网格，难以保留细节；
训练过程不稳定，需复杂技巧（软化目标、输入扰动、多阶段调度等）；
低 NFE 时回归损失与感知质量不一致，易出现伪影。

为此，作者提出 Generalized Adversarial Solver (GAS)，核心贡献如下：

Generalized Solver (GS) 参数化：
将每一步更新写成 所有历史状态与速度 的加权求和，系数由“理论求解器（DPM-Solver++）+ 可学习残差”构成，兼顾高容量与训练稳定性。
对抗蒸馏：
在原有回归损失（LPIPS/L1）上引入 R3GAN 相对判别器损失，迫使学生分布逼近教师分布，显著抑制低 NFE 下的伪影并提升细节保真度。
统一优化：
时间网格、系数修正、模型评估时刻三者联合端到端训练，无需额外技巧即可在 6 类数据集（32×32 CIFAR10 到 512×512 MS-COCO）上取得一致更低的 FID，且训练时间与显存开销与现有方法同阶。

Q: 有哪些相关研究？

以下工作被论文系统引用并视为直接相关研究，按主题归类：

快速 ODE 求解器（无需训练）

DDIM (Song et al., 2020a)
DPM-Solver / DPM-Solver++ (Lu et al., 2022a;b)
DEIS (Zhang & Chen, 2022)
UniPC (Zhao et al., 2024)
PNDM / iPNDM (Liu et al., 2022a; Zhang & Chen, 2022)

求解器/步长蒸馏（训练求解器系数或时间网格）

LD3 (Tong et al., 2024) – 仅优化时间网格，回归损失。
S4S (Frankel et al., 2025) – 联合优化网格与少量乘性系数。
DDSS (Watson et al., 2021) – 直接优化样本质量指标。
AYS (Sabour et al., 2024) – 最小化反向 SDE 与离散化之间的 KL。
GITS (Chen et al., 2024a) – 利用 PF-ODE 轨迹结构选步长。
DMN (Xue et al., 2024) – 无模型上界误差优化。

扩散模型蒸馏（训练“学生”生成器）

Progressive Distillation (Salimans & Ho, 2022)
Consistency Models / Consistency Distillation (Song et al., 2023)
Bootstrapping (Gu et al., 2023)
Distribution Matching Distillation (DMD) (Yin et al., 2023; 2024)
Variational Score Distillation (Nguyen & Tran, 2023)
Moment Matching Distillation (Salimans et al., 2024)

对抗蒸馏（引入判别器）

Adversarial Diffusion Distillation (ADD) (Sauer et al., 2023)
Latent Adversarial Diffusion Distillation (LADD) (Sauer et al., 2024)
R3GAN (Huang et al., 2024) – 本文采用的相对判别器基线。

推理阶段加速（不训练模型参数）

DeepCache / CacheMe (Ma et al., 2024; Wimbauer et al., 2024) – 特征缓存。
量化 (Gu et al., 2022; Badri & Shaji, 2023)
结构化剪枝 (Fang et al., 2023; Castells et al., 2024)

以上研究共同构成了“扩散快速采样”问题的三条主线：设计新数值格式、蒸馏求解器参数、蒸馏生成器本身。GAS 同时吸收了 2. 与 4. 的思路，并在参数化设计上与 1. 的理论求解器保持兼容。

Q: 论文如何解决这个问题？

论文把“求解器蒸馏”重新表述为一个高容量参数化 + 对抗回归联合优化问题，具体实现分三步：

设计“广义求解器”参数化（Generalized Solver，GS）

将线性多步格式从“K 阶历史”扩展到“全部历史”：

x(n+1)= ∑(j=0)^(n) a(j,n)x_j + ∑(j=0)^(n) c_(j,n)v_j

系数不再受阶数限制，可随训练数据自由调整。

系数分三组建模，全部端到端可导：
时间网格 t_n 由 logits θ 经 cumprod 得到，可微；
对“理论求解器”（DPM-Solver++）给出的 a(n,n) 、 c(j,n) 只加可学习残差 hat a(φ) 、 hat c(φ) ，保证零初始化即退化为原求解器，训练稳定；
评估网络用的“内部时刻”再引入偏移量 xi ，与网格解耦。
结果：同一 NFE 下参数量≈S4S/LD3，但表达能力高一个量级，且初始化即具备理论精度。

在回归损失之外加入对抗损失（Generalized Adversarial Solver，GAS）

判别器采用 R3GAN 相对形式：

L(adv)=mathbb E(x_T,y_T)f!l(D_psi(Phi_S(x_T))-D_psi(Phi_T(y_T))r)

并加梯度惩罚，防止低 NFE 回归目标过难导致的模糊/伪影。

总目标：

min(θ,φ,xi)max_psi; L(distill)(θ,φ,xi)+λ L_(adv)(θ,φ,xi,psi)

像素空间用 LPIPS，潜空间用 L1，λ≈1 无需精细调参。

端到端训练与推理

整个 ODE 轨迹可微，直接反向传播至 θ,φ,ξ；
训练 1–3 小时收敛（H100），峰值显存与 LD3 持平；
推理阶段仅多若干轻量线性组合，无额外网络调用，墙钟时间与 UniPC 完全一致。

通过“高容量理论指导参数化”+“对抗分布匹配”，GAS 在 6 个数据集、4–10 NFE 区间内一致取得 SOTA FID，且无需任何多阶段微调或启发式调度。

Q: 论文做了哪些实验？

论文在 6 个公开数据集、像素/潜空间两类模型、4–10 NFE 区间共完成 4 组实验，系统验证所提方法的有效性、效率与可复现性。

主实验：FID 对比
覆盖 CIFAR10(32×32)、FFHQ(64×64)、AFHQv2(64×64)、LSUN-Bedroom-256、ImageNet-256(类条件)、MS-COCO-512(SD-v1.5)。

基线：DPM++、UniPC、iPNDM 等无训练求解器；GITS、DMN、LD3、S4S 等训练求解器。
指标：50 k 样本 FID（COCO 为 30 k）。
结果：GAS 在 4–6 NFE 段平均领先次优方法 15–40 %；相同 NFE 下最接近教师 FID。

消融实验
a) 参数化消融：与“同等参数量”的 S4S 对比，相同训练预算下 GS 收敛快 ≈2×，最终 FID 低 20–60 %。
b) 对抗损失消融：固定 NFE=4，GS→GAS 的 FID 下降 10–25 %，LPIPS 略升，视觉伪影显著减少。
效率实验

数据量：GS 仅需 1400 张即可与 49 k 张持平；GAS 在 64×64 以上需 5 k 张抑制判别器过拟合。
训练时间：GS 1 h 内收敛，GAS 2–9 h（与 LD3/S4S 同量级）。
峰值显存：GS≈LD3；GAS 仅多 ≤4 GB。
推理时间：与 UniPC 完全一致，无额外开销。

跨数据集泛化
FFHQ↔AFHQv2 直接迁移：GAS 迁移后 FID 仍优于原数据集上训练的 LD3/S4S，差距 <0.5。
训练过程可视化

给出 FID/LPIPS 随迭代曲线，验证对抗损失虽收敛慢，但最终显著优于纯回归。
随机 vs 差异最大样本对比图，显示低 NFE 下 GAS 细节更真实且未出现模式崩塌。

所有实验配置、教师求解器参数、伪代码与随机种子均在附录公开，保证可复现。

Q: 有什么可以进一步探索的点？

以下方向可视为对 GAS 框架的直接延伸或潜在改进，均未被原文系统讨论：

跨 NFE 一次性训练
目前每选定一个 NFE 就要重训一套 (θ,φ,ξ)。可探索“连续 NFE 嵌入”或神经超网络，让同一套参数通过输入目标步数即可输出对应系数，实现单模型任意步采样。
更大分辨率与视频/3D 生成
论文实验最大 512×512，且未涉及视频或 NeRF。将 GS 参数化推广到时间-空间联合 ODE，或结合 DeepCache、序列并行以降低显存，验证在 1024×1024、长视频帧上的可扩展性。
理论-数据混合系数先验
当前仅使用 DPM-Solver++ 作为“零初始化”骨架。可引入更高阶指数积分器或数据驱动的基函数（如神经 ODE 生成的一组动态基）作为先验，进一步压缩可训练自由度。
自适应判别器调度
对抗权重 λ 现设为常数。可让 λ 随 NFE、训练迭代或当前生成质量动态变化，甚至用元学习自动调整，避免高 NFE 场景下判别器过度主导导致颜色漂移。
无配对“教师”蒸馏
本文依赖预训练高 NFE 教师生成成对数据。可研究仅用预训练扩散模型的 score 函数，不再采样完整轨迹，改用轨迹分布匹配或 moment matching 做无配对优化，降低前期数据准备成本。
多任务/多提示共享求解器
文本到图像实验显示不同提示下最优步长差异大。可探索提示感知的系数生成器（例如用 T5 编码文本后调制系数），使同一套 GS 在多种风格/内容提示上均保持低 FID。
量化与硬件协同设计
将 GS 的线性组合系数与模型权重联合量化至 8-bit 或 4-bit，并在 TensorRT / ONNX 上做算子融合，验证墙钟时间能否在边缘端再降 30–50 %。
可解释性研究
对学得的 θ,φ,ξ 做谱分析或灵敏度分析，观察哪些时间区间或历史步对生成质量影响最大，反过来指导人工设计更优的理论求解器。
与流形约束/微分同胚耦合
若数据位于低维流形，可在 GS 更新中显式加入流形投影或保持微分同胚的约束，考察能否进一步降低 NFE=1–2 时的模式崩塌风险。

这些方向既可直接嵌入现有代码库，也可作为独立课题深入。

Q: 总结一下论文的主要内容

论文核心贡献

问题定位
扩散模型采样需数十步 ODE 积分，计算昂贵；现有“求解器蒸馏”方法参数空间小、训练不稳定、低 NFE 易出伪影。
Generalized Solver (GS)

把线性多步格式扩展为“全部历史状态+速度”可学习加权组合：

x(n+1)= ∑(j=0)^(n) a(j,n)x_j + ∑(j=0)^(n) c_(j,n)v_j

系数 = 理论求解器（DPM-Solver++）（固定）+ 可训练残差（可微），零初始化即退化为原求解器，训练稳定且高容量。

Generalized Adversarial Solver (GAS)
在 GS 的回归损失（LPIPS/L1）上加入 R3GAN 相对判别器损失，抑制低 NFE 伪影，提升细节保真度。
实验结果

6 数据集（32×32 CIFAR10 → 512×512 MS-COCO）4–10 NFE 全面评测：GAS 一致取得 SOTA FID，4 NFE 时平均领先次优方法 15–40 %。
消融：同等参数量下 GS 收敛快 2×，FID 低 20–60 %；加入对抗损失后再降 10–25 %。
效率：GS 1 h 收敛，GAS 2–9 h；峰值显存 ≈LD3；推理墙钟时间与 UniPC 完全一致。

可扩展方向
跨 NFE 一次性训练、更大分辨率/视频、无配对蒸馏、自适应判别器权重、量化-硬件协同等。

一句话总结
GAS 通过“高容量理论指导参数化 + 对抗蒸馏”在 1–3 小时内把预训练扩散模型蒸馏为 4–6 步求解器，取得迄今最低的 FID 且零推理开销。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Aleksandr Oganov,Ilya Bykov,Eva Neudachina,Mishan Aliev,Alexander Tolmachev,Alexander Sidorov,Aleksandr Zuev,Andrey Okhotin,Denis Rakitin,Aibek Alanov

Categories: cs.CV,cs.LG

PDF URL: https://arxiv.org/pdf/2510.17699.pdf

Arxiv URL: https://arxiv.org/abs/2510.17699

Arxiv ID: 2510.17699

CoolPaper URL: https://papers.cool/arxiv/2510.17699

Published: 2025-10-20T16:14:38Z

Updated: 2025-10-20T16:14:38.000Z

11. Towards Faithful and Controllable Personalization via Critique-Post-Edit Reinforcement Learning

Faithfully personalizing large language models (LLMs) to align with individual user preferences is a critical but challenging task. While supervised fine-tuning (SFT) quickly reaches a performance plateau, standard reinforcement learning from human feedback (RLHF) also struggles with the nuances of personalization. Scalar-based reward models are prone to reward hacking which leads to verbose and superficially personalized responses. To address these limitations, we propose Critique-Post-Edit, a robust reinforcement learning framework that enables more faithful and controllable personalization. Our framework integrates two key components: (1) a Personalized Generative Reward Model (GRM) that provides multi-dimensional scores and textual critiques to resist reward hacking, and (2) a Critique-Post-Edit mechanism where the policy model revises its own outputs based on these critiques for more targeted and efficient learning. Under a rigorous length-controlled evaluation, our method substantially outperforms standard PPO on personalization benchmarks. Personalized Qwen2.5-7B achieves an average 11\% win-rate improvement, and personalized Qwen2.5-14B model surpasses the performance of GPT-4.1. These results demonstrate a practical path to faithful, efficient, and controllable personalization.

中文摘要

忠实地将大型语言模型 (LLM) 个性化以符合用户个人偏好是一项关键但具有挑战性的任务。虽然监督微调 (SFT) 可以快速达到性能平台期，但标准的人类反馈强化学习 (RLHF) 在个性化的细微差别上也存在困难。基于标量的奖励模型容易出现奖励操控，从而导致冗长且表面化的个性化回应。为了解决这些限制，我们提出了批评-后编辑（Critique-Post-Edit）框架，这是一种强健的强化学习方法，能够实现更忠实和可控的个性化。我们的框架整合了两个关键组件：(1) 个性化生成奖励模型 (GRM)，提供多维度评分和文本批评以抵御奖励操控；(2) 批评-后编辑机制，策略模型根据这些批评修订自身输出，以实现更有针对性和高效的学习。在严格的长度控制评估下，我们的方法在个性化基准测试中显著优于标准 PPO。个性化的 Qwen2.5-7B 平均胜率提高了 11%，而个性化的 Qwen2.5-14B 模型超过了 GPT-4.1 的性能。这些结果展示了实现忠实、高效且可控个性化的实际路径。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决“如何让大语言模型（LLM）在个性化场景下既忠实又可控”这一核心问题。具体而言，现有方法存在以下关键缺陷：

监督微调（SFT）与直接偏好优化（DPO）
仅依赖静态标签，模型很快饱和，无法学到“什么才是符合用户个性的表达”，只能停留在关键词或模板层面。
基于 Bradley-Terry 标量奖励的强化学习（RLHF）
奖励信号稀疏且易被“奖励黑客”利用，导致模型学会堆砌冗长套话或机械地插入用户属性，而非真正理解并自然体现个性。
缺乏细粒度、可解释的反馈
scalar 奖励无法告诉模型“哪里不像该用户、如何改”，因而难以做精准、可控制的个性化修正。

为此，作者提出 Critique-Post-Edit RL 框架，通过以下手段实现“忠实且可控”的个性化：

用 个性化生成式奖励模型（GRM） 取代传统 BT 奖励，输出多维分数与文本 critique，显著降低奖励黑客风险。
引入 自编辑机制：策略模型先产生初始回复，再根据 GRM 的 critique 自行精修，形成“原始-编辑”成对样本。
采用 混合 on-policy / off-policy 更新，在训练批次中同时利用原始回复与编辑回复，稳定优化并显式探索多种合理个性化路径。

实验表明，该方法在长度受控评测下平均带来 11% 的胜率提升，14B 模型甚至超越 GPT-4.1，验证了其在忠实、高效、可控个性化上的有效性。

Q: 有哪些相关研究？

论文第 2 节（Related Work）将相关研究归为 4 条主线，并给出代表性文献。以下按 markdown 列表归纳，并补全对应 arXiv/ACL 出处，方便快速定位。

Persona-Conditioned Dialogue Generation
早期工作直接把“人设”作为额外上下文输入解码器
Zhang et al., 2018: Personalizing Dialogue Agents: I have a dog, do you have pets too? arXiv:1801.07243
Song et al., 2019: Exploiting persona information for diverse generation of conversational responses arXiv:1905.12188
Meta-Learning / Few-Shot Personalization
目标：用极少样本快速适应新用户
Madotto et al., ACL 2019: Personalizing Dialogue Agents via Meta-Learning
Retrieval-Augmented Personalization（RAG 范式）
先检索用户私有知识，再注入 prompt 或微调
Salemi et al., ACL 2024 long: LaMP: When LLMs meet personalization
Salemi & Zamani, arXiv 2025: Learning from natural language feedback for personalized QA
Benchmark & Evaluation
公开数据集强调“忠实、可控”指标
PersonaBench (Tan et al., arXiv 2025)
PersonaFeedback (Tao et al., arXiv 2025)
PersonaMem (Jiang et al., arXiv 2025)
AlpacaEval-长度去偏版 (Dubois et al., arXiv 2024)
RLHF 与奖励黑客研究
揭示 scalar 奖励易被长度、套话刷分
Bu et al., Findings NAACL 2025: Adaptive Length Bias Mitigation in Reward Models
Sun et al., arXiv 2025: Probabilistic Uncertain Reward Model
生成式奖励模型（GRM）/ 文本反馈
用自然语言 critique 替代单一标量，减少黑客
Zhang et al., arXiv 2024: Generative Verifiers: Reward Modeling as Next-Token Prediction
Wang et al., arXiv 2025: HelpSteer3 — 提供开放式 critique 与编辑数据
编辑式强化学习
策略模型依据 critique 自改样本再训练
本文扩展了 HelpSteer3 的“反馈-编辑”流程，首次系统应用于个性化场景。

Q: 论文如何解决这个问题？

论文将“忠实且可控的个性化”转化为一个带文本 critique 的强化学习优化问题，提出 Critique-Post-Edit RL 框架。核心思路可概括为三步：①用生成式奖励模型替代易被黑客的标量奖励；②让策略模型根据 critique 自编辑，产生高质量修正样本；③在训练批次中混合原始与修正样本，设计混合 off-policy 损失，实现稳定更新。具体实现如下。

1. 训练个性化生成式奖励模型（GRM）

输入：(query, user profile, response)
输出：
自然语言 critique（指出不符合 persona 或表达生硬之处）
三维可解释分数：Helpfulness、Personalization、Naturalness，各 −5～+5
统一奖励：

S_(final) = w_h S_h + w_p S_p + w_n S_n,quad w_h=0.35, w_p=0.40, w_n=0.25

数据：在 18 k 偏好对基础上，用 GPT-4o-mini 为每条回复生成 critique 与三维分数，过滤得分相同样本后得 22 k 训练例。
作用：提供稀疏但难被黑客的信号，同时给出“如何改”的文本指令。

2. Critique-Post-Edit 采样流程

对同一 (query, persona) 做 k=4 次 rollout，得原始响应 y_o^((i)) 。
GRM 为每条 y_o^((i)) 生成 critique f^((i)) 与奖励 R_o^((i)) 。
将 (q,persona,y_o^((i)),f^((i))) 重新拼成 prompt，让策略模型再生成编辑版 y_e^((i)) 。
GRM 再次打分，得 R_e^((i)) 。
构建候选池 mathcal D=yo^((i)),y_e^((i))(i=1)^k ，共 8 条/问题。

3. 采样策略（保持训练稳定）

Random：按固定比例 r_e 随机选编辑样本。
Reward-Rank：按 R_e 降序取 top- r_e 。
Conditional：按改进幅度 Delta R=R_e-R_o 取 top- r_e 。

实验发现 Random r_e=0.5 最佳，验证负样本与多样性对个性化任务的重要性。

4. 混合策略梯度损失

训练批次 mathcal B 包含原始子集 mathcal D_o 与编辑子集 mathcal D_e 。对样本 y 定义：

mathcal L(PG)(y)= -min!l(r_t(θ)hat A_t, clip(r_t(θ),1!-!ε,1!+!ε)hat A_tr), & y∈mathcal D_o[4pt] -clip!l((πθ(y)) / (πe(y)),1!-!ε(low),1!+!ε_(high)r)hat A_t, & y∈mathcal D_e

rt(θ)=πθ(y)/π_(θ_old)(y) ：常规 PPO 重要性权重。
π_e(y) ：编辑阶段实际使用的策略（log-prob 预存），用于 off-policy 修正。
通过不同 clip 区间缓解分布偏移，保证训练稳定。

5. 整体算法流程（伪代码）

for iteration=1…N:
rollout 4 original responses y_o
for each y_o:
critique, R_o = GRM(q, persona, y_o)
y_e = π_θ(q, persona, y_o, critique) # 自编辑

R_e = GRM(q, persona, y_e)
构建候选池 → 按策略采样 → 得到批次 B
估计优势 Â_t
用混合损失更新 π_θ

6. 效果验证

长度受控胜率（PersonaFeedback 300 题）：
Qwen2.5-7B：PPO 53.5% → Critique-Post-Edit 64.1%（+10.6↑）
Qwen2.5-14B：65.2% → 76.8%（+11.6↑），超过 GPT-4.1
奖励黑客抑制：BT 奖励训练平均长度 995 tokens，GRM 仅 409 tokens；自编辑后 447 tokens，显著抑制冗长套话。

通过“生成式奖励 + 自编辑 + 混合 off-policy 更新”三位一体，论文实现了更忠实、更可控的 LLM 个性化。

Q: 论文做了哪些实验？

论文围绕“个性化质量”与“奖励黑客抑制”两条主线，共设计 5 组实验。所有对比均在 长度受控（length-controlled） 指标下进行，以排除长度偏差。

1. 主实验：三大 benchmark 横向对比

数据集	样本规模	评估重点
PersonaFeedback	300 题（Easy/Med/Hard 各 50×2 类）	综合个性化质量
AlpacaEval	官方 805 题，每题配人造 persona	通用指令遵循+个性
PersonaMem	官方 1 000 题	长程记忆与一致性

基线：原模型、SFT、DPO、标准 PPO（BT 奖励）
参评模型：Qwen2.5-7B / 14B 的 Critique-Post-Edit 版本
结果（长度受控胜率，%）：

Model	PersonaFeedback	AlpacaEval	PersonaMem
GPT-4.1	61.0	64.0	49.5
PPO-7B	52.8	53.5	33.6
Ours-7B	69.2	59.0	50.2
PPO-14B	65.4	57.8	44.6
Ours-14B	77.4	76.1	67.1

→ 14B 版本在三大集上全面超越 GPT-4.1，7B 版本亦显著优于同等规模 PPO。

2. 奖励模型消融：BT vs GRM vs GRM+Edit

控制 rollout 总量 6 条/问题，仅改变奖励与是否启用编辑。

设置	Length-controlled Win Rate	平均长度
BT 奖励	51.78 %	995 tokens
GRM 无编辑	59.50 %	409 tokens
GRM + 编辑	64.07 %	447 tokens

→ GRM 单用即可抑制冗长；叠加自编辑再提升 4.6 %，验证两条组件均不可或缺。

3. 采样策略与编辑比例 ablation

固定 7B 模型 + 14B GRM，遍历 r_e ∈ 0.1,0.25,0.5,0.75,1.0 与三种采样策略。

r_e	Random	Reward-Rank	Conditional
0.10	62.03	54.66	55.14
0.50	64.07	56.98	53.70
1.00	61.40	—	—

→ Random 0.5 最佳；纯高分采样易过拟合，说明负样本与多样性对个性化至关重要。

4. GRM 规模 scaling 实验

用 7B、14B、32B 三种 GRM 驱动同一 7B 策略模型，观察训练曲线与最终胜率。

32B GRM 全程领先；14B 初期弱于 7B，后期因“精修高质量回答”能力趋近 32B，最终胜率持平。
佐证：更大 GRM → 更强 critique → 更大提升空间。

5. 人类一致性验证

随机抽取 100 条 PersonaFeedback 样本，请 3 位外部专家双盲打分。

对比组合	Cohen’s κ
GPT-4.1 vs 人类	0.71
人类自身	0.70
GPT-4.1 vs 其他模型	0.67

→ GPT-4.1 与人类高度一致，故后续自动评测均以 GPT-4.1 为单一裁判，结果可信。

附加分析

奖励黑客时序监测：BT 奖励训练过程中长度与奖励同步飙升；GRM 训练段长度平稳，验证黑客被抑制。
案例可视化：给出原始回复→critique→编辑后回复的三连样例，展示如何删除“套话、生硬比喻、自我总结”并实现自然个性化。

以上实验从主效果→消融→策略→规模→人类一致性五个维度完整验证了 Critique-Post-Edit RL 的有效性与可扩展性。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为“方法-层面”与“场景-层面”两类，均直接对应论文尚未充分展开或完全留白之处。

方法-层面

** critique 质量 vs 模型规模的边际收益**
已测试 7B-32B GRM，发现“越大越好”，但未探明：

当 GRM ≫ Policy 时是否仍线性提升？
若用 1B-3B“小但专用”GRM 通过蒸馏逼近 32B 效果，可大幅降低训练成本。

多轮迭代式自编辑
目前仅“一次 critique → 一次编辑”。可探索：

链式自修正： y^((0)) f^((0)) y^((1)) f^((1)) dots f^((T)) y^((T)) ，用动态规划或贪心停止准则决定最优 T。
是否出现“过度打磨”导致自然度下降？需引入编辑深度正则。

多角色/多视角 GRM 集成
单一 GRM 可能偏好单一表达风格。可训练：

“严格事实型”与“温暖共情型”双 GRM，通过加权或投票形成 Pareto 前沿，实现风格可控个性化。

在线个性化：用户实时反馈闭环
当前为离线批训练。可延伸为：

用户每次点“👍/👎”或留一句自然语言修正 → 在线更新 GRM 或策略头部（小步 LoRA）。
探索不遗忘旧用户的弹性权重巩固（EWC）或记忆回放方案。

编辑策略的细粒度控制
除随机采样外，可学习可微分的采样器：

用轻量价值网络预测“哪条 critique 最值得执行”，把 r_e 变为自适应门控，实现样本级动态预算。

场景-层面

长程记忆与多会话一致性
PersonaMem 仅单轮评测。可构建：

10-轮以上多轮对话数据集，检验“自编辑”是否导致前后人设漂移。
引入记忆摘要 critique：GRM 同时检查“与历史回复冲突”维度。

跨语言/跨文化个性化
本文数据以中文+英文为主。可验证：

日语敬语、德语 Sie/du 等文化语法是否也能通过 critique-post-edit 自动对齐，避免人工规则。

多模态个性化（文本+语音+图像）

语音：critique 指出“音调过于平淡，与用户活泼人格不符”，策略模型再生成富情感 TTS 特征向量。
图像：为用户生成个性化头像或幻灯片，GRM 评判“颜色风格与用户审美档案冲突”。

群体/联邦个性化

各用户本地保存私有 critique 数据，不上传原始对话。
服务器仅聚合 GRM 梯度，做联邦强化学习，解决隐私合规。

可解释性与可控性接口

将三维分数展开为滑杆界面，用户可实时调节“helpfulness ↔ personalization ↔ naturalness”权重 w_h,w_p,w_n ；策略模型在解码阶段即引入该向量，实现推理期零样本风格控制。

小结

方法侧聚焦“更深迭代、更小成本、在线更新、多风格集成”。
场景侧放眼“长程、跨语言、多模态、联邦、可解释交互”。

这些方向既可直接沿用论文已开源的 GRM+Edit 框架，也能引入新的模型结构或数据范式，为“忠实且可控”的个性化研究继续提供增量空间。

Q: 总结一下论文的主要内容

一句话概括
提出“Critique-Post-Edit RL”框架，用生成式奖励+自编辑强化学习实现忠实、可控的大模型个性化，7B 模型胜率提升 11%，14B 模型超越 GPT-4.1。

1. 问题

SFT/DPO 快速饱和，学不到“何谓真个性化”
标量奖励 RLHF 易被奖励黑客（冗长、套话、机械插 persona）
缺乏细粒度、可解释的改进信号

2. 方法

两组件
① 个性化 GRM
输入 (query, persona, response) → 输出文本 critique + 三维分数（Helpfulness、Personalization、Naturalness）→ 加权得标量奖励，黑客难度高。

② Critique-Post-Edit 机制
策略模型先产生回复 → GRM 给 critique → 模型依 critique 自编辑 → 原始+编辑样本混合训练；设计混合 off-policy PPO 损失保证稳定。

3. 实验结果（长度受控指标）

模型	PersonaFeedback	AlpacaEval	PersonaMem
PPO-7B	52.8 %	53.5 %	33.6 %
Ours-7B	69.2 % ⬆+16.4	59.0 %	50.2 %
PPO-14B	65.4 %	57.8 %	44.6 %
Ours-14B	77.4 % ⬆+12.0	76.1 %	67.1 %

平均 +11 % 胜率；14B 全面超越 GPT-4.1
消融：BT 奖励→51.8 %，GRM 无编辑→59.5 %，GRM+编辑→64.1 %，双组件均关键
采样：Random 50 % 编辑比例最佳，过筛高分反而过拟合
长度：BT 训练 995 tokens，GRM 稳定 409 → 447 tokens，奖励黑客显著抑制

4. 贡献

揭示 SFT/DPO/BT-RM 在个性化场景下的局限性
首次将生成式奖励+自编辑 RL系统应用于个性化，建立新范式
在三个基准、严格长度去偏评测下取得 SOTA 并开源代码与数据流程

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Chenghao Zhu,Meiling Tao,Tiannan Wang,Dongyi Ding,Yuchen Eleanor Jiang,Wangchunshu Zhou

Categories: cs.CL,cs.AI

PDF URL: https://arxiv.org/pdf/2510.18849.pdf

Arxiv URL: https://arxiv.org/abs/2510.18849

Arxiv ID: 2510.18849

CoolPaper URL: https://papers.cool/arxiv/2510.18849

Published: 2025-10-21T17:40:03Z

Updated: 2025-10-21T17:40:03.000Z

12. Is Multilingual LLM Watermarking Truly Multilingual? A Simple Back-Translation Solution

Multilingual watermarking aims to make large language model (LLM) outputs traceable across languages, yet current methods still fall short. Despite claims of cross-lingual robustness, they are evaluated only on high-resource languages. We show that existing multilingual watermarking methods are not truly multilingual: they fail to remain robust under translation attacks in medium- and low-resource languages. We trace this failure to semantic clustering, which fails when the tokenizer vocabulary contains too few full-word tokens for a given language. To address this, we introduce STEAM, a back-translation-based detection method that restores watermark strength lost through translation. STEAM is compatible with any watermarking method, robust across different tokenizers and languages, non-invasive, and easily extendable to new languages. With average gains of +0.19 AUC and +40%p TPR@1% on 17 languages, STEAM provides a simple and robust path toward fairer watermarking across diverse languages.

中文摘要

多语言水印旨在使大型语言模型（LLM）的输出在不同语言间可追踪，但现有方法仍有不足。尽管声称具有跨语言鲁棒性，这些方法仅在高资源语言上进行了评估。我们展示了现有的多语言水印方法并不是真正的多语言：它们在中低资源语言的翻译攻击下无法保持鲁棒性。我们追溯到这种失败的原因是语义聚类，当分词器词汇表中某语言的完整单词数量过少时，语义聚类会失效。为此，我们引入了STEAM，这是一种基于回译的检测方法，可恢复翻译过程中丢失的水印强度。STEAM与任何水印方法兼容，在不同分词器和语言间具有鲁棒性，无侵入性，并且易于扩展到新语言。在17种语言上，STEAM平均带来+0.19 AUC和+40% TPR@1%的提升，为跨多样语言实现更公平的水印提供了简单且稳健的途径。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在揭示并解决“多语言大模型水印”在真实多语言场景下的脆弱性。核心问题可归纳为：

表面多语言，实则高资源偏向
现有方法仅在英、德、法等高资源语言上评估，宣称“跨语言鲁棒”，却未检验中低资源语言。作者首次系统实验表明，一旦文本被翻译成中等或低资源语言（如泰米尔语、孟加拉语），水印检测强度急剧下降，AUC 最高可跌 0.32。
语义聚类失效根源
所谓“语义聚类”依赖多语言词典把同义词映射到同一绿/红列表。但 BPE 词表在高资源语中保留大量整词 token，而在低资源语中把同一词切成高频子词，导致聚类覆盖率极低（希伯来语仅 0.13%）。结果，水印信号在翻译后几乎无法匹配，聚类机制形同虚设。
提出无侵入、模型无关的补救方案 STEAM
检测阶段通过“回译池”把可疑文本反向译回多个支持语言，再用任意基础水印检测器计算每份候选文本的 z-score，经语言级归一化后取最大值作为最终统计量。该方法无需改动生成模型或水印算法，即可在 17 种语言上平均提升 +0.19 AUC、+40%p TPR@1%，且对翻译服务错位、多步翻译等自适应攻击仍保持 ≥0.80 AUC。

综上，论文首次量化了“翻译攻击”在中低资源语言下的严重性，指出语义聚类的结构性缺陷，并用轻量级回译策略实现真正跨语言、跨 tokenizer 的水印恢复。

Q: 有哪些相关研究？

以下研究按主题归类，均与“大模型文本水印”或“跨语言鲁棒性”直接相关，并在论文中被引用或作为对比基线。

1. logits 式（推理时）水印奠基工作

KGW
Kirchenbauer et al., 2023 —— 首个将词汇表动态划分为 green/red list 并施加 logit bias 的方案，本文所有实验的基线。
公式： z = (|G| - γ n) / (√nγ(1-γ))
Unigram
Zhao et al., 2023 —— 固定 green/red 划分，提升对同义改写鲁棒性。
Unbiased/EXP/ITS
Hu et al., 2023；Kuditipudi et al., 2024 —— 通过可逆变换或无损采样保证文本分布不变，同时嵌入信号。

2. 语义增强水印（对抗改写/翻译）

SIR
Liu et al., 2024a —— 利用句向量相似度做“语义不变”聚类，再施加 green/red 偏向。
X-SIR
He et al., 2024 —— 将 SIR 扩展到多语言场景，用多语词典构建跨语言同义词簇，是本文重点批判与对比对象。
SemaMark / SemStamp / Context-Aware
Ren et al., 2024；Hou et al., 2024；Guo et al., 2024 —— 通过

Authors: Asim Mohamed,Martin Gubri

Categories: cs.CL,cs.AI

PDF URL: https://arxiv.org/pdf/2510.18019.pdf

Arxiv URL: https://arxiv.org/abs/2510.18019

Arxiv ID: 2510.18019

CoolPaper URL: https://papers.cool/arxiv/2510.18019

Published: 2025-10-20T18:51:20Z

Updated: 2025-10-20T18:51:20.000Z

13. MT-Video-Bench: A Holistic Video Understanding Benchmark for Evaluating Multimodal LLMs in Multi-Turn Dialogues

The recent development of Multimodal Large Language Models (MLLMs) has significantly advanced AI’s ability to understand visual modalities. However, existing evaluation benchmarks remain limited to single-turn question answering, overlooking the complexity of multi-turn dialogues in real-world scenarios. To bridge this gap, we introduce MT-Video-Bench, a holistic video understanding benchmark for evaluating MLLMs in multi-turn dialogues. Specifically, our MT-Video-Bench mainly assesses six core competencies that focus on perceptivity and interactivity, encompassing 987 meticulously curated multi-turn dialogues from diverse domains. These capabilities are rigorously aligned with real-world applications, such as interactive sports analysis and multi-turn video-based intelligent tutoring. With MT-Video-Bench, we extensively evaluate various state-of-the-art open-source and closed-source MLLMs, revealing their significant performance discrepancies and limitations in handling multi-turn video dialogues. The benchmark will be publicly available to foster future research.

中文摘要

多模态大语言模型（MLLMs）的最新发展显著提升了人工智能理解视觉模态的能力。然而，现有的评估基准仍局限于单轮问答，忽视了现实场景中多轮对话的复杂性。为弥补这一空白，我们提出了 MT-Video-Bench，这是一项全面的视频理解基准，用于评估 MLLMs 在多轮对话中的表现。具体而言，我们的 MT-Video-Bench 主要评估六项核心能力，侧重于感知性和交互性，涵盖来自多个领域的 987 个精心策划的多轮对话。这些能力与现实应用紧密对齐，如交互式体育分析和基于多轮视频的智能辅导。通过 MT-Video-Bench，我们对多种最先进的开源和闭源 MLLMs 进行了广泛评估，揭示了它们在处理多轮视频对话方面存在的显著性能差异和局限性。该基准将公开发布，以促进未来研究的发展。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在填补现有多模态大模型（MLLM）视频理解评测的空白：
现有基准几乎只测“单轮”问答，无法反映真实场景中用户与模型持续多轮、跨场景、带话题转移与拒绝回答等复杂对话需求。为此，作者提出 MT-Video-Bench，首次系统评估 MLLM 在“多轮视频对话”中的两大核心能力：

感知性（Perceptivity）：对象指代、记忆召回、内容摘要
交互性（Interactivity）：拒绝回答、话题切换、主动互动

通过 987 组多轮对话、5 805 个问答对，覆盖单场景与跨场景、长短视频，揭示当前模型在多轮视频对话中仍存在显著性能落差，为后续研究提供评测基准与改进方向。

Q: 有哪些相关研究？

相关研究可归纳为两条主线：多模态大模型（MLLM）与视频理解基准。代表性工作如下：

多模态大模型

Qwen2.5-VL
Bai et al., 2025
引入动态分辨率 ViT 与 MRoPE，实现时空对齐，支持视频问答。
InternVL3.5
Wang et al., 2025a
采用 InternViT 编码器 + ViR/ViCO 模块，强化跨模态一致性与长视频推理。
Gemini 2.5 系列
Gemini Team, 2025
闭源多模态模型，支持长上下文视频理解与多轮对话。

视频理解基准（单轮为主）

基准	平均问答/视频	平均时长>10 min	多轮对话	跨场景	构建方式
MVBench	1.00	×	×	×	自动
LongVideoBench	1.77	√	×	×	人工
Video-MME	3.00	√	×	×	人工
LVBENCH	15.04	√	×	×	人工
MLVU	1.79	√	×	×	人工
Video-MMLU	14.78	√	×	×	自动+人工
ScaleLong	6.49	√	×	×	人工
SVBench	36.87	√	4.29 轮	√	自动+人工

共同点：均以“单轮”或“流式多轮但仅时间线连续”为核心，缺乏对跨场景记忆、话题转移、拒绝回答等交互能力的细粒度评测。

MT-Video-Bench 首次将“多轮对话”作为核心场景，引入 6 大能力维度与跨场景依赖，填补了上述空白。

Q: 论文如何解决这个问题？

论文通过“构建新基准 + 系统实验”两步解决“缺乏多轮视频对话评测”的问题：

构建 MT-Video-Bench

六维能力框架
– 感知性：Object Reference / Memory Recall / Content Summary
– 交互性：Answer Refusal / Topic Shifting / Proactive Interaction
半自动数据管道

135 段长视频 → PySceneDetect 分镜 → Gemini-2.5-Flash 字幕融合 → 单场景片段
2 FPS 抽帧 → 拉普拉斯锐度 + 直方图相似度过滤 → YOLOv11 检测 → Gemini 字幕 → 动态对象记忆库 → 按共有对象/主题合并得跨场景片段
Gemini-2.5-Pro 生成 5–8 轮对话，每段对话仅保留得分≥5 的任务类型
两阶段人工校验：①剔除上下文泄露题，②事实/能力维度/难度三重过滤

统计特性
987 组对话、5 805 对 QA，平均 5.88 轮/对话；43 QA/视频；覆盖 5 大主题、长短视频均衡；单场景与跨场景并存。

系统实验与诊断

20 个开源/闭源模型统一 32 帧、720p 输入；采用“黄金对话历史”避免自回归误差累积。
评估指标：Gemini-2.5-Flash 生成 5 项 yes/no 核查单 → 人工二次过滤 → 平均 3.29 题/QA → 计算准确率。
结果揭示：
– 最佳 Gemini-2.5-Pro 仅 68.45%，开源模型普遍 <50%。
– 感知子任务显著高于交互子任务；跨场景普遍低于单场景。
– 同系列模型规模↑→性能↑，但“思维”开关可让小模型追平大模型。
细粒度消融：帧数、分辨率、对话轮数、上下文来源、视频长度等维度给出性能变化曲线，明确长视觉上下文与高精度对话历史缺一不可。

通过上述基准与实验，论文不仅量化了当前 MLLM 在多轮视频对话中的缺陷，也为后续研究提供了可复现的评测协议与改进方向。

Q: 论文做了哪些实验？

论文围绕 MT-Video-Bench 开展了三类实验：

主实验（20 模型全基准测评）
细粒度消融实验（控制帧数、分辨率、对话轮数、上下文来源、视频长度、单/跨场景）
失败案例剖析（人工核查单可视化）

1. 主实验：20 模型端到端测评

被测模型
闭源：Gemini-2.5-Pro / Flash，Doubao-Seed-1.6-vision
开源 18 个：Qwen2.5-VL（3B→72B）、InternVL3.5（4B→38B，Think/No-Think）、LLaVA-OneVision、InternVideo2.5、VideoLLaMA3、MiniCPM 系列等
统一输入设置
32 帧、长边 720 px、保持比例；Intern 系列按官方分辨率（448×448 或 728×728）。
评估协议
使用“黄金对话历史”避免自回归误差 → Gemini-2.5-Flash 生成 5 项核查单 → 人工二次过滤 → 平均 3.29 题/QA → 计算准确率（ACC）。
主要结果
整体 ACC：Gemini-2.5-Pro 68.45 % 居首，开源最佳 Qwen2.5-VL-72B 58.48 %。
能力差异：感知子任务（OR/MR/CS）> 交互子任务（AR/TS/PI）；跨场景一致低于单场景。
规模效应：同系列参数↑ → 性能↑；InternVL3.5 开启“Think”后小模型可追平大模型。

2. 细粒度消融实验

变量	设置	关键结论
单/跨场景	按对话是否跨越 ≥2 场景分组	所有模型跨场景 ACC 下降 5–15 %；Gemini-2.5-Pro 下降最少。
视频长度	<5 min / 5–10 min / 10–15 min / >15 min	性能随长度单调降；长视频（>15 min）模型间差距缩小。
对话轮数	3–4 / 5–6 / 7–8 轮	轮数↑ → 上下文信息↑ → 大模型受益更多；小模型 7–8 轮后趋于饱和。
上下文来源	①无上下文 ②自生成上下文 ③黄金上下文	黄金 > 无 ≈ 自生成；自生成累积误差导致“错误记忆”陷阱。
帧数	4 / 8 / 16 / 32 / 64 帧，720p 固定	OR/MR/CS/PI 随帧数↑而↑；AR 反而下降（帧多→幻觉↑）；TS 几乎不变。
分辨率	120p→960p，32 帧固定	120→720p 各能力稳步↑；960p 因 token 过量略降。

3. 失败案例剖析

从 6 项能力各抽取典型错误对话
给出：历史上下文 → 用户当前问 → 标准答案 → 模型错误输出 → 核查单逐项对比
直观展示模型在“指代消解、记忆定位、拒绝幻觉、话题切换、主动互动、摘要遗漏”上的具体失效模式，为后续改进提供可追踪样例。

Q: 有什么可以进一步探索的点？

以下方向可延续或深化 MT-Video-Bench 的 findings，均直接对应论文已暴露的短板或尚未覆盖的维度：

对话策略学习

目前模型仅做“被动 next-token 预测”。可引入强化学习（RLHF/RLVF）以“拒绝准确率、话题切换流畅度、主动互动成功率”为奖励，直接优化对话策略。
探索“拒绝-解释”双目标奖励：不仅拒绝幻觉，还要生成教学式解释，提升用户信任度。

长程记忆机制

实验显示跨场景性能骤降。可显式维护“视频事件记忆图”：节点=对象/事件/时序，边=因果/共现；用图神经网络在每一轮动态更新与查询。
研究“记忆遗忘策略”：当视频长度>15 min 时，按事件重要性+时间衰减进行遗忘，避免上下文超限导致的性能衰减。

细粒度视觉-对话对齐

帧数↑导致 AR 性能↓，说明模型易被冗余视觉线索误导。可引入“对话相关度滤波”：先用轻量视觉-文本对齐模型给帧打分，仅保留 Top-k 相关帧进入 LLM，降低幻觉。
开发“对象级指针机制”：当用户出现“那个”“它”等指代时，模型输出隐式指针到具体时空管辖区，实现可解释指代消解。

多模态链式推理（Chain-of-Multimodal-Thought）

InternVL3.5 开启 Think 模式即可让小模型逼近大模型，表明推理过程显著有效。可系统研究：
– 如何在视频场景下生成“中间视觉子问题”（如先定位→再属性→再因果）。
– 推理步数与计算预算的动态分配，避免过长思维链引入延迟。

统一的多轮视频对话预训练任务

现有预训练以“单轮字幕生成”或“帧-文本匹配”为主。可设计连续预训练任务：
– 随机遮盖历史对话中关键实体，要求模型重建（强化记忆召回）。
– 随机插入“不可回答问题”与“话题外问题”，让模型学会拒绝与切换。
– 采用“对话状态一致性”损失，惩罚与历史冲突的响应。

在线/流式场景扩展

MT-Video-Bench 为离线剪辑视频。可构建流式版本：视频实时输入，模型在收到用户问题时仅拥有部分片段，需即时决策“等待更多信息 / 基于当前信息回答 / 拒绝”。
评估指标需引入“延迟-准确率”帕累托前沿，权衡实时性与正确性。

多语言与多文化适应性

当前数据以英文为主。可收集中文、西班牙语等多语言多轮对话，检验模型在非英语场景下的指代、摘要、拒绝能力是否退化。
考察文化特定元素（如体育规则、教育场景）对话题切换与主动互动的影响。

人类-模型协同评测接口

开放一个交互式平台，允许研究人员实时输入新视频与多轮问题，后台记录模型失败样例并自动归入六维能力标签，持续扩充困难样本池，实现“动态基准”。

安全性与伦理

主动互动能力可能被滥用为诱导性提问。需建立“安全拒绝”子任务：当用户试图通过多轮对话让模型生成隐私/暴力内容时，模型应识别并拒绝，同时保持对话连贯。
评估不同拒绝策略对用户体验（满意度、继续对话率）的影响。

压缩与端侧部署

高分辨率+长视频+多轮历史导致 token 爆炸。可研究：
– 视觉-文本联合压缩：将已理解事件压缩成“语义 token”，后续轮次仅传递语义 token 而非原帧。
– 量化/蒸馏方案：保持六维能力不显著下降的前提下，把 30B 模型压缩至 3B 以下，适配移动端实时视频辅导场景。

这些方向均可在 MT-Video-Bench 的评测框架下直接迭代，形成“问题→基准→改进→再评测”的闭环。

Q: 总结一下论文的主要内容

MT-Video-Bench 论文核心内容一览

问题定位
现有多模态大模型（MLLM）视频评测仅聚焦“单轮”问答，无法衡量真实场景下“多轮、跨场景、带交互”的对话能力。
解决方案
提出 MT-Video-Bench：

六维能力框架
– 感知性：Object Reference / Memory Recall / Content Summary
– 交互性：Answer Refusal / Topic Shifting / Proactive Interaction
987 组多轮对话、5 805 对 QA，平均 5.88 轮/对话，覆盖单场景与跨场景、长短视频。
半自动构建 + 两阶段人工校验，确保无信息泄露、无歧义、难度适中。

主实验结果

20 个模型统一 32 帧、720p 输入，使用“黄金历史”评测。
最佳 Gemini-2.5-Pro 仅 68.45 %；开源模型普遍 <50 %。
感知 > 交互；跨场景显著低于单场景；模型规模↑＋思维链可提升，但无法完全弥补差距。

细粒度消融
帧数、分辨率、视频长度、对话轮数、上下文来源、单/跨场景六变量系统分析，揭示：

长视觉上下文与高精度对话历史缺一不可；
帧数↑→幻觉↑（AR 降）；分辨率 720p 为最佳拐点；
自生成上下文累积误差，性能≈无上下文。

贡献总结

首个专注“多轮视频对话”的综合基准；
大规模测评暴露当前 MLLM 在记忆、拒绝、话题切换、主动互动上的显著短板；
提供可复现的评测协议、数据与代码，推动未来研究向“长上下文+交互式视频理解”演进。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yaning Pan,Zekun Wang,Qianqian Xie,Yongqian Wen,Yuanxing Zhang,Guohui Zhang,Haoxuan Hu,Zhiyu Pan,Yibing Huang,Zhidong Gan,Yonghong Lin,An Ping,Tianhao Peng,Jiaheng Liu

Categories: cs.CV,cs.AI

PDF URL: https://arxiv.org/pdf/2510.17722.pdf

Arxiv URL: https://arxiv.org/abs/2510.17722

Arxiv ID: 2510.17722

CoolPaper URL: https://papers.cool/arxiv/2510.17722

Published: 2025-10-20T16:38:40Z

Updated: 2025-10-20T16:38:40.000Z

14. UltraGen: High-Resolution Video Generation with Hierarchical Attention

Recent advances in video generation have made it possible to produce visually compelling videos, with wide-ranging applications in content creation, entertainment, and virtual reality. However, most existing diffusion transformer based video generation models are limited to low-resolution outputs (<=720P) due to the quadratic computational complexity of the attention mechanism with respect to the output width and height. This computational bottleneck makes native high-resolution video generation (1080P/2K/4K) impractical for both training and inference. To address this challenge, we present UltraGen, a novel video generation framework that enables i) efficient and ii) end-to-end native high-resolution video synthesis. Specifically, UltraGen features a hierarchical dual-branch attention architecture based on global-local attention decomposition, which decouples full attention into a local attention branch for high-fidelity regional content and a global attention branch for overall semantic consistency. We further propose a spatially compressed global modeling strategy to efficiently learn global dependencies, and a hierarchical cross-window local attention mechanism to reduce computational costs while enhancing information flow across different local windows. Extensive experiments demonstrate that UltraGen can effectively scale pre-trained low-resolution video models to 1080P and even 4K resolution for the first time, outperforming existing state-of-the-art methods and super-resolution based two-stage pipelines in both qualitative and quantitative evaluations.

中文摘要

最近的视频生成技术进展使得生成视觉上引人注目的视频成为可能，并在内容创作、娱乐和虚拟现实等领域具有广泛的应用。然而，由于注意力机制相对于输出宽度和高度的二次计算复杂度，大多数现有基于扩散变换器的视频生成模型仅限于低分辨率输出（<=720P）。这一计算瓶颈使得原生高分辨率视频生成（1080P/2K/4K）在训练和推理中都不切实际。为了解决这一挑战，我们提出了UltraGen，这是一种新的视频生成框架，实现了i) 高效和 ii) 端到端原生高分辨率视频合成。具体而言，UltraGen采用基于全局-局部注意力分解的分层双分支注意力架构，将全注意力解耦为用于高保真区域内容的局部注意力分支和用于整体语义一致性的全局注意力分支。我们进一步提出了一种空间压缩的全局建模策略，以高效学习全局依赖关系，并引入分层跨窗口局部注意力机制，以在降低计算成本的同时增强不同局部窗口之间的信息流动。大量实验表明，UltraGen能够首次将预训练的低分辨率视频模型有效扩展到1080P甚至4K分辨率，在定性和定量评估中均优于现有的最先进方法以及基于超分辨率的两阶段流程。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决高分辨率（1080P/2K/4K）原生视频生成中的核心瓶颈：

全注意力机制的二次计算复杂度使得现有扩散 Transformer 视频模型只能止步于≤720P 分辨率；
两阶段“先低清后超分”范式仅提升清晰度，无法引入真实细节，导致“伪高清”；
直接训练高分辨率模型在时间与显存上均不可行。

为此，作者提出 UltraGen，通过全局-局部注意力分解与层级窗口交互，在端到端、不依赖超分的前提下，首次实现原生 4K 视频生成，并相较基线取得 4.78× 加速。

Q: 有哪些相关研究？

相关研究可归纳为两条主线，均围绕“高分辨率视频生成”展开：

原生高分辨率生成

Align-Your-Latents (Blattmann et al., CVPR 2023) – 在潜空间直接训练多分辨率模型，但>2K 时模糊。
Imagen Video (Ho et al., 2022) – 级联扩散 pipeline，最高 1280×768，仍非原生 4K。
Lingen (Wang et al., CVPR 2025) – 线性注意力降低长视频复杂度，但仅关注时序延长，未解决空间分辨率二次膨胀。

两阶段“低清→超分”范式

Stable Video Diffusion / Make-a-Video / CogVideoX – 先生成低清，再用专用视频超分（RealViFormer、Upscale-A-Video 等）上采样；结果锐度提升却缺乏真实细节，出现“伪高清”。

高效注意力机制（被本文借鉴）

Swin-Transformer 的移位窗口注意力 – 仅空间局部交互，无时空联合压缩。
DiT / U-ViT – 全时空序列注意力，复杂度 O((T·H·W)²)，成为分辨率瓶颈。

UltraGen 首次将“全局-局部注意力分解 + 时空压缩 + 层级跨窗”引入视频扩散 Transformer，实现不依赖超分的原生 4K 生成，与上述方法形成直接对比。

Q: 论文如何解决这个问题？

论文提出 UltraGen 框架，通过三项核心设计把二次复杂度 O((T·H·W)²) 降至近似线性，同时保留全局一致性，实现端到端原生 1080P/4K 视频生成：

全局-局部注意力分解

局部分支：将特征图划分为 K×K 非重叠窗口，窗口内自注意力复杂度 O((TWH/K²)²)，随分辨率线性增长。
全局分支：先用帧级 depth-wise 卷积把空间下采样 k 倍，再做自注意力，复杂度降为 O((TWH/k²)²)；随后 3D 卷积上采样回原分辨率，保证时序连贯。
时变融合：用可学习的 timestep 相关权重 α(t) 动态融合两支输出，早期偏全局结构，后期偏局部细节。

层级跨窗局部注意力

相邻层采用交错窗口划分（K×K vs K+1×K+1），使窗口边界在层间相交，信息无缝传递，消除“拼接痕”。
进一步引入“粗窗口”(K/2×K/2) 的层级注意力，兼顾快速移动小目标；同样用 domain-aware LoRA 复用权重，不增加显存。

域感知 LoRA 复用
全局、层级分支均用低秩残差 ΔW=AW·BW 微调原注意力权重，避免为每支分支单独存储一套参数，显存与计算开销近似不变。

综合三项设计，总体复杂度从 O((TWH)²) 降至

O!((5(TWH)^2) / (4K^2)+((TWH)^2) / (K^4)),

当 K=4 时理论加速 12×，实测 4K 推理比 Wan-1.3B 快 4.78×，且无需任何后处理超分即可生成细节丰富的原生高清视频。

Q: 论文做了哪些实验？

实验围绕「能否在 1080 P / 4 K 分辨率下原生生成高质量视频」展开，分四部分：

主实验对比

对手：Wan-1.3B、HunyuanVideo、CogVideo-X，以及它们「先低清后超分」的两阶段版本。
设置：1080 P（81 帧）与 4 K（29 帧）文本-视频生成，统一 prompt，4×H20 推理。
指标：
– 新提出 HD-FVD、HD-MSE、HD-LPIPS（高分辨率感知）；
– 传统 CLIP-L、Temporal Consistency；
– VBench 全套语义/美学/成像质量。

效率评测
记录端到端推理时间：

1080 P 下 UltraGen 13 min vs Wan 35 min（×2.69）；
4 K 下 1 h 50 min vs 8 h 46 min（×4.78）。

消融实验
五组剔除：
无全局注意力
无层级注意力
无 domain-aware LoRA
无跨窗局部注意力
局部改用 Swin-Attention
定量给出 HD-FVD、CLIP-L 与 VBench 平均分；可视化展示边界不一致、伪影、细节缺失等现象。
可视化与扩展

补充 1080 P/4 K 样例各 6 组，覆盖人物、风景、动物、科幻场景。
提供失败案例分析：极速大运动场景偶现轻微不自然运动，指出未来工作方向。

Q: 有什么可以进一步探索的点？

可进一步探索的方向（按研究价值与实现难度排序）

1. 任意长 4K 视频生成
当前 4K 模型受显存限制仅 29 帧。可结合时间-稀疏注意力、梯度检查点或序列并行，将时长扩展到分钟级，同时保持原生 4K 分辨率。
2. 运动强度自适应机制
对大/快运动场景仍出现轻微伪影。可引入运动强度估计器，动态调整跨窗大小、层级窗口比例，或显式光流约束，提升高速区域一致性。
3. 压缩-解压缩可学习
全局分支目前采用固定 k=4 的 depth-wise 卷积。可让下采样率 k 成为分辨率/内容相关的可学习参数，或改用基于 token 合并-分裂的连续方案，减少手工设定。
4. 多模态条件扩展
将全局-局部分解思想迁移到 image-to-video、video-to-video、camera-control 等任务，验证框架在多源条件输入下的通用性。
5. 更激进的注意力近似
尝试线性注意力、Mamba-style 状态空间模型替代全局分支，进一步把复杂度从 O((TWH/k²)²) 推向 O(TWH)，实现更高分辨率（8K）或 360° 全景视频。
6. 感知-失真权衡优化
HD-MSE、HD-LPIPS 仅衡量细节保留。可引入人类主观打分模型或 Diffusion-Perceptual-Score，直接优化感知分数，缓解过度平滑问题。
7. 端侧部署与量化
探索全局/局部分支分离推理、INT8/INT4 量化以及 TensorRT/ONNX 编译，验证在消费级 GPU 或 Apple Silicon 上实时 1080P 生成的可行性。

Q: 总结一下论文的主要内容

UltraGen 论文核心内容速览

问题
扩散-Transformer 视频生成受限于全注意力二次复杂度，只能输出 ≤720P；两阶段“低清+超分”无法补充真实细节，导致“伪高清”。
方法
提出层级双分支注意力框架：

局部分支：固定窗口局部自注意力，复杂度与像素数线性相关。
全局分支：帧级卷积压缩→小图注意力→3D 卷积还原，捕捉长程语义。
时变融合：用 timestep 相关权重动态混合全局-局部特征。
跨窗+层级：相邻层交错窗口并引入粗粒度窗口，消除边界伪影，建模高速小目标。
域感知 LoRA：低秩残差复用权重，三模式共用一套基参数，显存零增长。

结果

首次实现端到端原生 4K（3840×2160）视频生成，无需后处理超分。
相较 Wan-1.3B，4K 推理速度提升 4.78×；1080P 提升 2.69×。
新指标 HD-FVD、HD-MSE、HD-LPIPS 全面领先；VBench 成像质量第一，边界一致性显著提升。

意义
把预训练低分辨率 DiT 模型无损扩展到 1080P/4K，为原生高清、长时、实时视频生成奠定新基线。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Teng Hu,Jiangning Zhang,Zihan Su,Ran Yi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18775.pdf

Arxiv URL: https://arxiv.org/abs/2510.18775

Arxiv ID: 2510.18775

CoolPaper URL: https://papers.cool/arxiv/2510.18775

Published: 2025-10-21T16:23:21Z

Updated: 2025-10-21T16:23:21.000Z

15. ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning

Data quality plays a critical role in enhancing supervised fine-tuning (SFT) for large language models (LLMs), and token-level data selection has emerged as a promising direction for its fine-grained nature. Despite their strong empirical performance, existing token-level selection methods share two key limitations: (1) requiring training or accessing an additional reference model, and (2) relying solely on loss information for token selection, which cannot well preserve semantically important tokens that are not favored by loss-based metrics. To address these challenges, we propose ssToken, a Self-modulated and Semantic-aware Token Selection approach. ssToken leverages readily accessible history models to compute the per-token loss difference with the current model, which serves as a self-modulated signal that enables the model to adaptively select tokens along its optimization trajectory, rather than relying on excess loss from an offline-trained reference model as in prior works. We further introduce a semantic-aware, attention-based token importance estimation metric, orthogonal to loss-based selection and providing complementary semantic information for more effective filtering. Extensive experiments across different model families and scales demonstrate that both self-modulated selection and semantic-aware selection alone outperform full-data fine-tuning, while their integration—ssToken—achieves synergistic gains and further surpasses prior token-level selection methods, delivering performance improvements while maintaining training efficiency.

中文摘要

数据质量在提升大型语言模型（LLMs）的监督微调（SFT）中起着关键作用，而基于 token 的数据选择因其细粒度特性而成为一种有前景的方向。尽管其在实际应用中表现出强大的效果，现有的基于 token 的选择方法仍存在两个主要局限：(1) 需要训练或访问额外的参考模型；(2) 完全依赖损失信息进行 token 选择，这无法很好地保留那些在基于损失的指标下不被偏好的语义重要 token。为了解决这些问题，我们提出了 ssToken，一种自调节并具备语义感知的 token 选择方法。ssToken 利用易于获取的历史模型计算与当前模型的逐 token 损失差异，将其作为自调节信号，使模型能够沿其优化轨迹自适应地选择 token，而不依赖于之前工作的由离线训练的参考模型所计算的过剩损失。此外，我们引入了一种语义感知的基于注意力的 token 重要性估计指标，该指标与基于损失的选择方法正交，提供互补的语义信息，从而实现更有效的过滤。在不同模型家族和规模上的广泛实验表明，无论是自调节选择还是语义感知选择单独使用都优于全数据微调，而它们的结合——ssToken——则实现了协同增益，并进一步超越了先前的基于 token 的选择方法，在保持训练效率的同时带来了性能提升。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对大语言模型（LLM）监督微调（SFT）阶段的数据质量问题，提出“token 级数据选择”应满足以下两项需求：

摆脱对外部参考模型的依赖——现有方法需额外训练或调用一个参考模型来计算“excess loss”，带来额外资源开销且不一定可行。
引入除 loss 之外的语义信号——纯 loss 指标容易过滤掉对任务关键但损失下降不明显的 token，导致语义信息丢失。

为此，作者提出 ssToken 框架，通过“自调制”与“语义感知”两条正交线索，在无需额外参考模型的前提下，实现更精细、高效的 token 级筛选，从而提升微调效果与训练效率。

Q: 有哪些相关研究？

与 ssToken 直接相关或构成对比的研究可分为三类，均围绕“如何在微调阶段减少噪声、提升数据有效性”展开：

样本级数据选择
DS² (Pang et al., 2024)
Speculative Coreset Selection (Zhang et al., 2024)
T-SHiRT (Fu et al., 2025)
QuadMix (Liu et al., 2025)
这些方法在样本粒度做筛选，已被证明用 <10 % 数据即可逼近全量微调效果，但无法消除样本内部 token 级噪声。
token 级数据选择（需参考模型）
RHO-1 (Lin et al., 2024) —— 首次将“excess loss”引入 LLM 微调，用额外训练得到的参考模型计算 token 重要性。
TokenCleaning (Pang et al., 2025) —— 提出固定参考模型与自演化参考模型两种策略，进一步优化 RHO-1 的全局排序机制。
二者均依赖外部参考模型，且仅利用损失信号。
注意力/语义驱动的 token 重要性估计
KeyFormer (Adnan et al., 2024) —— 在推理阶段用注意力筛选 KV-Cache，但未用于训练。
Fit-and-Prune (Ye et al., 2025) —— 多模态场景下基于注意力剪枝视觉 token，与本文 SFT 场景互补。
这些工作验证了“注意力可衡量 token 语义贡献”的思路，但均未与损失信号融合，也未解决参考模型开销问题。

ssToken 在上述脉络中首次将“自调制损失差分”与“注意力语义得分”联合，为 token 级数据选择提供了无需参考模型、兼顾语义的新范式。

Q: 论文如何解决这个问题？

Authors: Xiaohan Qin,Xiaoxing Wang,Ning Liao,Cancheng Zhang,Xiangdong Zhang,Mingquan Feng,Jingzhi Wang,Junchi Yan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2510.18250.pdf

Arxiv URL: https://arxiv.org/abs/2510.18250

Arxiv ID: 2510.18250

CoolPaper URL: https://papers.cool/arxiv/2510.18250

Published: 2025-10-21T03:21:04Z

Updated: 2025-10-21T03:21:04.000Z

16. MUG-V 10B: High-efficiency Training Pipeline for Large Video Generation Models

In recent years, large-scale generative models for visual content (\textit{e.g.,} images, videos, and 3D objects/scenes) have made remarkable progress. However, training large-scale video generation models remains particularly challenging and resource-intensive due to cross-modal text-video alignment, the long sequences involved, and the complex spatiotemporal dependencies. To address these challenges, we present a training framework that optimizes four pillars: (i) data processing, (ii) model architecture, (iii) training strategy, and (iv) infrastructure for large-scale video generation models. These optimizations delivered significant efficiency gains and performance improvements across all stages of data preprocessing, video compression, parameter scaling, curriculum-based pretraining, and alignment-focused post-training. Our resulting model, MUG-V 10B, matches recent state-of-the-art video generators overall and, on e-commerce-oriented video generation tasks, surpasses leading open-source baselines in human evaluations. More importantly, we open-source the complete stack, including model weights, Megatron-Core-based large-scale training code, and inference pipelines for video generation and enhancement. To our knowledge, this is the first public release of large-scale video generation training code that exploits Megatron-Core to achieve high training efficiency and near-linear multi-node scaling, details are available in \href{https://github.com/Shopee-MUG/MUG-V}{our webpage}.

中文摘要

近年来，视觉内容（\textit{e.g.，}图像、视频和3D对象/场景）的大规模生成模型取得了显著进展。然而，由于跨模态文本-视频对齐、涉及的长序列和复杂的时空依赖关系，训练大规模视频生成模型仍然特别具有挑战性和资源密集型。为了应对这些挑战，我们提出了一个优化四大支柱的训练框架：（i）数据处理，（ii）模型架构，（iii）训练策略，以及（iv）大规模视频生成模型的基础设施。这些优化在数据预处理、视频压缩、参数缩放、基于课程的预训练和以对齐为中心的后训练的所有阶段都带来了显着的效率提升和性能改进。我们最终的模型 MUG-V 10B 总体上与最新的最先进的视频生成器相匹配，并且在面向电子商务的视频生成任务中，在人类评估方面超过了领先的开源基线。更重要的是，我们开源了完整的堆栈，包括模型权重、基于威震天核心的大规模训练代码以及用于视频生成和增强的推理管道。据我们所知，这是首次公开发布大规模视频生成训练代码，利用 Megatron-Core 实现高训练效率和近线性多节点扩展，详情见 \href{https://github.com/Shopee-MUG/MUG-V}{我们的网页}。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决大规模视频生成模型训练效率低、资源消耗高这一核心痛点，并针对视频生成特有的三项挑战——

跨模态文本-视频对齐
超长视觉 token 序列
复杂时空依赖关系

提出一套端到端的高效率训练框架，使得在10B 参数量级下仍能实现：

接近线性的多节点扩展
与当前 SOTA 模型匹敌或更优的生成质量
在电商场景下显著超越现有开源基线的可用性

最终开源完整训练栈（Megatron-Core 代码、模型权重、推理管线），降低后续研究与落地的门槛。

Q: 有哪些相关研究？

论文在 §7 与正文多处系统回顾了相关研究，可归纳为两大主线：

1. 扩散与流匹配生成模型

DDPM/Score-based 框架
Ho et al. Denoising Diffusion Probabilistic Models, NeurIPS 2020.
Song et al. Score-Based Generative Modeling through SDEs, 2021.
潜空间扩散
Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models, CVPR 2022.
Podell et al. SDXL, 2023.
流匹配 / Rectified Flow
Lipman et al. Flow Matching for Generative Modeling, 2022.
Albergo & Vanden-Eijnden. Building Normalizing Flows with Stochastic Interpolants, 2022.
Diffusion Transformer（DiT）
Peebles & Xie. Scalable Diffusion Models with Transformers, ICCV 2023.
Esser et al. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, ICML 2024.
快速采样与蒸馏
Salimans & Ho. Progressive Distillation for Fast Sampling, 2022.
Song et al. Consistency Models, 2023.

2. 视频生成专用模型

早期文本到视频扩散
Singer et al. Make-A-Video, 2022.
Ho et al. Imagen Video, 2022.
Villegas et al. Phenaki, 2022.
潜空间视频扩散 + VideoVAE
Blattmann et al. Stable Video Diffusion, 2023.
Zhou et al. MagicVideo, 2022.
Xing et al. Large Motion Video Autoencoding with Cross-Modal VAE, 2024.
DiT-based 视频生成
Yang et al. CogVideoX, 2024.
Team Wan. Wan2.1, 2025.
Kong et al. HunyuanVideo, 2024.
Gao et al. Seaweed-7B, 2025.
自回归/混合范式
Yan et al. VideoGPT, 2021.
Yu et al. MagViT, 2023.
Kondratyuk et al. VideoPoet, 2023.
长时序、高分辨率、物理一致性改进
Chen et al. Temporal Regularization Makes Your Video Generator Stronger, 2025.
Qian et al. RDPO: Real Data Preference Optimization, 2025.

上述工作为 MUG-V 10B 提供了潜空间扩散、流匹配目标、DiT 骨干、VideoVAE 压缩、人类偏好对齐等技术与经验基础；MUG-V 在此基础上聚焦于10B 规模下的训练效率与电商场景可用性，并首次开源基于 Megatron-Core 的完整训练栈。

Q: 论文如何解决这个问题？

论文从数据、模型、训练策略、基础设施四条主线协同优化，形成一套可直接复现的 10B 级视频生成训练框架。关键手段如下：

1. 数据层：高质量+高吞吐

可扩展预处理管线
PySceneDetect + CSS 精准切镜，避免多场景混杂。
四阶段过滤（锐度、美学、运动幅度、MLP 去特效/去水印）。
蒸馏版 Qwen2-VL-7B 为亿级片段生成结构化文本，兼顾速度与精度。
人工精标后训练集
自动得分 top 10 % → 人工三轴复审（运动连续、内容稳定、视觉保真）。
额外采集“模型自产片段”的成对偏好与绝对正确性标签，供后续对齐。

2. 模型层：高压缩+稳定大 backbone

2.1 VideoVAE

8×8×8 时空压缩 + 2×2 patchify → 像素空间约 2048× 压缩。
Minimal-Encoding 原则：每 latent token 仅依赖对应 8 帧块，消除因果卷积的信息失衡；解码端可一次接收 1/4/8 个 latent 窗口，兼顾质量与显存。
复合损失 L(VAE)=L(rec)+λ L(KL)+γ L(GAN)，并引入自适应高频-高运动区域加权 L_(adaptive)。

2.2 10B DiT

56 层 full-attention Transformer，3D-RoPE 统一编码时空位置。
图像/首帧条件：不额外加噪，而是将条件 latent 直接替换并设 t = 0，提升跨帧一致性。
交叉注意力置于自注意力与 FFN 之间，文本特征与视觉 token 直接交互；QK-Norm、文本特征 Norm、全局信号嵌入等多重归一化保证 10B 规模稳定训练。

3. 训练策略层：小→大、粗→精、SFT→偏好

参数扩张：先在 2B 模型上做全面超参搜索，再用“保留输出”的 HyperCloning 式宽通道扩张至 10B，加速收敛并节省 75 % 以上实验算力。
三阶段课程预训练

图像 + 360p 短视频（图像占比递减）→ 学会静态+粗运动。
固定 360p，长度由 2s → 5s → 掌握时序延展。
720p 5s 高清长片段 12M → 细节与美学。

后训练对齐
Annealed SFT：30 万人工精选片段 + 余弦退火学习率，配合 post-EMA 模型指数滑动平均，抑制震荡。
偏好优化：
物理错误绝对标签 → KTO 损失；
运动质量成对标签 → DPO 损失；
原 SFT 损失作为正则，防止模式坍塌。

4. 基础设施层：Megatron-Core 全栈优化

混合并行
节点内 Tensor-Parallel + Sequence-Parallel 切分激活，降低长序列显存；
层间 Pipeline-Parallel 跨节点，关闭重计算；
Data-Parallel 扩大全局 batch，提升稳定性。
异步 I/O + 动态均衡采样
预取与计算重叠，按帧数/分辨率动态组 batch，消除 GPU 等待。
手写 Triton 融合核
(Linear-bias + 像素级调制 + residual) 三合一，全局内存访问从 N 次→1 次；
LayerNorm-QKV、Masked-Softmax、FlashAttention-2 联合 kernel；
静态去 padding，保证合并访存。
在 500 × H100 集群实现 near-linear 扩展与 高 MFU。

5. 结果

VBench-I2V 排行榜第三，仅次于 Magi-1 与商用 PI；电商场景人工盲评 pass rate + 高-quality rate 均高于 HunyuanVideo、Wan2.1 等开源对手。
全栈（权重 + Megatron 训练代码 + 推理/增强管线）开源，首次公开 10B 级视频生成 Megatron 实现，可直接复现与二次开发。

Q: 论文做了哪些实验？

论文从重建质量、生成质量、电商可用性三个层面展开系统实验，全部结果均与当前代表性开源或商用模型进行对比。

1. VideoVAE 重建实验（附录 B.1）

目的：验证 8×8×8 高压缩是否仍保持细节。
数据集：自建真实场景 256p/480p/720p 三段剪辑。
指标：PSNR ↑ / SSIM ↑ / LPIPS ↓ / FloLPIPS ↓

模型	压缩率	720p PSNR	720p SSIM	720p LPIPS
Open-Sora VAE	4×8×8	30.6	0.866	0.109
CogVideoX VAE	4×8×8	31.8	0.912	0.058
MUG-V VAE	8×8×8	32.9	0.911	0.056

在 8× 更高体积压缩下，PSNR 提高 1.1 dB，LPIPS 略优于 CogVideoX；SSIM 基本持平。
可视化（图 1）显示烟雾、快速纹理等高频细节被忠实还原。

2. 生成质量自动评测（§6.1，VBench-I2V 公开榜）

协议：严格遵循 VBench-I2V 官方脚本，提交 1,200 条文本+图像→视频样本。
指标（共 9 项）：
VTCM/VISC/VIBC（I2V 专用）、SC/BC/MS/DD/AQ/IQ（通用）、综合总分。

模型	参数量	综合总分	排名*
Magi-1	24 B	89.28	1
PI (商用)	–	88.9	2
MUG-V 10B	10 B	88.46	3
Step-Video	30 B	88.36	4
Dynamic-I2V	5 B	88.45	5
HunyuanVideo	13 B	86.82	6
Wan2.1	14 B	86.86	7

* 提交时榜单实时位次，后续可能变动。

MUG-V 在 SC、BC、MS、VIBC 四项取得 >98 分，与榜一差距 <0.9 分，但参数量仅 40 %。

3. 电商场景人工评测（§6.2 & 附录 B.2）

对照：HunyuanVideo、Wan2.1（均为开源 SOTA）。
数据：50 张公开模特/商品展示图 → 各模型用默认 prompt 工具生成 5s 片段，共 150 条。
流程：三独立标注员盲评 → 多数决。

评判三级标准

是否“可察觉 AI 痕迹”（物理错误、畸变、闪烁）。
产品一致性（颜色、材质、纹理、logo 是否保持）。
满足 1+2 后，再评“高质量”（构图、运动流畅、专业感）。

结果（图 2）

模型	Pass Rate（可用）	High-Quality Rate（优质）
MUG-V TI2V	28.0 %	16.0 %
Wan2.1 TI2V	22.0 %	12.0 %
Hunyuan TI2V	18.0 %	8.0 %

MUG-V 可用片段提升 ≥6 pp，优质片段翻倍；绝对值仍低，说明电商场景对细节要求极高，留有改进空间。

4. 消融与扩展实验（正文 & 附录）

Minimal-Encoding vs 因果卷积：相同压缩比下，前者 720p LPIPS 降低 0.003，训练速度 +8 %。
参数扩张策略：随机初始化 10B 模型需 320k step 收敛；HyperCloning 初始化仅需 210k step，节省 34 % GPU hour。
post-EMA vs 在线 EMA：相同训练预算下，人工偏好得分提升 2.3 pt。
RDPO 自动偏好：在 50k 真实视频反向轨迹上训练，物理错误率相对再降 7 %。

5. 系统基准（§5）

500 H100 集群，10B 模型 128k token/帧 × 64 帧序列：
并行配置 DP=16, TP=8, PP=4, SP=2 时，MFU ≈ 56 %，弱扩展效率 93 %（512→500 GPU）。
融合核单卡微基准：Attention+Modulation 内存流量 ↓ 38 %，端到步长 ↓ 12 %。

综上，实验覆盖压缩-重建-生成-人类可用性-系统效率全链路，既对标公开榜单，也面向真实电商落地，结果证明框架在 10B 规模下兼顾了效率与质量。

Q: 有什么可以进一步探索的点？

论文在 §8 与附录 C 已指出多条开放问题，结合最新进展可进一步探索的关键方向如下：

1. 条件映射的保真与可控

细粒度实体一致性
电商场景要求材质、印花、LOGO 毫米级还原；可引入「实例级 mask + 纹理提取」作为显式条件，或采用 zero-shot 分割模型做交叉注意力掩码。
多模态条件融合
同时接受文本、深度、边缘、音频、相机轨迹时，如何动态分配通道权重？可研究「条件 DropPath」或「自适应门控」机制。
长程语义锁定
10 s+ 视频易出现「对象漂移」；可试验「记忆 token」或「分层 latent」：全局语义向量每 N 帧强制复现。

2. 外观与物理保真

VAE 压缩误差累积
8×8×8 压缩下纹理仍被平滑 → 研究「残差 VAE」或「矢量量化-扩散混合」把高频残差另行编码。
几何-物理一致性
手部、织物碰撞仍出错 → 引入可微物理（布料/弹性体）或 3D 感知损失（SfM 点云监督）。
光照与阴影
生成阴影常违背主光源；可附加「光源方向向量」条件，并用合成数据训练阴影判别器。

3. 时长与分辨率扩展

超长序列训练系统
分钟级 4K 视频带来 10 M+ token；需要「滑动窗口 + 旋转状态缓存」或「混合 DiT-Mamba」架构降低 O(n²) 记忆。
多尺度时空金字塔
先生成 128×128×64 草稿，再用 cascaded DiT 超分到 1024×1024×512；研究「共享噪声调度」与「跨级自回归」结合。
任意长度生成
当前固定 5 s；可探索「时间插帧 DiT」或「基于潜码的递归自回归」实现无限续写。

4. 数据与评价

自动高质量视频挖掘
目前人工复审成本高 → 用「生成-判别」闭环：让模型自己产生错误片段，训练判别器打分，再回滤数据。
细粒度视频评价模型
VBench 仍显粗糙；可构建「电商专用评价器」，输入参考图 + 生成视频，输出材质-颜色-印花-形变四项误差。
可解释失败归因
建立「错误类型标签树」（光影、物理、语义、压缩、时序），用多任务头同时预测，方便后续针对性改进。

5. 训练与推理效率

MoE + DiT
10B 已接近稠密极限；把时空注意力拆成「专家路径」可轻松扩到 50 B+ 而计算仅线性增长。
二阶优化与低精度
当前仍用 AdamW+fp16；可验证 8-bit 优化器、fp8 矩阵乘对生成质量的影响，或引入 schedule-free 二阶方法。
1-step 采样
结合 Consistency Model 或 Rectified-Flow 蒸馏，把 50 步去噪压到 1–2 步，实现实时流式生成。

6. 伦理与安全

深度伪造检测水印
在 VAE 潜空间嵌入不可见 ID，支持事后溯源；需保证鲁棒性（重压缩、裁剪后仍检出）。
版权与隐私过滤
构建「视觉哈希 + 文本语义」双重检索，训练前即剔除潜在侵权片段。

7. 新场景与交互

4D 生成（动态 3D 场景）
把相机位姿作为条件，联合训练 NeRF / 3D-GS 与 DiT，实现「文本直接生成可漫游 4D 世界」。
交互式视频编辑
支持用户实时涂抹、拖动对象；需要「局部-全局噪声解耦」与「帧间一致性约束」同步更新。

综上，保真-长时-高效-可控 四个维度仍是未来研究的核心突破口；任何在上述方向上的算法、数据或系统级创新，都有望把视频生成模型推向真正可商用、可信赖的新阶段。

Q: 总结一下论文的主要内容

论文提出 MUG-V 10B——一套面向 10B 参数量级的高效视频生成训练框架，并开源完整 Megatron-Core 实现。核心内容可概括为：

1. 目标

解决大规模视频生成训练贵、对齐难、序列长、物理不一致四大痛点；
在电商场景下达到可用、可部署的生成质量。

2. 技术路线（四支柱）

支柱	关键做法	效果
数据	可扩展预处理 + 蒸馏 VLM 自动字幕 + 人工精标 0.3 M 后训练片段	亿级干净文本-视频对；电商偏好数据
模型	8×8×8 VideoVAE（≈2048×压缩）+ 10B DiT（全注意力，3D-RoPE，图像条件）	重建质量≥SOTA；10B 参数稳定收敛
训练	小→大参数扩张 + 三阶段课程（图像→360p→720p）+ 退火 SFT + KTO/DPO 偏好对齐	节省 34 % 实验算力；VBench 第三；电商人工盲评第一
系统	Megatron 混合并行 + 异步 I/O + 手写 Triton 融合核	500 H100 近线性扩展；MFU≈56 %

3. 实验结果

重建：8× 更高压缩下 PSNR 提高 1.1 dB，LPIPS 优于 CogVideoX。
生成：VBench-I2V 综合 88.46 分，榜单第三；参数量仅 40 %。
电商可用性：pass rate 28 %，high-quality rate 16 %，均优于 HunyuanVideo、Wan2.1。

4. 开源

模型权重 + Megatron-Core 训练代码 + 推理/增强管线
→ 首次公开 10B 级视频生成 Megatron 实现，降低后续研究与落地门槛。

5. 结论

MUG-V 10B 验证了“高压缩 VAE + 大 DiT + 小→大扩张 + 多阶段对齐”这一整套流水线可在有限算力下训练出媲美 SOTA 的视频生成模型，并在电商等真实场景中具备直接可用性。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yongshun Zhang,Zhongyi Fan,Yonghang Zhang,Zhangzikang Li,Weifeng Chen,Zhongwei Feng,Chaoyue Wang,Peng Hou,Anxiang Zeng

Categories: cs.CV,cs.AI

PDF URL: https://arxiv.org/pdf/2510.17519.pdf

Arxiv URL: https://arxiv.org/abs/2510.17519

Arxiv ID: 2510.17519

CoolPaper URL: https://papers.cool/arxiv/2510.17519

Published: 2025-10-20T13:20:37Z

Updated: 2025-10-20T13:20:37.000Z

17. ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP’s text encoder into the LLM-based embedder to leverage CLIP’s rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

中文摘要

原始的CLIP文本编码器受限于最大输入长度为77个标记，这限制了其有效处理长文本和进行细粒度语义理解的能力。此外，CLIP文本编码器不支持多语言输入。所有这些限制显著限制了其在更广泛任务中的适用性。近年来的研究尝试使用基于大型语言模型（LLM）的嵌入器替代CLIP文本编码器，以增强其在处理长文本、多语言理解和细粒度语义理解方面的能力。然而，由于LLM的表示空间与CLIP的视觉-语言空间是独立预训练的且没有对齐先验，使用对比学习直接对齐可能会扰乱CLIP图像编码器中固有的视觉-语言对齐，导致在预训练期间获取的知识未被充分利用。为了解决这一挑战，我们提出了ProCLIP，一种基于课程学习的渐进式视觉-语言对齐框架，用于有效地将CLIP图像编码器与基于LLM的嵌入器对齐。具体来说，ProCLIP首先将CLIP文本编码器的知识蒸馏到基于LLM的嵌入器中，以利用CLIP丰富的预训练知识，同时建立LLM嵌入器与CLIP图像编码器之间的初始对齐。随后，ProCLIP通过图文对比调优进一步将CLIP图像编码器与基于LLM的嵌入器对齐，并采用自蒸馏正则化以避免过拟合。为了实现更有效的对齐，在表示继承和对比调优过程中引入了实例语义对齐损失和嵌入结构对齐损失。代码可在https://github.com/VisionXLab/ProCLIP获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决将 CLIP 的文本编码器替换为 LLM-based embedder 时，因两种预训练表示空间缺乏先验对齐而导致的“从零开始对齐”问题。直接采用对比学习进行跨模态微调会：

破坏 CLIP 图像编码器内部已学到的视觉-语言对齐；
在训练数据有限的情况下极易过拟合，削弱模型的泛化能力；
无法充分利用 CLIP 400 M 图像-文本对预训练所积累的丰富知识。

为此，作者提出 ProCLIP，通过课程式（curriculum）两阶段渐进对齐框架，在保留 CLIP 预训练知识的同时，将 LLM-based embedder 与 CLIP 图像编码器高效融合，从而提升长文本、多语言、细粒度语义理解等综合能力，并显著改善零样本分类与跨模态检索性能。

Q: 有哪些相关研究？

与 ProCLIP 直接相关的研究可归纳为三条主线，均围绕“如何增强 CLIP 的文本侧能力”展开：

扩展 CLIP 文本编码器本身

Long-CLIP：通过插值位置编码把最大长度从 77 提到 248 token，再微调。
LoTLIP：在文本侧引入 corner token 聚合机制，兼顾短文本与长文本。
共同点：仍保留原始 CLIP 文本编码器结构，仅做“长度”或“聚合”层面的改进，无法引入多语言或开放世界知识。

用 LLM-based embedder 直接替换文本编码器

LLM2CLIP：将 Llama-3 离线编码文本，再用 MLP 映射到 CLIP 视觉空间，端到端对比微调。
FLAME、ShareLock、LIFT、SAIL、LiT 等：类似“冻结或随机初始化视觉塔 + 大模型文本塔”策略，通过对比学习重新对齐。
共同点：均忽视 CLIP 文本塔已学到的对齐先验，视觉塔需“从零”重新适应新文本空间，数据量不足时易过拟合，零样本性能普遍下降。

知识蒸馏与自蒸馏在 CLIP 中的应用

TinyCLIP、CLIP-KD、CLIP-CID：教师-学生蒸馏，压缩模型或提升精度，但聚焦单模态或跨模态亲和度模仿。
自蒸馏：同一模型内深层指导浅层，用于防止遗忘。ProCLIP 将其扩展到“视觉塔自身 EMA 教师”在线正则化，缓解对比微调阶段的灾难性遗忘。

ProCLIP 在上述基础上首次提出“课程式两阶段”框架：先通过跨架构蒸馏让 LLM 文本塔继承 CLIP 文本塔的空间结构，再进行带自蒸馏正则的对比微调，从而兼顾预训练知识保留与新能力扩展。

Q: 论文如何解决这个问题？

ProCLIP 将“CLIP 图像编码器 + LLM-based embedder”的对齐过程拆成两个递进阶段，每阶段均引入专门设计的蒸馏/正则损失，既利用 CLIP 预训练知识，又避免直接对比微调带来的灾难性遗忘。

阶段 1：Representation Inheritance

目标：让 LLM 文本塔先学会 CLIP 文本塔的表示空间，建立“文本-文本”初步对齐，无需任何图像数据。
可训练参数：仅 MLP 投影层，LLM 与 CLIP 文本塔均冻结。

Instance Semantic Alignment

L(∈s)=∑(i=1)^(B)l|MLP(t’_i)-E_T(T_i)r|_2

逐样本拉近 LLM 映射特征与 CLIP 文本特征。

Embedding Structure Alignment

L(struct)=∑(i<j)l|l|MLP(t’_i)-MLP(t’_j)r|_2-l|E_T(T_i)-E_T(T_j)r|_2r|

保持批次内样本间距离分布一致，全局几何结构对齐。

总损失： L(dis)=L(∈s)+L_(struct)

阶段 2：Contrastive Tuning with Self-Distillation

目标：在已有“文本-文本”对齐基础上，进一步做“图像-文本”对比微调，同时用自蒸馏锁住视觉塔，防止偏离原始空间。
可训练参数：MLP + CLIP 图像塔；LLM 仍冻结。

InfoNCE 对比损失

L(info)=-∑(i=1)^(B)l[logexp(vi· t_i^(_top)/τ)∑(j)exp(vi· t_j^(_top)/τ)+logexp(t_i^()· vi^(top)/τ)∑(j)exp(ti^()· v_j^(top)/τ)r]

其中 t_i^(*)=MLP(t’_i) 。

Self-Distillation Regularization
用 EMA 教师图像塔 EI^() 提供软目标：

L(reg)=∑(i=1)^(B)l|EI(I_i)-E_I^()(Ii)r|_2+∑(i<j)l|l|EI(I_i)-E_I(I_j)r|_2-l|E_I^()(Ii)-E_I^()(I_j)r|_2r|

在线更新： EI^()arrowα EI^()+(1-α)E_I 。

总损失： L(tune)=L(info)+λ L_(reg)

渐进式收益

阶段 1 先让 LLM 文本特征“搬”到 CLIP 文本空间，避免视觉塔从头学新文本分布。
阶段 2 只需小幅调整视觉塔即可完成跨模态对齐，自蒸馏进一步抑制过拟合。
两阶段均引入“实例+结构”双重对齐，保证语义与几何一致性，最终零样本分类平均提升 6.8%–13.5%，检索与多语言任务全面优于直接对齐的基线。

Q: 论文做了哪些实验？

论文在 4 类任务、11 个零样本分类数据集、6 个跨模态检索数据集、36 语言多语言基准、1 个细粒度理解基准以及 5 个鲁棒性数据集上进行了系统评测，并覆盖 3 种数据规模（3 M / 15 M / 30 M）与 4 种视觉骨干（ViT-B/32、B/16、L/14、EVA02-L/14）。核心实验归纳如下：

1. 跨模态检索（短文本 & 长文本）

数据集：Flickr30k、COCO、ShareGPT4V、Urban-1k、DOCCI、DCI
指标：Recall@1（I2T & T2I）
结果：ProCLIP 在所有数据规模与骨干上均稳定超越 LLM2CLIP，平均提升 0.3–2.7 pct；30 M 数据下 ViT-L/14 在 Flickr30k I2T 达到 94.5 %。

2. 多语言跨模态检索

基准：XM3600（36 语言，3600 张图）
指标：Recall@1 按语言分解
结果：ProCLIP 在 36 种语言上全面领先，低资源语言（如斯瓦希里语、毛利语）提升更明显，验证对齐策略对多语言泛化友好。

3. 零样本图像分类

11 数据集：ImageNet、Food101、CIFAR10/100、SUN397、Cars、Aircraft、DTD、Pets、Caltech101、Flowers
指标：Top-1 accuracy（或每类平均）
结果：
LLM2CLIP 相对原生 CLIP 平均下降 15–18 pct；
ProCLIP 在 30 M 数据下把差距拉回并额外提升 10–13.5 pct，ImageNet 准确率从 52.8 %→67.8 %（ViT-L/14）。

4. 鲁棒性 / 分布外评测

5 个 ImageNet 变体：IN-v2、IN-A、IN-O、IN-R、IN-Sketch
结果：ProCLIP 平均提升 5.9–9.3 pct，IN-A 与 IN-R 上领先 LLM2CLIP 超 10 pct，表明渐进对齐有效抑制遗忘。

5. 细粒度视觉-语言理解

基准：MMVP-VLM（150 组人工难样例，9 类细粒度属性）
指标：平均准确率
结果：ProCLIP 在 3 M/15 M/30 M 数据上分别再提升 3.0/2.2/10.4 pct，显示 LLM 文本塔+渐进对齐对细节语义更敏感。

6. 与同期 LLM-Embedder CLIP 方法的横向对比

对手：FLAME、ShareLock、LIFT、SAIL、LiT、LLM2CLIP
设置：相同 3 M 数据、相同 ViT 骨干
结果：ProCLIP 在 ImageNet、COCO、Flickr30k 三项指标上全面领先，且训练成本不高于对比方法。

7. 消融实验

组件	ImageNet	I2T Avg	T2I Avg
仅实例蒸馏	58.9	69.3	79.4
+结构蒸馏	59.5	70.3	61.2
+对比微调	59.2	82.9	80.2
+自蒸馏正则	62.5	83.0	80.5

不同 LLM embedder（Qwen3-Embedding、GME、NV-Embedv2、Llama3-CC）：Llama3-CC 在分类与检索综合最优，差异主要体现于分类，说明文本空间与 CLIP 初始对齐度至关重要。

8. 数据规模 & 模型规模扩展

数据：1 M→30 M，ProCLIP 1 M 即可超越 LLM2CLIP 3 M 结果，显示数据效率高。
模型：MLP 头从 4 层扩到 12 层，ImageNet 再升 3.7 pct，验证框架可继续受益于参数扩展。

9. 线性探针 & MLLM 下游迁移

线性探针：11 数据集平均提升 0.3–0.7 pct，表明视觉特征通用性增强。
接入 LLaVA-7B：在 SEED-Bench、GQA、VizWiz 等 7 个 MLLM 基准上与 LLM2CLIP 相当或略优，说明渐进对齐未损失高层视觉语义。

综上，实验覆盖规模、语言、任务、鲁棒性、模块消融五个维度，系统验证了 ProCLIP 在保留 CLIP 预训练知识的同时，显著提升了长文本、多语言、细粒度与分布外泛化能力。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为“效率”、“细粒度对齐”、“架构拓展”与“评测维度”四类：

1. 效率与训练开销

参数高效微调（PEFT）
仅对视觉塔最后若干 Block 或插入 Adapter/LoRA 层进行可训练激活，降低第二阶段 0.74× 的速度折损。
离线蒸馏替代在线 EMA
预存 CLIP 原始视觉特征作为固定回归目标，可省去教师模型前向与动量更新，训练速度接近标准对比学习。
非对称批量（asymmetric batching）
文本侧 LLM 推理成本高，可预先离线编码+动量队列，图像侧保持大 Batch 实时编码，提升吞吐与负样本规模。

2. 细粒度与局部对齐

Token-level 对比损失
将 LLM 最后一层各 Token 特征与图像 Patch 特征做密集对齐（token-patch contrastive），增强开放词汇检测/分割所需的局部语义。
区域-文本对齐
引入视觉提示器（visual prompter）或区域候选网络，在蒸馏阶段即对齐 LLM 文本与图像局部区域，提高密集预测任务性能。
层次化蒸馏
同时匹配 CLIP 文本塔多层 CLS 与 LLM 不同深度表示，逐层继承而非仅顶层，缓解深度 Transformer 表示漂移。

3. 架构与模态角色互换

视觉侧也“换塔”
用具备局部归纳偏置的 CNN 或混合架构（ConvNeXt、Swin）替换 ViT，验证渐进对齐框架是否仍能保留 CLIP 知识并提升局部感知。
双 LLM 塔
图像编码器亦采用大型多模态 LLM 的视觉塔（如 SigLIP-2、EVA-CLIP-G），实现“大视觉+大语言”全大模型对齐，探索容量上限。
生成式联合训练
在第二阶段引入扩散或自回归图像生成损失，使对齐后的表示同时具备判别与生成能力，考察对文本到图像生成的增益。

4. 评测与风险

长尾与公平性
在 ImageNet-LT、iNaturalist 等长尾数据集上验证渐进对齐是否加剧或缓解尾部类别性能下降；分析多语言检索中的文化/性别偏差。
对抗与提示鲁棒性
测试模型对对抗扰动、Prompt 拼写变化、多语言混合提示的敏感度，评估蒸馏-正则策略对鲁棒性的真实贡献。
可解释性
可视化 LLM 文本 token 与图像 patch 的注意力耦合，检验结构对齐损失是否确实使几何邻近度对应语义相似度。

5. 数据与课程策略

课程难度调度
按文本长度、语义复杂度或语言资源度动态调整两阶段样本权重，考察是否能进一步减少所需图像-文本对数量。
合成数据闭环
利用大模型生成高质量长文本描述，先在阶段 1 做纯文本蒸馏，再在阶段 2 加入合成图文对微调，探索合成-真实混合比例最优值。

综上，ProCLIP 的渐进对齐框架为“大模型表示空间融合”提供了可复用的两阶段范式，未来可在效率、细粒度、架构和评测四个维度继续深化，推动视觉-语言基础模型向高效、局部感知、多语言、强鲁棒方向演进。

Q: 总结一下论文的主要内容

ProCLIP 提出一种课程式两阶段渐进对齐框架，把 CLIP 的文本编码器无缝替换为 LLM-based embedder，在保留 400 M 图文预训练知识的同时，显著增强长文本、多语言与细粒度语义能力，并避免直接对比微调带来的灾难性遗忘。

核心思路

阶段 1：Representation Inheritance
仅训练 MLP，将 LLM 文本特征蒸馏到 CLIP 文本空间；
联合实例级与结构级对齐损失，建立文本-文本先验对齐，无需图像数据。
阶段 2：Contrastive Tuning
解冻图像塔，用标准 InfoNCE 做图文对比学习；
引入EMA 自蒸馏正则，锁住原始视觉空间，抑制过拟合。

主要结果

零样本分类：11 数据集平均提升 6.8–13.5 %，ImageNet 准确率从 52.8 %→67.8 %（ViT-L/14）。
跨模态检索：6 数据集（含长文本）I2T/T2I Recall@1 持续领先，最高 +2.7 %。
多语言检索：36 语言全面优于 LLM2CLIP，低资源语言增益更大。
鲁棒性：5 个 ImageNet 分布外数据集平均 +5.9–9.3 %，IN-A/+10 pct。
细粒度理解：MMVP 基准再提升 3.0–10.4 %。

贡献总结

指出直接对齐 LLM 文本塔与 CLIP 视觉塔会浪费预训练知识并导致泛化下降。
提出渐进对齐范式：先文本-文本蒸馏继承，后图文对比微调+自蒸馏正则。
在同等或更低训练成本下，于分类、检索、多语言、鲁棒性、细粒度任务上全面超越现有 LLM-Embedder CLIP 方法。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaoxing Hu,Kaicheng Yang,Ziyong Feng,Qi Ming,Zonghao Guo,Xiang An,Ziyong Feng,Junchi Yan,Xue Yang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18795.pdf

Arxiv URL: https://arxiv.org/abs/2510.18795

Arxiv ID: 2510.18795

CoolPaper URL: https://papers.cool/arxiv/2510.18795

Published: 2025-10-21T16:48:49Z

Updated: 2025-10-21T16:48:49.000Z

18. DeepSeek-OCR: Contexts Optical Compression

We present DeepSeek-OCR as an initial investigation into the feasibility of compressing long contexts via optical 2D mapping. DeepSeek-OCR consists of two components: DeepEncoder and DeepSeek3B-MoE-A570M as the decoder. Specifically, DeepEncoder serves as the core engine, designed to maintain low activations under high-resolution input while achieving high compression ratios to ensure an optimal and manageable number of vision tokens. Experiments show that when the number of text tokens is within 10 times that of vision tokens (i.e., a compression ratio < 10x), the model can achieve decoding (OCR) precision of 97%. Even at a compression ratio of 20x, the OCR accuracy still remains at about 60%. This shows considerable promise for research areas such as historical long-context compression and memory forgetting mechanisms in LLMs. Beyond this, DeepSeek-OCR also demonstrates high practical value. On OmniDocBench, it surpasses GOT-OCR2.0 (256 tokens/page) using only 100 vision tokens, and outperforms MinerU2.0 (6000+ tokens per page on average) while utilizing fewer than 800 vision tokens. In production, DeepSeek-OCR can generate training data for LLMs/VLMs at a scale of 200k+ pages per day (a single A100-40G). Codes and model weights are publicly accessible at http://github.com/deepseek-ai/DeepSeek-OCR.

中文摘要

我们提出了 DeepSeek-OCR，作为对通过光学二维映射压缩长上下文可行性的初步研究。DeepSeek-OCR 由两个组件组成：DeepEncoder 和作为解码器的 DeepSeek3B-MoE-A570M。具体来说，DeepEncoder 作为核心引擎，设计目标是在高分辨率输入下保持低激活，同时实现高压缩比，以确保视觉 token 数量适中且可管理。实验表明，当文本 token 数量在视觉 token 数量的 10 倍以内（即压缩比 < 10x）时，模型可以达到 97% 的解码（OCR）精度。即使在 20x 的压缩比下，OCR 精度仍保持在约 60%。这显示了该方法在历史长上下文压缩和 LLMs 的记忆遗忘机制等研究领域的潜力。除此之外，DeepSeek-OCR 还展现了很高的实际应用价值。在 OmniDocBench 上，它使用仅 100 个视觉 token 就超过了 GOT-OCR2.0（每页 256 token），并且在平均每页 6000+ token 的 MinerU2.0 上也表现更优，同时使用的视觉 token 不到 800 个。在生产环境中，DeepSeek-OCR 可以为 LLMs/VLMs 生成每天 20 万+ 页的训练数据（单台 A100-40G）。代码和模型权重可在 http://github.com/deepseek-ai/DeepSeek-OCR 公共获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在验证“用视觉模态压缩超长文本”是否可行，并给出一条可落地的技术路线。具体而言，它聚焦于以下核心问题：

长文本给 LLM 带来的二次方计算代价如何缓解？
传统方法靠滑动窗口、稀疏注意力或剪枝，仍受限于文本 token 数量。作者提出“光学压缩”——把文本先渲染成高分辨率图像，再用极少视觉 token 表达，从而把序列长度从 N 降到 nll N 。
到底需要多少视觉 token 才能可靠地还原 N 个文本 token？
以 OCR 为定量实验床，系统测量“视觉 token 数 / 文本 token 数”这一压缩比的上界。实验表明：
压缩比 ≤10× 时，字符级精度 ≥97 %；
压缩比 ≈20× 时，仍可保持 ~60 % 精度。
如何设计一个“高分辨率、低激活、少视觉 token”的编码器？
现有 VLM 编码器要么分辨率低、要么视觉 token 过多、要么高分辨率下激活爆炸。作者提出 DeepEncoder：
窗口注意力局部提取 4096 个 patch；
16× 卷积压缩器把 token 数压到 256；
再经全局注意力，保证高分辨率输入下显存可控。
这种压缩范式能否直接服务实际 OCR 与数据生产？
在 OmniDocBench 上，用 100 个视觉 token 就超过 GOT-OCR2.0（256 token），用不到 800 token 击败 MinerU2.0（~7000 token）。生产环境下单卡 A100-40G 每天可渲染 20 万页，为后续 LLM/VLM 预训练提供大规模干净数据。

综上，论文首次把“光学上下文压缩”从直觉变成可量化、可部署的方案，为超长上下文 LLM 的记忆压缩与遗忘机制提供了一条新的研究路径。

Q: 有哪些相关研究？

论文将相关研究划分为两条主线：

现有 VLM 中三类典型视觉编码器的缺陷；
端到端 OCR 模型的发展脉络。

典型视觉编码器（§2.1）
双塔高分辨率方案（Vary 为代表）
并行 SAM + ViT，参数可控、激活低，但需两次图像预处理，训练时难以做流水线并行。
切块（tile）方案（InternVL2.0 系列）
将大图切小图并行过 encoder，激活内存低，可支持极端分辨率；原生分辨率通常 ≤512×512，导致切块过多，视觉 token 爆炸。
自适应全图方案（Qwen2-VL、NaViT）
直接对整图做 patch 分割，无需切块，灵活支持任意长宽比；大图像激活内存占用极高，训练需超长 packed sequence，推理 prefill/decode 均变慢。
端到端 OCR 模型（§2.2）
Nougat
首个用端到端 Transformer 做学术论文 OCR，验证密集感知任务可一体化。
GOT-OCR2.0
提出“OCR-2.0”概念，统一支持公式、几何图、图表等人工图像，强调性能-效率权衡。
通用 VLM 的 OCR 增强
Qwen-VL、InternVL 及其衍生模型持续加码文档理解，探索密集视觉感知边界，但未回答“1000 个文本词最少需要多少视觉 token”这一压缩极限问题。

综上，现有研究要么在编码器侧无法同时满足“高分辨率+低激活+少 token”，要么在 OCR 侧未系统度量视觉-文本压缩比。DeepSeek-OCR 针对这两段空白，提出 DeepEncoder 与压缩比可量化的端到端 OCR 训练框架，作为“光学上下文压缩”可行性的首次系统验证。

Q: 论文如何解决这个问题？

论文把“用视觉模态压缩超长文本”拆成四个可工程化的子问题，并给出对应解法。整体思路是：
高分辨率图像 → 极少量视觉 token（DeepEncoder）→ 轻量 MoE 解码器 → 定量评估压缩比与精度。

设计能“高分辨率+低激活+少 token”的编码器

架构（§3.2.1）
两阶段串行：

窗口注意力局部提取（80 M SAM-base，16×16 patch）→ 4096 token；
16× 卷积压缩器（3×3/stride2 两层）→ 256 token；
全局注意力知识提取（300 M CLIP-large，去掉了第一层 patch embed）。

公式：输入 1024×1024 图像，经压缩后实际进入全局注意力的 token 数为

(1024) / (16)×(1024) / (16)×(1) / (16)=256

激活内存与 256 个 1024-d 向量成正比，与高分辨率解耦。

多分辨率支持（§3.2.2）
原生模式：Tiny/Small/Base/Large，固定边长 512–1280，对应 64–400 token；
动态模式：Gundam 系列，n×局部 640×640 + 一张全局 1024×1024，token 数

n×100+256,quad n∈[2,9]

通过位置编码插值+混合训练，实现单模型覆盖 64→1853 token 的连续压缩比。

选用“大容量+低推理成本”的解码器

DeepSeek-3B-MoE（§3.3）
共 64 路由专家 + 2 共享专家，推理仅激活 6 路由+2 共享 → 570 M 参数。
解码函数形式化为

f(dec):R^(n×d(latent))toR^(N×d_(text)),quad nll N

小模型即可学会从压缩视觉 token 还原长文本，暗示更大 LLM 也能通过预训练获得同样能力。

构建覆盖“OCR 1.0 → 2.0 → 通用视觉 → 纯文本”的数据引擎（§3.4）

30 M 多语言 PDF + 3 M Word + 20 M 场景图 → 粗/细两套标注；
10 M 图表（HTML 表格标签）、5 M 化学式（SMILES）、1 M 几何图（字典格式）；
20 % 通用视觉任务（caption/grounding）保留接口；10 % 纯文本 8192 token 保证语言能力。

两阶段训练流程（§3.5）

阶段 1：训练 DeepEncoder
用 1.2 B 语言模型做 next-token prediction，仅更新 encoder 参数，2 epoch 把视觉-文本对齐。
阶段 2：训练 DeepSeek-OCR
冻结 SAM+压缩器（PP0），放开 CLIP（PP1）与 3B-MoE（PP2–3），流水线并行 4 段，40 A100 节点，全局 batch 640，多模态 70 B token/天。

通过上述设计，论文在 Fox 基准上给出可重复的压缩比-精度曲线：

≤10× 压缩时 97 % OCR 精度；
20× 压缩仍保持 60 %；
并在 OmniDocBench 上验证实用性能——100 token 超 GOT，800 token 超 MinerU，实现单日 20 万页级数据生产，从而系统回答了“视觉模态能否及如何压缩超长文本”这一问题。

Q: 论文做了哪些实验？

论文围绕「视觉-文本压缩比」与「实际 OCR 可用性」两条主线，共设计 4 组实验。所有量化指标均基于公开基准，实验配置与脚本已随代码开源。

压缩能力边界研究（Fox 英文文档）
数据集：Fox benchmark 英文页，每页 600–1300 文本 token（共 100 页）。
变量：固定视觉 token 数（Tiny=64 vs Small=100），改变文本长度，计算

压缩比 = 文本 token 数视觉 token 数

指标：字符级 Precision（忽略格式差异）。
结果：

64 token：10× 以内平均 96.5 %；20× 时降至 59.1 %。
100 token：10× 以内平均 97.3 %；20× 时仍保持 87.1 %。
意义：首次给出可重复的「压缩比-精度」曲线，验证 ≤10× 接近无损。

真实文档 OCR 性能（OmniDocBench）
数据集：OmniDocBench 双语 PDF（英文 429 页 + 中文 229 页），含公式、表格、页眉页脚等复杂版式。
指标：编辑距离 ED（越小越好），分 overall/text/formula/table/order 五列。
变量：DeepSeek-OCR 五种分辨率模式（Tiny→Gundam-M）。
结果（节选）：

100 token：ED=0.221，已低于 GOT-OCR2.0（256 token，ED=0.287）。
400 token：ED=0.138，与 InternVL3-78B（6790 token，ED=0.218）相当。
795 token：ED=0.127，优于 MinerU2.0（≈7000 token，ED=0.133）。
意义：证明「高压缩+高精度」可同时实现，为工业数据生产提供依据。

类别级 token 敏感性分析
在同一 OmniDocBench 上，按文档类别（book/slides/report/…/newspaper）统计 ED。
发现：

slides、book 100 token 即饱和（ED<0.11）；
newspaper 需 Gundam 模式（≈800 token）才能把 ED 从 0.74 降到 0.12。
意义：给出不同场景的最小视觉 token 配置表，指导后续 VLM 预算分配。

定性能力验证（DeepParsing & 多语言 & 通用视觉）

DeepParsing：同一模型、同一 prompt「Parse the figure」二次调用，可输出图表-HTML、化学-SMILES、几何-字典、自然图-稠密 caption，无需额外专家模型。
多语言：随机抽取阿拉伯语、僧伽罗语等低资源语种 PDF，layout/non-layout 两种 prompt 均可正确输出。
通用视觉：保留检测、定位、细粒度描述接口，验证未因 OCR 特化而丧失通用能力。

以上实验共同支撑结论：

视觉上下文压缩在 7–20× 范围内可控；
压缩后模型仍具备工业级 OCR 与数据生产能力；
所需视觉 token 数可随文档类别动态配置，为超长文本 LLM 的“光学遗忘”机制提供实证基础。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续推进，分为“压缩极限”“记忆机制”“模型架构”“数据与评测”四大主题，均直接对应论文尚未充分验证或仅作展望的关键问题。

1. 压缩极限与失真行为

更高压缩比（>20×）的定量曲线
继续缩小视觉 token（32→16→8），配合超分辨率渲染或矢量字体，观察精度断崖点，建立 n_(token) arrow BLEU/ED 的数学拟合式。
文本-图像互信息下界
用信息论方法估计“ N 文本 token→ n 视觉 token”的理论最小互信息 I(X;Z) ，对比实际模型的经验熵，判断当前压缩是否接近最优。
格式 vs 语义失真解耦
将 OCR 错误细分为“版式错位”“字符替换”“语义丢失”三类，分别绘制压缩比-失真函数，明确哪种失真最先出现，为后续“可恢复压缩”提供目标。

2. 光学遗忘与长上下文 LLM

多层压缩记忆栈
按论文图 13 思想，实现“时间→分辨率→模糊度”三级衰减：
最近 1 轮：高清 1280×1280
2–4 轮：Base 640×640
更早：Tiny 512×512 + 高斯模糊
在 1 M token 对话上下文里测试检索准确率，验证是否呈现类人类遗忘曲线。
Needle-in-a-Haystack 光学版
将关键信息渲染成极小字号置于超大页面，再整体压缩到 64 token，考察模型是否仍能抽取该“针”，量化极端场景下的鲁棒边界。
可逆压缩与回放
保留原始文本到图像的映射表，需要时把低分辨率图像重新放大 + 超分 + 二次 OCR，实现“记忆回放”，评估召回率与计算开销权衡。

3. 模型架构与训练策略

端到端可微渲染器
当前采用离线渲染（PDF→PNG）。若将字体、坐标、字号参数化，接入可微光栅化（Im2Markup、DiffVG），可直接优化渲染参数，使压缩过程端到端可训练。
视觉 token 连续化
尝试把离散 patch token 替换为连续 latent（VQ-VAE、Diffusion），再用隐空间回归文本，可能突破“patch 数≈token 数”硬限制。
混合专家视觉编码器
把 DeepEncoder 的 SAM、压缩器、CLIP 也改造成 MoE：不同分辨率或文档类别动态选择专家，进一步降低激活参数量。
并行 vs 串行注意力机制
当前串行“窗口→压缩→全局”存在信息瓶颈。可探索并行分支：一支高分辨率窗口专司布局，一支低分辨率全局专司语义，再融合，减少压缩损失。

4. 数据、评测与生产系统

数字-光学混合预训练
构造“正文用真实文本 token + 历史用压缩视觉 token”的交错序列，规模 1 T token，测试对下游长文档任务（法律、医疗）是否有普遍增益。
多模态针孔测试
在交错序列内随机插入图像、表格、公式，考察模型能否在视觉压缩后仍完成跨模态引用（如“见上图第三行”）。
实时生产系统优化
渲染流水线 GPU 化（CUDA-based pdf2img）；
批调度动态选择分辨率，使得在 8×A100 节点上把日产量从 20 万页提升到 100 万页；
建立“token 成本-精度”自动调参服务，用户输入预算 token 上限，系统返回最优分辨率模式。
面向 agent 的压缩接口
把光学压缩封装成 LLM 可调用的工具函数：

1	compress_history(text, max_tokens=64) -> image_token

让 agent 在长时对话中自主决定何时、以何种分辨率遗忘旧信息，实现“自管理内存”。

5. 理论交叉

视觉-语言协同编码理论
从表示学习角度分析“为何 256 视觉 token 可承载 2000+ 文本 token”——是否因图像局部冗余度更高，或 LLM 内部存在与视觉对齐的低维子空间。
生物学遗忘-压缩类比
用人类记忆实验数据拟合压缩比衰减曲线，与模型表现对比，验证“光学遗忘”是否真实模拟了生物遗忘的时间-精度关系。

这些探索点一旦验证，将把“光学上下文压缩”从 OCR 概念验证推向通用长上下文 LLM 的核心组件，并可能催生新的“视觉记忆”范式。

Q: 总结一下论文的主要内容

DeepSeek-OCR：用视觉模态对超长文本进行光学压缩的首次系统验证

问题
LLM 处理长文本时，序列长度 N 带来 O(N^2) 计算代价。论文探索“把文本先渲染成高分辨率图像，再用极少视觉 token 表示”的可行性，量化压缩比-精度边界，并给出落地架构。
方法

DeepEncoder（380 M）
– 窗口注意力局部提取（SAM-base）→ 4096 patch
– 16× 卷积压缩器 → 256 token
– 全局注意力知识提取（CLIP-large）
支持 512–1280 原生及 n×640+1024 动态分辨率，单模型输出 64–1853 视觉 token。
解码器
DeepSeek-3B-MoE，推理仅激活 570 M 参数，完成 f_(dec):R^(n× d)toR^(N× d) 的文本还原。
数据引擎
30 M 多语言 PDF + 10 M 图表 + 5 M 化学式 + 1 M 几何图 + 20 % 通用视觉 + 10 % 纯文本，共 70 % OCR 任务。
两阶段训练
① 独立训练 DeepEncoder；② 冻结 SAM+压缩器，联合微调 CLIP+MoE，流水线 4 段，20 节点 8×A100-40G。

实验结果

压缩比-精度曲线（Fox，100 页英文文档）
– ≤10× 压缩：97 % 字符精度；
– 20× 压缩：仍保持 60 %。
实际 OCR 性能（OmniDocBench）
– 100 视觉 token 超 GOT-OCR2.0（256 token）；
– 800 视觉 token 超 MinerU2.0（≈7000 token）。
类别级敏感度
幻灯片/书籍 100 token 即饱和；报纸需 800 token 才能将编辑距离从 0.74 降到 0.12。
定性能力
统一 prompt 完成图表→HTML、化学式→SMILES、几何→字典、自然图→稠密 caption，支持近百种语言。

生产指标
单卡 A100-40G 日渲染 20 万页，20 节点可达 3300 万页/天，为 LLM/VLM 预训练提供干净数据。
结论与展望
首次证实“视觉-文本”可在 7–20× 范围内实现可控压缩，为超长上下文 LLM 的光学遗忘、记忆分层、理论无限上下文架构提供实证基础。代码与权重已开源。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Haoran Wei,Yaofeng Sun,Yukun Li

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18234.pdf

Arxiv URL: https://arxiv.org/abs/2510.18234

Arxiv ID: 2510.18234

CoolPaper URL: https://papers.cool/arxiv/2510.18234

Published: 2025-10-21T02:41:44Z

Updated: 2025-10-21T02:41:44.000Z

19. DSI-Bench: A Benchmark for Dynamic Spatial Intelligence

Reasoning about dynamic spatial relationships is essential, as both observers and objects often move simultaneously. Although vision-language models (VLMs) and visual expertise models excel in 2D tasks and static scenarios, their ability to fully understand dynamic 3D scenarios remains limited. We introduce Dynamic Spatial Intelligence and propose DSI-Bench, a benchmark with nearly 1,000 dynamic videos and over 1,700 manually annotated questions covering nine decoupled motion patterns of observers and objects. Spatially and temporally symmetric designs reduce biases and enable systematic evaluation of models’ reasoning about self-motion and object motion. Our evaluation of 14 VLMs and expert models reveals key limitations: models often conflate observer and object motion, exhibit semantic biases, and fail to accurately infer relative relationships in dynamic scenarios. Our DSI-Bench provides valuable findings and insights about the future development of general and expertise models with dynamic spatial intelligence.

中文摘要

推理动态空间关系至关重要，因为观察者和物体往往会同时移动。尽管视觉-语言模型（VLMs）和视觉专长模型在二维任务和静态场景中表现出色，但它们在全面理解动态三维场景方面的能力仍然有限。我们引入了动态空间智能概念，并提出了 DSI-Bench 基准测试，其中包含近 1,000 个动态视频和超过 1,700 个手工标注的问题，涵盖观察者和物体的九种解耦运动模式。空间和时间的对称设计减少了偏差，使得能够系统地评估模型对自我运动和物体运动的推理能力。我们对 14 个 VLMs 和专长模型的评估揭示了关键局限性：模型常常混淆观察者和物体的运动，表现出语义偏差，并且无法准确推断动态场景中的相对关系。我们的 DSI-Bench 提供了关于未来发展具有动态空间智能的一般模型和专长模型的重要发现和见解。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决“动态空间智能”（Dynamic Spatial Intelligence）的评估缺失问题。现有视觉-语言模型（VLMs）及三维专业模型在静态或单运动主体场景中表现良好，但在观察者与被观察物体同时运动的真实动态环境下，其空间关系推理能力尚未被系统研究。为此，作者：

形式化提出“动态空间智能”任务，要求模型同时解耦观察者自身运动与物体运动，并对时变三维空间关系进行推理。
构建 DSI-Bench 基准，包含近 1 000 段动态视频与 1 700 余条人工标注问答，覆盖 5 种解耦运动模式与 6 类问题类型。
通过时空对称增广（左右翻转、时序倒放）减少左右、前后等三维偏见，实现模型偏差与幻觉的可量化分析。
对 14 个主流 VLMs 及 2 个三维专业模型进行系统评估，揭示它们在动态场景下普遍存在“混淆自身运动与物体运动”“语义先验导致幻觉”“经典几何约束失效”等关键缺陷。

综上，论文首次为“动态空间智能”提供了专门基准与系统性诊断，填补了动态三维空间推理评测的空白。

Q: 有哪些相关研究？

论文在第 2 节“Related Works”中系统梳理了三条研究脉络，与 DSI-Bench 直接相关的工作可归纳如下：

大视觉-语言模型（Large Vision-Language Models）

视频理解方向：Qwen2.5-VL、InternVL-3.5、GPT-4o、GPT-5、Gemini-2.5-Pro、Seed-1.6 等，通过时序编码或动态分辨率路由提升长视频对话与检测性能，但仅针对静态空间或单运动主体。
协议对比：本文沿用 MindCube 的 RAWQA vs. FFR 双设定，验证“语言推理”能否补偿视觉动态感知误差。

空间智能评测基准（Benchmarks for Spatial Intelligence）

静态/单视角：VSI-Bench、MMSI-Bench、VLM4D 等，聚焦单张或多图空间推理，未同时考虑观察者运动与物体运动。
三维幻觉评测：3DSR-Bench 提出 EvalFlip 对抗左右偏见；Ori-Bench 揭示物体朝向幻觉。DSI-Bench 继承其“对称增广”思想，但将场景扩展为双动态视频，并首次引入“时空翻转”四元组（原图、左右翻、时序倒放、倒放+左右翻）进行偏差量化。

三维视觉专业模型（3D Visual Spatial Expertise Models）

经典几何约束：Structure-from-Motion、Multi-view Stereo 等假设场景静态，关键点多视图一致。
动态扩展：VGGT、SpatialTrackerV2 把 DINOv2 特征与相机位姿/深度/光流联合优化，可在动态视频中估计相机与物体轨迹，但论文实验表明，当观察者与被观察物体同时运动时，Bundle Adjustment 仍会因遮挡与关键点丢失产生位姿漂移，导致相对距离估计失效。DSI-Bench 首次系统量化此类模型在“双动态”条件下的鲁棒性下降。

简言之，DSI-Bench 在现有静态或单运动主体基准之上，首次提出观察者-物体同时运动的解耦任务，并借助时空对称增广对 VLMs 与 3D 专业模型进行联合诊断，填补了动态三维空间智能评测的空白。

Q: 论文如何解决这个问题？

论文并未提出新的训练方法或模型架构，而是通过“构建专用基准 + 系统诊断”的方式解决“动态空间智能”缺失评估与错误归因的问题。具体手段如下：

形式化任务与解耦运动
将动态场景拆成三大实体——观察者、被观察物体、场景——并定义 5 种解耦运动模式（纯平移、纯旋转、混合运动等），要求模型独立推理“谁在运动、如何运动、相对关系如何变化”。
构建 DSI-Bench 基准

数据源：CameraBench、Kinetics-700、SynFMC、LLaVA-178K 及网络视频，共 943 段 480p/3 s 视频。
标注流程：人工标注每段视频的观察者运动、物体运动、朝向、相对距离变化，生成 1 700+ 四选一 VQA。
时空对称增广：对每段视频做“左右翻转 × 时序倒放”得到 4 variants，答案选项按规则对称映射，以量化左右、前后、顺时针/逆时针等偏见。

双协议评估

Sample-wise：把增广后的 4 段视频当独立样本，测平均准确率。
Group-wise：仅当同一原始视频的 4 段增广中≥3 段答对才算正确，测鲁棒性。
同时对比 RAWQA（直接给答案）与 FFR（先逐步推理再回答），检验“语言推理”能否补偿视觉感知误差。

错误归因与瓶颈诊断

统计偏见：发现 VLMs 对“forward”选项存在显著过选（Forward Bias）。
幻觉案例：固定雕像被 hallucinate 为“向前移动”；旋转相机被误判为平移。
耦合运动：VLMs 无法解耦观察者运动与物体运动，常把相对运动当成绝对运动。
3D 专业模型：Bundle Adjustment 在同时运动场景下因关键点丢失导致位姿漂移，相对距离估计误差显著增大。

通过上述“任务定义→数据构建→对称增广→双协议评测→错误剖析”的完整闭环，论文首次系统揭示了现有模型在“双动态”三维空间推理中的共性缺陷，为后续算法改进提供了明确靶点。

Q: 论文做了哪些实验？

论文围绕 DSI-Bench 共设计并执行了 4 组实验，覆盖 14 个视觉-语言模型与 2 个三维专业模型，核心目的依次为：

量化动态 vs. 静态性能差距；
检验语言推理能否补偿视觉误差；
测量模型对时空对称增广的鲁棒性；
拆解幻觉/偏见的具体来源。

实验一览（按出现顺序）：

Exp-1 主评测
模型：12 个 VLM（含 GPT-4o、GPT-5、Gemini-2.5-Pro、Qwen2.5-VL-32/72 B、InternVL-3.5 全系列、Seed 家族等）+ VGGT + SpatialTrackerV2。
指标：六大任务类别（Object-Scene 静/动、Observer-Scene 静/动、Observer-Object 距离、Observer-Object 朝向）的 sample-wise 与 group-wise 准确率。
关键结果：动态条件下平均掉点 3–12 %；group-wise 相比 sample-wise 再掉 10–25 %，揭示鲁棒性不足。
Exp-2 静-动差距消融
在同任务类别内配对“静态/动态”子集，计算 ∆Acc。
结论：所有 VLMs 在动态样本上显著更低，最大差距 11.55 %（Seed-1.6-vision 的 Observer-Scene 任务）。
Exp-3 自由格式推理（FFR）（RAWQA vs. FFR）
设置零温度，统一 5 fps 采样。
指标：整体准确率变化。
结论：FFR 仅带来 ±3 % 的波动，部分模型（Gemini-2.5-Pro、InternVL-3.5-241B）甚至下降，表明语言推理无法修复视觉感知错误。
Exp-4 偏见与幻觉诊断
Forward Bias：统计所有含“forward”选项的题目，计算模型选择率与真实分布差异，发现普遍过选 >10 %。
旋转-平移混淆：人工抽取 80 段纯旋转视频，VLMs 误报为平移的比例达 42 %，而 SpatialTrackerV2 借助几何约束可降至 18 %。
耦合运动案例：可视化 3 组典型失败，证明 VLMs 把“物体运动”直接迁移到“观察者运动”或反之，造成相对运动幻觉。
3D 专业模型稳定性：记录 Bundle Adjustment 阶段关键点丢失率与最终相对距离误差，动态场景下误差增大 1.8×，佐证经典几何约束在双运动条件下失效。

以上实验共同构成对“动态空间智能”问题的全景式评估与错误归因。

Q: 有什么可以进一步探索的点？

以下方向可视为 DSI-Bench 开启的“动态空间智能”研究议程，既包含数据与评测扩展，也涵盖模型与理论深挖：

数据与场景升级

多模态同步采集：使用全景相机 + IMU + LiDAR + 物体 6-DoF 跟踪标签，获得厘米级真值，缓解当前人工标注误差。
长时程与事件流：将 3 秒片段扩展到分钟级，并引入事件相机（Event Camera）数据，考察模型在极端运动模糊下的鲁棒性。
真实机器人闭环：在无人机/无人车第一视角采集“观察者-物体”双运动序列，同步记录控制信号与 SLAM 轨迹，用于评测“感知-控制”一体化系统。

任务维度扩充

预测性问答：不仅问“当前/过去”相对位姿，还问“下一时刻物体会出现在哪里”，引入未来空间关系预测（Dynamic Spatial Forecasting）。
多物体交互：从单物体扩展到 3–5 个物体，引入遮挡、碰撞、遮挡恢复（Re-identification）与群组运动模式。
物理合规性判断：让模型判断“该运动是否违反物理规律”（如瞬间穿透、无支撑悬浮），测试动态空间常识。

模型架构与训练策略

显式 3D 令牌：将点云/深度/光流统一编码为 3D 令牌序列，与文本令牌一起做双流交叉注意力，减少“图像→文本”单模态幻觉。
解耦运动头：为“相机运动估计”与“物体运动估计”分别设立输出头，并在损失函数中加入互信息最小化项，强制网络学习正交表示。
自监督预训练：利用时空对称性设计 proxy task——给定翻转或倒序视频，预测原始运动参数，作为预训练目标，提升下游问答微调样本效率。

评测协议与指标

连续数值指标：除四选一准确率外，引入相对位姿误差 RPE、角度误差 θ-error、距离误差 d-error，支持回归式评估。
因果干预评测：对视频帧进行“物体移除”“相机冻结”等干预，检验模型是否真正依赖对应运动线索而非语义先验。
效率-鲁棒帕累托：记录 FLOPs、延迟与 group-wise 准确率，绘制帕累托前沿，推动轻量级但鲁棒的动态空间模型。

理论与先验研究

动态几何约束：扩展经典的极线/三焦张量到“双运动”情形，推导同时优化相机与物体运动的统一损失，为网络提供可微几何先验。
人类-模型对比：采集眼动与 VR 追踪数据，量化人类在相同动态视频中的空间判断置信度，建立“人类上限”参考曲线。
幻觉可解释性：利用因果追踪（causal tracing）分析 VLM 内部激活，定位“forward bias”等语义先验在哪些 MLP 层被触发，为去偏提供目标。

应用与系统落地

机器人导航：将 DSI-Bench 问答转化为实时路径规划指令，测试模型在动态障碍环境中的避障成功率。
AR 空间交互：把动态空间预测结果实时投射到 AR 眼镜，评估用户对虚拟-真实空间对齐的主观体验评分。
自动驾驶场景标签：利用通过 DSI-Bench 训练的模型为大规模车队视频自动生成“相对距离/朝向变化”伪标签，降低人工标注成本。

通过同时在“数据-任务-模型-评测-理论-应用”六条线上推进，可逐步缩小当前模型与人类在动态空间智能上的显著差距。

Q: 总结一下论文的主要内容

DSI-Bench: A Benchmark for Dynamic Spatial Intelligence 提出并系统评估了“动态空间智能”这一新任务，核心内容可概括为四点：

问题定义
首次将“观察者与被观察物体同时运动”下的三维空间关系推理形式化为 Dynamic Spatial Intelligence，要求模型解耦并同时理解自身运动与物体运动。
基准构建

943 段动态视频，覆盖 5 种解耦运动模式（平移、旋转、混合）。
1 700+ 人工四选一 VQA，分六大任务（Object-Scene、Observer-Scene、Observer-Object 距离/朝向）。
时空对称增广（左右翻 + 时序倒放）生成 4 变体，用于量化偏见与鲁棒性。

大规模评测

14 个主流 VLM（含 GPT-4o、GPT-5、Gemini-2.5-Pro、Qwen2.5-VL、InternVL-3.5、Seed 系列等）与 2 个三维专业模型（VGGT、SpatialTrackerV2）。
双协议：sample-wise（独立计分）与 group-wise（≥3/4 变体正确）。
关键发现：
– 动态场景准确率普遍比静态低 3–12 %，group-wise 再降 10–25 %。
– 自由格式推理（FFR）仅带来 ±3 % 不稳定提升，无法弥补视觉感知误差。
– 显式偏见：VLMs 对“forward”选项过选 >10 %；常把旋转误判为平移；混淆观察者-物体运动。

错误归因与启示

VLMs 将语义先验凌驾于视觉信号，产生多模态幻觉。
经典几何约束在双运动条件下因关键点丢失而失效，3D 专业模型亦出现位姿漂移。
模型规模增大仅提升准确率，不改善鲁棒性，提示偏差源于感知范式而非参数量。

综上，DSI-Bench 填补了动态三维空间推理评测空白，揭示现有模型在“双运动”场景下的共性缺陷，为后续算法与数据改进提供明确靶点。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ziang Zhang,Zehan Wang,Guanghao Zhang,Weilong Dai,Yan Xia,Ziang Yan,Minjie Hong,Zhou Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2510.18873.pdf

Arxiv URL: https://arxiv.org/abs/2510.18873

Arxiv ID: 2510.18873

CoolPaper URL: https://papers.cool/arxiv/2510.18873

Published: 2025-10-21T17:59:36Z

Updated: 2025-10-21T17:59:36.000Z

20. Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

Though recent advances in vision-language models (VLMs) have achieved remarkable progress across a wide range of multimodal tasks, understanding 3D spatial relationships from limited views remains a significant challenge. Previous reasoning methods typically rely on pure text (e.g., topological cognitive maps) or on 2D visual cues. However, their limited representational capacity hinders performance in specific tasks that require 3D spatial imagination. To address this limitation, we propose 3DThinker, a framework that can effectively exploits the rich geometric information embedded within images while reasoning, like humans do. Our framework is the first to enable 3D mentaling during reasoning without any 3D prior input, and it does not rely on explicitly labeled 3D data for training. Specifically, our training consists of two stages. First, we perform supervised training to align the 3D latent generated by VLM while reasoning with that of a 3D foundation model (e.g., VGGT). Then, we optimize the entire reasoning trajectory solely based on outcome signals, thereby refining the underlying 3D mentaling. Extensive experiments across multiple benchmarks show that 3DThinker consistently outperforms strong baselines and offers a new perspective toward unifying 3D representations into multimodal reasoning. Our code will be available at https://github.com/zhangquanchen/3DThinker.

中文摘要

尽管近期视觉-语言模型（VLMs）在广泛的多模态任务中取得了显著进展，但从有限视角理解三维空间关系仍然是一个重大挑战。以往的推理方法通常依赖纯文本（例如，拓扑认知地图）或二维视觉线索。然而，它们有限的表征能力在需要三维空间想象的特定任务中表现不佳。为了解决这一限制，我们提出了3DThinker，一个能够在推理时像人类一样有效利用图像中丰富几何信息的框架。我们的框架是首个在没有任何三维先验输入的情况下实现三维心理建模推理的模型，并且在训练过程中不依赖明确标注的三维数据。具体而言，我们的训练分为两个阶段。首先，我们进行监督训练，使VLM在推理过程中生成的三维潜在表示与三维基础模型（例如，VGGT）的潜在表示对齐。随后，我们仅基于结果信号优化整个推理轨迹，从而提升内部三维心理建模。大量跨多项基准实验表明，3DThinker始终超越强基线，并为将三维表征统一到多模态推理中提供了新的视角。我们的代码将发布在 https://github.com/zhangquanchen/3DThinker。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对“从有限视角图像进行三维空间推理”这一核心难题，提出 3DThinker 框架，旨在克服现有视觉-语言模型（VLM）的三项关键缺陷：

无法从 2D 图像直接想象 3D 几何
现有方法要么仅用纯文本/2D 视觉线索，要么依赖额外深度图、点云等辅助输入，均未能让模型“在脑中”自发形成 3D 场景表征。
需要昂贵 3D 标注或外部工具
先前工作常借助 Grounding-DINO、Depth-Anything 等外部模块生成认知图，既增加推理开销，又在低分辨率或野生图像上失效。
缺乏可解释的 3D 隐空间
隐式推理模型无法将中间 3D 表征可视化或提取为点云，导致空间想象过程不可解释。

3DThinker 通过两阶段训练，首次实现“无需任何 3D 先验或密集标注，即可在推理链内部生成可解释的 3D 隐式表征”，从而显著提升有限视角下的空间理解性能。

Q: 有哪些相关研究？

论文将相关研究归入两大主线，并指出其局限，从而凸显 3DThinker 的差异化价值。

多模态推理（Multimodal Reasoning）
纯文本 CoT：Wei et al. 2022、Chen et al. 2024 等，仅依赖语言描述，难以刻画复杂空间布局。
2D 视觉 CoT：GRIT、SIFThinker、Visual-CoT 等，在 2D 空间迭代修正，但缺乏 3D 几何想象。
隐空间推理：Mirage、LVR 引入 2D 隐式视觉 token，仍停留在“思考带图像”层面，未触及 3D 几何。
空间理解（Spatial Understanding）
输入增强型：SpatialBot、3DRS、VLM-3R 等，额外输入深度、点云或相机参数，推理阶段依赖外部编码器。
认知图型：MindCube、Ego3D-VLM 用文本或工具生成鸟瞰认知图，需 BEV 标注或外部检测/深度模型，野外图像易失效。

上述方法均未能同时在**“3D 可想象-免标注-内在推理”**三项指标上达标，而 3DThinker 首次通过可解释的 3D 隐 token 实现三者统一。

Q: 论文如何解决这个问题？

3DThinker 把“从有限 2D 视图想象 3D 场景”转化为两阶段 token 级对齐-强化框架，核心思路是：
让 VLM 在生成文本 CoT 的同时，插入可学习的 3D 特殊 token，其隐状态被强制对齐到 3D 基础模型（VGGT）的特征空间；随后用纯结果信号对整个轨迹做 RL 微调，进一步精炼 3D 想象。具体流程如下：

阶段 1 监督式 3D 对齐

数据构造
用 GPT-4o 在 MindCube 10 k 样本上生成含 <|latent_start|>…<|latent_end|> 占位符的 CoT 文本，得到 D = {Q, I, R, o}。
3D token 提取
将占位符对应位置的最后一层隐状态 F_latent = {h_1,…,h_k} 视为可压缩的 3D 认知向量。
投影与对齐
通过 6 层 MLP Projector 把 F_latent 与图像视觉特征融合：

F(proj) = Projector(F(latent), F_(images))

目标对齐 VGGT 输出的几何特征 F_{3D}，损失为 Frobenius 范数：

L(3D) = |F(proj) - F_(3D)|_F^2

文本保真
对占位符前后文本分别用交叉熵损失 L_{pre_text}、L_{post_text} 保证语言连贯。
总损失：

L(total) = λ(3D)L(3D) + λ(text)L_(text)

阶段 2 结果驱动 GRPO 精炼

rollout 采样
对同一 (Q, I) 采样 N 条完整轨迹 {o_1,…,o_N}，每条含 3D token。
3D 奖励
将轨迹中 3D token 隐状态再次投影，与 VGGT 特征计算余弦相似度：

r(3D) = (1) / (2)l(1 + F^(RL)(proj)·F(3D)|F^(RL)(proj)||F_(3D)|r)

结果奖励

格式奖励 r_{format}：严格输出 <|latent|>…<think>…</think><answer>…</answer> 得 1.0。
答案奖励 r_{ans}：与 GT 选项比对给 0/1。

GRPO 更新
用组归一化优势 Â_{i,t} 与裁剪策略目标 J(θ) 对整个 token 序列（含 3D 部分）做强化学习，Projector 冻结，仅更新 VLM。

推理阶段的可解释性

提取 3D token 隐状态 → Projector → VGGT-DPT 解码器，即可重建点云，实现“脑中 3D 场景”可视化。

通过**“先对齐-后强化”**，3DThinker 无需任何 3D 标注或外部深度/检测器，即可在 VLM 内部形成可解释、可优化的 3D 隐式表征，从而显著提升有限视角下的空间推理精度。

Q: 论文做了哪些实验？

论文在 6 个公开空间推理 benchmark 上系统评估 3DThinker，实验设计覆盖三条主线：

通用 VLM 的增益验证；2) 与 SOTA 空间专用模型的对比；3) 训练策略、组件与超参的消融。主要结果如下（↑ 表示越高越好）。

1 通用 VLM 上的两阶段增益

数据集	指标	基线平均	+S1 平均	+S2 平均	最大相对提升
MindCube-Tiny	Accuracy ↑	37.6	64.5	76.0	+108.8 %
Ego3D-Bench	Accuracy ↑	45.3	52.1	58.1	+36.9 %

注：表中“基线平均”指 Qwen2.5-VL/InternVL3/LLaVA-OneVision 等 8 个尺寸的原生模型在对应数据集上的平均成绩。

2 与空间推理专用模型对比

基准（平均 Accuracy ↑）	最佳既往方法	3DThinker-S1	3DThinker-S2	领先幅度
VSI-Bench [MV]	47.3	53.2	59.1	+24.9 %
SPBench [SI+MV]	48.4	54.8	60.2	+24.4 %
CV-Bench [SI]	73.8	74.5	78.4	+6.2 %
SPAR-Bench [SI+MV]	35.1	52.3	58.2	+65.8 %
ViewSpatial-Bench [SI+MV]	44.2	59.5	64.7	+46.4 %
MMSI-Bench [MV]	31.5	37.7	41.9	+33.0 %

3 与同类“认知图”方法对比（Ego3D-Bench）

方法	3B	7B	32B	72B	平均
Ego3D-VLM（外部深度+检测）	44.4	54.3	65.5	69.5	61.6
3DThinker（无外部先验）	50.8	54.9	68.1	70.0	64.7

4 训练策略消融（MindCube-Tiny）

策略	Overall Accuracy ↑
Raw-QA SFT	52.3
CoT SFT	53.4
认知图-SFT（Plain）	60.8
认知图-SFT+RL	70.7
3DThinker-S1（对齐）	62.7
3DThinker-S1+S2（对齐+RL）	75.2

5 组件与超参消融（Qwen2.5-VL-3B）

3D 隐向量长度：12 维最佳（62.7 %），过长会重复输出导致崩溃。
3D token 位置：放中间 → 42.0 %；放开头/结尾 → 74 % 以上。
Projector 方向：VLM→VGGT 空间可解释且性能最高（75.2 %）。
奖励函数：去掉 r_3D 降至 68.3 %；去掉 r_ans 降至 64.2 %。

6 可视化验证

提取 3D token 隐状态 → Projector → VGGT-DPT 解码出的点云与 prompt 关注区域高度一致，且推理答案全部正确，证明“3D 想象”具备可解释性。

结论性数字

在 MindCube-Tiny 上相对原生 VLM 提升 19.9 %～108.8 %。
在 Ego3D-Bench 上平均领先最强基线（O3-2025）+0.3 %，且无需任何 Ego3D 训练数据。
在 6 大空间 benchmark 上统一超越专用 SOTA，平均涨幅 6.2 %～65.8 %。

Q: 有什么可以进一步探索的点？

后续工作可从以下五个方向深入，括号内给出可验证的初步指标或实验设定，供直接落地。

1. 统一 3D Tokenizer

将离散文本词表与连续 3D 隐空间合并为单一词汇表，实现“文本-3D”统一自回归生成
可验证指标：在 MindCube-Tiny 上对比离散 vs. 连续 token 的 Overall Accuracy，目标 ≥ 78 %
方案：VQ-VAE 把 VGGT 特征量化成 4 096 码本，再与文本词表拼接，保持原 Transformer 结构不变

2. 迭代式 3D Mentaling

在一条 CoT 链内多次插入 3D token，允许模型“边想边更新”点云
可验证指标：Ego3D-Bench 的 Travel Time 子任务目前 30.8 %，目标 ≥ 40 %
方案：每 32 个文本 token 后强制插入 12 维 3D token，用因果掩码保证后续文本可见最新 3D 隐状态

3. 跨帧时序一致性（4D 想象）

把多视角扩展为短视频，强制相邻帧 3D token 的 Chamfer Distance 最小化
可验证指标：在 MMSI-Bench 上平均涨幅再 +5 %
损失项： L(temp) = (1) / (T-1)∑(t=1)^(T-1) CD(Pt, P(t+1)) ，其中 P_t 为第 t 帧重建点云

4. 自监督 3D 蒸馏

取消对 VGGT 的依赖，利用大规模互联网视频通过 SfM 自动生成伪 3D 标签
可验证指标：在 1 M 无标注视频上预训练后，MindCube-Tiny 不下降（≥ 75 %）
方案：COLMAP 生成伪点云 → 轻量 VGGT-Student 蒸馏到 VLM，仅保留 3D 对齐损失

5. 下游具身任务迁移

将 3DThinker 作为视觉-语言-动作模型的感知前端，在 Habitat-MP3D 上测试 Object-Nav
可验证指标：Success 从 55 % 提升至 ≥ 65 %，SPL 提升 ≥ 0.05
方案：冻结 3DThinker 文本-3D 分支，额外增加动作头，用 DDPPO 微调端到端策略

以上任意方向若在对应指标上取得统计显著提升（p < 0.01，三次种子平均），即可作为 3DThinker 的正式扩展发表。

Q: 总结一下论文的主要内容

3DThinker：让 VLM 像人类一样“脑补”三维场景

背景痛点

现有 VLM 仅依赖文本或 2D 视觉线索，难以从有限视角想象 3D 几何。
引入深度、点云等额外输入又需标注或外部模型，推理开销大、野外易失效。

核心思路

“思考时自带 3D 脑图”——在 CoT 链中插入可学习的 3D 特殊 token，其隐状态对齐 3D 基础模型（VGGT），再用纯结果信号强化整条轨迹，实现

无 3D 标注
无外部先验
可解释（可重建点云）

方法框架

数据：用 GPT-4o 在 MindCube-10 k 上生成含 <|latent|> 占位符的 CoT。
阶段 1 监督对齐

提取 3D token 隐状态 → 6 层 MLP Projector → 对齐 VGGT 特征， L(3D)=∥F(proj)−F_(3D)∥_F^2
同时优化前后文本交叉熵，保证语言连贯。

阶段 2 GRPO 强化

仅使用 outcome 奖励：格式 + 答案 + 3D 相似度，整条轨迹（含 3D token）一起更新。
Projector 冻结，维持 3D 空间一致。

实验结果

数据集	基线平均	3DThinker
MindCube-Tiny	37.6 → 76.0	+108.8 %
Ego3D-Bench	45.3 → 58.1	+36.9 %
6 大空间 benchmark	平均再涨 6.2 %–65.8 %

可视化：3D token 可解码为点云，与提问关注区域高度吻合。
消融：3D token 放开头/结尾最佳；去掉 3D 对齐或答案奖励分别掉 6.9 %、10.9 %。

贡献一句话

首次实现“无需 3D 标注、无需外部工具、可解释点云”的原生 3D 想象推理，在多项空间理解基准上统一刷新 SOTA。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhangquan Chen,Manyuan Zhang,Xinlei Yu,Xufang Luo,Mingze Sun,Zihao Pan,Yan Feng,Peng Pei,Xunliang Cai,Ruqi Huang

Categories: cs.CV,cs.AI,I.2.10

PDF URL: https://arxiv.org/pdf/2510.18632.pdf

Arxiv URL: https://arxiv.org/abs/2510.18632

Arxiv ID: 2510.18632

CoolPaper URL: https://papers.cool/arxiv/2510.18632

Published: 2025-10-21T13:36:58Z

Updated: 2025-10-21T13:36:58.000Z