HuggingFace Papers 2026-10-03

数据来源：HuggingFace Papers

Latest Papers

1. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

Abstract:Streaming video LLMs must retain evidence before its relevance to future tasks is known and respond when sufficient evidence becomes available. The challenge is to form reusable factual memory without compromising real-time perception. We introduce OneStreamer, which jointly learns query-independent evidence recording and task response through a shared proactive generation process. Its Proactive Hierarchical Caption Memory (PHCM) produces time-grounded local-detail captions and summaries of completed events. Streaming caption targets supervise the interpretation of observed video prefixes during training. At inference, model-generated records complement a recent visual window, providing reusable factual context without revisiting historical visual features. Proactive State Transition Learning (PSTL) reduces the dominance of repeated waiting states by preserving supervision at all output anchors and selecting representative state-change and state-persistence tokens. We further develop a streaming data synthesis pipeline that aligns output content and timing with available evidence. Combining the resulting streaming captions and QA with cleaned open-source data yields OneStreamer-1M, a broad-coverage streaming video interaction dataset with over one million records spanning diverse tasks. Our 4B model achieves the best results among the compared methods across all eight evaluated streaming video understanding benchmarks. Ablations show that retaining generated captions improves historical QA without degrading real-time perception. PSTL also outperforms dense state supervision while supervising only 27.5% of annotated state tokens. Together, these results support proactive generation as a shared learning interface connecting perception, memory formation, and timely response in streaming video interaction.

中文摘要

摘要：流式视频大语言模型必须在尚不清楚其对未来任务的相关性之前保留证据，并在有足够证据时做出响应。挑战在于形成可重复使用的事实记忆，同时不影响实时感知。我们提出了 OneStreamer，它通过共享的主动生成过程联合学习与查询无关的证据记录和任务响应。其主动层次化字幕记忆（PHCM）生成时间绑定的局部细节字幕和已完成事件的摘要。在训练过程中，流式字幕目标监督已观察视频前缀的解释。在推理时，模型生成的记录补充了最近的视觉窗口，在不重新访问历史视觉特征的情况下提供可重复使用的事实上下文。主动状态转移学习（PSTL）通过在所有输出锚点保留监督并选择代表性的状态变化和状态保持标记，减少重复等待状态的主导性。我们进一步开发了一个流式数据合成管道，使输出内容和时间与可用证据对齐。将生成的流式字幕和问答与经过清理的开源数据结合，生成了一百万条记录的 OneStreamer-1M，覆盖广泛的流式视频交互任务。我们的 4B 模型在比较方法中，在八个评估的流式视频理解基准上均取得了最佳结果。消融实验显示，保留生成的字幕可以改善历史问答，而不降低实时感知性能。PSTL 在仅监督 27.5% 标注状态标记的情况下，也优于密集状态监督。综合来看，这些结果支持将主动生成作为连接感知、记忆形成和流式视频交互中及时响应的共享学习接口。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文针对\*\*流媒体视频理解中的实时感知、记忆形成与主动响应的统一学习\*\*问题，具体试图解决以下核心挑战： ### 1. 证据保留与实时感知的冲突在开放-ended的视频流中，模型必须在\*\*不知道未来任务相关性\*\*的情况下保留观察到的证据。然而，现有方法在保留历史视觉信息时面临两难困境： - 若将历史视觉token保留在上下文中，会与当前帧争夺有限的上下文容量，\*\*损害实时感知能力\*\*； - 若仅保留近期视觉窗口，则当相关帧离开窗口后，\*\*远处事件的事实证据会丢失\*\*。 ### 2. 何时记录与何时响应的决策学习流媒体模型需要自主决定“何时记录证据”以及“何时生成用户可见的响应”。现有基于状态token（state-token）的响应控制方法存在监督不平衡问题： - \*\*密集监督\*\*重复出现的等待状态（silence/waiting），导致模型过度学习“不响应”； - 仅监督状态变化（state-change）则忽略了状态持续（state-persistence）的合理监督，无法有效学习证据积累过程中的持续观察行为。 ### 3. 训练数据在内容与时间上的证据对齐流式交互要求每个输出目标必须在\*\*内容上\*\*由已观察到的证据支撑，在\*\*时间上\*\*于证据充分可用后才释放。现有数据集往往存在： - 响应时间标注过早，在视觉证据尚不充分时即要求回答，导致模型依赖语言先验或产生幻觉； - 响应时间标注过晚，将本可更早回答的问题拖延至证据区间结束，未能有效训练及时响应能力。 ### 论文的解决思路为应对上述挑战，论文提出 \*\*OneStreamer\*\*，通过\*\*共享的主动生成过程\*\*（shared proactive generation process）将以下三者统一在单一的因果视觉-语言序列中： - \*\*感知学习\*\*（实时解释视频前缀）； - \*\*查询无关的记忆写入\*\*（主动生成时间锚定的层次化文本记录）； - \*\*及时的任务响应\*\*（基于证据可用性的状态转换控制）。并配套构建了百万级流式视频交互数据集 \*\*OneStreamer-1M\*\*，以支持上述联合训练。 Q2: 有哪些相关研究？根据论文第2节及相关章节的综述，相关研究可归纳为以下两大方向： ## 2.1 视频理解中的感知与记忆 ### 离线视频大语言模型针对长视频记录的处理，现有研究主要通过以下技术路径扩展模型的有效上下文： - \*\*记忆压缩\*\*：如 MovieChat

19
、VideoChat-Flash
10
、InternVideo2.5
24
、TimeSuite
38
等，通过稀疏化或分层压缩视觉 token 降低长视频的记忆开销； - **上下文扩展**：如 LongVU
17
、Long Context Transfer
43
，通过扩展模型可处理的序列长度以容纳更多视觉帧； - **自适应 token 选择**：如 LongVU
17
，根据任务或内容重要性动态选择保留的视觉 token。 ### 在线/流式视频助手针对视频流中证据必须在观察时即被保留、且未来查询相关性未知的特点，现有系统探索了多种记忆机制： - **结构化或层次化记忆**：如 VideoChat-Online

8
、FluxMem
30
、StreamForest
39
、Flash-Vstream
41
，通过事件级或语义级结构组织历史信息； - **预算化检索**：如 StreamOV
29
，在有限预算下检索最相关的历史片段； - **近期窗口策略**：如 StreamingVLM
31
，仅保留最近 N 帧的视觉 token； - **信息帧选择**：如 TimeChat-Online
37
、CurveStream
20
，从长视频中筛选最具信息量的关键帧。 **主要局限**：在上下文容量受限时，保留完整视觉历史会与当前帧的细粒度感知竞争；而严格的近期窗口则会丢弃已离开窗口的远处事件
18
。 ## 2.2 流式描述与主动响应 ### 流式描述与在线视频语言建模 - **因果帧-文本生成**：如 VideoLLM-Online

3
、Streaming Dense Video Captioning
47
，支持逐帧或逐 clip 的因果语言生成； - **连续 Commentary 方法**：如 LiveCC
4
、LiveStar
35
、Proact-VL
32
，在观察到达时持续生成视频叙述。 ### 流式思维（Streaming Thinking） - 通过不断演化的推理链或面向推理的记忆支持在线理解，如 Video Streaming Thinking

7
、Thinking in Streaming Video
13
、Think-As-You-See
42
、Think While Watching
22
。 **主要局限**：推理痕迹本身不一定构成可供后续任务复用的、时间锚定的事实性记录。 ### 主动响应（Proactive Response）针对“何时响应”的决策问题，现有研究从多个角度建模响应时机： - **生成式状态 token**：如 Streamo

28
、AURA
14
，通过离散控制 token（如 silence/response）直接生成响应决策； - **辅助信息与就绪信号**：如 StreamReady
1
、StreamMind
5
、Lion-FS
9
、Dispider
16
、StreamBridge
21
、StreamOV
29
，利用相关性、信息增益或外部信号触发响应； - **预期规划与强化学习**：如 StreamAgent
33
、MMDuet-2
26
，通过多轮 RL 或规划策略学习最优响应时机。 **主要局限**：相关证据的出现并不自动等同于足以支撑用户可见响应；同时，密集的状态 token 监督会导致等待状态（silence）过度主导训练目标。 ## 2.3 与本文的关联论文指出，上述研究在以下方面存在**割裂**： - 记忆机制（如视觉 token 压缩/检索）与实时感知争夺上下文资源； - 流式推理痕迹缺乏作为可复用事实记忆的能力； - 主动响应控制中，状态 token 的监督不平衡导致学习偏差。 OneStreamer 的提出正是为了通过**共享的主动生成过程**，将查询无关的证据记录（Perception/Memory Writing）与任务响应（Proactive Response）统一在单一因果序列中，以弥合上述割裂。 Q3: 论文如何解决这个问题？ OneStreamer 通过**将查询无关的证据记录与任务响应统一在单一的因果生成过程中**，系统性地解决了流媒体视频理解中的核心挑战。具体而言，该方法包含以下四个相互支撑的组成部分： ### 1. 统一架构：共享的主动生成接口 OneStreamer 基于因果视觉–语言序列处理开放-ended视频流。在每个时间步，模型维护两类互补的上下文： - **Recent-N FIFO 视觉窗口**：仅保留最近 N 帧的视觉 token，保障当前感知的细粒度与高效性； - **累积的文本历史**：包含用户对话以及模型自身已生成的事实记录。视觉 token 与文本历史交错后送入 LLM，模型从中联合预测**任务特定的控制状态**（如 `</Silence>`、`</Observe>`、`</Summary>`、`</Standby>`、`</Response>`）及对应的文本内容。该设计将“感知–记忆写入–响应决策”压缩为同一自回归生成过程，避免了独立的记忆编码器或外部检索模块。 —- ### 2. Proactive Hierarchical Caption Memory (PHCM) 为解决**历史证据保留与实时感知之间的冲突**，PHCM 将观察到的内容主动转化为可复用的时间锚定文本记录，而非保留原始视觉特征。其包含两个互补粒度： - **`</Observe>` 局部细节记录**：在短视觉区间结束后生成，描述已观察到的对象、动作、场景及状态变化； - **`</Summary>` 事件级摘要**：在完整事件或片段边界处生成，提供更高层的语义总结。 **训练阶段**，因果流式 caption 目标强制模型仅基于已观察到的视频前缀生成记录，确保记忆内容的事实性与证据对齐。 **推理阶段**，模型自主决定何时生成记录，并将其追加到文本历史中。当源帧离开 Recent-N 视觉窗口后，这些文本记录仍作为远距离事实上下文存在，供后续查询直接调用。由此，PHCM 以极低的文本开销替代了沉重的历史视觉特征存储，实现了： > 近期视觉上下文（细粒度感知） + 远处文本记忆（事实复用）的异构表示。 —- ### 3. Proactive State Transition Learning (PSTL) 为解决**响应/记录时机学习中状态监督不平衡**的问题，PSTL 对控制状态 token 实施选择性监督，核心思想是：保留所有“输出锚点”（output anchors，即引发文本生成的状态，如 `</Observe>`、`</Summary>`、`</Response>`）的完整监督，并对频繁出现的重复等待状态进行降采样。具体地，对每条训练序列，设 Aτ 为任务 τ 的输出锚点集合， n(X to Y) 为相邻控制状态中转移 X to Y 的出现次数。监督配额定义为：

q = maxX max(a ∈ Aτ) n(X to a)
从每个转移组 X to Y 中，无放回均匀采样索引集 I(X to Y) ，其大小为：
|I(X to Y)| = min(n(X to Y), q)
仅被选中的状态 token 参与状态损失：
L(state) = -(1) / (|I|) ∑(i ∈ I) log pθ(z_i mid c_i)
其中 z_i 为索引 i 处的控制状态， c_i 为对应的因果上下文。未被选中的状态 token 仍保留在因果序列中以维持正确的条件依赖，但不对状态损失产生贡献；所有 caption 文本及任务答案的 next-token 监督则保持完整。该策略同时监督**状态变化**（如 silence → response）与**状态持续**（如连续的 `</Silence>` 或连续的 `</Observe>`），有效抑制了重复等待状态对损失函数的支配，且无需在推理时引入任何外部状态转移策略。 —- ### 4. 流式数据合成与 OneStreamer-1M 为解决**训练数据在内容和时间上缺乏证据对齐**的问题，论文构建了一套可复用的流式数据合成管道，包含两个分支： #### 流式 Caption 合成 1. **高质量视频筛选**：通过语义检索、场景检测与视觉丰富度评估，保留具有清晰时序结构和丰富事件的素材； 2. **多粒度标注**：利用 VLM 生成帧/clip 级、片段级与视频级的时间戳标注； 3. **因果序列转换**：局部 caption 仅在支持区间结束后作为 `</Observe>` 目标释放；片段摘要仅在事件完成时作为 `</Summary>` 释放；视频级摘要则在流结束后响应特定指令时释放。 #### 流式 QA 合成 1. **任务导向设计**：围绕状态跟踪、动作预测、主动提醒、主动计数等流式交互能力生成 QA 对； 2. **粗证据定位**：用 VLM 定位包含充分证据的粗略时间区间，并通过“仅输入该区间的视频前缀能否正确回答”进行验证； 3. **细粒度响应时间校准**：在粗区间内滑动评估候选时间点。对推理导向 QA，采用答案条件似然评分；对感知导向任务，采用视觉-文本嵌入相似度评分。选择满足可靠性标准的**最早**时间点作为响应时间，从而避免响应过早（依赖先验/幻觉）或过晚（延迟响应）的问题。将上述合成数据与清洗后的开源数据统一为流式格式后，构建出 **OneStreamer-1M** 训练语料，涵盖超过一百万条跨任务记录。 —- ### 总结通过上述设计，OneStreamer 在单一因果生成框架内实现了： - **感知学习**：通过 Recent-N 窗口维持对当前视觉输入的实时解析； - **记忆形成**：通过 PHCM 将历史观察转化为查询无关、时间锚定的文本事实记录； - **及时响应**：通过 PSTL 学习在证据充分时从 `</Silence>` / `</Standby>` 转换到 `</Response>` 或记忆记录状态。三者共享同一套自回归生成接口，使得模型在流式视频交互中能够基于过去与当前的联合证据做出及时、准确的响应。 Q4: 论文做了哪些实验？论文进行了系统的实证评估，涵盖**主基准对比**、**核心组件消融**、**效率分析**、**定性分析**以及**扩展消融**五个层面。所有实验均基于 4B 参数的 OneStreamer 模型展开，并与同尺寸及更大尺寸的基线方法进行比较。 —- ## 1. 主实验：八大流式视频理解基准论文在**八个公开基准**上评估了 OneStreamer，其中前四个侧重感知与记忆，后四个侧重主动响应： - **感知与记忆**：OVOBench、StreamingBench（Real-Time）、OVBench、ODVBench - **主动响应**：ProactiveVideoQA、OmniMMI、OVO-Timing、ViSpeak 实验将 OneStreamer 与多个同尺寸（4B）及更大尺寸（7B–11B）的流式视频模型对比。结果显示，OneStreamer 在所有八个基准上均取得最优的聚合分数。与同尺寸的 Qwen3-VL-4B 基线相比，提升最为显著；与 11B 的 MOSS-VL-Realtime 相比，仍在感知、记忆和主动响应任务上全面领先。 —- ## 2. 核心组件消融实验论文设计了三个关键消融，验证 Proactive Hierarchical Caption Memory（PHCM）与 Proactive State Transition Learning（PSTL）的有效性。 ### 2.1 消融一：PHCM 提供超越近期视觉窗口的可复用时序记忆在固定检查点和 Recent-16 视觉窗口下，对比三种历史上下文策略： | 策略 | 视觉上下文 | 记忆形式 | OVOBench Backward (ASI) | OVOBench Backward (EPM) | StreamingBench Real-Time | |———|—————-|————-|————————————|————————————|————————————-| | Full | 完整视觉历史 | 无 | 67.6 | 63.0 | 70.9 | | FIFO | Recent-16 | 无 | 63.5 | 62.0 | 80.9 | | PHCM | Recent-16 | 层次化文本记忆 | **71.6** | **62.6** | **81.4** | 结果显示：保留主动生成的 caption 记录后，历史问答能力在源帧离开视觉窗口后仍显著提升（ASI 从 63.5 提升至 71.6），同时未牺牲实时感知。 ### 2.2 消融二：近期视觉与远处文本记忆的协同增强同一表格的进一步分析表明，PHCM 并非仅在“记忆”与“感知”之间做权衡，而是**同时超越**两种纯视觉策略的各自优势： - 相较于 **Full**（完整视觉历史）：PHCM 的 OVOBench Real-Time 从 80.9 提升至 81.4，ASI 从 67.6 提升至 71.6； - 相较于 **FIFO**（仅近期窗口）：PHCM 的 OVOBench Overall 从 70.1 提升至 72.1，StreamingBench Real-Time 从 86.3 提升至 86.9。这说明异构表示（近期视觉 + 远处文本记忆）能够实现感知与记忆的同步增强。 ### 2.3 消融三：PSTL 优于密集状态监督在相同训练数据与文本监督下，对比五种状态监督策略： | 状态选择策略 | 状态损失 | 监督比例 | ProactiveVQA | OmniMMI | OVO-Timing (Avg F1) | |——————-|————-|————-|——————-|————-|—————————-| | All tokens | CE | 100.0% | 26.1 | 30.8 | 1.5 | | All tokens | Focal | 100.0% | 47.0 | 32.8 | 26.5 | | Random Sparse | CE | 27.5% | 26.6 | 27.4 | 1.4 | | Transition Only | CE | 18.1% | 46.7 | 27.4 | 15.3 | | **PSTL** | **CE** | **27.5%** | **48.7** | **36.6** | **41.6** | PSTL 仅监督 27.5% 的标注状态 token，却在所有三个主动响应基准上优于密集监督（100% token 的 CE 或 Focal）。同等稀疏比例的随机采样表现显著更差，说明 PSTL 的增益并非来自稀疏性本身，而是来自对**输出锚点、状态变化与状态持续**的代表性采样。 —- ## 3. 效率与推理延迟分析论文在 360 秒的 OVOBench 样本上测量了回答阶段的计算开销： | 策略 | 视觉上下文 | 记忆形式 | GPU 内存 (GB) | 上下文 Tokens | TTFT (s) | |———|—————-|————-|———————|———————|————-| | Full | 完整历史 | 无 | 25.18 | 62,094 | 4.560 | | FIFO | Recent-16 | 无 | 9.69 | 3,036 | 0.094 | | PHCM | Recent-16 | 预计算文本记忆 | 9.98 | 4,308 | 0.124 | PHCM 相对于 Full 将上下文长度减少 **93.1%**，GPU 内存减少 **60.4%**，首 token 延迟（TTFT）从 4.560 秒降至 0.124 秒。相对于 FIFO，PHCM 仅增加约 1,272 个 token、0.29 GB 显存和 0.030 秒延迟，即可扩展对远处证据的访问能力。 —- ## 4. 定性分析论文提供了两类典型交互的可视化案例： - **记忆 QA**：模型在早期通过 `</Observe>` 记录黄色桌子与书籍的细节，并通过 `</Summary>` 保留高层场景上下文。当用户后续询问“孩子可以去哪里阅读”时，源帧已离开近期窗口，但保留的文本记忆仍能支持正确回答。 - **主动计数**：模型在目标事件之间保持 `</Silence>`，每当新证据支持更新计数时立即以 `</Response>` 输出，实现从 1 到 3 的渐进式计数。此外，论文展示了一个失败案例：模型在打印机开合状态识别上出错，且在后续帧获得纠正证据后未能及时修正先前响应，揭示了当前方法在状态变化解释与错误修正上的局限。 —- ## 5. 各基准详细子任务结果（附录 D）论文在附录中提供了八个基准的**逐子任务**详细分数，确保结果可复现与细粒度分析： - **OVOBench**（表 8）：覆盖 Real-Time Visual Perception、Backward Tracing、Forward Active 三大类共 15 项子任务； - **StreamingBench**（表 9）：覆盖 Object Perception、Comprehension、Reasoning、Action Prediction 等 10 项实时子任务； - **OVBench**（表 10）：16 项子任务，包括细粒度感知、时序定位、程序理解等； - **ODVBench**（表 11）：覆盖静态目标、动态目标与事件导向共 15 项子任务； - **ProactiveVideoQA**（表 12）：四项子任务在 ω = 0.0, 0.5, 1.0 下的 PAUC 分数； - **OmniMMI**（表 13）：五项多模态交互子任务； - **OVO-Timing**（表 14）：CRR、SSR、REC 的召回率、精确率与 F1； - **ViSpeak-Bench**（表 15）：六项任务的时间准确率与文本得分。 —- ## 6. 扩展消融实验（附录 E） ### 6.1 主动 Caption 监督对视觉理解的影响即使在不使用 caption 记忆的纯视觉评估下，加入 60K 主动 caption 训练数据仍能提升模型在 OVOBench、StreamingBench、OVBench、ODVBench 上的表现。进一步地，当使用该模型自身的生成描述作为记忆时，OVOBench Overall 相对 FIFO 提升 **2.0** 个百分点；而未经过 caption 监督训练的模型即使以相同提示强制生成描述并保留，增益几乎消失（ -0.1 / +0.3 ）。这说明**专门的 caption 监督是有效记忆构建的关键**。 ### 6.2 层次化记忆各组件的独立贡献 | 记忆变体 | `</Observe>` | `</Summary>` | StreamingBench (Real-Time) | OVOBench (Overall) | |————-|——————-|——————-|—————————————-|—————————-| | 无记忆 | ✗ | ✗ | 86.3 | 70.1 | | 仅 Observe | ✓ | ✗ | **86.9** | 71.7 | | 仅 Summary | ✗ | ✓ | 86.6 | 71.2 | | 完整层次 | ✓ | ✓ | **86.9** | **72.1** | 局部细节记录（`</Observe>`）贡献了主要增益，事件摘要（`</Summary>`）提供互补信息，二者结合达到最优。 ### 6.3 在线记忆构建的流式吞吐量在 360 秒视频、每秒更新、128 帧/更新的严苛设置下： - PHCM 平均每次更新耗时 **0.636 秒**，低于 1 秒的输入间隔，可实现实时不掉帧处理； - 相比 Full 视觉历史，PHCM 将平均更新延迟降低 **84.2%**，峰值显存降低 **65.3%**，峰值输入长度降低 **90.4%**； - 相比 FIFO，在线记忆构建仅增加 0.164 秒平均延迟与可忽略的显存开销。 ### 6.4 训练数据构成的渐进式消融通过五组累积配置（Base → +TRA-QA → +FPPR → +CQTC → +SPM）验证 OneStreamer-1M 各组件的价值： | 配置 | O Q5: 有什么可以进一步探索的点？基于论文的方法设计、实验发现与局限性讨论，以下几个方向值得进一步探索： —- ### 1. 记忆的动态修正与事实一致性维护论文在 Failure Case 中揭示了一个关键局限：模型在 00:10 错误地将“打开打印机”识别为“关闭打印机”，并在后续获得纠正性视觉证据后未能修正先前输出。这提示现有 PHCM 是一种**仅追加（append-only）**的记忆机制，缺乏对已有记录的**更新、撤销或修正**能力。未来可探索： - **证据驱动的记忆版本控制**：当新观察与既有记忆冲突时，模型生成显式的修正记录（如 `</Correct>`）或更新原有 caption。 - **置信度感知记忆写入**：在生成 `</Observe>` 或 `</Summary>` 时同步估计其置信度，对低置信度记录标记为待定，待后续证据确认或反驳后再固化或修正。 —- ### 2. 超越文本的异构记忆表示 PHCM 将历史证据统一编码为时间锚定的自然语言 caption，虽然兼容 LLM 的上下文格式，但在表达**精确的空间坐标、数值状态、对象拓扑关系**时可能存在信息损失。未来可研究： - **结构化记忆混合表示**：将文本记忆与符号化结构（如场景图、对象状态向量、时序知识三元组）结合，通过工具调用或专用编码器进行管理。 - **视觉 token 与文本记忆的动态路由**：不是所有历史信息都适合文本化。可探索基于内容自适应选择“压缩为文本”还是“保留关键视觉 token”的策略，而非固定地丢弃全部历史视觉特征。 —- ### 3. 从监督状态转换到策略性响应时机学习 PSTL 通过改进状态 token 的监督采样提升了响应时机，但仍属于**离线监督学习**范式。而在真实流式交互中，响应时机的最优性往往取决于下游任务效用，而非仅仅模仿标注。可进一步探索： - **强化学习优化响应策略**：以响应及时性、准确性与用户任务完成度为奖励信号，直接优化状态转移策略（类似 MMDuet-2 的方向，但作用于 OneStreamer 的统一生成接口）。 - **自适应阈值机制**：当前 `</Standby>` 到 `</Response>` 的转换基于模型内部分布，未来可引入可学习的、任务相关或用户相关的响应阈值，实现个性化的“响应激进/保守”调节。 —- ### 4. 超长视频流的记忆可扩展性随着视频流时长从分钟级扩展到小时级甚至天级，PHCM 的文本历史本身会线性增长，最终可能再次触及上下文长度上限。未来需要： - **记忆的分层压缩与归档**：将较早的 `</Observe>` 记录进一步聚类、抽象或迁移到外部向量/键值存储中，仅在需要时通过检索召回，形成“工作记忆–长期记忆”层级。 - **流式数据的在线学习**：探索在持续推理过程中对记忆表示进行在线更新，使模型能够适应新领域或用户特定习惯，而无需从头训练。 —- ### 5. 多模态流式证据的联合记录 OneStreamer 主要聚焦于视觉流，虽然 OmniMMI 中涉及 ASR，但模态融合仍较浅。在可穿戴设备、直播助手等真实场景中，**音频线索、时序传感器数据、用户指令历史**往往与视觉同步到达。未来可扩展 PHCM 以支持： - **跨模态证据对齐**：将声音事件、语音指令与视觉状态变化联合记录为多模态时间线。 - **多模态响应控制**：基于视听联合证据决定 `</Response>` 时机，例如在视觉证据不足但音频证据充分时提前响应。 —- ### 6. 更细粒度的错误分析与诊断基准论文在八个综合基准上验证了整体性能，但对**特定失败模式**（如状态变化误识别、时序边界漂移、证据过早释放导致的幻觉）仍缺乏系统性的诊断工具。未来可构建： - **细粒度错误分类基准**：专门评估模型在“部分可观察状态下的推断”、“物体持久性推理”、“动作结果预判”等认知能力上的表现。 - **可控的流式对抗测试**：通过故意引入遮挡、快速场景切换、相似事件重复等干扰，量化记忆机制与状态控制策略的鲁棒性。 —- ### 7. 模型轻量化与边缘部署表 4 和附录 E.3 显示，即使 4B 模型在 H200 上保持实时处理仍有一定开销。对于 AR 眼镜、无人机等边缘设备，需要： - **视觉-语言联合蒸馏**：将 PHCM 和 PSTL 的能力蒸馏到更小模型（如 1B 以下），同时保持流式推理的实时性。 - **事件驱动的稀疏推理**：仅在检测到显著状态变化或用户查询时触发完整的前向传播，其余时间以极低成本运行轻量感知模型。 Q6: 总结一下论文的主要内容这篇论文提出了 **OneStreamer**，一种面向流式视频交互的统一框架，旨在通过共享的主动生成过程将**实时感知**、**可复用事实记忆**与**及时任务响应**整合到单一因果视觉–语言模型中。 ### 1. 研究背景与核心问题真实世界视频以开放-ended流的形式到达。流式视频大语言模型必须在不知道未来查询内容的情况下，保留可能相关的视觉证据，并在证据充分时及时向用户做出响应。现有工作面临三重割裂： - **记忆与感知的冲突**：保留历史视觉 token 会与当前帧争夺有限的上下文容量，损害实时感知；而仅保留近期窗口又会丢弃已离开视野的远处事件。 - **响应时机学习的不平衡**：基于状态 token 的主动响应方法中，密集的“等待”状态监督会淹没稀疏的“响应”决策信号。 - **训练数据的时序错配**：现有数据集的响应时间标注常与证据实际可用时间脱节，导致模型学习语言先验或延迟响应。 ### 2. 方法：OneStreamer 论文将查询无关的证据记录与任务响应统一为同一自回归生成过程，核心包含以下设计： #### 2.1 整体架构模型以增量方式处理视频流，维护两类互补上下文： - **Recent-N FIFO 视觉窗口**：仅保留最近 N 帧的视觉 token，保障当前感知的细粒度； - **累积文本历史**：包含用户对话及模型自身生成的、时间锚定的事实记录。 #### 2.2 Proactive Hierarchical Caption Memory (PHCM) 为在有限上下文内扩展对远处证据的访问，PHCM 主动将已观察内容转化为可复用的**层次化文本记忆**，而非保留原始视觉特征： - **`</Observe>` 局部细节记录**：在短区间结束后生成，描述对象、动作、场景与状态变化； - **`</Summary>` 事件级摘要**：在完整事件或片段边界处生成，提供高层语义总结。训练时，因果流式 caption 目标强制模型仅基于已观察前缀生成记录；推理时，模型自主生成这些记录并追加到文本历史中。当源帧离开视觉窗口后，文本记录仍作为远距离事实上下文供后续任务直接调用，从而以异构表示（近期视觉 + 远处文本记忆）实现感知与记忆的解耦。 #### 2.3 Proactive State Transition Learning (PSTL) 为解决状态监督不平衡问题，PSTL 对控制状态 token 实施**选择性监督**。其定义每条序列的监督配额：

q = maxX max(a ∈ Aτ) n(X to a)
其中 Aτ 为任务 τ 的输出锚点集合， n(X to Y) 为转移 X to Y 的出现次数。从每个转移组中无放回均匀采样至多 q 个状态 token 参与状态损失：
L(state) = -(1) / (|I|) ∑(i ∈ I) log p_θ(z_i mid c_i)
该策略保留所有输出锚点（如 `</Response>`、`</Observe>`）的完整监督，同时限制重复等待状态的支配，并兼顾**状态变化**与**状态持续**的代表性样本。未被选中的 token 仍保留在因果序列中以维持条件依赖，但不对状态损失产生贡献。 ### 3. 数据集：OneStreamer-1M 为支撑上述联合训练，论文构建了可复用的流式数据合成管道，包含两个分支： - **流式 Caption 合成**：将多粒度离线标注转换为因果序列，局部 caption 仅在支持区间结束后释放，片段摘要仅在事件完成后释放，确保内容与时序均与已观察证据对齐。 - **流式 QA 合成**：通过任务导向生成、粗证据定位与细粒度响应时间校准，将离线资源转换为证据充分且响应及时的流式 QA 序列。结合清洗后的开源数据，最终得到 **OneStreamer-1M**，涵盖超过一百万条跨感知、记忆与主动响应任务的训练记录。 ### 4. 实验结果论文在八个流式视频理解基准上进行了评估： #### 4.1 主结果 4B 参数的 OneStreamer 在所有八个基准上均取得最优结果，包括 OVOBench、StreamingBench、OVBench、ODVBench（感知与记忆），以及 ProactiveVideoQA、OmniMMI、OVO-Timing、ViSpeak（主动响应）。相较于同尺寸的 Qwen3-VL-4B，平均相对提升达 25.0%；相较于各基准上最强的竞争方法，平均相对提升达 6.1%。 #### 4.2 关键消融发现 - **PHCM 的有效性**：在固定 Recent-16 视觉窗口下，保留主动生成的 caption 记录使 OVOBench Backward（ASI）从 63.5 提升至 71.6，同时 StreamingBench Real-Time 从 80.9 提升至 81.4，证明其扩展了历史记忆且未损害实时感知。 - **PSTL 的有效性**：仅监督 27.5% 的标注状态 token，PSTL 即在三个主动响应基准上优于 100% 密集监督（CE 或 Focal）及同等稀疏比例的随机采样基线，表明其增益源于对代表性状态转换的选择，而非单纯稀疏。 - **效率优势**：在 360 秒视频样本上，PHCM 相对于保留完整视觉历史，将上下文 token 减少 93.1%，GPU 内存减少 60.4%，首 token 延迟（TTFT）从 4.560 秒降至 0.124 秒；相对于纯 FIFO 窗口仅增加约 1,272 个 token 与 0.030 秒延迟。 ### 5. 贡献与结论 OneStreamer 的核心贡献在于将**主动生成**重新定位为连接感知、记忆与响应的共享学习接口：模型在观察流式视频时，不仅学习解释当前视觉内容，还学习将观察转化为可复用的时间锚定文本记忆，并自主判断何时基于累积证据做出响应。消融与基准测试结果一致表明，这种统一设计能够在单一因果生成框架内实现高效的流式视频交互，为实时助手、可穿戴设备等应用提供了兼具感知精度、记忆深度与响应及时性的基础模型方案。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiangyu Zeng,Yuandong Yang,Zhiqiu Zhang,Yuhan Zhu,Xinhao Li,Qingyi Si,Dingyu Yao,Changlian Ma,Haoran Chen,Xinyu Chen,Yansong Shi,Junhao Zhou,Yifei Li,Jun Zhang,Chuanyu Qin,Chenxu Yang,Xinlei Yu,Kun Ouyang,Yuchen Shao,Qianshan Wei,Changhai Zhou,Jun Gao,Jiaqi Wang,Limin Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.01762.pdf

Arxiv URL: https://arxiv.org/abs/2610.01762

Arxiv ID: 2610.01762

CoolPaper URL: https://papers.cool/arxiv/2610.01762

Published: 2026-10-03T02:19:11.724Z

Updated: 2026-10-03T02:19:11.724Z

2. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

Abstract:On-policy learning has been argued to reduce catastrophic forgetting, produce sparser parameter updates, and improve generalisation. However, existing comparisons between supervised fine-tuning and reinforcement learning vary many factors simultaneously, making the contribution of rollout policy difficult to isolate. We study the effect of rollout policy in a controlled strong-to-weak distillation setting, by independently varying rollout policy, token-level KL direction, and learning rate across the Llama3 and Qwen2.5 model families and reasoning tasks spanning scientific, medical, and arithmetic domains. Our analysis reveals a nuanced picture of distillation dynamics in which rollout policy does not necessarily play a central role. Instead, token-level KL direction more clearly shapes task performance and output coverage, while learning rate governs forgetting and update sparsity. Analysis of KL gradients and experiments along a continuous student-teacher rollout-policy spectrum explain this pattern: forward KL is remarkably robust to rollout policy, with its performance stable and strong despite changes to the rollout policy, whereas reverse KL is substantially more sensitive and favours student-generated rollouts. On-policy data nevertheless improves generalisation to harder variants of the Countdown arithmetic task under both KL directions, although this advantage does not reliably persist after subsequent RLVR. Our broader conclusions remain robust to removing gradient clipping, using sampled KL estimators, and training on tasks requiring longer reasoning chains. Overall, our results challenge the view that on-policy rollouts are inherently preferable and show that their value depends critically on the objective, evaluation setting, and optimisation hyperparameters.

中文摘要

摘要：已有观点认为，策略内学习可以减少灾难性遗忘、产生更稀疏的参数更新并提升泛化能力。然而，现有关于监督微调和强化学习的比较通常同时变化多个因素，使得很难单独评估 rollout 策略的贡献。我们在一个受控的从强到弱蒸馏设置中研究了 rollout 策略的影响，通过在 Llama3 和 Qwen2.5 模型家族以及涵盖科学、医学和算术领域的推理任务中，独立地变化 rollout 策略、token 级 KL 方向和学习率。我们的分析揭示了蒸馏动态的细致图景，其中 rollout 策略不一定起中心作用。相反，token 级 KL 方向更清晰地影响任务性能和输出覆盖，而学习率则决定了遗忘和更新稀疏性。对 KL 梯度的分析以及沿连续学生-教师 rollout 策略光谱的实验解释了这一模式：前向 KL 对 rollout 策略异常稳健，其性能稳定且强劲，即使在改变 rollout 策略时也保持不变，而反向 KL 则敏感得多，更偏好由学生生成的 rollout。然而，无论 KL 方向如何，策略内数据仍能改进 Countdown 算术任务的更困难变体的泛化表现，尽管这一优势在随后 RLVR 后并不总是持续存在。我们的更广泛结论在去掉梯度裁剪、使用采样 KL 估计器以及在需要更长推理链的任务上训练时仍然稳健。总体而言，我们的结果挑战了策略内 rollout 天生优越的观点，表明其价值取决于目标、评估设置和优化超参数。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决的核心问题是：\*\*在强到弱知识蒸馏（strong-to-weak distillation）的设置中，rollout policy（即训练数据的生成策略，on-policy 或 off-policy）本身对模型训练动态的因果贡献是什么？\*\* 现有文献常将 on-policy 学习与 off-policy 学习的差异归因于 rollout policy 的不同，并声称 on-policy 训练能够： - 减少灾难性遗忘（catastrophic forgetting） - 产生更稀疏的参数更新（sparser parameter updates） - 提升泛化能力（improved generalisation）然而，这些结论大多来自对监督微调（SFT）与强化学习（RLVR）的比较。在这类比较中，\*\*目标函数、监督信号密度、优化流程和学习率\*\*等多个因素同时发生变化，导致 rollout policy 的独立效应被混淆。例如，SFT 与 RLVR 的差异不仅在于数据生成策略，还在于是否使用奖励信号、是否进行持续采样等。为了隔离 rollout policy 的纯粹效应，该论文采用强到弱蒸馏作为受控实验平台，\*\*独立地变化以下三个变量\*\*： 1. \*\*Rollout policy\*\*：on-policy（学生模型生成轨迹， rho = π_(θ)^(S) ）与 off-policy（教师模型生成固定数据， rho = π^(T) ） 2. \*\*Token-level KL 方向\*\*：前向 KL（ D_(F-KL) ）与反向 KL（ D_(R-KL) ） 3. \*\*学习率\*\*（learning rate）通过在 Llama 3 和 Qwen2.5 模型族及多个推理任务上的系统实验，论文挑战了"on-policy rollout inherently 更优"的观点，并揭示： - \*\*KL 方向\*\*（而非 rollout policy）更显著地塑造任务性能和输出覆盖度； - \*\*学习率\*\*（而非 rollout policy）主导灾难性遗忘和参数更新的稀疏性； - Rollout policy 的效应具有\*\*目标依赖性\*\*：前向 KL 对 rollout policy 的变化表现出显著鲁棒性，而反向 KL 对学生生成的 on-policy 数据更为敏感。简言之，该论文试图\*\*在严格控制的实验条件下，厘清 rollout policy 的独立因果效应，并重新评估其在蒸馏动态中的真实作用\*\*。 Q2: 有哪些相关研究？根据论文第2节及全文的引用，相关研究可归纳为以下几个主要方向： ### 1. 强到弱蒸馏（Strong-to-Weak Distillation） - \*\*知识蒸馏基础\*\*：Hinton 等人（2015）提出通过匹配输出分布进行知识转移；Kim & Rush（2016）将其拓展至序列级蒸馏。 - \*\*现代大语言模型中的强到弱蒸馏\*\*：近期研究广泛应用强教师模型向弱学生模型迁移推理能力，代表性工作包括 Abdin 等人（2024）、Xiao 等人（2026）、Yang 等人（2025a）、DeepSeek-AI 等人（2026）以及 Bai 等人（2026）。 - \*\*按 Rollout 策略区分的蒸馏方法\*\*： - \*\*Off-policy Distillation (OffPD)\*\*：如 Sanh 等人（2020）的 DistilBERT，学生基于教师生成的固定响应进行训练。 - \*\*On-policy Distillation (OnPD)\*\*：如 Agarwal 等人（2023），学生生成轨迹并在其上查询教师的 token 级监督信号。 - \*\*混合变体\*\*：Xu 等人（2024）通过混合学生与教师生成的 token 构建轨迹。 - \*\*OnPD 的变体与失效模式\*\*：Song & Zheng（2026）、Li 等人（2026b）、Armandpour 等人（2026）、Jia 等人（2026）、Li 等人（2026a）及 Zhu 等人（2026）探讨了 OnPD 的算法改进、训练不稳定性及潜在问题。 ### 2. 关于 On-Policy 后训练的优势主张近期文献将多种训练收益归因于 on-policy 学习，但论文指出这些比较往往同时改变了目标函数、奖励信号、监督密度或优化流程，导致 rollout 策略的独立效应难以识别： - \*\*减少灾难性遗忘\*\*：Shenfeld 等人（2025）、Chen 等人（2025）、Shenfeld 等人（2026）及 Lu & Lab（2025）认为 on-policy 数据有助于保留先前获得的能力。 - \*\*稀疏参数更新\*\*：Mukherjee 等人（2025）与 Yu 等人（2026）指出 on-policy 方法仅微调大语言模型中的小子网络。 - \*\*提升分布外泛化\*\*：Chu 等人（2025）、Yuan 等人（2026）、Zhang 等人（2026b）及 Ming 等人（2025）报告 on-policy 训练可改善超出训练分布的泛化性能。 - \*\*学习率与遗忘的权衡\*\*：Catalan-Tatjer & Geiping 以及 Rofin 等人（2026）的研究表明，学习率本身对学习–遗忘权衡具有强烈影响，暗示此前观察到的部分差异可能源于未控制的学习率因素。 ### 3. 后训练范式的比较与组合 - \*\*监督微调（SFT）\*\*：Guha 等人（2025）、Bai 等人（2025）通过在高质量推理轨迹上进行 SFT 提升模型能力。 - \*\*可验证奖励的强化学习（RLVR）\*\*：DeepSeek-AI（2025）、Shao 等人（2024）、Yu 等人（2025）利用 RLVR 进行推理能力的后训练。 - \*\*蒸馏与 RLVR 的交互\*\*：Zhang 等人（2026a）指出 SFT 检查点的初始性能强弱并不必然决定其作为后续 RLVR 起点的优劣，这与本文关于 on-policy 泛化优势在 RLVR 后未必持续的发现相呼应。 Q3: 论文如何解决这个问题？论文通过\*\*受控实验设计\*\*、\*\*理论梯度分析\*\*与\*\*连续谱实证检验\*\*相结合的方法，系统解耦了 rollout policy、KL 方向与学习率对蒸馏动态的独立贡献。具体解决路径如下： ### 1. 构建强到弱蒸馏的受控实验平台为隔离 rollout policy 的因果效应，论文选择强到弱蒸馏（strong-to-weak distillation）作为研究场景。在这一设置中，仅改变数据生成策略，而保持其余训练管线完全一致： - \*\*独立变化的三个因素\*\*： 1. \*\*Rollout policy\*\*：on-policy（ rho = π_(θ)^(S) ，学生生成轨迹）与 off-policy（ rho = π^(T) ，教师生成固定轨迹）； 2. \*\*Token-level KL 方向\*\*：前向 KL（ D_(F-KL) ）与反向 KL（ D_(R-KL) ），刻意打破传统配对（forward KL 与 off-policy、reverse KL 与 on-policy 的常规绑定）； 3. \*\*学习率\*\*（learning rate）： 1 × 10^(-5) 与 5 × 10^(-5) 。 - \*\*固定控制的因素\*\*：全参数微调、优化器（AdamW）、训练步数（150 步）、batch size、梯度裁剪阈值、模型族（Llama 3 与 Qwen2.5）及任务领域（MedReason、Science、Countdown）。这种设计避免了 SFT 与 RLVR 比较中常见的多变量混淆问题，使 rollout policy 的效应得以独立识别。 ### 2. 理论分析：揭示 KL 方向对 Rollout Policy 的敏感性不对称论文通过解析 token-level 梯度，从理论上解释为何 rollout policy 的效应依赖于 KL 方向。设 (z_(θ)^(S))_v 为学生 logits， π_(θ)^(S)(v) = softmax(z_(θ)^(S))_v ，则在固定前缀下的参数梯度为：

∇(θ) D(F-KL) = ∑(v ∈ V) ( π(θ)^(S)(v) - π^(T)(v) ) ∇(θ)(z(θ)^(S))_v,

∇(θ) D(R-KL) = ∑(v ∈ V) π(θ)^(S)(v) ( log π(θ)^(S)(v)π^(T)(v) - D(R-KL) ) ∇(θ)(z(θ)^(S))_v.

**前向 KL**：其对 logits 的导数为 π(θ)^(S)(v) - π^(T)(v) ，各坐标有界于 $
-1, 1
。在学生 logit Jacobian 有界的前提下，两个 rollout policy 诱导的梯度差异可被总变差距离（total-variation distance）线性控制。因此，前向 KL 对 rollout policy 的变化具有理论上的稳定性保证。 - 反向 KL：其梯度被学生概率 π(θ)^(S)(v) 加权，且包含无界的对数似然比 log
π(θ)^(S)(v)/π^(T)(v)
。即使 rollout policy 的微小变化也可能因学生支持但教师极不可能（teacher-improbable）的 token 而产生任意大的梯度更新。反向 KL 不存在仅依赖 rollout 距离与 Jacobian 有界性的分布无关稳定性界。这一不对称性为后续实证观察提供了理论预期：前向 KL 应对 rollout 来源变化鲁棒，而反向 KL 应对学生生成的 on-policy 轨迹更为敏感。 ### 3. 连续谱实证：沿学生–教师光谱系统变化 Rollout Policy 为超越简单的 on/off-policy 二分类，论文构造了一个参数化的 rollout-policy spectrum π(λ) ，通过参数 λ ∈

-2, 2
$ 在学生分布与教师分布之间连续插值与外推：
(z(λ))_v = (1) / (2)( log π^(S)(v) + log π^(T)(v) ) + (λ) / (2)( log π^(S)(v) - log π^(T)(v) ).
其中 λ = -1 对应标准 OffPD， λ = 1 对应标准 OnPD， λ = 0 为几何中点， |λ| > 1 则偏向学生或教师偏好的 token（辅以似然比裁剪与合理性掩码）。通过在此光谱上训练并评估模型，论文能够精确刻画性能随 rollout policy 连续变化的曲线，而非仅比较两个离散点。 ### 4. 多维度评估体系论文不仅关注最终的 in-distribution（ID）准确率，还构建了多维度评估框架以捕捉不同训练配置的全貌： - 任务性能：held-out ID accuracy； - 灾难性遗忘（Catastrophic Forgetting）：7 个 out-of-distribution（OOD）基准上训练前后平均性能的下降幅度； - 参数更新稀疏性（Update Sparsity）：绝对变化量低于阈值 τ = 10^(-6) 的参数比例； - 输出覆盖度（Output Coverage）：pass@1 与 pass@10 的比较，衡量模型是否探索多样化解空间； - 泛化能力：在未训练的更难任务变体（Countdown-4E）上的 zero-shot 性能； - 后续 RLVR 表现：检验蒸馏检查点作为后续强化学习起点的优劣； - 附带风格迁移：通过教师西班牙语指令实验，测量非任务相关的教师行为是否被意外复制。 ### 5. 鲁棒性验证与边界条件检验为确保结论不受特定实验设计选择主导，论文进行了一系列消融与扩展实验： - 移除梯度裁剪（gradient clipping）：验证反向 KL 的不稳定性是否由裁剪掩盖，而前向 KL 的鲁棒性是否持续成立； - 使用采样 KL 估计器（sampled KL）：替代 full-vocabulary KL，检验结论在常见内存高效设置下是否依然成立； - 长推理链任务：在 Numina–MATH（平均教师响应长度 622 tokens）上重复实验，验证结论是否适用于需要更长 rollouts 的数学推理； - 跨模型族复现：在 Qwen2.5（7B 教师蒸馏至 1.5B 学生）上复现核心发现。综上，论文通过严格的变量控制、解析梯度理论与连续谱实证的三重手段，将 rollout policy 的效应从 KL 方向与学习率中解耦出来，从而回答“何时以及为何 rollout policy 真正重要”这一问题。 Q4: 论文做了哪些实验？该论文围绕强到弱蒸馏（strong-to-weak distillation）展开了一系列受控实验，系统解耦了 rollout policy、KL 方向与学习率对训练动态的影响。具体实验可归纳如下： —- ### 1. 主实验：On-Policy 与 Off-Policy 蒸馏的受控比较（第 4 节） 实验设计 - 独立变量： - Rollout policy：OnPD（学生生成轨迹， rho = π(θ)^(S) ）与 OffPD（教师生成轨迹， rho = π^(T) ） - KL 方向：前向 KL（ D(F-KL) ）与反向 KL（ D(R-KL) ），打破传统配对 - 学习率： 1 × 10^(-5) 与 5 × 10^(-5) - 控制变量：全参数微调、150 优化步数、有效 batch size 32、梯度裁剪（范数 1.0）、固定随机种子（42, 43, 44） 模型与任务 - 模型族：Llama-3.1-8B to Llama-3.2-1B；附录中补充 Qwen2.5-7B to Qwen2.5-1.5B - 任务： - MedReason：医学多步推理 - Science：科学多选题推理 - Countdown-3：算术推理（3 个操作数） 评估指标 - 保留集（held-out）上的 ID 准确率 - 灾难性遗忘：7 个 OOD 基准（MMLU-Pro、TruthfulQA、HumanEval、IFEval、EQ-Bench、BBQ、ToxiGen）的平均性能变化 - 参数更新稀疏性：绝对变化量 < 10^(-6) 的参数比例 关键发现 - On-policy rollouts 在最终 ID 准确率、遗忘程度或更新稀疏性上无一致优势 - KL 方向更显著地决定任务准确率（前向 KL 更稳健） - 学习率主导遗忘与稀疏性（低学习率下遗忘少、更新更稀疏） —- ### 2. Rollout-Policy 光谱实验（第 5.2 节） 实验设计 为超越二元比较，构建参数化 rollout-policy spectrum π_(λ) ，通过 $λ ∈

-2, 2
$ 在学生与教师分布间连续插值：
(z_(λ))_v = (1) / (2)(log π^(S)(v) + log π^(T)(v)) + (λ) / (2)(log π^(S)(v) - log π^(T)(v))

λ = -1 ：标准 OffPD - λ = 1 ：标准 OnPD - λ < -1 ：偏向教师偏好但学生不可信的 token - λ > 1 ：偏向学生偏好但教师不可信的 token - 辅以 log-ratio 裁剪与合理性掩码（plausibility masking）防止极端放大执行 - 在 Countdown-3 上训练，分别使用前向/反向 KL，学习率 1 × 10^(-5) 与 5 × 10^(-5) 关键发现 - 前向 KL：对 λ 变化高度鲁棒，保留集准确率在整个光谱上波动仅约 5.2 个百分点；即使在 λ > 1 的高熵、低质量轨迹下仍能学习 - 反向 KL：对 rollout policy 显著敏感，教师偏向的 rollouts（ λ < 0 ）导致性能急剧下降；学生偏向的 rollouts（ λ > 0 ）表现更好 - 遗忘与稀疏性仍主要由学习率决定，rollout policy 影响甚微 —- ### 3. 输出覆盖率与泛化能力分析（第 5.3 节） 实验 A：Pass@k 覆盖率（Countdown-3） - 在 rollout-policy spectrum 上评估 pass@1 与 pass@10 - 结果：前向 KL 在相同 pass@1 下获得显著更高的 pass@10，表明更好的输出覆盖（mode-covering）；反向 KL 的覆盖率增益较小 实验 B：向更难任务的泛化（Countdown-4E） - 使用 Countdown-3 上训练的检查点，zero-shot 测试到 Countdown-4E（4 个操作数，温度 0.5，搜索空间更大） - 结果：在两种 KL 方向下，更偏向 on-policy 的 rollouts（ λ > 0 ）均带来 10–15% 的 pass@k 提升；这是首个 rollout policy 产生显著且一致优势的设定 实验 C：后续 RLVR 表现 - 将 Countdown-3 蒸馏检查点作为起点，继续在 Countdown-4 上进行 300 步 GRPO（DAPO 损失，无参考模型 KL） - 结果：反向 KL + OnPD 检查点初期提升快，但随后出现奖励崩溃；前向 KL + OffPD 检查点尽管初始准确率接近 0%，却稳步提升并最终达到最高性能 - 结论：On-policy 的初始泛化优势在后续 RLVR 后未能可靠保持 实验 D：附带教师风格迁移（附录 A.11） - 在 Science 任务上，将受西班牙语指令约束的教师蒸馏给学生 - 结果：反向 KL + OnPD 大幅抑制了西班牙语风格的意外迁移（风格迁移率接近 0%），而其余配置几乎完全迁移到西班牙语 - 解释：反向 KL 的 mode-seeking 特性使学生无需覆盖教师分布中的非任务相关模式 —- ### 4. 实验设计选择的消融与鲁棒性检验（第 6 节及附录） 实验 A：移除梯度裁剪（附录 A.1） - 在 Countdown-3 上重复学习率扫描（ 1 × 10^(-5) 至 5 × 10^(-5) ），关闭全局梯度裁剪 - 结果：前向 KL 在更大学习率下依然有效；反向 KL 训练严重恶化，验证了其梯度包含无界对数似然比、依赖裁剪稳定化 - 遗忘与稀疏性仍由学习率主导 实验 B：采样 KL 估计器（附录 A.2） - 将 full-vocabulary KL 替换为单样本随机估计器： - 前向 KL：从教师采样 token 估计梯度 - 反向 KL：从学生采样 token，使用 score-function 估计器 - 结果：定性结论不变——前向 KL 对 rollout policy 鲁棒，反向 KL 敏感，学习率决定遗忘与稀疏性 实验 C：长推理链任务（附录 A.3） - 在 Numina–MATH（教师平均响应 622 tokens）上，以 Qwen2.5-Math-1.5B 为教师蒸馏到 Qwen2.5-1.5B，训练 1000 步 - 结果： - 反向 KL + OnPD 在 MATH-500 上达到最高峰值准确率（59.0%），提示长程推理中 on-policy 数据可能更有助益 - 然而，前向 KL 仍比反向 KL 更稳健；学习率仍是遗忘与稀疏性的最强预测因子 实验 D：生成温度消融（附录 A.12） - 在 MedReason 上交换 OnPD（学生）与 OffPD（教师）的采样温度（OnPD 用 0.5，OffPD 用 1.0），保持 KL 计算温度不变 - 结果：最优性能不受生成温度交换的显著影响，排除了温度差异对主结论的解释 —- ### 5. 辅助分析与诊断性实验（附录） - 学习与遗忘曲线（附录 A.8）：追踪 150 步训练过程中 ID 准确率与 OOD 平均性能的变化，显示多数遗忘发生在前 50 步 - 逐基准 OOD 分析（附录 A.6）：分解 7 个 OOD 数据集上的性能变化，证实学习率效应远大于 rollout policy - 似然动态分析（附录 A.9 与 A.10）：监测训练过程中学生与教师对生成轨迹的 token 似然，发现前向 KL + OnPD 可能出现高熵轨迹与低 KL 并存的现象（由交叉熵与教师熵相互抵消导致） - 稀疏性阈值敏感性（附录 A.7）：使用更严格阈值 τ = 10^(-8) 重新计算，结论不变 - Qwen2.5 复现（附录 A.5）：在 Qwen 模型族上复现主实验与光谱实验，确认前向 KL 的鲁棒性与反向 KL 的敏感性跨模型族成立 —- ### 实验总结表 | 实验类别 | 核心操作 | 主要结论 | |—-|—-|—-| | 主实验 | 独立变化 rollout、KL 方向、学习率 | 学习率主导遗忘/稀疏性；KL 方向主导性能；rollout 无一致优势 | | 光谱实验 | 连续变化 $λ ∈

-2, 2
| 前向 KL 对 rollout 极鲁棒；反向 KL 偏好学生 rollouts | | 覆盖率/泛化 | pass@k、Countdown-4E、后续 RLVR | On-policy 改善更难任务泛化，但优势在 RLVR 后不持续 | | 风格迁移 | 教师强制西班牙语推理 | OnPD + 反向 KL 抑制非目标风格迁移 | | 无梯度裁剪 | 关闭裁剪，扫描学习率 | 反向 KL 崩溃，前向 KL 稳健；学习率仍主导遗忘 | | 采样 KL | 单样本估计器替代全词表 KL | 主结论不变 | | 长 rollouts | Numina–MATH（622 tokens） | OnPD + 反向 KL 表现最佳，但学习率仍控制遗忘/稀疏性 | | 温度消融 | 交换生成温度 | 最优性能不受温度交换影响 | Q5: 有什么可以进一步探索的点？基于论文的发现与明确指出的局限性，以下方向值得进一步探索： —- ### 1. 扩展至更大模型与更长推理链论文的实验受限于学生模型规模（最大 1.5B 参数）及任务长度（最长约 2,000 tokens）。尽管在长 rollouts 的数学推理（Numina–MATH，平均 622 tokens）上进行了初步验证，但该设置仅包含每个条件单次运行。未来工作应系统性地将分析扩展至： - 更大参数规模的模型（如 7B–70B）； - 需要数千 tokens 的长链推理任务（如形式化数学证明或复杂代码生成），以检验 rollout policy 的效应是否在更长轨迹上被放大或呈现新的动态。 —- ### 2. 动态与自适应的 Rollout-Policy 调度论文中所有实验采用固定的 rollout policy（或固定的光谱参数 λ ）。鉴于以下观察： - 前向 KL 对 rollout 来源具有显著鲁棒性； - 反向 KL 在学生生成轨迹上表现更优； - 前向 KL 提供更佳的输出覆盖度（pass@k），而 on-policy 数据改善向更难任务的泛化；一个自然的延伸是设计动态的 rollout-policy 调度策略。例如： - 训练初期使用 off-policy 数据以稳定学习，后期逐步过渡至 on-policy 数据以提升泛化； - 根据当前学生–教师分布重叠度（如 KL 散度或熵指标）自适应调整 λ ，在 mode-covering 与 mode-seeking 行为之间取得平衡。 —- ### 3. 目标函数的重新设计与插值论文揭示了前向 KL 与反向 KL 的互补特性： - 前向 KL 稳健、覆盖性好，但可能附带迁移非目标教师行为； - 反向 KL 敏感、易不稳定，但可抑制风格迁移并在特定条件下改善泛化。未来研究可探索： - 混合 KL 目标：如 α -散度或 Jensen-Shannon 散度，通过单一超参数连续插值于 mode-covering 与 mode-seeking 之间； - 前缀级自适应 KL 方向：对高不确定性前缀使用前向 KL 以鼓励探索，对低不确定性前缀使用反向 KL 以精炼已有模式； - 结合 GFlowNet 或 Distributional RL 思想，直接优化多样化且高奖励的响应分布，而非仅仅匹配教师点估计。 —- ### 4. 蒸馏与 RLVR 的多阶段管线优化论文发现，尽管 on-policy 蒸馏在 zero-shot 泛化到更难任务（Countdown-4E）上表现出优势，但这一优势在后续 RLVR 阶段未能可靠持续。部分 off-policy 检查点（如前向 KL + OffPD）尽管初始泛化准确率接近 0%，却在 RLVR 后达到最终最高性能。这提示需要系统性研究： - 何种蒸馏配置能提供最优的 RLVR 初始化？初始准确率、输出覆盖度、参数更新稀疏性与隐式先验之间的权衡关系为何？ - 是否应刻意训练一个“为 RLVR 做准备”的初始化点，而非仅仅优化蒸馏阶段的即时性能？ - 多阶段训练中的遗忘与能力保持：如何在蒸馏与 RLVR 的交接界面最小化对先前能力的侵蚀。 —- ### 5. 学生–教师组合与能力重叠的深入分析论文指出，同一家族内的模型可能因 tokenizer 共享而存在能力重叠，这会限制知识迁移的幅度。所有实验采用冻结的教师模型。未来可探索： - 不同规模差距（如 70B to 7B）或跨族蒸馏（不同架构/tokenizer）是否改变 rollout policy 的相对重要性； - 教师模型本身在蒸馏过程中在线更新（如师生共训练或 EMA 教师）是否会消除或反转现有结论； - 学生与教师的能力重叠程度如何调节 on-policy 与 off-policy 的优劣。 —- ### 6. Reverse KL 不稳定性的精细化诊断与干预理论分析表明，反向 KL 的敏感性源于学生支持但教师极不可能的 token 导致的无界对数似然比。可进一步： - 在训练过程中实时监测这些极端似然比出现的前缀位置与频率，建立不稳定性早期预警指标； - 设计局部正则化技术（如教师分布平滑、基于似然比裁剪的改进目标函数），在不依赖全局梯度裁剪的前提下稳定反向 KL 训练； - 验证 Corollary C.3 的预测：在受控似然比范围内，反向 KL 的 rollout 稳定性是否可恢复。 —- ### 7. 计算成本与性能权衡的系统化分析 On-policy 方法需要持续生成训练数据，计算成本显著高于 off-policy。论文结论表明，在许多设定下 off-policy 蒸馏配合前向 KL 与学习率调优即可达到相当甚至更佳的最终性能（尤其在后续 RLVR 场景）。未来工作应建立： - 帕累托前沿分析：在不同计算预算（FLOPs、wall-clock time）下，on-policy 与 off-policy 的性能–成本权衡曲线； - 样本效率：在固定生成预算下，何种数据混合比例（on-policy vs. off-policy）最优； - 为工业实践提供明确的决策边界：何时 on-policy 的额外开销物有所值，何时应优先选择 off-policy 方案。 —- ### 8. 遗忘机制与参数更新稀疏性的解耦论文发现学习率是遗忘与稀疏性的主导因素，但这一关系在不同架构或优化器（如 Sophia、Adafactor、符号梯度下降）下是否普适仍未知。可探索： - 遗忘与稀疏性是否总是耦合？是否存在高稀疏性但严重遗忘，或低稀疏性但良好保持的解耦区域？ - 参数更新的方向性（而不仅是稀疏性）如何影响先前能力：OnPD 与 OffPD 的更新是否发生在参数空间的不同子流形上？ - 结合 机制可解释性 方法，定位与特定能力相关的参数子集，检验 on-policy 与 off-policy 更新在这些子集上的差异性。 Q6: 总结一下论文的主要内容这篇论文系统研究了强到弱知识蒸馏（strong-to-weak distillation）中 rollout policy（on-policy 与 off-policy）对训练动态的真实因果效应，挑战了“on-policy rollout inherently 更优”的既有观点。 ### 研究背景与核心问题现有文献常将 on-policy 后训练（如 RLVR）的多种优势——包括减少灾难性遗忘、产生稀疏参数更新、提升泛化能力——归因于 rollout policy 本身。然而，这些比较往往同时改变了目标函数、监督密度、优化流程与学习率，导致 rollout policy 的独立贡献难以识别。论文旨在回答：在控制其他因素后，rollout policy 本身是否以及如何影响蒸馏性能？ ### 核心方法论文采用强到弱蒸馏作为受控实验平台，独立地变化三个关键变量： - Rollout policy：OnPD（学生生成轨迹， rho = π(θ)^(S) ）与 OffPD（教师生成轨迹， rho = π^(T) ） - Token-level KL 方向：前向 KL（ D(F-KL) ）与反向 KL（ D_(R-KL) ），刻意打破传统的 OffPD↔F-KL、OnPD↔R-KL 配对 - 学习率（learning rate）： 1 × 10^(-5) 与 5 × 10^(-5) 实验覆盖 Llama 3（8B to 1B）与 Qwen2.5（7B to 1.5B）模型族，以及 MedReason、Science、Countdown 等推理任务。 ### 主要发现 #### 1. Rollout policy 无一致优势在最终 in-distribution 准确率、灾难性遗忘（7 项 OOD 基准）以及参数更新稀疏性上，on-policy 与 off-policy 之间未观察到一致的显著差异。相反： - KL 方向更清晰地决定任务性能：前向 KL 在不同 rollout 下均稳定达到 71–73% 准确率，反向 KL 则对学习率敏感，波动于 35–72%。 - 学习率是遗忘与稀疏性的主导因素：低学习率（ 1 × 10^(-5) ）下遗忘幅度小（OOD 性能下降 ≤ 1.3%）、更新稀疏性高（85–90%）；高学习率（ 5 × 10^(-5)$）下遗忘严重（11–14%）、更新密集（52–60%）。 #### 2. KL 方向的非对称敏感性（理论+实证）通过解析 token-level 梯度，论文揭示了前向与反向 KL 对 rollout policy 的敏感性存在根本不对称性：

∇(θ) D(F-KL) = ∑(v) ( π(θ)^(S)(v) - π^(T)(v) ) ∇(θ)(z(θ)^(S))_v

∇(θ) D(R-KL) = ∑(v) π(θ)^(S)(v) ( log π(θ)^(S)(v)π^(T)(v) - D(R-KL) ) ∇(θ)(z(θ)^(S))_v

**前向 KL**：logit 梯度坐标有界于 $
-1, 1
，其更新差异可被 rollout 分布的总变差距离线性控制，因此对 rollout policy 变化高度鲁棒。 - 反向 KL：包含无界对数似然比 log
π(θ)^(S)(v)/π^(T)(v)
，即使 rollout 的微小变化也可能因学生支持而教师极不可能的 token 产生任意大梯度，不存在分布无关的稳定性界。为验证此不对称性，论文构造了 rollout-policy spectrum π(λ) （ λ ∈
-2, 2
），在学生与教师分布间连续插值。实证结果显示：前向 KL 在整个光谱上准确率波动仅约 5%，而反向 KL 性能随 λ 大幅变化，且在教师偏向的 rollouts 上显著恶化。 #### 3. On-policy 数据的真正价值所在尽管 rollout policy 对最终准确率、遗忘和稀疏性的影响有限，论文发现其于特定场景下仍有明确价值： - 泛化到更难任务：在 Countdown-3 to Countdown-4E 的 zero-shot 迁移中，更偏向 on-policy 的 rollouts（ λ > 0 ）在两种 KL 方向下均带来 10–15% 的 pass@k 提升。这是 on-policy 数据产生显著且一致优势的首个设定。 - 输出覆盖度：前向 KL 产生更大的 pass@k 增益（相比反向 KL），表明 mode-covering 行为主要由 KL 方向决定。 - 抑制附带风格迁移：当教师被指令用西班牙语推理时，OnPD + 反向 KL 几乎完全阻止了西班牙语风格的意外迁移（迁移率 ≈$ 0%），而其余配置接近 100%。这源于反向 KL 的 mode-seeking 特性无需覆盖教师分布中的非目标模式。 #### 4. 对后续 RLVR 的启示论文检验了蒸馏检查点作为后续 RLVR 起点的质量。发现： - OnPD + 反向 KL 检查点在 RLVR 初期进步快，但随后经历奖励崩溃。 - OffPD + 前向 KL（低学习率）或 OffPD + 反向 KL（高学习率）检查点虽初始准确率接近 0%，却稳步提升至最终最高性能。 - 因此，on-policy 的初始泛化优势并不保证其作为 RLVR 起点的优越性。 ### 鲁棒性验证论文通过系列消融实验确认结论的普适性： - 移除梯度裁剪：反向 KL 训练崩溃，前向 KL 依然稳健；学习率仍主导遗忘与稀疏性。 - 采样 KL 估计器（替代 full-vocabulary KL）：主结论定性不变。 - 长推理链任务（Numina–MATH，平均 622 tokens）：OnPD + 反向 KL 达到最高 MATH-500 峰值性能，但学习率仍是遗忘/稀疏性的最强预测因子，前向 KL 仍更稳健。 - 跨模型族复现（Qwen2.5）：核心不对称性与学习率效应得到验证。 ### 结论论文挑战了 on-policy rollouts 在强到弱蒸馏中 universally preferable 的观点，揭示了一个更为细致的训练动态图景： - Token-level KL 方向 是决定任务性能、训练稳定性与输出覆盖度的核心因素； - 学习率 是决定灾难性遗忘程度与参数更新稀疏性的核心因素； - Rollout policy 的效应具有显著的目标依赖性：前向 KL 对其极度鲁棒，反向 KL 则对学生生成的 on-policy 数据更为敏感； - On-policy 数据的价值主要体现在对更难任务的泛化与抑制附带教师行为迁移，而非普遍的准确率或稳定性提升。这些发现提示从业者：在权衡 on-policy 蒸馏的额外计算成本时，应优先考虑 KL 方向与学习率的调优，而非默认 on-policy 的固有优越性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Julianna Piskorz,Antonin Berthon,Mihaela van der Schaar

Categories:

PDF URL: https://arxiv.org/pdf/2609.35259.pdf

Arxiv URL: https://arxiv.org/abs/2609.35259

Arxiv ID: 2609.35259

CoolPaper URL: https://papers.cool/arxiv/2609.35259

Published: 2026-10-03T02:19:11.730Z

Updated: 2026-10-03T02:19:11.730Z

3. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL

Abstract:Multi-reward guided reinforcement learning (i.e., RL) offers a promising way to improve joint audio-video diffusion models along several complementary objectives, including modality-specific quality, cross-modal semantic alignment, and temporal synchronization. Its effectiveness, however, depends on two quantities that change during training: where reward-driven updates should act, and how competing rewards should be combined. Existing methods tend to rely on fixed routing and reward weights, failing to track evolving model functions. To address these limitations, we propose Adaptive Reward Routing to jointly adapt update locations and reward coordination during forward-process RL (i.e., DiffusionNFT) of joint audio-video diffusion models. Our method consists of two components. (i) Cross-Modal Influence-Guided Routing (Localizing Updates): We use bidirectional cross-attention responses as an efficient proxy for evolving cross-modal influence, dynamically reweighting token-aware losses and scaling gradients across cross-modal layers without additional model interventions. (ii) Preference-Preserving Modality-Aware Reweighting (Coordinating Rewards): We preserve predefined weights as preference priors and use branch-specific reward-gradient interactions as residual corrections after warm-up. This resolves evolving conflicts without letting dominant rewards suppress weak but essential objectives. Extensive experiments demonstrate consistent improvements in modality quality, semantic consistency, and audio-video synchronization over strong RL baselines. Ablations and mechanism analyses further validate the complementary benefits of adaptive update routing and reward coordination.

中文摘要

摘要：多奖励引导的强化学习（即 RL）为在多种互补目标下提升联合音视频扩散模型提供了有前景的方法，包括模态特定质量、跨模态语义对齐和时间同步。然而，其有效性取决于训练过程中变化的两个量：奖励驱动的更新应作用于何处，以及竞争性奖励应如何组合。现有方法往往依赖固定的路由和奖励权重，无法跟踪模型功能的演变。为了解决这些限制，我们提出了自适应奖励路由，在联合音视频扩散模型的前向过程 RL（即 DiffusionNFT）中联合调整更新位置和奖励协调。我们的方法包含两个组成部分。(i) 跨模态影响引导路由（定位更新）：我们使用双向跨注意力响应作为不断演变的跨模态影响的有效代理，动态重新加权基于 token 的损失，并在跨模态层中缩放梯度，无需额外的模型干预。(ii) 偏好保留的模态感知重新加权（协调奖励）：我们保留预定义的权重作为偏好先验，并在预热后使用分支特定的奖励-梯度交互作为残差修正。这解决了演变中的冲突，同时避免了强势奖励压制弱但关键的目标。大量实验结果显示，在模态质量、语义一致性和音视频同步方面，相较于强 RL 基线方法我们的方法实现了持续改进。消融实验和机制分析进一步验证了自适应更新路由与奖励协调的互补优势。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*联合音视频扩散模型在前向过程强化学习（DiffusionNFT）中的动态多奖励优化问题\*\*，具体而言，即如何在训练过程中同时适应\*\*更新位置（where to optimize）\*\*与\*\*奖励协调（how to balance）\*\*这两个耦合且演化的维度。 ### 核心挑战随着模型在微调过程中不断演化，其跨模态功能与梯度流持续变化，现有方法依赖固定策略，导致优化逐渐失效。论文将这一问题分解为两个相互关联的子问题： - \*\*动态奖励路由（Dynamic Reward Routing）——更新应作用于何处\*\* 联合音视频模型通常包含通过双向交叉注意力耦合的模态特定分支（视频分支与音频分支）。奖励驱动的梯度更新需要被精准定位到对目标模态或跨模态同步真正关键的 token 与层。然而，现有方法（如 OmniNFT）基于基础模型的静态分析固定层路由，忽略了交叉模态影响在训练过程中的动态迁移，导致路由策略逐渐过时。 - \*\*动态奖励协调（Dynamic Reward Coordination）——竞争奖励如何平衡\*\* 不同奖励信号（如视觉质量、音频质量、文本-音频对齐、音视频同步等）常在相同样本上存在冲突，且其冲突模式与相对重要性在优化轨迹中持续变化。固定权重（如 GDPO）无法响应这些冲突；而仅依赖梯度几何的自适应方法（如 MARBLE）虽能调整冲突，却可能因早期梯度噪声或兼容性差异而压制那些梯度较弱但对用户至关重要的目标。 ### 解决思路为应对上述局限，论文提出 \*\*Adaptive Reward Routing\*\*，通过以下两个组件实现联合适应： 1. \*\*Cross-Modal Influence-Guided Routing\*\*：以双向交叉注意力响应作为模型当前跨模态影响的高效代理，动态生成 token 级损失权重与层级的梯度缩放系数，从而在无需额外模型干预的情况下，将更新引导至当前最具影响力的位置。 2. \*\*Preference-Preserving Modality-Aware Reweighting\*\*：将预定义的用户偏好权重作为先验，仅在预热后引入基于分支内奖励-梯度交互的残差修正，以在适应演化冲突的同时，防止主导奖励压制必要但较弱的优化目标。综上，该工作旨在构建一个与模型共同演化的后训练框架，使多奖励优化中的信用分配（credit assignment）既能精准定位到动态变化的跨模态结构，又能保持与用户偏好一致的奖励平衡。 Q2: 有哪些相关研究？与这项工作相关的研究主要集中在以下四个方向： ## 1. 联合音视频生成（Joint Audio-Video Generation）该领域的进展为理解多模态耦合结构提供了基础，也是奖励路由问题提出的前提。 - \*\*视频生成基础模型\*\*：早期工作将图像扩散模型扩展至视频领域，通过添加时间模块实现时序建模（如 Blattmann et al., 2023；Guo et al., 2024）。后续发展出大规模扩散 Transformer（Kong et al., 2024），并结合流匹配（Flow Matching）（Wan et al., 2025；HaCohen et al., 2024）与压缩潜变量技术（Yang et al., 2026b）提升效率。 - \*\*联合建模架构\*\*： - \*\*跨模态投影连接专家\*\*：Universe-1（Wang et al., 2025）通过跨模态投影层连接预训练的音频与视频专家模型。 - \*\*统一扩散 Transformer\*\*：JavisDiT 与 JavisDiT++（Liu et al., 2026c;d）采用单一流 Transformer 联合建模音视频。 - \*\*双向交叉注意力耦合独立流\*\*：LTX-2（HaCohen et al., 2026）采用独立的视频流与音频流，通过双向交叉注意力（Audio-to-Video 与 Video-to-Audio）进行信息交换。该架构使得模态特定分支与跨模态交互并存，直接引出了“更新应作用于何处”的路由问题。 ## 2. 扩散模型的强化学习（Reinforcement Learning for Diffusion Models）这类方法提供了多奖励优化的算法框架，是该工作的直接技术上下文。 - \*\*GRPO（Group Relative Policy Optimization）\*\*：Guo et al. (2025) 提出无需学习额外 Critic 网络，仅通过组内样本的相对奖励估计优势函数。 - \*\*基于流的在线优化扩展\*\*：Flow-GRPO（Liu et al., 2026a）将 GRPO 扩展至流匹配生成模型；DanceGRPO（Xue et al., 2025）进一步将其应用于视觉生成任务。 - \*\*前向过程优化\*\*： - DiffusionNFT（Zheng et al., 2025）通过构建隐式正负策略 v^+_θ 与 v^-_θ 直接优化扩散前向过程，避免了反向过程似然估计的不稳定性。 - OmniNFT（Zhang et al., 2026）在 DiffusionNFT 基础上引入了模态级信用分配与层梯度手术，但其路由策略基于基础模型静态固定，无法适应微调过程中跨模态功能与梯度流的演化。 ## 3. 多奖励优化（Multi-Reward Optimization） Q3: 论文如何解决这个问题？论文通过提出 \*\*Adaptive Reward Routing\*\* 框架来解决联合音视频扩散模型在前向过程强化学习中的动态多奖励优化问题。该方法在 DiffusionNFT 的基础上，同时适应\*\*更新位置\*\*与\*\*奖励协调\*\*两个维度，其核心由以下两个互补组件构成： --- ### 1. 整体优化流程如 Algorithm 1 与公式 (5) 所示，完整优化流程包含四个自适应层级：

Ak reward reweighting (Sec. 4.3) ω(m,k)Ak branch routing (Sec. 4.3) (A_v, A_a) token routing (Sec. 4.2) L layer routing (Sec. 4.2) ∇θ L
即：先对多个奖励进行重加权，再将其分配至视频/音频分支，接着在 token 级别决定损失权重，最后在层级别控制跨模态梯度流，再反向传播更新参数。 —- ### 2. Cross-Modal Influence-Guided Routing（定位更新位置）该组件解决“在哪里优化”的问题，避免使用基础模型固定的静态路由，而是基于**当前模型状态**的双向交叉注意力响应动态计算。 #### 2.1 代理度量：预门控交叉注意力响应对于目标 token i ，论文使用前向传播中已产生的、门控前的交叉注意力输出范数作为跨模态影响代理：

d(l,t)^(v,i) = |o(l,t)^(ato v,i)|2, quad d(l,t)^(a,i) = |o_(l,t)^(vto a,i)|_2
这些响应在采样过程中收集，与优化过程分离（detached），无需额外模型评估。 #### 2.2 Token-Level Routing 对每个 token，将其在选定时间步与交叉注意力块中的响应取平均，经百分位裁剪的 min–max 归一化后，转换为正的损失权重：

λ(m,i) = 1 + (λ(max)-1)· Norm(99)!((1) / (|B||T|)∑(l∈ B)∑(t∈ T) d(l,t)^(m,i))
其中视频响应在每帧内归一化，音频响应全局归一化。该权重直接应用于 token 级损失，使跨模态影响更强的 token 获得更大优化压力。 #### 2.3 Layer-Level Routing 对每个层，将响应在 token 与时间步上平均，得到层得分 δ_m^l 并归一化，再转换为软分离系数：

αm^l = (1-δ_m^l)^(1/τ)
对于源端的 Key 或 Value 张量 X ∈ K,V ，路由后的表示为：
X(l,t)^(m)to m = αm^l · sg(X(l,t)^(m)) + (1-αm^l)· X(l,t)^(m)
该操作保持前向值不变，但反向传播时梯度按 1-αm^l 缩放。跨模态影响显著的层保留更多梯度，影响微弱的层则被逐步分离，从而动态保存梯度流经当前真正重要的交叉模态路径。 —- ### 3. Preference-Preserving Modality-Aware Reweighting（协调奖励）该组件解决“如何平衡多个奖励”的问题，在保留用户先验偏好的同时，适应不断变化的奖励冲突。 #### 3.1 动机与核心思想固定权重无法适应冲突；纯梯度几何方法（如 MARBLE）虽能处理冲突，但可能因早期梯度噪声压制弱目标。论文将预定义权重 ω(prior) 作为**偏好先验**，在预热期后引入基于分支内奖励-梯度交互的**残差修正**。 #### 3.2 实现细节每个奖励仅通过其负责的分支探测梯度：视频奖励与跨模态奖励的视频分支部分使用视频分支，音频部分使用音频分支。探测时禁用 token 路由以避免偏差。在分支内求解 MARBLE 问题，得到冲突感知系数 γ_(m,k) ，经指数移动平均平滑为 γ_m 。预热期后的最终权重为：

ω(m,k) = ω(m,k)^(prior), & e < e(warm) 6pt,ω(m,k)^(prior) + kappa, Cm γ(m,k), & e ≥ e_(warm)
其中 C_m 用于保持分支内总先验权重不变。这样，预定义偏好提供非零下界，残差项根据当前冲突动态调整，防止主导奖励抑制必要但较弱的优化目标。 —- ### 4. 训练目标自适应权重首先为每个模态分支构造聚合优势：

Am^((n)) = ∑(k∈ Km ∪ K_c) ω(m,k) Ak^((n)), quad m∈v,a
并映射为最优性概率 r_m^((n)) = r(A_m^((n))) 。对样本 n 的 token i ，负感知损失为：
ell(m,i)^((n)) = rm^((n))|v(θ,m,i)^+ - u(m,i)|_2^2w(m)^(+,(n))+varepsilon + (1-rm^((n)))|v(θ,m,i)^- - u(m,i)|_2^2w(m)^(-,(n))+varepsilon
结合 token 路由权重，模态级策略损失为：
Lm^(policy) = E_n[∑(i∈ Im) λ(m,i)^((n)) ell(m,i)^((n))∑(i∈ Im) λ(m,i)^((n))]
最终总目标包含 KL 正则化：
L(θ) = ∑(m∈M) L_m^(policy) + λ(KL) ∑(m∈M) L(KL),m(θ)
—- ### 5. 关键机制总结 | 维度 | 传统方法局限 | 论文解决方案 | |———|——————-|——————-| | **更新位置** | 基于基础模型固定层路由，无法追踪演化 | 以当前交叉注意力响应为代理，动态计算 token 权重与层梯度缩放 | | **奖励协调** | 固定权重无法处理冲突；纯梯度方法压制弱目标 | 预定义偏好为残差修正提供锚点，分支内冲突感知系数动态适应 | 通过上述设计，Adaptive Reward Routing 使奖励驱动的更新能够随模型跨模态功能的演进而动态重定位，同时保持多目标间的平衡与用户偏好一致。 Q4: 论文做了哪些实验？论文在 **Section 5** 中开展了一系列实验，涵盖基准对比、训练动态分析、受控消融与机制验证四个层面，具体包括： —- ### 1. 实验设置 **模型与数据** - **骨干网络**：选用两种规模的联合音视频扩散模型 **LTX-2 (19B)** 与 **LTX-2.3 (22B)**，二者均采用独立的视频/音频流并通过双向交叉注意力耦合。 - **训练数据**：使用从 VGGSound 派生语料库收集的 **19,487** 条音频-视频提示，每条包含模态特定描述与联合提示。 **奖励模型** 共引入五个互补的奖励信号，覆盖三个维度： - **视频质量**：VideoAlign、HPSv3 - **音频质量**：AudioBox Aesthetics - **文本-音频对齐**：CLAP - **音视频同步**：DeSync（训练时转换为越高越好的 AV-DeSync，评估时仍报告原始越低越好的 DeSync） **对比基线** - **无后训练**：预训练 Base Model - **固定奖励协调**：GDPO（独立归一化奖励优势后以固定权重聚合） - **冲突感知奖励协调**：MARBLE（基于全局梯度冲突动态调整权重，无模态特定路由） - **静态多模态路由**：OmniNFT（为 DiffusionNFT 设计的模态级信用分配与层梯度手术，但路由基于基础模型固定）；另包含原作者发布的检查点 **OmniNFT\*** **评估基准与指标** 在 **JavisBench**（10,140 条提示）上评估，输出标准化为 4 秒、24 FPS、16-kHz 音频。报告指标分为四组： - **AV-Quality**：VQ↑、AQ↑ - **Text-Consistency**：TV-IB↑、TA-IB↑、CLIP↑、CLAP↑ - **AV-Consistency**：AV-IB↑、AVHScore↑ - **AV-Synchrony**：JavisScore↑、DeSync↓ —- ### 2. 主要结果与训练动态 **定性结果（图 3）** 在包括多语言新闻播报、风格化角色讲话、双人对话与动物吠叫等场景下，与 LTX-2 和 OmniNFT 相比，所提方法在时序帧中更好地保持了主体身份、场景构成与视觉动作一致性，减少了身份与外观漂移。 **定量结果（表 1）** - 在 **LTX-2** 与 **LTX-2.3** 两个骨干上，所提方法在 10 项指标中的 **9 项** 取得最优均值。 - **GDPO** 虽提升视觉质量，但导致若干音频与同步指标下降，暴露了固定权重聚合的失衡问题。 - **MARBLE** 通过全局梯度冲突缓解部分问题；**OmniNFT** 引入模态感知优化，但二者均未同时适应奖励协调与更新路由的动态变化。 - 所提方法在模态质量、语义一致性、跨模态一致性与同步性上均取得稳定提升，且趋势跨骨干一致。 **训练动态（图 4a）** 追踪五个独立奖励（AudioBox、AV-DeSync、CLAP、HPSv3、VideoAlign）及其算术平均的训练轨迹： - 所提方法达到最高的平均奖励，同时在音频、视频与同步目标上保持均衡进展。 - 基线方法往往以牺牲部分目标为代价换取其他目标的提升，而所提方法实现了协调的多目标优化。 —- ### 3. 消融研究（表 2 与图 4b）实验从两个正交链条逐步添加组件，以隔离各设计的贡献。 **Cross-Modal Influence-Guided Routing 消融** 以 GDPO 为起点，逐步叠加： - **Token Weighting**：基于交叉注意力响应为每个 token 赋予动态损失权重，改善局部信用分配。 - **Layer Scale**：基于层间响应范数对跨模态 K/V 路径进行软分离/保留，改善跨模态一致性与同步。 - **Token + Layer（完整路由）**：两者结合取得路由单独配置下的最强性能，验证 token 级与层级适应具有互补性。 **Preference-Preserving Reward Coordination 消融** 从 MARBLE 基线出发，隔离权重协调组件（不继承路由栈）： - **Branch-Aware Balancing**：将奖励交互限制在其负责的模态分支内估计。 - **Residual Mixing**：以预定义偏好为先验，将梯度几何系数作为残差修正而非完全替代。 - **Warm-Up**：在预热期后启动动态重加权，待梯度关系稳定后再引入适应，进一步提升稳定性。 - **完整权重设计**：三者结合显著改善整体指标。 **互补性与权衡分析** 中间配置未必在每项指标上单调提升，但逐步结合路由与权重后，在质量、语义一致性与同步性之间实现了更强的整体平衡。图 4b 显示：完整方法显著优于仅添加路由或仅添加权重的中间变体，证明自适应更新定位与偏好保留的奖励协调解决了不同但互补的失效模式。 —- ### 4. 验证 Cross-Modal Influence 代理（图 5）为验证预门控交叉注意力响应是否真正识别功能上重要的跨模态路径，论文在四个训练检查点上进行了直接干预实验（逐个禁用 48 个 A2V 或 V2A 块）： **(a) 层级别保真度** 代理得分与直接干预导致的最终预测变化排名高度一致： - A2V 路径的 Spearman 相关系数为 **0.98** - V2A 路径的 Spearman 相关系数为 **0.97** **(b) 动态追踪** - 基于**当前模型**重新计算的代理在微调全程保持 **0.96** 以上的相关性。 - 基于**初始化时固定**的代理随训练进行分别降至 **0.56**（A2V）与 **0.38**（V2A），证明静态路由会逐渐过时。 **(c) 高分 Token 的功能重要性** 阻断得分最高的 10% 目标 token 的交叉模态响应，对最终预测的改变是阻断同等大小随机组的： - **1.62×**（A2V） - **1.74×**（V2A）这直接表明代理得分更高的 token 确实具有更大的功能影响力，验证了 token 级路由的有效性。 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与方法设计，可进一步探索的方向包括： —- ### 1. 统一的多维音视频奖励模型当前方法依赖五个独立的奖励信号分别衡量模态质量、语义一致性与时间同步性。论文指出，尚无单一奖励能同时捕捉这些异构维度。未来的工作可致力于： - 设计**端到端的联合音视频奖励模型**，将视觉质量、音频质量、跨模态对齐与时序同步整合为统一的标量或向量反馈。 - 引入**人类偏好模型**（如 VA-Judger）作为整体质量信号，与细粒度模态特定奖励形成互补，而非替代关系。 - 探索**分层奖励结构**：在样本级、帧级与事件级同时提供反馈，以支持更精细的信用分配。 —- ### 2. 向其他强化学习与扩散范式的扩展论文基于 DiffusionNFT 的前向过程公式推导路由与重加权机制，但其核心思想并不局限于该框架： - **前向过程 RL 的迁移**：将自适应路由扩展至基于 **GRPO**、**Flow-GRPO** 或 **DanceGRPO** 的优化流程中。这要求把 token 级损失权重与跨模态梯度路径的缩放机制适配到这些算法对应的损失函数上。 - **反向过程与似然基方法**：探索在需要反向过程似然估计的扩散 RL 方法中，是否仍能高效地提取跨模态影响代理并执行动态层分离。 - **更一般的流匹配目标**：将路由机制从当前的速度场预测推广到更一般的流匹配或一致性模型训练目标。 —- ### 3. 架构普适性与不可分模态表示论文已在双流架构（LTX-2/2.3）与统一单流架构（JavisDiT++）上进行了验证，但仍存在边界： - **模态 token 不可识别的场景**：当模型采用完全纠缠的表示（如某些早期融合编码器），无法显式分离视频与音频 token 时，如何定义分支级路由与模态感知重加权仍待研究。 - **不可访问的交互响应**：若模型不使用显式的交叉注意力（如 Mamba 状态空间模型或纯 MLP 混合器），需要寻找新的代理来度量跨模态影响方向与强度。 - **更复杂的模态拓扑**：例如引入文本、深度图、运动向量等更多模态流，需要高阶路由策略来处理多向交叉注意力网络。 —- ### 4. 更细粒度与多维度的动态路由当前方法在 **token 级** 与 **层级别** 进行路由，但时空结构本身蕴含更丰富的层次： - **时空 patch 联合路由**：视频 token 天然携带空间位置与时间索引，可探索在 ** (x, y, t) 坐标** 上联合定义影响区域，实现对特定空间区域或关键时间片段的精准更新。 - **跨时间步的动态演进**：当前代理在选定的时间窗口内聚合，未来可研究不同去噪阶段（早期结构生成 vs. 晚期细节细化）的跨模态影响如何差异化路由。 - **频率级音频路由**：将音频特征分解为频带或声学事件，在频谱维度上进行更细粒度的信用分配。 —- ### 5. 可学习的路由与协调机制当前路由权重与重加权系数均来自基于启发式的代理（交叉注意力响应）与梯度几何分析，尚未引入可学习参数： - **元学习路由网络**：训练一个轻量网络，以当前层/ token 的隐藏状态为输入，直接预测最优的分离系数 αm^l 与 token 权重 λ(m,i) ，使路由本身成为可优化的策略。 - **端到端差异化**：通过可微分的门控或软注意力机制，让模型在训练过程中自动发现对奖励敏感的路径，减少对预定义代理的依赖。 - **冲突预测模块**：在重加权之前，引入一个小型网络预测即将出现的奖励冲突强度，从而更主动地调整残差修正幅度 kappa 与平滑系数 rho 。 —- ### 6. 理论分析与收敛保证论文侧重于实证验证，缺乏对动态路由与残差重加权优化过程的理论刻画： - **收敛性**：证明在何种条件下，基于当前模型状态重新计算的路由不会导致训练发散或不稳定的振荡。 - **偏差-方差权衡**：分析使用预门控交叉注意力响应作为影响代理引入的近似误差，以及该误差对梯度估计的偏差边界。 - **Pareto 最优性**：研究 Preference-Preserving Modality-Aware Reweighting 在动态多目标优化中的 Pareto 前沿跟踪能力，特别是在奖励景观非凸时的行为。 —- ### 7. 计算效率与系统优化尽管论文强调交叉注意力代理无需额外模型干预，动态计算仍引入一定开销： - **增量更新策略**：探索是否可以在连续的训练步之间复用或增量更新路由系数，而非每步重新计算完整层的响应统计量。 - **稀疏路由**：仅对跨模态影响最高的 top- k 层与 token 执行精细路由，对其余部分采用默认权重，以降低内存与计算成本。 - **硬件感知实现**：针对双流 Transformer 的并行计算特性，设计专用的梯度路径裁剪与稀疏反向传播内核，提升大规模训练下的实际吞吐量。 Q6: 总结一下论文的主要内容这篇论文围绕**联合音视频扩散模型的多奖励强化学习（RL）后训练**展开，核心内容与贡献可概括如下。 ### 1. 研究问题联合音视频扩散模型（如 LTX-2）在后训练阶段需同时优化多个异构目标，包括模态特定的视觉/音频质量、跨模态语义对齐以及时间同步。现有方法通常采用**固定的路由策略**和**固定的奖励权重**，难以适应训练过程中模型函数与梯度流的动态演化。具体而言，论文识别出两个耦合的挑战： - **动态奖励路由（Where to Optimize）**：模型内部跨模态交互层（如双向交叉注意力）的重要性会随微调过程迁移，基于基础模型预先固定的层/token 路由逐渐失效。 - **动态奖励协调（How to Balance）**：不同奖励信号（如视觉质量与音视频同步）之间存在冲突，且冲突模式随优化过程变化；固定权重无法响应冲突，而纯梯度几何的自适应方法又可能压制梯度较弱但对用户至关重要的目标。 —- ### 2. 方法：Adaptive Reward Routing 为同时解决上述两个问题，论文提出 **Adaptive Reward Routing**，在前向过程 RL（DiffusionNFT）框架下统一实现**自适应更新定位**与**偏好保留的奖励协调**。 #### 2.1 Cross-Modal Influence-Guided Routing 该组件利用前向传播中已有的**预门控双向交叉注意力响应**作为跨模态影响的高效代理：

d(l,t)^(v,i) = |o(l,t)^(ato v,i)|2, quad d(l,t)^(a,i) = |o(l,t)^(vto a,i)|_2
基于此代理，论文实现两个层级的动态路由： - **Token 级路由**：按 token 的响应强度生成损失权重 λ(m,i) ，使优化压力集中于当前跨模态影响更大的 token：
λ(m,i) = 1 + (λ(max)-1)· Norm(99)!((1) / (|B||T|)∑(l∈ B)∑(t∈ T) d(l,t)^(m,i))

**层级路由**：按层的响应强度生成软分离系数 αm^l ，对跨模态 K/V 路径的梯度进行自适应缩放：
α_m^l = (1-δ_m^l)^(1/τ), quad X(l,t)^(m)to m = αm^l · sg(X(l,t)^(m)) + (1-αm^l)· X(l,t)^(m)
影响显著的层保留完整梯度，影响微弱的层被部分分离，从而动态保存当前真正重要的跨模态梯度路径。 #### 2.2 Preference-Preserving Modality-Aware Reweighting 该组件在**模态分支内**估计奖励冲突，并将预定义的用户权重 ω_(prior) 作为先验锚点：

ω(m,k) = ω(m,k)^(prior), & e < e(warm) 6pt,ω(m,k)^(prior) + kappa, Cm γ(m,k), & e ≥ e(warm)
其中 γ(m,k) 为基于分支内梯度几何（MARBLE）估计并经平滑的冲突修正系数。该设计在预热期后启动，使奖励组合既能适应演化的冲突，又不会被主导奖励完全覆盖用户的原始偏好。 —- ### 3. 实验验证论文在 **LTX-2 (19B)** 与 **LTX-2.3 (22B)** 上进行实验，使用 VideoAlign、HPSv3、AudioBox、CLAP 与 DeSync 五个奖励信号，在 **JavisBench** 基准上与 GDPO、MARBLE、OmniNFT 等基线对比。 - **主性能**：所提方法在 10 项评估指标中的 9 项上取得最优，涵盖视觉质量（VQ）、音频质量（AQ）、文本一致性（CLIP/CLAP）、跨模态一致性（AV-IB/AVHScore）与音视频同步（JavisScore/DeSync）。 - **训练动态**：相比基线，该方法在提升平均奖励的同时保持了音频、视频与同步目标间的均衡进展，避免了“牺牲某一目标换取另一目标”的失衡。 - **消融实验**：逐步验证 token 路由、层级路由、分支感知冲突估计、残差偏好修正与预热策略的互补贡献。单独添加路由或权重均带来提升，但完整组合实现最强整体性能。 - **机制分析**：通过直接干预实验（逐层/逐 token 阻断交叉注意力路径）证明： - 交叉注意力响应代理与直接干预的层排名高度一致（Spearman 相关系数达 **0.97–0.98**）； - 基于当前模型重新计算的代理在微调全程保持准确（ >0.96 ），而固定于初始化的代理迅速过时（降至 **0.38–0.56**）； - 阻断高分 token 对最终预测的影响是随机 token 的 **1.62×–1.74×**，验证代理确实识别了功能上重要的位置。 —- ### 4. 核心贡献 - **问题建模**：将联合音视频扩散 RL 明确建模为在“更新位置”与“奖励协调”两个耦合维度上的动态多目标优化，并通过探测实验系统揭示了静态方案的局限。 - **方法创新**：提出 Adaptive Reward Routing，首次统一了基于交叉注意力响应的自适应 token/层路由与基于偏好先验的模态感知残差重加权。 - **实证深度**：通过主实验、受控消融与直接干预式的机制分析，充分证明自适应路由与自适应奖励协调缺一不可，且二者协同带来更稳定、更均衡的多目标后训练。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Songlin Yang,Xiaotong Zhao,Jiacheng Zhang,Zhe Wang,Toyota Li,Eric Liu,Alan Zhao,Anyi Rao

Categories:

PDF URL: https://arxiv.org/pdf/2609.37200.pdf

Arxiv URL: https://arxiv.org/abs/2609.37200

Arxiv ID: 2609.37200

CoolPaper URL: https://papers.cool/arxiv/2609.37200

Published: 2026-10-03T02:19:11.712Z

Updated: 2026-10-03T02:19:11.712Z

4. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

Abstract:Large language model (LLM) agents can now undertake increasingly complex tasks, but the way they organize interaction history into memory does not ensure a coherent understanding of the current world. We introduce PoS, an inference-time framework that constructs and continually maintains explicit belief states as the agent’s decision context. Each belief combines an estimate of the current world state with unresolved task requirements, making explicit what the agent still needs to learn and accomplish. To keep this belief reliable and actionable, PoS validates its consistency and monitors task progress to detect Belief Trapping, where the agent continues to act without making meaningful progress toward the goal. Recovery is then tailored to both the trapping pattern and the type of unresolved task requirement. Experiments on four benchmarks spanning execution and diagnosis show that PoS achieves the highest overall performance on every benchmark with all three LLM backbones. Ablations demonstrate the importance of consistency validation and recovery, while context-scaling experiments show resilience to context growth. Together, these results support belief construction and continual maintenance as a foundation for long-horizon context management beyond history retention and compression.

中文摘要

摘要：大型语言模型（LLM）代理现在可以执行越来越复杂的任务，但它们将交互历史组织到记忆中的方式并不能确保对当前世界的连贯理解。我们提出了PoS，一种在推理时使用的框架，它将明确的信念状态构建并持续维护为代理的决策上下文。每个信念都结合了对当前世界状态的估计和未解决的任务需求，明确表示代理仍需学习和完成的内容。为了保持该信念的可靠性和可执行性，PoS会验证其一致性并监控任务进展，以检测“信念陷阱”，即代理在没有对目标取得实质性进展的情况下继续行动。随后，恢复措施根据陷阱模式和未解决任务需求的类型进行定制。在涵盖执行和诊断的四个基准测试上，实验表明PoS在所有三个LLM骨干模型上均实现了每个基准的最高整体性能。消融实验展示了一致性验证和恢复的重要性，而上下文扩展实验显示出对上下文增长的鲁棒性。综上，这些结果支持将信念构建和持续维护作为超越历史保留与压缩的长时程上下文管理的基础。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.01415 (HTTP 429)

Authors: Yu Luo,Jiamin Jiang,Yimin Zuo,Xidao Wen,Rongchen Gao,Yongqian Sun,Shenglin Zhang,Guiyang Liu,Cheng Zhang,Fang Situ,Qi Zhou,Dan Pei

Categories:

PDF URL: https://arxiv.org/pdf/2610.01415.pdf

Arxiv URL: https://arxiv.org/abs/2610.01415

Arxiv ID: 2610.01415

CoolPaper URL: https://papers.cool/arxiv/2610.01415

Published: 2026-10-03T02:19:11.720Z

Updated: 2026-10-03T02:19:11.720Z

5. Hierarchical Continuous Diffusion Language Models

Abstract:Discrete diffusion language models offer a compelling alternative to autoregressive generation for tasks demanding bidirectional reasoning and global constraint satisfaction. Yet they share a structural bottleneck: when decoding in parallel, each token is sampled independently from its marginal, severing the statistical dependencies among the tokens decoded together. Continuous diffusion language models avoid this by denoising a shared continuous state, but their denoiser sees only that state, so nothing ties it to a valid token configuration until it is finally decoded. To address this, we propose Hierarchical Continuous Diffusion Language Models (HC-DLM), which couple discrete token generation with a continuous latent trajectory in a single, principled denoising process, whose training objective is derived from a variational bound on the token likelihood. In contrast to recent methods that attach continuous context to a self-contained discrete chain, HC-DLM makes the latent the only persistent generative state: tokens are read out from it at every step and feed back as a scaffold for the next latent update. On structured reasoning (Sudoku), mathematical planning (Countdown) and language modeling (LM1B), HC-DLM improves over discrete and continuous diffusion baselines at matched model size, in puzzle accuracy on Sudoku and Countdown and in generative perplexity on LM1B. Project page: this https URL.

中文摘要

摘要：离散扩散语言模型为需要双向推理和全局约束满足的任务提供了一种引人注目的自回归生成替代方案。然而，它们存在结构性瓶颈：在并行解码时，每个标记都是从其边际分布独立采样的，这切断了已解码标记之间的统计依赖关系。连续扩散语言模型通过对共享连续状态进行去噪来避免这一问题，但它们的去噪器只能看到该状态，因此在最终解码之前，无法将其与有效的标记配置联系起来。为了解决这一问题，我们提出了分层连续扩散语言模型（HC-DLM），该模型在单一、原理明确的去噪过程中将离散标记生成与连续潜在轨迹耦合，其训练目标源自标记似然的变分界。与最近将连续上下文附加到独立离散链上的方法不同，HC-DLM 使潜变量成为唯一持久的生成状态：每一步都从中读取标记，并反馈作为下一步潜变量更新的支架。在结构化推理（数独）、数学规划（倒计时）和语言建模（LM1B）任务上，HC-DLM 在匹配模型规模下，在数独和倒计时的解题准确率以及 LM1B 的生成困惑度方面，相较于离散和连续扩散基线均有所提升。项目页面：该 https URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决现有语言生成模型在\*\*双向推理\*\*与\*\*全局约束满足\*\*任务中的结构性瓶颈，具体针对以下两个互补的缺陷： \*\*1. 离散扩散语言模型的 token 独立性瓶颈\*\* 离散扩散模型通过迭代去噪并行解码多个 token，但在单步去噪时，每个位置从其条件边缘分布独立采样，导致同时解码的 token 联合分布被近似为边缘分布的乘积：

pθ(k_0 mid k_t) = prod_i pθ(k0^i mid k_t)
这种因式分解无法捕捉 token 之间由语法、逻辑或物理约束产生的紧密耦合关系，严重限制了模型在结构化推理（如 Sudoku、数学规划）中的表现。 **2. 连续扩散语言模型的离散锚定缺失** 连续扩散模型通过对共享连续潜在状态去噪来避免独立采样问题，但其去噪器仅接收连续状态作为输入，优化目标中不包含中间步骤的 token 变量。这意味着直到最终解码前，连续轨迹缺乏与有效离散 token 配置的直接约束，可能导致连续空间中的去噪结果在离散化时出现不一致。 **3. 提出的解决框架：HC-DLM** 为同时修正上述两个缺陷，论文提出**层次化连续扩散语言模型（HC-DLM）**。其核心思想是构建一个两级耦合的反向生成链： - 将**连续潜在轨迹** x_t 作为唯一跨步持续的生成状态； - 每步通过读出分布 pθ(kt mid x_t) 从当前潜在状态解码 token； - 将 token 重新加噪后作为离散支架 k_t 反馈至下一步的潜在转移 pφ(x_(t-1) mid x_t, k_t) 中。这种**层次化耦合**确保了并行解码的 token 共享同一连续潜在状态以维持跨 token 依赖，同时让连续去噪过程在每一步都被锚定到离散 token 配置上，从而在结构化推理与自然语言建模任务中同时改善生成质量与约束满足能力。 Q2: 有哪些相关研究？根据论文第5节及相关章节的梳理，现有相关研究可按照模型范式划分为以下三个方向： —- ### 1. 离散扩散语言模型（Discrete Diffusion Language Models）这类方法在离散词表空间上定义前向加噪与反向去噪过程，支持双向上下文推理与并行解码。代表性工作包括： - **D3PM**（Austin et al., 2021）：在离散状态空间上建立结构化去噪扩散模型； - **SEDD**（Lou et al., 2024）与 **MDLM**（Sahoo et al., 2024）：分别通过估计数据分布比率与简化掩码扩散目标进行训练； - **RDM**（Zheng et al., 2023）与 **LLaDA**（Nie et al., 2025）：将离散扩散扩展至大规模语言建模； - **Block Diffusion**（Arriola et al., 2025）与 **Discrete Flow Matching**（Gat et al., 2024）：提供不同于标准离散扩散的替代分解方式； - **MGDM**（Ye et al., 2025）与 **Kim et al.**（2025）：在规划与推理任务上验证了离散扩散相对于自回归模型的优势，并分析了解码顺序的作用。 **局限性**：在并行解码时，模型通常将联合分布分解为各位置条件边缘分布的乘积，即

pθ(k_0 mid k_t) = prod_i pθ(k0^i mid k_t),
导致同时解码的 token 之间缺乏显式的统计依赖，难以满足紧密的全局约束。 —- ### 2. 用于文本的连续扩散模型（Continuous Diffusion for Text）这类方法通过在连续空间中建模来避免离散并行的独立采样问题，主要分为两类： - **词嵌入级去噪**：直接在序列的连续嵌入空间上进行扩散，如 **Diffusion-LM**（Li et al., 2022）、**Plaid**（Gulrajani & Hashimoto, 2023）、**LangFlow**（Chen et al., 2026）等； - **编码器压缩的潜在空间**：先将文本编码为压缩潜在向量，再在其上执行连续扩散，如 **LD4LG**（Zhang et al., 2023）、**Latent Diffusion for Language Generation**（Lovelace et al., 2023）等后续工作。 **局限性**：去噪器仅接收连续状态作为输入，训练目标不包含中间步骤的离散 token 变量。因此，连续潜在轨迹在最终解码前缺乏与有效离散配置的显式约束，可能导致去噪结果在离散化时出现不一致。 —- ### 3. 混合离散–连续扩散模型（Hybrid Discrete–Continuous Diffusion）近期研究尝试将离散与连续通道配对，以结合两者的优点，但组织方式与 HC-DLM 有本质区别： - **VMD**（Zhang et al., 2025）：在掩码扩散中引入一次性采样的全局连续潜在变量 z ，为离散链提供静态全局上下文，但潜在变量在生成过程中不再更新； - **CADD**（Zheng et al., 2026）：为每个 token 配备一个连续“提示”（continuous hint），在掩码扩散过程中将模型自身的早期预测以嵌入形式反馈回网络；该方法依赖吸收态（absorbing-state）核，且离散链主导生成过程； - **CCDD**（Zhou et al., 2026）：将离散 token 链与来自预训练编码器的冻结嵌入链并行处理，通过共享主干网络同时预测两个模态的清洁状态，但两个通道仍保持各自独立的更新规则； - 其他耦合探索还包括 **Shariatian et al.**（2025）、**Pynadath et al.**（2025）与 **Lemercier et al.**（2026）。 **局限性**：上述混合方法中的 token 通常保留独立的转移链（transition chain），且在吸收态核下一旦 token 被解码（unmasked）便固定不变；连续与离散部分多作为同级耦合，而非层次化的持续潜在状态与每步读出反馈。 —- ### 与 HC-DLM 的核心区别 HC-DLM 与上述工作的关键差异在于：**连续潜在轨迹是跨步唯一持续的生成状态，而 token 仅作为每步从潜在空间读出的瞬时变量，并立即反馈为下一步去噪的条件支架**。这使得 token 在每一步都可被重新修订，同时跨 token 的依赖通过共享的连续潜在状态得以保持。 Q3: 论文如何解决这个问题？该论文通过提出**层次化连续扩散语言模型（HC-DLM）** 来解决离散扩散并行解码中的 token 独立性瓶颈，以及连续扩散缺乏离散锚定的问题。其核心在于构建一个两级耦合的扩散过程，使连续潜在状态成为唯一跨步持续的生成记忆，而离散 token 则作为每步读出的瞬时支架反馈回连续去噪器。具体方法论如下。 —- ### 1. 耦合的前向过程前向过程对连续轨迹与离散轨迹进行**独立加噪**，以保持边际分布的可解性。 - **连续前向**：对初始连续潜在 x_0 ∈ R^(M × d) 施加标准高斯扩散，具有闭式后验 q(x(t-1) mid x_t, x_0) ，终端收敛于标准高斯 q(x_T mid x_0) ≈ N(0, I) 。 - **离散前向**：对初始 token 序列 k_0 ∈ V^L 施加分类扩散，使用吸收态（

MASK
）或均匀分布作为平稳分布：
q(kt^i mid k(t-1)^i) = (αt) / (α(t-1)) δ(kt^i - k(t-1)^i) + (1 - (αt) / (α(t-1))) π(k_t^i).

**变分分布**：联合前向分布因子化为
qpsi(x(0:T), k(1:T) mid k_0) = q_psi(x_0 mid k_0) prod(t=1)^T q(xt mid x(t-1)) q(kt mid k(t-1)),
其中唯一可学习的是编码器 q_psi(x_0 mid k_0) ，它将干净 token 编码为连续潜在。 —- ### 2. 层次化的反向过程反向过程刻意打破前向独立性，实现**连续潜在去噪**与**离散 token 读出**的紧密耦合。联合生成分布因子化为：

p(θ,φ)(k(0:T), x(0:T)) = p(x_T) pθ(k0 mid x_0) prod(t=1)^T pθ(k_t mid x_t) , pφ(x(t-1) mid x_t, k_t).
该因子化揭示了两个关键设计： - **连续去噪器** pφ(x(t-1) mid x_t, k_t) ：在离散 token 支架 k_t 的条件下更新连续状态。 k_t 为去噪提供了离散锚定，减少连续空间的歧义。 - **Token 读出器** pθ(k_t mid x_t) ：将当前噪声潜在映射为 token 分布。在 t=0 时输出最终结果；在中间步骤时作为软读出（soft readout）。 **层次性**体现在：token 状态 k_t 没有自身的马尔可夫转移核，它对过去的依赖完全通过 x_t 传递。因此，跨步信息全部流经连续轨迹，而 token 在每一步都是重新读出的，保持可修订性。 —- ### 3. 变分下界与训练目标基于上述前向与反向过程，论文推导了关于 token 似然的变分下界（ELBO）。 **命题 1（HC-DLM ELBO）**： log p(k_0) ge L(k_0) ，其中

L(k0) = E(qpsi(x_0 mid k_0)) [ log pθ(k0 mid x_0) ]((i) 重建) - E(q_psi(x_0 mid k_0)) [ KL( q(x_T mid x_0) ,|, p(x_T) ) ]((ii) 先验匹配) + ·s - ∑(t=2)^T E[ KL( q(x(t-1) mid xt, x_0) q(k_t mid k(t-1)) ,|, pφ(x(t-1) mid xt, k_t) pθ(kt mid x_t) ) ]((iv) 去噪步).
通过 KL 散度的链式法则，第 (iv) 项可分解为两个互补的学习信号：
KL( q(kt mid k(t-1)) q(x(t-1) mid x_t, x_0) ,|, pθ(kt mid x_t) pφ(x(t-1) mid x_t, k_t) ) = KL( q(k_t mid k(t-1)) ,|, pθ(k_t mid x_t) )(离散 token 预测) + E(q(k_t mid k_t-1)) [ KL( q(x(t-1) mid xt, x_0) ,|, pφ(x(t-1) mid x_t, k_t) ) ](连续去噪).
**实用训练目标**：将上述理论下界转化为可优化的损失函数
J = λ(recon) E(qpsi(x_0 mid k_0)) [ -log pθ(k0 mid x_0) ](Jrecon) + λ(ent) E(q_psi(x_0 mid k_0)) [ log q_psi(x_0 mid k_0) ](Jent) + λ(cont) ∑(t=1)^T E(qpsi(x_0, x_t, k_t mid k_0)) [ ω_t | dφ(xt, k_t, t/T) - d_t(x_t, x_0) |^2 ](J_cont).

J(recon) ：确保干净潜在 x_0 可被解码为 k_0 ； - J(ent) ：高斯编码器熵正则，防止潜在坍缩； - J(cont) ：采用条件流匹配（Conditional Flow Matching），令去噪器 dφ 在 token 支架 kt 的条件下预测干净潜在（或等价速度场），沿连续轨迹进行回归。 —- ### 4. 推理算法推理过程实例化上述耦合反向链，通过**去噪—读出—重加噪**的循环逐步生成结果。 **算法概述**： 1. 初始化 x_T sim N(0, I) ， k_T sim π （离散平稳分布）； 2. 对于 t = T, dots, 1 循环执行： - **连续去噪**：计算干净潜在估计 x_0 arrow dφ(xt, k_t, t/T) ，并通过 Euler 步更新 x(t-1) ； - **Token 读出**：从估计的干净潜在解码 k0 arrow argmax(k0) pθ(k0 mid x_0) ； - **重加噪**：利用已知前向核将读出的 token 重新腐蚀至 t-1 级别， k(t-1) sim q(k(t-1) mid k_0 = k_0) ； 3. 最终返回 argmax(k0) pθ(k_0 mid x_0) 。该循环确保了： - 所有并行读出的 token 共享同一个连续潜在 x_t ，从而通过潜在空间建立跨 token 依赖； - 连续去噪的每一步都受到当前离散支架 k_t Q4: 论文做了哪些实验？论文在三个互补能力的任务上进行了系统评估，并辅以详细的消融分析。实验设置与主要结果如下： —- ### 1. 实验设置与基线（Setup and Baselines）实验涵盖**结构化推理**、**数学规划**与**通用语言生成**三类任务。对比基线包括： - **自回归模型（AR）**：标准 Transformer、ARM（含与不含学习化变量排序启发式）； - **离散扩散模型**：MDM（含 vanilla、top-prob.、top-prob. margin 等并行解码变体）、SEDD、D3PM、RDM、VDM、Duo； - **连续扩散模型**：Plaid、LangFlow； - **混合离散–连续基线**：CCDD（在相同骨干与参数量下复现，以保证公平比较）。所有扩散基线在匹配参数量（如 6M 或 118M）下进行对照。 —- ### 2. 结构化推理：Sudoku（4.2 节） - **任务定义**：9×9 数独谜题（ L=81, K=10 ），输入部分填充的网格，模型需填满所有空白格。只有当全部 81 个格子与唯一解一致时才算正确。 - **数据分割**：标准简单集（Easy，可通过七种固定逻辑策略求解）与困难集（Hard，需额外策略）。 - **结果要点**： - 在 Easy 上，HC-DLM（94.21%）与混合基线 CCDD（94.65%）相当，均优于同等规模的 MDM 与 42M 参数的自回归模型； - 在 **Hard** 上，HC-DLM（72.41%）显著优于 CCDD（70.73%），表明其在分布外、需更强全局约束满足的场景下优势更明显。 —- ### 3. 数学推理：Countdown（4.3 节） - **任务定义**：给定 n 个输入数字与一个目标整数，模型须生成一段算术操作链，使最终结果精确等于目标值。子任务包括 CD4（4 个输入数）与 CD5（5 个输入数）。 - **评估指标**：answer-correct accuracy，要求整个输出链在语法与算术上完全合法（不重复使用数字、仅使用可用中间结果、除法必须为整除等）。 - **结果要点**： - HC-DLM 在同量级（6M 参数）扩散模型中表现最优； - 在更长规划跨度的 **CD5** 上，HC-DLM（37.52%）大幅领先 CCDD（25.35%），优势随问题复杂度增加而扩大； - 尽管更大规模的离散扩散模型（85M 参数级）仍保持绝对最高分数，HC-DLM 以显著更少的参数达到了极具竞争力的性能。 —- ### 4. 语言建模：LM1B（4.4 节） - **任务定义**：在 One Billion Word（LM1B）基准上进行无条件生成，序列长度 128。 - **评估指标**：generative perplexity（Gen. PPL），使用 GPT-2-Large 对 1,024 条生成样本进行外部分数评估；采样步数为 128，并采用 token 通道上的 classifier-free guidance（ w=2.75 ）。 - **结果要点**： - HC-DLM（118M 参数）取得 **75.5** 的生成困惑度，在所有评估的扩散模型中最低； - 优于离散扩散基线（MDM 103.9、SEDD 115.9、Duo 97.6）以及连续扩散基线（Plaid 77.3、LangFlow 92.2）； - 在批量生成时，wall-clock 采样效率亦优于部分连续基线（见附录 B.6）。 —- ### 5. 消融研究（4.5 节与附录）为验证层次化耦合设计的必要性，论文进行了多维度消融： - **框架组件消融**： - **Latent DM（无离散条件）**：从去噪器中移除 k_t ，退化为仅在最后一步解码 token 的标准连续潜在扩散。Hard 准确率从 72.41% 骤降至 24.74%，证明离散支架对约束满足至关重要； - **MDM（纯离散）**：移除连续潜在层级，Hard 准确率为 49.88%，验证了独立边际采样在全局约束任务中的不足。 - **离散前向过程设计**： - 对比**吸收态（absorbing-state）**与**均匀态（uniform-state）**两种加噪核。结果表明，对于 HC-DLM 的层次化采样器，**均匀态核**显著更强（Hard：72.41% vs. 吸收态最佳 48.25%）。原因在于吸收态的

MASK
会掏空作为去噪器条件的支架信息，且自适应解码会提前固化 token、降低可修订性。 - **信息涌现轨迹分析**： - 在生成过程中，每步将中间潜在估计 x_0 解码为 token 并计算准确率。HC-DLM 在归一化时间 t/T 早期即快速上升并达到高平台，而标准 Latent DM 直到最后阶段才缓慢收敛，说明 token 支架能“提前锁定”结构化约束。 - **推理步数鲁棒性**： - 在 Hard Sudoku 上，随着去噪步数从 100 减少，HC-DLM 的准确率衰减明显慢于 MDM，表明共享潜在状态减少了对大量迭代细化的依赖。 - **附加分析**（附录）： - **潜在序列长度 M **：在 Sudoku 上测试 M ∈ 1,2,4,8,16 ，发现 M=4 时性能达到峰值，过大反而下降； - **Wall-clock 推理时间**：在相同步数下，HC-DLM 的单 batch 推理时间低于复现的 MDM 基线； - **Token 通道 CFG**：在 LM1B 上，适度的 CFG 尺度（ w=2.75 ）可在不牺牲多样性的前提下降低困惑度； - **不同 NFE 下的样本质量**：LM1B 上从 128 步降至 8 步，生成困惑度从 75.5 上升至 168.8，但熵保持稳定。 Q5: 有什么可以进一步探索的点？基于论文的方法论、实验观察与明确指出的局限性，以下方向值得进一步探索： —- ### 1. 大规模预训练与训练效率优化论文在附录 D 中指出，将 HC-DLM 扩展至更大规模的预训练骨干是“最有希望的未来方向”，但当前联合训练编码器、连续去噪器与 token 预测器带来了显著的训练开销。可探索的路径包括： - **编码器解耦或预训练策略**：例如，先独立预训练编码器与 token 预测器，再固定或低学习率微调连续去噪器，以降低联合优化的不稳定性和计算成本； - **知识蒸馏**：将训练好的 HC-DLM 蒸馏为更高效的少步或单步学生模型，缓解连续扩散推理步数较多的瓶颈； - **渐进式深度或宽度增长**：借鉴 Plaid 或 LangFlow 的训练策略，在 HC-DLM 的层次化目标下逐步扩展模型容量。 —- ### 2. 更结构化的连续–离散条件化机制当前实现将 k_t 的嵌入与 x_t 直接拼接后送入去噪器（附录 B.1），论文亦坦言这是“简单且有效的”，但更复杂的融合机制可能进一步提升样本效率。可研究： - **交叉注意力门控**：让连续潜在查询（query）去关注离散支架的键值（key-value），而非简单的序列拼接； - **自适应层归一化（AdaLN）注入**：将离散支架的统计特征（如各位置置信度熵）作为条件向量，动态调节去噪器的逐层仿射变换； - **多尺度条件化**：在不同网络深度以不同分辨率融合离散信息，避免浅层过度受噪声支架干扰。 —- ### 3. 自适应解码与动态采样策略消融实验（表 5）显示，对于 HC-DLM 的层次化结构，**均匀态加噪核**显著优于吸收态核。这暗示传统基于

MASK
的自适应解码（如 top-prob. margin）可能破坏支架的完整性。可进一步探索： - **基于置信度的动态重加噪**：在均匀核框架下，设计根据 token 预测置信度调整重加噪强度的策略，而非统一腐蚀； - **非均匀噪声调度**：为离散支架设计步进相关的噪声水平，使早期步骤允许更大探索，后期步骤锁定约束； - **连续–离散联合提前退出**：在生成轨迹中监测潜在状态的收敛度，对已满足约束的位置提前降低离散噪声，未收敛位置保持高噪声。 —- ### 4. 少步推理与一致性模型连续扩散通常需要数十至上百步采样。论文在表 7 与图 3b 中显示了 HC-DLM 的步数鲁棒性，但 128 NFE 仍较高。可探索： - **一致性蒸馏（Consistency Distillation）**：训练单步或极少步的学生模型，使其直接映射 x_t to x_0 ，同时保留 token 支架的反馈结构； - **流匹配的隐式采样器**：利用流匹配理论中更高效的 ODE 求解器（如高阶 Runge-Kutta 或多步预测-校正），在保持精度的同时削减函数评估次数； - **潜在空间压缩比**：系统研究潜在序列长度 M 与推理步数的联合权衡（附录 B.9 已初步显示 M 存在最优值）。 —- ### 5. 条件生成与更广泛的任务现有实验主要聚焦于逻辑谜题（Sudoku）、算术规划（Countdown）与无条件语言建模（LM1B）。框架本身支持条件生成（附录 B.2），但未在复杂条件任务上验证。可扩展至： - **序列到序列生成**：如机器翻译、文本摘要，其中条件 c 为源序列，需研究生成过程中支架如何与源端注意力交互； - **长文档与代码生成**：测试层次化潜在状态是否能更好地捕捉长程依赖与语法约束； - **多轮对话与推理链**：利用每步可修订的 token 特性，探索在交互式推理（如数学证明、代码调试）中修正早期错误的能力。 —- ### 6. 理论分析与潜在空间可解释性论文从变分边界证明了层次化耦合的合理性，但以下理论问题仍待深入： - **均匀核优势的信息论解释**：为何均匀腐蚀在 HC-DLM 中显著优于吸收腐蚀？可从互信息 I(x_t; k_t) 或支架有效维度的角度，量化不同加噪核传递给去噪器的条件信息量； - **潜在空间结构**：可视化 x_t 在反向轨迹中的演化，分析其是否在连续空间中形成了可解释的语义区域（如数独中的宫、行、列约束流形）； - **误差传播界限**：建立离散支架误反馈（misfed scaffold）对连续去噪器收敛性的定量影响，以指导鲁棒采样设计。 —- ### 7. 多层级与多模态扩展当前 HC-DLM 是两级层次（连续潜在 + 离散 token）。可进一步研究： - **多级潜在层次**：引入句子级或段落级更高层连续变量，形成“段落–句子–token”三级扩散，捕捉不同尺度的语言结构； - **跨模态联合生成**：将离散 token 通道扩展为图像 token（如 VQ-VAE indices），连续潜在通道扩展为视觉特征，构建文本–图像统一的层次化扩散框架，利用连续潜在协调模态间的全局一致性。 Q6: 总结一下论文的主要内容该论文针对现有语言生成模型在**全局约束满足**与**双向推理**任务中的结构性瓶颈，提出了**层次化连续扩散语言模型（Hierarchical Continuous Diffusion Language Models, HC-DLM）**，并在结构化推理、数学规划与自然语言建模任务上验证了其有效性。 —- ### 1. 研究背景与问题现有扩散语言模型面临两个互补的缺陷： - **离散扩散模型的 token 独立性瓶颈**：在并行解码时，同时生成的多个 token 通常从各自的条件边缘分布独立采样，即

pθ(k_0 mid k_t) = prod_i pθ(k_0^i mid k_t),
导致联合分布被近似为边缘乘积，无法捕捉 token 间由语法、逻辑或物理约束产生的紧密耦合。 - **连续扩散模型的离散锚定缺失**：连续模型通过对共享潜在状态去噪来避免独立采样，但其去噪器仅接收连续状态作为输入，训练目标不涉及中间步骤的离散变量。因此，连续潜在在最终解码前缺乏与有效 token 配置的显式约束，易产生不一致的离散化结果。 —- ### 2. 方法：HC-DLM 为同时修正上述缺陷，论文构建了**连续潜在轨迹**与**离散 token 轨迹**相耦合的两级扩散过程。 **前向过程**：对连续潜在 x_0 与离散 token k_0 进行**独立加噪**（高斯扩散与分类扩散），以保持边际分布与后验分布的闭式可解性：

qpsi(x(0:T), k(1:T) mid k_0) = q_psi(x_0 mid k_0) prod(t=1)^T q(xt mid x(t-1)) q(kt mid k(t-1)).
**反向过程**：打破前向独立性，实现**层次化耦合**：
p(θ,φ)(k(0:T), x(0:T)) = p(x_T) pθ(k0 mid x_0) prod(t=1)^T pθ(k_t mid x_t) , pφ(x(t-1) mid x_t, k_t).
其核心设计在于： - **连续去噪器** pφ(x(t-1) mid x_t, k_t) ：在离散支架 k_t 的条件下更新连续状态，使潜在轨迹始终锚定于当前 token 估计； - **Token 读出器** pθ(k_t mid x_t) ：将当前潜在映射为 token 分布，在 t=0 时输出最终序列，在中间步骤时作为软读出； - **层次性**：token 没有自身的马尔可夫转移核，其对历史的依赖完全通过连续潜在 x_t 传递。所有跨步信息流经连续轨迹，而 token 在每一步都是重新读出的，因而保持可修订性。 —- ### 3. 训练目标论文从变分推断出发，推导了关于 token 似然的**证据下界（ELBO）**，并将其分解为重建、先验匹配、边界去噪与中间去噪项。其中，中间去噪项通过 KL 散度的链式法则进一步分解为：

KL( q(kt mid k(t-1)) ,|, pθ(k_t mid x_t) )(离散 token 预测) + E(q(k_t mid k_t-1)) [ KL( q(x(t-1) mid xt, x_0) ,|, pφ(x(t-1) mid x_t, k_t) ) ](连续去噪).
在实际实现中，训练目标包含三项： - ** J(recon) **：从干净潜在 x_0 重建原始 token k_0 的交叉熵； - ** J(ent) **：编码器分布的熵正则，防止潜在坍缩； - ** J(cont) **：采用**条件流匹配（Conditional Flow Matching）**，令去噪器在 token 支架 k_t 条件下回归干净潜在（或等价速度场）。 —- ### 4. 推理过程推理时，模型从 x_T sim N(0, I) 与 k_T sim π 出发，每步交替执行： 1. **连续去噪**：由 dφ(xt, k_t, t/T) 估计 x_0 ，并更新至 x(t-1) ； 2. **Token 读出**：从 x0 解码 k_0 ； 3. **重加噪**：利用已知前向核将 k_0 腐蚀至 t-1 级，得到下一轮的支架 k(t-1) 。该循环确保所有并行读出的 token 共享同一连续潜在，从而通过潜在空间建立跨 token 依赖，同时让连续去噪在每一步都受到离散支架的约束。 —- ### 5. 实验结果论文在三个互补任务上进行评估： | 任务 | 关键结果 | |———|————-| | **Sudoku**（结构化推理） | 在 Hard 分布外测试集上达到 **72.41%** 的精确解准确率，优于同等 6M 参数的 MDM（49.88%）与混合基线 CCDD（70.73%）。 | | **Countdown**（数学规划） | 在 CD5（更长规划链）上达到 **37.52%**，显著领先同规模 CCDD（25.35%），表明优势随问题复杂度增加而扩大。 | | **LM1B**（语言建模） | 生成困惑度（Gen. PPL）为 **75.5**，优于所有对比的离散扩散（MDM、SEDD、Duo）与连续扩散（Plaid、LangFlow）基线。 | **消融研究**进一步验证了： - 去掉离散支架（退化为纯连续扩散）或去掉连续潜在（退化为纯离散扩散）均导致性能大幅下降，证明两者缺一不可； - 对于 HC-DLM 的层次化采样器，**均匀态加噪核**显著优于吸收态核，因为均匀核保持支架信息完整且允许每步全面修订。 —- ### 6. 核心贡献 1. **框架**：提出 HC-DLM，一种将连续潜在作为唯一持久生成状态、token 作为每步读出并反馈的离散支架的层次化扩散结构。 2. **理论**：推导了层次耦合链的变分下界，证明了读出–反馈机制是 token 序列的合法生成模型。 3. **实证**：在结构化推理、数学规划与自然语言建模上，验证了耦合机制相对于纯离散、纯连续及现有混合基线的优势，并阐明了连续潜在与离散支架各自不可替代的作用。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hui Ren,Zihan Li,Chang Liu,Huidong Liu,Alexander Schwing

Categories:

PDF URL: https://arxiv.org/pdf/2610.02193.pdf

Arxiv URL: https://arxiv.org/abs/2610.02193

Arxiv ID: 2610.02193

CoolPaper URL: https://papers.cool/arxiv/2610.02193

Published: 2026-10-03T02:19:11.733Z

Updated: 2026-10-03T02:19:11.733Z

6. Agent Priors-guided Policy Learning

Abstract:Robots that learn from a few demonstrations often require two forms of generalization. Compositional generalization recombines skills to solve new tasks, and skill generalization lets the learned policy behind each skill work in new situations. The two depend on each other, yet information is lost between composition and the skills it calls. Where a skill works is determined by the structure its policy is trained with, while composition sees the skill only through a separate description, such as a name, an instruction, or a symbolic operator, that omits this structure. Our key idea is to use each policy’s structural prior as part of the interface between composition and the skill. A structural prior states what a behavior depends on, for example that a grasp depends only on the gripper’s pose relative to the object. Built into training, it shapes where the policy generalizes; stated in language, it tells composition where the policy applies. We instantiate this idea in Agent Priors-guided Policy Learning (APPL). A construction agent segments complete demonstrations into reusable skills, proposes several structural priors for each skill, and trains and verifies one policy per prior. A runtime agent then selects among these prior-specific policies and composes them toward new task goals using their interfaces. Across MetaWorld and long-horizon ManiSkill tasks, APPL improves out-of-distribution skill generalization and enables previously unseen skill compositions; ablating the interface information substantially reduces performance. These results support the use of training-time structural assumptions as a bridge between skill learning and skill composition.

中文摘要

摘要：从少量示范中学习的机器人通常需要两种形式的泛化。组合泛化（Compositional generalization）通过重新组合技能来解决新任务，而技能泛化（Skill generalization）使每个技能背后的已学策略能够在新情境中工作。这两者相互依赖，但在组合和所调用的技能之间信息会丢失。技能能工作的范围由其策略所训练的结构决定，而组合只能通过一个单独的描述来看到技能，例如名称、指令或符号操作符，这些描述省略了该结构。我们的关键思路是将每个策略的结构先验作为组合与技能之间接口的一部分。结构先验说明行为依赖于什么，例如抓取行为只依赖于夹爪相对于物体的姿态。在训练中内置结构先验，可以塑造策略的泛化范围；用语言表述时，它告诉组合策略适用的范围。我们在基于代理先验的策略学习（Agent Priors-guided Policy Learning, APPL）中实例化了这一思想。构建型代理将完整示范分割为可复用的技能，为每个技能提出若干结构先验，并为每个先验训练并验证一个策略。运行时代理随后在这些特定先验的策略中进行选择，并利用它们的接口将其组合以实现新的任务目标。在 MetaWorld 和长周期 ManiSkill 任务中，APPL 提升了分布外技能的泛化能力，并实现了以前未见过的技能组合；消除接口信息会显著降低性能。这些结果支持在训练时使用结构假设作为技能学习与技能组合之间的桥梁。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35690 (HTTP 429)

Authors: Puming Jiang,Tianrun Hu,Haozhe Du,Yibo Li,Zhiwei Xue,Xinhu Li,Harold Soh

Categories:

PDF URL: https://arxiv.org/pdf/2609.35690.pdf

Arxiv URL: https://arxiv.org/abs/2609.35690

Arxiv ID: 2609.35690

CoolPaper URL: https://papers.cool/arxiv/2609.35690

Published: 2026-10-03T02:19:16.837Z

Updated: 2026-10-03T02:19:16.837Z

7. A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review

Abstract:AI reviewers can assign different judgments to manuscripts that report the same science in different wording, potentially rewarding rhetorical optimization over scientific improvement. We formulate Rhetorical Robustness as the joint requirement of stability across content-preserving rewrites and discrimination across papers. We introduce RobustReview, a controlled full-manuscript benchmark with 1,260 manuscript versions, and evaluate 30 reviewer configurations. The benchmark reveals false robustness, where low rewrite sensitivity coincides with score collapse across papers, and shows that human alignment and rhetorical robustness rank reviewers differently. Moreover, the evaluated content-focused prompting protocol does not consistently improve robustness across backbones. Motivated by these findings, we introduce SciCore, a dual-branch reviewer that averages a full-manuscript judgment with a judgment based on an extracted, structured science core. This design combines manuscript-level assessment with a content-normalized view intended to reduce rhetorical sensitivity. In our primary GPT-5.5 comparison, SciCore achieves a leading joint stability-discrimination profile among the benchmarked reviewers while maintaining competitive human alignment. These results identify rhetorical robustness as a distinct evaluation target and demonstrate the potential of science-core review to improve it.

中文摘要

摘要：AI 审稿人可能会对使用不同措辞报告相同科学内容的稿件给出不同的评判，这可能会奖励修辞优化而非科学改进。我们将“修辞鲁棒性”表述为在保持内容不变的重写之间的稳定性和在不同论文之间的区分性这两者的联合要求。我们引入了 RobustReview，一种受控的全稿件基准，包含 1,260 个稿件版本，并评估了 30 种审稿人配置。该基准揭示了虚假的鲁棒性，即在重写敏感性低的情况下，评分在论文之间会崩溃，并显示人类对齐性和修辞鲁棒性对审稿人的排名不同。此外，所评估的以内容为中心的提示方案并未在各个模型主干中持续改善鲁棒性。受这些发现的启发，我们引入了 SciCore，一种双分支审稿人，将基于整个稿件的评判与基于提取的、结构化科学核心的评判进行平均。这一设计将稿件级评估与内容归一化视角相结合，旨在降低对修辞的敏感性。在我们主要的 GPT-5.5 对比中，SciCore 在基准审稿人中实现了领先的稳定性-区分性联合表现，同时保持具有竞争力的人类对齐性。这些结果将修辞鲁棒性确立为一个独立的评估目标，并展示了科学核心审稿在改善其方面的潜力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.39027 (HTTP 429)

Authors: Chenguang Wang,Ming Li,Chengrui Fan,Jianpeng Chen,Han Chen,Tianyi Zhou,Dawei Zhou

Categories:

PDF URL: https://arxiv.org/pdf/2609.39027.pdf

Arxiv URL: https://arxiv.org/abs/2609.39027

Arxiv ID: 2609.39027

CoolPaper URL: https://papers.cool/arxiv/2609.39027

Published: 2026-10-03T02:19:16.854Z

Updated: 2026-10-03T02:19:16.854Z

8. World Observer: Joint Actor-Observer Generation for Persistent World Modeling

Abstract:How can a world model continuously observe regions beyond the actor’s current view? Video world models simulate how an environment evolves from an agent’s actions, yet remain actor-centric. Once an object leaves the actor’s view, they lose direct evidence of its evolution, often failing to preserve its state and dynamics upon re-entry. To address this, we introduce World Observer, which decouples observing from acting by jointly generating a perspective actor for the agent-centric view with one or more panoramic observers that watch selected world regions. This allows objects that leave the actor’s view to remain visually evolving in an observer, so their updated states are reflected when they re-enter. We ground the actor and observers by warping from a shared panoramic source for explicit geometric correspondence, and introduce an Observer Sink of high-resolution perspective references to restore fine appearance upon re-entry. Since the observers are decoupled from the actor, they can be placed freely across the scene, extended to multiple locations for broader coverage, and driven by control signals to steer out-of-view evolution. To evaluate out-of-view evolution, we further introduce world-space metrics and a benchmark spanning real and synthetic scenes. World Observer substantially improves out-of-view dynamics while remaining competitive in visual fidelity, camera control, and 3D adherence.

中文摘要

摘要：一个世界模型如何能够持续观察超出执行者当前视野的区域？视频世界模型可以模拟环境如何随着代理的动作而演变，但仍然以执行者为中心。一旦一个物体离开执行者的视野，他们就会失去其演变的直接证据，通常在物体重新进入视野时无法保留其状态和动态。为了解决这一问题，我们引入了世界观察者（World Observer），它通过联合生成一个执行者视角（actor-centric view）和一个或多个全景观察者（panoramic observers）来观察选定的世界区域，从而将观察与执行分离。这使得离开执行者视野的物体仍然可以在观察者中进行视觉演变，从而在重新进入时反映其更新后的状态。我们通过从共享的全景源（panoramic source）进行几何变换来固定执行者和观察者，以实现明确的几何对应，并引入观察者汇（Observer Sink）以高分辨率视角参考在物体重新进入时恢复精细外观。由于观察者与执行者解耦，它们可以自由地放置在场景中，并扩展到多个位置以覆盖更大范围，同时通过控制信号驱动视野外的演变。为了评估视野外的演变，我们进一步引入了世界空间度量和一个涵盖真实与合成场景的基准。World Observer显著提升了视野外动态表现，同时在视觉保真度、相机控制和三维一致性方面保持竞争力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02162 (HTTP 429)

Authors: Hyunwook Choi,Dahyun Chung,Hyunsung Kim,Siyoon Jin,Jinhyeok Choi,Junyoung Seo,Seungryong Kim

Categories:

PDF URL: https://arxiv.org/pdf/2610.02162.pdf

Arxiv URL: https://arxiv.org/abs/2610.02162

Arxiv ID: 2610.02162

CoolPaper URL: https://papers.cool/arxiv/2610.02162

Published: 2026-10-03T02:19:16.846Z

Updated: 2026-10-03T02:19:16.846Z

9. Sharpening Tax in Post-Training

Abstract:An emerging hypothesis about reinforcement learning (RL) post-training of large language models (LLMs) is that it merely sharpens existing behaviors of a base model, improving single-shot accuracy at the cost of solution coverage. Although this trade-off has been observed in math and coding tasks, it need not extend to agentic tasks, where multi-turn tool use and interaction may require capabilities newly acquired during post-training. Our surprising finding is that pre-trained LLMs, equipped with a light inference harness, can serve as capable agents. Despite far lower accuracy (pass@1), they often surpass their post-trained counterparts in solution coverage (pass@K) given a sufficient test-time budget. We further analyze the underlying mechanism and show that post-training pushes tasks toward two extremes, always solved or never solved, and thereby improves sampling efficiency and consistency at the cost of solution coverage. To measure this cost, we propose Sharpening Tax, a diagnostic metric that quantifies the loss in test-time scalability after post-training. Across 14 base/post-trained model pairs from four families and three agentic benchmarks (42 cases in total), the tax is prevalent in most settings, can be estimated from a few rollouts, and correlates well with other metrics. Finally, we present posterior-tempered group sampling (PTGS), a simple plug-and-play Bayesian sampler that adapts the sampling temperature per prompt to its estimated difficulty. Applied during RL training in two agentic environments, PTGS pays a smaller tax than the fixed-temperature baseline, solving more tasks under repeated sampling while also improving single-shot accuracy.

中文摘要

摘要：关于大语言模型（LLM）在强化学习（RL）后训练的一个新兴假设是，它仅仅是强化了基础模型的现有行为，提高了单次准确率，但以解决方案覆盖率为代价。尽管这种权衡在数学和编码任务中已被观察到，但它不一定适用于智能体任务，在这些任务中，多回合工具使用和交互可能需要在后训练期间新获得的能力。我们令人惊讶的发现是，装备了轻量推理框架的预训练 LLM 可以作为有能力的智能体。尽管准确率（pass@1）远低于后训练模型，但在给定充足的测试时间预算下，它们在解决方案覆盖率（pass@K）上往往超过其后训练的同伴。我们进一步分析了潜在机制，并表明后训练将任务推向两个极端，要么总是解决，要么从未解决，从而提高采样效率和一致性，但以解决方案覆盖率为代价。为了衡量这一代价，我们提出了“锐化税”（Sharpening Tax），一种诊断指标，用于量化后训练后测试时可扩展性的损失。在来自四个模型家族的 14 对基础/后训练模型及三个智能体基准（共 42 个案例）的实验中，这种代价在大多数设置中普遍存在，可通过少量回滚估算，并且与其他指标具有良好相关性。最后，我们提出了后验调节组采样（Posterior-Tempered Group Sampling，PTGS），一种简单即插即用的贝叶斯采样器，根据每个提示的估计难度调整采样温度。在两个智能体环境的 RL 训练中应用时，PTGS 的代价低于固定温度基线，在重复采样下解决更多任务，同时也提高了单次准确率。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.01509 (HTTP 429)

Authors: Changdae Oh,Qi Zeng,Qi Qi,Andrey Zhmoginov,Deren Lei,Yun He,Hoang Phan,Hangoo Kang,Azalia Mirhoseini,Sharon Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.01509.pdf

Arxiv URL: https://arxiv.org/abs/2610.01509

Arxiv ID: 2610.01509

CoolPaper URL: https://papers.cool/arxiv/2610.01509

Published: 2026-10-03T02:19:21.276Z

Updated: 2026-10-03T02:19:21.276Z

10. E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

Abstract:Masked diffusion models (MDMs) generate sequences by progressively unmasking several tokens per denoising step, but their reverse process is typically factorized over positions, limiting sample quality in the few-step regime where diffusion’s speed advantage over autoregressive decoding matters most. A recent line of work introduces a continuous Gaussian latent, trained as a variational autoencoder, to capture correlations across positions, but such approaches are prone to posterior collapse, where the latent is silently ignored. We propose Enhanced Mixture-of-Experts (E-MoE), which builds the reverse process as a mixture of factorized distributions over a discrete shared latent given by the expert-routing decisions of a Mixture-of-Experts (MoE) backbone, without increasing active parameters over the factorized baseline. Across synthetic multi-modal benchmarks, binarized MNIST, and LM1B, E-MoE improves few-step generation over factorized baselines.

中文摘要

摘要：掩码扩散模型（MDMs）通过在每个去噪步骤中逐步取消多个标记的掩码来生成序列，但它们的逆过程通常是按位置进行分解，这限制了在扩散相对于自回归解码速度优势最重要的少步骤情况下的样本质量。近期的一些工作引入了连续高斯潜变量，作为变分自编码器进行训练，以捕捉跨位置的相关性，但这类方法容易出现后验塌缩，即潜变量被悄然忽略。我们提出了增强型专家混合（E-MoE），其利用专家路由决策给出的离散共享潜变量，将逆过程构建为一组按位置分解分布的混合，而无需增加超过分解基线的活跃参数。在合成多模态基准、二值化MNIST以及LM1B上，E-MoE在少步骤生成方面优于分解基线。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*掩码扩散语言模型（Masked Diffusion Models, MDM）在少步（few-step）生成场景下的分解误差（factorization error）问题\*\*，并克服现有连续潜变量方法带来的架构与训练负担。具体可归纳为以下两点： ### 1. MDM 后向过程的分解误差现有的 MDM（如 MDLM）虽然通过双向注意力在每一步并行预测多个 token，但其反向过程 p_θ(x_s|x_t) 通常在\*\*各个位置上是分解的\*\*，即表示为各 token 边缘分布的乘积：

pθ(x_s|x_t) = prod(ell=1)^(L) p_θ(x_s^ell | x_t)
这种分解意味着在同一步去噪中被同时揭示的多个 token 被当作**条件独立**处理，忽略了它们之间的跨位置相关性。当使用较少的去噪步数（NFE）时，每一步需要同时采样大量 token，这种独立采样会将数据分布中本不存在的 token 组合拼凑在一起（即产生“虚假配对”），严重制约了少步生成的样本质量。 ### 2. 现有连续潜变量方法的局限近期工作（如 VADD）尝试通过引入**连续的共享潜变量** z 来建模 token 间的相关性，将反向过程构造为混合分布：

pθ(x_s|x_t) = ∫ pθ(xs|x_t, z) , p(z) , dz
然而，这类方法存在以下缺陷： - **需要预设参数化先验**：通常强制使用高斯先验 p(z) ，限制了先验对数据结构的表达能力； - **引入额外网络**：必须联合训练一个辅助的识别网络（VAE 编码器）作为变分后验 qφ(z|x0, x_t) ，增加了可学习参数量和训练复杂度； - **易于后验坍塌（posterior collapse）**：潜变量可能被模型忽略，导致其无法发挥协调多 token 预测的作用。 ### 论文的解决思路为规避上述问题，论文提出 **Enhanced Mixture-of-Experts (E-MoE)**，将 MoE 骨干网络本身已有的**离散路由决策**作为共享潜变量，把反向过程建模为基于这些路由的混合分解分布。此举无需增加额外活跃参数、无需设计先验分布、无需辅助识别网络，在提升少步生成质量的同时避免了后验坍塌。 Q2: 有哪些相关研究？围绕 **E-MoE** 的研究背景主要涵盖掩码扩散语言模型的基础架构、少步采样加速，以及缓解反向过程分解误差的相关尝试。依据论文内容，可将相关研究归纳为以下四个方向： ### 1. 掩码扩散语言模型（MDM）这类模型以前向掩码腐蚀与反向去噪为核心，利用双向注意力在每一步并行预测多个 token，从而摆脱自回归解码的顺序约束： - **Austin et al. (2021)**：提出了离散状态空间上的结构化去噪扩散框架。 - **Lou et al. (2024)**（SEDD）：通过估计数据分布比值来建模离散扩散过程。 - **Sahoo et al. (2024)**（MDLM）：采用吸收态掩码机制简化扩散建模，是 E-MoE 最直接对比的分解化基线。 - **Shi et al. (2024)** 与 **Ou et al. (2025)**：进一步简化并分析了掩码扩散的前向与反向过程特性。上述工作的共同局限在于，其反向过程通常在各位置间分解为 pθ(xs|x_t) = prod(ell) p_θ(x_s^ell|x_t) ，导致少步生成时并行揭示的 token 之间缺乏显式相关性。 ### 2. MDM 的蒸馏与少步采样加速另一条路线保持分解化参数化不变，转而通过蒸馏或轨迹压缩来减少采样步数： - **SDTT**（Deschenaux & Gulcehre, 2025）：将 MDM 逐步自蒸馏，每阶段将所需采样步数减半。 - **DUO**（Sahoo et al., 2025; Deschenaux et al., 2026）：利用离散扩散与连续扩散之间的对偶性，将一致性蒸馏迁移到离散场景。 - **DiMO**（Zhu et al., 2025b）：在单步前向中匹配教师分布。 - **IDLM**（Li et al., 2026a）：通过逆方向对抗训练实现蒸馏。这类方法通常依赖预训练教师模型，而 E-MoE 则选择**从头训练**以内在地建模 token 间的相关性，而非事后压缩采样轨迹。 ### 3. 克服分解误差的相关研究为缓解反向过程分解带来的独立采样误差，现有文献提出了多种非分解化或相关性增强方案： **（1）连续共享潜变量方法** - **VADD**（Xie et al., 2026）：引入全局连续潜变量 z ∈ R^d ，将反向过程建模为

pθ(x_s|x_t) = ∫ pθ(xs|x_t, z) , p(z) , dz,
从而以混合形式恢复相关性。然而，该方法需要预设高斯先验 p(z) ，并引入额外的 VAE 识别网络 qφ(z|x_0, x_t) 进行联合训练，易发生后验坍塌。 - **LADD**（Shariatian et al., 2026）与 **Coevolutionary Continuous Discrete Diffusion**（Zhou et al., 2026）：同样基于连续潜变量扩展 MDM，但保留了参数化先验与辅助网络的负担。 **（2）联合结构与过程改进方法** - **DCD**（Liu et al., 2025）：在去噪网络中引入 copula 模型，恢复同时去噪位置间的联合结构。 - **CoDD**（Li et al., 2026b）：用可处理的相关层直接替代分解输出层。 - **ReDi**（Yoo et al., 2026b）：重新耦合扩散轨迹以降低条件总相关。 - **FLDD**（Bartosh et al., 2026）：学习自适应的前向噪声过程来缓解分解问题。这些方法或带来显著的计算开销，或依赖后训练微调。与之不同，E-MoE 通过重用模型内部已有的路由决策来引入混合建模，无需额外网络或复杂的后处理。 ### 4. 混合专家模型（MoE）与扩散语言模型 MoE 架构通过稀疏激活扩展模型容量，已被用于缩放扩散语言模型： - **Shazeer et al. (2017)** 与 **Fedus et al. (2022)**（Switch Transformers）：奠定了稀疏门控 MoE 的基础。 - **Nie et al. (2025)**（LLaDA-style MDM）：探索了 Q3: 论文如何解决这个问题？论文通过提出 **Enhanced Mixture-of-Experts (E-MoE)** 框架来解决上述问题。该方法的核心在于：将混合专家（MoE）骨干网络内部已有的**离散路由决策**重新解释为共享潜变量，从而把反向过程构造为**可学习的、数据相关的混合分解分布**，在不增加额外活跃参数和额外识别网络的前提下打破分解屏障。具体实现路径可分为以下五个层面： —- ### 1. 以离散路由决策作为共享潜变量不同于 VADD 等引入连续潜向量 z ∈ R^d 的做法，E-MoE 利用 MoE 架构天然存在的**离散专家指派**作为共享潜变量：

z := zd(d=1)^(D) ∈ 1, dots, E^(L × D),
其中 z_d^ell 表示第 d 层中第 ell 个 token 所选的专家。这一潜变量是**离散**的，且已嵌入模型前向传播过程中，无需额外设计参数化先验，也无需引入辅助的 VAE 编码器。 —- ### 2. 反向过程建模为可学习的混合分布基于该离散潜变量，反向过程被建模为对专家路由的混合：

pθ(x(ts) | x(ti)) = ∑(z) pθ(z | x(ti)) , pθ(x(t_s) | x(ti), z),
其中每一个混合分量 pθ(x(t_s) | x(ti), z) 仍保持位置间的分解形式：
pθ(x(t_s) | x(ti), z) = prod(ell=1)^(L) q!(x(t_s)^ell ,|, x(ti), xθ^ell).
通过先验 pθ(z | x(ti)) 对不同的因子化分量进行加权求和，整体反向过程**不再分解为独立的 token 边缘分布**，从而能够刻画同一步去噪中多个 token 之间的隐式相关性。 —- ### 3. 共享路由器构造先验与后验 E-MoE 使用**同一个路由器网络**同时承担生成先验与变分后验的角色，避免了 VADD 中需要单独训练识别网络的问题： - **先验（Noisy Pass）**： qθ(z | x(t_i)) ，由路由器 rho(θ,d)^ell(x(t_i), t_i) 在**噪声序列**上输出，用于推理阶段。 - **后验（Clean Pass）**： pθ(z | x(t_i), x_0) ，由同一路由器 rho(θ,d)^ell(x_(t_i), x_0, t_i) 在**拼接了清洁序列 x_0 的输入**上输出，用于训练阶段。两者均按层和位置分解为级联的类别分布：

pθ(z | x(ti), x_0) = prod(d=1)^(D) prod(ell=1)^(L) pθ(zd^ell | z(<d)^ell, x_(t_i), x_0),

qθ(z | x(ti)) = prod(d=1)^(D) prod(ell=1)^(L) qθ(zd^ell | z(<d)^ell, x(t_i)).
—- ### 4. 可计算的 ELBO 训练目标论文推导了针对该混合反向过程的负对数似然上界（Proposition 3.1），并进一步将其转化为 MoE 参数化下的训练损失。总目标函数包含两项： **（1）专家重建项** 在采样得到后验路由 z 后，由对应专家 μ(θ,e)^ell 预测清洁 token，对掩码位置求交叉熵：

E(qθ(z|xt_i), x_0)![ -(1) / (t_i) ∑(ell ∈ M(xt_i)) log pθ!(x0^ell ,|, x(ti)^ell, z) ].
**（2）路由对齐 KL 项** 由于先验与后验具有相同的层-位置分解结构，潜变量间的 KL 散度可被解析地写为每层每 token 的类别 KL 之和：
KL(route) = ∑(d,ell) KL!( Cat!(·; rho(θ,d)^ell(x(t_i), x_0, t_i)) ,||, Cat!(·; rho(θ,d)^ell(x(t_i), t_i)) ).
最终训练目标为：
L(E-MoE) := E(p_data)(x_0), t_i E(q(xt_i)|x_0) [ E(qθ(z|x_t_i),x_0)![ -(1) / (t_i) ∑(ell ∈ M(xt_i)) log pθ(x0^ell|x(ti)^ell, z) ] + T · KL(route) ].
—- ### 5. 基于 Gumbel-Softmax 的端到端训练与采样由于潜变量 z 是离散的，论文采用 **Gumbel-Softmax 技巧配合 Straight-Through 估计器** 实现可微采样：

zd^ell = exp!((log rho(θ,d)^ell(x(t_i), x_0, t_i)_e + g(d,e)^ell)/τ)∑(j=1)^(E) exp!((log rho(θ,d)^ell(x(t_i), x_0, t_i)_j + g(d,j)^ell)/τ),
其中 g 为 Gumbel 噪声， τ 为温度参数。训练时从后验采样 z ，前向传播仅激活 Top-2 重归一化后的选中专家；推理时则从先验 pθ(z|x(ti)) 采样路由，每步仅需**一次前向传播**（与 MDLM 相同），不增加推理开销。 —- ### 总结通过上述设计，E-MoE 在不增加活跃参数量、不引入额外识别网络、不预设高斯先验的前提下，将反向过程从“单一路径的分解近似”提升为“多专家路径的混合近似”，有效缓解了少步生成中的分解误差与后验坍塌问题。 Q4: 论文做了哪些实验？论文在 **5 Experiments** 章节及附录中开展了系统性的实证评估，涵盖从低维合成密度到大规模文本生成的三个层级任务。所有对比均在**匹配骨干网络规模、优化器与训练预算**的前提下进行，以确保增益仅来源于路由机制本身。 —- ### 1. 实验设置与对比基线所有实验均对比以下三类模型： - **MDLM (Sahoo et al., 2024)**：因子化基线，反向过程在各位置独立采样。 - **VADD (Xie et al., 2026)**：连续潜变量基线，引入高斯先验与额外的 VAE 识别网络。 - **E-MoE (Ours)**：论文提出的基于离散路由潜变量的混合专家模型。此外，在 LM1B 实验中还额外对比了 **SEDD** (Lou et al., 2024) 与 **BD3-LM** (Arriola et al., 2025)。评估统一采用 **NFE**（Number of Function Evaluations，即前向传播次数）衡量采样步数。 —- ### 2. 二维玩具示例（Two-Dimensional Toy Examples） **目的**：直观验证因子化采样在少步情况下的“虚假配对”失效，以及 E-MoE 的离散潜变量能否恢复跨 token 相关性。 - **数据集**： - **8-modes**：8 个分离的高斯簇，坐标独立采样易产生簇间不存在的伪模式。 - **Swiss-roll**：一维流形嵌入二维空间，因子化采样会填充流形周围的空白区域。 - **配置**：序列长度 L=2 ，每坐标离散为 K=50 个 token；训练集 20,000 点；3 个随机种子取平均。 - **评估指标**：**Validity**（有效性），即生成样本落在真实数据支撑集上的比例。 - **结果摘要**： - 在 NFE =1 时，MDLM 的样本在 8-modes 上形成模糊网格，在 Swiss-roll 上填满整个圆盘。 - E-MoE 与 VADD 均显著改善有效性，且 **E-MoE 在 8-modes 上 consistently 优于 VADD**（NFE =1 时 94.4% vs 91.8%），验证了其离散混合机制对跨位置相关性的捕捉能力。 —- ### 3. 像素级图像生成（Binarized MNIST） **目的**：在高维离散空间（图像像素）上检验 E-MoE 的少步生成质量与似然估计。 - **数据集**：标准 MNIST 二值化并 padding 至 32 × 32 ，共 L=1024 个二元 token。 - **骨干网络**：基于 UNet（卷积结构，无自注意力），通道数 72，8 个残差块。 - **评估指标**： - **Bits-per-dimension (BPD, ↓ )**：测试集上的负 ELBO 上界，转换为每像素的比特数。 - **少步样本可视化**：NFE =1, 2, dots 时的生成图像。 - **结果摘要**： - **BPD**：E-MoE 达到 **0.062**，优于 MDLM（0.077）与 VADD（0.064）。 - **参数量**：E-MoE（2.49M）与 VADD（2.50M）相当，但均未在推理时增加活跃参数量。 - **视觉质量**：MDLM 在低 NFE（ ≤ 2 ）下产生碎片化笔画和全局不一致的数字形状；E-MoE 在 NFE =1 时即可生成连贯数字。 —- ### 4. 文本生成（LM1B） **目的**：在真实语言建模任务上评估少步生成的流畅度、多样性与分布匹配程度。 - **数据集**：One Billion Words (LM1B)，使用 bert-base-uncased 分词器，序列长度 L=128 ，全局 batch size 512，训练 1M 步。 - **骨干网络**：小型 DiT（Diffusion Transformer），12 层，隐藏维度 768，12 头注意力。 - **评估指标**： - **Generative Perplexity (Gen-PPL, ↓ )**：使用 GPT-2-Large 作为裁判模型，衡量生成样本的困惑度。 - **Sample Entropy ( H , ↑ )**：样本的 unigram 熵，用于监控多样性，确保困惑度提升非来自模式坍塌。 - **MAUVE ( ↑ )**：比较生成分布与真实 LM1B 分布的匹配度，惩罚既有的不合理样本，也惩罚缺失的模式。 - **结果摘要**： - **少步优势（NFE =1,2 ）**： - Gen-PPL：E-MoE 在 NFE =1 时为 **643.8**，相比 MDLM（1433.8）降低 **2.2 倍**以上，相比 VADD（1270.8）也显著更优；NFE =2 时优势保持（383.7 vs 997.5 vs 763.2）。 - MAUVE：E-MoE 在 NFE =2 时达到 **24.6%**，而 MDLM 仅 3.0%，VADD 仅 3.8%。 - **高步数收敛**：随着 NFE 增加至 64–128，所有模型差距缩小，E-MoE 最终与 MDLM/VADD 收敛到相近水平，符合分解误差在步数足够大时自然减弱的预期。 - **样本熵匹配**：所有模型的 H 保持在 4.32–4.35 之间（真实数据为 4.32），说明 E-MoE 的增益并非以牺牲多样性为代价。 —- ### 5. 附录中的补充实验与消融除正文三项主实验外，论文在附录中提供了多项补充分析： - **完整 NFE 扫描（Appendix C.1）**：展示 8-modes 与 Swiss-roll 在 NFE ∈ 1,2,8,32 下的生成散点图，直观显示 MDLM 的伪模式直至 NFE =32 仍未完全消除。 - **二值化 MNIST 样本（Appendix C.2）**：补充不同 NFE 下的生成图像对比。 - **路由混合消融（Appendix C.3.2）**：将 E-MoE 采样时的随机路由替换为贪心路由（ τ_s to 0 ，混合坍塌为单一路径），Gen-PPL 立即上升至接近 MDLM 水平，证明**增益确来自混合采样而非参数量增加**。 - **潜变量使用监控（Appendix C.3.3）**：训练过程中，VADD 的连续潜变量 KL 坍塌至约 0.14 nats/token；而 E-MoE 的路由 KL 稳定在约 0.65 nats/token，表明离散潜变量在整个训练过程中保持活跃，无需求助于 warmup 或辅助损失。 - **生成样例展示（Appendix C.3.4）**：提供 LM1B 上各模型在不同 NFE 下的真实生成文本，以颜色标注语法/语义一致性片段，显示 E-MoE 在低 NFE 下已能产出可读的英文片段。 —- ### 总结论文的实验设计覆盖了**合成多模态密度**、**像素级图像**与**大规模文本**三类任务，评估指标兼顾了似然估计（BPD）、少步质量（Gen-PPL）、分布匹配（MAUVE）与定性分析（可视化、文本样例），并辅以严格的消融实验验证混合机制与潜变量活跃度的因果性。核心结论是：**E-MoE 在不增加活跃参数与推理开销的前提下，显著改善了掩码扩散模型在少步（尤其是 NFE =1 sim 4 ）场景下的生成质量**。 Q5: 有什么可以进一步探索的点？基于论文的方法论、实验结果与自陈的局限性，可从以下四个维度展开进一步探索： —- ### 一、方法扩展与算法改进 **1. 跨步路由依赖的时序建模** 当前 E-MoE 的路由潜变量 z 仅在单步去噪内实现混合，各扩散步之间的路由决策相互独立。可引入**跨步骤的路由先验**，例如建模 pθ(z^((t(i-1))) mid z^((t_i)), x(ti)) ，使相邻去噪步的专家指派产生时序一致性。这种设计可能在极低 NFE（如 NFE =1 或 2 ）之外，继续为高步数生成提供结构化收益，延缓论文指出的“高 NFE 时优势自然衰减”现象。 **2. 自适应路由温度与动态混合权重** 论文采用固定或指数衰减的温度 τ 控制 Gumbel-Softmax 的离散程度。可探索**基于当前噪声水平 t 或序列内容的自适应温度**，例如在高度损坏的 x_t （ t 接近 1）时保持较高温度以鼓励混合探索，在低噪声区域（ t 接近 0）时锐化路由以聚焦精细恢复。形式上可学习 τθ(x_t, t) ，实现去噪进度感知的专家调度。 **3. 融合蒸馏的端到端少步生成** 论文明确将蒸馏类工作（SDTT、DUO、DiMO 等）划为 out of scope，因其依赖预训练教师模型。一个直接的方向是将 E-MoE 作为**更强的教师模型**进行一致性蒸馏或逆方向蒸馏（IDLM），将其在低 NFE 下的混合建模能力压缩为单步或两步学生模型。反之，也可将离散路由混合直接嵌入蒸馏目标，使学生在少步推理时继承跨 token 相关性。 —- ### 二、架构与潜空间设计 **4. 层次化与结构化路由** 当前潜变量 z ∈ 1,dots,E^(L × D) 对每个 token 和每层独立选择专家。可探索**结构化路由机制**，例如： - **Span-level 路由**：令相邻 token 共享路由决策，强制局部一致性，降低潜空间维度； - **全局-局部双层路由**：引入少量全局路由变量控制整体生成模式（如文体、话题），与局部 per-token 路由协同，形成层次化混合：

pθ(x_s mid x_t) = ∑(z^(global)) ∑(z^(local)) pθ(z^(global), z^(local) mid xt) , pθ(x_s mid x_t, z^(global), z^(local)).
**5. 连续-离散混合潜变量** E-MoE 完全摒弃了连续潜变量以规避后验坍塌与先验设计问题，但连续变量在平滑插值与密度建模上仍有优势。可设计**混合潜空间** z = (z^(disc), z^(cont)) ，其中离散部分复用 MoE 路由，连续部分以轻量级方式（如单个小投影层）注入，探索两者在相关性建模上的互补性。 **6. 超大规模 MoE 下的专家特化分析** 论文实验规模相对适中（LM1B 上 E=8 ）。将 E-MoE 扩展至数百甚至上千专家的稀疏 MoE（如 LLaDA-MoE 风格），可深入研究：**路由器是否会自发形成可解释的语义特化**（例如句法专家、命名实体专家、标点专家）。若存在此类特化，可通过人为约束或奖励路由分布来进一步提升文本连贯性。 —- ### 三、理论分析 **7. 离散混合的表达能力上界** 从理论上刻画 E-MoE 的混合分布

pθ(x_s mid x_t) = ∑(z) pθ(z mid x_t) prod(ell=1)^(L) p_θ(x_s^ell mid x_t, z)
所能逼近的联合分布复杂度。具体而言，可将其与基于 copula 的 DCD（Liu et al., 2025）和基于连续潜变量的 VADD 进行**表达能力比较**，分析离散混合在捕捉高阶 token 交互时的优势与瓶颈（例如是否受限于专家数量 E 的指数级增长需求）。 **8. 路由 KL 与后验坍塌的深层机制** 论文观察到离散路由 KL 稳定在 ≈ 0.65 nats/token 而未坍塌，VADD 的连续 KL 则跌至 ≈ 0.14 。可系统研究**离散潜变量规避后验坍塌的理论原因**——例如离散分布的信息瓶颈特性、梯度 via straight-through estimator 的流动方式、或类别分布的熵下界效应——并将这些洞察推广至更广泛的离散 VAE 与扩散模型设计。 **9. 更紧的变分界与似然估计** 论文的训练目标基于 ELBO 上界（Proposition 3.1）。可尝试引入**重要性加权自编码器（IWAE）**风格的多样本目标，或设计针对离散潜变量的 Rao-Blackwellized 梯度估计器，以获得更紧的对数似然下界，甚至实现测试集上的精确似然比较。 —- ### 四、应用场景与效率优化 **10. 结构化生成任务（代码、数学推理）** 论文实验集中于通用文本（LM1B）与图像。在**代码生成**或**数学证明生成**等高度依赖结构化相关性的任务中，因子化误差的危害可能更显著（例如括号匹配、变量名一致性）。E-MoE 的离散路由可能在此类场景中展现更大优势，值得专门评估。 **11. 训练效率优化** 当前训练需两次前向传播（noisy pass 与 clean pass），与 VADD 相同但高于 MDLM 的单次传播。可探索**路由缓存机制**（例如在相邻训练步间复用清洁序列的路由特征）、或**单次传播估计**（通过历史路由的动量更新近似 clean pass），在不损害 KL 对齐的前提下将训练成本降至与因子化基线相同。 **12. 推理时的路由搜索** 尽管 E-MoE 的默认推理每步仅需一次前向传播，但可牺牲少量额外计算进行**路由空间束搜索（beam search in routing space）**：在每个去噪步保留 top- k 路由配置，沿多个专家路径并行去噪并选择最优子序列。这可在固定模型参数下进一步压榨少步生成的质量上限，作为推理时计算换质量的可选策略。 Q6: 总结一下论文的主要内容论文提出 **Enhanced Mixture-of-Experts (E-MoE)**，旨在解决掩码扩散语言模型（Masked Diffusion Models, MDM）在少步生成场景下的核心瓶颈，即反向过程的分解误差问题。以下从研究动机、方法框架、理论推导、实验验证与核心结论五个方面进行总结。 —- ### 1. 研究背景与动机 - **MDM 的分解误差**：现有 MDM（如 MDLM）的反向过程通常在各位置上分解为边缘分布的乘积：

pθ(x_s mid x_t) = prod(ell=1)^(L) pθ(x_s^ell mid x_t)
这种形式在每一步并行采样多个 token 时，将它们视为条件独立，忽略了跨位置相关性，导致少步（few-step）生成时出现“虚假配对”与模式坍塌，严重制约生成质量。 - **连续潜变量方法的局限**：近期工作（如 VADD）通过引入连续共享潜变量 z 来缓解该问题，但此类方法通常需要： - 预设参数化先验（如高斯分布）； - 引入额外的变分自编码器（VAE）识别网络 qφ(z mid x_0, x_t) ； - 承担后验坍塌（posterior collapse）的风险。 —- ### 2. 核心方法：E-MoE 论文提出将 **MoE 骨干网络中的离散路由决策直接作为共享潜变量**，从而构建非分解的反向过程，具体包括： - **离散共享潜变量**：对于 D 层、每 token 指派专家的 MoE 网络，定义潜变量为

z = zd(d=1)^(D) ∈ 1, dots, E^(L × D),
其中 zd^ell 表示第 d 层第 ell 个 token 的路由选择。该潜变量天然嵌入模型前向传播，无需额外设计。 - **混合分解的反向过程**：反向过程建模为对路由决策的可学习混合：
pθ(x(t_s) mid x(ti)) = ∑(z) pθ(z mid x(ti)) , pθ(x(t_s) mid x(ti), z),
其中每个混合分量仍保持位置间分解，但整体通过离散潜变量的边缘化实现了跨 token 相关性的建模。 - **共享路由器机制**：使用**同一组路由器参数**构造： - **先验** qθ(z mid x(t_i)) ：由噪声序列 x(ti) 驱动，用于推理； - **后验** pθ(z mid x_(t_i), x_0) ：由拼接了清洁序列 x_0 的输入驱动，用于训练。两者均按层和位置分解，避免了引入额外识别网络。 - **训练与采样**：采用 **Gumbel-Softmax + Straight-Through 估计器** 实现离散路由的可微采样。训练时每步需两次前向传播（先验与后验），但推理时每步仅需**一次前向传播**，与因子化基线的推理开销相同。 —- ### 3. 理论贡献论文推导了基于离散共享潜变量的负对数似然上界（Proposition 3.1）。在 MoE 参数化下，训练目标由两项构成： - **专家重建项**：在采样得到路由 z 后，由对应专家预测清洁 token，对掩码位置求交叉熵损失； - **路由对齐项**：由于先验与后验具有相同的层-位置分解结构，潜变量的 KL 散度可解析地写为每层每 token 的类别 KL 之和：

KL(route) = ∑(d,ell) KL!(Cat(·; rho(θ,d)^ell(x(ti), x_0, t_i)) ,|, Cat(·; rho(θ,d)^ell(x(t_i), t_i))).
最终训练目标为：
L(E-)MoE = E(p_data), t_i E(q(xt_i) mid x_0) [ E(qθ(z mid x_t_i), x_0)![ -(1) / (t_i) ∑(ell ∈ M(xt_i)) log pθ(x0^ell mid x(ti)^ell, z) ] + T · KL(route) ].
—- ### 4. 实验验证论文在三个层级任务上进行了系统评估，所有对比均在匹配骨干规模、优化器与训练预算的条件下进行： | 任务 | 关键发现 | |———|————-| | **二维玩具密度**（8-modes / Swiss-roll） | 在 NFE =1 时，因子化 MDLM 产生大量伪模式（模糊网格或填充整个圆盘），E-MoE 与 VADD 均显著改善有效性（Validity），且 E-MoE 在 8-modes 上优于 VADD（94.4% vs 91.8%）。 | | **二值化 MNIST** | E-MoE 取得最优的测试 BPD（0.062），优于 MDLM（0.077）与 VADD（0.064）；在 NFE =1 时即可生成连贯数字，而 MDLM 在低步数下仅产生碎片化笔画。 | | **LM1B 文本生成** | 在 NFE =1 和 2 时，E-MoE 的生成困惑度（Gen-PPL）相对 MDLM 降低 **2.2 倍以上**（643.8 vs 1433.8），MAUVE 分数领先更为悬殊（NFE =2 时 24.6% vs 3.0%）；样本熵与真实数据匹配（ ≈ 4.34 ），表明增益并非来自多样性损失。 | 此外，消融实验表明： - 将 E-MoE 的随机路由退化为贪心路由（混合坍塌）后，性能立即回落至接近 MDLM 水平，证明增益确来自**混合采样机制**本身； - 训练过程中 VADD 的连续潜变量 KL 坍塌至约 0.14 nats/token，而 E-MoE 的离散路由 KL 稳定在约 0.65 nats/token，**不存在后验坍塌**。 —- ### 5. 核心结论 E-MoE 通过重新解释 MoE 架构中已有的离散路由决策为共享潜变量，在不增加活跃参数量、不引入额外识别网络、不预设高斯先验的前提下，将 MDM 的反向过程从单一路径的因子化近似提升为**数据驱动的混合分解近似**。该方法有效打破了少步生成中的分解屏障，在合成数据、图像与真实文本任务上均实现了显著的质量提升，同时保持了与因子化基线相同的推理效率。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Arseny Ivanov,Alexander Kolesov,Alexander Korotin,Ivan Oseledets,Mikhail Goncharov

Categories:

PDF URL: https://arxiv.org/pdf/2609.37533.pdf

Arxiv URL: https://arxiv.org/abs/2609.37533

Arxiv ID: 2609.37533

CoolPaper URL: https://papers.cool/arxiv/2609.37533

Published: 2026-10-03T02:19:25.999Z

Updated: 2026-10-03T02:19:25.999Z

11. ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

Abstract:Automated harness optimization can substantially improve LLM agents by iteratively updating their prompts, tool interfaces, and control logic from execution feedback. However, existing methods primarily optimize how the harness is updated while largely fixing which training scenarios generate the feedback that drives those updates. As the harness evolves, the scenarios most useful for further optimization can change, suggesting that the training curriculum itself should adapt alongside the harness. We formulate this missing dimension of harness optimization as an automated curriculum learning problem and introduce ActiveSaddler. ActiveSaddler models the evolving curriculum as a non-stationary bandit with dynamically instantiated optimization targets. It abstracts recurring failures into reusable failure-pattern arms, estimates the potential learning progress from further targeting each pattern, and adaptively balances revisiting known weaknesses with exploring unseen scenarios for new ones. Optimization outcomes continually update both the set of discovered failure patterns and their priorities, allowing the curriculum to co-evolve with the harness. Experiments on GAIA2 and Terminal-Bench 2.0 show that ActiveSaddler consistently discovers stronger harnesses, improving test Pass@1 by 4.4 and 7.5 percentage points over the same harness optimizer using a scenario order fixed before optimization, respectively. Ablations further show that these gains depend on dynamically constructing optimization targets, estimating their evolving utility, and balancing continued optimization with new failure discovery. Together, these results establish automated curriculum learning as a new crucial optimization dimension for harness optimization.

中文摘要

摘要：自动化执行器优化可以通过迭代更新大型语言模型（LLM）代理的提示、工具接口和控制逻辑，从执行反馈中显著提升其性能。然而，现有方法主要优化执行器的更新方式，同时在很大程度上固定了生成驱动这些更新的反馈的训练场景。随着执行器的发展，对于进一步优化最有用的场景可能会发生变化，这表明训练课程本身也应随着执行器一起适应。我们将这一缺失的执行器优化维度形式化为一个自动化课程学习问题，并引入了 ActiveSaddler。ActiveSaddler 将不断演变的课程建模为具有动态实例化优化目标的非平稳赌博机问题。它将重复出现的失败抽象为可复用的失败模式臂，估计针对每种模式进一步优化的潜在学习进展，并自适应地在重新审视已知弱点与探索新场景以发现新弱点之间进行平衡。优化结果会持续更新已发现的失败模式集合及其优先级，使课程能够与执行器共同演化。在 GAIA2 和 Terminal-Bench 2.0 上的实验表明，ActiveSaddler 始终能发现更强的执行器，使测试 Pass@1 分别较在优化前固定场景顺序下使用相同执行器优化器的结果提高 4.4 和 7.5 个百分点。消融实验进一步显示，这些提升依赖于动态构建优化目标、估计其不断变化的效用，以及在持续优化与新失败发现之间进行平衡。总体而言，这些结果确立了自动化课程学习作为执行器优化的一个新的关键优化维度。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00906 (HTTP 429)

Authors: Sungho Park,Wonjoong Kim,Jue Zhang,Wook-Shin Han,Pengfei Gao,Chanyoung Park,Yongqiang Yao,Rao Fu,Elsie Nallipogu,Qingwei Lin,Victor Rühle

Categories:

PDF URL: https://arxiv.org/pdf/2610.00906.pdf

Arxiv URL: https://arxiv.org/abs/2610.00906

Arxiv ID: 2610.00906

CoolPaper URL: https://papers.cool/arxiv/2610.00906

Published: 2026-10-03T02:19:26.546Z

Updated: 2026-10-03T02:19:26.546Z

12. ROWBench: Do Video Models Render What the Program Specifies?

Abstract:Programmable world models separate executable dynamics from visual generation, offering a promising foundation for next-generation game engines. However, their visual adherence to explicit rules and interactions remains insufficiently evaluated. Existing benchmarks assess visual quality, controllability, and instruction or physical adherence, but rarely test fidelity to fine-grained, program-specified world events. We introduce PROWBench, comprising 170 programmatically constructed episodes and 600 proxy videos covering diverse scenes and interactions. PROWBench logs entity states and timestamped events, including those outside the camera’s field of view, as replayable world records, from which it renders synchronized views and proxy representations. This enables generated videos to be checked against the observable consequences of program execution. An extensible framework constructs scenes, controls behaviors, and can render each camera view in different representations, such as coarse 3D, and bounding boxes. The benchmark covers first- and third-person perspectives, with synchronized multi-view observations available for a subset of episodes. Grounded in these records, PROWBench evaluates entity control, long-horizon memory, and, with two VLM-based metrics, Logic-Render Alignment and Interaction Success Rate, adherence to the prescribed timeline and the visual realization of timestamped engine-recorded events.

中文摘要

摘要：可编程世界模型将可执行动态与视觉生成分离，为下一代游戏引擎提供了有前景的基础。然而，它们在视觉上对显式规则和交互的遵循仍然评估不足。现有的基准测试评估视觉质量、可控性，以及指令或物理遵循性，但很少测试对程序指定的细粒度世界事件的保真度。我们引入了PROWBench，它包含170个程序化构建的场景和600个涵盖各种场景和交互的代理视频。PROWBench记录实体状态和带时间戳的事件，包括那些在摄像机视野之外的事件，作为可重放的世界记录，从中渲染同步视图和代理表示。这使生成的视频可以与程序执行的可观察结果进行对比检查。一个可扩展框架构建场景、控制行为，并可以以不同的表示方式渲染每个摄像机视图，例如粗略的3D和边界框。该基准测试涵盖第一人称和第三人称视角，并为部分场景提供同步多视角观察。基于这些记录，PROWBench评估实体控制、长时程记忆，并通过两个基于VLM的指标——逻辑渲染一致性（Logic-Render Alignment）和交互成功率（Interaction Success Rate）——评估对规定时间线的遵循以及时间戳记录事件的视觉实现。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02205 (HTTP 429)

Authors: Zheng-Hui Huang,Guixu Lin,Yu-Ju Tsai,Jian-Kai Zhu,Fengbo Lan,Yu-Lun Liu,Yung-Yu Chuang,Kaipeng Zhang,Zhixiang Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.02205.pdf

Arxiv URL: https://arxiv.org/abs/2610.02205

Arxiv ID: 2610.02205

CoolPaper URL: https://papers.cool/arxiv/2610.02205

Published: 2026-10-03T02:19:28.625Z

Updated: 2026-10-03T02:19:28.625Z

13. Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL

Abstract:Multi-reward reinforcement learning trains large language models to satisfy multiple behavioral objectives simultaneously. Reward-wise normalization, as used in GDPO, preserves reward-specific relative information within rollout groups, but different objectives can still exhibit uneven learning progress. We study this behavior through advantage energy, the sum of a reward’s squared advantages over a batch. Under idealized GDPO normalization, we show that this energy is proportional to active-group density: the fraction of rollout groups in which the reward provides nonzero relative advantages. This reveals a residual batch-level signal imbalance and provides a basis for calibrating reward contributions. Based on this relation, we propose Density-Aware Reward Aggregation (DARA). We derive an inverse-square-root density correction that gives greater weight to signals from less frequently active rewards. DARA computes its weights from each rollout batch, adapting to changes in reward activity throughout training without modifying the underlying policy optimization objective. Experiments on tool calling and mathematical reasoning show that DARA learns the targeted behaviors faster than GDPO, reaching high format compliance in up to 26% fewer training steps on tool calling and near-saturated length compliance in up to 65% fewer steps on mathematical reasoning, while remaining competitive in final performance. Our code is available at this https URL.

中文摘要

摘要：多奖励强化学习训练大型语言模型以同时满足多个行为目标。在 GDPO 中使用的奖励归一化可以保留回合组内奖励特定的相对信息，但不同目标的学习进度仍可能不均衡。我们通过优势能量——一个奖励在批次中的平方优势之和——来研究这种行为。在理想化的 GDPO 归一化下，我们表明该能量与活跃组密度成正比：即在多少比例的回合组中该奖励提供非零相对优势。这揭示了残留的批次级信号不平衡，并为校准奖励贡献提供了依据。基于这一关系，我们提出了密度感知奖励聚合（DARA）。我们推导出一种反平方根密度修正，对不常活跃的奖励信号给予更高权重。DARA 从每个回合批次计算权重，根据训练过程中奖励活跃度的变化进行自适应，而无需修改基础策略优化目标。在工具调用和数学推理任务上的实验表明，DARA 学习目标行为的速度快于 GDPO，在工具调用任务中高格式符合度所需训练步数最多减少 26%，在数学推理任务中几乎饱和的长度符合度所需步数最多减少 65%，同时最终性能仍具有竞争力。我们的代码可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00574 (HTTP 429)

Authors: Tong Zheng,Skylar Zhai,Zhan Cheng,TianMing Sha,Youling Huang,Shuo Zhou,Shaotong Qi,Jingcheng Liang,Xuwei Ding,Pengcheng Xu

Categories:

PDF URL: https://arxiv.org/pdf/2610.00574.pdf

Arxiv URL: https://arxiv.org/abs/2610.00574

Arxiv ID: 2610.00574

CoolPaper URL: https://papers.cool/arxiv/2610.00574

Published: 2026-10-03T02:19:29.847Z

Updated: 2026-10-03T02:19:29.847Z

14. AutoGUIWorld: Image Generators as Visual World Models for GUI Agent

Abstract:GUI agents require high-quality interaction trajectories to learn how software environments respond to actions, maintain state, and support multi-step workflows. However, the diversity of available trajectories is constrained by the applications, interface states, and workflows accessible in the underlying environments. Expanding this coverage requires deploying increasingly diverse and complex software, with specialized applications imposing additional installation, configuration, and runtime costs. We introduce AutoGUIWorld, a data generation framework that combines the visual priors of image generators with the task knowledge of a planner to synthesize GUI interaction trajectories without deploying or running the corresponding software environments. AutoGUIWorld samples initial GUI scenes from structured specifications of operating-system context, visual appearance, and interface state, and generates tasks conditioned on those scenes. A planner then specifies atomic actions and their intended visual consequences, while an image generator iteratively edits the current screenshot to produce subsequent observations. Action grounding and transition-level quality filtering yield 79,266 spatially annotated step-level training samples across Ubuntu, Windows, macOS, and Chrome. Fine-tuning Qwen3.5-35B-A3B on AutoGUIWorld trajectories improves the mean task score on OSWorld from 33.0% to 40.8% and the task success rate on ScienceBoard from 14.0% to 32.2%. These results show that generated trajectories improve GUI-agent performance on real desktop and scientific tasks.

中文摘要

摘要：GUI代理需要高质量的交互轨迹，以学习软件环境如何响应操作、维护状态并支持多步骤工作流。然而，可用轨迹的多样性受限于底层环境中可访问的应用程序、界面状态和工作流。要扩展这种覆盖范围，需要部署越来越多样且复杂的软件，而专业应用程序还会增加额外的安装、配置和运行成本。我们引入了AutoGUIWorld，这是一个数据生成框架，将图像生成器的视觉先验与规划器的任务知识相结合，以在不部署或运行相应软件环境的情况下合成GUI交互轨迹。AutoGUIWorld从操作系统上下文、视觉外观和界面状态的结构化规范中采样初始GUI场景，并生成以这些场景为条件的任务。规划器随后指定原子操作及其预期的视觉结果，而图像生成器迭代地编辑当前截图以生成后续观测。通过操作落地和过渡级质量过滤，在Ubuntu、Windows、macOS和Chrome上生成了79,266个带有空间标注的步骤级训练样本。在AutoGUIWorld轨迹上微调Qwen3.5-35B-A3B，将OSWorld的平均任务得分从33.0%提高到40.8%，并将ScienceBoard的任务成功率从14.0%提高到32.2%。结果表明，生成的轨迹可以提高GUI代理在实际桌面和科学任务上的性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.01215 (HTTP 429)

Authors: Cheng Yang,Yifan Wu,Yutao Huang,Zhaohua Zhang,Beiduo Chen,Muxi Chen,Chenchen Zhao,Hexuan Deng,Haolin Yang,Geyuan Zhu,Sa Zhu,Jianhuan Zhuo,Qiuyong Xiao,Jianhao Ruan,Yiran Peng,Jiayi Zhang,Tian Ye,Xinlei Yu,Tianwen Jiang,Jihong Zhang,Yuyu Luo

Categories:

PDF URL: https://arxiv.org/pdf/2610.01215.pdf

Arxiv URL: https://arxiv.org/abs/2610.01215

Arxiv ID: 2610.01215

CoolPaper URL: https://papers.cool/arxiv/2610.01215

Published: 2026-10-03T02:19:30.535Z

Updated: 2026-10-03T02:19:30.535Z

15. Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation

Abstract:An agent skill is a reusable, actionable natural-language artifact that guides an agent to perform a task effectively under a given harness. Recent studies have explored the optimization of agent skills, contributing to a growing collection of publicly available skills spanning diverse tasks, domains, and harnesses. Despite millions of publicly shared skills, existing skill optimization methods largely overlook this accumulated knowledge, instead relying solely on expensive agent rollouts to iteratively refine skills for a target task. To address this, we propose \textbf{Retrieval-Augmented Skill Optimization (RASO)}, a framework that leverages an external skill corpus as prior knowledge throughout skill optimization. RASO retrieves relevant knowledge from existing skills and adapts it to the target task and harness via Cross-Harness Adaptation, accounting for mismatches in both domain and harness. RASO comprises two complementary stages: \textbf{Retrieval-Augmented Skill Initialization (RASI)} constructs a knowledge-grounded initial skill without requiring agent rollouts, while \textbf{Retrieval-Augmented Skill Update (RASU)} iteratively refines the skill by retrieving external knowledge guided by execution feedback. Across four agent benchmarks and two models, extensive experiments show that RASO consistently outperforms baselines without retrieval-augmented skill initialization and updating.

中文摘要

摘要：代理技能是一种可复用、可操作的自然语言产物，用于指导代理在给定的环境下有效执行任务。近期研究探索了代理技能的优化，促成了一个不断增长的、涵盖多任务、多领域和多环境的公开技能集合。尽管已有数百万公开分享的技能，现有的技能优化方法在很大程度上忽略了这些累积的知识，而是完全依赖昂贵的代理执行流程来迭代地优化目标任务的技能。为了解决这一问题，我们提出了\textbf{检索增强技能优化（RASO）}，这是一个在技能优化过程中利用外部技能语料库作为先验知识的框架。RASO从现有技能中检索相关知识，并通过跨环境适配（Cross-Harness Adaptation）将其应用于目标任务和环境，以应对领域和环境的不匹配问题。RASO包括两个互补的阶段：\textbf{检索增强技能初始化（RASI）}在不需要代理执行流程的情况下构建基于知识的初始技能，而\textbf{检索增强技能更新（RASU）}通过执行反馈指导下的外部知识检索，迭代地优化技能。在四个代理基准测试和两种模型上，大量实验显示，RASO始终优于没有检索增强技能初始化和更新的基线方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.38024 (HTTP 429)

Authors: Jaewon Chu,Ji Soo Lee,Jihwan Park,Dohwan Ko,Jeehye Na,Seunghun Lee,Taehoon Lee,Minseo Yoon,Minseok Joo,Yunyang Xiong,Hyunwoo J. Kim

Categories:

PDF URL: https://arxiv.org/pdf/2609.38024.pdf

Arxiv URL: https://arxiv.org/abs/2609.38024

Arxiv ID: 2609.38024

CoolPaper URL: https://papers.cool/arxiv/2609.38024

Published: 2026-10-03T02:19:35.949Z

Updated: 2026-10-03T02:19:35.949Z

Abstract:Decentralized multi-agent path finding (MAPF) with communication requires agents to reach individual goals without collisions under partial observability. Learnable policies trained on expert data provide an effective approach to this problem. However, when several coordinated joint actions are valid in the same context, independently sampling from per-agent distributions can recombine locally valid choices into incompatible joint actions. This failure can arise from the final sampling mechanism even when the per-agent action distributions are learned correctly. DMM (Decentralized Master-Mind) addresses this by replacing one-shot action sampling with discrete, iterative refinement of action intents across communication rounds, inspired by denoising in diffusion models. Agents initialize random action intents and refine them through local communication, coupling their choices before commitment. DMM is pretrained with imitation learning on expert MAPF solutions and further optimized with MICPO, a critic-free group-relative reinforcement-learning method designed for multi-agent, multi-round action refinement. DMM generally achieves higher success rates and lower solution costs than the evaluated learnable baselines. On 1,600 MovingAI tasks, DMM fine-tuned with MICPO solves 1,598, the highest coverage among the evaluated methods, while achieving solution costs close to those of the strongest baselines. DMM also scales to over one million simultaneously acting agents in obstacle-rich environments. These results show that round-level intent refinement can improve joint-action coordination while preserving decentralized execution.

中文摘要

摘要：具有通信功能的去中心化多智能体路径规划（MAPF）要求智能体在部分可观测的情况下到达各自目标且不发生碰撞。基于专家数据训练的可学习策略为这一问题提供了有效的解决方法。然而，当多个协调的联合动作在相同情境下都是有效的时，从各智能体的动作分布独立采样可能会将局部有效的选择重组成不兼容的联合动作。即便各智能体的动作分布学习正确，这种失败也可能由于最终采样机制而发生。DMM（去中心化大师模型）通过用跨通信轮次的离散迭代动作意图优化替代一次性动作采样来解决这一问题，其灵感来源于扩散模型中的去噪方法。智能体初始化随机动作意图，并通过本地通信对其进行优化，在承诺动作之前将选择进行耦合。DMM通过模仿学习在专家MAPF解决方案上进行预训练，并进一步利用MICPO（一种针对多智能体多轮动作优化设计的无评论员组相对强化学习方法）进行优化。与评估的可学习基线相比，DMM通常实现更高的成功率和更低的解决成本。在1,600个MovingAI任务中，经MICPO微调的DMM解决了1,598个任务，在评估方法中覆盖率最高，同时实现的解决成本接近最强基线。DMM还能够扩展至在障碍丰富环境中同时操作的超过一百万个智能体。结果表明，轮级意图优化可以在保持去中心化执行的同时提升联合动作协调能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.32019 (HTTP 429)

Authors: Valeriy Vyaltsev,Anton Andreychuk,Taisia Zlotnikova,Konstantin Yakovlev,Aleksandr Panov,Alexey Skrynnik

Categories:

PDF URL: https://arxiv.org/pdf/2609.32019.pdf

Arxiv URL: https://arxiv.org/abs/2609.32019

Arxiv ID: 2609.32019

CoolPaper URL: https://papers.cool/arxiv/2609.32019

Published: 2026-10-03T02:19:37.069Z

Updated: 2026-10-03T02:19:37.069Z

17. InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation

Abstract:We study test-time evolution for humanoid loco-manipulation: solving tasks that a controller was never trained for by repurposing its existing skills, improving from its own attempts, and retaining what it learns, without retraining. Our key insight is that a broad controller already holds much of the competence a new task needs, and that this competence becomes accessible through an interface between planning and control that is expressive enough to specify contact-rich, multi-stage interactions, yet executable and measurable enough that execution feedback can guide planning from experience. InterEvolve realizes this interface with two components. First, we develop an object-aware forward-backward (FB) behavioral foundation model, whose object residuals on a frozen body prior turn a new reward about the body or objects into loco-manipulation behavior at test time. Second, we specify tasks as reward programs: staged rewards with completion conditions and tunable constants. A large language model (LLM) agent revises the program structure in context, drawing on execution feedback and a skill library of verified programs, while a numerical optimizer tunes its constants. With every candidate verified across parallel simulation scenarios, the program explores new ways to induce, repurpose, and compose the controller’s existing motor competence for the task at hand, and thus improves over iterations. Experiments show that human-designed rewards leave much of the FB model’s loco-manipulation competence untapped, whereas the programs InterEvolve evolves release it, sometimes through novel strategies. It further produces behaviors for diverse tasks, complex scenes, and long-horizon compositions in simulation, and evolved skills run autonomously on a physical Unitree G1 from egocentric onboard perception.

中文摘要

摘要：我们研究人形机器人运动操作任务的测试时演化：通过重新利用控制器现有的技能、从自身尝试中改进并保留其学习内容，在无需重新训练的情况下解决控制器从未训练过的任务。我们的关键见解是，一个通用控制器已经具备新任务所需的大部分能力，而这种能力可以通过计划与控制之间的接口获得，该接口足够表达以指定富有接触的多阶段交互，同时执行性和可测性足够高，使得执行反馈可以基于经验指导计划。InterEvolve通过两个组件实现这一接口。首先，我们开发了一个面向对象的前向-后向（FB）行为基础模型，其在冻结的身体先验上的对象残差将关于身体或对象的新奖励转化为测试时的运动操作行为。其次，我们将任务指定为奖励程序：具有完成条件和可调常数的分阶段奖励。大型语言模型（LLM）代理在上下文中修改程序结构，利用执行反馈和经过验证的程序技能库，同时数值优化器调整其常数。在每个候选程序通过并行仿真场景验证之后，程序探索诱导、重用和组合控制器现有运动能力的新方法，从而在迭代中改进。实验表明，人类设计的奖励未能充分发挥FB模型的运动操作能力，而InterEvolve演化的程序释放了这些能力，有时还通过新的策略实现。此外，它还能在仿真中生成适用于多样任务、复杂场景和长周期组合的行为，并且演化出的技能可在Unitree G1机器人上通过自我中心的机载感知自主运行。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02196 (HTTP 429)

Authors: Zhuo Lin,Sirui Xu,Liuyu Bian,Yu-Xiong Wang,Liang-Yan Gui

Categories:

PDF URL: https://arxiv.org/pdf/2610.02196.pdf

Arxiv URL: https://arxiv.org/abs/2610.02196

Arxiv ID: 2610.02196

CoolPaper URL: https://papers.cool/arxiv/2610.02196

Published: 2026-10-03T02:19:38.369Z

Updated: 2026-10-03T02:19:38.369Z

18. Scaling and Distilling Text Embeddings for Better Diffusibility

Abstract:Diffusion language models (DLMs) offer a promising alternative to autoregressive (AR) language generation. Recent advances in continuous DLMs, which apply latent diffusion to continuous text embeddings, raise a practical question: which embedding makes the best latent space, i.e., the most diffusible? To answer this, we search through different embeddings and find that scaling the embedding model to stronger ones within the same family (T5 to T5Gemma-1 to T5Gemma-2) greatly improves generative performance. But the raw T5Gemma-2 embeddings are still not optimal. They are so discriminative that even the embeddings of plausible alternative words are separated, which makes the generation vulnerable to imperfect sampling. Consequently, continuous diffusion often fails to reach any of them and ends up at an invalid embedding instead. To address this, we distill T5Gemma-2 into a student encoder that learns the teacher’s decoded probabilities as soft labels. Learning from such soft labels makes the student pull the alternative embeddings closer while maintaining the encoding-decoding mechanism. The distilled embeddings form a more connected and diffusible latent space, improving over the vanilla T5Gemma-2 embeddings. As a result, our medium-sized DLM achieves Gen. PPL 17.8 (against real-text PPL 15.4) at real-text entropy on OpenWebText, outperforming GPT-2-M on Gen. PPL.

中文摘要

摘要：扩散语言模型（DLMs）为自回归（AR）语言生成提供了一个有前景的替代方案。最近在连续DLMs方面的进展，即将潜在扩散应用于连续文本嵌入，引出了一个实际问题：哪种嵌入能够形成最佳潜在空间，即最易扩散的潜在空间？为了解答这个问题，我们探索了不同的嵌入，并发现将嵌入模型在同一家族内扩展到更强的模型（从T5到T5Gemma-1再到T5Gemma-2）能够大幅提升生成性能。但原始的T5Gemma-2嵌入仍然不是最优的。它们区分性太强，以至于即便是合理的替代词嵌入也会被分开，这使得生成过程容易受到不完美采样的影响。因此，连续扩散通常无法到达任何合理的嵌入，最终停在无效的嵌入上。为了解决这一问题，我们将T5Gemma-2蒸馏为一个学生编码器，该编码器学习教师解码后的概率作为软标签。从这种软标签中学习使学生能够在保持编码-解码机制的同时，将替代嵌入拉得更近。蒸馏后的嵌入形成了一个更连通、更易扩散的潜在空间，相较于原始的T5Gemma-2嵌入，性能有所提升。因此，我们的中等规模DLM在OpenWebText上以真实文本熵达到生成困惑度（Gen. PPL）17.8（真实文本PPL为15.4），在生成困惑度上优于GPT-2-M。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*连续扩散语言模型（Continuous Diffusion Language Models, DLMs）中潜在空间的优化问题\*\*，具体围绕以下核心问题展开： ### 核心问题：何种文本嵌入空间最具“可扩散性”（diffusible）？连续DLM通过对连续的文本嵌入进行潜在扩散（latent diffusion）来生成语言。论文指出，选择合适的嵌入空间作为扩散的潜在空间是该类模型的关键瓶颈。研究试图回答： - \*\*嵌入模型扩展与可扩散性的关系\*\*：将嵌入模型从T5-small扩展至T5Gemma-2（同一系列中更强、预训练更充分的模型）能否提升连续DLM的生成质量？ - \*\*强嵌入模型的生成缺陷\*\*：尽管T5Gemma-2等扩展后的嵌入在判别任务上表现更强，但其嵌入空间存在“分离问题”——即使是语义上合理的替代词，其嵌入在潜在空间中也彼此相距甚远。这导致连续扩散的采样轨迹难以精确命中任何一个候选嵌入，最终落入\*\*无效嵌入区域\*\*（invalid embedding），解码后产生语法错误或语义混乱的文本。 - \*\*如何通过蒸馏修复潜在空间几何结构\*\*：论文提出将T5Gemma-2蒸馏到一个学生编码器，让学生学习教师解码器输出的\*\*软标签概率\*\*（soft labels）。这种方法促使学生在保持编解码机制的同时，将合理替代词的嵌入彼此拉近，从而形成一个\*\*更连通、更紧凑、更易于扩散生成\*\*的潜在空间。 ### 研究目标的具体表现论文将上述问题转化为以下可验证的生成目标： - \*\*提升生成的有效性\*\*：减少扩散采样后落入“无词对应”的无效嵌入的情况，使生成的嵌入能够稳定解码为合理的词元。 - \*\*改善生成质量指标\*\*：在控制熵（entropy）与真实文本相当的前提下，降低生成困惑度（Gen. PPL）。最终，基于蒸馏嵌入的中等规模DLM在OpenWebText上达到了Gen. PPL 17.8（真实文本为15.4），优于同规模的GPT-2-M。简而言之，该工作试图\*\*为连续DLM设计并优化一个既保留丰富语义信息、又适合连续扩散过程采样与解码的文本嵌入潜在空间\*\*。 Q2: 有哪些相关研究？根据论文第2.2节及相关段落的综述，相关研究可归纳为以下三个主要方向： --- ### 1. 连续扩散语言模型（Continuous DLMs）及其潜在空间这类模型在连续文本嵌入上应用扩散过程，并通过解码器将生成的嵌入映射回离散词元。 - \*\*早期工作\*\*：如 Li et al. (2022) 提出的 Diffusion-LM，采用简单且与扩散模型联合训练的嵌入。然而，联合训练容易导致嵌入崩溃（collapse），即多个词元映射到相似的嵌入点，因为这种方式最容易降低 MSE 损失（Dieleman et al., 2022; Gao et al., 2024）。 - \*\*近期进展\*\*：预训练文本嵌入被证明优于简单的查找表嵌入。例如，Meshchaninov et al. (2026a) 与 Hu et al. (2026) 发现使用预训练嵌入能显著提升连续DLM的效果。本论文遵循这一路线，并进一步探索了扩展（scaling）和蒸馏（distillation）预训练嵌入的潜力。 - \*\*技术融合\*\*：连续DLM的近期复兴还得益于自条件作用（self-conditioning, Chen et al., 2022）、扩散Transformer（diffusion transformers, Peebles & Xie, 2023; Li & He, 2026）等技术的引入。 --- ### 2. 离散扩散语言模型（Discrete DLMs）与连续DLM相对，这类模型直接在离散词元状态空间上应用广义扩散过程，通过分类破坏（categorical corruption）进行训练。 - \*\*基础方法\*\*：利用似然训练与离散状态扩散，如 Lou et al. (2023)、Ou et al. (2024)、Sahoo et al. (2024)。 - \*\*与自回归模型的结合\*\*：离散DLM可以直接从自回归（AR）基础模型改编，并随其发展而受益（Gong et al., 2025; Team et al., 2026; Zhu et al., 2026）。 - \*\*与连续嵌入的交叉\*\*：近期研究也尝试通过连续文本嵌入（Zhou et al., 2025; Lemercier et al., 2026）或连续松弛（continuous relaxations, Deschenaux et al., 2026）来增强离散DLM。 --- ### 3. 潜在/表示空间的可扩散性（Diffusibility of Latents）该研究方向关注“何种潜在表示最适合扩散模型生成”，这一议题在图像与文本领域均有探讨。 - \*\*图像领域的启发\*\*：在图像生成中，选择合适的潜在空间是核心问题（Chen et al., 2025; Skorokhodov et al., 2025; Xu et al., 2026）。近期研究表明，用预训练视觉表示（如 DINOv2, Oquab et al., 2023）替代传统 VAE 潜在空间（Rombach et al., 2022）可改善可扩散性（Zheng et al., 2026; Shi et al., 2026b）。代表性工作如 Representation Autoencoder (RAE)。 - \*\*文本领域的对应探索\*\*：本文发现，扩展后的 T5Gemma-2 嵌入为文本提供了强潜在空间。不同于显式重新设计潜在空间的工作（Zhang et al., 2023; Jiang et al., 2026），本文通过\*\*蒸馏\*\*预训练编码器来直接优化其可扩散性。 --- ### 其他相关背景 - \*\*嵌入空间的判别 vs. 生成权衡\*\*：T5Gemma-2 等强编码器通过最大化输入词元的似然（近似 one-hot 训练）学习高度判别性的表示，这导致语义相似候选词的嵌入彼此分离（Yu et al., 2020; Wu & Papyan, 2024）。本文通过知识蒸馏（Hinton et al., 2015; Müller et al., 2019）使用软标签（soft labels）来缓解这一问题。 Q3: 论文如何解决这个问题？论文通过\*\*扩展嵌入模型（Scaling）与基于软标签的蒸馏（Distillation）\*\*相结合的两阶段策略来解决连续扩散语言模型（DLMs）的潜在空间优化问题。具体解决路径如下： --- ### 1. 扩展预训练嵌入模型以发现高潜力潜在空间首先，论文系统评估了不同预训练编码器作为扩散潜在空间的效果，发现： - \*\*扩展同一系列的嵌入模型\*\*（从 T5-small → T5-base → T5Gemma-1 → T5Gemma-2）能显著提升连续DLM的生成质量。更强的表示学习暴露了更丰富的数据信息，供扩散模型学习。 - 在控制实验下，将 ELF 框架的默认 T5-small 嵌入替换为 T5Gemma-2-270M，在相同熵（entropy）下可将生成困惑度（Gen. PPL）降低约 \*\*40%\*\*。 - T5Gemma-2 是唯一在实验中达到真实文本熵值的嵌入空间，因此被确立为后续优化的基线。 --- ### 2. 诊断扩展嵌入的生成缺陷：分离问题（Separation Problem）尽管 T5Gemma-2 嵌入具有很强的判别能力，论文发现其存在一个关键缺陷，导致生成失败： - \*\*嵌入过于“判别性”\*\*：由于 T5Gemma-2 作为编码器-解码器模型，主要通过最大化输入词元的 one-hot 似然进行训练，这使得即使是\*\*语义上可互换的候选词\*\*（如 "worried" 与 "concerned"），其嵌入在潜在空间中也彼此\*\*相距甚远\*\*。 - \*\*扩散采样的几何困境\*\*：连续扩散的最优去噪器由训练数据嵌入的加权平均决定：

x^(star)(z_t, t) = E[x mid z_t] = ∑_i p(x_i mid z_t) x_i
当候选嵌入 x_i 彼此分离时，加权平均可能落入它们之间的**空白区域**，远离任何真实词嵌入。不完美的采样轨迹因此容易终止于**无效嵌入**（invalid embedding），解码后产生低置信度或错误的词元。 —- ### 3. 核心方法：基于解码器软标签的知识蒸馏为修复上述几何结构问题，论文将 T5Gemma-2 编码器蒸馏到一个**学生编码器**，关键设计如下： #### 蒸馏目标学生编码器被训练来匹配**冻结的教师解码器**输出的概率分布，而非复制教师嵌入或重建 one-hot 标签。对于输入序列 s ∈ V^L ，最小化每个位置 j 的 KL 散度：

L(KD)(θ) = ∑(j=1)^(L) KL( p(T)^j ,|, p(S)^j )
其中： - p(T) = Dec(T)(Enc(T)(s)) 为教师解码器的分布（软标签）。 - p(S) = Dec(T)(Enc(S)^(θ)(s)) 为学生表示经同一冻结教师解码器后的分布。 #### 架构与实现细节 - **学生初始化**：从教师（18层 T5Gemma-2）中**均匀选取 9 层**进行初始化，以减半编码开销。 - **软标签稀疏化**：对 262k 词表仅保留教师 **top-256** 候选词的对数几率（logits），重新归一化后作为蒸馏目标。 - **训练设置**：在 OpenWebText 的 1024 词元序列上训练 50k 步，仅更新学生编码器，教师编码器与解码器保持冻结。 #### 为何有效 - **软标签的几何效应**：教师解码器的软标签在多个合理候选词上分配概率质量，迫使学生将这些候选词的嵌入拉近，从而在潜在空间中形成一个**连续、连通的区域**。 - **保持解码能力**：学生仍需通过同一个冻结解码器还原为词元分布，因此保留了编码-解码机制，但潜在空间的局部几何被重塑为**更适合连续扩散采样**的形态。 —- ### 4. 验证与效果蒸馏后的嵌入空间在生成任务上表现出显著改善： - **减少无效嵌入**：在 NFE 32 下，教师模型每序列平均产生 142 个不确定位置（top-1 概率 < 0.6），其中 109 个为无效嵌入；学生模型分别降至 42 个和 12 个。 - **提升生成质量**：在 OpenWebText-1024 上，基于蒸馏嵌入的 ELF-M 模型在真实文本熵值处达到 **Gen. PPL 17.8**，优于原始 T5Gemma-2 的 19.3，并超过同规模 GPT-2-M（20.8）。 - **增强采样稳定性**：在低 NFE（如 16–64）下，原始 T5Gemma-2 嵌入易出现语言混合或崩溃，而蒸馏嵌入保持稳定生成。 —- ### 总结论文的解决思路可概括为：**先通过 Scaling 找到强但过于“离散化”的嵌入空间，再通过基于软标签的蒸馏将其“软化”与“连通化”**，从而在保持丰富语义信息的同时，使潜在空间的几何结构适应连续扩散过程的采样需求。 Q4: 论文做了哪些实验？论文围绕连续扩散语言模型（DLMs）的潜在空间设计与优化，开展了以下系统性实验： —- ### 1. 嵌入模型扩展（Scaling）的对比实验为验证“更强的嵌入模型是否能提升潜在空间的可扩散性”，研究在 OpenWebText（OWT）的 25% 子集（512 词元序列，记为 OWT-512）上训练相同的 ELF-B 扩散模型，仅替换冻结的编码器： - **测试编码器**：T5-small、T5-base、T5Gemma-1-S/B、T5Gemma-2-270M，以及强现代编码器 ModernBERT。 - **评估方式**：绘制 Gen. PPL–Entropy 曲线，观察不同嵌入空间在相同熵下的生成质量。 - **关键发现**：沿 T5 系列扩展时，可扩散性单调提升；T5Gemma-2 在达到真实文本熵的同时，将 Gen. PPL 较 T5-small 降低约 **40%**。ModernBERT 虽在判别任务上强劲，但导致生成文本重复，不适于扩散。 —- ### 2. 生成嵌入的失效模式诊断针对 T5Gemma-2 嵌入，论文量化了连续扩散难以生成“完美”嵌入的问题： - **invalid 嵌入定义**：若生成嵌入 boldsymbolx 与其 top- k 候选词嵌入 x_1,dots,x_k 的最小距离满足 min_i |boldsymbolx - x_i| > 0.91,nn （nn 为真实嵌入间中位数最近邻距离），则判定为 invalid；若解码器 top-1 概率低于 0.6，则判定为 uncertain。 - **统计测量**：在 NFE 32 下生成 64 个序列（每序列 1024 词元）。原始 T5Gemma-2 平均每序列含 **142** 个 uncertain 位置，其中 **109** 个为 invalid；蒸馏后的学生模型分别降至 **42** 和 **12**。 - **可视化**：通过 SMACOF 距离保持降维，在 2D 平面上展示生成嵌入与候选词的空间关系，揭示教师模型的嵌入常落入所有候选词“接收范围”之外的空白区域。 —- ### 3. 蒸馏方法的消融与验证 #### 3.1 蒸馏目标消融为验证软标签蒸馏的有效性，保持架构一致，仅替换学生编码器的训练目标： - **KL 散度（软标签）**：学生匹配教师解码器的 top-256 重归一化概率分布。 - **MSE（嵌入空间）**：学生直接拟合教师的输出嵌入。 - **CE（硬标签）**：学生通过冻结解码器拟合输入词元的 one-hot 标签。在 OWT-1024 上训练 ELF-B 后，仅 KL 软标签学生能够达到并超越真实文本熵（5.43），而 MSE 学生最高仅达 5.26，CE 学生低于 4.18。 #### 3.2 学生深度消融测试从教师（18 层）均匀抽取不同层数初始化的学生（3/6/9/12/15/18 层）。结果显示： - 12–18 层学生在真实文本熵附近均优于教师； - 9 层学生在效率与质量间取得平衡，且**优于**原始教师，证明提升并非源于容量降低； - 随机初始化的 9 层学生无法收敛。 #### 3.3 上下文扰动下的嵌入间距分析为直接观测蒸馏如何改变几何结构，在真实文本上替换不同比例（0–40%）的上下文词元，测量目标词与其 top-2 候选的嵌入距离： - T5Gemma-2：清洁文本下距离为 0.96,nn ，10% 扰动后增至 1.19,nn ，候选词彼此分离。 - 蒸馏学生：清洁文本下为 0.93,nn ，10% 扰动后仅微增至 0.97,nn ，保持候选词紧密聚集。 —- ### 4. 主生成实验：OWT-1024 与 LM1B #### 4.1 OpenWebText-1024（主结果）在完整 OWT（1024 词元序列）上训练 ELF-B（base）与 ELF-M（medium）： - **基线**：GPT-2-S/M（自回归）、Duo（离散 DLM）、AURORA-LM、LDLM、CoBit-S/M，以及 T5-small + ELF。 - **采样网格**：self-conditioning scale ∈ 1,2,3 × NFE ∈ 64,128,256,512 。 - **选点规则**：选择达到或超过真实文本熵（ 5.43 ）且 Gen. PPL 最低的采样配置；若无法达到，则以最高熵点报告（标灰）。 - **重复性**：对选定配置使用 3 个随机种子，每种子生成 1024 条样本，报告均值与标准差。结果（节选）： - T5Gemma-2 + ELF-M：Gen. PPL 19.3 ± 0.2 ，Entropy 5.44 ± 0.00 ； - **蒸馏学生 + ELF-M**：Gen. PPL 17.8 ± 0.1 ，Entropy 5.45 ± 0.01 ，优于 GPT-2-M（ 20.8 ± 0.3 ）。 #### 4.2 LM1B（跨域验证）在 LM1B（128 词元序列）上训练 ELF-B，扩展采样网格至 self-conditioning scale ∈ 4,5,6,8 ： - 蒸馏学生达到 Gen. PPL 50.5 ± 0.5 @ Entropy 4.31 ± 0.00 ； - 原始 T5Gemma-2 Q5: 有什么可以进一步探索的点？基于论文的结论与讨论部分，以下是可以进一步探索的研究方向： —- ### 1. 极低步数（Few/One-Step）生成论文发现，基于原始 T5Gemma-2 的 ELF 模型在极低 NFE（如 16–32）下会出现欠积分（under-integration）甚至语言混合崩溃。尽管蒸馏嵌入显著改善了稳定性，**如何设计嵌入空间与采样器，使连续 DLM 在单步或极少步数内生成高质量文本**，仍是一个核心开放问题。这可能需要： - 更激进的蒸馏策略，或 - 结合一致性模型（consistency models）等加速采样技术。 —- ### 2. 大规模编码器与端到端扩展当前实验主要聚焦于较小规模的编码器（T5Gemma-2-270M）。论文明确将以下工作留待未来： - **测试更大规模的编码器**，如 T5Gemma-2-1B/4B，验证扩展定律（scaling law）在嵌入空间是否持续成立； - **将大规模自回归模型（如 Gemma、LLaMA 系列）直接适配为连续 DLM 的嵌入层**，而非通过现有的编码器-解码器结构间接转换。这需要开发新的架构设计，使 AR 预训练权重能够无缝嵌入到扩散框架中。 —- ### 3. 嵌入空间几何与可扩散性的形式化理论论文通过经验观察揭示了“判别性 vs. 生成性”的权衡，但缺乏严格的形式化刻画。未来工作可以探索： - **量化定义可扩散性（diffusibility）**：建立嵌入空间连通性、局部 Lipschitz 常数或模式分离度（mode separation）与扩散模型采样误差之间的数学关系； - **最优潜在空间几何**：给定词表与语义结构，何种流形结构最利于高斯扩散过程的贝叶斯去噪？例如，分析最优去噪器

x^(star)(z_t, t) = ∑_i p(x_i mid z_t),x_i
在何种嵌入构型下最不易落入无效区域。 —- ### 4. 实际下游任务与实用性验证现有评估主要基于语言建模指标（PPL、Entropy、MAUVE）。下一步需验证： - **任务级性能**：在真实世界任务（如问答、摘要、对话、代码生成）中，连续 DLM 配合蒸馏嵌入是否具备竞争力； - **可控生成与编辑**：连续嵌入的插值特性理论上便于文本编辑，需系统评估其在结构化任务中的可靠性与一致性。 —- ### 5. 蒸馏目标的泛化与改进当前蒸馏使用固定教师解码器的 top-256 软标签。未来可探索： - **动态或自适应蒸馏**：根据输入复杂度调整软标签的温度或稀疏度； - **多教师蒸馏**：融合多个不同规模或不同语料的教师解码器分布，进一步丰富嵌入空间的“模糊性”； - **可学习的解码器**：在蒸馏过程中联合微调解码器，而非完全冻结，以寻找编码器-解码器联合最优。 —- ### 6. 跨模态与统一框架论文受图像扩散中 Representation Autoencoder（RAE）启发，未来可双向借鉴： - **文本到图像/多模态**：将“软化判别性嵌入以提升可扩散性”的思想应用于多模态大模型的对齐空间； - **连续-离散混合范式**：进一步探索连续嵌入如何增强离散 DLM（如 Zhou et al., 2025; Lemercier et al., 2026），或构建统一的可微分生成框架。 —- ### 7. 判别性损失与生成性能的精确权衡蒸馏学生在 SST-2 等判别任务上性能从 89.4 降至 78.1，但生成质量提升。未来需要： - **可控权衡机制**：通过正则化或约束优化，在保留必要判别信息的同时最大化可扩散性； - **任务自适应嵌入**：针对生成任务微调嵌入时，保留对下游判别任务最有益的表示子空间。 Q6: 总结一下论文的主要内容这篇论文围绕**连续扩散语言模型（Continuous Diffusion Language Models, DLMs）的潜在空间优化**展开，系统研究了如何通过扩展与蒸馏文本嵌入来提升生成质量。核心内容可概括如下： —- ### 1. 研究背景与核心问题连续DLM通过对连续的文本嵌入进行扩散与去噪来生成语言，其关键在于**何种嵌入空间最适合作为扩散的潜在空间**（即最具“可扩散性”，diffusible）。现有工作要么使用与扩散联合训练的简单嵌入（易崩溃），要么使用相对老旧的预训练嵌入，未能充分发挥强表示学习模型的潜力。 —- ### 2. 核心发现：扩展嵌入的双刃剑效应 - **扩展提升可扩散性**：将冻结的嵌入模型从 T5-small 逐步替换为同系列更强的 T5Gemma-2（数据与训练配方更优），连续DLM的生成质量单调提升。在相同熵（entropy）下，T5Gemma-2 将生成困惑度（Gen. PPL）较 T5-small **降低约 40%**，且是唯一达到真实文本熵的嵌入空间。 - **强嵌入的分离问题**：T5Gemma-2 的嵌入过于“判别性”。由于其在 one-hot 目标下训练，即使语义上可互换的候选词（如 “worried” 与 “concerned”）在嵌入空间中也彼此**相距甚远**。连续扩散的最优去噪器是候选嵌入的加权平均，当候选点分离时，采样轨迹容易落入它们之间的空白区域，产生**无效嵌入**（invalid embedding），解码后导致语法错误或语义混乱。 —- ### 3. 核心方法：基于软标签的蒸馏为修复潜在空间的几何结构，论文将 T5Gemma-2 编码器蒸馏为一个**学生编码器**，关键设计包括： - **蒸馏目标**：学生不复制教师的嵌入，也不拟合 one-hot 标签，而是最小化与**冻结教师解码器输出的概率分布**（软标签，soft labels）之间的 KL 散度：

L(KD)(θ) = ∑(j=1)^(L) KL( p(T)^j ,|, p(S)^j )

**几何效应**：软标签在多个合理候选词上分配概率质量，迫使学生将这些候选词的嵌入拉近，在保持编解码机制的同时，形成一个**更连通、更紧凑的连续区域**，使扩散采样更易命中有效词嵌入。 - **架构选择**：从 18 层教师中均匀抽取 9 层初始化学生，仅训练学生编码器，实现了编码效率减半且性能提升。 —- ### 4. 实验与结果论文在 OpenWebText（OWT-512/1024）和 LM1B 上进行了系统验证： - **失效模式诊断**：在 NFE 32 下，原始 T5Gemma-2 每序列平均产生 142 个不确定解码位置，其中 109 个为无效嵌入；蒸馏学生分别降至 42 和 12。 - **主实验（OWT-1024）**：在控制熵不低于真实文本（ 5.43 ）的条件下，基于蒸馏嵌入的 ELF-M 达到 **Gen. PPL 17.8 ± 0.1 **，显著优于原始 T5Gemma-2 的 19.3 ± 0.2 ，并超过同规模自回归基线 GPT-2-M（ 20.8 ± 0.3 ）。 - **跨域验证（LM1B）**：蒸馏学生同样在 Gen. PPL 上超越原始 T5Gemma-2，证明改进源于更好的空间几何而非对 OWT 数据的过拟合。 - **消融实验**：验证了软标签（优于 MSE 和 one-hot CE）、学生深度（9–18 层均有效，非容量缩减所致）及上下文扰动下的嵌入稳定性。 —- ### 5. 贡献与启示 - **建立强基线**：证明扩展后的 T5Gemma-2 嵌入是连续DLM的高潜力起点。 - **揭示新视角**：从“生成有效且可解码的嵌入”角度定义嵌入空间的可扩散性，指出强判别性表示与连续生成之间的内在张力。 - **提出实用方案**：通过解码器软标签蒸馏，以可接受的判别性能损失（如 SST-2 从 89.4 降至 78.1）换取显著更好的生成质量与采样稳定性。论文最后指出，未来可进一步探索更大规模编码器、极低步数生成、实际下游任务适配，以及将现有自回归基础模型直接转化为适用于连续DLM的嵌入空间。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zekai Zhang,Yunjie Tian,Yanjin He,Xiaoyan Zhang,Dongdi Zhao,Qing Qu,Di Fu

Categories:

PDF URL: https://arxiv.org/pdf/2610.01016.pdf

Arxiv URL: https://arxiv.org/abs/2610.01016

Arxiv ID: 2610.01016

CoolPaper URL: https://papers.cool/arxiv/2610.01016

Published: 2026-10-03T02:19:38.785Z

Updated: 2026-10-03T02:19:38.785Z

19. EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

Abstract:Real-world embodied tasks, from everyday activities to professional procedures, require agents to act under physical constraints while tracking evolving object and task states. Tool use sits at the heart of such tasks, as many everyday and professional activities are tool-mediated. Understanding them requires reasoning about affordances, hand-tool-object geometry, procedural progress, and causal effects on target objects. Yet despite strong performance on perception-oriented video tasks such as captioning and general video QA, current multimodal video models remain limited in this form of tool-centric embodied reasoning. Progress in this direction has been limited by the lack of real-world egocentric data and diagnostic benchmarks. To address this gap, we introduce EgoTools, the first comprehensive suite for egocentric tool-use understanding. It consists of two complementary components: EgoTools-Data, a large-scale corpus of 100 hours of tool-centric egocentric recordings with synchronized audio, dense captions, reasoning-heavy narrations, and supplementary 3D information; and EgoTools-Bench, a diagnostic benchmark of 1,000 QA pairs across four tracks that cover tool-use understanding from perception and geometry to procedure and causal reasoning. Experimental results show that current models still struggle to ground tool use in visual evidence: Gemini-3.1-Pro achieves 66.9% overall accuracy but only 51.7% on Perception & Grounding. Beyond evaluation, we validate EgoTools-Data as a training resource. On the full 1,000-question benchmark, full supervised fine-tuning improves Qwen3-VL-8B-Instruct from 50.0% to 60.9%, under strict source-video separation. Together, these results establish EgoTools as a unified resource for both training and diagnostic evaluation of real-world egocentric tool-use understanding.

中文摘要

摘要：现实世界的具身任务，从日常活动到专业流程，都要求智能体在物理约束下行动，同时跟踪不断变化的物体和任务状态。工具使用是这些任务的核心，因为许多日常和专业活动都是通过工具中介进行的。理解这些任务需要推理工具的可供性、手-工具-物体的几何关系、操作进展以及对目标物体的因果影响。然而，尽管当前多模态视频模型在以感知为导向的视频任务（如字幕生成和通用视频问答）中表现出色，但在这种以工具为中心的具身推理方面仍然有限。在这一方向上的进展受到缺乏现实世界自我视角数据和诊断基准的制约。为了解决这一空白，我们引入了EgoTools，这是首个面向自我视角工具使用理解的综合套件。它由两个互补组件组成：EgoTools-Data，一个包含100小时以工具为中心的自我视角录制的大规模语料库，数据包括同步音频、密集字幕、以推理为核心的解说和辅助的3D信息；以及EgoTools-Bench，一个包含1,000个问答对的诊断性基准，涵盖从感知和几何到操作和因果推理的工具使用理解四个维度。实验结果显示，当前模型在将工具使用与视觉证据对应方面仍存在困难：Gemini-3.1-Pro总体准确率为66.9%，但在感知与定位任务上仅为51.7%。除了评估外，我们还验证了EgoTools-Data作为训练资源的价值。在完整的1,000问题基准上，严格分离源视频的条件下，完整的监督微调将Qwen3-VL-8B-Instruct的准确率从50.0%提升至60.9%。综合来看，这些结果确立了EgoTools作为一个统一的资源，用于训练和诊断评估现实世界自我视角工具使用的理解能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.39378 (HTTP 429)

Authors: Shulin Tian,Junsu Kim,Shuai Liu,Hao Li,Yujiao Shen,Sihan Li,Zhe Yang,Yeongon Kim,Feiyu Li,Jialin Wu,Yichi Zhang,Wenhui Wang,Runmao Yao,Yuhao Dong,Zhaoxi Chen,Fangzhou Hong,Antonino Furnari,Jingkang Yang,Hongyuan Zhu,Ziwei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2609.39378.pdf

Arxiv URL: https://arxiv.org/abs/2609.39378

Arxiv ID: 2609.39378

CoolPaper URL: https://papers.cool/arxiv/2609.39378

Published: 2026-10-03T02:19:42.698Z

Updated: 2026-10-03T02:19:42.698Z

20. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis

Abstract:Working agents need to read diverse files, coordinate tools, and produce deliverables. Training such agents requires tasks built on many real files with verifiable results, but few pipelines exist to synthesize this kind of data. Existing pipelines either generate files with models, which lack realism and diversity, or build tasks on real files without task-specific verifiers, leaving result quality unchecked. We introduce GraphForge, an evidence-graph based framework that grounds both the task and its verification in real files. Starting from occupation-grounded seeds for controlled diversity, GraphForge assembles a workspace of real files for each seed and builds an evidence graph over their relations. Since the task statement and rubrics are both derived from this graph, task requirements are backed by the workspace files and each criterion is anchored to the files needed to verify it. An initial rollout further tests executability, and a revision agent repairs the task and rubrics against the original files before trajectories are collected. Fine-tuning Qwen3.6-27B on 2,169 GraphForge trajectories brings GDPVal to 1445.7 (+65.7) under OpenHands, and Workspace-Bench-Lite and SpreadsheetBench II to 63.7 (+7.7) and 24.0 (+13.7) under Claude Code. Rejection fine-tuning on the SFT model’s own rollouts, with candidates selected by the evidence-anchored rubrics, yields further improvements on all three benchmarks, suggesting that the rubrics provide a useful selection signal. The data and models are available.

中文摘要

摘要：工作代理需要读取各种文件、协调工具并生成成果。训练此类代理需要基于大量真实文件且结果可验证的任务，但现有很少有用于合成此类数据的流程。现有流程要么通过模型生成文件，但缺乏真实性和多样性，要么基于真实文件构建任务但没有任务专用的验证器，从而无法检查结果质量。我们提出了GraphForge，这是一种基于证据图的框架，将任务及其验证过程都基于真实文件。GraphForge从基于职业的种子开始以控制多样性，为每个种子组装真实文件的工作空间，并在文件关系之上构建证据图。由于任务陈述和评分标准均来源于该图，任务要求得到工作空间文件支持，每个标准都锚定到验证所需的文件。初始执行进一步测试可执行性，修订代理在收集轨迹前根据原始文件修正任务和评分标准。在2,169个GraphForge轨迹上对Qwen3.6-27B进行微调，在OpenHands测试中将GDPVal提升至1445.7（+65.7），在Claude Code测试下将Workspace-Bench-Lite和SpreadsheetBench II分别提升至63.7（+7.7）和24.0（+13.7）。对SFT模型自身执行结果进行拒绝微调，并用基于证据锚定评分标准选择候选项，在所有三个基准上都得到进一步提升，表明评分标准提供了有用的选择信号。数据和模型可供使用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.38923 (HTTP 429)

Authors: Qisheng Su,Hanchen Wang,Guanru Zhu,Huicheng Jiang,Qiuyinzhe Zhang,Kou Shi,Zhen Fang,Ziao Zhang,Qingnan Ren,Zehui Chen,Tao Gui,Feng Zhao

Categories:

PDF URL: https://arxiv.org/pdf/2609.38923.pdf

Arxiv URL: https://arxiv.org/abs/2609.38923

Arxiv ID: 2609.38923

CoolPaper URL: https://papers.cool/arxiv/2609.38923

Published: 2026-10-03T02:19:44.733Z

Updated: 2026-10-03T02:19:44.733Z

HuggingFace Papers 2026-10-03

Latest Papers

1. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

2. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

3. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL

4. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

5. Hierarchical Continuous Diffusion Language Models

6. Agent Priors-guided Policy Learning

7. A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review

8. World Observer: Joint Actor-Observer Generation for Persistent World Modeling

9. Sharpening Tax in Post-Training

10. E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

11. ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

12. ROWBench: Do Video Models Render What the Program Specifies?

13. Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL

14. AutoGUIWorld: Image Generators as Visual World Models for GUI Agent

15. Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation

16. Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding

17. InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation

18. Scaling and Distilling Text Embeddings for Better Diffusibility

19. EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

20. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis