HuggingFace Papers 2026-10-31

数据来源：HuggingFace Papers

Latest Papers

1. Intrinsic Distribution Matching

Abstract:One-step and few-step text-to-image generation must accurately render the details specified in the prompt despite limited opportunities for refinement. Distribution matching distillation (DMD) uses score differences to bring the generated distribution closer to a reference distribution. Following prior work, we estimate this difference with internal velocity branches, avoiding a separate fake-score network. We ask whether an explicit moment constraint improves this learned score supervision. A decomposition of the reverse-KL field into a Gaussian moment component and a non-Gaussian residual identifies statistics that can be constrained explicitly. We introduce Intrinsic Distribution Matching (IDM), which retains the full DMD correction and matches feature means and per-coordinate standard deviations using the generator’s exponential-moving-average (EMA) copy, requiring no external feature encoder. Experiments use full-parameter and low-rank adaptation (LoRA) tuning on Z-Image-Turbo 6B and Qwen-Image 20B. At two network evaluations, IDM reaches 94.25% and 90.20% on Chinese and English LongText-Bench, the highest scores among the compared methods at this budget. Controlled ablations show gains from the added moment loss, while generator EMA features perform competitively with an external DINOv2 encoder across the five reported metrics. Code is available at this https URL.

中文摘要

摘要：一步或少步的文本生成图像过程必须在有限的优化机会下，准确呈现提示中指定的细节。分布匹配蒸馏（DMD）利用分数差异将生成的分布逼近参考分布。遵循先前的工作，我们使用内部速度分支来估计这种差异，从而避免使用单独的虚假分数网络。我们探讨显式矩约束是否能改善这种学习的分数监督。通过将逆KL场分解为高斯矩分量和非高斯残差，可以识别出可以显式约束的统计量。我们提出了内在分布匹配（IDM），其保留了完整的DMD修正，并使用生成器的指数移动平均（EMA）副本匹配特征均值和每个坐标的标准差，无需外部特征编码器。实验在Z-Image-Turbo 6B和Qwen-Image 20B上进行了全参数和低秩适应（LoRA）调优。在两次网络评估下，IDM在中文和英文LongText-Bench上分别达到94.25%和90.20%，在此预算下为所有对比方法中最高分。受控消融实验显示，新增的矩损失带来了性能提升，而生成器EMA特征在五个报告指标上与外部DINOv2编码器表现相当。代码可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.39633 (timeout of 15000ms exceeded)

Authors: Deyuan Liu,Yansen Han,Kaiwen Zheng,Jun Xie,Jiacheng Liu,Zhenglin Cheng,Peng Sun,Jintao Zhang,Jianguo Li,Tao Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.39633.pdf

Arxiv URL: https://arxiv.org/abs/2610.39633

Arxiv ID: 2610.39633

CoolPaper URL: https://papers.cool/arxiv/2610.39633

Published: 2026-10-31T02:42:56.745Z

Updated: 2026-10-31T02:42:56.745Z

2. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

Abstract:Recursive self-improvement requires models not only to acquire useful training experience, but also to decide when their current experience has ceased to be useful. Existing methods often focus on what experience to generate next, while paying less attention to when fresh experience should be introduced. Many also construct training targets through self-consistency or majority voting, making supervision depend on the model’s own uncertain predictions. We address these two questions separately: training dynamics determine when to acquire new experience, while the answers to new tasks remain independently checkable. A-RSI monitors reward variation and accuracy in training logs to refresh a task pool when its learning signal declines, without consulting validation or test scores. A static library of model-authored programs produces multimodal questions and derives their reference answers; we specify the task-generation contract, automatically verify chosen properties of the reward and refresh rules, and separately audit the generated answers. The training loop uses no external training examples or human-written answer labels. On the primary eleven-benchmark suite, A-RSI raises the performance average from 57.77 to 61.05 with 800 fresh tasks.

中文摘要

摘要：递归自我改进不仅要求模型获取有用的训练经验，还需要决定何时其当前的经验已不再有用。现有方法通常侧重于生成下一步的经验，而较少关注何时引入新的经验。许多方法还通过自洽性或多数投票来构建训练目标，使监督依赖于模型自身不确定的预测。我们分别处理这两个问题：训练动态决定何时获取新经验，而新任务的答案仍然可以独立验证。A-RSI 通过监控训练日志中的奖励变化和准确性，在学习信号下降时刷新任务池，而无需参考验证或测试分数。一个静态的模型自创程序库生成多模态问题并推导其参考答案；我们指定任务生成合同，自动验证奖励和刷新规则的选定属性，并单独审核生成的答案。训练循环不使用外部训练样本或人工标注的答案。在主要的十一项基准测试套件上，A-RSI 将性能平均值从 57.77 提升至 61.05，新增了 800 个新任务。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*递归自我改进（Recursive Self-Improvement, RSI）\*\*中两个核心问题：\*\*何时引入新的训练经验\*\*以及\*\*如何确保自我生成训练信号的可靠性\*\*。具体而言，论文针对以下两个关键缺陷提出了系统性解决方案： --- ### 1. 训练数据池的时效性问题：缺乏对"经验耗尽"的判断机制现有RSI方法主要关注"下一步生成什么经验"（what experience to generate next），例如生成更难的问题或接近模型当前能力的任务，但\*\*忽视了判断当前经验池何时已失去学习信号\*\*。这导致两个负面后果： - \*\*学习停滞\*\*：模型可能在已饱和的数据池上持续消耗更新，无法获得新的学习信号 - \*\*数据浪费\*\*：过于频繁地刷新任务池会不必要地消耗新任务，而过于保守则会错失继续学习的机会论文提出的\*\*A-RSI（Adaptive Recursive Self-Improvement）\*\*通过训练日志动态监控解决此问题： - 监控指标：具有非零组内相对优势（within-group reward variation）的提示数量 U_w 和训练准确率 a_w - 刷新规则：当 U_w 相对历史窗口下降至阈值 rho 以下，或准确率 a_w 显著上升时，触发整个任务池的替换 - 关键特性：该决策\*\*完全不依赖验证集或测试集分数\*\*，仅基于模型自身的训练反馈 --- ### 2. 自我监督的可靠性问题：答案正确性依赖于模型自身的不确定预测现有方法（如自一致性、多数投票）通常使用模型自身的预测作为训练标签，这会导致\*\*错误传播\*\*——模型的不确定或错误预测可能被固化为下一轮的监督信号。论文通过以下机制实现监督信号的独立性： - \*\*程序化任务构造\*\*：使用固定的模型编写程序库生成多模态任务（图像、问题、参考答案），每个程序基于相同的底层配置 s_τ(z) 独立计算答案 - \*\*可验证的参考答案\*\*：答案通过程序执行器 E_τ 从配置中直接计算得出，而非依赖模型投票 - \*\*分离机制\*\*：刷新决策（何时换数据）与答案正确性（新任务的参考答案）完全解耦 --- ### 3. 性能增益的归因问题：区分"学会完成回答"与"真正纠正错误" 论文进一步指出，在固定输出长度预算下，基准测试分数的提升可能源于两种不同机制： - \*\*完成效应（Completion Gain）\*\*：模型从被截断（truncated）变为能在长度限制内完成回答 - \*\*纠正效应（Correction）\*\*：模型对原本已完成但错误的回答进行了真正修正 A-RSI通过输出级审计（output-level audit）将这两种效应分离，确保报告的性能提升反映真实的推理改进而非仅仅是输出格式或终止行为的优化。 --- ### 总结论文的核心贡献在于建立了一个\*\*零外部数据、零人工标注、零评估反馈\*\*的多模态自我改进闭环：通过训练日志信号自适应地刷新程序化生成的任务池，并独立验证答案的正确性，从而在11项基准测试上将平均性能从 57.77 提升至 61.05 （使用仅800个新任务）。 Q2: 有哪些相关研究？该论文的\*\*相关工作（Related Work）\*\*围绕递归自我改进的数据来源、监督方式、任务选择策略及评估预算四个维度展开，具体可分为以下四个方面： --- ### 1. 递归自我改进（Recursive Self-Improvement）早期研究主要通过改变模型外围系统或更新模型权重来实现自我改进，例如： - \*\*系统级改进\*\*：如 STOP（Zelikman et al., 2024）与 Darwin Gödel Machine（Zhang et al., 2025），通过递归优化代码生成或开放-ended 进化智能体结构。 - \*\*权重更新路径\*\*：利用模型生成的推理过程（rationales）、过滤样本、自我博弈（self-play）或基于模型自身的判断进行训练（Chen et al., 2024; Singh et al., 2024; Wang et al., 2023; Yuan et al., 2024; Zelikman et al., 2022）。与上述工作不同，A-RSI 聚焦于\*\*权重改进框架内的控制问题\*\*：在不依赖外部评估反馈的前提下，如何判断当前训练池的学习信号已耗尽。 --- ### 2. 零数据自我改进与可验证奖励（Zero-Data Self-Improvement & Verifiable Rewards）该方向关注如何在无人工标注数据的情况下生成任务并验证答案正确性： - \*\*Absolute Zero\*\*（Zhao et al., 2025）：通过执行器（executor）验证代码生成任务与答案。 - \*\*R-Zero\*\*（Huang et al., 2026）：训练 Challenger 与 Solver 共同进化，围绕 Solver 的当前能力动态调整。 - \*\*多模态扩展\*\*：Vision-Zero（Wang et al., 2026）与 \*\*MM-Zero\*\*（Li et al., 2026）通过生成视觉游戏或多角色系统实现多模态自我博弈，其监督信号常依赖自一致性或多数投票。 - \*\*RLVR（Reinforcement Learning with Verifiable Rewards）\*\*：如 GRPO（Shao et al., 2024）与 DeepSeek-R1（DeepSeek-AI et al., 2025），通过结果检查而非人工编写的推理轨迹进行优化。 - \*\*DAPO\*\*（Yu et al., 2025）：在批次级别动态剔除所有采样响应奖励相同的提示（因其组内策略梯度为零）。 A-RSI 与上述工作的区别在于：\*\*固定任务生成程序库\*\*，研究何时抽取新任务池，且每个实例的参考答案由程序独立计算，不依赖模型投票。 --- ### 3. 程序化任务与任务选择（Procedural Tasks & Task Selection）程序化生成提供了开放且可验证的任务来源，相关研究包括： - \*\*环境生成\*\*：Procgen（Cobbe et al., 2019）用于强化学习环境的程序化基准。 - \*\*推理数据合成\*\*：Reasoning Gym（Stojanovski et al., 2025）与 SynLogic（Liu et al., 2025a）用于大规模可验证推理数据的合成。 - \*\*课程学习与自适应采样\*\*： - \*\*Prioritized Level Replay\*\*（Jiang et al., 2020）与 \*\*PAIRED\*\*（Dennis et al., 2020）在强化学习中按估计难度或学习价值优先选择环境。 - \*\*在线难度过滤\*\*（Bae et al., 2026）、\*\*基于 bandit 的课程\*\*（Chen et al., 2025）及 \*\*分布级采样\*\*（Wang et al., 2025b）用于语言模型训练中的动态数据选择。 - \*\*ThinkLite-VL\*\*（Wang et al., 2025a）：从固定的视觉推理样例集合中，利用基于搜索的难度估计挑选具有挑战性的子集。 A-RSI 的方法论定位与上述研究互补：它不解决如何从固定集合中挑选样本，而是研究\*\*在训练平台期后如何选择替换池\*\*；其实验表明，在固定任务族比例下，随机抽样在测试的难度感知与能力感知选择规则中表现最优。 --- ### 4. 训练时长与评估预算（Training Duration & Evaluation Budgets）该方向指出，推理能力增益的表象可能受生成长度限制与评分方式影响： - \*\*Dr. GRPO\*\*（Aggarwal and Welleck, 2025）：分析响应长度偏差。 - \*\*DAPO\*\*（Yu et al., 2025）：引入超长奖励塑形（overlong-reward shaping）以缓解截断问题。 - \*\*L1\*\*（Aggarwal and Welleck, 2025）：显式训练长度预算控制。 A-RSI 受此启发，在评估中单独审计了\*\*响应截断（truncation）与答案纠正\*\*的分离效应，以区分基准分数提升是源于“学会在限制内完成回答”还是“真正修正了已完成的错误答案”。 Q3: 论文如何解决这个问题？该论文通过\*\*A-RSI（Adaptive Recursive Self-Improvement）\*\*框架系统性地解决了递归自我改进中的三个核心问题。其解决方案可分解为以下四个紧密关联的技术组件： --- ### 1. 程序化任务构造：建立不依赖模型投票的可验证监督为解决自我生成任务中答案正确性依赖模型自身不确定预测的问题，论文设计了一套固定的程序化任务流水线。 - \*\*冻结的模板库\*\*：训练前，基于模型生成的程序构建一个可执行的模板库 T 。每个模板 τ ∈ T 定义了参数分布 p_τ 、图像渲染器 R_τ 、问题构造器 Q_τ 和答案执行器 E_τ 。 - \*\*共享配置生成\*\*：对于采样参数 z sim p_τ ，生成过程基于同一底层配置 s_τ(z) 同时产出图像 I 、问题 q 和参考答案 a ：

z sim pτ, quad (I, q, a) = Gτ(z)
其中 I = Rτ(sτ(z)) ， q = Qτ(sτ(z)) ， a = Eτ(sτ(z)) 。这确保了参考答案从构造配置中直接计算得出，而非通过模型自一致性或多数投票产生。 - **准入与隔离检查**：候选任务需通过构造正确性检查、新鲜度检查 F(x) 、污染筛查 C(x) ，并排除诊断保留集 H ，最终形成可抽取的候选库 C 。整个过程在训练前一次性完成，训练中不再修改生成规则。 —- ### 2. 基于训练日志的池饱和检测：解决“何时刷新”问题论文提出了一种**完全基于训练日志、不依赖验证/测试集**的池替换规则，用于判断当前任务池的学习信号是否已耗尽。 - **关键观察**：在组内相对优势（GRPO）框架下，若同一提示的 m 个响应获得完全相同的总奖励，则组内优势为零，不产生策略梯度信号。随着训练进行，先前具有信息量的提示可能逐渐失去组内奖励差异。 - **监控指标**：在每个训练窗口 w 结束后，从日志中计算两个信号： - **非零优势提示数** U_w ：具有非零组内总奖励优势的不同提示数量

Uw = | x_g : g ∈ G_w, max(1 ≤ j ≤ m) |A_(g,j)| > varepsilon |

**组内正确率** aw ：已采样响应的平均答案正确率
a_w = (1) / (m|G_w|) ∑(g ∈ Gw) ∑(j=1)^(m) c_(g,j)
**刷新决策规则**：设 nw 为当前池上已接受的连续窗口数， ell 为滞后长度， rho 为信号保留阈值， eta 为准确率提升阈值。刷新信号 δ_w 定义为：
δ_w = 1, & if n_w ≥ n(min) and ( Uw ≤ rho U(w-ell) or aw - a(w-ell) ≥ eta ) 0, & otherwise
当 Uw 相对历史窗口下降至阈值以下（表明提供相对优势信号的提示减少），或 a_w 显著上升（表明模型对当前池已过于熟悉）时，触发整池替换。该规则仅读取训练侧日志，运行时完全不接触外部基准测试分数。 —- ### 3. 整池替换与持续训练：保留经验同时引入新任务一旦 δ_w = 1 ，系统执行以下操作： - **全量替换**：从候选库 C 中按**固定的任务族配额** k = (k(geo), k(chart), k(table), k(count)) 无放回地抽取 B 个未使用过的任务，构成新池 P(w+1) ：

P(w+1) = Draw_k(C setminus H_w), & if δ_w = 1 P_w, & otherwise
其中 H_w 为历史已用任务集合。 - **权重继承**：替换仅更换任务池，**不重置模型权重**。已接受的模型参数 θ_w 直接传递到下一窗口，确保先前经验得以保留。每个新窗口仅重新初始化优化器和调度器。 - **零外部数据闭环**：训练循环不引入任何外部训练样本、人工编写的答案标签或评估分数。 —- ### 4. 分离式审计机制：区分完成效应与真实纠正为解决性能增益归因问题（即分数提升是源于“学会在长度限制内完成回答”还是“真正纠正了错误”），论文实施了多层次的输出审计： - **长度预算审计**：在 4096 与 8192 token 的生成限制下分别评估同一检查点。若训练增益在放宽长度预算后大幅衰减，则表明增益主要来源于截断恢复。实验显示，A-RSI 在预算翻倍后保留了 80% 的相对增益，显著高于对比基线（ 59% ），说明其增益对长度限制不敏感。 - **输出层级分解**：将基准测试的准确率变化按完成状态分解。设 y_i^0, y_i^1 为两个检查点的正确性指示， f_i^0, f_i^1 为正常完成指示，将样本划分为四个层 I(ab) = i : f_i^0 = a, f_i^1 = b 。总增益可精确分解为：

Delta(sample) = ∑(a,b ∈ 0,1) D(ab), quad D(ab) = (100) / (1000) ∑(i ∈ I_ab) (y_i^1 - y_i^0)
通过分析 I(11) （两次均完成）内的错→对与对→错转换，论文证明 MiMo 模型在两者均完成的回答中仍存在净纠正，而不仅是截断恢复。 - **受控奖励评分测试**：对 1000 个独立验证的生成任务构造 7 种响应变体（正确/错误/截断/未框选等），验证奖励函数的排序保护性质。论文证明，在给定系数 λ(fmt) = 0.1 、 λ(stop) = 0.3 下，正确回答的总奖励始终严格高于错误回答：
R(rc) - R(r_w) ≥ 1 - λ(fmt) - λ(stop) = 0.6 > 0
这确保了辅助奖励项（格式与终止）无法逆转正确性排序，同时论文也指出需单独检查“错误但已格式化/已终止”的响应，以排除奖励黑客（reward hacking）。 —- ### 总结 A-RSI 通过**程序化生成确保监督独立性**、通过**训练日志信号 U_w 与 a_w 实现自适应刷新时机判断**、通过**整池替换与权重继承维持学习连续性**，并通过**输出审计分离完成效应与真实纠正**，从而在无外部数据、无人工标注、无评估反馈的条件下，实现了可持续的多模态自我改进。 Q4: 论文做了哪些实验？论文在**第4—8节、附录A—L**中报告了系统的实验验证，涵盖主模型轨迹、刷新策略对比、替换选择消融、训练信号验证、输出审计与独立检查等层面。以下按实验类型分类概述： —- ### 1. 主模型轨迹实验（Main Trajectories）在**Qwen3-VL-8B-Instruct**与**MiMo-VL-7B-SFT**两个骨干上，从初始化检查点出发进行最多9个延续窗口（continuation windows）的训练，每窗口含100次GRPO更新，报告在**11项全基准测试套件（Macro11）**上的准确率。 - **Qwen轨迹**：从 S_t （57.77）出发，经3个数据池、8个窗口，达到 S(32) （61.05），共引入800个新任务（Table 2）。 - **MiMo轨迹**：从公开基线 S0 （59.08）出发，经3个数据池达到 S(32) （60.71）（Table 3）。 —- ### 2. 刷新策略对比实验（Refresh Policy Comparisons）在Qwen上对比了五种池替换策略，所有策略从同一 St 出发、使用相同优化设置，按A-RSI的进度对齐评估（Table 4、Figure 4a、Table 7、Table 9）： | 策略 | 刷新规则 | 新任务选择 | 关键结果（Macro11 @ 8192 tokens） | |———|————-|—————-|—————————————————| | **A-RSI** | 训练日志触发（ U_w 下降或 a_w 上升） | 随机抽样（固定族配额） | **61.05**（800新任务） | | No-Refresh | 从不刷新 | 无 | 58.35（S23，后训练崩溃） | | Continuous | 每窗口刷新 | 自适应难度调整 | 60.64（3,200新任务） | | Periodic | 每两窗口刷新 | 前沿选择 | 59.89（1,200新任务） | | Frontier | 训练日志触发 | 前沿选择 | 59.59（800新任务） | 核心发现：A-RSI在引入**最少新任务**（800条）的情况下达到**最高终点分数**，数据效率为每千任务+4.09点，显著高于Continuous（+0.90）与Periodic（+1.77）。 —- ### 3. 替换选择消融实验（Replacement Selection Ablations）在固定“每窗口刷新”或“检测器触发”时机下，测试不同任务选择规则（Table 5、Table 10、Appendix A.4）： - **随机对照**（Random control） - **失败优先抽样**（Failure-prioritized）：-2.63 - **可学习带抽样**（Learnable-band）：-1.90 - **始终错误抽样**（Always-wrong）：-2.40 - **阶梯控制器**（Ladder controller）：-0.82 - **递增控制器**（Always-increase）：-0.48 - **截断感知控制器**（Truncation-aware）：-0.05 - **全层级抽样**（All-tier）：-1.19 - **前沿选择**（Frontier selection，检测器触发）：-1.45 **结论**：在固定任务族配额下，测试的难度感知、能力感知与rollout-based选择器均未优于随机抽样。 —- ### 4. 训练信号与池饱和验证（Training Signal & Pool Saturation）验证检测器规则 U_w ≤ rho U(w-ell) 或 aw - a(w-ell) ≥ eta 是否有效识别信号枯竭： - **Qwen执行记录**：旧池上 Uw 从239降至195（保留率81.6%），触发第一次刷新；第一替换池上从196降至163（保留率83.2%），触发第二次刷新（Section 5.3）。 - **No-Refresh崩溃**：在旧池持续训练至 S(31) 时，出现35次零信号警告，仅94/100正常梯度步，健康门（health gate）两次失败后训练终止（Section 5.3）。 - **跨模型/阶段重放**：固定控制器阈值，对Qwen与MiMo的三个池阶段进行重放。MiMo在第三池的保留率为98.7%，控制器决策为**保留**；Qwen在对应阶段为83.98%，决策为**刷新**。同一规则因模型反馈差异而产生不同动作（Section 6.3、Table 14、Figure 4b）。 —- ### 5. 输出分解与预算审计（Output Decomposition & Budget Audits） #### 5.1 截断 vs. 纠正分解在22,042题的完整套件上，将总增益分解为不同完成状态层（Table 15、Table 16、Appendix E）：

Delta(sample) = ∑(a,b ∈ 0,1) D(ab), quad D(ab) = (100) / (1000) ∑_(i ∈ I_ab) (y_i^1 - y_i^0)

**MiMo**（ S0 to S(32) ）：主解码总增益+1.63，其中**双完成层净纠正**贡献+0.99，表明存在截断恢复之外的真正修正。 - **Qwen**（ St to S(32) ）：双完成层贡献为**负**（-0.71），主要增益来自其他完成层（截断恢复）。 #### 5.2 长度预算敏感性比较4096与8192 token输出限制下的训练增益留存率（Table 11、Figure 5、Appendix B）： | 模型/检查点 | 4096增益 | 8192增益 | 留存率 | |——————|————-|————-|————| | A-RSI S(32) | +4.08 | +3.25（vs 同限基线） | **80%** | | MM-Zero v5 | +4.18 | +2.45 | 59% | A-RSI的增益对长度预算更不敏感，说明其不仅是“学会在限制内完成”。 #### 5.3 格式修正与全基准审计 - 在相同输出上比较原始答案匹配与格式修正评分：Qwen的增益从+3.33微降至+3.27，确认增益不依赖格式宽松（Appendix I、Table 19）。 - 逐项基准审计：所有11项基准及4个视觉类型子集（几何、图表、表格、计数）在 S(32) 均较 St 提升（Table 19、Table 8）。 —- ### 6. 独立验证与对抗性检查（Independent Verification & Adversarial Checks） #### 6.1 生成任务独立审计 Q5: 有什么可以进一步探索的点？基于论文的实验结果、讨论与局限性，以下是可以进一步探索的研究方向： —- ### 1. 检测器时机选择的严格隔离验证论文指出，A-RSI 在 Qwen 上的前两次随机刷新恰好发生在固定三窗口的节点，因此**训练日志触发的自适应时机是否优于固定周期**尚未被严格隔离。需要增设一个**固定周期（如每3窗口）的随机刷新对照臂**，在相同任务族配额与总更新预算下直接对比，以确定基于 U_w 与 a_w 的自适应规则是否带来超出固定日程的额外增益。 —- ### 2. 多种子复制与统计稳健性现有所有策略对比均为**单运行（single run）**结果，缺乏跨随机种子的误差估计。论文中不同检查点的两次独立解码已显示可变性（如 S_t 在4096 token下两次评估相差0.17点）。未来需在**多训练种子**下复现 A-RSI 与各基线，为 Macro11 的端点差异提供置信区间与显著性检验。 —- ### 3. 低熵模型的刷新信号设计当前检测器核心依赖于组内奖励方差（非零优势提示数 U_w ）。当模型演变为**低熵策略**（输出高度确定性）时， U_w 可能迅速坍缩，导致过早或过频刷新。需要探索替代信号，例如： - 基于梯度范数或激活变化的隐层信号 - 基于策略熵 H(πθ(·|x)) 的辅助指标 - 跨窗口的权重漂移度量 —- ### 4. 生成器覆盖范围的扩展与异质性现有程序化库仅覆盖**几何、图表、表格与计数**，缺失函数绘图、数值估计、空间推理等视觉推理类型。未来可： - 将 A-RSI 扩展至更复杂的多模态推理领域（如物理模拟、化学结构解析） - 检验随机抽样优势是否仍成立，或在这些领域是否需要结构化的难度选择 —- ### 5. 替换选择策略的再审视与动态化论文发现随机抽样在固定族配额下优于前沿选择与能力感知选择，但作者明确将该结果限定于**当前生成器、模型与测试规则**。未来可探索： - **动态族配额**：根据训练日志中各任务族的信号衰减速度自适应调整 k(geo), k(chart), k(table), k(count) - **基于梯度的任务影响估计**：类似影响函数（influence function）的方法，优先保留对参数更新贡献最大的任务，而非简单随机丢弃 —- ### 6. 超长输出预算与长度自适应论文缺少**16k token**的评估 horizon。需要验证： - A-RSI 在 8192 to 16384 token 下的增益留存率 - 是否需要在检测器规则中显式引入长度预算感知（如按截断率分层监控 Uw ） - 针对长链推理（Long CoT）的池刷新是否需要更大的 B （替换池大小）或更长的观察期 n(min) —- ### 7. 奖励组件的机制性消融论文通过**受控评分探针**确认了格式与终止奖励无法逆转正确性排序，但未进行**训练时移除/修改奖励组件**的消融。未来需： - 在 λ(stop)=0 或 λ(fmt)=0 的条件下重新训练，隔离终止奖励对截断率与 Macro11 的因果效应 - 检验动态重采样（dynamic resampling）与奖励项的交互是否隐藏了未被检测的奖励黑客路径 —- ### 8. 跨模型族与规模的控制器迁移 MiMo 实验使用了为 Qwen 校准的难度前沿池，导致跨模型结论受限。未来需： - 在**更大规模模型**（如14B、72B）上测试固定阈值 (rho, eta, n(min)) 的普适性，或设计无需人工设定的自适应阈值机制 - 验证检测器规则是否需在模型架构变化时重新校准 —- ### 9. 从描述性案例到因果归因论文通过定性案例展示了“截断→完成”与“错误→正确”两种转变，但缺乏系统性的**因果归因方法**。未来可： - 建立自动化的错误模式分类（如视觉误读、算术错误、条件遗漏） - 通过干预特定生成器子集（如仅刷新几何任务）来追踪下游基准上特定错误模式的修正率 —- ### 10. 部分刷新与混合池策略论文尝试了全池替换（400任务一次性替换），而历史实验中的**部分替换**（300任务池中替换75条）表现不佳。但全池替换可能丢弃仍有学习信号的“困难但有用”样本。未来可探索： - **分层刷新**：仅替换训练信号已耗尽的任务子集（如按模板或难度层），保留高价值旧任务 - **混合池**：在新旧任务之间设置渐进的混合比例，而非二元切换 —- ### 11. 检测器规则的自动形式化验证与合成论文使用 SMT 求解器验证了控制器规范的四个性质（如正确性排序保护、池内滞后比较）。未来可将此扩展为： - **运行时监控**：在训练过程中实时验证检测器状态机的不变性 - **合成最优阈值**：基于历史训练日志的离线分析，自动搜索 (rho, eta, ell) 的最优组合，而非依赖人工预设 —- ### 12. 零数据闭环中的评估污染防护虽然论文设置了污染筛查与访问隔离，但随着自我改进轮次增加，模型生成的任务仍可能**间接记忆**测试集分布。未来需： - 开发更严格的**同分布检测**与**信息论隔离**标准 - 建立可证明的评估泄露上界，确保零数据声明的严谨性 Q6: 总结一下论文的主要内容以下是该论文的主要内容总结。 —- ## 1. 研究背景与核心问题递归自我改进（Recursive Self-Improvement, RSI）要求系统既能获取有效的训练经验，又能识别当前经验何时已失去学习价值。现有研究主要聚焦于“下一步生成什么经验”（如更难的问题或接近模型能力边界的任务），却普遍忽视了**何时应当引入新经验**的关键决策。此外，当训练目标依赖自一致性或多数投票时，模型自身的不确定预测可能错误地成为下一轮更新的监督信号，导致误差累积。该论文将这两个问题解耦处理：**训练动态决定何时获取新经验，而新任务的答案则保持独立可验证**。 —- ## 2. A-RSI 方法框架论文提出 **A-RSI（Adaptive Recursive Self-Improvement）**，一个零外部数据、零人工标注、零评估反馈的多模态自我改进闭环。其核心包含四个组件： ### 2.1 程序化任务构造训练前，基于模型生成的程序构建一个固定的可执行模板库 T 。每个模板 τ 通过采样参数 z sim pτ 生成图像 I 、问题 q 和参考答案 a ，三者共享同一底层配置 s_τ(z) ：

z sim pτ, quad (I, q, a) = Gτ(z)
答案由程序执行器独立计算，不依赖模型投票。候选任务需通过构造检查、新鲜度检查、污染筛查及诊断保留集排除，形成可抽取的候选库 C 。 ### 2.2 基于训练日志的池饱和检测在组内相对优势（GRPO）框架下，若同一提示的所有响应获得相同奖励，则组内优势为零，不提供策略梯度信号。A-RSI 通过训练日志监控两个指标来判断当前池的学习信号是否衰减： - **非零优势提示数** U_w ：具有非零组内总奖励优势的不同提示数量

Uw = | x_g : g ∈ G_w, max(1 ≤ j ≤ m) |A_(g,j)| > varepsilon |

**组内准确率** aw ：已采样响应的平均答案正确率
a_w = (1) / (m|G_w|) ∑(g ∈ Gw) ∑(j=1)^(m) c_(g,j)
2.3 自适应刷新规则设 n_w 为当前池上已接受的连续窗口数， ell 为滞后长度， rho 为信号保留阈值， eta 为准确率提升阈值。刷新信号定义为：

δw = 1, & if n_w ≥ n(min) and ( Uw ≤ rho U(w-ell) or aw - a(w-ell) ≥ eta ) 0, & otherwise
当 Uw 相对历史窗口显著下降，或准确率 a_w 充分上升时，触发整池替换。该决策**完全不依赖验证集或测试集分数**。 ### 2.4 整池替换与持续训练一旦触发刷新，系统从 C 中按固定的任务族配额 k 无放回地抽取 B 个未使用任务构成新池 P(w+1) ，同时**保留已接受的模型权重** θw 。每个新窗口重新初始化优化器，但继承先前所有经验。 —- ## 3. 实验设计与关键结果 ### 3.1 主模型轨迹 - **Qwen3-VL-8B-Instruct**：从初始化检查点 S_t （Macro11 57.77）出发，经 8 个延续窗口、3 次数据池替换、共 800 个新任务，达到 S(32) （61.05）。 - **MiMo-VL-7B-SFT**：从公开基线 S0 （59.08）出发，达到 S(32) （60.71）。 ### 3.2 刷新策略对比（Qwen） | 策略 | 刷新规则 | 新任务数（至 S(32) ） | Macro11 @ 8192 tokens | |———|————-|————————————|———————————| | A-RSI | 训练日志触发 | 800 | **61.05** | | No-Refresh | 从不刷新 | 0 | 58.35（ S(23) ，后崩溃） | | Continuous | 每窗口刷新 | 3,200 | 60.64 | | Periodic | 每两窗口刷新 | 1,200 | 59.89 | | Frontier | 训练日志触发 + 前沿选择 | 800 | 59.59 | A-RSI 以**最少的新任务**达到**最高终点分数**，数据效率显著优于 Continuous（每千任务 +4.09 对 +0.90）。 ### 3.3 替换选择消融在固定刷新时机下，测试多种任务选择规则（失败优先、可学习带、阶梯控制、前沿选择等），**所有结构化选择策略均未优于随机抽样**。该结果限于当前生成器、模型与测试配置。 ### 3.4 输出审计与增益归因论文区分了两种性能提升机制： - **截断恢复**：模型从超出输出预算变为能在限制内完成回答。 - **真实纠正**：模型对原本已完成但错误的回答进行了修正。通过将样本按完成状态分层（ I_(ab) = i : f_i^0 = a, f_i^1 = b ），论文发现： - **MiMo** 在“两次均完成”层中存在净正纠正； - **Qwen** 的主要增益来自截断恢复层，但 ChartQA 等低截断基准仍显示真实提升。长度预算审计显示，A-RSI 在 4096→8192 token 时保留了 **80%** 的相对增益，优于 MM-Zero v5 的 59%，表明其增益对输出长度限制较不敏感。 ### 3.5 独立验证对 1,000 个实际消耗的训练任务进行独立答案重算，所有任务的参考答案均得到验证；对抗性评分探针确认了奖励函数的排序保护性质（正确回答的总奖励严格高于错误回答）。 —- ## 4. 主要贡献 - **训练日志刷新规则**：提出仅基于模型自身训练日志的池替换规则，无需外部评估反馈。 - **程序化验证经验**：通过模型编写的程序生成多模态任务并计算参考答案，使训练闭环完全脱离外部训练样本与人工标注。 - **匹配比较与输出级分析**：在匹配的训练进度下比较刷新策略，并将基准增益分解为截断恢复与真实纠正两个可观测分量。 —- ## 5. 局限与开放问题 - 各策略均为**单运行**结果，缺乏跨种子的统计稳健性。 - Qwen 上的前两次随机刷新恰好与固定三窗口周期重合，**自适应时机的独立优势**尚未被严格隔离验证。 - 程序化生成器目前仅覆盖几何、图表、表格与计数，缺失函数绘图、空间推理等类型。 - 检测器依赖组内奖励方差，对低熵模型的适用性需进一步研究。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yu Liu,Youxing Li,Yuedong Tan,Zhiwei Yang,Zihan Su,Hanqi Feng,Shaojie Zhang,Libin Liao,Zihao Wan,Chenxu Wu,Cong Cao,Fangfang Yuan,Yanbing Liu,Ziheng Chen,Pei Fu,Radu Timofte,Zongwei Wu,Nicu Sebe,Barnabas Poczos,Jian Luan

Categories:

PDF URL: https://arxiv.org/pdf/2610.38568.pdf

Arxiv URL: https://arxiv.org/abs/2610.38568

Arxiv ID: 2610.38568

CoolPaper URL: https://papers.cool/arxiv/2610.38568

Published: 2026-10-31T02:42:56.725Z

Updated: 2026-10-31T02:42:56.725Z

3. Your Benchmark Is an Empirical Measure Over Difficulty

Abstract:A benchmark is not merely a collection of test questions; it naturally induces an empirical measure over difficulty. In this work, we develop this measure-based view of benchmark evaluation. This perspective allows us to identify and formalize two central failure modes: measure mismatch, where the benchmark difficulty distribution differs from the intended difficulty distribution, and coverage gaps, where uncovered regions along the difficulty axis prevent benchmarks from detecting meaningful localized training progress. We propose two diagnostic metrics that capture these two failure modes and provide rigorous theoretical guarantees. Empirically, we analyze 25 popular benchmarks spanning 7 domains using carefully estimated item difficulties. Our results show that many benchmarks implicitly overweight certain difficulty regions, so their leaderboard conclusions should be interpreted with caution; others leave substantial portions of the difficulty axis uncovered, limiting their ability to monitor the model improvement process. Finally, we turn diagnosis into action by introducing BenchFill, a simple difficulty-targeted item rewriting algorithm that effectively reduces local coverage gaps.

中文摘要

摘要：基准不仅仅是测试题目的集合；它自然会引入一个关于难度的经验度量。在本工作中，我们开发了这种基于度量的基准评估视角。这种视角使我们能够识别并形式化两个核心失败模式：度量不匹配，即基准的难度分布与预期难度分布不一致；覆盖缺口，即沿难度轴未覆盖的区域阻碍基准检测有意义的局部训练进展。我们提出了两个诊断指标来捕捉这两种失败模式，并提供严格的理论保证。在实证方面，我们利用精心估计的题目难度，分析了跨7个领域的25个流行基准。我们的结果显示，许多基准隐性地过度权重某些难度区域，因此它们的排行榜结论应谨慎解读；其他基准在难度轴上留下了大量未覆盖部分，限制了其监控模型改进过程的能力。最后，我们通过引入BenchFill将诊断转化为行动，这是一种简单的针对难度的题目改写算法，能有效减少局部覆盖缺口。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.29927 (HTTP 429)

Authors: Yifan Sun,Naicheng Yu,Jiawen Gong,Jingyan Shen,Huan Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.29927.pdf

Arxiv URL: https://arxiv.org/abs/2610.29927

Arxiv ID: 2610.29927

CoolPaper URL: https://papers.cool/arxiv/2610.29927

Published: 2026-10-31T02:42:56.770Z

Updated: 2026-10-31T02:42:56.770Z

4. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

Abstract:Diffusion vision-language models (DVLMs) process their entire input at every denoising step. Since visual tokens make up 89-97% of this input on the benchmarks we study, most of the decoding computation is spent repeatedly processing the same image. Visual token pruning methods partially relieve this burden by removing part of the visual tokens, but they lose the removed information and still process the remaining image at every step. To measure how often the image is actually needed, we compare LLaDA-V’s predictions with and without the image at every decoding step and find that removing the image changes a token being unmasked at only 22.8% of steps on average and at as few as 7.9%. We therefore propose LOWN, a decoding method that decides at every step whether to process the image and how many tokens to unmask. LOWN predicts the masked tokens without the image and processes the image only when this prediction disagrees with the last image-conditioned prediction. Agreement certifies the earlier prediction for reuse, and the number of certified tokens sets how many are unmasked in that step. We further observe that the need for the image differs across benchmarks, so LOWN’s adaptive decision is needed rather than a fixed schedule. Without training or a tuned threshold, LOWN retains 99.6% of LLaDA-V’s score on ten benchmarks at 35.3% of the decoding FLOPs on average. LOWN also generalizes across LLaDA-based DVLMs, composes orthogonally with visual token pruning, and runs under key-value caching for further efficiency gains. Code and project page are available at this https URL

中文摘要

摘要：扩散视觉-语言模型（DVLMs）在每个去噪步骤中处理其全部输入。由于我们研究的基准上视觉标记占输入的 89-97%，大部分解码计算都花费在反复处理同一图像上。视觉标记剪枝方法通过移除部分视觉标记部分缓解了这一负担，但它们会丢失已移除的信息，并且仍然在每个步骤处理剩余图像。为了衡量图像实际需要的频率，我们比较了 LLaDA-V 在每个解码步骤有图像与无图像的预测，发现去掉图像平均仅在 22.8% 的步骤中改变了一个标记的解除掩码，最低仅为 7.9%。因此，我们提出了 LOWN，一种在每个步骤决定是否处理图像以及解除多少标记的解码方法。LOWN 在无图像情况下预测被掩码的标记，仅当该预测与上一次基于图像的预测不一致时才处理图像。一致性验证前一次预测的可复用性，并且认证标记的数量确定该步骤中解除了掩码的标记数。我们进一步观察到对图像的需求在不同基准间存在差异，因此 LOWN 的自适应决策是必要的，而非固定计划。无需训练或调优阈值，LOWN 在十个基准上以平均 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的得分。LOWN 还可推广到基于 LLaDA 的 DVLMs，可与视觉标记剪枝正交组合，并可在键值缓存下运行以进一步提高效率。代码与项目页面可通过此 HTTPS URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36671 (HTTP 429)

Authors: Donghyeon Cho,Joowon Kim,Seungho Shin,Eunho Yang

Categories:

PDF URL: https://arxiv.org/pdf/2610.36671.pdf

Arxiv URL: https://arxiv.org/abs/2610.36671

Arxiv ID: 2610.36671

CoolPaper URL: https://papers.cool/arxiv/2610.36671

Published: 2026-10-31T02:42:56.737Z

Updated: 2026-10-31T02:42:56.737Z

5. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities

Abstract:We present Youtu-Parsing-Omni, an omni-modal parser that converts documents, images, audio, and video into structured records grounded in space and time, providing a perception layer for agents that read, locate, and cite evidence across modalities. Its design rests on one encoder for every modality and one schema for every task. Youtu-Omni-Encoder, initialized from a pre-trained language model to strengthen text reading, encodes all modalities with shared weights in a unified space-time coordinate system, and a few fusion layers let video frames attend to concurrent audio, bringing cross-modal fusion and temporal alignment into perception itself. OmniSchema unifies the outputs of all ten parsing tasks, allowing a single self-evolving post-training procedure, OmniSchema-Aware On-Policy Distillation (OSAD), to provide a shared token-role-based objective across tasks. In each round, the model is trained on its own rollouts against token-level targets from a reference-conditioned copy of itself, which is then refreshed with the trained weights, so that the parser and its supervision co-evolve. With a single 5 B-parameter checkpoint, Youtu-Parsing-Omni achieves state-of-the-art performance on OmniDocBench v1.6 (96.96 Overall) and leads all open-weight models on OmniParsingBench (75.08 Avg.), with its advantage concentrated on audio and video. It also achieves the best overall chart-parsing score (95.02) and the highest exact chemical-fingerprint agreement among compared systems, and matches a dedicated optical-music model in character-level transcription of typeset sheet music while staying far ahead of general-purpose systems. Code and model weights are publicly available.

中文摘要

摘要：我们提出了Youtu-Parsing-Omni，一种全模态解析器，可将文档、图像、音频和视频转换为基于空间和时间的结构化记录，为能够跨模态阅读、定位和引用证据的智能体提供感知层。其设计基于每种模态一个编码器，每个任务一个模式。Youtu-Omni-Encoder由预训练语言模型初始化以增强文本阅读能力，在统一的时空坐标系统中对所有模态进行编码，并通过少量融合层使视频帧关注同时的音频，从而将跨模态融合和时间对齐引入感知层。OmniSchema统一了所有十个解析任务的输出，使得单一的自我演化后训练过程——OmniSchema-Aware On-Policy Distillation（OSAD）可以在任务之间提供共享的基于令牌角色的目标。在每一轮中，模型在其自身的生成结果上针对来自参考条件副本的令牌级目标进行训练，然后用训练后的权重刷新参考副本，实现解析器与其监督的共同进化。使用单个50亿参数的检查点，Youtu-Parsing-Omni在OmniDocBench v1.6上实现了最先进的性能（总体96.96），在OmniParsingBench上领先所有公开权重模型（平均75.08），其优势主要集中在音频和视频上。它还实现了最佳的整体图表解析得分（95.02）以及比较系统中最高的化学指纹精确匹配率，并在排印乐谱的字符级转录上与专用的光学音乐模型匹配，同时远超通用系统。代码和模型权重已公开提供。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.39301 (HTTP 429)

Authors: Yunhang Shen,Zhangquan Chen,Xiaotian Li,Zhongpeng Cai,Qing Zhou,Zekai Zhang,Kun Zhang,Zezhong Wu,Jian Hu,Haihan Gao,Heting Gao,Xin Li,Yinsong Liu,Deqian Jiang,Di Yin,Haoyu Cao,Xing Sun,Bing Liu,Yanqiu Qu,Yunfei Wu,Kun Yin,Zhixiang Wei,Yongxiang Hua,Qianyu Li,Xiaoxing Hu,Peiyuan Zhang,Lijiang Li,Dong Xu,Zhenchuan Yang,Yiliang Jiang

Categories:

PDF URL: https://arxiv.org/pdf/2610.39301.pdf

Arxiv URL: https://arxiv.org/abs/2610.39301

Arxiv ID: 2610.39301

CoolPaper URL: https://papers.cool/arxiv/2610.39301

Published: 2026-10-31T02:42:56.758Z

Updated: 2026-10-31T02:42:56.758Z

6. Proving and Improving the Platonic Representation Hypothesis with JEPAs

Abstract:Whether models trained on different modalities converge to the same representation of the world is central to AI. The Platonic Representation Hypothesis (PRH) conjectures that they do as they scale, but without a proof it offers neither a guarantee nor a recipe. We turn the hypothesis into a theorem. First, we prove a \emph{Platonic Representation Theorem}: Joint-Embedding Predictive Architectures (JEPAs) trained separately on any number of modalities learn the same representation up to one rotation whenever their positive pairs are two observations of one scene—\emph{good views}—and their misalignment is bounded otherwise. Second, we show that next-token prediction is a JEPA with \emph{bad views}, parts of a single document, which explains why language models align with vision only through scale. Third, we validate the theory from 145k captions to the texts of 940M web images, and uncover a scaling law of alignment that predicts unseen runs within seed noise. Good views need 42 times fewer training samples than next-token prediction on the same corpus to reach the same alignment, and a 109M-parameter text JEPA aligns with DINOv2 and CLIP’s image encoders better than every language model we evaluated, up to 72B parameters, and than CLIP’s text encoder: next-token prediction is a remarkably inefficient route to platonic representations. As a showcase, one rotation turns separately trained encoders into an image captioner (CIDEr .838 on COCO). Even that rotation needs no pair: on the latest pair-free benchmark, our text JEPA beats every zero-shot accuracy reported with language models up to 8B parameters, e.g., 64\% against at most 56\% top-5 on ImageNet-100. Positive views, and not scale alone, are thus the lever to build platonic representations.

中文摘要

摘要：不同模态训练的模型是否会收敛到对世界的相同表征是人工智能领域的核心问题。柏拉图表征假说（PRH）推测，随着模型规模的扩大，它们会朝向相同的表征，但没有证明，它既不提供保证，也不提供操作方法。我们将这一假说转化为定理。首先，我们证明了一个\emph{柏拉图表征定理}：当联合嵌入预测架构（JEPA）在任意数量的模态上分别训练时，只要它们的正样本对是同一场景的两次观察——\emph{良好视图}——它们就会学习相同的表征，最多只差一个旋转；而其它情况下，表征的不对齐是有界的。其次，我们表明，下一令牌预测是具有\emph{不良视图}的JEPA，即同一文档的部分内容，这解释了为什么语言模型只有在大规模训练时才能与视觉对齐。第三，我们从145k个标题到9.4亿网页图片的文本验证了该理论，并发现了一个对齐的规模规律，可以在种子噪声中预测未见过的训练结果。与同一语料库上的下一令牌预测相比，良好视图所需的训练样本数量少42倍即可达到相同的对齐效果，而一个1.09亿参数的文本JEPA与DINOv2和CLIP的图像编码器对齐效果优于我们评估过的所有语言模型（参数最多达720亿）以及CLIP的文本编码器：下一令牌预测是通向柏拉图表征的极不高效的路径。作为展示，进行一次旋转就能将分别训练的编码器变成图像字幕生成器（在COCO上的CIDEr为0.838）。即便这一次旋转也不需要配对：在最新的无需配对的基准测试上，我们的文本JEPA击败了所有已报道的零-shot语言模型精度（参数最多8B），例如，在ImageNet-100的top-5上达到64%，而最高之前为56%。因此，正样本视图而非单靠规模，是构建柏拉图表征的杠杆。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.39302 (HTTP 429)

Authors: Randall Balestriero,Yann LeCun

Categories:

PDF URL: https://arxiv.org/pdf/2610.39302.pdf

Arxiv URL: https://arxiv.org/abs/2610.39302

Arxiv ID: 2610.39302

CoolPaper URL: https://papers.cool/arxiv/2610.39302

Published: 2026-10-31T02:43:00.412Z

Updated: 2026-10-31T02:43:00.412Z

7. Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

Abstract:Pixel-space generative Transformers typically use one token per image patch, so capturing finer detail requires more tokens and makes global attention increasingly expensive. We observe that finer detail does not necessarily require more global communication: low-frequency structure benefits from global exchange, while high-frequency detail can be modeled locally. Based on this insight, we introduce SpecSlot, a pixel-space rectified-flow Transformer that decouples output detail from the length of the global attention sequence. SpecSlot expands each spatial anchor into multiple slots, each assigned a disjoint band of DCT coefficients; this separates anchor density from spectral subdivision. Only the lowest-frequency slot from each anchor participates in global attention, while all slots interact locally. This allows the model to increase spectral detail without enlarging the global sequence. A spatial head further adds a local correction to the spectral prediction, while the generative state, target, and loss remain in pixel space. On ImageNet-256, SpecSlot achieves a comparable final FID to a FLOPs-matched JiT control while converging faster. On ImageNet-512, it improves FID by 2.84 over the control with 3.9% fewer FLOPs, and comes within only 0.69 FID of JiT-B/16 at 38.2% lower cost. On text-to-image generation, SpecSlot surpasses JiT-B/8 on DPG-Bench by 1.06 at 40.6% lower forward cost.

中文摘要

摘要：像素空间生成型 Transformer 通常每个图像块使用一个 token，因此捕捉更细节需要更多的 token，并且使全局注意力的开销越来越大。我们观察到，更细的细节不一定需要更多的全局交流：低频结构受益于全局交换，而高频细节可以局部建模。基于这一洞察，我们引入了 SpecSlot，一种像素空间的修正流 Transformer，它将输出细节与全局注意力序列的长度解耦。SpecSlot 将每个空间锚点扩展为多个槽，每个槽分配一组不重叠的 DCT 系数；这将锚点密度与频谱细分分离。每个锚点的最低频槽参与全局注意力，而所有槽都进行局部交互。这允许模型在不增大全局序列的情况下增加频谱细节。一个空间头进一步对频谱预测进行局部校正，而生成状态、目标和损失仍然保持在像素空间。在 ImageNet-256 上，SpecSlot 在结果 FID 上与 FLOPs 相匹配的 JiT 对照组相当，同时收敛更快。在 ImageNet-512 上，相对于对照组，它提高了 2.84 的 FID，并减少 3.9% 的 FLOPs，并且仅以 38.2% 更低的成本比 JiT-B/16 差 0.69 FID。在文本到图像生成任务中，SpecSlot 在 DPG-Bench 上以 40.6% 更低的前向成本超过 JiT-B/8 1.06 的得分。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*像素空间生成Transformer（pixel-space generative Transformers）中输出细节与全局通信成本相互耦合\*\*的问题。 ### 核心问题在现有的像素空间生成模型中，图像通常被切分为空间patch网格，每个patch对应一个Transformer token。这种设计导致三个功能被捆绑在同一个空间粒度上： - \*\*读取（Read）\*\*：模型从什么粒度的区域收集输入证据 - \*\*预测（Allocate）\*\*：每个token负责预测什么尺度的输出细节 - \*\*通信（Route）\*\*：多少token参与全局自注意力因此，捕捉更精细的图像细节（例如使用更小的patch size）会直接增加全局注意力序列的长度。以 256 × 256 图像为例，将patch size从 16 × 16 减小到 8 × 8 会使token数量从256增加到1,024，导致全局稠密注意力的二次项成本增大16倍。 ### 现有方法的局限此前的改进方向——包括多尺度级联、高效稀疏注意力、或细节补充头——大多保留了“一个token对应一个空间patch”的前提，未能从根本上解耦\*\*输出表示的精细度\*\*与\*\*全局通信序列的长度\*\*。 ### 论文的核心洞察论文观察到，在频域中，不同频率成分对通信范围的需求是不同的： - \*\*低频结构\*\*承载图像的整体布局，受益于长距离的全局信息交换 - \*\*高频细节\*\* largely 是局部的，不需要与整张图像进行全局通信因此，更精细的细节并不必然需要成比例地增加全局通信成本。 ### 解决思路基于上述洞察，论文提出 \*\*SpecSlot\*\*，将token化重新定义为一种\*\*角色分配（role-coupled allocation）\*\*机制： - 引入 W × K 的索引表示： W 个空间锚点（spatial anchors）负责读取输入，每个锚点扩展为 K 个具有固定频谱角色的slot - 每个slot被分配一组不相交的DCT（离散余弦变换）径向频率系数 - 仅每个锚点中负责\*\*最低频带\*\*的slot（carrier）参与全局注意力，所有slot在锚点内部进行局部交互 - 同时保留一个空间修正头（spatial correction head），在不增加token的情况下对频谱预测进行局部像素级修正通过这种方式，SpecSlot将锚点密度 W 与频谱细分度 K 暴露为两个独立的分配变量，使得模型可以在\*\*不扩大全局注意力序列\*\*的前提下增加输出频谱细节，从而在像素空间中实现质量与计算成本的显式权衡。 Q2: 有哪些相关研究？根据论文第2节，相关研究围绕以下四个方向展开： --- ### 1. 扩散模型与像素空间生成（Diffusion and pixel-space generation）该方向涵盖从基础扩散框架到直接在像素空间运作的Transformer架构： - \*\*基础扩散与整流流\*\*：包括去噪扩散概率模型（DDPM）、基于分数的生成模型，以及将噪声到数据路径拉直的Rectified Flow。 - \*\*潜在空间Transformer\*\*：DiT、U-ViT、SiT 等验证了纯Transformer在潜在扩散中的可扩展性；Latent Diffusion 及其后续改进则依赖独立训练的自编码器。 - \*\*像素空间生成路线\*\*：Simple Diffusion 与 Hourglass DiT 在模型内部降低状态分辨率；级联模型与 PixelFlow 跨分辨率分布生成；JiT 则证明了大patch直接Transformer仍可作为强基线。 - \*\*细节恢复组件\*\*：PixelDiT、DiP、HyperDiT、PixNerd 等方法通过像素级DiT、细节头或神经场来补充细节。但这些设计的共同前提是\*\*token即空间patch\*\*，导致细节与通信仍绑定于同一空间网格。 --- ### 2. 频率结构与变换域生成（Frequency structure and transform-domain generation）该方向探讨频域视角在生成建模中的应用，但与本文的角色分配思路存在区别： - \*\*状态或前向过程表示\*\*：逆热耗散、小波模型、稀疏变换编码、DCTdiff 等改变生成所用的表示或过程。 - \*\*生成顺序或条件\*\*：VAR 与 NFIG 按尺度或频率组织生成；Spectral Forcing 与 Frequency-Forcing 利用频率相关的条件或引导；Latent Forcing 则通过语义辅助流重新排序轨迹。 - \*\*训练目标与分析\*\*：Focal Frequency Loss 对频谱误差重加权；傅里叶空间分析用于表征扩散行为而不改变去噪器结构。 - \*\*架构级频率方法\*\*：DiMSUM 交替处理空间与小波子带；DeCo 将低频与高频分别分配给DiT和独立像素解码器。这些工作虽将频率引入去噪器，但\*\*未将固定频谱组同时作为per-token输出所有权与通信资格\*\*的依据。 --- ### 3. 视觉Token化与分配（Visual tokenization and allocation）该方向关注如何减少Transformer序列长度，但基本保持空间patch作为唯一分配单元： - \*\*基础Token化\*\*：ViT 将图像划分为空间patch网格；NaViT 将此思想扩展到可变分辨率。 - \*\*动态或稀疏Token管理\*\*：ToMe 合并相似token；SparseDiT 剪枝token；DyDiT++ 在去噪时间与空间上重新调度计算；Variable-length tokenization 学习全局合并；FlexiDiT 在更简单的步骤上减少token使用。 - \*\*局限\*\*：上述方法以\*\*空间patch\*\*为分配单元，因此输出细节与全局通信始终耦合于同一网格。SpecSlot 引入第二条\*\*频谱轴\*\*，使固定预算 N=WK 可在锚点密度与频谱细分之间显式拆分。 --- ### 4. 全局-局部与稀疏通信（Global-local and sparse communication）该方向通过限制token交互模式降低注意力成本，但未将通信资格与固定频谱输出角色绑定： - \*\*层次化与稀疏注意力\*\*：Swin Transformer 使用带偏移边界的局部窗口；Longformer 结合局部窗口与少量全局token；Perceiver 通过小规模潜在瓶颈路由信息。 - \*\*像素空间中的通信设计\*\*：RINs 通过可学习的接口状态交换信息；Trainable log-linear sparse attention 与 PixSGR 从数据中学习或选择交互模式。 - \*\*与SpecSlot的区别\*\*：这些方法提供了有效的局部或全局拓扑，但\*\*未将通信资格固定于频谱输出角色\*\*。SpecSlot 的图结构由分配直接决定——每个锚点的最低频slot作为全局carrier，所有slot在锚点内局部交互——从而将跨锚点通信集中分配给承载低频骨架的角色。 Q3: 论文如何解决这个问题？论文通过提出 \*\*SpecSlot\*\* 架构，将 tokenization 重新定义为\*\*显式的角色分配（role-coupled allocation）\*\*问题，从而解耦输出细节与全局通信成本。具体解决方案围绕三个核心操作展开：Read、Allocate 与 Route，并辅以双基像素空间解码。 --- ### 1. 核心思路：将单一网格拆分为可独立调节的分配变量传统方法中，token 总数 N 由单一的空间 patch 尺寸决定。SpecSlot 将 N 显式拆分为两个独立变量：

N = W × K, quad W = (H/s)^2, quad K = (4H^2) / (N)
其中： - W 控制**空间锚点（spatial anchors）**的密度，决定输入被读取的粒度； - K 控制每个锚点内部的**频谱细分（spectral subdivision）**，即输出被划分为多少个不相交的频带； - s 为输入单元边长， L = 2s 为输出窗口边长。这种拆分使得：可以在固定全局序列长度 W 的前提下，通过增加 K 来提升输出频谱细节，而不会直接扩大全局注意力的序列规模。 —- ### 2. Read：空间锚点收集输入证据输入读取与输出分配解耦。对于线性路径上的噪声-图像混合状态 z_t ，首先通过非重叠的 s × s 单元提取证据：

ui = P_1 · vec(P_i z_t) ∈ R^(B)
其中 P_i 提取第 i 个空间单元， P_1 ∈ R^(B × 3s^2) 为共享投影， B 为证据宽度（与输出 token 数解耦）。随后，一个零初始化的残差深度可分离 3 × 3 卷积（input mixer）允许相邻锚点在拆分角色前交换局部证据。最后，通过共享的 1 × 1 投影将每个锚点向量扩展为 K 个初始 slot 状态：
[q(i,0); dots; q(i,K-1)] = reshape(P_2 u_i + b_2), quad q(i,k) ∈ R^(d)
此处关键设计在于：**一个锚点向量孕育全部 K 个 slot**，角色区分由后续的 slot 位置编码、输出头和路由规则实现，而非来自独立的输入通路。 —- ### 3. Allocate：为每个 Slot 分配固定的频谱输出角色输出所有权在离散余弦变换（DCT）基中显式分配： - 对于边长为 L = 2s 的输出窗口，将二维 DCT-II 系数 (u,v) 按径向频率 √u^2+v^2 排序； - 均分为 K 组（要求 K mid L^2 ），每组包含 E = L^2/K 个系数； - Slot k 拥有第 k 个径向频带，负责预测该频带内的全部系数。共享的仿射头从 slot 的最终隐状态预测其拥有的系数：

c(i,k) = P(spec) h(i,k)^(out) + b(spec) ∈ R^(3E)
为避免块效应，SpecSlot 采用 **50% 重叠的加窗 DCT（lapped-DCT）**进行合成：通过逆 DCT、平方根周期 Hann 窗与归一化重叠相加（overlap-add），将各窗口的频谱预测转换为像素空间的基础预测 r(spec) 。此外，同一组 slot 状态还通过第二个输出头产生**锚点对齐的空间校正** r(sp) ：将每个锚点单元划分为 Kh × K_w 的确定性瓦片（ K_h K_w = K ），每个 slot 直接预测对应瓦片的像素值。该头为零初始化，训练从纯频谱模型开始。最终预测为：
rθ(zt, t, y) = r(spec) + r(sp)
—- ### 4. Route：按频谱角色决定通信范围这是解耦通信成本与输出细节的关键。若让所有 W × K 个 slot 参与全局注意力，则全局序列长度仍随 K 增长，重新引入耦合。SpecSlot 利用频谱角色的物理意义进行路由： - **低频结构**承载图像全局布局，需要跨锚点长距离交换； - **高频细节**具有局部性，无需全局通信。因此，仅每个锚点中负责**最低径向频带**的 slot（记为 slot 0，称为 **carrier**）进入全局注意力阶段；该 slot 携带全局信息回到其锚点后，所有 K 个 slot 再在锚点内部进行局部交互。具体地，定义两个路由集合： - 全局集合： A_G = Concat(Y, Z(:,0)) ，包含 C=32 个类别上下文状态与 W 个 carrier； - 局部集合： AL^((i)) = Z(i,:) ，即第 i 个锚点内的全部 K 个 slot。网络采用 **GGLL（Global-Global-Local-Local）** 调度：两个连续全局块处理 A_G ，两个连续局部块分别处理每个 A_L^((i)) ；该模式重复 3 次，共 12 个块。非 carrier slot 仅经过 6 个局部块，carrier 经过全部 12 个块，上下文状态仅经过 6 个全局块。以 ImageNet-256、 s=16 、 K=4 为例，全局注意力序列长度仅为 W + C = 288 ，而非 WK + C = 1056 。忽略投影与逐元素操作，二次注意力成本的对比为：

C_(quad)^(GGLL) propto 6(W+C)^2 d + 6WK^2 d

C(quad)^(full) propto 12(WK+C)^2 d
全局二次项现在随 W 增长，而非 WK ，从而在增加 K 时保持全局通信成本不变。 —- ### 5. 解耦后的优势通过上述设计，SpecSlot 将原本单一的 patch-size 选择转化为显式的**质量-计算权衡**： - **固定 token 预算 N **：可将更多预算分配给更密的锚点 W （改善读取分辨率），或更细的频谱细分 K （改善输出细节），二者不再强制同步增长； - **更大输出窗口**（如 ImageNet-512 中 L=64 ）可通过增加 K 覆盖更多像素细节，而全局序列仍固定为 W=256 个 carrier； - **状态、目标与损失均保留在像素空间**，无需独立训练的自编码器，同时避免了传统像素空间模型中细节与通信成本的线性绑定。 Q4: 论文做了哪些实验？论文在 ImageNet 类条件生成、文本到图像生成，以及系统性的消融与机制诊断上开展了以下实验： —- ### 1. ImageNet 类条件图像生成 #### 1.1 主实验设置 - **数据集**：ImageNet-1K - **分辨率**：ImageNet-256 与 ImageNet-512 - **训练配置**：120 epochs，有效 batch size 512（256 分辨率）或 1,024（512 分辨率），使用 rectified-flow 目标与 AdamW 优化器 - **评估指标**：FID（↓）、Inception Score（IS, ↑）、条件前向 GFLOPs（↓）、峰值采样吞吐量 img/s（↑） - **采样**：50 步 Heun 采样器，EMA-1 权重，针对每个模型进行 CFG（classifier-free guidance）粗到细网格搜索 #### 1.2 对比基线与控制组 - **JiT 系列**：JiT-B/16、JiT-B/8（256 分辨率）；JiT-B/32、JiT-B/16（512 分辨率） - **Spectral Forcing 基线**：SF-B/32、SF-B/16 - **FLOPs 匹配控制组（JiT-CM）**：保持 JiT 的原始 patch tokenizer，但通过输入瓶颈与上下文 token 压缩计算量，使其与 SpecSlot 的 GFLOPs 相近（124G/141G 级别） #### 1.3 核心结果 - **ImageNet-256**：SpecSlot (W256/K2) 与 (W256/K4) 提供了位于 JiT-B/16（低成本）与 JiT-B/8（高成本）之间的两个非支配操作点。SpecSlot-K4 在几乎相同的 GFLOPs 与吞吐量下，与 JiT-CM 的 FID 均值处于五种子 95% 置信区间内，且在中早期 checkpoint 收敛更快。 - **ImageNet-512**：SpecSlot-K4 在比 JiT-CM 低 3.9% FLOPs 的情况下，FID 降低 2.84；与 JiT-B/16 相比仅落后 0.69 FID，但成本低 38.2%，吞吐量高 1.6 倍。在该分辨率下，更大的输出窗口允许在全局序列固定的前提下覆盖更多像素细节，从而拉开与计算匹配控制组的差距。 —- ### 2. 文本到图像生成 - **训练数据**：BLIP3o（长/短 caption 分片）与 JourneyDB 分片的混合数据 - **文本条件**：冻结的 OpenCLIP ViT-L/14 + 可训练 32-query 单层交叉注意力适配器 - **训练配置**：256 × 256 分辨率，400 epochs - **评估基准**：DPG-Bench（整体得分）与 GenEval - **核心结果**：SpecSlot (W256/K4) 在 DPG-Bench 上达到 62.21，超越 JiT-B/8 的 61.15，同时前向 GFLOPs 低 40.6%；在 GenEval 上优于 JiT-B/16，但 JiT-B/8 仍以约 1.7 倍计算成本保持质量领先。 —- ### 3. 设计消融实验（Ablation Study） #### 3.1 锚点密度与系数细分（Slot Allocation）在固定总 slot 数 N=2048 或固定锚点数 W=256 的条件下，测试不同 (W, K) 组合： - **固定 N **：W64/K32、W256/K8、W1024/K2 - **固定 W **：W256/K2、W256/K4、W256/K8 结论： W 改善“读取”质量， K 改善“写入”精细度；在测试范围内，将预算更多分配给空间锚点 W 的边际收益更明显； K 增大时有效 slot 比例递减（熵有效秩下降），解释了收益递减现象。 #### 3.2 输入与输出表示基（Input/Output Bases）在固定 W256/K4 下比较： - 单一基：频域→频域、频域→空间、空间→频域、空间→空间 - **双基混合**（空间输入，频域+空间输出）双基混合取得最佳 FID（6.59），比最优单基（6.99）进一步提升 0.40，表明两个分支内容互补。 #### 3.3 通信路由调度（Carrier Routing）在固定 W256/K4/B1536 下比较不同通信图： - **GGLL**（Global-Global-Local-Local，论文方法） - **GLGL**（交替全局/局部，相同 carrier 集合） - **Dense-global-CM**（12 个全全局块，所有 image slot 参与，宽度压缩以匹配 FLOPs） - **Full-global**（12 个全全局块，所有 slot 参与，不压缩宽度） GGLL 在匹配 FLOPs 的路由方案中 FID 最优（6.59），且吞吐量显著高于全全局方案；GLGL 在相同计算下表现弱于 GGLL，说明块顺序有影响。 —- ### 4. 组件消融（Component Ablations） | 组件 | 测试内容 | 关键发现 | |———|—————|—————| | **Evidence width B ** | 1024 / 1536 / 2048 | B=1536 取得最佳 FID | | **采样吞吐量** | Heun 20/30/50 步，batch 512 | GGLL 比 Dense-global-CM 快 1.47–1.49 倍，比 Full-global 快 1.70–1.71 倍 | | **输出窗口重叠** | 非重叠 vs 50% 重叠（lapped DCT） | 50% 重叠改善 FID（6.59 vs 6.78），消除块效应 | | **输入混合器** | Identity vs 残差深度可分离 3×3 | 混合器改善 FID（6.59 vs 6.83） | —- ### 5. 机制分析（Mechanistic Analysis） #### 5.1 频谱基与空间校正的互补性 - **能量分解**：在整个 flow 过程中，频谱项自能量占主导；空间项占比从 0.07 增长至 0.23；归一化交叉项始终为正，说明二者**相互增强**而非抵消。 - **频带投影**：通过匹配 lapped-DCT 分析框架观察，空间项在最低径向频带贡献最小，在后期高频组中占主导。 - **干预实验**：固定 trunk，在 t=0.90 时移除空间项使 velocity MSE 上升 32.1 倍，移除频谱项上升 64.1 倍；频谱分支是主要骨架，空间分支提供后期高频修正。 #### 5.2 Carrier 身份与路由通信 - **Carrier 身份消融**：保持 W256/K4/B1536 与 GGLL 图不变，仅改变哪个 slot 获得跨锚点全局访问权。将最低径向频带（slot 0）作为 carrier 取得最优 FID（6.59）；换为 slot 1/2/3 均导致 FID 上升（最高至 7.21）。 - **证据时间（Evidence timing）**：测量各径向频带的 data-to-noise ratio（DNR）穿越时间 t^ 。最低频带最早跨越 DNR=1 （如 W256/K4 中 slot 0 在 t≈ 0.468 ），而高频带更晚。这支持将最早可用的信号分配给全局 carrier 路径。 - \*路由干预**：在共享 Transformer 内部移除跨锚点 carrier 边或局部跨频带边。移除全局边主要损害早期低频恢复；移除局部边主要损害中后期高频细节。 —- ### 6. 附录中的补充实验 - **CFG 扫描**（Appendix B）：以 JiT-B/8 为例展示 coarse-to-fine 的 guidance scale 搜索过程，确认最优 CFG 为 2.9 而非 3.0。 - **采样延迟缩放**（Appendix C）：在固定 batch 512 下测量 Heun 20/30/50 步的模型采样延迟，量化 GGLL、Dense-global-CM 与 Full-global 的实际毫秒级性能差异。 - **多训练种子统计**（Appendix D）：报告 ImageNet-256 上 W256/K2 与 W256/K4 的五独立训练种子结果（seed 12345–12349），给出均值、标准差与 95% 置信区间。 - **有效 slot 利用率**（Appendix E.2）：通过熵有效秩（entropy effective rank）与局部注意力概率分析，证明增大 K 时绝对有效容量仍增长，但呈次线性，且 detail-to-carrier 注意力概率随 K 增大而降低。 Q5: 有什么可以进一步探索的点？基于论文的核心设计——将 tokenization 视为显式的角色分配（Read–Allocate–Route）并以频谱角色解耦全局通信与局部细节——以下几个方向值得进一步探索： —- ### 1. 动态与自适应的分配策略论文中的 W （锚点密度）与 K （频谱细分）在训练与推理阶段均为固定超参数。然而，不同图像区域或不同去噪阶段对全局通信与局部细节的需求并不均匀。 - **内容感知的可变分配**：是否可以基于输入噪声或类嵌入/文本嵌入，自适应地调整每个锚点内的 K 值，或动态选择哪些频带进入全局通信？这类似于视觉 token 合并（ToMe、SparseDiT）的思想，但作用在频谱角色层面。 - **随时间（flow time）变化的分配**：论文机制分析表明，最低频带最早越过 DNR=1 （信号主导），而高频带在 t 较大时才可用。这暗示在 t to 0 时可能需要更密集的 carrier 通信，而在 t to 1 时可将更多计算转向局部 slot。探索**时间依赖的 W(t) 或 K(t) ** 可能进一步提升效率。 - **可学习的频谱分组**：当前 DCT 径向分组是人工设计的；是否可以通过可微分搜索或 Gumbel-Softmax 学习最优的系数分组，甚至跨层使用不同的分组策略？ —- ### 2. 频谱角色与变换基的深化 SpecSlot 采用固定的 DCT-II 基与径向排序，这为频谱角色化打开了大门，但仍有扩展空间。 - **多尺度与小波基**：将 DCT 替换为离散小波变换（DWT）或数据驱动的变换基（如从 VQ-VAE 码本学习），可能更好地捕捉边缘与纹理的各向异性结构。论文中提及的 DiMSUM 与 DeCo 已分别在空间-小波与低频-高频解耦上做出尝试，将**显式角色分配**与这些变换结合是自然的延伸。 - **层间频谱迁移**：当前每个 slot 的频谱角色是固定的。是否可以让 slot 在网络的深层中“升级”或“转换”角色？例如，早期层由 carrier 传播全局布局，后期层允许某些高频 slot 获得有限的跨锚点通信权，以协调复杂纹理。 - **频谱条件与引导**：Spectral Forcing 和 Frequency-Forcing 利用频率信息进行条件生成或引导。类似地，是否可以在 SpecSlot 的 carrier 路径中注入频谱级的条件信号，实现更精细的语义-频谱对齐？ —- ### 3. 路由与通信拓扑的扩展 GGLL（Global-Global-Local-Local）是一种固定的 carrier-局部交替拓扑，但通信图本身可以更丰富。 - **多 carrier 与分层全局**：当前仅 slot 0 作为 carrier。对于极大分辨率或需要多尺度全局交互的场景，是否可以设计**多个层级的 carrier**（例如 slot 0 负责整图全局，slot 1 负责邻域网格级全局），形成层次化的注意力图？ - **稀疏学习与频谱路由的结合**：论文提到 trainable sparse attention 与 PixSGR 等工作从数据中学习稀疏模式。SpecSlot 的固定角色图提供了强先验，但是否可以在该先验之上引入少量可学习的跨锚边，让模型自适应地决定哪些高频 slot 需要“例外”的全局通信？ - **局部通信的拓扑优化**：当前局部块仅在同锚点内的 K 个 slot 间进行全连接注意力。当 K 较大时（如 K=32 ），局部成本 WK^2d 会显著上升。探索局部 slot 之间的稀疏或低秩交互（如 slot 0 作为局部中枢）可能缓解这一问题。 —- ### 4. 向多模态与高维数据的扩展论文验证了 ImageNet 类条件生成与文本到图像（T2I）任务，但 SpecSlot 的分配思想可推广至更复杂的生成域。 - **视频生成**：视频在时空维度上具有天然的频率结构（空间细节 + 时间动态）。将 SpecSlot 的 W × K 表示扩展为**时空锚点 × 时空频谱 slot**（例如 3D-DCT 或时空小波），并将全局 carrier 分配给低时空频带，可能实现更高效的像素空间视频 Transformer。 - **高分辨率与任意宽高比**：NaViT 与 FlexiDiT 等工作处理了可变分辨率。SpecSlot 的锚点网格 W 天然可与非均匀空间采样结合，探索**非规则锚点分布**（如根据图像内容在物体边界处加密锚点）是有趣的方向。 - **像素空间编辑与逆问题**：由于 SpecSlot 完全在像素空间操作，其频谱角色可能对图像修复（inpainting）、超分辨率或风格迁移等逆问题更为透明。例如，可以仅修改特定频带的 slot 状态来实现局部重绘，而不破坏全局结构。 —- ### 5. 理论理解与优化策略论文的消融显示有效 slot 比例随 K 增加而下降（ K=2 时 0.803， K=8 时 0.495），暗示存在容量利用率的瓶颈。 - **Slot 利用率的理论刻画**：需要更深入理解为何增加 K 会引入冗余。是否可以通过正则化（如 slot 间正交约束、信息瓶颈）或显式解耦表示学习（如 β -VAE 风格的目标）来提高每个 slot 的独立贡献？ - **双基互补性的数学解释**：实验表明频谱基与空间校正相互增强（交叉项为正），而非简单叠加。建立这两个基在函数空间中的**正交分解或框架理论（frame theory）**解释，有助于指导更优的多基设计。 - **课程学习与分阶段训练**：既然最低频信号最早可用，是否可以设计课程策略，先训练 carrier 路径与低频重建，再逐步解锁高频 slot？这可能加速收敛并改善大 K 设置下的训练稳定性。 —- ### 6. 系统工程与高效推理论文已显示 GGLL 在采样吞吐量上优于 dense-global 与 full-global 方案，但仍有工程优化空间。 - **硬件感知的调度**：局部块在所有锚点上独立执行，天然适合张量并行或流水线并行。针对 GGLL 模式设计**定制化的 GPU kernel 或稀疏 attention kernel**（如 FlashAttention 的局部变体）可能进一步放大其效率优势。 - **与模型压缩结合**：SpecSlot 的显式角色分离使其特别适合结构化剪枝——例如，在推理时完全丢弃部分高频 slot 或压缩其对应的 FFN 维度，实现质量-延迟的即时权衡（类似 FlexiDiT 的动态计算，但是基于频谱角色的）。 - **蒸馏与轻量化**：将大配置（如 W1024/K8）的频谱知识蒸馏到小配置（如 W256/K4）中，利用 carrier 作为天然的知识传递接口，可能以远低于从头训练的成本获得高质量的轻量模型。 —- ### 7. 总结 SpecSlot 的核心在于**将 tokenization 重新表述为通信与表示的联合分配问题**。未来的工作可以沿着三条主线展开：(1) **动态化**——让 W 、 K 和 carrier 身份随数据与生成阶段自适应变化；(2) **理论化**——深入理解频谱角色、双基互补与 slot 冗余的底层机制；(3) **领域扩展**——将 Read-Allocate-Route 框架推向视频、3D 与更高分辨率的像素空间生成。这些方向都有潜力在保持像素空间简洁性的同时，进一步突破计算效率与生成质量的帕累托前沿。 Q6: 总结一下论文的主要内容该论文针对像素空间生成 Transformer 中**输出细节与全局通信成本相互耦合**的核心瓶颈，提出了一种名为 **SpecSlot** 的新架构，通过显式的频谱角色分配解耦二者的绑定关系。 ### 问题背景现有像素空间 Transformer 通常采用“一个 token 对应一个空间 patch”的网格化表示。这种设计导致三个功能被强制绑定： - 输入读取的空间粒度 - 输出预测的精细程度 - 全局自注意力序列的长度因此，提升图像细节（如减小 patch size）会直接、成倍地增加全局注意力的二次计算成本。 ### 核心洞察论文观察到，在频域中不同频率成分对通信范围的需求本质不同： - **低频结构**承载图像整体布局，需要跨区域的**全局通信** - **高频细节**具有强烈的局部性，无需参与昂贵的全局注意力基于这一观察，论文提出：**输出角色应当同时决定通信方式**——携带低频 scaffold 的 token 应当获得跨锚点访问权，而携带高频细节的 token 应被限制在局部交互。 ### 方法：SpecSlot SpecSlot 将 tokenization 重新定义为“Read–Allocate–Route”三阶段的角色耦合分配机制： 1. **Read（读取）**：构建 W 个空间锚点（spatial anchors），通过共享投影与局部混合器收集输入证据。锚点密度 W 控制输入读取的粒度。 2. **Allocate（分配）**：每个锚点扩展为 K 个索引化的 slot，将 L × L 输出窗口的 DCT 系数按径向频率排序后均分为 K 组，每个 slot 拥有不相交的频谱系数组。 K 控制输出的频谱细分度。 3. **Route（路由）**：仅每个锚点中负责**最低径向频带**的 slot（称为 carrier）进入全局注意力阶段；所有 K 个 slot 在锚点内部进行局部交互。网络采用 **GGLL（Global-Global-Local-Local）** 交替调度。由此，总 slot 数 N = W × K 被拆分为两个独立变量：可以在固定全局序列长度 W 的前提下，通过增加 K 来提升输出细节，而不扩大全局注意力的二次成本。此外，同一组 slot 状态同时解码： - **频谱基预测** r(spec) ：通过 50% 重叠的加窗 DCT 合成，避免块效应 - **空间校正** r(sp) ：以锚点对齐的像素瓦片形式提供局部修正最终预测保持在像素空间： rθ = r(spec) + r(sp) 。 ### 实验结果 - **ImageNet-256**：SpecSlot (W256/K4) 在 FLOPs 与 JiT 计算匹配控制组（JiT-CM）相近的情况下，收敛更快且 FID 相当；以显著更低的成本（比 JiT-B/8 低 40.9% FLOPs）提供了介于 JiT-B/16 与 JiT-B/8 之间的两个非支配操作点。 - **ImageNet-512**：更大的输出窗口使 SpecSlot 的优势更明显。W256/K4 在比 JiT-CM 低 3.9% FLOPs 的情况下，FID 改善 2.84；与 JiT-B/16 相比仅落后 0.69 FID，但成本低 38.2%，吞吐量高 1.6 倍。 - **文本到图像**：迁移至文本条件生成时，SpecSlot 在 DPG-Bench 上得分 62.21，超越 JiT-B/8（61.15），同时前向 GFLOPs 低 40.6%。 ### 消融与机制分析 - **分配策略**：固定总预算 N 时，增加空间锚点 W 的边际收益通常优于增加频谱细分 K ； K 增大时有效 slot 比例递减（熵有效秩下降）。 - **双基互补**：空间输入 + 频域-空间双基输出取得最优 FID（6.59），优于任何单一基；频谱分支是主要 scaffold，空间分支提供后期高频修正。 - **Carrier 身份**：仅当最低径向频带（slot 0）担任 carrier 时性能最优，与该频带在 flow 中最早达到 DNR ≥ 1 （信号主导噪声）的实证观测一致。 ### 主要贡献 - 提出了 ** W × K 索引化表示**，将空间锚点密度与频谱细分解耦为两个独立分配变量，并以同一 slot 状态解码双基输出。 - 定义了基于 slot 索引的 **carrier 路由 GGLL 注意力**：全局序列仅含 W 个 carrier 而非 W × K 个 slot，使全局通信成本与输出细节解耦。 - 在 ImageNet 类条件生成与文本到图像任务上验证了该设计在多个质量-计算权衡点上的有效性，表明像素空间生成模型可以通过显式的频谱角色分配，在不牺牲全局结构建模的前提下高效地扩展局部细节。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jiongfan Yang,Weichen Fan,Haiwen Diao,Zhongang Cai,Ziwei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.40647.pdf

Arxiv URL: https://arxiv.org/abs/2610.40647

Arxiv ID: 2610.40647

CoolPaper URL: https://papers.cool/arxiv/2610.40647

Published: 2026-10-31T02:43:06.143Z

Updated: 2026-10-31T02:43:06.143Z

8. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

Abstract:Interactive world models generate visual content conditioned on user actions, yet maintaining spatial consistency over long-horizon exploration in real time remains challenging. Existing approaches rely on either temporal context or explicit 3D memory, both of which scale poorly because memory grows with the length of the generated stream. Moreover, explicit 3D memories condition latent video generators by re-encoding RGB renderings, which precludes real-time generation. In this paper, we introduce a Latent 3D Gaussian Memory (L3G) that combines the efficiency of feed-forward reconstruction with a compact, rapidly renderable scene representation. Building on this memory, we propose L3G-World, in which a memory updater and a video diffusion transformer (DiT) alternate autoregressively to generate spatially consistent worlds. The memory updater spawns Gaussians in newly observed regions and refines existing ones, so that the memory grows with scene extent rather than stream length. Each Gaussian further stores a VAE latent feature, allowing the memory to be rendered directly into the DiT’s latent space without VAE re-encoding. Experiments show that L3G-World achieves state-of-the-art generation quality and long-horizon spatial consistency, with up to $38.6\times$ fewer 3D primitives, $3.2\times$ faster memory updates, and $359\times$ faster memory rendering relative to the most efficient prior 3D-memory baseline for each metric, enabling real-time world generation at 9 FPS.

中文摘要

摘要：交互式世界模型可以根据用户操作生成视觉内容，但在实时长时间探索中保持空间一致性仍然具有挑战性。现有方法依赖于时序上下文或显式三维记忆，这两种方法的扩展性都较差，因为记忆随生成流的长度增加而增长。此外，显式三维记忆通过重新编码RGB渲染结果来调节潜在视频生成器，这阻碍了实时生成。本文中，我们提出了一种潜在三维高斯记忆（L3G），它将前馈重建的高效性与紧凑、可快速渲染的场景表示相结合。在此记忆基础上，我们提出了L3G-World，其中记忆更新器和视频扩散变换器（DiT）交替自回归生成空间一致的世界。记忆更新器在新观察区域生成高斯，并优化现有高斯，从而使记忆随场景范围增长而非生成流长度。每个高斯还存储一个VAE潜在特征，使记忆可以直接渲染到DiT的潜在空间而无需VAE重新编码。实验表明，L3G-World在生成质量和长时间空间一致性上达到最先进水平，与最有效的先前三维记忆基线相比，每项指标使用的3D基本元素减少高达38.6倍，记忆更新速度提升3.2倍，记忆渲染速度提高359倍，实现了每秒9帧的实时世界生成。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.40614 (HTTP 429)

Authors: Jinhyeok Choi,JoungBin Lee,Jongmin Lee,Minkyeong Jeon,Jiyoung Kim,Kaeun Han,Yoonjin Yoon,Seungryong Kim

Categories:

PDF URL: https://arxiv.org/pdf/2610.40614.pdf

Arxiv URL: https://arxiv.org/abs/2610.40614

Arxiv ID: 2610.40614

CoolPaper URL: https://papers.cool/arxiv/2610.40614

Published: 2026-10-31T02:43:06.225Z

Updated: 2026-10-31T02:43:06.225Z

9. WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training

Abstract:Scaling supervised training for working agents requires diverse professional tasks that yield reliable expert demonstrations. However, missing or inconsistent task information can obstruct teacher execution and weaken the resulting supervision. We propose WorkFactory, a scalable framework for constructing coherent and executable professional tasks. Starting from professional intents, information-level planning builds an information support graph to guide task instantiation, explicitly representing the dependencies and locations of information required for the intended outputs. Probe executions then identify support failures and guide repairs while preserving the intended work. We construct 112,686 tasks spanning 612 occupations and use the collected teacher trajectories to fine-tune Qwen models at 4B, 27B, and 35B-A3B scales, yielding the WorkPilot family. All three models improve over their respective base models across four professional-work benchmarks, with WorkPilot-35B-A3B improving from 879 to 1565 Elo on GDPval-AA v2.1. Scaling analyses reveal model-dependent diminishing returns, with execution length first increasing and then decreasing. Controlled component analyses show that planning and repair reduce probe-diagnosed task environment defects and improve downstream performance. The data and models are available at this https URL.

中文摘要

摘要：为了扩展面向工作代理的监督训练，需要产生可靠专家演示的多样化专业任务。然而，缺失或不一致的任务信息可能阻碍教师执行并削弱由此产生的监督效果。我们提出了 WorkFactory，一个用于构建连贯且可执行专业任务的可扩展框架。从专业意图出发，信息层级规划构建信息支持图以指导任务实例化，明确表示生成预期输出所需信息的依赖关系和位置。随后探测执行识别支持失败并指导修复，同时保留预期工作。我们构建了覆盖 612 种职业的 112,686 个任务，并使用收集到的教师轨迹对 4B、27B 和 35B-A3B 规模的 Qwen 模型进行微调，从而形成 WorkPilot 系列模型。所有三种模型在四个专业工作基准上均优于各自的基础模型，其中 WorkPilot-35B-A3B 在 GDPval-AA v2.1 上的 Elo 分数从 879 提升至 1565。规模分析表明模型存在依赖的收益递减规律，执行长度先增加后减少。受控组件分析显示，规划和修复能够减少探测诊断出的任务环境缺陷并提升下游性能。数据和模型可通过此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*规模化监督训练中专业任务构建与信息支持不一致\*\*的问题，具体可归纳为以下核心挑战： \*\*1. 专业任务构建的可扩展性与可靠性瓶颈\*\* 当前工作智能体（working agents）的后训练通常依赖专家执行轨迹进行监督微调。然而，随着训练规模扩大，手动设计或简单组合任务材料难以覆盖广泛的职业能力，且容易产生信息缺失、跨文件矛盾或推导链条断裂等问题，导致教师模型（teacher model）无法可靠复现目标职业能力，进而削弱生成轨迹的监督质量。 \*\*2. 任务环境中信息支持的显式规划与维护困难\*\* 专业任务的完成往往依赖分布于多个工件（artifacts）中的异构信息，并通过中间计算与判断连接。现有方法在实例化任务时，难以精确界定“哪些前提信息应提供给求解器”与“哪些推导结果应保留给求解器自行完成”的边界。若关键前提缺失（如供应商报价是否含运费），教师模型将引入无依据假设或遗漏必要工作；若中间结果直接泄露，则剥夺了求解器的核心推导过程，均会降低训练数据的有效性。 \*\*3. 任务实例化后的执行缺陷难以自动诊断与修复\*\* 即便在规划阶段设计了合理的工件依赖，材料化（materialization）过程中仍可能丢失或破坏信息依赖关系。现有框架缺乏系统化的机制，在教师收集轨迹前主动探测求解器可见输入是否真正支撑任务完成，并在不篡改原始工作意图的前提下修复阻塞性缺陷。为此，论文提出 \*\*WorkFactory\*\* 框架，其核心贡献在于： - \*\*信息级逆向规划\*\*：从预期输出反向构建\*\*信息支持图\*\*（information support graph），显式建模各输出所依赖的信息单元及其载体位置，确保必要前提对求解器可见，同时保留推导空间； - \*\*基于执行的修复\*\*：通过隔离探测（probe execution）诊断材料化环境中的支持失败，并在保持核心工作目标、操作与交付物要求不变的前提下，对请求与参考文件进行约束化修复； - 最终利用通过质量筛选的 112,686 个任务、覆盖 612 种职业的教师轨迹训练 \*\*WorkPilot\*\* 模型族，系统验证了高质量任务环境构建对规模化工作智能体监督训练的关键作用。 Q2: 有哪些相关研究？该论文的相关研究主要集中在两个相互关联的方向：\*\*智能体任务与环境合成\*\*（Agent Task and Environment Synthesis），以及\*\*面向工作智能体的专业任务构建\*\*（Professional Task Construction for Working Agents）。 ### 1. 智能体任务与环境合成该方向关注如何通过自动化方法生成可扩展的训练任务与可执行环境，以支持智能体学习。 - \*\*软件工程场景\*\*：该领域因代码仓库提供真实上下文、可执行测试提供明确监督而具有天然优势。代表性工作包括： - \*\*SWE-Gym\*\*

22
：用于训练软件工程智能体与验证器 - **SWE-smith**
35
：通过规模化数据提升软件工程智能体能力 - **R2E-Gym**
14
：基于程序化环境与混合验证器扩展开源权重软件工程智能体 - **长程、多工具任务合成**：针对超越编程的复杂任务，近期研究探索了多种合成路径： - **组合式扩展**（Compositional expansion）
29, 34
：通过组合基本操作生成复杂任务 - **环境探索与执行反馈**
7, 28
：利用智能体在环境中的探索行为与执行结果迭代生成任务 - **有状态交互环境**
11
：构建具有持久状态的真实交互环境以支持通用智能体训练这些进展为工作智能体的任务合成提供了方法论基础，但工作智能体的任务额外要求整合异构信息并生成领域特定的交付物，因此需要更具相干性的工作空间。 ### 2. 面向工作智能体的专业任务构建该方向直接针对数字环境中专业工作流的自动化任务生成，与本文工作最为接近。 - **NexForge**

40
：将能力需求转化为任务指令，并通过工作空间蓝图（workspace blueprints）进行实例化。 - **Synthetic Computers**
12
：规划工件（artifacts）之间的依赖关系，以引导工作空间的合成。 - **GraphForge**
31
：在组装的真实文件上构建证据图，据此派生任务描述与基于证据的评分标准（rubrics），并利用执行反馈修订任务规范。 - **WorkGenesis**
42
：围绕检索到的真实文件合成辅助材料，并基于评分标准进行失败归因，进而指导对任务请求、合成材料及评分标准的修订。 ### 与现有工作的区别论文明确区分了 WorkFactory 与上述工作的核心差异： - **相对于 GraphForge**：GraphForge 从真实文件工作空间的证据图出发编译任务与评分标准；而 WorkFactory 从**预期输出逆向出发**，利用信息支持图协调跨重用材料与合成材料的依赖关系及信息位置，并将推导结果保留给求解器完成。 - **相对于 WorkGenesis**：WorkGenesis 依赖基于评分标准的审计机制；WorkFactory 则直接对求解器可见环境进行**探测执行**（probe execution），并将修复约束在保持原始工作意图不变的范围内。 - **相对于 NexForge 与 Synthetic Computers**：WorkFactory 强调在工件组装之前，于**信息层面**显式规划依赖与位置绑定，而非仅在工件层面进行规划。 Q3: 论文如何解决这个问题？论文通过 **WorkFactory** 框架系统性解决专业任务构建中的信息一致性与可执行性问题，其核心方法可分为四个递进阶段： ### 1. 多源专业意图合成（Multi-source Professional Intent Synthesis）为覆盖广泛的职业能力，WorkFactory 从三类异构来源衍生意图库 L ，在实例化具体材料之前定义有意义的工作目标： - **职业层级扩展**：基于标准职业分类，将宏观职业细化为具体角色与工作情境； - **技能组合推导**：收集公开技能文档，分析技能的前提条件与输入输出关系，将可衔接的技能组合为连贯的多步骤工作流； - **交付物逆向推导**：利用真实专业交付物，通过指令回译（instruction backtranslation）推断其生产目标与受众需求。所有候选意图均经 LLM 评审，评估其内部一致性、职业适当性与现实合理性，通过筛选后加入共享意图库。 ### 2. 图引导环境构建（Graph-guided Environment Construction）针对每个意图，WorkFactory 在材料化之前通过**信息支持图**显式规划任务边界，确保求解器可见输入足以支撑预期工作，同时保留推导空间。 #### 2.1 信息支持图的形式化定义信息支持图定义为：

G(info) = (V(info), V(carrier), E(info), E(loc))
其中： - V(info) ：信息单元节点，记录语义内容、实体与范围、以及供给状态（已提供、外部获取、求解器推导或内部构造）； - V(carrier) ：载体节点，标识信息所在位置（用户请求、参考工件、外部资源、未来交付物或内部构造要求）； - E(info) ：信息间的支持关系，包括关联、转换、证据与约束； - E(loc) ：位置绑定，将信息单元映射到具体载体，并标注求解器是否可访问。 #### 2.2 逆向信息规划规划器从**预期输出反向推导**，识别支撑该输出的计算与判断，逐层追溯所需信息单元。在此过程中： - 源数据、商业条款等**前提信息**被标注为对求解器可见； - 下游计算、NPV 比较、最终推荐等**推导结果**被保留为求解器待完成的内部节点； - 对于需多源联合支持的结果， E(info) 显式记录联合依赖关系。 #### 2.3 载体绑定与材料化位置绑定 E_(loc) 指定信息应出现在哪个载体中，并区分求解器可访问内容与隐藏的构造规范。基于该图，框架生成工件级构造计划：

P = (u, A, D)
包含具体用户请求 u 、工件规格 A 及无环构造依赖 D 。环境工作者依此计划重用、改写或合成工件，并通过程序化与 LLM-based 检查验证生成内容是否符合规划。 ### 3. 基于执行的环境修复（Execution-based Environment Repair）材料化过程可能破坏规划阶段的信息依赖。WorkFactory 通过隔离探测与约束化修复捕获并修正此类缺陷。 #### 3.1 探测诊断（Probe Diagnosis）部署一个**探测求解器**（probe solver），其仅能访问与最终求解器相同的可见输入（用户请求与参考资源），无权访问信息支持图、构造计划或先前执行输出。该探测尝试完成任务并报告环境问题，诊断标准包括： - 是否因信息缺失或矛盾导致任务**阻塞**（blocker）； - 是否出现可指向的具体**正确性错误**； - 是否将环境问题与求解器自身错误、合法的开放式选择区分开来。仅阻塞级问题触发修复流程。 #### 3.2 修复与再验证（Repair and Revalidation）修复器根据诊断结果编辑用户请求及现有参考文件的内容，但受以下严格约束： - **工作保留约束**：每次修订后需通过 LLM-based 工作保留审查，确保核心目标、必要操作与实质性交付要求未改变； - **结构保留约束**：不得改变参考文件的数量、类型与依赖结构； - **信息支持图不变性**：修订以初始构造规范为参考，而非直接修改图本身。例如，若探测发现某供应商报价缺少运费条件，修复器可在报价文件中补充 “USD 0.15 per carton” 的运费条款，但不会代为完成生命周期成本比较。修订后的任务需重新通过构造检查与工作保留审查，并在清洁沙盒中接受新一轮探测执行。该循环最多进行三轮；未解决的阻塞任务将被丢弃。 ### 4. 独立教师轨迹收集（Teacher Trajectory Collection）通过质量筛选的任务进入最终的教师轨迹采集阶段： - 采用独立的 **GLM-5.3** 教师模型在清洁沙盒中执行任务，其信息访问边界与探测阶段完全一致； - 收集的交互轨迹与交付物经轻量级过滤（排除重复推理、重复工具调用、缺失交付物等）； - 对最长的 5% 任务 rollout，进一步通过成对交付物比较进行选择性拒绝采样； - 最终保留的轨迹被转换为训练序列，采用掩码自回归监督进行微调。通过上述流程，WorkFactory 将 112,686 个跨 612 种职业的专业意图转化为结构一致、可执行且保留完整推导空间的训练任务，为后续工作智能体的监督学习提供了可靠的专家演示数据。 Q4: 论文做了哪些实验？论文在第4节及附录中开展了多组实验，系统验证 WorkFactory 构建的训练数据及 WorkPilot 模型的有效性与扩展规律。主要实验内容如下： ### 1. 实验设置 - **基线模型**：以 Qwen3.5-4B、Qwen3.6-27B、Qwen3.6-35B-A3B 作为对应尺度上的基础模型；同时引入前沿模型（如 GLM-5.3、DeepSeek-V4.1-Flash、GPT-5.6 Sol 等）、开源大参数模型（ ge 300B）及同尺度开源模型（ ≈ 30B）作为系统级参照。 - **评测基准**：覆盖四个专业任务基准——GDPval-AA、JobBench、Workspace-Bench-Lite、OmegaUse-OfficeVal。 - **训练配置**：所有微调实验采用共享的监督微调（SFT）配置，在保留的 112,686 条教师轨迹上训练。 ### 2. WorkFactory 数据的有效性验证在完整训练语料上微调得到 WorkPilot 模型族，评估其在四个基准上的表现： - **WorkPilot-35B-A3B** 在 GDPval-AA 上从基线的 879 提升至 **1565** Elo；在 JobBench 上从 28.91 提升至 **62.35**；在 Workspace-Bench 上从 47.12 提升至 **56.53**；在 OmegaUse-OfficeVal 上从 7.14 提升至 **21.18**。 - **WorkPilot-27B** 在 GDPval-AA 上达到本地估计的 **1612** Elo，进入前沿模型区间。 - **WorkPilot-4B** 在 GDPval 与 OmegaUse-OfficeVal 上超过同尺度模型 Apodex-1.1-mini，展现强数据效率。 ### 3. 数据规模缩放特性分析（Scaling Properties）通过在 2K 至 110K 任务子集上训练 Qwen3.6-35B-A3B，并在 30K/110K 上评估 27B 与 4B 模型，得到以下发现： - **性能增长与边际递减**：GDPval-AA Elo 随训练任务量增加而上升，但呈现模型依赖的边际递减。例如，35B-A3B 模型在前 5K 任务获得 447 Elo 提升，而从 75K 到 110K 仅提升 13；30K 任务时，35B-A3B 与 27B 已分别获得其 110K 总增益的 88% 与 94%。 - **执行长度先增后减**：35B-A3B 的平均交互轮次从基线 24.87 增至 2K 任务的 162.88，随后在 110K 时回落至 85.90；达到 250 轮上限的轨迹比例从 21.9% 降至 2.7%。 - **工具调用失败率变化**：代码执行失败率从 16.0% 降至 6.3%；网络搜索失败率在 2K 时升至 22.4% 后降至 10.4%；网页获取失败率维持在约 40%–48%。 ### 4. 框架组件的消融分析（Component Analysis）在 5K 任务规模上对比三种合成条件，以隔离各组件贡献： - **直接工件级规划**（Artifact-level planning） - **信息级规划**（+ Information support graph） - **信息级规划 + 执行修复**（+ Execution-based repair） **任务环境质量**（基于探测诊断的硬缺陷发生率）： - 信息级规划显著降低 6/8 类缺陷，其中“推导断裂”从 24.86% 降至 6.86%，“请求欠指定”从 7.22% 降至 0.62%。 - 但“泄露或捷径”与“自我不一致”略有上升，说明显式规划本身不能保证材料化一致性。 - 引入执行修复后，所有 8 类缺陷均下降：跨文件不一致从 25.74% 降至 **4.84%**，执行可行性从 6.64% 降至 **0.48%**，泄露或捷径从 3.36% 降至 0.84%。 **下游训练效用**： - GDPval-AA Elo 从工件级规划的 1245，提升至信息级规划的 1293（+48），再提升至增加修复后的 1326（+33），累计增益 **81** 点，表明环境缺陷减少直接转化为教师轨迹的训练价值提升。 ### 5. 教师模型选择的影响在相同的 30K 任务子集上，分别使用 GLM-5.3 与 DeepSeek-V4-Flash-0731 生成轨迹并训练同一学生模型（Qwen3.6-35B-A3B）： - **GLM-5.3 教师** 训练的学生达到 **1483** Elo（95% CI:

1455, 1510
）。 - **DeepSeek-V4-Flash-0731 教师** 训练的学生达到 **1248** Elo（95% CI:
1220, 1274
）。 - 两者均优于 879 Elo 的基线，证明 WorkFactory 任务集可迁移至不同教师；但教师选择显著影响同一任务集的训练收益。 ### 6. 成本–性能权衡分析（Cost–Performance Trade-off）基于标准化 token 计费模型估算 GDPval-AA 单任务推理成本： - 按 2026 年 10 月 OpenRouter 价格快照核算，所有三个 WorkPilot 模型均处于所对比模型的非支配前沿（non-dominated frontier）上。 - WorkPilot-4B、WorkPilot-35B-A3B、WorkPilot-27B 的估算单任务成本分别约为 0.012、 0.031、 0.396。 ### 7. 补充分析 - 教师–学生行为迁移分析（附录 D.4）：对比 GLM-5.3 与 DeepSeek 教师及其训练出的学生在 220 个 GDPval 任务上的行为分布，包括交互长度累积分布、工具调用组成（代码执行/网络搜索/网页获取/其他）及各类工具失败率。GLM 教师及其学生均表现出更多的交互轮次与工具调用。 - Elo 估计方法验证（附录 E.1）：对基于双锚点（GLM-5.3 与 DeepSeek-V4.1-Flash）的 Bradley–Terry 效用估计进行验证集与测试集评估，验证集 MAE 为 24.11 Elo，测试集 MAE 为 19.00 Elo，Pearson r = 0.994 。 - 跨基准交互长度分布（附录 E）：WorkPilot-35B-A3B 在四个评估基准上的交互长度均显著长于基线模型，表明训练后的模型倾向于持续执行更长的完整工作流而非提前终止。 Q5: 有什么可以进一步探索的点？基于论文的局限性与实验发现，以下方向值得进一步探索： ### 1. 多模态专业任务扩展当前 WorkFactory 与 WorkPilot 均限于文本模态：教师模型 GLM-5.3 仅接受文本输入，且 Qwen 骨干的视觉与对齐组件在训练中被冻结。未来可将轨迹收集与学生训练扩展至多模态专业任务，使智能体能够直接基于渲染文档、图表、图像等视觉证据进行推理与操作，覆盖更广泛的实际工作场景。 ### 2. 强化学习训练范式现有研究聚焦于基于专家轨迹的监督微调（SFT）。鉴于 WorkFactory 能够生成高质量可执行任务并提供执行反馈，未来可探索基于强化学习（RL）的训练范式——利用任务环境中的执行结果（如工具返回状态、交付物评分）构建奖励信号，通过在线探索进一步优化智能体的长程规划与工具使用策略，超越模仿学习的性能天花板。 ### 3. 动态与交互式环境合成当前环境主要围绕静态文件与工具调用构建。未来可研究动态状态演化的工作空间，其中任务执行过程中的中间操作会改变环境状态（如数据库更新、多方协作文档的并发修改、外部 API 状态变化），从而考察智能体在时变条件下的适应能力与错误恢复机制。 ### 4. 教师模型选择与蒸馏策略的系统化实验表明，同一任务集在不同教师（GLM-5.3 vs. DeepSeek-V4-Flash-0731）下产生的训练收益差异显著。未来可深入分析教师能力边界与学生学习目标之间的匹配机制，探索多教师集成、课程式教师选择或针对特定职业能力的最优蒸馏策略。 ### 5. 超大规模数据缩放与饱和机制数据缩放实验揭示了模型依赖的边际递减现象，但 110K 任务是否接近饱和仍不明确。未来可在更大数量级（如百万级任务）下测试性能与执行行为的变化，并结合 scaling law 分析预测不同模型尺度的最优数据量与计算预算配置。 ### 6. 信息支持图的自动进化与验证信息支持图作为核心抽象，目前由规划器基于意图逆向构建。未来可探索从真实工作流日志或企业知识库中自动抽取信息依赖结构，或引入形式化验证方法（如 SMT 求解）在材料化前自动检测图中的逻辑矛盾与推导链条断裂，进一步提升构建效率与可靠性。 ### 7. 跨职业与跨领域迁移分析 WorkFactory 语料覆盖 612 种职业，但论文未系统分析在某一职业上训练的模型是否迁移到未见职业，或不同职业间是否存在可共享的通用工作技能结构。深入理解职业级能力分解与重组机制，有助于构建更具泛化性的工作智能体基础模型。 ### 8. 真实工具生态与商业系统的深度集成当前实验主要基于 GDPval-AA Stirrup 与 Claude Code 工具集。未来可将 WorkFactory 的任务合成框架与真实企业软件栈（如 ERP、CRM、专业设计工具）深度集成，评估智能体在具有高保真业务规则与权限约束的生产级环境中的可用性与安全性。 Q6: 总结一下论文的主要内容该论文围绕可扩展的专业任务构建与工作智能体监督训练展开，核心内容可归纳如下： ### 研究背景与问题监督微调是提升语言智能体能力的常用路径，但将其扩展至工作智能体（working agents）——即在数字环境中执行专业工作流、协调工具并产出交付物的智能体——面临关键瓶颈：任务信息缺失、跨文件不一致或推导链条断裂会导致教师模型（teacher model）引入无依据假设或遗漏必要工作，从而削弱生成轨迹作为监督信号的质量。因此，亟需一种能够大规模构建信息一致且可执行的专业任务的框架。 ### 核心方法：WorkFactory 论文提出 WorkFactory，一个从专业意图出发、通过显式信息规划与执行验证来构建可靠任务环境的框架，包含四个关键阶段： 1. 多源专业意图合成 从职业层级、技能文档与真实交付物三类来源合成多样化的专业意图库 L$，覆盖既定工作流与真实产出需求。 2. 信息级规划（Information-level Planning） 针对每个意图，从预期输出逆向构建信息支持图：

G(info) = (V(info), V(carrier), E(info), E(loc))
其中 V(info) 为信息单元， V(carrier) 为承载载体（如用户请求、参考文件）， E(info) 记录信息间的支持关系， E_(loc) 绑定信息到求解器可见或隐藏的位置。该图显式界定“哪些前提必须提供给求解器”与“哪些推导结果应保留给求解器完成”的边界。 3. **基于执行的环境修复（Execution-based Repair）** 隔离的**探测求解器**（probe solver）仅从求解器可见输入尝试任务，诊断阻塞性支持失败（如缺失证据、跨文件不一致、推导断裂等）。修复器在**不改变核心工作目标、文件结构与依赖关系**的约束下修订环境，经工作保留审查后重新探测，最多三轮。 4. **独立教师轨迹收集** 通过质量筛选的任务由独立教师（GLM-5.3）在同等信息边界下执行，经轻量过滤与选择性拒绝采样后，转化为掩码自回归监督的训练序列。 ### 数据与模型利用 WorkFactory 构建 **112,686 个任务**，覆盖 **612 种职业** 与 **23 个主要职业群组**，产出具有统计意义的多样化工作空间与教师轨迹。基于这些轨迹微调 Qwen3.5-4B、Qwen3.6-27B 与 Qwen3.6-35B-A3B，得到 **WorkPilot** 模型族。 ### 实验发现 - **性能提升**：所有 WorkPilot 模型在 GDPval-AA、JobBench、Workspace-Bench、OmegaUse-OfficeVal 四个基准上显著超越对应基线。WorkPilot-35B-A3B 在 GDPval-AA v2.1 上从 **879 提升至 1565 Elo**；WorkPilot-27B 达到 **1612 Elo**，进入前沿模型区间。 - **缩放规律**：随训练任务从 2K 增至 110K，性能持续提升但呈现**模型依赖的边际递减**；**执行长度先增后减**（35B-A3B 从基线 24.87 轮增至 2K 时的 162.88 轮，再降至 110K 时的 85.90 轮）；部分工具失败率下降。 - **组件有效性**：在 5K 任务上的受控分析表明，信息级规划将“推导断裂”缺陷从 24.86% 降至 6.86%；叠加执行修复后，跨文件不一致从 25.74% 降至 **4.84%**，执行可行性缺陷从 6.64% 降至 **0.48%**，对应 GDPval-AA Elo 从 1245 累计提升至 **1326**。 - **教师选择效应**：相同任务集上，GLM-5.3 教师训练的学生（1483 Elo）显著优于 DeepSeek-V4-Flash-0731 教师训练的学生（1248 Elo），表明任务质量与教师选择共同决定训练收益。 - **成本–性能**：标准化成本估算下，WorkPilot-4B、35B-A3B 与 27B 均位于所对比模型的**非支配前沿**。 ### 主要贡献 - 提出 **WorkFactory** 框架，通过信息支持图与执行修复显式保障专业任务环境的信息一致性与可执行性。 - 开展**系统性的工作智能体数据缩放研究**（达 110K 任务），刻画性能、执行长度与工具可靠性的演化规律。 - 训练并发布 **WorkPilot** 模型族（4B / 27B / 35B-A3B），其中 27B 规模达到前沿级性能，验证了高质量任务构建对规模化监督训练的关键价值。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ziyang Zeng,Tingyang Chen,Jia Deng,Qiyao Wang,Shuo Tang,Yike Yang,Tao Ren,Wayne Xin Zhao,Feng Chang,Jujie He,Chuan Hao,Ran Tao,Bryan Dai

Categories:

PDF URL: https://arxiv.org/pdf/2610.37161.pdf

Arxiv URL: https://arxiv.org/abs/2610.37161

Arxiv ID: 2610.37161

CoolPaper URL: https://papers.cool/arxiv/2610.37161

Published: 2026-10-31T02:43:07.049Z

Updated: 2026-10-31T02:43:07.049Z

10. A Broader Look into MLLM’s Retrieval Heads

Abstract:Locating relevant evidence in long inputs is a core capability of Multimodal Large Language Models. Prior studies attribute this capability to retrieval heads, a sparse set of attention heads that transfer information from the context to the output. However, these analyses are confined to a limited set of modalities and the corresponding models. Moreover, how retrieval heads can be leveraged to enhance the model calls for further exploration. In this paper, we ask whether this mechanism expands together with the input modalities of the model. Taking audio-visual input as a newly added modality, we construct paired inputs in which the same answer is either spoken or shown on screen. With the evidence content fixed, retrieval heads remain sparse in the new modality and are shared to a large extent across modalities. Across 18 language, vision-language, and omni-modal checkpoints, omni-modal models largely preserve the retrieval heads of their backbones. Ablating these heads eliminates nearly all audio-visual retrieval. The heads shared across modalities make up fewer than 2\% of all heads, yet ablating them also degrades document understanding, spatial perception, and visual mathematics. Building on these findings, we turn retrieval heads into a target of optimization by training their attention with a ranking objective. This raises the page Recall@1 of Qwen3-VL-8B on MMDocIR by 6.03 points and improves document retrieval across three model families. Functional attention heads can thus serve both as a lens on multimodal models and as a target for improving them.

中文摘要

摘要：在长输入中定位相关证据是多模态大型语言模型的核心能力。先前的研究将这一能力归因于检索头，一组稀疏的注意力头，将信息从上下文传递到输出。然而，这些分析仅限于有限的模态及其对应模型。此外，如何利用检索头来增强模型还有待进一步探索。在本文中，我们探讨了这种机制是否会随着模型输入模态的增加而扩展。以音视频输入作为新增模态，我们构建了配对输入，其中相同的答案被口述或显示在屏幕上。在证据内容固定的情况下，新模态中的检索头依然稀疏，并在各模态间在很大程度上共享。在18个语言、视觉-语言和全模态检查点中，全模态模型在很大程度上保留了其骨干网络的检索头。消除这些头几乎会消除所有音视频检索。跨模态共享的头占所有头的比例不足2%，但消除它们同样会降低文档理解、空间感知和视觉数学能力。基于这些发现，我们通过训练它们的注意力以排名目标，将检索头变为优化目标。这使得Qwen3-VL-8B在MMDocIR上的页面Recall@1提高了6.03个百分点，并提升了三类模型的文档检索能力。因此，功能性注意力头不仅可以作为观察多模态模型的视角，也可以作为改进这些模型的优化目标。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.32411 (HTTP 429)

Authors: Jia Wang,Yuqing Li,Jiangnan Li,Zheng Lin,Mo Yu

Categories:

PDF URL: https://arxiv.org/pdf/2610.32411.pdf

Arxiv URL: https://arxiv.org/abs/2610.32411

Arxiv ID: 2610.32411

CoolPaper URL: https://papers.cool/arxiv/2610.32411

Published: 2026-10-31T02:43:09.856Z

Updated: 2026-10-31T02:43:09.856Z

11. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

Abstract:Evaluating human-AI co-design requires testing whether coding agents can translate real users’ multimodal requests into working application revisions. We introduce Co-Design Bench, a reference-free benchmark of 273 tasks curated from 37,463 deduplicated queries across 26,314 real user coding sessions. Its two tracks, Multimodal Editing (ME) and Repository Editing (RE), cover localized edits with optional image, audio, video, or document inputs and coordinated repository revisions. Tasks span three capability dimensions: Grounded Understanding, UI Transformation, and Functional Implementation. The tasks pair normalized requests and runnable pre-edit applications with 2,331 hidden expert-authored acceptance criteria. Our judge-then-refute protocol grades criteria using source and browser evidence, challenges positive verdicts with a separate LLM verifier, and audits visual and interaction claims without gold code or target screenshots. Under a shared agentic harness, the strongest of ten model endpoints passes an average of 69.9% of criteria per task but fully satisfies only 26.4% of tasks. All ten endpoints achieve lower criterion completion on repository edits spanning three or four change types than on those spanning one or two. Co-Design Bench provides a testbed for studying the gap between partial requirement satisfaction and complete task success under agentic execution for real-user application revisions.

中文摘要

摘要：评估人机协同设计需要测试编码代理能否将真实用户的多模态请求转化为可运行的应用程序修改。我们引入了Co-Design Bench，这是一个无需参考的基准测试，包含273个任务，这些任务从26,314个真实用户编码会话中的37,463条去重查询中精心挑选而来。其两个赛道——多模态编辑（ME）和仓库编辑（RE）——涵盖了可选择图像、音频、视频或文档输入的本地化编辑以及协调的仓库修改。任务跨越三个能力维度：有根据的理解、用户界面转换和功能实现。任务配对了规范化请求和可运行的编辑前应用程序，附带2,331条隐藏的专家撰写验收标准。我们的“先评审再驳斥”协议使用源代码和浏览器证据对标准进行评分，并用独立的LLM验证器对正面判定提出质疑，同时在没有标准代码或目标截图的情况下审查视觉和交互声明。在一个共享的代理执行框架下，十个模型端点中表现最强的平均每个任务通过了69.9%的标准，但仅完全满足26.4%的任务。十个端点在涉及三种或四种更改类型的仓库编辑上的标准完成度低于涉及一至两种更改类型的任务。Co-Design Bench为研究在代理执行下，真实用户应用程序修改过程中需求部分满足与任务完全成功之间的差距提供了测试平台。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35138 (HTTP 429)

Authors: Xilin Wei,Shengyuan Ding,Xinyu Fang,Tiancheng Gu,Yuchi Wang,Zhixun Li,Ziyu Liu,Yuhang Zang,Weixiang Yu,Cheng Lu,Chonggao Sun,Tong Zhou,Dahua Lin,Hang Zhang,Shuai Bai,Dayiheng Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.35138.pdf

Arxiv URL: https://arxiv.org/abs/2610.35138

Arxiv ID: 2610.35138

CoolPaper URL: https://papers.cool/arxiv/2610.35138

Published: 2026-10-31T02:43:11.674Z

Updated: 2026-10-31T02:43:11.674Z

12. VibeGame: Prompt-to-Game Development with AI-Native Engine and Self-Evolving Adversarial Agent Team

Abstract:Large language model agents have enabled software development through natural-language interaction, but extending this paradigm to end-to-end game development remains challenging. Building a playable game requires coordinating code, scenes, assets, animations, physics, and configurations, while allowing developers to validate their integrated behavior through interactive testing. We introduce VibeGame, a framework for creating complete 2D game projects from natural-language prompts and optional reference images. Its AI-native game engine represents project state as schema-validated structured text and provides frame-synchronous runtime control, enabling agents to inspect game states, execute actions, and verify behavior at their own pace. Built upon this interface, we design an Adversarial Agent Team of eight specialized agents to separate implementation from review, so that problems are found and fixed through multi-round loops. For each conducted and accepted project, we further introduce a training-free self-evolution mechanism to distill it into reusable skeletons, modules, and collaboration contracts for future development. We evaluate prompt-assets-to-game (PA2G), where agents are given an asset library, and prompt-to-game (P2G), where agents generate their own art. On a GameCraft-Bench subset, VibeGame in P2G consistently outperforms a range of agent harnesses in either P2G or PA2G with the same underlying model, including GPT-6.1-Sol.

中文摘要

摘要：大型语言模型代理通过自然语言交互使软件开发成为可能，但将这一范式扩展到端到端游戏开发仍然具有挑战性。构建一个可玩游戏需要协调代码、场景、素材、动画、物理和配置，同时允许开发者通过交互式测试验证其集成行为。我们提出了 VibeGame，这是一个可以从自然语言提示和可选参考图像创建完整 2D 游戏项目的框架。其 AI 原生游戏引擎将项目状态表示为经过模式验证的结构化文本，并提供帧同步运行时控制，使代理能够以自己的节奏检查游戏状态、执行动作并验证行为。在该接口基础上，我们设计了一个由八个专门代理组成的对抗代理团队，以将实现与审查分离，从而通过多轮循环发现和修复问题。对于每个已执行并接受的项目，我们进一步引入了无训练自我进化机制，将其提炼为可重用的骨架、模块和协作契约，用于未来开发。我们评估了提示到资产到游戏（PA2G），其中代理获得一个素材库，以及提示到游戏（P2G），其中代理生成自己的艺术作品。在 GameCraft-Bench 的子集上，VibeGame 在 P2G 模式下始终优于使用相同基础模型的各种代理工具，无论是 P2G 还是 PA2G，包括 GPT-6.1-Sol。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33106 (HTTP 429)

Authors: Wenbo Hu,Ken Li,Jiazhe Wei,Yukang Cao,Weiyi Hong,Jiayi Dai,Chenjun Bai,Jiajun Liang,Yucheng Liao,Ruichuan An,Zeyu Lou,Haofan Wang,Yueming Lyu,Jingkang Yang,Ziwei Liu,Chenyang Si

Categories:

PDF URL: https://arxiv.org/pdf/2610.33106.pdf

Arxiv URL: https://arxiv.org/abs/2610.33106

Arxiv ID: 2610.33106

CoolPaper URL: https://papers.cool/arxiv/2610.33106

Published: 2026-10-31T02:43:12.008Z

Updated: 2026-10-31T02:43:12.008Z

13. HairDeck: Animation-Ready Stylized Hair Cards from a Single Image

Abstract:The hair of stylized characters in games and avatars is built from hair cards: artist-placed ribbons whose geometry is the visible hair, animated by spring bones. Existing image-based methods produce realistic hair or a single fused mesh, while CHARM, the only generator of stylized hair cards, decodes a hairstyle autoregressively as a long sequence of control points. Observing that a card hairstyle is an unordered set of artist-defined primitives, we propose HairDeck, which generates it as one: each card is a single token, and a set diffusion transformer denoises all cards together. From a single image, HairDeck generates the cards and the spring-bone chains that drive them, yielding an animatable asset that exports to ready-to-use downstream formats. On CHARM’s own test set, it lowers Chamfer distance by 44% and card-orientation error by more than half while running 33 times faster, and from single images it outperforms CHARM, image-to-3D pipelines and strand-based methods. Project page: this https URL

中文摘要

摘要：游戏和虚拟角色中的风格化角色头发是由发卡（hair cards）构建的：这些由艺术家放置的带状几何体形成可见头发，并由弹性骨骼（spring bones）驱动动画。现有的基于图像的方法能够生成逼真的头发或单一融合网格，而 CHARM 是唯一的风格化发卡生成器，它通过自回归方式将发型解码为控制点的长序列。观察到发卡发型是一个无序的艺术家定义原语集合，我们提出了 HairDeck，将其生成方式视为整体：每张发卡作为一个单独的 token，集合扩散变换器（set diffusion transformer）同时对所有发卡进行去噪。从单张图像出发，HairDeck 能生成发卡及驱动发卡的弹性骨链，输出可动画的资源，可导出为现成的下游使用格式。在 CHARM 自身的测试集上，HairDeck 将 Chamfer 距离降低了 44%，发卡方向误差减少了一半以上，同时运行速度提高了 33 倍；在单张图像生成任务中，它的表现超过了 CHARM、图像到 3D 的管线及基于发丝的方法。项目页面：这个 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.40599 (HTTP 429)

Authors: Yuze He,Yixiang Wei,Wang Zhao,Chuhao Chen,Yanning Zhou,Yong-Jin Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.40599.pdf

Arxiv URL: https://arxiv.org/abs/2610.40599

Arxiv ID: 2610.40599

CoolPaper URL: https://papers.cool/arxiv/2610.40599

Published: 2026-10-31T02:43:15.562Z

Updated: 2026-10-31T02:43:15.562Z

14. WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video

Abstract:Producing long-form videos from narration requires interdependent decisions that remain coherent across shots. Existing agentic editors often use multi-stage workflows driven by general models, leaving the quality-cost trade-off of compact, task-adapted policies unclear. We address this gap with WeVisCut, a long-form script-to-video system that connects tool execution with policy learning. Its agent harness maintains shared production state so that tool feedback informs subsequent decisions and repairs. Because finished videos do not expose these decisions, our four-stage data pipeline combines editing inversion with verified replay to turn recovered editing intent into executable supervision. Applied to 3,750 finished videos, this pipeline yields over 130K training examples. We use this supervision to train a single 9B policy that coordinates production and recovers from failures within the same harness. Moreover, we introduce a 100-task benchmark and five metrics assessing editing quality and delivery reliability. Under a shared tool environment, WeVisCut substantially outperforms its base model and achieves comparable performance to Claude Opus 5 while using nearly 33x fewer generated tokens per successful output minute. It also outperforms task-matched native editors on our proposed metrics.

中文摘要

摘要：从旁白生成长视频需要在各个镜头之间保持一致的相互依赖的决策。现有的智能编辑器通常使用由通用模型驱动的多阶段工作流程，这导致针对紧凑、任务适配策略的质量与成本权衡不明确。我们通过WeVisCut解决了这一问题，WeVisCut是一个长篇脚本到视频的系统，将工具执行与策略学习相连接。其代理框架保持共享的制作状态，使工具反馈能够指导后续决策和修正。由于完成的视频不会暴露这些决策，我们的四阶段数据管道结合了编辑反演与已验证重放，将恢复的编辑意图转化为可执行的监督。应用于3,750个完成的视频，该管道生成了超过13万条训练示例。我们使用这些监督来训练一个单一的9B策略，该策略能够在同一框架下协调制作并从失败中恢复。此外，我们引入了一个包含100个任务的基准测试和五项评估编辑质量与交付可靠性的指标。在共享工具环境下，WeVisCut显著优于其基础模型，并在使用的每分钟成功输出生成的标记数量几乎减少33倍的情况下，达到与Claude Opus 5可比的性能。它在我们提出的指标上也优于任务匹配的原生编辑器。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.38352 (HTTP 429)

Authors: Chenyu Mu,Wenming Weng,Qinrui Wang,Xingsong Ye,Hao Yu,Jun He,Chong Sun,Chen Li,Jing Lyu,Erkun Yang,Cheng Deng

Categories:

PDF URL: https://arxiv.org/pdf/2610.38352.pdf

Arxiv URL: https://arxiv.org/abs/2610.38352

Arxiv ID: 2610.38352

CoolPaper URL: https://papers.cool/arxiv/2610.38352

Published: 2026-10-31T02:43:18.360Z

Updated: 2026-10-31T02:43:18.360Z

15. IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation

Abstract:Humans routinely consume multimodal content, where textual and visual information is naturally interleaved. Although Unified Multimodal Models (UMMs) can jointly generate text and images, multimodal interleaved generation remains largely underexplored. Progress in this area is hindered by two key limitations: (1) the lack of well-defined interleaved generation tasks and corresponding training data, and (2) the absence of fine-grained evaluation protocols that can reliably diagnose model performance across different capability dimensions. To this end, we present IntReal, comprising two complementary components: IntReal-100K, a real-world dataset of multimodal interleaved samples spanning four major categories, and the IntReal Evaluation Suite, which evaluates model performance across seven complementary dimensions using specialized expert models, enabling coarse-to-fine diagnosis. Extensive experiments validate our evaluation suite through low inter-metric redundancy (max pairwise absolute Spearman’s $\rho \leq 0.42$ ), high agreement with human judgments (83.3% accuracy), and strong consistency across different expert evaluators (Spearman’s $\rho > 0.9$ ), supporting the complementarity and reliability of our metrics. By benchmarking four families of UMMs, we show that IntReal Evaluation Suite reveals distinct strengths and weaknesses across models. Post-training experiments demonstrate the utility of IntReal-100K for improving interleaved generation and further show that training unimodal generation can also benefit interleaved generation. These findings suggest that interleaved generation can benefit from modality-specific optimization, rather than requiring joint text-image training at every stage.

中文摘要

摘要：人类日常会消费多模态内容，其中文本和视觉信息自然交错。尽管统一多模态模型（UMMs）可以联合生成文本和图像，但多模态交错生成仍然在很大程度上未被充分探索。该领域的进展受两个关键限制的阻碍：(1) 缺乏明确定义的交错生成任务及相应的训练数据；(2) 缺少能够可靠诊断模型在不同能力维度上表现的细粒度评估方案。为此，我们提出了 IntReal，包含两个互补组件：IntReal-100K，一个涵盖四类主要类别的真实世界多模态交错样本数据集，以及 IntReal 评估套件，该套件使用专业模型在七个互补维度上评估模型性能，实现从粗到细的诊断。大量实验通过以下方式验证了我们的评估套件：指标间冗余低（最大成对绝对 Spearman ρ ≤ 0.42）、与人工判断高度一致（83.3% 准确率）、不同专家评估者之间具有强一致性（Spearman ρ > 0.9），支持了我们的指标的互补性和可靠性。通过对四类 UMM 模型进行基准测试，我们展示了 IntReal 评估套件揭示了不同模型的明显优势和劣势。后训练实验表明，IntReal-100K 对提升交错生成具有实际作用，并进一步显示，训练单模态生成也可以促进交错生成。这些发现表明，交错生成可以受益于模态特定优化，而不必在每个阶段都进行文本-图像联合训练。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.38425 (HTTP 429)

Authors: Shaohan Yu,Jie Qin,Wende Tan,Haiwen Diao,Limeng Qiao,Yueming Lyu,Chenyang Si

Categories:

PDF URL: https://arxiv.org/pdf/2610.38425.pdf

Arxiv URL: https://arxiv.org/abs/2610.38425

Arxiv ID: 2610.38425

CoolPaper URL: https://papers.cool/arxiv/2610.38425

Published: 2026-10-31T02:43:20.250Z

Updated: 2026-10-31T02:43:20.250Z

16. CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models

Abstract:Spoken Dialogue Models (SDMs) typically share a speech-token space for generation and synthesis, leading to long autoregressive sequences and costly inference. Lower-rate speech tokenizers shorten sequences but may introduce compression-quality trade-offs and costly replacement without breaking this coupling. To address this limitation, we propose CoSTA, a compatibility-preserving post-hoc framework that decouples generation and synthesis token spaces while retaining the original speech tokenizer and decoder. CoSTA extends the generation token space with compressed representations via mean-initialized vocabulary extension, pronunciation adaptation, and dialogue adaptation, followed by deterministic expansion back to the original speech-token space before synthesis. On bilingual speech-dialogue benchmarks, CoSTA achieves approximately $1.7\times$ expanded speech-token generation speed, lower full-response latency, and higher throughput while preserving response quality. Analyses show more sustained interaction under limited budgets and a practical trade-off among compression, decoding efficiency, and quality. Further experiments demonstrate cross-architecture transfer and complementarity to low-rate tokenization.

中文摘要

摘要：语音对话模型（SDMs）通常共享用于生成和合成的语音标记空间，这导致自回归序列较长且推理成本高。较低速率的语音标记器可以缩短序列，但可能引入压缩质量权衡，并在不打破这种耦合的情况下带来昂贵的替换开销。为了解决这一限制，我们提出了CoSTA，一种兼容性保持的事后框架，它在保留原始语音标记器和解码器的同时，将生成和合成标记空间解耦。CoSTA通过均值初始化词汇扩展、发音适配和对话适配，将压缩表示扩展到生成标记空间，然后在合成前确定性地扩展回原始语音标记空间。在双语语音对话基准测试中，CoSTA实现了大约$1.7 imes$ 的语音标记生成速度提升、更低的完整响应延迟和更高的吞吐量，同时保持响应质量。分析表明，在有限预算下能够获得更持久的交互，并在压缩、解码效率和质量之间实现实用权衡。进一步实验表明其在跨架构迁移和低速率标记化方面具有互补性。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决现有口语对话模型（Spoken Dialogue Models, SDMs）在推理效率与系统兼容性方面的一个核心矛盾：\*\*生成阶段与合成阶段的语音 token 空间深度耦合所导致的自回归序列过长与推理成本高昂\*\*。具体而言，论文聚焦于以下几个层面的问题： - \*\*生成-合成耦合带来的效率瓶颈\*\*。现有 SDM 通常将自回归生成与语音解码复用同一套离散语音 token 空间，这使得模型必须逐 token 生成长度可观的原始语音序列，显著增加了自回归解码步数、响应延迟与计算开销，同时也加剧了文本-语音对齐难度和长上下文建模的负担。 - \*\*低码率 tokenization 的局限性\*\*。虽然采用更低采样率的语音 tokenizer 可以直接缩短序列长度，但激进的码率压缩往往引入压缩-质量权衡；更关键的是，替换已有 tokenizer 通常需要联合重训或适配 tokenizer、语音解码器及整个 SDM，且并未从根本上打破“生成表示必须与合成表示相同”的耦合关系。 - \*\*后验适配与兼容性需求\*\*。论文提出一个不同于“替换 tokenizer”的思路：在不改动原始语音 tokenizer 和语音解码器的前提下，能否让 SDM 在生成阶段使用更紧凑的表示进行自回归解码，再确定性地恢复回原始 token 空间供合成使用？这要求新方法必须具备\*\*后验（post-hoc）\*\*与\*\*兼容保留（compatibility-preserving）\*\*的特性，以适用于已部署的大规模模型。为回答上述问题，论文提出了 \*\*CoSTA（Compressed Speech Token Adaptation）\*\*，一种通过 BPE 无损压缩扩展生成词表、并经由确定性展开（deterministic expansion）回归原始合成空间的框架，从而在保留原始合成管线的同时，实现约 \*\*1.7 倍\*\*的扩展语音 token 生成速度提升，并在双语对话基准上保持了响应质量。 Q2: 有哪些相关研究？与 CoSTA 相关的研究主要集中在以下三个方向： ### 1. 口语对话模型（Spoken Dialogue Models, SDMs）现有 SDM 在文本与语音生成的耦合方式上存在多种技术路线，但均未解决生成与合成 token 空间的耦合问题： - \*\*Think–Talk 架构\*\*：采用独立的 Transformer 骨干网络分别处理文本推理与语音生成，如 LLaMA-Omni、Freeze-Omni、OpenS2S、Qwen2.5-Omni、Moshi 等。 - \*\*并行生成架构\*\*：通过多个输出头同时生成文本与语音 token，如 Kimi-Audio、Slam-Omni、Mini-Omni 等。 - \*\*交错生成架构\*\*：将文本与语音 token 建模为单一交错序列进行自回归生成，如 SpeechGPT、Baichuan-Audio、GLM-4-Voice、Step-Audio 2 等。尽管架构各异，上述工作通常将自回归生成的 token 空间与语音解码器期望的 token 空间保持一致，未能解耦生成与合成表示。 ### 2. 离散语音 token 与低码率压缩离散语音 token 可分为两类，且均有对应的压缩研究： - \*\*声学 token\*\*：源自神经音频编解码器，如 SoundStream、EnCodec、RVQGAN、WavTokenizer 等。 - \*\*语义 token\*\*：源自判别式语音模型（如 CosyVoice 系列）或自监督预训练模型（如 wav2vec 2.0、HuBERT、WavLM、w2v-BERT 等）。为缩短序列长度，低码率语音 tokenizer 被提出，如 Moshi 的 Mimi、GLM-4-Voice tokenizer、S3Tokenizer 系列、TadiCodec、Socodec 等。然而，这类方法往往面临压缩率与重建质量的权衡，且替换 tokenizer 通常需要联合重训或适配 tokenizer、语音解码器及整个 SDM，仍未打破生成-合成的空间耦合。 ### 3. 子词单元与 BPE 在语音任务中的应用在端到端语音模型中，利用子词单元（subword units）或 BPE 对离散语音 token 进行压缩已有先行探索，但多限于特定任务或从头训练的小规模模型： - \*\*语音识别（ASR）\*\*：使用声学片段（Acoustic Piece）或离散单元 BPE 提升识别效率。 - \*\*语音续写\*\*：通过声学 BPE 缩短生成序列。 - \*\*语音合成（TTS）\*\*：在基于离散 token 的解码器-only TTS 中验证声学 BPE 的有效性。相比之下，CoSTA 面向的是\*\*已有大规模 SDM 的后验适配\*\*，在保留原始 tokenizer 与解码器的前提下，通过生成-合成空间解耦实现压缩 token 的生成与确定性展开。 Q3: 论文如何解决这个问题？论文通过提出 \*\*CoSTA（Compressed Speech Token Adaptation）\*\* 框架，以\*\*后验适配（post-hoc adaptation）\*\*的方式实现了生成与合成 token 空间的解耦。具体解决路径可分为以下四个层面： --- ### 1. 核心范式：生成–合成空间解耦现有 SDM 将自回归生成与语音解码绑定在同一套原始语音 token 空间 S 上。CoSTA 的关键突破在于引入一个\*\*扩展的生成词表\*\* Z ⊃eq S ，允许模型在自回归阶段生成更紧凑的 BPE 压缩单元 z ，再通过\*\*确定性展开函数\*\* π 无损恢复为原始序列 s = π(z) ，供原有语音解码器合成波形。这一范式被形式化为\*\*生成–合成空间解耦（generation–synthesis token-space decoupling）\*\*：

rho(z) = (|z|) / (|π(z)|)
其中 rho(z) 为压缩率，较低的 rho 意味着更少的自回归解码步数。 —- ### 2. 经验动机：语音 token BPE 的对数线性压缩规律论文首先在八种 tokenizer 配置、多种数据源与语言上验证了原始语音 token 序列具有**持续可压缩性**。通过 BPE 学习不同规模的扩展词表 M = |Z setminus S| ，发现压缩率在 held-out 语音上呈现出近似**对数线性规律**：

rho_c(M) ≈ a_c - b_c log_2(M/10K), quad b_c > 0
该规律（ R^2 ≥ 0.98 ）表明：在不改变原始 tokenizer 的前提下，仅通过增大 BPE 词表即可系统性地缩短生成序列长度，为空间解耦提供了经验基础。 —- ### 3. 模型适配：三步渐进式后验训练为使已有 SDM 学会在扩展空间 Z 中生成压缩表示，CoSTA 设计了兼容原始 tokenizer 与解码器的三步适配流程： #### (1) 基于均值初始化的词表扩展将原始模型词表 V 扩展为 V’ = V ∪ (Z setminus S) 。对于每个新增的 BPE 单元 z ，其确定性展开为 π(z) = (s_1, dots, s_k) 。论文提出用**组成原始 token 的表示均值**来初始化新增词表的嵌入矩阵与语言模型头（LM head）：

E’z = (1) / (k)∑(i=1)^(k) E(s_i), quad W’_z = (1) / (k)∑(i=1)^(k) W_(s_i)
相比随机初始化，该策略提供了更稳定的优化起点。 #### (2) 发音适应（Pronunciation Adaptation）在**压缩后的通用 TTS 数据**上进行训练，仅对目标响应中的语音 token 应用 BPE 压缩，文本 token 保持不变。损失函数为：

L(tts)(θ) = -∑((p,y))∈ D(tts) ∑(t=1)^(|y)| log P(yt mid p, y(<t))
其中 y = C(y) 表示对原始序列 y 中的语音 token 进行 BPE 编码后的结果。为适应扩展空间，训练采用**渐进策略**： - **第一阶段**：使用前 50% 数据，仅微调 Embedding 与 LM head，学习率 1.6 × 10^(-4) ； - **第二阶段**：使用后 50% 数据，解冻中间层继续微调，学习率 2.0 × 10^(-5) 。 #### (3) 对话适应（Dialogue Adaptation）在**压缩后的语音对话数据**上进一步微调，仅更新 LLM 参数，冻结语音编码器、适配器与语音解码器。目标为使模型在真实对话场景中正确使用压缩表示：

L(dlg)(θ) = -∑((q,r))∈ D(dlg) ∑(t=1)^(|r)| log P(rt mid q, r(<t))
此阶段将压缩 token 的生成能力从“发音”层面提升到“对话语义”层面，避免模型在开放对话中退化。 —- ### 4. 推理机制：确定性展开与兼容保留推理时，适配后的 SDM 从扩展词表 V’ 生成交错的文本与压缩语音 token。语音 token 流可能同时包含原始 token（来自 S ）与新增 BPE 单元（来自 Z setminus S ）。系统在送入语音解码器前，对语音流执行**确定性 BPE 展开** π ：原始 token 直接保留，每个新增 BPE 单元被展开为其对应的原始 token 序列。展开后的完整序列与原始模型输出完全一致，因此： - **无需修改原始语音 tokenizer 与解码器**； - **合成接口完全兼容**； - **自回归步数显著减少**，从而提升生成速度与系统吞吐量。 —- ### 5. 效率与质量的联合优化论文进一步通过**词表规模缩放分析**揭示了压缩率、解码效率与响应质量之间的实际权衡。实验表明，将新增 BPE 单元从 10K 提升至 80K 可显著改善压缩与速度；继续增大至 160K 时，压缩收益边际递减，而输出层计算开销上升，且 G-Eval 质量指标下降。因此，**80K 被确定为压缩、效率与质量之间的实践平衡点**。综上，CoSTA 通过“**压缩表示生成 + 确定性展开还原**”的解耦架构，在不替换原始 tokenizer 与解码器的前提下，实现了 SDM 的序列长度缩减与推理加速。 Q4: 论文做了哪些实验？论文围绕模型效率、系统效率、生成质量、组件贡献、规模权衡与跨架构迁移等维度展开了系统性实验，具体可归纳如下。 —- ### 1. 主实验设置与基准 - **基座模型**：以 Step-Audio 2 mini（8B，使用 S3Tokenizer V2 @25Hz）为主实验平台，另在 OpenS2S（GLM-4-Voice tokenizer @12.5Hz）上验证跨架构迁移。 - **对比基线**： - 原始 Step-Audio 2 mini； - Vanilla-FT（相同训练数据与配置，但不使用 BPE 压缩，保持原始 token）； - 外部质量参考：Qwen2.5-Omni、Kimi-Audio、GLM-4-Voice。 - **词表扩展**：默认新增 80K BPE 单元（基于压缩-效率-质量权衡分析选定）。 - **评估基准**：URO-Bench 的 12 个中英双语语音对话数据集，涵盖开放对话、数学推理、常识问答、摘要、真实场景对话等任务。 —- ### 2. 模型侧效率实验验证压缩 token 生成对自回归解码步数与速度的影响： | 指标 | 说明 | |———|———| | 生成 token 压缩率 rhog | 模型实际生成的压缩语音 token 序列长度与展开后原始序列长度之比 | | 扩展语音 token 生成速度 | Speed = |π(hatz)|T(decode) ，即单位解码时间内等效生成的原始语音 token 数量 | | 相对速度 | 相对于原始模型的归一化速度 | **关键结果**： - CoSTA-ZH 达到 rho_g = 66.81% ，相对速度提升至 173.63% （约 1.736× ）； - CoSTA-EN 达到 rho_g = 70.17% ，相对速度提升至 165.94% （约 1.659× ）； - Vanilla-FT 的 rho_g 与速度基本与原始模型持平，验证了效率增益源自 BPE 压缩而非单纯微调。 —- ### 3. 系统级效率实验在单张 A100 80GB GPU 上使用 vLLM，于 AlpacaEval-zh 与 AlpacaEval 上测试并发度为 1、4、8 时的系统表现： | 指标 | 关键发现 | |———|—————| | 全响应延迟 | CoSTA 相比原始模型降低 22.4% – 39.0% （中英各并发度下） | | 吞吐量 | 提升 25.8% – 59.2% | | 峰值显存 | 增加不超过 0.68 GiB，开销极小 | | 首包延迟 | 主要降低 LLM decode 分量（如中文从 164.42,ms 降至 122.98,ms ），预填充与语音解码延迟几乎不变 | —- ### 4. 生成质量评估 #### (1) 自动评估采用 URO-Bench 协议，报告以下指标： - **G-Eval**：基于 ASR 转录与 GPT-4o mini 评分的回复内容质量； - **UTMOS**：预测平均意见分数，衡量语音清晰度与自然度； - **ASR-CER/WER**：文本输出与语音转录之间的字/词错误率，衡量文本-语音对齐。 **结论**：CoSTA 在提升效率的同时，G-Eval 与文本-语音对齐（CER/WER 大幅降低）优于或持平于 Vanilla-FT；UTMOS 基本保持。 #### (2) 人工评估 6 名评估者对 12 个数据集中随机采样的查询进行 MOS 风格评分（1–5 分），评估**语音流畅性**与**语义质量**。CoSTA 的胜/平率在各设置下达到 83.3% – 96.1% ，表明感知质量得以保留。 —- ### 5. 消融实验在中文基准上逐一移除 CoSTA 的关键组件，验证其必要性： | 变体 | rho_g ↓ | ASR-CER ↓ | UTMOS ↑ | G-Eval ↑ | |———|——————————-|———————————|—————————|—————————-| | CoSTA-ZH（完整） | 66.73% | 1.51% | 3.75 | 72.27 | | w/o Timbre Conversion | 67.01% | 1.52% | 3.75 | 70.93 | | w/o Progressive Adaptation | 67.75% | 1.46% | 3.75 | 72.19 | | w/o Pronunciation Adaptation | 69.56% | 1.74% | 3.74 | 72.12 | | w/o Dialogue Adaptation | 81.05% | 2.68% | 3.74 | 24.35 | - **对话适应**最为关键：移除后压缩率显著恶化，G-Eval 暴跌，表明仅学习发音压缩无法恢复对话能力。 - **发音适应**对压缩率与对齐有积极贡献。 - **渐进适应**与**音色转换**主要提升训练稳定性与内容质量。 —- ### 6. 深度分析实验 #### (1) 有限预算下的交互可持续性将每 10 个查询编为一组进行压力测试。在相同生成预算下： - CoSTA-ZH 平均完成 7.21 轮有效对话，原始模型仅 2.14 轮，Vanilla-FT-ZH 为 3.71 轮； - CoSTA 在相同预算内生成的语音时长更长，表明压缩 token 更高效地利用了自回归生成预算。 #### (2) 词表规模权衡在 AlpacaEval-zh 上对比新增 BPE 单元从 0 K 到 160 K 的完整模型表现： - 10 K to 80 K： rho_g 从 76.66% 降至 67.50% ，速度从 78.67 提升至 103.03 tokens/s，质量维持； - 80 K to 160 K： rho_g 进一步降至 63.62% ，但速度仅提升 1.1% ，G-Eval 从 81.36 降至 78.87 ； - 据此选定 **80K** 作为压缩、解码效率与质量的实践平衡点。同时测量了孤立 LM-head 投影开销：随着词表增大，每步输出层延迟上升，80K 时归一化输出层成本约为 0.925 ，160K 时升至 1.152 ，解释了继续增大词表对全模型速度增益边际递减的现象。 #### (3) 跨架构迁移将 CoSTA 适配到 OpenS2S（Think–Talk 架构、12.5Hz GLM-4-Voice tokenizer、不同语音解码器）： - 中文 rho_g 降至 78.83% （相对原始模型缩短 21.17% ），英文降至 81.36% （缩短 18.64% ）； - 内容质量与对齐优于匹配的 Vanilla-FT，UTMOS 基本持平。 - 表明 CoSTA 可跨架构迁移，且与原生低码率 tokenizer 具有互补性。 #### (4) 数据规模缩放 - **发音适应数据**：在 100h–500h TTS 数据范围内，增加数据可改善压缩与对齐，但边际收益递减，最终采用 300h。 - **对话适应数据**：在 10K–50K 示例范围内，50K 示例在压缩与质量间取得最佳平衡。 #### (5) 初始化策略比较对比随机初始化、单 token 选择复制（Select Init）与均值初始化（Mean Init）： - 在第一阶段发音适应中，均值初始化配合较高学习率（ 1.6× 10^(-4) ）收敛更快、梯度范数更稳定。 #### (6) 对话适应重要性的机制分析对移除对话适应的模型进行生成 token 统计： - 生成中原始 token 占比从 70.95% 升至 78.95% ； - BPE 覆盖率从 51.64% 降至 36.71% ； - 长扩展单元（ L ≥ 5 ）使用率大幅下降； - 案例分析显示模型出现“重复用户问题”等对话能力崩溃现象，证明对话适应不仅提升压缩效率，更将压缩表示与适当回复行为关联起来。 #### (7) 压缩规律验证在 8 种 tokenizer 配置（涵盖 12.5Hz–50Hz、声学/语义 token）及多数据源、多语言设置上，验证了 BPE 压缩率随 log_2 M 近似线性下降的规律（ R^2 ≥ 0.98 ），且训练集与 held-out 测试集趋势高度一致。 Q5: 有什么可以进一步探索的点？基于论文的局限性分析与实验发现，以下方向值得进一步探索： —- ### 1. 训练数据的多元化与真实化 - **真实对话数据的引入**：当前对话适应阶段依赖合成的语音对话数据。未来可探索合成数据与大规模真实口语对话数据的协同使用，以验证压缩 token 生成在更复杂、更自然的交互场景中的鲁棒性。 - **领域专用数据适配**：在医疗、法律、客服等垂直领域，BPE 压缩单元的统计分布可能与通用数据不同，需进一步验证领域迁移时的压缩规律与适配策略。 —- ### 2. 压缩策略的拓展与比较 - **替代性无损分割方法**：论文采用 BPE 作为确定性、无损压缩手段。未来可探索其他序列压缩或分词策略（如字节级方法、基于语言模型的动态分块、可学习的无损压缩等），并系统比较其在压缩率、解码速度与生成质量上的差异。 - **有损-无损混合压缩**：研究在何种程度上引入轻微微损压缩（非确定性展开）可在极低码率下进一步提速，同时控制感知质量退化。 —- ### 3. 细粒度场景与声学属性的延伸 - **情感对话与风格化生成**：当前评估聚焦通用对话与效率。未来需在情感语音对话、个性化说话风格（speaker style/persona）、副语言现象（如笑声、叹息）等场景下，验证压缩 token 是否仍能保持细粒度表现力。 - **复杂声学环境**：在噪声、混响、远场等多样声学条件下，评估压缩 token 生成的鲁棒性，以及 BPE 单元是否对环境变化敏感。 —- ### 4. 与低码率 Tokenization 的联合优化 - **端到端联合设计**：论文已初步验证 CoSTA 与原生低码率 tokenizer（如 12.5 Hz）具有互补性。未来可探索“低码率 tokenizer + BPE 后压缩”的联合优化边界，例如针对特定码率选择最优 BPE 词表规模，或联合训练 tokenizer 与 BPE 合并规则。 - **多码本/分层压缩**：对于使用多个码本（如 RVQ）的 tokenizer，可研究跨码本的联合 BPE 压缩策略，而非仅针对单一语义码本。 —- ### 5. 动态与自适应推理机制 - **上下文自适应压缩率**：当前使用固定 80K BPE 词表。未来可探索根据输入复杂度、对话轮次或实时 GPU 预算，动态选择不同规模的压缩子词表，实现生成速度与质量的在线权衡。 - **流式与全双工场景**：论文测量了首包延迟与全响应延迟，但尚未深入流式（streaming）或全双工（full-duplex）口语交互中的持续解码行为。压缩 token 在增量解码、低延迟打断与重叠语音处理中的表现亟待研究。 —- ### 6. 跨架构与系统级深度集成 - **更广泛的架构迁移**：虽然在 Think–Talk 架构（OpenS2S）上验证了迁移性，但在并行生成（multi-output-head）或模态交替更复杂的架构中的适配策略仍需探索。 - **与推测解码/量化等技术的叠加**：CoSTA 从 token 空间层面减少了解码步数，未来可将其与推测性解码（speculative decoding）、模型量化、MoE 稀疏激活等系统级优化手段结合，检验效率增益的可加性。 —- ### 7. 压缩表示的可解释性与结构化分析 - **BPE 单元的语言学对应**：探究学习到的 BPE 压缩单元是否对应特定的音素、音节或韵律单元，或纯粹是数据驱动的统计模式。这有助于设计更具语言学先验的初始化与适应策略。 - **失败模式诊断**：进一步分析在移除对话适应后出现的“重复提问”等退化行为，以理解压缩 token 在推理链中的信息瓶颈位置。 Q6: 总结一下论文的主要内容该论文针对口语对话模型（SDM）中自回归语音 token 序列过长、推理成本高的问题，提出了一种**后验兼容适配框架 CoSTA（Compressed Speech Token Adaptation）**，在不改动原始语音 tokenizer 与解码器的前提下，实现生成效率与响应质量的协同优化。以下从问题背景、核心发现、方法框架与实验结论四个方面进行总结。 —- ### 1. 问题背景：生成–合成的空间耦合现有 SDM 通常将自回归生成与语音合成绑定在同一套离散语音 token 空间上，导致： - 自回归解码步数过多，响应延迟高； - 文本–语音对齐困难，长上下文建模负担重； - 持续交互时生成预算消耗过快。虽然低码率语音 tokenizer 可缩短序列，但激进压缩往往引入质量损失，且替换 tokenizer 需联合重训 tokenizer、解码器与 SDM，更关键的是**仍未打破生成与合成的表示耦合**。 —- ### 2. 核心发现：语音 Token 的对数线性压缩规律论文发现，原始语音 token 序列具有显著的局部冗余，可通过 BPE 进行**无损压缩**。在八种 tokenizer 配置、多种数据源与语言上，验证了一个稳定的经验规律：当新增 BPE 词表规模 M 从 10K 增至 320K 时，压缩率 rho 随 log_2 M 近似线性下降：

rho_c(M) ≈ a_c - b_c log_2(M/10K), quad b_c > 0
该规律在 held-out 语音上保持 R^2 ≥ 0.98 ，表明可在不修改原始 tokenizer 的情况下，通过扩展词表系统性地压缩生成序列长度。 —- ### 3. 方法框架：CoSTA 基于上述规律，论文提出**生成–合成空间解耦（generation–synthesis token-space decoupling）**：SDM 在扩展的压缩空间 Z 中进行自回归生成，再通过确定性映射 π 无损展开为原始 token 空间 S 的序列，供原始语音解码器合成。 CoSTA 的三步适配流程如下： - **词表扩展与均值初始化**：将 BPE 单元加入模型词表 V’ = V ∪ (Z setminus S) 。对每个新增单元 z ，若其确定性展开为 π(z) = (s_1, dots, s_k) ，则其嵌入与 LM head 参数通过组成 token 的表示均值初始化：

E’z = (1) / (k)∑(i=1)^(k) E(s_i), quad W’_z = (1) / (k)∑(i=1)^(k) W_(s_i)

**发音适应**：在压缩后的通用 TTS 数据上训练，采用渐进策略——先仅优化 Embedding 与 LM head（高学习率），再解冻中间层（低学习率），使模型可靠地使用压缩单元。 - **对话适应**：在压缩后的语音对话数据上微调 LLM，冻结语音编码器、适配器与解码器，将压缩 token 的生成能力从“发音”提升到“对话语义”层面。 **推理阶段**：生成的压缩语音 token 流经确定性 BPE 展开 π 还原为原始 token 序列，再送入**未改动的语音解码器**，实现完全的接口兼容。 —- ### 4. 实验结论论文在 Step-Audio 2 mini（中英双语）与 OpenS2S（跨架构迁移）上进行了系统验证： - **模型效率**：CoSTA 在中文和英文上分别实现约 1.736× 和 1.659× 的相对扩展语音 token 生成速度，生成 token 压缩率 rho_g 降至约 66.81% 和 70.17% 。 - **系统效率**：全响应延迟降低 22.4% – 39.0% ，吞吐量提升 25.8% – 59.2% ，峰值显存增加不足 0.68 GiB。 - **质量保持**：自动评估（G-Eval、UTMOS、ASR-CER/WER）与人工 MOS 评估均表明，CoSTA 在提升效率的同时保持甚至改善了响应内容与文本–语音对齐质量。 - **关键组件**：消融实验显示**对话适应**最为关键——移除后压缩率恶化且 G-Eval 从 72.27 暴跌至 24.35 ，说明仅靠发音压缩无法恢复对话能力。 - **词表权衡**：词表从 10K 增至 80K 时压缩与速度显著提升；增至 160K 时边际收益递减且输出层开销上升，** 80K 被确定为实践平衡点**。 - **跨架构与互补性**：CoSTA 成功迁移至 OpenS2S（不同架构与 12.5 Hz tokenizer），且在原生低码率 tokenizer 基础上仍可进一步压缩，证明其与低码率方案具有互补性。 - **交互可持续性**：在有限生成预算下，CoSTA 可持续的有效对话轮数约为原始模型的 2 – 3 倍，并生成更长语音。 —- ### 5. 贡献总结 - **经验规律**：首次系统揭示了语音 token BPE 压缩在跨 tokenizer、跨数据、跨语言设置下的近似对数线性扩展规律。 - **解耦范式**：提出生成–合成 token 空间解耦思想，使 SDM 可在紧凑空间生成，再无损恢复至原始空间合成。 - **后验框架**：CoSTA 作为兼容保留的 post-hoc 适配方法，无需重训原始 tokenizer 与解码器，适用于已有大规模 SDM。 - **效率–质量权衡**：实现了约 1.7× 的生成加速与系统级延迟/吞吐量改善，同时保持响应质量，并表征了词表规模的实际权衡边界。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yingzhuo Deng,Chong Li,Bingxin Liu,Yi Shu,Tianyu Peng,Can Xie,Siyao Song,Shuo Ren,Jiajun Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.21143.pdf

Arxiv URL: https://arxiv.org/abs/2610.21143

Arxiv ID: 2610.21143

CoolPaper URL: https://papers.cool/arxiv/2610.21143

Published: 2026-10-31T02:43:21.988Z

Updated: 2026-10-31T02:43:21.988Z

17. WebAnything: From the Wild Web to Scalable Agent Environments

Abstract:Web agents require diverse, executable, and resettable website environments for reproducible training and evaluation. Human-assisted mirrors demand per-site engineering, while generative construction can diverge from specified real websites. Capture-and-replay preserves observations, with interaction coverage constrained by captured content and replay capabilities. We present WebAnything, a fully automated framework that reconstructs source-grounded, reusable Web environments from real URLs without per-site manual implementation or repair after initial setup and authorization. An Explorer-Builder collects browser-observable structures, resources, and interaction outcomes; an independent verifier checks frozen candidates and guides local repair or targeted source recapture. We construct 244 website artifacts across 14 application domains and 53 categories, supporting 12,984 executed and accepted tasks. Compared with human-assisted WebHarbor, WebAnything achieves higher aggregate scores on three fidelity metrics, with 12 wins, two ties, and no losses in a blind audit. Fine-tuning Qwen3.5-9B on 5,856 interaction trajectories improves REAL success by 9.9 percentage points, Odysseys-Easy Rubric Avg and Task Avg by 6.25 and 6.32 percentage points, and WebArena-Verified Overall success by 13.33 percentage points under the fixed harness. Code: this https URL

中文摘要

摘要：Web代理需要多样化、可执行且可重置的网站环境，以实现可复现的训练和评估。人工辅助的镜像需要针对每个网站进行工程处理，而生成式构建可能偏离指定的真实网站。抓取与重放可以保留观察结果，但交互覆盖受限于捕获的内容和重放能力。我们提出了WebAnything，一个全自动框架，可从真实URL重建以源为基础、可重复使用的Web环境，无需在初始设置和授权后对每个网站进行手动实现或修复。Explorer-Builder收集浏览器可观察的结构、资源和交互结果；独立验证器检查冻结的候选对象，并指导本地修复或针对性地重新捕获源。我们构建了跨14个应用领域和53个类别的244个网站工件，支持12,984个已执行且通过的任务。与人工辅助的WebHarbor相比，WebAnything在三项保真度指标上的综合得分更高，在盲审中实现12胜、2平、0负。对Qwen3.5-9B进行5,856条交互轨迹的微调，使REAL成功率提高了9.9个百分点，Odysseys-Easy Rubric平均分和任务平均分分别提高了6.25和6.32个百分点，WebArena-Verified总体成功率在固定测试下提高了13.33个百分点。代码：https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37786 (HTTP 429)

Authors: Tianci Xie,Zikun Cai,Chaoyun Zhang,Pinxue Guo,Bingxuan Li,Rui Zheng,Hang Yan

Categories:

PDF URL: https://arxiv.org/pdf/2610.37786.pdf

Arxiv URL: https://arxiv.org/abs/2610.37786

Arxiv ID: 2610.37786

CoolPaper URL: https://papers.cool/arxiv/2610.37786

Published: 2026-10-31T02:43:24.380Z

Updated: 2026-10-31T02:43:24.380Z

18. Multi-Token Prediction Done Right

Abstract:Multi-Token Prediction (MTP) is now a common ingredient in language-model pre-training, as it improves downstream performance and enables faster inference through speculative decoding. We identify a flaw in standard MTP training, in which a residual component of the MTP gradient interferes with both next-token and multi-token learning, increasingly so with scale. Specifically, the MTP cross-entropy gradient can be decomposed exactly into a KL self-distillation term that pulls each MTP head toward the model’s own next-token prediction (NTP) distribution and improves speculative decoding, and a residual that has a low signal-to-noise ratio and buries the useful KL signal. We introduce the KL gradient-recovery trick: when two distributions share a linear output head, the gradient of their KL divergence can be recovered exactly by combining their cross-entropy gradients through straight-through gradient routing. Unlike minimizing the KL directly, this trick requires no vocabulary-sized logit matrices and is compatible with standard fused cross-entropy kernels. This enables Soft Multi-Token Prediction (Soft-MTP), a one-line code change to MTP that removes the noisy residual and backpropagates only the KL self-distillation signal by reusing the existing NTP and MTP cross-entropy computations. Soft-MTP supports both DeepSeek- and Meta-style MTP, adds no parameters, and incurs no measurable overhead. From 167M to 1.2B parameters, Soft-MTP improves over standard MTP with lower NTP perplexity, faster speculative decoding and higher zero-shot accuracy at every scale, lower MTP perplexity from 689M onward, and stronger math and code reasoning after fine-tuning at 1.2B. Soft-MTP also matches, if not exceeds, direct KL divergence minimization on most metrics. Soft-MTP is, in effect, a free lunch for MTP optimization. Our code can be found at this https URL.

中文摘要

摘要：多标记预测（MTP）现在是语言模型预训练中的常见组成部分，因为它可以提高下游性能，并通过推测解码实现更快的推理。我们发现了标准 MTP 训练中的一个缺陷，即 MTP 梯度的残差部分会干扰下一标记和多标记学习，并且随着模型规模的增大这种干扰越来越明显。具体而言，MTP 交叉熵梯度可以精确地分解为一个 KL 自蒸馏项，该项会将每个 MTP 头拉向模型自身的下一标记预测（NTP）分布，从而改善推测解码；以及一个信噪比低、埋没有用 KL 信号的残差项。我们提出了 KL 梯度恢复技巧：当两个分布共享线性输出头时，通过直通梯度路由组合它们的交叉熵梯度可以精确恢复它们 KL 散度的梯度。与直接最小化 KL 不同，这一技巧无需词汇表大小的 logit 矩阵，并且兼容标准融合交叉熵核。这使得软多标记预测（Soft-MTP）成为可能，通过在 MTP 中一行代码的修改即可去除噪声残差，仅通过重用已有的 NTP 和 MTP 交叉熵计算来反向传播 KL 自蒸馏信号。Soft-MTP 支持 DeepSeek 和 Meta 风格的 MTP，不增加参数，也不产生可测量的额外开销。从 1.67 亿到 12 亿参数规模，Soft-MTP 相较于标准 MTP 在每个规模上均提高了 NTP 困惑度、推测解码速度和零样本准确率，自 6.89 亿参数起降低了 MTP 困惑度，并在 12 亿参数微调后增强了数学和代码推理能力。Soft-MTP 也在大多数指标上与直接最小化 KL 散度持平甚至超越。实际上，Soft-MTP 为 MTP 优化提供了免费的提升。我们的代码可以在此 https URL 找到。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*标准多token预测（Multi-Token Prediction, MTP）训练中存在的一个梯度残差缺陷\*\*，该缺陷会干扰 next-token 学习与多token学习，且随模型规模扩大而愈发严重。具体而言，论文识别并解决了以下核心问题： \*\*1. 标准 MTP 交叉熵梯度包含一个低信噪比的残差成分\*\* 在标准 MTP 中，第 k 个 MTP 头的交叉熵梯度可被精确分解为两项之和：

g(hard) = Wθ^top ( pt^((k)) - q_t^((k)) )(gKL) + Wθ^top ( qt^((k)) - x(t+k+1) )(g_res)
其中： - g(KL) 是一个**KL 自蒸馏梯度**，它将 MTP 头拉向模型自身的 next-token 预测（NTP）分布 qt^((k)) ，有助于提升投机解码（speculative decoding）的接受率； - g(res) 是一个**残差梯度**，它本质上是位置对齐的 NTP 交叉熵梯度对数据的监督信号。论文指出， g(res) 具有**显著更低的信噪比（SNR）**——其方差来自 one-hot 目标采样的不可约噪声，而信号（即 NTP 预测误差）随模型规模增大而缩小。实验表明，残差的 SNR 比 KL 成分低约 4 倍，且该差距随规模扩大而拉大。尽管残差质量低下，它却占据了传入共享主干网络约 80% 的 MTP 梯度，从而**淹没了有用的 KL 自蒸馏信号**。 **2. 残差梯度对 NTP 和 MTP 学习产生干扰** 分析表明，残差成分不仅给 MTP 学习引入高方差噪声，还与 NTP 的优化方向**反方向对齐**：沿着残差梯度方向更新会**增加** NTP 损失，而沿着 KL 梯度方向则会降低 NTP 损失。这意味着标准 MTP 在训练过程中实际上在部分程度上与 next-token 目标相互冲突。 **3. 显式 KL 自蒸馏的计算与内存开销过高** 一种直观的修复方案是直接用 KL 散度训练 MTP 头以匹配 NTP 分布，但这需要实例化词汇表大小的 teacher/student logit 矩阵（维度 T × V ），内存开销大，且与当前预训练主流的**融合交叉熵内核（fused cross-entropy kernels）**不兼容。 **4. 提出的解决方案：KL 梯度恢复技巧与 Soft-MTP** 为在不引入额外计算和内存开销的前提下剔除噪声残差，论文提出了**KL 梯度–恢复技巧（KL gradient–recovery trick）**。该技巧利用两个分布共享线性输出头 Wθ 的结构特性，通过 straight-through 梯度路由，从标准 MTP 和 NTP 的交叉熵梯度中**精确恢复出 KL 梯度**，而无需显式计算 KL 散度或实例化任何 logit 矩阵。基于该技巧实现的 **Soft-MTP** 仅需一行代码改动： - 在 NTP 隐藏状态上通过 $h_{0}
:, k:
+= hk.detach() - h_k 注入一个零值的 straight-through 项； - 使得反向传播时，MTP 头和共享主干只接收到纯净的 g(KL)$，而共享输出头仍通过交叉熵拟合数据分布。该方法兼容 DeepSeek 风格和 Meta 风格的 MTP 架构，不增加参数量，不产生可测量的额外开销，并在 167M 到 1.2B 参数规模上 consistently 改进了 NTP/MTP 困惑度、投机解码速度、零样本精度以及数学/代码微调后的推理能力。 Q2: 有哪些相关研究？根据论文第 2 节及相关章节的综述，相关研究主要围绕以下三个方向展开： ### 1. 多 token 预测（Multi-Token Prediction, MTP） - 早期工作：Blockwise 并行解码（Stern et al., 2018）与 ProphetNet（Qi et al., 2020）提出了预测多个未来 token 的思想。 - 并行输出头：Gloeckle et al.

2024
证明带并行输出头的 MTP 可提升大语言模型能力，尤其在代码领域。 - **前沿序列化架构**：DeepSeek-V3
DeepSeek-AI, 2024
将 MTP 推广至前沿规模预训练，并引入了当前广泛采用的**序列化 MTP 模块**；随后被 Qwen3
Qwen Team, 2025
、LongCat
2025
、GLM-4.5/5
GLM Team, 2025; GLM-5-Team, 2026
、Nemotron 3
NVIDIA, 2025
、Kimi K3
Kimi Team, 2026
等模型采纳。 - **缓解短视性**：一系列工作论证 MTP 可对抗 next-token 监督的短视（myopia）问题（Bachmann and Nagarajan, 2024; Nagarajan et al., 2025; Huang et al., 2026）。 - **超越 MTP 的更丰富目标**：近期研究探索了比 MTP 更复杂的预训练目标，如未来摘要预测（Mahajan et al., 2026）、非相邻上下文预测（Liu et al., 2025b）以及 Next-Latent Prediction（Teoh et al., 2025）等。 ### 2. MTP 用于投机解码（Speculative Decoding） - **基础方法**：投机解码通过低成本草稿模型并行生成多个 token，再由目标模型验证（Leviathan et al., 2022; Chen et al., 2023）。 - **MTP 头作为草稿器**：预训练得到的 MTP 头可直接充当投机解码中的草稿器（drafter），在强化学习后训练等生成瓶颈场景中尤为重要（Xiaomi, 2026; Li et al., 2026a; Iso et al., 2026）。 - **对齐训练**：近期工作尝试让草稿器更直接地匹配验证器分布，例如通过最小化总变差（TV）距离（Samarin et al., 2026; Li et al., 2026a）。Nemotron 3 Ultra

NVIDIA, 2026
在**后训练阶段**引入 MTP Boosting，使用温度缩放的前向 KL 目标对齐 MTP 头与 NTP 分布。 - **Soft-MTP 的定位**：在**预训练阶段**以零额外成本实现 MTP 头与 NTP 分布的对齐。 ### 3. MTP 的自蒸馏（Self-Distillation） - **显式 KL 最小化**：Teoh et al.

2025
直接计算 MTP 头与 NTP 分布之间的 KL 散度，但需要实例化词汇表规模的 teacher/student logit 矩阵，内存开销大，且与标准 fused cross-entropy 内核不兼容。 - **近似方法**：为降低开销，后续研究采用 top-k logits（Zhao et al., 2026a）或 argmax 预测（Kirchenbauer et al., 2026）来近似 KL。 - **缓存技巧**：Chang and gpt-5.5-xhigh
2026
提出缓存 teacher 对 KL 梯度的贡献以减少全词表蒸馏成本，但仍需物化 teacher 的完整词汇分布，且要求学生输出头固定。 - **本文的区分**：论文指出**标准 MTP 交叉熵梯度本身已隐式包含自蒸馏信号**，并提出了 **KL 梯度–恢复技巧**，无需物化任何 logit 即可从已有交叉熵梯度中精确恢复 KL 梯度。Soft-MTP 在计算和内存上无额外开销，且保持与 fused cross-entropy 内核的兼容性（Hsu et al., 2025; Wijmans et al., 2025）。 Q3: 论文如何解决这个问题？论文通过提出 **Soft Multi-Token Prediction (Soft-MTP)** 来解决标准 MTP 训练中的梯度残差问题。该方法的核心是 **KL 梯度–恢复技巧（KL gradient–recovery trick）**，它无需显式计算 KL 散度或物化词汇表规模的 logit 矩阵，即可从标准交叉熵梯度中精确提取出自蒸馏信号并剔除噪声残差。 —- ### 1. 理论洞察：标准 MTP 梯度的精确分解论文首先证明，第 k 个 MTP 头在标准交叉熵损失下的梯度可被严格分解为两部分（公式 2）：

g(hard) := ∇(ht^((k))) CE(x(t+k+1), pt^((k))) = Wθ^top (pt^((k)) - q_t^((k)))(gKL) + Wθ^top (qt^((k)) - x(t+k+1))(g_res)
其中： - g(KL) 为 **KL 自蒸馏梯度**，将 MTP 头拉向模型自身的 NTP 分布 qt^((k)) := p(t+k)^((0)) ； - g(res) 为 **残差梯度**，等价于位置对齐的 NTP 交叉熵梯度，具有低信噪比且与 NTP 优化方向相冲突。 —- ### 2. KL 梯度–恢复技巧显式最小化 D(KL)(qt^((k)) | p_t^((k))) 需要存储 teacher 与 student 的完整 T × V logit 矩阵，内存开销巨大，且与现代预训练常用的 **fused cross-entropy kernels** 不兼容。论文发现，当两个分布共享同一个线性输出头 Wθ 时，可以通过 **straight-through 梯度路由** 从它们各自的交叉熵梯度中精确“恢复”出 KL 梯度。具体地，构造**增广的 NTP 隐藏状态**（公式 4）：

ht = h_t^((0)) + ∑(k=1)^(K) 1(t-k ≥ 1) (sg(h(t-k)^((k))) - h(t-k)^((k)))(=0)
其中 sg(·) 为 stop-gradient 算子。该式在前向传播中数值严格为零，因此不改变 NTP 的预测值；但在反向传播中，增广的 NTP 损失（公式 5）
L(NTP) = ∑(t=1)^(T-1) CE(x(t+1), softmax(Wθ ht))
对 MTP 隐藏状态 h_t^((k)) 产生的梯度恰好为（公式 6）：
∇(ht^((k))) L(NTP) = -Wθ^top (q_t^((k)) - x(t+k+1)) = -g(res)
将此梯度与标准 MTP 的硬梯度相加，残差项精确抵消，仅保留纯净的自蒸馏信号（公式 7）：
∇(ht^((k))) (L(NTP) + L(MTP)^((k))) = g(hard) - g(res) = g(KL)
—- ### 3. Soft-MTP 的算法实现上述理论可落实为仅需**一行代码改动**的 Soft-MTP： ```python # h0: NTP hidden states, hk: k-th MTP hidden states # straight-through gradient routing h0

:, k:
+= hk.detach() - hk ``` - `hk.detach()` 在前向中数值上保持 hk 不变，使得 h_0 的数值未受扰动； - 在反向传播中，该式将 NTP 损失对 $h_0
t+k
的梯度通过负号路由到 h_k
t
，从而注入 -g(res) ； - 最终，MTP 头及其上游共享主干只接收到 g(KL) ，而共享的线性输出头 Wθ 仍由标准的交叉熵梯度更新（见下表）。 | 方法 | 输出头 Wθ | MTP 头与共享主干 | |:—-|:—-|:—-| | 标准 MTP | CE 梯度 | CE 梯度 | | KL-MTP | KL 梯度 | KL 梯度 | | Soft-MTP | CE 梯度 | KL 梯度 | 对于实际训练中的 loss weighting 和 per-head 归一化差异，论文在附录 B.5 和 Algorithm 1 中给出了完整的 PyTorch 实现，通过缩放系数 s_k = λ(MTP) T / (K(T-k)) 确保路由梯度的尺度与各 MTP 头自身的交叉熵梯度严格匹配。 —- ### 4. 为何 Soft-MTP 优于直接 KL 最小化（KL-MTP） Soft-MTP 与 KL-MTP 的关键差异在于梯度在共享输出头处的路由： - KL-MTP 将自蒸馏梯度同时送入 MTP 头、主干和输出头。由于输出头 Wθ 既是 teacher 也是 student 的映射矩阵，这会产生一个“捷径”：KL 损失可通过让 Wθ 对 MTP 与 NTP 隐藏状态的差异方向变得不敏感来下降，而非真正改善 MTP 表示。实验显示，这导致输出头的有效秩显著降低（图 6）。 - Soft-MTP 仅在 MTP 头和主干中传播 KL 梯度，而保留交叉熵监督在输出头上。这使得 Wθ 始终拟合真实数据分布，避免几何坍缩，从而在多项指标上匹配甚至超越 KL-MTP（表 6）。 —- ### 5. 计算与系统层面的优势 - 零额外参数：Soft-MTP 不增加任何可训练参数。 - 无显著开销：与标准 MTP 的 FLOPs、MFU、吞吐量和 fused-CE 峰值内存完全一致（表 5），相对于显式 KL-MTP 的 5.6% 吞吐下降和 21 GB 内存增长，Soft-MTP 的 overhead 在 0.07% 以内。 - 高度兼容：仅涉及隐藏状态层面的梯度路由，不增加通信或同步；与数据并行、ZeRO、流水线并行、专家并行完全兼容；仅序列并行（如 Ring Attention）需要在分片边界额外交换最多 K 个隐藏状态梯度，成本与序列长度无关。 —- ### 6. 实验验证从 167M 到 1.2B 参数的系统性实验表明，Soft-MTP： - 在所有规模上降低 NTP 困惑度，且从 689M 起也降低 MTP 困惑度； - 提升投机解码的接受长度与推理加速比（每规模每领域均优于标准 MTP）； - 提高零样本下游任务平均准确率，且在 689M 和 1.2B 规模上超越纯 NTP 基线； - 在数学与代码微调后取得更强的推理性能（表 4）。综上，Soft-MTP 通过一行代码的梯度路由，以零额外成本实现了对 MTP 训练信号的净化，被论文称为“a free lunch for MTP optimization”。 Q4: 论文做了哪些实验？论文的实验围绕三个核心问题展开，覆盖从 167M 到 1.2B 参数的预训练、投机解码、零样本评估以及下游任务微调。所有模型均采用 LLaMA 风格架构，在 FineWeb-Edu 上训练约 31.5B tokens（使用 Muon 优化器），MTP 采用 K=3 的 DeepSeek-style 顺序头（除非特别说明）。 —- ### 1. 梯度成分的定量分析（回答“残差如何干扰学习”） #### (a) 信噪比（SNR）与梯度份额 - 测量对象：在训练过程中离线计算四种梯度成分的 SNR——硬 MTP 梯度 g(hard) 、KL 自蒸馏梯度 g(KL) 、残差梯度 g(res) 、以及 NTP 梯度 g(NTP) 。 - 规模：167M、332M、689M、1.2B。 - 发现：残差的 SNR 比 KL 成分低约 4 倍，且随规模扩大差距从 4.1× 增至 4.6×；尽管低 SNR，残差仍占传入共享主干网络的 MTP 梯度约 80%。 #### (b) 对 NTP 损失的代理影响 - 方法：在冻结的模型检查点上，沿各梯度成分对主干隐藏状态做单位步进，重新评估 NTP 损失。 - 结果：沿 g(KL) 步进一致降低 NTP 损失；沿 g(res) 步进一致增加 NTP 损失，表明残差与 next-token 学习方向冲突。 #### (c) 训练动态损失 - NTP 损失：Soft-MTP 在所有规模上均低于标准 MTP，且随规模增大差距扩大。 - MTP 损失：从 689M 参数起，Soft-MTP 也低于标准 MTP。 —- ### 2. Soft-MTP 与标准 MTP 的比较（回答“隔离自蒸馏梯度是否有益”） #### (a) 自投机解码（Self-Speculative Decoding） - 设置：使用 K=3 个 MTP 头作为草稿器，模型自身的 NTP 头作为验证器，在 5 个领域各采样 256 条提示（512 tokens 提示 + 512 tokens 续写）。 - 指标：KL 散度 / TV 距离（教师强制）、接受长度（每次验证平均接受的 token 数，不含始终接受的 next-token）、相对于自回归解码的加速比。 - 结果：Soft-MTP 在每个规模、每个领域均优于标准 MTP；平均接受长度提升 1.8–2.2%，加速比提升 1.4–1.5%；与 NTP 验证器的 KL/TV 也更低。 #### (b) 零样本下游性能 - 困惑度：FineWeb-Edu、WikiText、LAMBADA。 - 准确率：LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-easy、ARC-challenge、OpenBookQA、SciQ（通过 LM Evaluation Harness 测量）。 - 结果：Soft-MTP 在各规模上的平均准确率均高于标准 MTP；在 1.2B 规模上，Soft-MTP 取得最佳的 WikiText 与 LAMBADA 困惑度及最高的平均准确率，且超越纯 NTP 基线。 #### (c) 数学与代码微调 - 设置：丢弃 MTP 头，仅用 NTP 损失对 1.2B 模型进行继续预训练。 - 数学：4.2B tokens 的 OpenMathInstruct-2，在 GSM8K 和 MATH-500 上 0-shot 贪婪解码评估。 - 代码：21.0B tokens 的 Stack-Edu Python 子集，在 HumanEval 和 MBPP 上评估 pass@16/32/64（温度 sweep）。 - 结果：Soft-MTP 在 8 个单元中的 7 个领先标准 MTP，且从不低于 NTP 基线；HumanEval pass@64 提升 +3.1 pp，MBPP pass@64 提升 +1.2 pp，GSM8K 提升 +1.1 pp，MATH-500 提升 +1.8 pp。 #### (d) MTP 权重 λ(MTP) 与预测范围 K 的消融 - 规模：332M，训练 7.3B tokens。 - 变量： - 固定 K=3 ，变化 λ(MTP) ∈ 0.25, 0.5, 0.75, 1.0 ； - 固定 λ(MTP)=1.0 ，变化 K ∈ 3,4,5,6,7,8 。 - 结果：Soft-MTP 在 NTP 损失 vs MTP 损失、以及 NTP 损失 vs KL 散度的帕累托前沿上均支配标准 MTP；在所有测试的 K 值上同时取得更低的 NTP 和 MTP 损失。 —- ### 3. Soft-MTP 与显式 KL-MTP 的比较（回答“Soft-MTP 是否比直接优化 KL 更高效”） #### (a) 训练成本与系统开销 - 规模：1.2B，单卡 NVIDIA H200。 - 指标：矩阵乘法 FLOPs/token、吞吐量 (tok/s)、MFU、峰值内存（分别测试 naive CE 与 fused CE）。 - 结果：Soft-MTP 与标准 MTP 的 FLOPs、MFU、fused-CE 峰值内存完全一致，吞吐量差距在 0.07% 以内；而 KL-MTP 增加 1.5% FLOPs，吞吐量下降 5.6%，峰值内存增加 21 GB，且几乎无法从 fused cross-entropy 内核中受益。 #### (b) 综合性能对比 - 规模：1.2B。 - 指标：语言建模困惑度与平均零样本准确率、投机解码 KL/TV/接受长度/加速比、数学与代码微调性能。 - 结果：Soft-MTP 在全部 3 项困惑度指标上等于或优于 KL-MTP；零样本平均准确率更高；代码微调 6 项指标全部领先；投机解码两者几乎持平（差距 ≤ 0.01 ）；KL-MTP 仅在数学微调上略优。 #### (c) 输出头几何分析 - 方法：测量 logits 映射 Wγ （线性头与最终 RMSNorm gain 的乘积）的有效秩（effective rank）。 - 结果：标准 MTP 将有效秩压至 NTP 基线的约 1/4（131 vs 496）；KL-MTP 压至约 2/3（321）；Soft-MTP 保持最接近 NTP 基线（437），说明保留交叉熵监督可避免输出头的几何坍缩。 —- ### 4. 架构兼容性验证（附录 C） - 设置：332M 规模，使用 Meta-style 并行 MTP 头（而非主实验中的 DeepSeek-style 顺序头），训练 7.3B tokens。 - 结果：Soft-MTP 在验证 NTP 损失和 MTP 损失上均低于标准 MTP，证明技巧对两种主流架构均有效。 Q5: 有什么可以进一步探索的点？基于论文的局限性与开放性问题，以下几个方向值得进一步探索： —- ### 1. 超大规模模型的验证与扩展论文的实验规模上限为 1.2B 参数，而当前前沿语言模型普遍处于数十亿至数千亿参数区间。尽管论文从梯度信噪比（SNR）的尺度规律推断，残差的有害性应随规模递增，但仍需在 7B、70B 乃至更大规模 下验证 Soft-MTP 的相对收益是否保持或放大。特别地，在混合专家（MoE）架构（如 DeepSeek-V3/V4）中，MTP 模块与专家并行的交互是否会改变梯度分解的定性结论，尚待实证。 —- ### 2. 非共享线性输出头场景下的推广 KL 梯度–恢复技巧的核心前提是 teacher 与 student 共享同一个线性输出头 Wθ$。若 MTP 头采用独立的输出头（某些实现中的变体），该技巧的精确性将失效。一个自然的问题是：是否存在适用于非共享头的近似恢复方法？例如，通过低秩投影或输出头之间的线性映射，在不物化完整 logit 矩阵的前提下近似 KL 梯度，这将显著拓宽技巧的适用范围。 —- ### 3. 与强化学习后训练及在线蒸馏的深度融合论文第 2 节与第 7 节指出，MTP 在强化学习（RL）后训练中主要用于加速 rollout 生成。Soft-MTP 通过提升 MTP 头与 NTP 验证器的一致性来优化投机解码，这恰好对应 RL 场景下的主要推理瓶颈。进一步可探索： - 在 on-policy self-distillation（OPSD） 等后训练方法中，直接套用 KL 梯度–恢复技巧以避免显式 KL 计算的开销； - 将 Soft-MTP 与 MTP Boosting

NVIDIA, 2026
等后训练对齐阶段结合，检验预训练阶段注入的 KL 信号是否能减少后训练阶段的对齐成本。 —- ### 4. 动态预测范围与自适应损失权重论文在 332M 规模上进行了 K ∈ 3, dots, 8 与 λ(MTP) ∈ 0.25, dots, 1.0 的消融，但采用的是固定超参数。未来可探索： - **动态 horizon K **：根据序列内容或训练进度自适应调整预测步数，例如对数学/代码等长程依赖密集的数据子集使用更大的 K ； - **可学习的损失权重**：将 λ(MTP) 或各头的相对权重设为可训练（或通过元学习优化），而非固定超参数，以进一步平衡 next-token 与多 token 学习信号。 —- ### 5. 与更丰富的预训练目标结合近期工作已尝试超越 MTP，引入未来摘要（future summaries）、跳跃上下文（non-adjacent context）等更复杂的预测目标

Mahajan et al., 2026; Liu et al., 2025b
。这些目标通常同样依赖共享输出头或隐式蒸馏机制。KL 梯度–恢复技巧的原理可被推广至这些场景：只要存在“共享线性头下的分布匹配”，即可用类似的 straight-through 路由避免显式 KL 计算，并滤除低信噪率的残差。系统性评估该技巧在 **Next-Latent Prediction
Teoh et al., 2025
** 或 **Leap MTP
Liu et al., 2025b
** 等架构中的有效性，是一个直接且高价值的延伸。 —- ### 6. 理论视角下的偏差–方差权衡与优化动力学论文第 5.3 节从偏差–方差角度对残差进行了定性分析，指出去除残差会引入“偏向 NTP 分布”的偏差，但换取了方差的显著降低。这一 trade-off 可在更形式化的框架下深入研究： - 在 **在线随机凸优化** 或 **统计学习理论** 框架下，量化 g_(res) 的方差随模型容量与数据分布的变化规律； - 分析 Soft-MTP 对 **隐式正则化（implicit regularization）** 的影响，特别是其对输出头几何（有效秩）与表示空间凝聚（representation collapse）的作用机制。 —- ### 7. 系统层面的序列并行优化论文第 7 节提到，Soft-MTP 与大多数并行策略兼容，但在 **序列并行（sequence parallelism）** 或 **上下文并行（context parallelism）** 下，需要在分片边界额外交换最多 K 个隐藏状态梯度。未来可设计针对性的通信优化： - 开发异步或分块梯度路由机制，将 K 步隐藏的通信开销与 Ring Attention 的通信模式融合； - 在超长上下文训练中，评估 Soft-MTP 的通信成本是否会成为新的瓶颈，并设计近似策略（如局部 K 步窗口内的梯度恢复）。 —- ### 8. 跨模态迁移：视觉-语言与多模态预训练 MTP 的思想已逐渐从纯文本扩展至多模态序列（如视觉 token 预测）。在视觉-语言模型中，若存在“共享解码头预测下一图像 token”或“预测下一文本 token”的多任务设置，类似的梯度残差问题可能出现。检验 KL 梯度–恢复技巧是否适用于 **跨模态共享头** 的蒸馏场景，并评估其对多模态表示对齐的影响，是一个有前景的交叉方向。 Q6: 总结一下论文的主要内容这篇论文围绕多 token 预测（Multi-Token Prediction, MTP）的训练目标展开，识别了标准 MTP 中的一个关键缺陷，并提出了一种零成本的修复方法。 —- ### 1. 核心问题：标准 MTP 梯度中的噪声残差论文证明，标准 MTP 交叉熵损失的梯度可被精确分解为两项之和：

g(hard) = Wθ^top (pt^((k)) - q_t^((k)))(gKL) + Wθ^top (qt^((k)) - x(t+k+1))_(g_res)

** g(KL) （KL 自蒸馏梯度）**：将第 k 个 MTP 头拉向模型自身的 next-token 预测（NTP）分布 q_t^((k)) ，有助于提升投机解码接受率。 - ** g(res) （残差梯度）**：等价于位置对齐的 NTP 数据梯度，包含不可约的 one-hot 采样噪声。实证分析表明，该残差占据了传入共享模型主干约 **80%** 的 MTP 梯度，但其信噪比（SNR）比 g(KL) 低约 **4 倍**，且随模型规模扩大而进一步恶化。更关键的是，该残差与 NTP 优化方向**反方向对齐**，会同时干扰 next-token 和多 token 学习。 —- ### 2. 核心方法：KL 梯度–恢复技巧与 Soft-MTP 为避免显式计算 KL 散度所带来的词汇表规模 logit 矩阵的内存与计算开销，论文提出了 **KL 梯度–恢复 trick**： - 利用 NTP 与 MTP 共享同一个线性输出头 Wθ 的结构特性，通过向 NTP 隐藏状态注入一个数值为零的 straight-through 项：

h_0[:, k:] += h_k.detach() - h_k

该操作在前向传播中不改变任何数值，但在反向传播中将 NTP 损失的梯度精确路由至 MTP 隐藏状态，注入的梯度恰好为 -g(res) 。 - 从而，MTP 头与共享主干接收到的总梯度为：
g(hard) - g(res) = g(KL)
即纯净的 KL 自蒸馏信号。基于该技巧实现的 **Soft-MTP** 仅需对标准 MTP 做**一行代码改动**，不增加参数，不引入可测量的计算或内存开销，且与标准的 fused cross-entropy 内核及主流并行策略完全兼容。 —- ### 3. 关键实验发现从 **167M 到 1.2B** 参数的系统性实验表明： | 维度 | 结果 | |:—-|:—-| | **损失优化** | Soft-MTP 在所有规模上降低 NTP 困惑度；从 689M 起也降低 MTP 困惑度。 | | **投机解码** | 在 5 个领域的自投机解码中，接受长度提升 1.8–2.2%，推理加速比提升 1.4–1.5%，且与 NTP 验证器的 KL/TV 距离更小。 | | **零样本精度** | 在 8 项下游任务上的平均准确率全面优于标准 MTP；在 1.2B 规模上超越纯 NTP 基线。 | | **下游微调** | 在数学（GSM8K、MATH-500）与代码（HumanEval、MBPP）微调后，Soft-MTP 在 8 个指标中的 7 个领先标准 MTP。 | | **与 KL-MTP 对比** | Soft-MTP 在系统效率（吞吐量、内存）上远超显式 KL 最小化（KL-MTP），却在绝大多数指标上与之持平或更优。 | 此外，输出头有效秩的分析表明，Soft-MTP 避免了 KL-MTP 和标准 MTP 导致的输出头几何坍缩，保持了最接近 NTP 基线的表示空间维度。 —- ### 4. 结论与意义 Soft-MTP 揭示了一个反直觉的事实：**标准 MTP 已经隐式包含了理想的自蒸馏信号，但该信号被高方差的残差所淹没**。通过 KL 梯度–恢复 trick，Soft-MTP 在不增加任何成本的情况下提取出这一信号，剔除了有害残差，从而实现了对 MTP 训练的“免费午餐”式优化。该方法兼容 DeepSeek 和 Meta 风格的 MTP 架构，为现代大语言模型的预训练提供了一个即插即用的改进方案。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jayden Teoh

Categories:

PDF URL: https://arxiv.org/pdf/2610.38331.pdf

Arxiv URL: https://arxiv.org/abs/2610.38331

Arxiv ID: 2610.38331

CoolPaper URL: https://papers.cool/arxiv/2610.38331

Published: 2026-10-31T02:43:25.898Z

Updated: 2026-10-31T02:43:25.898Z

19. Glance: The Generator Is Its Own Reranker

Abstract:Retrieval-augmented generation commonly serves separate models for reranking and answering, duplicating model residency and passage processing. We introduce Glance, which equips the generator with a lightweight decision adapter and pointer head to score candidate passages from a shared prefill. Short relevance probes branch from the cached context, producing one score per passage without separately prefilling each query-passage pair. A single resident 9B backbone supports generation, general decisions and reranking, with approximately 0.1 GiB of additional memory per decision skill. After 39 minutes of MS MARCO fine-tuning, Glance achieves nDCG@10 of 0.741 on SciFact and 0.345 on NFCorpus, compared with 0.721 and 0.326 for bge-reranker-v2-m3. On 300 HotpotQA questions, its selected context improves answer F1 by 0.045 over cross-encoder-selected context under the same base generator (paired bootstrap 95% CI [0.014, 0.076]). In a scaling study, reranking quality keeps rising up to 200 candidates (43k tokens) scored from one shared prefill, where it exceeds the cross-encoder by 0.058 nDCG@10, and a probe-only activated adapter lets generation continue from the original passage cache. These initial results demonstrate generator-based reranking with one resident backbone; evaluation currently covers two retrieval datasets, one QA dataset and one backbone family.

中文摘要

摘要：检索增强生成通常为重排名和回答提供独立模型，从而重复占用模型驻留和段落处理。我们引入了 Glance，它为生成器配备了轻量级决策适配器和指针头，以从共享预填充中对候选段落进行评分。短相关性探针从缓存的上下文分支出来，为每个段落生成一个分数，而无需单独预填充每个查询-段落对。一个驻留的 9B 主干支持生成、通用决策和重排名，每个决策技能只需大约 0.1 GiB 的额外内存。在对 MS MARCO 进行 39 分钟微调后，Glance 在 SciFact 上实现 nDCG@10 为 0.741，在 NFCorpus 上为 0.345，而 bge-reranker-v2-m3 分别为 0.721 和 0.326。在 300 个 HotpotQA 问题上，其选择的上下文相比基于同一基础生成器的交叉编码器选择上下文，使答案 F1 提高了 0.045（配对自助法 95% 置信区间 [0.014, 0.076]）。在扩展研究中，重排名质量在从一个共享预填充评分多达 200 个候选（43k 代币）时持续上升，超过交叉编码器 0.058 nDCG@10，并且仅激活探针的适配器允许生成继续从原始段落缓存。初步结果表明，使用一个驻留主干即可进行生成器基础的重排名；当前评估涵盖两个检索数据集、一个问答数据集和一个主干家族。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.40454 (HTTP 429)

Authors: Adilet Metinov,Chingiz Arziev

Categories:

PDF URL: https://arxiv.org/pdf/2610.40454.pdf

Arxiv URL: https://arxiv.org/abs/2610.40454

Arxiv ID: 2610.40454

CoolPaper URL: https://papers.cool/arxiv/2610.40454

Published: 2026-10-31T02:43:27.350Z

Updated: 2026-10-31T02:43:27.350Z

20. AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding

Abstract:Recent advances in multimodal large language models have increased interest in interaction paradigms for video understanding. The evolution from offline to streaming and proactive interaction has gradually shifted models from passive responders toward more proactive agents that can decide when to answer. However, existing proactive paradigms typically assume that the information required to answer a query is complete, leaving models to only wait or answer. In the real world, however, information is often incomplete due to uncertainty from either the video or the user. In proactive paradigms, such uncertainty can cause the model to wait forever or generate highly hallucinatory responses. We therefore argue that proactive interaction should be redefined with a third action: ask, allowing models to actively ask for missing information. To study when and what models should ask before answering, we introduce AskStream, the first multi-turn benchmark spanning video and user uncertainty for streaming video understanding, with four task categories and eight subtasks. It contains 438 videos with 2,714 manually annotated frame-level time windows across three types: wait, ask, and answer. Across both multiple-choice and open-ended settings, even the strongest model attains only 52.18% on our proposed Ask-F1 metric, highlighting substantial limitations in proactive information seeking under uncertainty.

中文摘要

摘要：多模态大语言模型的最新进展增加了人们对视频理解交互模式的兴趣。从离线到流式再到主动交互的演变，逐渐将模型从被动响应者转变为能够决定何时回答的更主动的智能体。然而，现有的主动交互模式通常假设回答查询所需的信息是完整的，使模型仅需等待或回答。然而，在现实世界中，由于视频或用户的不确定性，信息往往是不完整的。在主动交互模式下，这种不确定性可能导致模型永远等待或生成高度幻觉化的回答。因此，我们认为主动交互应通过第三种操作重新定义：提问（ask），允许模型主动请求缺失的信息。为了研究模型应在何时以及询问什么信息，我们引入了 AskStream，这是第一个涵盖视频和用户不确定性的流式视频理解多轮基准，包含四类任务和八个子任务。它包含 438 个视频，涵盖 2,714 个手工标注的帧级时间窗，分为三种类型：等待（wait）、提问（ask）和回答（answer）。在多项选择和开放式设置中，即使是最强的模型在我们提出的 Ask-F1 指标上也仅达到 52.18%，凸显了在不确定性条件下主动信息获取的重大局限性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.38678 (HTTP 429)

Authors: Lu Wang,Zhuoran Jin,Longxiang Wang,Junhong Chen,Yupu Hao,Yao Xu,Daojian Zeng,Yubo Chen,Kang Liu,Guang Liu,Jun Zhao

Categories:

PDF URL: https://arxiv.org/pdf/2610.38678.pdf

Arxiv URL: https://arxiv.org/abs/2610.38678

Arxiv ID: 2610.38678

CoolPaper URL: https://papers.cool/arxiv/2610.38678

Published: 2026-10-31T02:43:29.703Z

Updated: 2026-10-31T02:43:29.703Z

HuggingFace Papers 2026-10-31

Latest Papers

1. Intrinsic Distribution Matching

2. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

2.3 自适应刷新规则 设 n_w 为当前池上已接受的连续窗口数， ell 为滞后长度， rho 为信号保留阈值， eta 为准确率提升阈值。刷新信号定义为：

3. Your Benchmark Is an Empirical Measure Over Difficulty

4. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

5. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities

6. Proving and Improving the Platonic Representation Hypothesis with JEPAs

7. Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

8. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

9. WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training

10. A Broader Look into MLLM’s Retrieval Heads

11. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

12. VibeGame: Prompt-to-Game Development with AI-Native Engine and Self-Evolving Adversarial Agent Team

13. HairDeck: Animation-Ready Stylized Hair Cards from a Single Image

14. WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video

15. IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation

16. CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models

17. WebAnything: From the Wild Web to Scalable Agent Environments

18. Multi-Token Prediction Done Right

19. Glance: The Generator Is Its Own Reranker

20. AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding

2.3 自适应刷新规则设 n_w 为当前池上已接受的连续窗口数， ell 为滞后长度， rho 为信号保留阈值， eta 为准确率提升阈值。刷新信号定义为：