HuggingFace Papers 2026-10-24

数据来源：HuggingFace Papers

Latest Papers

1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels

Abstract:Existing vision-language models (VLMs) remain unreliable for fine-grained visual perception. In this report, we present WeVisOne-VL (WeChat Vision All-in-One), a powerful VLM that unifies object-level and pixel-level perception through structured next-token prediction. It supports multiple visual tasks including object detection, referring localization, counting, OCR, segmentation, and matting, enabling localization at any user-specific granularity, from points and boxes to masks and alpha mattes. Architecturally, we integrate a lightweight pixel decoder into the VLM via a special token to generate instance-level pixel outputs. We train the model with a three-stage curriculum SFT followed by mixed-task RL. Across over 30 benchmarks, WeVisOne-VL demonstrates leading performance on both object-level and pixel-level tasks, while maintaining robust rejection for object-absent queries. By releasing WeVisOne-VL to the open-source community, we hope to advance VLMs from broad visual understanding toward truly reliable perception systems for real-world deployment.

中文摘要

摘要：现有的视觉-语言模型（VLMs）在细粒度视觉感知方面仍不可靠。在本报告中，我们提出了 WeVisOne-VL（微信视觉全能模型），这是一种强大的 VLM，通过结构化的下一个令牌预测统一了对象级和像素级感知。它支持多种视觉任务，包括目标检测、指示定位、计数、光学字符识别（OCR）、分割和抠图，实现从点、框到掩码和 alpha 通道的任何用户指定粒度的定位。在架构上，我们通过特殊的令牌将轻量级像素解码器集成到 VLM 中，以生成实例级像素输出。我们使用三阶段课程微调（SFT）训练模型，然后进行混任务强化学习（RL）。在超过 30 个基准测试中，WeVisOne-VL 在对象级和像素级任务上表现出领先性能，同时对对象缺失的查询保持强鲁棒拒绝性。通过向开源社区发布 WeVisOne-VL，我们希望推动 VLMs 从广泛的视觉理解发展到真正可靠的感知系统，以便在实际部署中使用。

LLM Analysis

Q: 这篇论文试图解决什么问题？现有视觉-语言模型（VLMs）在细粒度视觉感知方面存在显著不足，难以满足实际部署中对可靠性和统一性的要求。具体而言，该论文试图解决以下核心问题： - \*\*细粒度感知不可靠\*\*：现有 VLMs frequently 产生幻觉（预测不存在的对象）、误解用户意图（尤其是面对不熟悉的对象描述时），或忽略非显著实例，导致召回不完整。这使得它们在密集场景、小目标或复杂指代表达下表现不佳。 - \*\*对象级与像素级任务割裂\*\*：传统方法通常将对象级任务（如检测、指代定位、计数）与像素级任务（如分割、抠图）分开处理，缺乏一个统一的框架。现有 VLMs 大多只能生成离散的边界框或点，而像素级密集预测往往依赖额外的大型分割模型（如 SAM），增加了系统复杂性和计算开销。 - \*\*粒度灵活性不足\*\*：实际应用需要模型能够根据用户指令在任意粒度上进行定位——从点、边界框到掩码和连续的 Alpha 遮罩（alpha mattes）。现有模型缺乏这种从粗到细、连续统一的输出能力。 - \*\*对负样本查询的鲁棒性缺失\*\*：现有模型倾向于对图像中不存在的目标查询仍给出虚假预测，缺乏可靠的目标缺失拒绝（rejection）机制。 WeVisOne-VL 旨在通过\*\*结构化下一词元预测（structured next-token prediction）\*\*结合\*\*轻量级像素解码器\*\*，构建一个统一的视觉感知模型，在单一自然语言接口下同时支持对象级和像素级任务，实现从对象到像素的可靠、高效、灵活定位。 Q2: 有哪些相关研究？该论文的相关研究主要分布在\*\*视觉定位（Visual Grounding）\*\*、\*\*指代分割（Referring Segmentation）\*\*和\*\*实例抠图（Instance Matting）\*\*三个领域，此外还包括传统的检测/分割基础模型与通用视觉-语言模型（VLMs）。以下按类别梳理： --- ### 1. 视觉定位（Visual Grounding）该领域旨在将自然语言描述与图像中的空间位置（边界框、点等）对应起来。 - \*\*传统与开放词汇检测器\*\*：早期工作如 YOLO、DETR 奠定了目标检测基础；Grounding-DINO 等开放词汇检测器进一步将对象定位与类别名称/指代表达对齐。 - \*\*基于 VLM 的 grounding 模型\*\*： - \*\*Kosmos-2\*\*：引入 location token 表示文本与边界框的链接。 - \*\*Florence-2\*\*：将检测、定位等多种视觉任务统一为 prompt-conditioned 序列生成。 - \*\*Molmo / PixMo\*\*：验证了显式点监督（point supervision）在 grounding 和计数任务中的价值。 - \*\*Rex-Omni\*\*：采用量化坐标 token 和几何感知强化学习，统一处理检测、指代、指向和 OCR 等任务。 - \*\*LocateAnything\*\*：通过并行解码边界框和点，提升定位速度与精度。 --- ### 2. 指代分割（Referring Segmentation）该任务要求根据语言描述预测目标对象的像素级掩码（mask），实现从语言到像素的细粒度对齐。 - \*\*可提示分割基础模型\*\*：SAM、SAM 2 和 SAM 3 系列建立了基于点/框提示的掩码预测范式，SAM 3 进一步支持概念驱动的检测、分割与跟踪。 - \*\*语言-像素对齐方法\*\*： - \*\*LISA\*\*：将大语言模型生成的分割 token 映射到掩码解码器。 - \*\*GLaMM\*\*：在生成文本中交错插入 grounded masks。 - \*\*GSVA\*\*：支持多目标指代，并引入对缺失目标的显式拒绝机制。 - \*\*Text4Seg\*\*：将掩码序列化为文本形式进行生成。 - \*\*UniPixel\*\*：整合掩码与像素级推理，统一对象指代和分割。 - \*\*Sa2VA\*\*：将 SAM 2 与多模态大语言模型（MLLM）耦合，实现图像与视频的密集理解。 - \*\*Youtu-VL\*\*：在统一的自回归监督下联合训练视觉 token 和语言 token。 --- ### 3. 实例抠图（Instance Matting）图像抠图旨在估计连续的不透明度（alpha matte），以保留发丝、半透明边界等精细结构。 - \*\*自动与肖像抠图\*\*：MODNet、P3M 等专注于显著前景（尤其是肖像）的自动抠图。 - \*\*可提示/交互式抠图\*\*： - \*\*Matte Anything / Matting Anything\*\*：利用可提示的分割模型（如 SAM）引导 alpha 预测。 - \*\*In-Context Matting\*\*：通过参考图像提示来指定前景目标。 - \*\*SAM2-Matting\*\*：在 SAM 2 分割跟踪器基础上扩展抠图能力。 - \*\*视频抠图\*\*： - \*\*MatAnyone\*\*：通过一致的记忆传播实现稳定视频抠图。 - \*\*MatAnyone 2\*\*：通过学习质量评估器并扩大真实世界训练数据，提升边界细节与时间一致性。 --- ### 4. 基础模型与统一视觉-语言模型 - \*\*Qwen3-VL\*\*：WeVisOne-VL 的基座模型，提供视觉编码器与大语言模型骨干。 - \*\*通用 VLMs\*\*：现有主流 VLMs 在视觉理解上已取得显著进展，但在细粒度感知、密集场景中的小目标召回、以及对目标缺失查询的可靠拒绝方面仍存在不足，这正是 WeVisOne-VL 试图弥补的 gap。 --- 综上所述，现有研究或在\*\*对象级定位\*\*（框/点）与\*\*像素级预测\*\*（掩码/遮罩）之间分离，或依赖额外的大型分割/抠图专家模型，缺乏一个通过单一语言接口统一完成从对象到像素、从离散到连续输出的高效系统。 Q3: 论文如何解决这个问题？ WeVisOne-VL 通过\*\*统一任务形式化、轻量级像素解码器架构、大规模统一数据引擎，以及课程化监督微调与混合任务强化学习\*\*相结合的系统方案，解决了现有视觉-语言模型在细粒度视觉感知中的不可靠性与任务割裂问题。具体解决路径如下： --- ### 1. 统一任务形式化为结构化下一词元预测论文将所有视觉感知任务统一为\*\*结构化下一词元预测（structured next-token prediction）\*\*，通过一个自然语言接口处理从对象级到像素级的多种任务。 - \*\*紧凑坐标编码\*\*：引入专用词元 <0> 到 <1000> 对归一化空间坐标进行离散编码。边界框表示为 $

x0, y_0, x_1, y_1
，点表示为
x_0, y_0
，从而在自回归框架内高效输出空间位置。 - 像素级桥接词元 ：对于分割、抠图等密集预测任务，模型在每个边界框坐标序列后生成一个特殊的词元。该词元的隐层状态 h_i 作为对应实例的潜在表征，被传递给轻量级像素解码器以生成掩码或 Alpha 遮罩。若查询目标在图像中不存在，坐标字段填充为 None ，使模型具备拒绝能力。 —- ### 2. 轻量级像素解码器架构在 Qwen3-VL 主干基础上，论文扩展了一个仅含约 9.6M 参数的像素解码器，实现从离散词元到密集像素输出的无缝衔接，无需依赖独立的大型分割模型（如 SAM）。 - 视觉特征适配器（Visual Feature Adapter）：从 ViT 中间层提取 L 级多尺度特征 F_l(l=1)^L ，通过投影、深度可分离卷积与 FFN 变换为共享视觉记忆 M ∈ R^(LH_pW_p × d)$：

Xl^((0)) = W_l F_l, quad E_l = P(2D) + e_l

X_l^((t)) = LayerNorm(X_l^((t)) + PWConv_t(GELU(DWConv_t(X_l^((t)) + E_l))))

**框引导查询解码器（Box-guided Query Decoder）**：区别于传统 DETR 的静态可学习查询，实例查询直接由 VLM 输出初始化。对于第 i 个实例，内容查询为 q_i = W_h h_i ，位置查询为 p_i = MLP(φ(b_i)) （ φ 为傅里叶编码）。解码器通过六层可变形注意力模块，在自注意力中实现实例间交互，在交叉注意力中以参考框 r_i 为条件聚合多尺度视觉特征。 - **实例条件密集预测（Instance-Conditioned Dense Prediction）**： - **多级像素融合**：自上而下融合多尺度特征 G_l ，并与浅层 CNN 提取的图像细节特征 P 相加：
P = Up(G_1) + CNN(I)
**动态掩码头**：由更新后的查询 q_i 生成实例感知动态卷积核 $
k_i, β_i
= MLP(q_i)$，预测初始掩码：
M_i = k_i^top P + β_i
**由粗到精的细化**：通过三级上采样逐步细化掩码，每一级利用实例查询进行通道级缩放与移位：
[γi^((j)), δ_i^((j))] = MLP_j(q_i), quad F_i^((j)) = f(rc)^((j))((1 + tanh(γ_i^((j)))) odot U_i^((j)) + δ_i^((j)))

Mi^((j)) = Interp_j(M_i^((j-1))) + Conv(1×1)(F_i^((j)))

**抠图扩展**：在分割基础上增加轻量级细化模块，输出连续 Alpha 遮罩 Ai = Sigmoid(M_i^((3))) 。 —- ### 3. 统一数据引擎（WDE）为支持对象级与像素级任务的联合训练，论文构建了 WeVisOne-VL Data Engine，涵盖超过 1 亿张图像和约 36 亿个边界框标注。 - **语义发现与定向采集**：在共享知识图谱中组织类别概念与组合式指代表达，指导针对性图像采集。基于概念代表性、目标尺度、遮挡及密集排列等维度设置采样优先级。 - **多专家定位与语义校验**：针对检测任务，并行使用 SAM3 与内部开放词汇检测器生成候选框；针对指代任务，结合 SAM3 Agent 与 Rex-Omni 生成候选区域。随后通过 Qwen3-VL 进行查询-实例对应关系的视觉语言校验，解决冲突、去重并保留可靠标注。 - **实例对齐的像素级监督**：利用 SAM2 为每个定位实例生成二值掩码，使边界框与掩码在相同查询下保持实例关联。对于抠图，进一步通过专家辅助标注（BiRefNet、MatAnyone2）与专门训练的 Matting Annotator 生成连续 Alpha 伪标签，确保像素级监督与原始实例描述一一对应。 - **困难样本构建**：基于易混淆概念、视觉相似类别及模型错误构建硬正例（遗漏目标、错误选择）与硬负例（目标不存在时模型仍预测框），并通过严格的全图审查确保负样本确实无匹配目标。 - **训练反馈与数据精炼**：每轮训练后分析模型错误，按概念、领域、尺度、失败类型聚类，区分预测错误与标注缺陷。仅对审查确认的标注缺陷进行修正，并据此调整后续采集与采样策略，实现数据引擎的迭代优化。 —- ### 4. 课程化监督微调（Curriculum SFT）训练分为三个阶段，逐步建立从任务对齐到像素级预测的能力： - **Stage 1（任务对齐）**：冻结视觉编码器与投影层，仅训练语言模型。在 9020 万样本上学习遵循指令、输出结构化格式，并在目标缺失时返回 None 。此阶段对像素任务仅施加下一词元预测（NTP）损失，建立词元的初始对应关系。 - **Stage 2（分辨率与密度扩展）**：解冻视觉编码器、投影层与语言模型。将最大视觉 token 数提升至 1960，上下文长度扩展至 8192，并允许单张图像最多预测 500 个框/点，以增强对小目标和密集场景的召回。 - **Stage 3（Token-像素交替优化）**：首先以 L(seg) = 20L(focal) + L(dice) 在 2.5 亿分割样本上热身像素解码器；随后保留解码器权重与嵌入，与 Stage 2 检查点联合训练，以 1:1 比例交替执行 NTP 与像素级监督：

L(joint) = L(NTP) + 10L(seg)
最后冻结 VLM，在 1.3 亿抠图样本上以 L(mat) = 200L(l1) + 5L(grad) + 50L(lap) + L(hard) 对解码器进行专项微调。 —- ### 5. 混合任务强化学习（RL）在 SFT 基础上，通过基于 grounding 奖励的强化学习直接优化预测质量，而非单个词元的似然。 - **不确定性感知采样**：使用 SFT 模型对候选样本采样多组响应，计算奖励均值 μ_x 与标准差 σ_x ，选择不确定性分数 U(x) = 4μ_x(1-μ_x)σ_x 较高的样本（即模型时而成功时而失败的困难样本），以提供更强的相对优势信号。 - **GRPO 与 Grounding 奖励**：对每组 G=8 个响应，通过匈牙利匹配在语义类内建立预测框与真值框的一对一匹配 M_i ，并定义奖励：

ri = 2∑((hatb), b^) ∈ M_i IoU(b, b^)^3N(gt) + N(pred)
该奖励同时惩罚漏检与重复预测，且 IoU 的三次方放大了高 IoU 区间的改进信号。对于分割与抠图，RL 阶段仍仅使用框级奖励，以确保定位精度；对于负样本，仅当模型预测无任何目标时奖励为 1。 —- 通过上述设计，WeVisOne-VL 在单一模型内实现了从语言到边界框、点、掩码及 Alpha 遮罩的统一输出，同时具备对目标缺失查询的可靠拒绝能力，显著提升了细粒度视觉感知的准确性与实用性。 Q4: 论文做了哪些实验？论文在超过 **30 个基准测试** 上开展了系统评估，涵盖 **5 项对象级任务**（目标检测、指代定位、计数、指向、OCR）与 **2 项像素级任务**（指代分割、图像抠图）。实验采用贪婪解码（temperature = 0），单图视觉 token 上限为 1,960，并与专用检测器、通用 VLM（Qwen 系列）以及代表性的 VLM-based grounding 模型（Rex-Omni、LocateAnything）等进行了对比。以下按任务类别总结主要实验内容： —- ### 一、对象级任务实验 #### 1. 通用与密集目标检测 - **基准**：COCO、LVIS（零样本）、Dense200、VisDrone - **指标**：F1@IoU=0.5、F1@IoU=0.95、以及 IoU 从 0.5 到 0.95 的均值（Mean） - **结论**：WeVisOne-VL 在通用、长尾和密集检测基准上均显著优于同规模 VLMs。尤其在 Dense200 和 VisDrone 上提升明显，反映出对小目标和密集排布场景的更强召回能力；在严格的 IoU=0.95 下依然表现领先，说明定位精度与覆盖率均有改善。 #### 2. 指代目标检测（Referring Object Detection） - **基准**：RefCOCOg、HumanRef、Ref-Adv、PR-Bench、DVGBench、Ref-L4，以及内部基准 **WeRef-Bench**（含单目标、多目标、目标缺失查询）和 **RefCOCOg-Rej**（负样本拒绝测试） - **指标**：F1 Mean（IoU 0.5–0.95）与 **拒绝率 Rej**（目标缺失时正确返回无结果的比率） - **结论**：WeVisOne-VL 在单目标、多目标和目标缺失设置下均取得最佳或次佳表现。尤其在 WeRef-Bench 和 RefCOCOg-Rej 上，拒绝率远超现有模型（如 WeVisOne-VL-4B 在 WeRef-Bench 上 Rej 达 96.4%），证明其在理解指代表达的同时，能可靠地拒绝图像中不存在的目标查询。 #### 3. 目标计数（Object Counting） - **基准**：CountQA、PixMo-Count、CLOC、KubriCount、MixCount - **指标**：精确匹配准确率（Exact-Match Accuracy），即预测数量与真值完全一致的样本比例 - **结论**：在所有基准的所有划分上均取得最高精确匹配率。例如，在 PixMo-Count val/test 上分别达到 93.7%/89.6%，在极具挑战的 MixCount val/test 上达到 42.0%/40.4%，显著优于其他 VLM-based 模型。 #### 4. 目标指向（Object Pointing） - **基准**：PointBench、PixMo-Points，以及由检测基准转换而来的 COCO、LVIS、Dense200、VisDrone - **指标**：F1@Point（预测点落入真值掩码/框内即为正确） - **结论**：在专用指向基准 PointBench 和 PixMo-Points 上均取得最佳结果；在检测衍生基准上也保持了强劲的跨场景泛化能力。 #### 5. OCR（文本检测与识别） - **基准**：HierText（密集文档）、ICDAR2015（场景文本）、TotalText（弯曲文本）、SROIE（结构化票据） - **指标**：F1@IoU=0.5、F1@IoU=0.95、F1 Mean（仅当文本完全匹配且 IoU 达标时记为正确） - **结论**：在所有基准上均优于专用 OCR 系统（PP-OCRv5）和通用 VLMs，展现出对复杂排版、弯曲文字及密集小字的鲁棒端到端文本感知能力。 —- ### 二、像素级任务实验 #### 6. 指代分割（Referring Segmentation） - **基准**：RefCOCO / RefCOCO+ / RefCOCOg、ReasonSeg（隐含推理查询）、**Ref-ZOM**（含零/单/多目标及负样本） - **指标**：累积交并比 cIoU（RefCOCO 家族）、广义 IoU gIoU（ReasonSeg）、**拒绝率 Rej**（Ref-ZOM 负样本） - **结论**：在 RefCOCO 家族的所有划分上均优于基线。在 ReasonSeg 上展现了较强的推理分割潜力。尤为关键的是，在 Ref-ZOM 的负样本测试中，现有分割模型倾向于输出虚假掩码，而 WeVisOne-VL 能在目标存在时输出精确掩码，在目标缺失时正确拒绝（WeVisOne-VL-4B Rej 达 86.0%）。 #### 7. 可提示图像抠图（Promptable Image Matting） - **Box-prompt 基准**：P3M-500-NP、AM-2K、PPM-100 - **Text-prompt 基准**：内部 **WeRefMat**（支持类别名称与指代表达） - **指标**：MAD、MSE、Grad、Conn、SAD（均越低越好） - **对比基线**：Matte Anything、SAM2-Matting（多尺度变体）、以及 “VLM 定位 + SAM2-Matting” 级联方案 - **结论**： - 在 Box-prompt 设置下，WeVisOne-VL 与专用抠图模型相比极具竞争力，各项误差指标显著低于 SAM2-Matting 系列。 - 在更具实用价值的 Text-prompt（类别/指代）设置下，统一模型的优势更为明显：级联方案常出现定位错误或遗漏目标，而 WeVisOne-VL 能通过语言条件直接选择目标并估计精细边界透明度。 —- ### 三、定性分析（Qualitative Analysis）除定量基准外，论文还提供了与代表性基线的大量可视化对比（图 5–12），涵盖： - **密集与遮挡场景下的检测**：恢复被 dust 部分遮挡的远处大象，避免相邻实例的粗粒度合并。 - **复杂指代表达**：正确定位“从左数第三个穿白色背心的人”、“戴红色耳机的人”、“没有戴墨镜的黑衣人”等具有序数、属性、否定关系的描述。 - **目标缺失拒绝**：当查询描述在图像中无匹配目标时，正确返回无结果，而基线仍输出虚假框或掩码。 - **计数与指向**：正确处理“左边的杯子”、“成双的鞋”、“绿色仿苹果”等多粒度查询；在密集气球、人群场景中精准指向。 - **OCR**：准确定位并识别弯曲招牌、收据密集小字、说明书文本。 - **分割与抠图**：对灰发女士、耷拉耳朵的狗等描述生成精确掩码；保留兔子胡须、骆驼绒毛、飞扬发丝等半透明/细微边界细节。此外，论文展示了模型在**带边界框的细粒度图像描述（Grounded Caption）**上的潜力（图 13），验证了其将详细语义描述与实例级空间位置显式关联的能力。 —- ### 四、实验总结综合来看，实验从三个层面验证了方法的有效性： 1. **广度**：覆盖检测、指代、计数、指向、OCR、分割、抠图 7 大任务，30 余个公开及内部基准。 2. **精度**：在对象级定位的严格 IoU 阈值（0.95）和像素级任务的连续 alpha 估计上均达到领先水平。 3. **可靠性**：通过引入目标缺失基准（RefCOCOg-Rej、WeRef-Bench、Ref-ZOM），量化了模型对负样本的拒绝能力，弥补了现有 VLMs 容易幻觉的短板。 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与整体架构设计，以下几个方向值得进一步探索： —- ### 1. 引入链式思考与多轮交互推理论文指出，当前模型为追求推理效率，直接生成结构化输出而未采用链式思考（Chain-of-Thought, CoT）。这限制了模型在复杂空间推理、多步指代消解及隐含条件解析上的表现。未来可探索： - **视觉感知的 CoT 机制**：在生成坐标或掩码前，让模型先进行显式的空间关系、属性比对与逻辑验证，以提升对复杂指代表达（如多重否定、层级关系）的解析能力。 - **多轮代理框架（Agent Framework）**：将单轮预测扩展为多轮工具交互，允许模型在不确定时主动请求裁剪、放大或额外的视觉提示，逐步精确定位。 —- ### 2. 从图像感知向视频与三维空间扩展当前 WeVisOne-VL 聚焦于单帧图像的对象级与像素级任务。其统一的 token-based 接口和像素解码器设计具有向时空维度迁移的潜力： - **视频指代分割与抠图**：结合 SAM 2/3 的时序传播机制，将 token 扩展为跨帧的实例记忆，实现视频级别的语言引导分割与 Alpha 遮罩估计。 - **三维视觉定位**：将二维坐标 token 扩展为三维位置或深度信息，支持在点云或多视图图像中进行语言驱动的 3D 目标检测与部件级定位。 —- ### 3. 真实场景下的模糊意图理解与拒识论文强调，现有基准中的查询通常是明确、完整的，而真实用户指令往往含糊、犹豫或上下文依赖。未来工作可聚焦于： - **开放式意图消歧**：当用户描述存在歧义（如“那个红色的”在图像中对应多个目标）时，模型应能主动列出候选或请求澄清，而非盲目选择。 - **不确定性量化与校准**：在输出定位结果的同时，提供置信度或存在概率，使系统在人机交互中更可控、更可靠。 —- ### 4. 数据引擎与训练范式的迭代优化 - **自动化审查闭环**：进一步降低 WDE 中人工抽查的比例，利用模型自检与一致性约束自动过滤低质量标注，提升数据引擎的可扩展性。 - **像素级强化学习奖励**：当前 RL 阶段对分割与抠图任务仅使用框级奖励。设计直接评估掩码 IoU、边界梯度或 Alpha 误差的密集奖励函数，有望更精细地优化像素级输出质量。 - **负样本的动态课程**：随着模型能力提升，硬负例与硬正例的分布会持续变化，可探索自适应的在线困难样本挖掘策略，替代周期性的人工复审。 —- ### 5. 模型轻量化与端侧部署尽管像素解码器仅含约 9.6M 参数，但整体模型（2B/4B）在端侧设备上的部署仍面临挑战： - **视觉 token 压缩**：针对高分辨率输入（1,960 tokens），研究基于视觉场景稀疏性的自适应 token 剪枝或聚合，降低自回归生成的计算开销。 - **解码器与 VLM 的联合蒸馏**：将大模型的定位与分割能力蒸馏到更小的主干网络（如单模态高效 CNN/Transformer），实现实时感知。 —- ### 6. 更细粒度与跨模态的统一感知 - **部件级（Part-level）与材质级定位**：当前任务主要停留在物体实例层面。可扩展知识图谱以纳入“物体的局部/材质”概念，支持如“指向椅子的左前腿”或“选择玻璃材质的杯子”等更精细的查询。 - **感知与生成的一体化**：将像素级输出与图像编辑、内容生成结合，利用 Alpha 遮罩与掩码实现语言驱动的目标重光照、背景替换或图像修复。 —- ### 7. 多语言与跨文化泛化论文提到内部基准包含中英文查询，但系统的多语言一致性尚未充分验证。未来可探索： - **跨语言指代表达对齐**：确保同一视觉场景在不同语言描述下输出一致的定位结果。 - **文化特定概念的处理**：处理具有地域差异的物体类别、属性描述与视觉语境。 Q6: 总结一下论文的主要内容 WeVisOne-VL 是一篇关于统一视觉感知模型的技术报告，旨在通过单一视觉-语言模型同时实现对象级定位与像素级密集预测。以下是该论文的主要内容总结： —- ### 1. 研究背景与核心问题现有视觉-语言模型（VLMs）在粗粒度视觉理解上取得了显著进展，但在**细粒度视觉感知**方面仍存在以下关键缺陷： - **幻觉与漏检**：在密集场景、小目标或复杂指代表达下，模型常产生虚假预测或遗漏非显著实例。 - **任务割裂**：对象级任务（检测、指代定位、计数）与像素级任务（分割、抠图）通常由独立系统处理，缺乏统一接口。 - **粒度僵化**：现有模型难以根据用户指令灵活输出从点、边界框到掩码、Alpha 遮罩的任意粒度结果。 - **拒绝能力不足**：面对图像中不存在的目标查询，模型往往无法可靠地拒绝，而是输出错误预测。 —- ### 2. 核心思想与模型架构论文提出 **WeVisOne-VL**，基于 Qwen3-VL 构建，核心创新在于将多样化视觉任务统一为**结构化下一词元预测（structured next-token prediction）**，并通过一个轻量级像素解码器实现离散输出到密集像素预测的无缝衔接。 #### 2.1 统一任务形式化 - **坐标词元**：引入 <0> 到 <1000> 的专用词元对归一化坐标进行紧凑编码，边界框表示为 $

x0, y_0, x_1, y_1
，点表示为
x_0, y_0
。 - 像素桥接词元 ：对于分割/抠图任务，模型在每个边界框后生成词元，其隐层状态作为实例表征传入像素解码器。若目标不存在，则坐标字段输出为 None 。 #### 2.2 轻量级像素解码器（约 9.6M 参数）解码器包含三个模块，无需依赖独立的大型分割模型（如 SAM）： - 视觉特征适配器：从 ViT 中间层提取并融合多尺度特征，构建共享视觉记忆 M 。 - 框引导查询解码器：以隐状态 h_i 和预测框 b_i 初始化实例查询，通过可变形注意力聚合视觉特征。 - 实例条件密集预测：采用动态掩码头与由粗到精的三阶段上采样细化，最终输出全分辨率掩码或 Alpha 遮罩 A_i = Sigmoid(M_i^((3))) 。 —- ### 3. WeVisOne-VL 数据引擎（WDE）为支撑统一训练，论文构建了覆盖 1 亿+ 图像、36 亿+ 边界框的数据引擎，其核心流程包括： - 语义发现与定向采集：在共享知识图谱中组织类别概念与指代表达，指导针对性数据获取。 - 多专家定位与校验：并行使用 SAM3、开放词汇检测器、Rex-Omni 等生成空间候选，再通过 Qwen3-VL 进行查询-实例对应的语义校验。 - 实例对齐的像素监督：基于校验后的边界框，利用 SAM2 生成二值掩码，并通过专门的 Matting Annotator 扩展为连续 Alpha 伪标签，保持跨任务的实例一致性。 - 困难样本与迭代精炼：构建硬正例（遗漏/错误目标）与硬负例（目标不存在时的虚假预测），并根据模型错误反馈持续优化数据质量。 —- ### 4. 训练流程采用三阶段课程监督微调（SFT）+ 混合任务强化学习（RL）： - Stage 1（任务对齐）：冻结视觉编码器，训练语言模型掌握结构化输出格式与目标缺失拒绝能力。 - Stage 2（分辨率与密度扩展）：解冻全部模块，提升视觉分辨率至 1,960 tokens，支持单图最多 500 个实例的密集预测。 - Stage 3（Token-像素交替优化）：先以 L(seg) = 20L(focal) + L(dice) 热身像素解码器；再联合训练 VLM 与解码器，损失为 L(joint) = L(NTP) + 10L(seg) ；最后冻结 VLM，以 L(mat) = 200L(l1) + 5L(grad) + 50L(lap) + L(hard)$ 对解码器进行抠图专项微调。 - RL 阶段：基于 GRPO 与 Grounding 奖励直接优化定位质量。奖励函数为

ri = 2∑((hatb),b^) ∈ M_i IoU(b, b^)^3N(gt) + N(pred)
并通过不确定性感知采样筛选困难样本，提升训练效率。 —- ### 5. 实验结果 WeVisOne-VL 在 **30 余个基准** 上进行了评估，涵盖 5 项对象级任务与 2 项像素级任务： - **目标检测**：在 COCO、LVIS、Dense200、VisDrone 上，其平均 F1 显著优于同规模 VLMs，在密集/小目标场景下优势尤为明显。 - **指代定位**：在 RefCOCOg、HumanRef、PR-Bench 及内部 WeRef-Bench 上取得领先性能；在目标缺失查询上展现出极高的拒绝率（WeVisOne-VL-4B 在 WeRef-Bench 上 Rej 达 96.4%）。 - **计数**：在 CountQA、PixMo-Count、MixCount 等基准上取得最高的精确匹配准确率（PixMo-Count val 达 93.7%）。 - **OCR**：在 HierText、ICDAR2015、TotalText、SROIE 上超越专用 OCR 系统与通用 VLMs。 - **指代分割**：在 RefCOCO 家族上全面领先；在 Ref-ZOM 负样本测试中，能正确拒绝虚假掩码（Rej 达 86.0%），而基线模型普遍产生幻觉。 - **图像抠图**：在 P3M-500-NP、AM-2K 及内部 WeRefMat 上，无论是 Box-prompt 还是语言提示，均优于 SAM2-Matting 级联方案，且能通过类别/指代表达直接选择目标并估计精细 Alpha 遮罩。 —- ### 6. 主要贡献 - **统一性**：首次在单一自回归 VLM 内统一了对象级（框/点）与像素级（掩码/Alpha 遮罩）感知，支持从粗到细的任意粒度定位。 - **可靠性**：通过结构化输出与负样本训练，显著抑制了幻觉，实现了对目标缺失查询的鲁棒拒绝。 - **高效性**：轻量级像素解码器避免了依赖额外大型分割模型，在 2B/4B 参数规模下实现了领先的性能。 - **开源**：模型权重、代码与项目页面均已向社区开放，旨在推动 VLMs 从通用视觉理解向可靠的实际感知系统演进。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tianming Liang,Junyi Pan,Yuxi Li,Canmiao Fu,Zhipeng Huang,Chong Sun,Chen Li,Jing Lyu

Categories:

PDF URL: https://arxiv.org/pdf/2610.31329.pdf

Arxiv URL: https://arxiv.org/abs/2610.31329

Arxiv ID: 2610.31329

CoolPaper URL: https://papers.cool/arxiv/2610.31329

Published: 2026-10-24T01:57:29.079Z

Updated: 2026-10-24T01:57:29.079Z

2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

Abstract:Cinematic video generation requires both temporal inference from limited inputs (i.e., sparse rather than frame-by-frame guidance) and factor-aware control of character, scene, action, and camera. Multimodal large language models (MLLMs) offer useful priors for both capabilities, but their representations are not automatically actionable for video generation: a Video Diffusion Transformer (DiT) may bypass them through native conditioning pathways, and using them does not ensure either factor-aware control or generation-compatible temporal prediction. We propose Factor-Aware Predictive Learning (FAPL), which establishes effective MLLM latent use as a shared prerequisite and then targets the two capabilities with complementary learning signals. First, latent-only generator grounding trains the DiT with a frozen MLLM and connector, strengthening the DiT’s use of MLLM latents for generation. Second, for factor-aware control, paired videos specify a target-factor change and non-target preservation, and factor-span replacement trains the DiT to realize this relationship in its output. Third, for temporal inference, text-only and text-plus-complete-video observations share a video target, and the trained DiT is then frozen while the MLLM and connector are optimized through it. This final stage trains limited-input representations for generation while retaining complete-observation reconstruction as a complementary training mode. Extensive experiments demonstrate our consistently better performance on three cinematic video generation tasks (i.e., sparse-to-video, factor-aware editing, and multi-shot generation) over baselines and validate FAPL’s contributions to MLLM feature use, temporal control, and factor coordination.

中文摘要

摘要：电影视频生成既需要从有限输入中进行时间推理（即稀疏而非逐帧指导），也需要对角色、场景、动作和摄像机进行因素感知控制。多模态大语言模型（MLLM）为这两种能力提供了有用的先验，但它们的表示并不能自动用于视频生成：视频扩散变换器（DiT）可能通过原生条件路径绕过它们，而使用它们并不能保证因素感知控制或与生成兼容的时间预测。我们提出了因素感知预测学习（FAPL），它将有效使用MLLM潜变量作为共享前提，然后通过互补学习信号针对这两种能力。首先，仅潜变量生成器基础训练通过冻结MLLM和连接器来训练DiT，加强DiT在生成中对MLLM潜变量的利用。其次，对于因素感知控制，成对视频指定目标因素的变化和非目标因素的保持，并且因素跨度替换训练DiT在其输出中实现这种关系。第三，对于时间推理，仅文本和文本加完整视频的观察共享一个视频目标，然后冻结训练好的DiT，同时通过它优化MLLM和连接器。最终阶段训练有限输入表示用于生成，同时保留完整观察重建作为互补训练模式。大量实验表明，我们在三个电影视频生成任务（即稀疏到视频、因素感知编辑和多镜头生成）上始终优于基线，并验证了FAPL对MLLM特征使用、时间控制和因素协调的贡献。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30926 (HTTP 429)

Authors: Songlin Yang,Zhe Wang,Xiaotong Zhao,Xi Wang,Ran Zhang,Shuai Li,Taiyi Wu,Songlian Li,Eric Liu,Alan Zhao,Anyi Rao

Categories:

PDF URL: https://arxiv.org/pdf/2610.30926.pdf

Arxiv URL: https://arxiv.org/abs/2610.30926

Arxiv ID: 2610.30926

CoolPaper URL: https://papers.cool/arxiv/2610.30926

Published: 2026-10-24T01:57:29.144Z

Updated: 2026-10-24T01:57:29.144Z

3. Deep Search in Real-World Web Environments

Abstract:Despite substantial progress in Deep Search agents, their ability to conduct end-to-end research in real-world open Web environments remains insufficiently evaluated. Unlike static retrieval settings, information on the real-world Web is distributed across diverse sources, modalities, and heterogeneous formats, often involving complex interaction mechanisms that require agents to autonomously search for, access, and integrate relevant evidence during execution. To address this gap, we introduce the OpenDS task, designed to evaluate agents’ ability to perform multi-step deep search in the live, open Web. This task requires agents to autonomously explore the real Web, discover and connect relevant evidence from multiple independent sources through Web search, browser interaction, and evidence processing, and ultimately determine a unique factual answer. Building on this task formulation, we construct OpenDS-World, a benchmark comprising 200 challenging tasks spanning diverse information modalities, heterogeneous file formats, and interactive access requirements, with independent human verification to ensure evidence validity and answer uniqueness. We evaluate 12 frontier models under a unified tool environment and execution protocol. The best-performing model achieves 39.0% accuracy, while human evaluation across 1,000 independent attempts yields 21.1% accuracy. Further analyses of tool usage, search cost, termination behavior, and failure recovery reveal substantial differences in research strategies across models, as well as persistent challenges in tool coordination and long-horizon search management. OpenDS-World provides a unified evaluation platform for systematically assessing and advancing agents’ autonomous deep search capabilities in real-world open Web environments.

中文摘要

摘要：尽管深度搜索代理取得了显著进展，但它们在现实开放网络环境中进行端到端研究的能力仍然缺乏充分评估。与静态检索环境不同，现实网络中的信息分布在不同的来源、模式和异构格式中，通常涉及复杂的交互机制，需要代理在执行过程中自主地搜索、访问并整合相关证据。为了解决这一差距，我们引入了 OpenDS 任务，旨在评估代理在实时开放网络中执行多步骤深度搜索的能力。该任务要求代理自主探索真实网络，通过网络搜索、浏览器交互和证据处理发现并连接来自多个独立来源的相关证据，并最终确定唯一的事实答案。在此任务框架基础上，我们构建了 OpenDS-World 基准，包含 200 个具有挑战性的任务，涵盖多种信息模式、异构文件格式和交互访问需求，并通过独立人工验证以确保证据有效性和答案唯一性。我们在统一的工具环境和执行协议下评估了 12 个前沿模型。表现最佳的模型达到了 39.0% 的准确率，而人类在 1,000 次独立尝试中的评估准确率为 21.1%。对工具使用、搜索成本、终止行为和故障恢复的进一步分析显示，不同模型在研究策略上存在显著差异，同时工具协调和长周期搜索管理仍面临持续挑战。OpenDS-World 提供了一个统一的评估平台，用于系统地评估和推进代理在现实开放网络环境中的自主深度搜索能力。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*深度搜索（Deep Search）智能体在真实世界开放网络环境中的端到端能力缺乏系统评估\*\*的问题。具体而言，现有研究主要存在以下不足： - \*\*评估环境与真实网络脱节\*\*：现有基准测试多基于静态语料库或预定义检索路径，未能充分反映真实网络的动态性、异构性和交互复杂性。 - \*\*真实世界网络的复合挑战未被覆盖\*\*：真实网络信息具有三个核心复杂性—— 1. \*\*多样化模态（Diverse Modalities）\*\*：证据分布于文本、图像、音频、视频等多种模态； 2. \*\*异构格式（Heterogeneous Formats）\*\*：信息载体涵盖 HTML、PDF、MP4、Parquet、XML 等数十种格式，解析与处理方式各异； 3. \*\*交互式访问需求（Interactive Access Requirements）\*\*：部分证据无法通过直接检索获得，而需通过页面导航、参数输入、时序索引、图形界面操作或结构化查询等交互手段才能暴露。为此，论文提出了 \*\*OpenDS（Open-Web Deep Search）任务\*\* 与 \*\*OpenDS-World 基准\*\*，核心贡献包括： - \*\*任务定义\*\*：要求智能体从真实视频锚点出发，自主探索开放网络，在无需预设证据路径的情况下，跨模态、跨格式、跨交互机制地发现、访问并整合多源证据，最终确定唯一的事实性答案。 - \*\*基准构建\*\*：涵盖 200 个经过独立人工验证的高难度任务，覆盖 8 个领域、4 种信息模态、42 种资源格式及 7 类访问需求。 - \*\*系统评估\*\*：在统一工具环境与执行预算下对 12 个前沿模型进行评估，揭示当前智能体在真实网络深度搜索中的性能瓶颈（最优模型准确率仅 39.0%），并从工具使用、搜索成本、终止行为与失败恢复等维度分析其策略差异与持久性挑战。 Q2: 有哪些相关研究？该论文在第4节（Related Work）及引言中，从三个主要方向梳理了相关研究： --- ### 1. 开放网络环境中的深度搜索（Deep Search in Open Web Environments）该方向关注检索与推理的融合、长程搜索策略及评估方法： - \*\*搜索增强与推理\*\*：将外部检索纳入推理过程以指导后续决策（Li et al., 2025c）；通过强化学习使检索决策可学习，优化搜索与推理的交互（Jin et al., 2025a; Chen et al., 2025a）。 - \*\*开放网络中的页面导航与证据综合\*\*：将检索扩展至网页导航与跨源证据合成，从网络交互轨迹中学习（Zheng et al., 2025; Wu et al., 2026; Li et al., 2026c）。 - \*\*自适应搜索\*\*：根据证据需求动态调整搜索频率与深度（Shi et al., 2025）。 - \*\*长程搜索的协调与管理\*\*：采用层次化与多智能体方法协调子目标与工具执行（Huang et al., 2025; Jin et al., 2025b）；通过上下文摘要与状态管理保存中间发现（Wu et al., 2025d; Qiao et al., 2025）。 - \*\*任务构建与评估\*\*：合成更具挑战性的组合式问题（Tao et al., 2026; Lu et al., 2025; Liu et al., 2025）；评估持久性事实发现与关系复杂性（Wei et al., 2025; Zhao et al., 2026）；考察证据收集的深度与广度（Gupta et al., 2026; Lan et al., 2025）；将研究发现显式表示为声明（Java et al., 2026）；基于受控语料库评估检索与推理（Chen et al., 2025b; Hu et al., 2026）；从报告层面评估合成质量、证据覆盖与引用支持（Du et al., 2026; Li et al., 2026b）。 --- ### 2. 基于多模态证据的深度搜索（Grounding Deep Search in Multimodal Evidence）该方向关注视觉线索与外部网络信息的连接： - \*\*多模态搜索方法\*\*：学习协调视觉推理与图像、文本检索（Geng et al., 2026; Wu et al., 2025b）。 - \*\*多模态评估基准\*\*：使感知作用显性化，要求来自网络图像与视频的验证证据，并建立多模态依赖的检查清单（Li et al., 2025b）。 - \*\*视频基础方法\*\*：将线索连接扩展到跨帧内容与开放网络检索（Liu et al., 2026b; Fang et al., 2026）。 - \*\*第一人称视频\*\*：基于自我中心视频的视觉理解，延伸至在线规划与行动（Yu et al., 2026）。 --- ### 3. 通过交互式访问获取证据（Acquiring Evidence Through Interactive Access）该方向关注超越简单检索的复杂访问操作： - \*\*网站遍历\*\*：将检索从着陆页扩展至站点结构导航（Wu et al., 2025a）。 - \*\*非索引信息获取\*\*：拓宽访问需求至动态界面与嵌入式文档（Liu et al., 2026a）。 - \*\*浏览器智能体设计\*\*：强化元素定位与任务状态管理以可靠执行操作（Li et al., 2026a; Chen et al., 2026）。 - \*\*跨站点评估\*\*：通过验证任务生成（Huang et al., 2026）与组合式跨站点评估（Tian et al., 2025; Xu et al., 2026），考察导航、感知与依赖子任务的协调。 - \*\*交互过程评估\*\*：基于实时网站的中间视觉证据与行动历史评估任务完成情况（Xue et al., 2025）。 --- 此外，论文引言指出，已有研究在\*\*通用工具使用\*\*、\*\*复杂信息检索\*\*、\*\*持久性网络搜索\*\*及\*\*交互式网络导航\*\*等方面（Wei et al., 2025; Zhao et al., 2026; Wu et al., 2025a; Xue et al., 2025），为理解智能体的搜索、推理与工具使用能力奠定了重要基础；但现有基准（Li et al., 2025b; Java et al., 2026; Liu et al., 2026a; Xu et al., 2026）尚未充分覆盖真实世界网络中上述挑战的相互交织。 Q3: 论文如何解决这个问题？该论文通过\*\*任务范式设计、基准构建、统一评估框架建立与多维深度分析\*\*四个层面，系统性地解决了深度搜索智能体在真实世界网络环境中缺乏严格评估的问题。 --- ### 1. 定义 OpenDS 任务范式论文首先将真实世界网络中的深度搜索形式化为 \*\*Open-Web Deep Search (OpenDS)\*\* 任务。该范式的核心设计包括： - \*\*事实性问答目标\*\*：给定一个事实性问题与初始线索（通常为一段真实世界视频），智能体必须确定唯一且可验证的答案。 - \*\*自主证据获取\*\*：智能体需自主探索开放网络，持续进行搜索、访问、处理与跨源推理，而非依赖预定义的证据路径。 - \*\*异构环境约束\*\*：证据获取过程必须应对信息模态多样性（文本、图像、音频、视频）、资源格式异构性（HTML、PDF、MP4、Parquet 等）以及交互式访问需求（页面导航、参数输入、时序索引等）。 --- ### 2. 构建 OpenDS-World 基准数据集为系统评估上述能力，论文构建了包含 \*\*200 个任务\*\* 的 OpenDS-World 基准，其构建流程如下： \*\*（1）真实世界锚点与证据链构造\*\* - 每个任务以一段公开可访问的视频作为起点，要求智能体从视听内容中识别初始实体锚点（该实体必须唯一对应一个 Wikidata 条目）。 - 专家标注员通过迭代式搜索与验证，从真实网络信息源中构建证据路径：基于当前节点构造查询，利用搜索引擎发现候选源，提取新实体作为下一节点，直至到达唯一的终端答案。 - 每个节点须经多源独立验证，确保事实准确性与逻辑一致性。 \*\*（2）问题反转与约束设计\*\* - 将完整的证据路径反转为文本问题，中间节点不直接暴露。 - 问题由一系列间接指代描述构成，每条线索依赖于前序路径累积的证据，从而阻止通过单一显式线索直接检索答案，迫使智能体恢复潜在的实体对应关系与证据链。 \*\*（3）严格的人工验证与过滤\*\* - 10 名独立评审员对每道候选题目进行双重验证： - \*\*证据有效性\*\*：核查路径上各实体、关系及最终答案的事实准确性，确保其可被真实、独立且可访问的网络证据支持。 - \*\*任务有效性\*\*：确认问题表述清晰、约束无冲突、线索组合能唯一确定答案。 - 排除存在事实错误、证据不足、答案不唯一或违反构造原则的任务。 \*\*（4）独立人工测试与难度校准\*\* - 招募 50 名参与者进行 1,000 次独立人工求解，建立人类表现基线（整体准确率 21.1%）。 - 依据人工求解成功率将任务划分为三个难度等级： - Low（≥2 人成功，54 题） - Medium（1 人成功，61 题） - High（0 人成功，85 题） --- ### 3. 建立统一评估框架与实验设置为确保模型间可比性，论文设计了统一的工具环境与执行协议： \*\*（1）统一工具环境\*\* 提供三类核心工具能力： - \*\*搜索工具\*\*：支持文本、图像、视频搜索。 - \*\*GUI 工具\*\*：支持网页导航、内容读取、点击、输入、滚动与截图。 - \*\*其他工具\*\*：支持输入视频与外部视频的帧采样和字幕提取。 \*\*（2）统一执行预算与协议\*\* - \*\*时间预算\*\*：每题搜索阶段上限 3,600 秒。 - \*\*工具调用预算\*\*：所有工具共享上限 100 次调用。 - \*\*上下文管理\*\*：对历史观察进行确定性压缩（保留最近 4 个工具观察完整内容，更早的搜索结果仅保留前 2 条，文本内容截断至 2,000 字符）。 - \*\*终止与最终答案机制\*\*： - 若智能体自然生成完整答案，则正常终止。 - 若因超时、预算耗尽或执行错误终止，则进入无工具的“最终答案生成”阶段，仅基于已收集证据作答。 \*\*（3）评估指标\*\* - \*\*主要指标\*\*：答案准确率（Accuracy），由 Qwen3.8-27B 作为 LLM Judge 通过语义等价性评判。 - \*\*成本指标\*\*：总 Token 消耗与墙钟执行时间。 --- ### 4. 系统评估与多维深度分析论文在统一框架下评估了 12 个前沿模型，并通过多维度分析揭示当前智能体的能力边界与失败模式： \*\*（1）主结果与难度分层\*\* - 报告各模型在 Low / Medium / High 难度组及整体 200 题上的准确率、时间与 Token 消耗。 - 最优模型（GPT-6 Astra）整体准确率仅 39.0%，且所有模型在 High 难度组表现显著下滑，验证任务的有效区分度。 \*\*（2）成本与效率分析\*\* - 对比不同模型的平均工具调用次数与执行时间，发现资源消耗与准确率不存在简单正相关：部分模型调用次数多、耗时长，但准确率显著低于资源消耗更少的模型。 \*\*（3）工具使用模式分析\*\* - 统计搜索、GUI 与其他工具的使用比例与转换模式。 - 发现不同模型呈现显著不同的策略倾向（如搜索主导型 vs. GUI 主导型），但工具组合本身并不直接决定性能优劣。 \*\*（4）错误与预算分析\*\* - \*\*终止行为\*\*：区分自然终止、工具预算耗尽、超时与其他错误。 - \*\*工具失败\*\*：量化失败调用占比（2.83%–9.42%）及其 disproportionate 的时间成本（19.27%–61.90%）。 - \*\*失败恢复\*\*：分析工具失败后的决策模式（重试、修改参数、切换工具或无后续决策）。 - \*\*预算耗尽\*\*：揭示部分模型在超过 60%–80% 的任务中耗尽工具预算，反映长程搜索管理能力的不足。 \*\*（5）细粒度属性分解\*\* - 按领域（Domain）、证据模态（Modality）、资源格式（Format）与访问需求类型（Access Requirement）分别报告模型准确率，定位各类模型在不同证据属性上的相对优势与短板。 --- ### 5. 提供递归自我改进的自然测试平台最后，论文指出 OpenDS-World 不仅是评估基准，更为研究\*\*递归自我改进（Recursive Self-Improvement, RSI）\*\*提供了天然测试平台： - 紧凑的证据链（平均 3.94 个节点）在实际执行中扩展为大量工具交互（中位数 56–82.5 次调用），暴露长程规划与自适应探索的挑战。 - 动态、开放的网络环境使智能体面临多样化的执行失败与可验证的环境反馈，为改进搜索策略、工具选择、错误恢复与资源分配提供了结构化信号。 Q4: 论文做了哪些实验？论文在 \*\*OpenDS-World\*\* 基准上开展了一系列系统实验，涵盖模型性能评估、成本效率、工具使用模式、失败行为及细粒度属性分解。主要实验内容如下： --- ### 1. 主结果评估（Main Results）在统一工具环境与执行预算下，对 \*\*12 个前沿模型\*\* 进行全面测试： - \*\*被测模型\*\*：GPT-6 Astra、GPT-5.6 Sol、Claude Opus 5.5、Claude Fable 5.1、Gemini 3.8 Flash、Qwen3.8-Max、Qwen3.8-Flash、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、Kimi K3、GLM-5.3-Flash、GLM-5.3。 - \*\*评价维度\*\*：依据人工校准的难度等级（Low：≥2 人成功，54 题；Medium：1 人成功，61 题；High：0 人成功，85 题），分别报告： - 答案准确率（Acc, %） - 总墙钟时间（ T / h） - 总 Token 消耗（Token / M.） - \*\*核心发现\*\*：最优模型 GPT-6 Astra 整体准确率仅 39.0%，且随难度上升显著下降（Low: 59.26% → Medium: 40.98% → High: 24.71%）。 --- ### 2. 成本分析（Cost Analysis）分析不同模型的搜索开销与效率： - \*\*工具调用与耗时关系\*\*：统计每道任务的平均工具调用次数与平均执行时间，揭示资源消耗与准确率无简单正相关。例如，Gemini 3.8 Flash 的 Token 消耗约为 GPT-6 Astra 的 5.22 倍，但准确率更低（36.5% vs. 39.0%）。 - \*\*任务级时间分布\*\*：展示各模型在 200 个任务上的耗时分布，发现部分模型（如 DeepSeek-V4-Pro、GLM 5.3）存在显著的长尾延迟。 - \*\*分难度成本\*\*：考察 Low / Medium / High 难度下各模型的平均工具调用次数，显示更难任务通常需要更多的工具交互，但部分模型在 High 难度下调用次数反而下降或持平。 --- ### 3. 工具使用分析（Tool-Use Analysis）在统一工具环境下，对比各模型的工具调用策略： - \*\*工具类别构成\*\*：将 16 个工具归为 Search、GUI、Other 三类，统计各模型在三个类别上的调用占比。例如，GPT-5.6 Sol 最依赖 Search（74.5%），而 Claude Opus 5.5 和 Qwen3.8-Flash 的 GUI 占比超过 49%。 - \*\*视频与字幕获取\*\*：分离输入视频与外部视频/字幕的获取调用，分析不同模型在多媒体证据处理上的投入差异。 - \*\*工具转换模式\*\*：通过行归一化的转移矩阵，分析相邻工具调用步骤间的类别转换规律，发现同类工具连续调用（如 Search→Search、GUI→GUI）占主导地位。 --- ### 4. 错误分析（Error Analysis）系统量化搜索终止结果与工具失败行为： - \*\*终止结果分布\*\*：对每道任务记录终止原因，分为自然终止（生成答案）、工具预算耗尽、超时及其他。例如，GPT-6 Astra 自然终止率为 69.0%，而 Qwen3.8-Flash 仅 6.5%，却有 80.0% 因调用预算耗尽而终止。 - \*\*工具失败的时间代价\*\*：失败调用虽仅占总调用次数的 2.83%–9.42%，却消耗了 19.27%–61.90% 的总工具执行时间。 - \*\*失败恢复策略\*\*：分析工具失败后的下一步决策，包括以相同参数重试、修改参数重试、切换工具或无后续决策。切换工具是最常见的恢复方式（如 Claude Opus 5.5 约 83%），而部分模型更倾向于修改参数后重试。 --- ### 5. 预算分析（Budget Analysis）在 1 小时时间限制与 100 次工具调用限制下，分析预算耗尽模式： - \*\*预算耗尽比例\*\*：不同模型受影响程度差异显著，从 16.5%（Claude Opus 5.5）到 81.5%（Qwen3.8-Flash）。 - \*\*限制类型分离\*\*：识别调用限制单独耗尽、时间限制单独耗尽、两者同时耗尽或均未耗尽的情况。例如，Gemini 3.8 Flash 和 Qwen3.8-Flash 主要受调用限制，而 Claude Fable 5.1、Kimi K3、GLM 5.3 更多受时间限制。 --- ### 6. 细粒度属性分解（Evidence Attributes Performance Analysis）在附录 D 中，进一步按任务属性拆解模型表现： - \*\*领域性能（Domain Performance）\*\*：在 8 个领域（Science、Society、Daily Life、Culture、Nature、History、Economy、Technology）分别计算 12 个模型的准确率，揭示跨领域的异质性表现。 - \*\*证据模态（Modality）\*\*：按 Text（199 题）、Image（89 题）、Video（71 题）、Audio（32 题）分组，报告各模型准确率。例如，GPT-6 Astra 在 Image 上达 48.31%，而 Gemini 3.8 Flash 在 Video 和 Audio 上分别达 43.66% 和 50.00%。 - \*\*资源格式（Data Format）\*\*：按 HTML、MP4、PDF、MP3、JPG、CSV、ZIP 及 Other 分组。GPT-6 Astra 在多数格式上领先，而 Gemini 3.8 Flash 在 MP4 和 MP3 上表现最优。 - \*\*访问需求（Access Requirement）\*\*：按 7 种访问类型（O、N、X、T、P、G、Q）分组，定位模型在不同交互操作上的相对强弱。例如，GPT-6 Astra 在 Artifact Transfer（X）和 Declarative Query（Q）上领先，而 Gemini 3.8 Flash 在 Temporal Indexing（T）上最优。 --- ### 7. 视频时长与长程执行分析 - \*\*视频时长分析（Video Duration Analysis）\*\*：将 200 题按锚点视频时长分为 <2 min、2–5 min、5–10 min、10–20 min、≥20 min 五组，展示模型在不同视频长度下的准确率分布。 - \*\*长程执行分析（Long-Horizon Execution）\*\*： - 对比标注的证据链长度（平均 3.94 个节点）与实际执行中的工具调用次数（中位数 56–82.5 次），证明紧凑证据链在真实搜索中会显著扩展为长程交互。 - 分析各模型平均工具调用次数（42.8–89.9 次），远超平均标注节点数，凸显长程规划与上下文管理的挑战。 --- ### 8. 执行级改进机会量化在附录 E 中，进一步为递归自我改进（RSI）提供实证支撑： - \*\*预算耗尽占比\*\*：作为自适应探索策略的优化目标。 - \*\*失败调用占比\*\*与\*\*失败调用耗时占比\*\*：量化不成功交互带来的资源浪费，指向错误恢复与工具优先级优化的空间。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与讨论，以下方向值得进一步深入探索： --- ### 1. 长程自主搜索与递归自我改进（Recursive Self-Improvement, RSI）论文指出，OpenDS-World 的紧凑证据链（平均 3.94 个节点）在实际执行中会扩展为大量工具交互（中位数 56–82.5 次调用），构成天然的长程决策场景。未来可探索： - \*\*从执行轨迹中自主学习\*\*：利用 200 个任务的可验证答案与详细执行日志，使智能体识别反复出现的失败模式，提炼可迁移的搜索策略，并在新任务上验证修订效果。 - \*\*动态环境中的策略泛化\*\*：区别于静态语料库，真实网络的搜索结果与页面状态持续变化，需研究策略如何超越固定任务实例，适应时变信息源。 --- ### 2. 工具协调、失败恢复与系统鲁棒性实验显示，工具失败调用仅占总调用次数的 2.83%–9.42%，却消耗了 19.27%–61.90% 的累计工具执行时间。未来研究可聚焦： - \*\*失败预测与预防\*\*：在调用前评估工具成功的概率，避免将大量预算浪费在高风险操作上。 - \*\*自适应恢复策略\*\*：当前模型在失败后大多选择“切换工具”或“修改参数重试”，但缺乏对失败原因的诊断。可引入基于错误类型的恢复机制，区分网络超时、元素定位失败、格式解析错误等情形。 - \*\*工具链组合优化\*\*：单一任务常需 4–7 种访问类型的组合操作，研究如何预测最优工具序列以减少冗余交互。 --- ### 3. 自适应预算管理与终止决策论文发现，预算耗尽影响多数任务（部分模型高达 80%），且自然终止率（如 GPT-6 Astra 为 69%）与最终准确率（39%）之间存在显著差距。这表明： - \*\*智能终止判断\*\*：开发基于证据充分性而非时间/调用上限的终止条件，避免过早提交错误答案或在无收益路径上持续消耗资源。 - \*\*资源分配策略\*\*：针对不同难度层级与证据属性（如音频、ZIP 归档、声明式查询）动态分配时间、调用次数与上下文窗口，而非采用固定预算。 --- ### 4. 跨模态异构证据的深度整合模型在涉及音频（High 难度组覆盖 22.4%）与特殊格式（如 Parquet、ZIP、RSS）的任务上表现明显较弱。未来可探索： - \*\*模态对齐与跨模态推理\*\*：提升模型在视频时序索引、音频内容识别、图形界面状态理解等方面的细粒度感知能力，并将其与文本检索无缝衔接。 - \*\*专用格式解析器\*\*：针对科学数据集（FASTA、DICOM）、地理空间数据（KML、GeoJSON）及压缩文件等长尾格式，研究如何集成轻量级专家模块，而非仅依赖通用工具调用。 --- ### 5. 领域专门化与迁移学习领域分析显示，Science 与 Society 的跨模型标准差最大（13.2 与 12.9 个百分点），且不同模型的相对优势因领域而异。这提示： - \*\*领域自适应搜索\*\*：研究如何根据领域特征（如科学任务更依赖 PDF 论文与结构化数据，日常生活任务更依赖视频与图像）自动调整搜索优先级与证据验证标准。 - \*\*跨领域知识迁移\*\*：利用在某一领域（如 Nature）学习到的证据链模式，迁移到数据稀缺的领域（如 Economy 或 Technology）。 --- ### 6. 搜索成本与性能的帕累托优化论文观察到资源消耗与准确率无简单正相关：Gemini 3.8 Flash 的 Token 消耗约为 GPT-6 Astra 的 5.22 倍，但准确率更低。未来可研究： - \*\*信息觅食理论（Information Foraging）的显式建模\*\*：指导智能体在搜索深度（depth）与搜索广度（width）之间做出最优权衡，避免在低质量来源上过度探索。 - \*\*高效证据验证机制\*\*：在扩展搜索范围前，先对候选来源的相关性进行快速筛选，减少无效的工具调用与上下文膨胀。 --- ### 7. 人机协作与极难任务求解人类独立求解准确率仅为 21.1%，且有 42.5% 的任务未被任何人类参与者解决。这为\*\*人机协作深度搜索\*\*提供了空间： - \*\*人类验证与智能体迭代\*\*：将人类在环用于验证中间证据或打破推理僵局，研究如何最小化人类介入次数同时最大化任务完成率。 - \*\*认知负荷分配\*\*：由智能体处理大规模信息检索与格式解析，由人类负责高阶语义判断与歧义消解，优化协作接口与工作流。 --- ### 8. 基于证据链的自监督训练 OpenDS-World 提供了 787 个经过验证的源条目与完整证据路径。可探索： - \*\*证据链重建作为监督信号\*\*：利用标注的中间节点与关系，训练模型进行多跳推理与源间对齐，提升跨源证据连接能力。 - \*\*对比学习负样本构建\*\*：利用未通过人工验证的候选路径作为负例，训练模型区分合理与不合理的信息跳转。 Q6: 总结一下论文的主要内容该论文围绕\*\*真实世界开放网络环境中的深度搜索（Deep Search）能力评估\*\*展开，核心贡献可概括如下： --- ### 1. 研究背景与核心问题现有深度搜索智能体在静态检索或封闭环境中已取得显著进展，但其在\*\*真实、开放、动态的网络环境\*\*中的端到端能力缺乏系统评估。真实世界的网络复杂性主要体现在三方面： - \*\*信息模态多样化\*\*：证据分布于文本、图像、音频、视频等多种形式； - \*\*资源格式异构化\*\*：信息载体涵盖 HTML、PDF、MP4、Parquet、XML 等数十种格式； - \*\*访问需求交互化\*\*：部分证据需通过页面导航、参数输入、时序索引、图形操作或结构化查询等交互手段才能获取。现有基准未能充分覆盖这些相互交织的挑战，限制了对该能力的系统性诊断。 --- ### 2. OpenDS 任务与 OpenDS-World 基准为填补评估空白，论文提出： #### （1）OpenDS（Open-Web Deep Search）任务定义将真实网络深度搜索形式化为\*\*多步事实性问答任务\*\*。智能体需从给定的视频锚点出发，自主探索开放网络，在未知预设路径的情况下，跨模态、跨格式、跨交互机制地发现、访问、处理并整合多源证据，最终确定唯一且可验证的答案。 #### （2）OpenDS-World 基准构建 - \*\*规模\*\*：200 个高难度任务，覆盖文化、日常生活、科学、经济、历史、自然、社会、技术 8 个领域。 - \*\*证据多样性\*\*：787 个经过验证的标注源条目（平均每题 3.94 个），涵盖 4 种信息模态、42 种资源格式及 7 类交互访问需求（如即时观察、超媒体跳转、参数化状态更新、时序索引、图形操作、声明式查询、人工制品传输）。 - \*\*构建流程\*\*： 1. \*\*真实世界锚点\*\*：以公开视频为起点，要求必须从视听内容中识别初始实体； 2. \*\*开放网络证据扩展\*\*：专家迭代搜索真实网络，构建多跳证据链，每节点经多源独立验证； 3. \*\*问题反转\*\*：将证据链反转为含间接指代描述的约束集合，阻止直接答案检索。 - \*\*人工验证\*\*：10 名独立评审员进行证据有效性与任务有效性双重核查；50 名参与者完成 1,000 次独立人工测试，建立人类表现基线（整体准确率 21.1%，42.5% 的任务无人解出）。 --- ### 3. 统一评估框架与主实验结果论文在统一工具环境与执行预算下，对 \*\*12 个前沿模型\*\* 进行系统评估： - \*\*工具环境\*\*：提供搜索工具（文本/图像/视频搜索）、GUI 工具（浏览器导航、点击、输入、截图）及视频/字幕解析工具，共 16 个工具。 - \*\*执行预算\*\*：每题搜索阶段限 3,600 秒与 100 次工具调用；超时或预算耗尽后进入无工具的最终答案生成阶段。 - \*\*主要结果\*\*： - \*\*最优模型 GPT-6 Astra\*\* 整体准确率仅 \*\*39.0%\*\*； - \*\*Claude Opus 5.5\*\* 与 \*\*Gemini 3.8 Flash\*\* 分别以 38.0% 和 36.5% 位列其后； - 其余模型均低于 30%，部分甚至低于 15%。 - \*\*难度分层\*\*：按人工解出率分为 Low（54 题）、Medium（61 题）、High（85 题）三组。平均而言，模型准确率从 Low 组的 39.66% 降至 High 组的 16.76%。 --- ### 4. 多维度深度分析论文进一步从成本、工具使用、错误模式与预算管理等角度展开诊断： - \*\*成本与效率\*\*：资源消耗与准确率无简单正相关。例如，Gemini 3.8 Flash 的 Token 消耗约为 GPT-6 Astra 的 5.22 倍，但准确率更低；DeepSeek-V4-Pro 耗时约为 GPT-6 Astra 的 2.39 倍，准确率仅 12.5%。 - \*\*工具使用策略\*\*：不同模型呈现显著差异。GPT-5.6 Sol 高度依赖搜索（74.5%），而 Claude Opus 5.5 与 Qwen3.8-Flash 的 GUI 操作占比超过 49%；多数模型倾向于同类工具连续调用。 - \*\*错误与恢复\*\*：工具失败调用虽仅占 2.83%–9.42%，却消耗了 19.27%–61.90% 的累计工具执行时间；失败后“切换工具”是最常见的恢复策略。 - \*\*预算耗尽\*\*：部分模型（如 Qwen3.8-Flash 达 80.0%，DeepSeek-V4.1-Flash 达 60.5%）在多数任务中耗尽 100 次调用预算，而 Claude Opus 5.5 与 GPT-6 Astra 的预算耗尽率分别仅为 16.5% 与 25.5%。 - \*\*长程执行\*\*：标注证据链平均仅 3.94 个节点，但实际执行轨迹中位数达 56–82.5 次工具调用，揭示紧凑证据链在真实搜索中显著扩展为长程交互。 --- ### 5. 结论与展望 OpenDS-World 为系统评估智能体在真实世界网络中的自主深度搜索能力提供了统一平台。实验表明，当前前沿模型在跨模态证据整合、异构格式处理、交互式访问协调及长程搜索管理方面仍面临严峻挑战。论文进一步指出，该基准的动态性与可验证反馈机制使其成为研究\*\*递归自我改进（RSI）\*\*与\*\*长程自主决策\*\*的天然测试平台，为未来提升搜索策略、工具协调、失败恢复与资源分配能力提供了明确方向。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是Deep%20Search%20in%20Real-World%20Web%20Environments，链接是https://arxiv.org/pdf/2610.30181，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.30181。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaomin Yu,Hongliang Chen,Zhe Huang,Shilin Yan,Shao-Rong Su,Xuqiao Ma,Feiyang Wang,Jiayu Chen,Jiwei Fang,Yu Yan,Yini Huang,Chen Chen,Ruoxi Cheng,Yuzhi He,Yuhui Zhang,Xiaoxing Hu,Chen Liu,Jianbo Lin,Yijiang Li,Xiaobin Hu,Menglong Li,Zhuoran Lu,Weishi Wang,Zhongqi Yue,Chengwei Qin

Categories:

PDF URL: https://arxiv.org/pdf/2610.30181.pdf

Arxiv URL: https://arxiv.org/abs/2610.30181

Arxiv ID: 2610.30181

CoolPaper URL: https://papers.cool/arxiv/2610.30181

Published: 2026-10-24T01:57:29.163Z

Updated: 2026-10-24T01:57:29.163Z

4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation

Abstract:High-quality image editing requires precise modification of target regions while preserving the content of unrelated regions. Existing editing models produce flattened outputs that limit precise local manipulation and layer reuse, while decomposition methods typically optimize layer recovery separately from instruction-driven editing. To this end, we introduce LayerEditor, a unified framework that couples instruction-guided image editing with controllable generation of reusable RGBA layers. At its core, In-Context RGB-Alpha Token Modeling jointly represents the edited canvas and an ordered sequence of RGB-Alpha layers within a single token sequence, enabling semantic edits and explicit control over individual layer content. To retain the pretrained model’s editing capability during adaptation to layered outputs, we propose Compositional Edit-Prior Distillation, which transfers its editing prior to both the edited canvas and the image composed from the predicted layers. To support training and evaluation, we construct LayerEditor-100K, a large-scale paired image-editing dataset with ordered RGBA layer annotations, and introduce dedicated benchmarks for layered editing. Extensive experiments demonstrate that LayerEditor maintains strong editing fidelity while generating accurate RGBA layers, supporting both flexible layer-level manipulation and multi-layer decomposition.

中文摘要

摘要：高质量的图像编辑需要对目标区域进行精确修改，同时保持无关区域的内容不变。现有的编辑模型生成的输出通常较为平坦，限制了精确的局部操作和图层复用，而分解方法通常在指导性编辑之外单独优化图层恢复。为此，我们提出了LayerEditor，一个将指令引导的图像编辑与可控的可复用RGBA图层生成相结合的统一框架。其核心是上下文内RGB-Alpha令牌建模（In-Context RGB-Alpha Token Modeling），在单一令牌序列中联合表示已编辑画布和有序的RGB-Alpha图层序列，实现语义化编辑并对单个图层内容进行显式控制。为了在适应图层输出时保留预训练模型的编辑能力，我们提出了组合编辑先验蒸馏（Compositional Edit-Prior Distillation），将其编辑先验传递到已编辑画布以及由预测图层组成的图像中。为支持训练和评估，我们构建了LayerEditor-100K，一个带有有序RGBA图层标注的大规模配对图像编辑数据集，并引入专门的分层编辑基准。大量实验表明，LayerEditor在保持强编辑保真度的同时生成精确的RGBA图层，支持灵活的图层级操作和多图层分解。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*指令驱动图像编辑中编辑 fidelity 与可重用图层生成相分离\*\*的问题，具体表现为现有方法在以下两个层面的局限性： \*\*1. 扁平化输出的不可编辑性\*\* 现有图像编辑模型（如基于多模态扩散 Transformer 的模型）通常将文本指令与图像联合建模，输出的是单张扁平化的编辑结果。这种输出将文字、对象和背景内容融合在一起，导致： - 难以对细粒度细节进行局部操控 - 无法直接插入用户提供的详细元素 - 后续修改需要重新生成，增加处理开销并可能引入无关内容的意外变更和边界伪影 \*\*2. 编辑与分解的优化目标不一致\*\* 虽然图像分解方法可以从扁平结果中恢复显式图层，但编辑与分解通常作为独立阶段优化： - \*\*编辑模型\*\*专注于生成视觉忠实的结果，不考虑目标图层结构 - \*\*分解模型\*\*在编辑完成后恢复图层，无法联合优化请求的编辑操作与目标图层结构这导致即使视觉上合理的编辑，也可能产生不完整、组织混乱或难以重用的图层。修正这些图层级错误往往需要多次模型调用和人工精修，增加了劳动成本，降低了分层编辑的效率和可扩展性。 \*\*论文提出的解决思路\*\* 为弥合这一差距，论文提出 \*\*LayerEditor\*\*，一个统一框架，将指令引导的图像编辑与可重用 RGBA 图层的可控生成耦合在一起。其核心贡献包括： - \*\*In-Context RGB–Alpha Token Modeling\*\*：在单一 token 序列内联合表示编辑画布与有序的 RGB-Alpha 图层序列，实现语义编辑与对单个图层内容的显式控制 - \*\*Compositional Edit-Prior Distillation (C-EPD)\*\*：在适应分层输出时，将预训练编辑模型的编辑先验迁移至编辑画布及由预测图层合成的图像，缓解编辑能力退化 - \*\*LayerEditor-100K\*\*：构建包含 10 万对图像编辑数据及有序 RGBA 图层标注的大规模数据集，并建立专门的基准测试（Crello-Testset 和 ScaleEdit-Testset）用于系统评估分层编辑质量与可控性通过上述设计，LayerEditor 在保持强编辑保真度的同时，生成准确的 RGBA 图层，支持灵活的图层级操控与多层分解。 Q2: 有哪些相关研究？该论文的相关研究主要分布于以下三个方向： ### 1. 条件图像编辑（Conditional Image Editing） - \*\*指令驱动编辑\*\*：InstructPix2Pix 最早建立了图像–指令配对监督范式；Qwen-Image 与 FireRed-ImageEdit 则借助更强的生成先验进一步提升了编辑保真度与指令遵循能力。 - \*\*细粒度操控\*\*：后续研究探索了选择性重建、交互控制以及视频帧间的时间一致性，以实现更精细的局部操纵。 - \*\*智能体工作流\*\*：近期工作将图像编辑扩展为多步规划与执行流程。Visual ChatGPT 通过语言规划协调视觉工具；PhotoAgent 利用搜索与视觉反馈进行迭代美学编辑；Agent Banana 则引入分层规划与图层分解以实现局部编辑。尽管这些方法改进了编辑质量与控制性，但仍输出扁平化结果，或依赖级联流程来恢复可编辑图层。 ### 2. 分层图像生成与分解（Layered Image Generation and Decomposition） - \*\*分层生成\*\*：LayerDiff、PSDiffusion、LayeringDiff 与 LASAGNA 等专注于在文本或空间条件下生成协调的多层图像。 - \*\*图形设计\*\*：COLE、CreatiPoster 与 Editable Visual Design 将生成的素材组织为可编辑结构；MiLDEdit 与 MRT 将生成与编辑扩展到分层输入。 - \*\*联合生成与分解\*\*：LaDe 联合生成设计画布与 RGBA 图层；UniWorld-Design 支持分层生成与提示控制的分解。这些方法侧重分层生成与分解，而非对已有扁平源图像进行指令驱动编辑并同步输出其编辑后图层堆栈。 - \*\*图像分解\*\*：Qwen-Image-Layered 与 LiWi 从渲染图像中恢复可编辑组件；相关透明度感知方法进一步改善了不透明度与边界质量。然而，分解通常与指令驱动编辑分开优化。 ### 3. 在线策略蒸馏（On-Policy Distillation） - \*\*基础范式\*\*：在线策略蒸馏通过在智能体实际访问的状态上查询教师模型，将知识迁移给学生，从而减少教师生成数据与学生状态分布之间的不匹配。 - \*\*基于流的生成模型\*\*：近期研究将该思想扩展至流匹配模型。Flow-OPD 通过学生 rollout 与流形锚定实现专用教师蒸馏；DiffusionOPD 研究了连续状态转移对齐；STEP-OPD 进一步探索了外推目标与中间表征对齐。 - \*\*与本文的区别\*\*：渐进蒸馏（Progressive Distillation）与一致性模型（Consistency Models）主要目标是减少采样步数，而本文的 C-EPD 旨在将预训练编辑模型从单图像输出扩展至结构化分层输出时，保留其原有的编辑能力。 Q3: 论文如何解决这个问题？该论文通过提出 \*\*LayerEditor\*\* 统一框架，将指令引导的图像编辑与可重用 RGBA 图层的可控生成耦合为单一的生成过程。具体解决方案包含以下核心组件： ### 1. 统一生成目标 LayerEditor 接收源图像 I_(src) 、编辑指令 u 及请求的图层数量 N ，联合输出直接编辑画布 D 与有序 RGBA 图层堆栈 S ：

(D, S) = G(I(src), u, N), quad S = L_i = (R_i, A_i)(i=0)^(N-1)
其中 R_i 与 A_i 分别表示第 i 层的 RGB 外观与 Alpha 不透明度。图层按从后到前的顺序排列，其精确的 alpha-over 渲染结果为 C = Comp(S) 。编辑指令还可额外指定各图层的期望内容。 ### 2. In-Context RGB–Alpha Token Modeling 为实现联合建模，论文提出在单一 token 序列内同时表示编辑画布与有序 RGBA 图层： - **联合潜在状态**：在噪声水平 σ_t 下，联合潜在状态表示为：

Zt = [z_t^D, z_t^(R_0), z_t^(A_0), dots, z_t^(R(N-1)), zt^(A(N-1))]
所有输出域从高斯噪声初始化，并在统一序列内联合去噪。 - **层感知旋转坐标**：引入坐标 (s, x, y) 区分共享相同画布坐标的各个域。源图像 token 使用 s = -1 ，编辑画布使用 s = 0 ，第 i 层的 RGB 与 Alpha 分别使用 s = 2i+1 与 s = 2i+2 。槽坐标 s 编码域身份与堆叠顺序， (x, y) 保持空间对应关系，从而支持可变图层数量。 - **专用 Alpha 解码器**：独立初始化并训练一个专用的 Alpha 解码器，从潜在状态恢复连续不透明度。该解码器从预训练 RGB 解码器初始化，通过不透明度与合成重建目标单独训练。分离 RGB 与 Alpha 解码器可保护预训练 RGB 路径，同时专门针对精细结构与半透明边界优化透明度重建。 ### 3. Compositional Edit-Prior Distillation (C-EPD) 直接将预训练编辑模型适配到分层输出会削弱其原始编辑能力（如出现文字损坏、结构扭曲等）。为此，论文提出 C-EPD，以冻结的预训练编辑模型作为在线策略教师，将编辑先验同时迁移至直接画布与分层合成表示： - **在线策略查询**：在分离的学生去噪轨迹上采样中间查询状态 Zq （噪声水平 σ_q ）。学生重新计算 Direct、RGB 与 Alpha 速度（保留梯度）；教师接收相同的 Direct 潜在状态 z_q^D 、源图像与编辑指令，预测教师速度 v(q,T)^D 。 - **局部干净估计与合成**：对每个图层域 X ∈ R_i, A_i ，从当前噪声状态与预测速度估计局部干净潜在：

z(0|q)^X = z_q^X - σ_q v(q,S)^X
经冻结解码器得到 Ri 与 A_i 后，按从后到前的标准 source-over 方式合成：
C(-1) = B, quad Ci = A_i odot R_i + (1 - A_i) odot C(i-1), quad CS = C(N-1)

**蒸馏损失**：C-EPD 损失同时约束 Direct 速度对齐与解码后合成图像的一致性：
L(C-EPD) = E(q sim Q) [ (1) / (dD) |v(q,S)^D - sg(v(q,T)^D)|_2^2 + λ_S (1) / (d_C) |C_S - I_T|_2^2 ]
其中 $I_T = sg
D_R(z_q^D - σ_q v(q,T)^D)
为解码后的教师目标， sg 停止教师梯度， λ_S 平衡合成监督。第二项的梯度通过学生侧解码与 alpha 合成传播至分层预测分支，从而在适配分层输出时保留原始编辑先验。 ### 4. 训练目标 LayerEditor 通过 LoRA 适配冻结的预训练 MMDiT 骨干。给定干净目标序列 Z^ ，构建联合噪声状态 Z_t = (1-σ_t)Z^ + σ_t ε 与目标速度 v_t^ = ε - Z^$，使用流匹配损失监督完整速度序列：

L(flow) = E(t,ε) [ (1) / (dZ) |vθ(Zt) - v_t^*|_2^2 ]
在流匹配预热后，联合优化目标为：
Lθ = L(flow) + λ_C L(C-EPD)
其中 λC 控制编辑先验引导的强度。 ### 5. 数据集与评测基准支撑为提供配对监督，论文构建了 **LayerEditor-100K** 数据集，包含 10 万个编辑对，覆盖文本、对象与海报级外观编辑，每例提供源图像、编辑指令、编辑目标及有序全画布 RGBA 堆栈（2–10 层）。同时建立两个独立基准： - **Crello-Testset**（2,994 例）：来自原生分层设计。 - **ScaleEdit-Testset**（1,000 例）：来自扁平化编辑对并恢复目标图层。此外，还设计了图层数量控制与用户指定图层内容等受控评测设置，以系统评估编辑保真度、图层质量与分层可控性。通过上述设计，LayerEditor 在保持强编辑性能的同时，生成准确的可重用 RGBA 图层，支持可变图层数量与灵活的图层级操控。 Q4: 论文做了哪些实验？论文围绕分层编辑的保真度、可控性与泛化能力开展了系统实验，主要涵盖以下方面： ### 1. 实验设置与基准 **实现细节** - 以 FireRed-Image-Edit-1.1 为初始化，采用 rank-256 的 LoRA 适配 DiT 主干，RGB 与文本编码器及预训练 RGB 解码器保持冻结，单独训练专用 Alpha 解码器。 - 图像在长宽比保留前提下以 1024×1024 像素预算处理；训练先进行 2 个 epoch 的流匹配预热，再联合 C-EPD 优化。 **对比方法** 实验与以下基线进行系统对比： - **Seedream5-Pro**：官方 API 的两种调用模式——Seq.（先编辑后分解的两阶段）与 Joint（单请求联合编辑与分解）。 - **级联基线**：FireRed-Image-Edit-1.1（FR）分别与 Qwen-Image-Layered（QIL）、QIL-Control、QIL-Decomp-FT、RevealLayer 组合。 - **端到端基线**：QIL-Edit-SFT（直接学习编辑与分层生成）。 **评测指标** - **图像级**：Direct / Composite SSIM、FID。 - **图层级**：RGBA L1（参考图层重建误差）、Alpha IoU（连续不透明度交并比）。 - **Rubric 评分**：基于 VLM 的五维评分（1–10 分），包括 Edit Consistency、Visual Quality、Layer Segmentation、Layer Composition、Alpha Accuracy。 **评测基准** - **Crello-Testset**：2,994 例，源自原生分层设计。 - **ScaleEdit-Testset**：1,000 例，源自扁平化编辑对并恢复目标图层。 - **可控性设置**：在 3,994 例合并池上构建图层数量控制与指令控制变体。 —- ### 2. 编辑保真度与图层可重用性在 Crello-Testset 与 ScaleEdit-Testset 上评估联合输出的编辑正确性与图层重组质量： - LayerEditor 取得最优的 Composite SSIM / FID 与 Alpha IoU。例如，在 Crello-Testset 上，其 Composite SSIM 达 0.8351 ，较 Seedream5-Pro (Joint) 的 0.7902 提升 5.7% ；Composite FID 从 55.33 降至 33.86 。 - LayerEditor 的 Direct SSIM 到 Composite SSIM 的相对降幅仅 1.0% （ScaleEdit-Testset 上从 0.8925 到 0.8839 ），远低于 Seedream5-Pro (Seq.) 的 11.6% 降幅，表明图层重组后编辑保真度损失更小。 - Rubric 评分显示，LayerEditor 在五个维度均优于基线；在 Crello-Testset 上，其 Layer Segmentation 比 Seedream5-Pro (Joint) 高 1.61 分，Layer Composition 比 FR + QIL-Decomp-FT 高 1.29 分。 —- ### 3. 图层结构与内容可控性 **图层数量控制** - 固定源图像与目标编辑外观，将同一内容按 2 – 10 层的不同粒度重新组织，测试模型是否能响应不同层数请求。 - LayerEditor 的 Alpha IoU 达 0.6196 ，超过 Seedream5-Pro (Joint) 的 0.5703 ；语义分组（Semantic Grouping）评分达 6.88 ，超过后者的 5.91 。 **用户指定图层内容** - 在提示中同时指定视觉修改与期望的图层组织（如将特定文本行或特定鸟类分配到指定层）。 - 定性结果表明，LayerEditor 能在执行文本替换、对象重着色的同时，按用户要求将内容分离到对应图层，实现内容级可控分解。 —- ### 4. 图层保真度与纯分解能力（Image-to-Layer）在保留输入图像不变的纯分解任务上，使用 Crello 测试集拆分出的 1,171 张图片（2–10 层）评估： - LayerEditor 在未针对 I2L 微调的情况下，Composite SSIM 达 0.8761 ，高于 QIL 的 0.7963 。 - Alpha IoU（ 0.6343 ）与层语义评分（ 6.39 ）亦超过 QIL 与 QIL-Decomp-FT。 - 表明模型在编辑与分解任务间具备迁移能力。 —- ### 5. 消融实验在 Crello-Testset 上，以相同骨干训练步数与基础配置对比以下变体： - **w/o C-EPD**：移除全部蒸馏约束，编辑一致性从 6.14 降至 4.67 ，图层分割从 6.83 降至 5.01 ，并出现文字损坏与结构扭曲。 - **w/o Direct OPD**：仅保留合成像素引导，编辑一致性提升但视觉质量与图层分割下降。 - **w/o Comp. OPD**：仅保留 Direct 速度引导，同样无法达到完整模型性能。 - **w/o Alpha Dec.**：使用预训练 RGB 解码器三通道平均替代专用 Alpha 解码器，RGBA L1 从 0.0350 升至 0.0578 ，图层分割从 6.83 降至 5.67 。 - **Base Model**：仅流匹配，无 C-EPD 与专用解码器，各项指标最低。消融结果验证了 C-EPD 中 Direct 速度对齐与合成像素监督的联合必要性，以及专用 Alpha 解码器对透明度重建的贡献。 —- ### 6. 附加实验 **指令可控性** - 在合并的 3,994 例文档上，通过改变编辑指令并同步更新目标与参考图层，测试模型对意图变更的响应。 - LayerEditor 取得最高的 Direct / Composite SSIM（ 0.9018 / 0.8765 ）与 Alpha IoU（ 0.5823 ），编辑一致性评分（ 5.54 ）显著高于 Seedream5-Pro (Joint)（ 3.32 ）。 **定性结果** - 在 Crello-Testset 与 ScaleEdit-Testset 上展示了波普艺术风格迁移、文本替换、背景编辑等场景的分解结果，验证 LayerEditor 能在执行复杂编辑的同时，将文字、对象、背景等分离为独立可重用的 RGBA 图层。 Q5: 有什么可以进一步探索的点？基于论文的局限性分析与方法特性，以下方向值得进一步探索： ### 1. 大规模图层堆栈的扩展当前 LayerEditor 针对至多 N=10 层进行训练与评估。对于更复杂的平面设计、网页界面或特效合成，图层数量可能远超此规模。未来可探索： - **可扩展的序列建模机制**：随着 N 增大，联合 token 序列 Z_t 长度线性增长，需研究稀疏注意力、分层 Transformer 或基于图的层级结构，以降低计算复杂度并维持跨层依赖建模。 - **自适应层数推理**：开发无需预设 N 的动态终止机制，使模型根据内容复杂度自动决定图层粒度。 ### 2. 矢量与参数化图层表示论文指出当前输出为栅格化的 RGBA 图层，文本仍以像素形式存在。向 **矢量-栅格混合表示** 扩展可显著提升下游可编辑性： - **矢量图形层**：将文字、几何形状、矢量图标等表示为参数化曲线与字体属性，保留字体、字号、颜色等可编辑参数。 - **神经基元混合表示**：结合深度隐式函数或神经辐射场表示特定对象，支持任意分辨率渲染与参数化编辑。 ### 3. 图层操作后的鲁棒性验证现有评估主要衡量预测图层与参考图的静态一致性，而非 **编辑后重用质量**。后续研究应系统验证： - **几何变换鲁棒性**：对预测图层执行缩放、旋转、平移或非刚性变形后，再合成至新背景，评估边界伪影与透明度一致性。 - **内容替换与重组**：将图层中的对象替换为用户提供的素材，或跨图像重组图层，量化重组后的视觉质量衰减。 ### 4. 复杂透明度与精细结构重建对于毛发、烟雾、玻璃等 **复杂半透明材质**，Alpha 解码器虽有所改进，但薄结构在半透明边界处仍易产生伪影。可探索： - **基于物理的透明度先验**：引入光传输或折射模型作为归纳偏置，替代纯数据驱动的 Alpha 估计。 - **高分辨率边界细化**：在潜在空间外增加超分辨率或 matting 细化模块，专门处理高频边界细节。 ### 5. 人类感知评估与 VLM 评分对齐论文采用 Gemini-3.1-Pro 进行自动评分，但未与人类判断进行系统性对比。后续可构建： - **人工评分数据集**：在多维 rubric 上收集人类偏好，校准 VLM 评分偏差。 - **感知损失对齐**：将人类打分或眼动数据纳入训练目标，优化更符合人类视觉感知的图层分解。 ### 6. 跨域泛化与通用编辑保持当前编辑先验保留的验证局限于 LayerEditor-100K 及关联基准。需进一步检验： - **通用编辑指令泛化**：在独立于分层数据集的通用图像编辑测试集（如基于自然照片的复杂指令）上评估，验证 C-EPD 是否过度拟合于训练分布。 - **跨域迁移**：从平面设计域向自然图像、医学图像或卫星图像的分层编辑迁移，探索域自适应或元学习策略。 ### 7. 实时推理与系统级优化 LayerEditor 的联合生成过程涉及完整序列的去噪与解码，推理 latency 仍有优化空间： - **蒸馏加速**：将 C-EPD 与渐进蒸馏（Progressive Distillation）或一致性模型结合，在保持分层质量的同时减少采样步数。 - **分层缓存机制**：对于仅修改局部图层的迭代编辑，探索潜在空间中的增量更新，避免全图重新生成。 ### 8. 多模态与交互式条件控制除文本指令外，可引入更丰富的交互信号： - **空间条件**：用户涂鸦、边界框或点点击指定编辑区域与图层对应关系。 - **参考图像引导**：允许用户提供对象参考图或风格参考，通过跨图像注意力实现更精确的图层内容控制。 - **序列化编辑历史**：建模多轮编辑的图层状态变更，支持撤销、重做与版本分支。 ### 9. 减少对配对标注数据的依赖 LayerEditor-100K 的构建依赖昂贵的 RGBA 标注流程。未来可探索： - **自监督预训练**：利用大量无标注的扁平图像，通过合成-分解循环或对比学习预训练图层分解先验。 - **弱监督学习**：仅利用图像级别的编辑前后对，通过可微渲染与循环一致性损失训练，无需显式图层监督。 ### 10. 向视频与时间一致性扩展将分层编辑从静态图像延伸至视频域： - **时序一致的图层分解**：确保跨帧的图层身份、遮挡关系与 Alpha matte 在时间上连贯。 - **视频对象图层**：将动态前景对象分解为独立图层，支持跨帧移动、替换与特效合成，同时保持运动与光照一致性。 Q6: 总结一下论文的主要内容这篇论文提出 **LayerEditor**，一种将指令驱动图像编辑与可重用 RGBA 图层生成统一建模的方法。以下是论文的主要内容总结： ### 1. 研究问题现有图像编辑模型通常输出**扁平化的单张图像**，导致文字、对象与背景等内容融合在一起，难以进行细粒度局部修改或图层重用。虽然图像分解方法可将扁平结果恢复为图层，但**编辑与分解通常作为独立阶段优化**，编辑模型不考虑图层结构，分解模型则无法联合优化编辑指令与目标图层组织，最终导致视觉上合理的编辑可能对应着不完整、混乱且难以重用的图层。这增加了后续修改的成本，限制了分层编辑的效率与可扩展性。 ### 2. 核心方法：LayerEditor 为解决上述问题，论文提出一个统一生成框架，输入为源图像 I(src) 、编辑指令 u 和请求的图层数 N ，联合输出直接编辑画布 D 与有序 RGBA 图层堆栈 S = Li=(R_i, A_i)(i=0)^(N-1) ：

(D, S) = G(I(src), u, N)
其核心创新包括： - **In-Context RGB–Alpha Token Modeling** 将编辑画布与所有 RGB-Alpha 图层表示为**单一联合 token 序列**：
Z_t = [z_t^D, z_t^(R_0), z_t^(A_0), dots, z_t^(R(N-1)), zt^(A(N-1))]
通过层感知的旋转坐标 (s, x, y) 区分不同域的身份与堆叠顺序，支持**可变图层数量**的灵活生成。此外，引入**专用的 Alpha 解码器**从潜在状态恢复连续不透明度，以保留预训练 RGB 路径并优化精细结构与半透明边界。 - **Compositional Edit-Prior Distillation (C-EPD)** 直接在分层输出上微调预训练编辑模型会削弱其原始编辑能力。C-EPD 以冻结的预训练模型作为**在线策略教师**，在学生实际访问的中间状态上提供监督： - 对齐学生的 Direct 速度与教师的画布速度； - 将学生预测的 RGB-Alpha 图层局部解码并合成 CS ，与教师解码目标 I_T 进行像素级对齐。损失函数为：
L(C-EPD) = E(qsim Q)[ (1) / (d_D)|v(q,S)^D - sg(v(q,T)^D)|_2^2 + λ_S (1) / (d_C)|C_S - I_T|_2^2 ]
该策略将编辑先验同时迁移至**直接画布**与**图层合成结果**，在适配分层输出的同时缓解编辑质量退化。 - **训练目标** 在流匹配损失 L(flow) 的基础上联合优化：
Lθ = L(flow) + λC L(C-EPD)

3. 数据集与评测基准 - LayerEditor-100K：包含 10 万对编辑数据的大规模数据集，覆盖文本编辑、对象编辑与海报级外观编辑，每例提供源图像、编辑指令、编辑目标及 2–10 层的有序 RGBA 标注。 - Crello-Testset（2,994 例）与 ScaleEdit-Testset（1,000 例）：分别源自原生分层设计与扁平化编辑对，用于系统评估。 - 额外构建图层数量控制与用户指定图层内容的受控评测设置，以检验分层可控性。 ### 4. 实验结果 - 编辑保真度与图层质量：LayerEditor 在 Direct / Composite SSIM、FID、RGBA L1 和 Alpha IoU 上均优于 Seedream5-Pro、级联基线（FireRed + QIL 系列）及端到端基线。例如，在 Crello-Testset 上，Composite SSIM 达 0.8351 ，较最优基线提升 5.7% ；Composite FID 降至 33.86 。 - 可控性：模型能根据请求的 2 – 10 层不同粒度重新组织同一编辑内容，且能按用户提示将特定对象分配到指定图层。 - 图像到图层分解（I2L）：在未针对分解任务微调的情况下，LayerEditor 在 1,171 张测试图上的 Composite SSIM（ 0.8761 ）与 Alpha IoU（ 0.6343 ）超过专门的分解模型。 - 消融实验：验证了 C-EPD 中 Direct 速度监督与合成像素监督的联合必要性，以及专用 Alpha 解码器对图层分割与透明度精度的显著贡献。 ### 5. 主要贡献 - 提出 LayerEditor，首个在单一框架内耦合指令驱动图像编辑与可控 RGBA 图层生成的模型，支持可变图层数与用户指定图层内容。 - 提出 C-EPD，一种在线策略蒸馏策略，有效保留预训练编辑模型的编辑先验，缓解分层适配过程中的质量退化。 - 构建 LayerEditor-100K 数据集及两个专用基准，为分层编辑的训练与系统评测提供支持。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Wen Xue,Yong Liu,Xueheng Li,Si Wu,Yong Xu,Yipeng Sun,Yan Li,Simiu Gu

Categories:

PDF URL: https://arxiv.org/pdf/2610.24738.pdf

Arxiv URL: https://arxiv.org/abs/2610.24738

Arxiv ID: 2610.24738

CoolPaper URL: https://papers.cool/arxiv/2610.24738

Published: 2026-10-24T01:57:29.305Z

Updated: 2026-10-24T01:57:29.305Z

5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

Abstract:We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activated). IQuest-Q1 is developed through a three-stage process: (1) stable and efficient pre-training, combining Stable SplitNorm, Muon, and muP with a two-stage curriculum whose second stage increases the coding-data mixture, preserving a wide stability margin between safe and optimal learning rates; (2) fine-grained mid-training, expanding the data mixture across domains and formats and progressively extending the context; and (3) multi-scaffold with multi-version post-training, combining SFT, domain-specialized RL, and MOPD across various scaffolds to integrate complementary training signals and strengthen agentic coding capabilities. Furthermore, model merging combines different experts and checkpoints from different stages while mitigating conflicts among their parameter updates. The resulting IQuest-Q1 demonstrates capabilities in both coding and general tasks. We release IQuest-Q1 as an open-source model to support community research and development.

中文摘要

摘要：我们提出了 IQuest-Q1，一种稀疏的专家混合（MoE）代理基础模型，总参数量为 320B（激活参数为 15B）。IQuest-Q1 是通过三阶段过程开发的：（1）稳定且高效的预训练，结合 Stable SplitNorm、Muon 和 muP，以及两阶段课程，其中第二阶段增加了编码数据的混合，保持安全和最优学习率之间的宽裕稳定性；（2）细粒度中期训练，扩展跨域和跨格式的数据混合，并逐步延展上下文；（3）多支架多版本后期训练，结合 SFT、领域专用 RL 和 MOPD，在各种支架间整合互补的训练信号并强化编码代理能力。此外，模型合并将来自不同阶段的不同专家和检查点进行组合，同时减轻其参数更新之间的冲突。最终的 IQuest-Q1 展示了在编码和通用任务中的能力。我们将 IQuest-Q1 作为开源模型发布，以支持社区的研究和开发。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30949 (HTTP 429)

Authors: A. Jian Yang,An Huang,Bo Dan,Chen Mu,Chengran Yang,Chuan Shi,Feng Chang,Hongxin Li,Hongyuan Tao,Jinxing Zhang,Jujie He,Kun Wang,Lin Jing,Ming Yang,Qicheng Hu,Renyuan Li,Shark Liu,Shawn Guo,Shi Qing,Shi Zhong,Tianyu Zheng,Wei Liu,Wei Zhang,Wenrui Cai,Wenxiao Chen,Xuxing Chen,Yan Xing,Yi Xing,Yifan Luo,Yiran Xing,Yizhi Li,Yongsheng Kang,Yucheng Ding,Yue Song,Yun Qing,Yunqi Liu,Zelong Huang,Zhengmao Ye,Zhentao Fan,Zhiteng Li,Ziling Huang,Bihong Tang,Bingli Wang,Ce Jun,Changhao Chen,Chen Hu,Chen Xiao,Chi Liu,Chunjiang Ge,Danyang Li,Deyang Kong,Dian Qi,Ding Tan,Evan Yang,Fanglin Xu,Fei Bai,Gang Liu,Guochang Li,Hao Tang,Haoran Feng,Haowen Wang,Huahao Hu,Huanjin Yao,Huatong Song,Jia Deng,Jiajun Wu,Jialiang Cheng,Jiayi Liang,Jiayi Wu,Jie Deng,Jiejun Tan,Jing Yang,Jingda Xu,Junhang Cheng,Junxiao Liu,Kai Lv,Kaixiang Pan,Kecheng Lu,Kun Zeng,Kun Zheng,Kunbo Ding,Liang Qiu,Lingyi Sun,Luan Zhang,Mengxiao Lv,Ning Dong,Pei Wang,Peng Zhang,Qingsong Cai,Qixiang Yin,Qiyao Wang,Renbiao Liu,Renfei Dang,Ruihang Li,Ruirui Huang,Shanhui Yin,Shen Jian,Shengjie Fang,Shikai Li,Shinan Zhang,Shiqi Chen,Shuai Liu,Shuangqi Li,Shuo Tang,Shuqing Deng,Sijin Hao,Siwei Wu,Siyue Wang,Tao Hai,Tao Ren,TingYang Chen,Wei Shao,Weicheng Gu,Weihan Peng,Wenlong Miao,Xavier Yu,Xiangyuan Ji,Xiaocheng Li,Xiaodong Huang,Xiaohan Ge,Xiaoxiang Shi,Xiaoyang Zhang,Xiaoyu Yang,Xidong Wang,Xin Li,Xinyu Tang,Xiyuan Yang,Xudong Ma,Ya Tong,Yachao Wang,Yang Tian,Yaxin Du,Yeli Ruan,Yi Wang,Yi Yu,Yibin Feng,Yibo Tan,Yihang Wang,Yiming Ju,Yinda Chen,Yinda Chen,Yingjie Du,Yiwei Liu,Yizhi Zhou,Yuan Wei,Yuli Chen,Yuqi Zhu,Yuwen Li,Yuxi Dong,Yuxuan Zhang,Yuyang Song,Zhange Zhang,Zhaohan Zhang,Zhaoyi Li,Zhen Zhang,Zhengbo Zhang,Zhihang Hu,Zhiwei Yu,Zhixin Xie,Zhiyu Chen,Zhizhao Luo,Zhongyuan Wu,Zhou Fang,Zhu Lin,Zhuocheng Gong,Zixi Zhao,Ziyang Zeng,Ziyi Wang,Ziyu Zhao,Ran Tao,Mingjie Tang,Chuan Hao,Peihao Wu,Jianzhou Wang,Nan Jiang,Yuan Zhi,Bryan Dai,et al. (77 additional authors not shown)

Categories:

PDF URL: https://arxiv.org/pdf/2610.30949.pdf

Arxiv URL: https://arxiv.org/abs/2610.30949

Arxiv ID: 2610.30949

CoolPaper URL: https://papers.cool/arxiv/2610.30949

Published: 2026-10-24T01:57:29.379Z

Updated: 2026-10-24T01:57:29.379Z

6. Toward Recursive Self-Improvement in Physical AI

Abstract:Recursive self-improvement (RSI) describes a system that improves not only its behavior but also the process by which it improves. Recent digital agents test this idea by rewriting their own code and checking each version with executable tests. Bringing these mechanisms into the physical world requires learning from partial observations through costly trials, while accounting for changing operating conditions and potentially irreversible consequences. We position RSI within robot learning and trace pathways from improving robot capabilities to improving the processes that generate them. We examine how physical experience can strengthen these improvement mechanisms and when the resulting gains can support further self-improvement of the mechanisms themselves. Gains carry forward only when feedback addresses remaining learning needs, the receiving component can use the change, its value survives changes in tasks or hardware, and continued practice remains safe and affordable. Existing studies, concentrated in manipulation, support behavioral improvement, benefits to later learning, and procedure improvement. Some systems also change the improver’s knowledge or tools, but the physical studies reviewed here have yet to isolate gains attributable to recursion. We synthesize these findings into evaluation principles and research directions for machines that, trial by trial, safely improve the way they improve.

中文摘要

摘要：递归自我改进（RSI）描述了一种不仅改进其行为，而且改进其改进行为过程的系统。近期的数字代理通过重写自身代码并使用可执行测试检查每个版本来验证这一想法。将这些机制引入物理世界需要通过高成本的试验从部分观察中学习，同时考虑不断变化的操作条件以及可能产生的不可逆后果。我们将RSI定位于机器人学习中，并追踪从改进机器人能力到改进生成能力的过程的路径。我们考察了物理经验如何增强这些改进机制，以及何时所获得的收益能够支持机制自身的进一步自我改进。收益只有在反馈解决了剩余学习需求、接收组件能够利用变化、其价值在任务或硬件变化中得以保持，以及持续实践仍然安全且可承担时，才会持续产生作用。现有研究集中在操作方面，支持行为改进、对后续学习的益处以及程序改进。一些系统还改变了改进者的知识或工具，但本文复习的物理研究尚未将可归因于递归的收益单独区分出来。我们将这些发现总结为评估原则和研究方向，旨在指导机器通过每次试验安全地改进其改进方式。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：\*\*如何将递归自我改进（Recursive Self-Improvement, RSI）从数字智能体引入到物理AI系统（特别是机器人）中，并建立相应的评估框架与研究路径。\*\* 具体而言，论文围绕以下层面展开： ### 1. 核心概念迁移数字领域的RSI已通过自我代码重写与可执行测试验证取得进展（如STOP、Darwin Gödel Machine）。论文试图解决如何将这些机制带入物理世界，使机器人不仅能改进其行为，还能改进\*\*产生这些行为的改进过程本身\*\*。 ### 2. 物理世界特有的约束论文识别出物理RSI面临的四大关键挑战，这些构成了需要解决的具体问题： - \*\*结果检验不可靠\*\*：物理成功的判断依赖传感器、人工检查或学习检测器，可能出现错误且不可逆 - \*\*试验成本高昂\*\*：每次候选改进消耗机器人时间、重置成本、硬件磨损与人类监督 - \*\*非平稳性与不可逆性\*\*：环境变化（如夹爪磨损、校准漂移）、物理损坏无法通过软件回滚修复 - \*\*改进对象的扩展\*\*：除提示与代码外，还需改进控制器、动力学模型及特定机体的接口 ### 3. 四个研究问题（RQ1–RQ4）论文将上述挑战组织为需要系统回答的研究问题： - \*\*RQ1\*\*：什么限制了机器人下一步的改进？（是缺失有效经验，还是监督、优化、动作生成、接口或记忆保持的瓶颈？） - \*\*RQ2\*\*：哪些改变能真正解决这些限制？（经验如何改变行为、可复用模型/技能，以及数据收集、评估、课程或更新程序？） - \*\*RQ3\*\*：改进何时能相互叠加？（何时能进入"改进改进过程"的递归循环，需要什么证据？） - \*\*RQ4\*\*：物理世界中的自我改进有何根本不同？（感知、具身、重置、安全、成本与硬件变化如何约束该过程？） ### 4. 收益持续传递的条件论文提出，物理RSI的实现需要满足四个反复出现的条件，这些即是需要克服的关键障碍： - \*\*信息性反馈\*\*：新信号必须针对学习者仍缺乏的能力，而非已掌握的行为 - \*\*可用性\*\*：接收改进的组件必须能够表示、优化并执行该变化 - \*\*分布偏移鲁棒性\*\*：改进的价值必须在任务、策略或硬件变化后依然存活 - \*\*持续实践的安全性\*\*：后续试验必须保持安全且可负担 ### 5. 评估与证据缺口论文指出，现有研究多集中于行为改进与程序改进，但\*\*尚无物理系统通过受控对比实验隔离出可归因于递归的收益\*\*。因此，论文试图定义一套严格的比较标准（R1与R2链接）和两回合测试协议，以判断改进机制本身是否真正实现了自我递归提升。简言之，该论文试图建立一个从"机器人学习"迈向"机器人递归自我改进"的理论框架、机制分类与评估方法论，并指明在物理约束下实现这一目标所需解决的具体科学问题。 Q2: 有哪些相关研究？相关研究可按照与物理递归自我改进（Physical RSI）的关联层次进行梳理，涵盖理论基础、机器人学习范式、具体实现系统、相邻方法论领域及评测基准等方面。 --- ### 1. 数字递归自我改进的理论与实现这些工作提供了RSI的形式化定义与机制原型，构成物理RSI的概念起点。 - \*\*理论起源\*\*：Good (1966) 关于超智能机器设计更优机器的推测；Schmidhuber (2003) 的 Gödel Machine，提出自我指涉的通用问题求解器。 - \*\*代码级自我改进\*\*：Zelikman et al. (2024) 的 STOP（Self-Taught Optimizer）将改进程序应用于自身源码；Zhang et al. (2026c) 的 Darwin Gödel Machine 让改进后的编码智能体修改自身代码，并通过可执行测试验证候选版本。 - \*\*形式化框架\*\*：Tang et al. (2026) 提出 Generalized Agent Iteration，区分迭代策略改进与RSI的关键在于改进机制是否位于智能体内部；Yin et al. (2025) 的 Gödel Agent 允许智能体重写自身改进代码。 --- ### 2. 机器人学习与控制的基础范式这些研究构成了物理RSI的底层能力，包括策略表示、学习信号与世界模型。 - \*\*模仿学习与交互式方法\*\*：Argall et al. (2009) 综述机器人模仿学习；Ross et al. (2011) 的 DAgger 与 Kelly et al. (2019) 的 HG-DAgger 通过专家交互纠正分布漂移。 - \*\*大规模真实世界强化学习\*\*：Pinto & Gupta (2016) 的自监督抓取；Kalashnikov et al. (2018) 的 QT-Opt 与后续 MT-Opt 实现多任务大规模离线/在线RL。 - \*\*基础策略模型\*\*：Brohan et al. (2023a; 2023b) 的 RT-1/RT-2；Octo Model Team et al. (2024) 的 Octo；Black et al. (2025) 的 π_0 ；Kim et al. (2024) 的 OpenVLA 等通用视觉-语言-动作（VLA）模型。 - \*\*世界模型与基于模型的RL\*\*：Sutton (1990) 的 Dyna；Deisenroth & Rasmussen (2011) 的 PILCO；Ha & Schmidhuber (2018) 与 Hafner et al. (2020; 2025) 的 Dreamer 系列；Janner et al. (2019) 的 MBPO。 --- ### 3. 物理自我改进的代表性系统（按改进目标分类）论文按“经验留下的改变所在位置”对相关系统进行了分类。 #### 3.1 策略、世界模型与外部知识的改进 - \*\*策略更新\*\*：RoboCat (Bousmalis et al., 2024) 将适应后的专家策略数据回流训练通才策略；HIL-SERL (Luo et al., 2025) 与 RECAP (Physical Intelligence et al., 2026) 利用人类干预与部署经验进行在线RL微调；SI-EFM (Ghasemipour et al., 2025) 从部分进步中学习；RL Token (Xu et al., 2026b) 与 ConRFT (Chen et al., 2025d) 实现VLA的在线后训练。 - \*\*世界模型辅助\*\*：SILVR (Luo et al., 2026a) 通过视频规划器与逆动力学模型迭代；PlayWorld (Yin et al., 2026b) 利用自主玩耍数据拟合世界模型；RISE (Yang et al., 2026b) 在固定学习模型内优化策略；VLAW (Guo et al., 2026) 联合迭代改进世界模型与VLA策略。 - \*\*外部记忆与技能\*\*：Zetta (Ding et al., 2026) 围绕冻结策略生长代码级评判器与恢复程序；ASPIRE (Lu et al., 2026a) 跨机器人转移修复指导；RoboMemory (Lei et al., 2025b) 与 AllDayNav (Yin et al., 2026a) 保持环境连续性；VASO (Yang et al., 2026e) 通过形式化验证更新技能语义契约。 #### 3.2 学习过程的改进这些系统改变数据收集、评估或更新规则本身。 - \*\*奖励与评估机制\*\*：Eureka (Ma et al., 2024a) 用大语言模型（LLM）重写奖励代码；DrEureka (Ma et al., 2024b) 在此基础上搜索域随机化配置；FIERCE (Tan et al., 2026b) 周期性刷新评估器；RLER (Wu et al., 2026) 拟合成功概率奖励模型。 - \*\*数据采集与课程\*\*：Criticality model (He et al., 2026a) 引导向高失败风险状态收集；RoboCoach (Liu et al., 2026d) 与 SAVE (Römer et al., 2026a) 主动请求专家演示；GLIDE (Song et al., 2026c) 将遥操作失败转化为可执行护栏。 - \*\*自动化实验回路\*\*：ENPIRE (Xiao et al., 2026b) 让编码智能体在受保护的安全/验证接口下修订训练基础设施与策略代码；HARBOR (Li et al., 2026i) 与 RoboClaw (Li et al., 2026e) 实现多智能体协同的自动训练管线；PRACTICE (Bai et al., 2026) 学习编辑外部技能库的规则。 --- ### 4. 相邻的方法论领域这些方法与RSI在机制上重叠，但侧重于不同层面的问题。 - \*\*元学习（Meta-Learning）\*\*：Finn et al. (2017) 的 MAML 学习快速适应的初始化；Nagabandi et al. (2019) 的 GrBAL 适应在线动力学先验；Andrychowicz et al. (2016) 的学习优化器；Houthooft et al. (2018) 与 Bechtle et al. (2021) 的学习损失函数。 - \*\*自动机器学习（AutoML）\*\*：Zoph & Le (2017) 的神经架构搜索；Real et al. (2020) 的 AutoML-Zero 搜索学习算法本身。 - \*\*持续/终身学习\*\*：Thrun & Mitchell (1995) 的终身机器人学习；Parisi et al. (2019) 的持续学习综述；Liu et al. (2023a) 的 LIBERO 基准测试任务序列中的迁移与遗忘。 - \*\*自我训练（Self-Training）\*\*：Xie et al. (2020) 的 Noisy Student；Zelikman et al. (2022) 的 STaR；Anthony et al. (2017) 的 Expert Iteration。 --- ### 5. 评测基准与工具 - \*\*任务基准\*\*：LIBERO / LIBERO-PRO / LIBERO-Plus (Liu et al., 2023a; Zhou et al., 2025b; Fei et al., 2025)；RoboCasa (Nasiriany et al., 2024)；RoboDojo (Chen et al., 2026g)；Meta-World (Yu et al., 2019)；VLABench (Zhang et al., 2025d)。 - \*\*RSI专用评测\*\*：PhysRSI-eval (Li et al., 2026j) 评估冻结权重智能体在多轮中的代码/工具改进；SEAR (Wang et al., 2026h) 控制历史经验、熟悉度与预算等混淆变量；FailBench (Navasardyan et al., 2026) 评测VLM作为成功检测器的可靠性；CaliBench (Sadeghi et al., 2026) 检验视频世界模型的结果频率校准。 --- ### 6. 相关综述论文明确对比了以下同期综述（见 Table 2）： - Chen et al. (2026d)：AI系统中的RSI，聚焦目标、循环闭合与自评估； - Gao et al. (2025)：自进化智能体，关注“何时、何地、如何、何处”进化； - Jena et al. (2026)：权重与可执行技能作为改进载体的比较； - Feng et al. (2026)：自进化具身AI，围绕记忆、任务、世界与身体； - Zhou et al. (2026a)：物理RSI的分级框架（L0–L5）； - Hou et al. (2026) 与 Wang et al. (2026a)：机器人学习中的世界模型综述。 --- 上述研究共同构成了物理RSI从理论基础、算法组件到系统实现与评估标准的完整研究图谱。现有物理系统多支持行为改进与过程改进，但尚未在受控实验中严格验证递归链接（R1 与 R2）。 Q3: 论文如何解决这个问题？这篇论文\*\*并非提出单一的算法或端到端系统\*\*，而是通过\*\*建立概念框架、严格定义评估标准、系统梳理现有机制、并提出可操作的验证协议\*\*，为“如何在物理世界中实现递归自我改进（RSI）”这一问题提供\*\*路线图和诊断工具\*\*。其核心解决策略可分为以下四个层面： --- ### 1. 建立分层递进的定义框架（The Ladder of Claims）为解决“什么算真正的RSI”这一概念模糊问题，论文将自我改进划分为四个严格递进的主张，并明确每个主张所需的\*\*对比实验标准\*\*： | 层级 | 核心问题 | 所需对比 | |------|---------|---------| | \*\*行为改进\*\* | 系统执行任务更好了吗？ | 同一任务测试下 J(L') vs J(L) | | \*\*后续学习收益\*\* | 保留的经验能帮助后来的学习者吗？ | 有/无保留产物 A 的匹配学习者对比 | | \*\*程序改进\*\* | 新程序能教会学习者更多吗？ | 修订前后学习程序的匹配学习者对比 | | \*\*递归自我改进 (R1 & R2)\*\* | 改进机制本身是否随经验变得更好？ | \*\*冻结知识控制组\*\* vs \*\*更新后的改进者\*\* | \*\*关键创新\*\*：通过数学符号精确定义了 RSI 的两个必要链接—— - \*\*R1\*\*：修复知识（repair knowledge）是否提升了改进者本身？ J(I_(K_1)(F)) > J(I_(K_0)(F)) - \*\*R2\*\*：改进后的改进者是否能帮助产生自身的下一次改进？需同时击败父代和\*\*冻结知识的自修订控制组\*\* 这解决了该领域“名实不符”的问题：许多自称“递归”的系统仅停留在行为或程序改进，未验证改进者本身是否因历史修复而变强。 --- ### 2. 按“经验留存位置”系统组织现有机制为厘清物理RSI的实现路径，论文将经验产生的改变按\*\*存放位置与下一次使用方式\*\*分为四类，并系统回顾了每类的代表性工作： - \*\*策略（Policy）\*\*：直接优化控制器，如 HIL-SERL、RECAP、RL Token 等在线微调方法 - \*\*世界模型（World Model）\*\*：利用物理交互数据刷新预测模型以支持后续训练或规划，如 VLAW、PlayWorld、SILVR - \*\*外部知识（External Knowledge）\*\*：以记忆、技能、代码等形式保存修复，如 Zetta、ASPIRE、RoboMemory - \*\*学习程序（Learning Procedure）\*\*：改变数据收集、评估、更新规则本身，如 Eureka（奖励重写）、ENPIRE（训练基础设施自编辑）、PRACTICE（技能库编辑规则学习） \*\*解决思路\*\*：通过这一分类，论文指出当前物理研究已覆盖前三个层面及部分程序改进，但\*\*尚无物理系统通过受控对比验证 R1 或 R2\*\*。 --- ### 3. 提出“四条件”诊断框架为解决“为何改进收益难以持续累积”的问题，论文提出四个决定收益能否跨轮传递的\*\*反复出现的条件\*\*，作为系统诊断工具： - \*\*信息性反馈（Informative Feedback）\*\*：新信号是否针对学习者仍欠缺的能力？（避免在已掌握行为上重复采样） - \*\*可用性（Usability）\*\*：接收改变的组件能否表示、优化并执行它？（避免世界模型改进但策略接口不兼容） - \*\*分布偏移鲁棒性（Robustness to Distribution Shift）\*\*：改变的价值能否在任务、硬件或策略变化后存活？（避免 gripper 更换后修复失效） - \*\*持续实践（Continued Practice）\*\*：下一轮信息性试验是否仍安全且可负担？（避免硬件磨损或重置成本耗尽预算） \*\*解决思路\*\*：这四个条件将抽象的“改进停滞”转化为可定位的故障模式（如数据饱和、评估器落后、瓶颈转移、记忆失效），并对应到具体的系统组件进行诊断。 --- ### 4. 设计可隔离递归收益的“两回合测试”协议针对最困难的 R1/R2 验证，论文提出了一套\*\*受控实验协议\*\*（图9），解决“如何证明改进来自递归而非额外数据/算力/人工干预”的方法论难题： \*\*R1 测试流程\*\*： 1. 让改进者经历若干轮修复历史，获得知识 K_1 2. 给定\*\*全新的失败历史 F \*\*（与训练历史无关） 3. 比较：使用 K_1 的改进者 vs 使用早期知识 K_0 的冻结知识控制组 4. 通过\*\*匹配的下游学习者\*\*和\*\*受保护的成功评估\*\*（改进者无法篡改的独立结果检验）测量最终物理行为差异 \*\*R2 测试流程\*\*： 1. 取已改进的改进者 I_(K_1) 2. 给定相同的新修复历史，让它分别： - 使用已获得的 K_1 提出自修订（产生下一代改进者） - 使用\*\*冻结的 K_0 \*\* 提出自修订（控制组） 3. 下一代改进者必须同时击败\*\*父代改进者\*\*和\*\*冻结知识控制组\*\* \*\*关键控制\*\*：要求冻结知识时必须能 withholding 仅获得的知识（如记忆快照、代码、提示词），而保持模型、工具与预算不变；若知识存储在权重中，则需额外的实验设计。 --- ### 5. 提出具体研究议程与未来方向论文将开放问题归纳为可操作的四大挑战，对应第4节的子章节： - \*\*测量改进（4.1）\*\*：建立受保护的成功评估、防止对评估集过拟合、分离执行与评判信号 - \*\*累积改进（4.2）\*\*：处理数据饱和、评估器漂移、瓶颈转移、知识老化与成本回报分析 - \*\*保持安全（4.3）\*\*：在探索、候选测试与部署后两个时间窗口维护安全；保护评估证据不被篡改；设计准入门控（admission gate）与权限隔离 - \*\*实现递归（4.4）\*\*：定位瓶颈→选择最有信息量的实验→验证修复知识的跨任务迁移→执行两回合测试 --- ### 总结这篇论文的解决方式是\*\*元科学（meta-scientific）\*\*的：它不推销某一特定算法，而是通过\*\*精确定义、系统分类、严格评估协议和诊断框架\*\*，将“物理递归自我改进”从一个模糊愿景转化为可逐层验证、可定位故障、可对比进度的\*\*实证研究议程\*\*。其最终目标是使研究者能够回答：\*“我知道这个机器人变好了，但这是因为它本身变得更擅长改进了吗？”\* Q4: 论文做了哪些实验？需要首先明确一点：\*\*这篇论文是一篇综述（review/survey），其本身并没有报告新的物理机器人实验\*\*。它的核心贡献是建立概念框架、系统分类已有工作、提出评估标准与研究议程。不过，作者对现有文献中的实验进行了极为细致的梳理、对比与重新解读，并\*\*设计了一套可验证递归自我改进（RSI）的理论实验协议\*\*。以下从三个层面说明论文涉及的“实验”内容： --- ### 1. 论文本身未进行新实验，但系统梳理了已有实验论文的主要工作是对现有物理自我改进研究进行\*\*元分析与对比\*\*，而非在真实机器人上运行新的训练循环。表 6–10、表 13–14 和表 20 中汇总了大量已有系统的实验设置，包括： - \*\*实验场景\*\*：模拟环境（LIBERO、RoboCasa、RoboDojo、Meta-World 等）与真实硬件（Franka、ALOHA、xArm、Spot、Unitree Go2、四旋翼等） - \*\*干预类型\*\*：人类纠正、自主探索、VLM 评估、奖励重塑、代码自编辑 - \*\*测量指标\*\*：任务成功率、周期时间、样本效率、遗忘率、Token 消耗、人工干预次数等例如，论文详细对比了以下代表性实验： - \*\*HIL-SERL\*\*（Luo et al., 2025）：在 RAM 插入等真实任务上达到 100% 成功率，并与 HG-DAgger 对比周期时间 - \*\*RECAP\*\*（Physical Intelligence et al., 2026）：在 laundry 与 espresso 任务上报告吞吐量提升与失败率下降 - \*\*VLAW\*\*（Guo et al., 2026）：在 5 类真实任务上，每轮 50 次 rollout，进行两轮迭代，对比 Filtered BC 与 DSRL - \*\*PlayWorld\*\*（Yin et al., 2026b）：20 次硬件测试每检查点，报告折叠毛巾任务从 10% 提升至 75%，但后续出现回归 - \*\*DexTouch-WM\*\*（Qin et al., 2026）：在 4 项真实灵巧操作任务上，对比全真实数据与半生成数据训练的策略表现 --- ### 2. 提出了可验证 RSI 的“两回合测试”实验协议论文的核心方法论贡献是设计了一个\*\*受控的、概念性的两回合实验框架\*\*（图 9，第 59–60 页），用于严格检验递归链接 R1 与 R2。这并非已执行的实验，而是为未来研究提出的\*\*标准实验模板\*\*： #### 第一回合（验证 R1：修复知识是否改进了改进者？） - \*\*设定\*\*：提供相同的全新失败历史 F ，保持工具、目标与预算一致 - \*\*对比组\*\*： - \*\*处理组\*\*：使用已累积修复知识 K_1 的改进者 I_(K_1) - \*\*控制组\*\*：使用早期知识 K_0 的冻结知识改进者 I_(K_0) - \*\*下游测试\*\*：两者各自生成候选学习程序，应用于\*\*匹配的下游学习者\*\*，通过\*\*受保护的成功评估\*\*（改进者无法篡改的独立结果检验）比较最终物理行为 #### 第二回合（验证 R2：改进后的改进者能否改进自身？） - \*\*设定\*\*：给定相同的新修复历史，让已改进的改进者 I_(K_1) 尝试自修订 - \*\*对比组\*\*： - \*\*父代基线\*\*：不修订的 I_(K_1) 本身 - \*\*冻结知识控制\*\*：用 K_0 对 I_(K_1) 进行自修订（排除“更多计算/数据”带来的增益） - \*\*获得知识处理\*\*：用 K_1 对 I_(K_1) 进行自修订，产生下一代改进者 - \*\*判定标准\*\*：下一代改进者必须同时\*\*击败父代\*\*和\*\*冻结知识控制组\*\* 论文估算，若每轮筛选后保留一个候选者，每种子条件约需 \*\*4 个硬件训练的学习者\*\*（排除评估、重置与重复成本）。 --- ### 3. 对已有实验的重新解读与“元对比” 论文并未运行代码，但对现有文献中的实验结果进行了\*\*结构性重分析\*\*，将其映射到四个递进主张（表 13）： | 主张 | 论文认定的最强支持来源 | 实验性质 | |------|---------------------|---------| | \*\*行为改进\*\* | HIL-SERL、RECAP、ConRFT、RL Token 等 | 受控硬件实验 | | \*\*后续学习收益\*\* | RoboCat、PLD、CIDER、HarnessPAI | 匹配学习者的下游测试 | | \*\*程序改进\*\* | FIERCE、RLER、SAVE、RoboCoach | 单组件替换的硬件对比 | | \*\*R1（改进者改进）\*\* | HARBOR、AURA、EmbodiedRSI（模拟） | \*\*无冻结知识控制\*\*，证据非受控 | | \*\*R2（递归闭环）\*\* | Darwin Gödel Machine、HyperAgents（数字） | \*\*无非物理系统执行\*\*；物理系统尚无 | 此外，论文在表 14 中总结了现有实验对四个传递条件（信息性反馈、可用性、分布偏移鲁棒性、持续实践）的支持： - \*\*信息性反馈\*\*：如 PLD 实验证明“采集器成功率相同但训练价值不同” - \*\*可用性\*\*：如 SILVR 的消融显示“冻结翻译器限制规划器增益” - \*\*鲁棒性\*\*：如 PlayWorld 的“硬件成功率下降而想象奖励上升”的回归现象 - \*\*持续实践\*\*：如 MEDAL++ 与 ENPIRE 的多机队扩展实验 --- ### 总结若问“论文做了哪些实验”，最准确的回答是： > \*\*作者没有运行新的机器人实验；这是一篇综述论文。\*\* > 但作者完成了一项系统性工程： > 1. \*\*普查与解构\*\*了数十个现有系统的实验设计与结果； > 2. \*\*提出了一个严格的、可执行的两回合测试协议\*\*，为未来在物理硬件上验证 RSI 提供了实验蓝图； > 3. \*\*建立了比较标准\*\*（匹配学习者、冻结知识控制、受保护评估），使后续研究能够判断自己的实验是否真正证明了递归自我改进。 Q5: 有什么可以进一步探索的点？基于论文第4节及全文讨论，可进一步探索的研究点可归纳为\*\*评估方法论\*\*、\*\*累积机制\*\*、\*\*安全保障\*\*、\*\*递归验证\*\*与\*\*系统基准\*\*五个维度。 --- ### 1. 评估与测量方法论 #### 1.1 建立跨轮次的受控评估协议现有基准多测试系统在某一时点的性能，而自我改进是一个动态过程。需要设计\*\*跨轮次保留与隔离协议\*\*，明确每一轮什么可以带入下一轮、什么必须保持独立。 - \*\*具体提案\*\*：在任务序列基准（如 LIBERO）之上叠加持续学习协议，要求报告每轮更新后在\*\*新任务、旧任务、故意冲突状态、分布偏移条件\*\*下的完整性能矩阵。 #### 1.2 保持评判标准对齐（Keeping Judges Aligned）随着策略改进，评估器可能落后或产生系统性盲区（例如，早期用“是否抬升”评估抓取，后期需检测“是否过度挤压”）。 - \*\*具体提案\*\*：设计一个\*\*仅改变评估器与刷新规则\*\*的基准，固定学习者、数据与更新预算，测试评估器是否能在多轮中保持对预期结果排序的一致性，并帮助产生更优策略。 #### 1.3 统一的成本核算标准目前各研究对“成本”的统计口径不一（有的只计 Token，有的只计 rollout 数）。 - \*\*具体提案\*\*：建立涵盖\*\*机器人时间、重置开销、人类监督时长、计算消耗、硬件磨损、失败运行与再验证成本\*\*的完整成本账簿，并引入“世界时钟”概念（将模型推理时间也计入成本）。 --- ### 2. 改进的累积与持续性 #### 2.1 数据饱和与信息性反馈的诊断自主数据收集常出现收益饱和甚至回归（Mirchandani et al., 2025）。需要自动识别“何时更多成功数据不再教学”。 - \*\*探索方向\*\*：开发能区分\*\*已掌握行为\*\*与\*\*剩余学习需求\*\*的信号，结合失败预测（failure prediction）与能力进展估计（competence progress），动态调整采集目标。 #### 2.2 评估器/世界模型的“冻结-测试-刷新-重标记”序列当策略进入新分布时，基于旧数据拟合的评估器和世界模型会失效。 - \*\*具体提案\*\*：形式化 \*\*freeze–test–refresh–relabel\*\* 流程——在策略更新期间冻结反馈版本，用当前物理结果测试其有效性，刷新后重新标记回放缓冲区。需要确定最优刷新时机。 #### 2.3 瓶颈的自动识别与转移追踪修复一个组件后，限制因素会转移到下游组件（如视频规划器改进后，逆动力学翻译器成为瓶颈）。 - \*\*具体提案\*\*：构建\*\*故障注入基准\*\*（fault injection benchmarks），向系统注入策略、模型、评估器、接口的独立故障，要求系统定位瓶颈并选择正确的修复。评价指标应为“信息增益/探测成本”与“下游行为改进”。 #### 2.4 跨任务与跨机体的知识生命周期管理当硬件（如夹爪更换）或任务变化时，保留的知识可能失效。 - \*\*探索方向\*\*：为每个保留变更附加\*\*显式有效性条件\*\*（validity conditions）——所需输入、动作语义、物理包络、软件依赖及最后验证证据。开发能自动判断是\*\*复用、适配、再验证还是退役\*\*的决策机制。 #### 2.5 资源投资的回报周期分析建立世界模型、评估器或技能库有前置成本，只有在失效前节省的试验成本超过建设成本时才值得。 - \*\*具体提案\*\*：在任务序列基准中引入\*\*有限资源容量\*\*与\*\*随机维护事件\*\*，比较“短视分配”“固定预算”与“考虑回报周期与期权价值的地平线感知分配器”。 --- ### 3. 安全性与权限设计 #### 3.1 跨代际安全保障的再验证（Revalidating Safety Across Generations）现有安全屏障（shield、monitor、barrier function）多针对固定策略验证。当学习程序自身被修改时，安全假设可能失效。 - \*\*具体提案\*\*：设计实验让机器人在多代中自修改学习过程，要求每一代记录\*\*哪些检查针对哪些组件版本运行过\*\*，并在依赖组件变更时自动将相关检查标记为过期。 #### 3.2 防止评估信号被篡改（Protecting the Judge）如果改进者能修改自己的评估器，可能通过提升“评分”而非“真实物理结果”来作弊。 - \*\*探索方向\*\*：构建\*\*受保护的成功评估\*\*（protected success evaluation）——使用改进者无法改写的独立物理测量、人工审计或只读原始传感器数据，作为准入门控（admission gate）的最终依据。 #### 3.3 准入门槛（Admission Gate）的优化过于保守的门控会拒绝有用的学习机会，过于宽松则接受有害更新。 - \*\*具体提案\*\*：在物理诊断任务上比较\*\*保守置信界门控\*\*、\*\*成对二项式门控\*\*与\*\*无门控\*\*策略，报告其\*\*错误控制率\*\*与\*\*保留的学习机会比例\*\*。 #### 3.4 权限分离与溯源（Provenance）自我修改系统不应同时拥有“提出变更”与“批准变更”的权限。 - \*\*探索方向\*\*：设计架构让候选变更的\*\*生成、测试、审批、部署\*\*四阶段由不同权限层级控制，并建立完整的溯源记录（模型版本、提示、代码差异、数据与评估器版本、测试结果）。 --- ### 4. 递归机制的闭合（Closing the Loop） #### 4.1 从“机制存在”到“受控证据” 已有系统（如 AdaRSI、PhysEvo）具备改进者知识变化的机制，但缺乏隔离递归收益的对比。 - \*\*关键实验\*\*：执行论文提出的\*\*两回合测试\*\*（Two-Round Test，图9）。 - \*\*Round 1 (R1)\*\*：对比使用累积修复知识的改进者 vs 冻结早期知识的改进者，在全新失败历史上产生的程序质量。 - \*\*Round 2 (R2)\*\*：让已改进的改进者尝试自修订，对比“使用获得的知识”与“冻结获得的知识”产生的下一代，必须同时击败父代。 #### 4.2 修复知识的跨失败类型迁移递归要求从特定修复中提取\*\*可迁移的修复原则\*\*，而非仅记住补丁。 - \*\*具体提案\*\*：设计基准让失败在\*\*不同家族\*\*（如视觉遮挡 vs 接触力学 vs 动作时序）间变化，测试改进者能否选择“复用旧修复”“适配旧修复”或“寻求新解释”。 #### 4.3 联合实验选择与更新决策（Joint Experiment-Update Selection）信息量最大的探测未必是学习者能利用的探测。例如，验证接触模型误差需要力传感器数据，但如果策略优化器无法利用该数据，则此实验价值有限。 - \*\*探索方向\*\*：开发同时考虑\*\*信息增益\*\*与\*\*下游可用性\*\*的联合决策框架，并在匹配多资源预算下对比“先诊断后修复”与“联合选择”策略。 --- ### 5. 具体可建设的基准与工具论文明确提议以下可立即着手建设的基准： | 方向 | 提议基准 | 核心测量 | |------|---------|---------| | 评估器对齐 | 变体评估器基准 | 旧/新失败模式下的排序一致性、策略改进度 | | 瓶颈诊断 | 故障注入 + 自然硬件故障基准 | 因果排名校准、每探测信息增益、下游行为改进 | | 资源预算 | 带维护事件的部署地平线基准 | 多资源帕累托前沿、回报周期敏感度 | | 递归验证 | 两回合测试协议（图9） | R1: 冻结知识 vs 更新改进者；R2: 获得知识 vs 冻结知识的自修订 | | 安全跨代 | 多代自修改安全基准 | 假设失效检测率、回归检测率、权限突破率 | --- ### 总结最具紧迫性的探索点可概括为：\*\*建立严格的、跨轮次的、组件可控的物理实验协议\*\*，将“递归自我改进”从系统命名和机制展示推进到\*\*有对照组的因果验证\*\*。其中，\*\*执行论文设计的两回合测试\*\*、\*\*建立带有效性条件的版本化知识库\*\*、以及\*\*在真实硬件上验证跨代际安全屏障\*\*，是最能直接推动该领域从“概念”走向“证据”的三个方向。 Q6: 总结一下论文的主要内容这篇综述论文系统探讨了\*\*物理递归自我改进（Physical Recursive Self-Improvement, RSI）\*\*——即机器人不仅从物理经验中改进行为，还能改进其自身的改进机制——的理论框架、现有证据、物理约束与未来路径。 --- ### 1. 核心命题：从数字到物理的RSI 递归自我改进描述的是一个系统不仅优化其行为，还优化\*\*产生这些行为的改进过程\*\*。数字智能体（如 STOP、Darwin Gödel Machine）已通过代码自编辑与可执行测试验证接近这一概念。然而，将RSI引入物理世界面临根本性挑战： - \*\*结果检验不可靠\*\*：依赖传感器、人工判断或学习检测器，错误可能被强化并执行于硬件 - \*\*试验成本高昂\*\*：每次候选改进消耗机器人时间、重置开销、硬件磨损与人类监督 - \*\*不可逆性\*\*：软件回滚无法修复物理损坏或硬件磨损 - \*\*非平稳性\*\*：校准漂移、物体移动、工具磨损持续改变运行条件 --- ### 2. 分层递进的评估框架论文提出四个严格层级的主张，每一层需要特定的对比实验（Section 2.2, Table 3）： | 层级 | 核心问题 | 所需对比 | |------|---------|---------| | \*\*行为改进\*\* | 系统执行任务更好了吗？ | J(L') > J(L) ，共同任务测试 | | \*\*后续学习收益\*\* | 保留的经验能帮助后来的学习者吗？ | 有/无保留产物 A 的匹配学习者 | | \*\*程序改进\*\* | 新学习程序能教会学习者更多吗？ | 修订前后程序的匹配学习者 | | \*\*递归自我改进\*\* | 改进机制本身是否因经验变得更好？ | \*\*R1\*\*：修复知识是否提升改进者；\*\*R2\*\*：改进后的改进者能否帮助产生自身的下一次改进 | 其中，递归链接通过两个不等式精确定义（Section 2.2）： - \*\*R1\*\*： J(I_(K_1)(F)) > J(I_(K_0)(F)) —— 使用累积知识 K_1 的改进者优于冻结早期知识 K_0 的版本 - \*\*R2\*\*： J(rho_(K_1)(I_(K_1), H)(F)) > maxJ(I_(K_1)(F)), J(rho_(K_0)(I_(K_1), H)(F)) —— 使用 K_1 自修订产生的下一代，必须同时击败父代和\*\*冻结知识的自修订控制组\*\* --- ### 3. 经验留存的四个位置（Section 3）论文按“物理经验在哪里留下改变”系统梳理了现有研究： 1. \*\*策略（Policy）\*\*：直接优化控制器，如 HIL-SERL、RECAP、RL Token 等利用人类干预或在线奖励进行微调 2. \*\*世界模型（World Model）\*\*：利用交互数据刷新预测模型，如 VLAW、PlayWorld、SILVR，用于规划或生成训练数据 3. \*\*外部知识（External Knowledge）\*\*：以记忆、技能、代码等形式保存修复，如 Zetta（代码级评判器与恢复程序）、ASPIRE（跨机器人转移修复指导） 4. \*\*学习程序（Learning Procedure）\*\*：改变数据收集、评估或更新规则本身，如 Eureka（LLM 重写奖励）、ENPIRE（编码智能体修订训练基础设施）、PRACTICE（学习编辑技能库的规则） --- ### 4. 收益持续传递的四个条件（Section 2.2 & 4.2）为使改进在轮次间累积而非停滞，论文提出四个反复出现的诊断条件： - \*\*信息性反馈（Informative Feedback）\*\*：新信号必须针对学习者仍欠缺的能力，而非已掌握的行为 - \*\*可用性（Usability）\*\*：接收改变的组件必须能够表示、优化并执行该变化 - \*\*分布偏移鲁棒性（Robustness to Distribution Shift）\*\*：改进价值必须在任务、策略或硬件变化后存活 - \*\*持续实践（Continued Practice）\*\*：下一轮信息性试验必须保持安全且可负担 --- ### 5. 现有证据的状态（Section 3 & 4.1） - \*\*行为改进\*\*：在操控任务上有充分受控的硬件证据（如 HIL-SERL、ConRFT） - \*\*后续学习收益\*\*：部分研究通过匹配学习者验证（如 RoboCat、PLD、CIDER） - \*\*程序改进\*\*：有单组件的硬件对比（如 FIERCE 的刷新评估器、SAVE 的主动请求演示） - \*\*递归改进（R1 & R2）\*\*：\*\*尚无物理系统通过冻结知识的受控对比验证递归收益\*\*。部分系统（如 AdaRSI、PhysEvo、EmbodiedRSI）具备改进者知识变化的机制，但缺乏严格对照；数字系统（Darwin Gödel Machine、HyperAgents）已运行固定改进者控制组，但评估基于廉价可执行测试而非物理试验 --- ### 6. 开放挑战与未来方向（Section 4）论文将未解决问题组织为四个研究问题（RQ1–RQ4）： - \*\*RQ1：什么限制了机器人下一步的改进？\*\* 需要诊断是缺失经验、监督瓶颈、优化失败、动作生成限制、接口不兼容还是记忆保持问题 - \*\*RQ2：哪些改变能真正解决限制？\*\* 需追踪经验如何改变行为、模型、技能及收集/评估/更新程序 - \*\*RQ3：改进何时能相互叠加？\*\* 需验证收益何时能进入“改进改进过程”的递归循环 - \*\*RQ4：物理世界中的自我改进有何根本不同？\*\* 需理解感知、具身、重置、安全、成本与硬件变化如何约束该过程具体挑战包括： - \*\*测量\*\*：建立受保护的成功评估（改进者无法篡改），防止对评估集过拟合 - \*\*累积\*\*：处理数据饱和、评估器漂移、瓶颈转移与知识老化 - \*\*安全\*\*：在探索、候选测试与部署后维护安全；防止评估信号被篡改；设计准入门槛与权限分离 - \*\*递归验证\*\*：执行\*\*两回合测试协议\*\*（Section 4.4, Figure 9） --- ### 7. 提出的两回合测试协议（Figure 9）为验证递归链接，论文设计了一套受控实验蓝图： \*\*第一回合（R1）\*\*： - 向改进者提供全新的失败历史 F - 对比：\*\*使用累积知识 K_1 的改进者\*\* vs \*\*冻结早期知识 K_0 的控制组\*\* - 通过匹配的下游学习者与受保护物理结果评估 \*\*第二回合（R2）\*\*： - 让已改进的改进者 I_(K_1) 尝试自修订 - 对比：\*\*使用 K_1 自修订产生的下一代\*\* vs \*\*父代 I_(K_1) \*\* vs \*\*使用冻结 K_0 的自修订控制组\*\* - 下一代必须同时击败两者，方可归因于递归收益 --- ### 总结这篇论文将物理递归自我改进从一个模糊愿景转化为\*\*可逐层验证的实证研究议程\*\*。其核心论点是：当前机器人领域已具备RSI所需的多种机制（策略微调、世界模型刷新、代码自编辑、自动实验回路），但\*\*关键缺失的是严格的受控对比\*\*——特别是隔离“改进者因自身历史经验而变得更好”这一因果关系的实验。未来研究应聚焦于执行两回合测试、建立版本化的跨条件知识库，以及在真实硬件上验证跨代际的安全与持续改进能力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是Toward%20Recursive%20Self-Improvement%20in%20Physical%20AI，链接是https://arxiv.org/pdf/2610.29677，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.29677。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Meng Luo,Zechen Bai,Shanqing Xu,Yanlin Li,Kaixin Li,Mengchen Qian,Weifeng Lu,Ran Zhang,Yingtian Zou,Ziyang Luo,Wei Chen,Hongzhan Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.29677.pdf

Arxiv URL: https://arxiv.org/abs/2610.29677

Arxiv ID: 2610.29677

CoolPaper URL: https://papers.cool/arxiv/2610.29677

Published: 2026-10-24T01:57:33.218Z

Updated: 2026-10-24T01:57:33.218Z

7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

Abstract:Large language models need effective ways to acquire and use external knowledge beyond what they retain from pretraining. Continued pretraining risks catastrophic forgetting, while retrieval at inference time can add substantial overhead. External parametric memory avoids online retrieval, but constructing its training data requires extensive offline search, and output-level interpolation provides only shallow fusion. We introduce Deep Fusion Memory (DFM), a parametric memory architecture that reduces this construction workload and incorporates learned memory into intermediate hidden states. A causal memory predictor learns to generate memory from the preceding context, using retrieved chunk embeddings from the corpus as supervision. The predicted memory is shared across tokens within each chunk and fused into their hidden states through gated cross-attention. Memory prediction and fusion are trained end to end with the backbone frozen, and inference requires no explicit retrieval. Compared with existing parametric memory approaches, which often construct token-level memory targets, DFM requires $32\times$ fewer retrieval queries and $2048\times$ fewer retrieved items to construct its training data. Across six QA tasks, DFM performs better over the strongest baseline by 12.71% on Mistral-7B-v0.3 and 11.19% on Qwen3-8B-Base. Beyond QA, domain adaptation yields average gains of 6.51 and 4.38 points over Qwen3-4B-Base and Qwen3-8B-Base, respectively.

中文摘要

摘要：大型语言模型需要有效的方法来获取和使用超出预训练所保留的外部知识。持续的预训练存在灾难性遗忘的风险，而推理时的检索可能带来大量额外开销。外部参数化记忆避免了在线检索，但构建其训练数据需大量离线搜索，而输出层插值仅能提供浅层融合。我们引入了深度融合记忆（DFM），一种参数化记忆架构，它减少了构建工作量，并将学习到的记忆融入中间隐藏状态。因果记忆预测器通过使用语料库中检索到的块嵌入作为监督，从前文上下文中学习生成记忆。预测的记忆在每个块内的所有标记间共享，并通过门控跨注意力融合到它们的隐藏状态中。记忆预测和融合在主干网络冻结的情况下端到端训练，推理时无需显式检索。与现有参数化记忆方法（通常构建标记级记忆目标）相比，DFM在构建训练数据时所需的检索查询减少了32倍，检索项目减少了2048倍。在六个问答任务中，DFM在Mistral-7B-v0.3上比最强基线高出12.71%，在Qwen3-8B-Base上高出11.19%。在问答之外，领域适应平均提升分别为Qwen3-4B-Base的6.51点和Qwen3-8B-Base的4.38点。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决大语言模型（LLMs）在获取与利用外部知识时面临的效率与效果权衡问题。具体而言，论文针对以下核心挑战： ### 1. 现有知识注入方式的局限 - \*\*持续预训练（CPT）与参数高效微调（LoRA）\*\*：虽然推理自包含，但微调过程易导致\*\*灾难性遗忘\*\*，损害模型既有能力。 - \*\*非参数化检索（RAG / RETRO 等）\*\*：推理时依赖外部数据存储的在线检索与证据处理，会引入\*\*显著的推理延迟\*\*。 - \*\*现有参数化记忆方法（如 MLP Memory、Memory Decoder）\*\*：虽避免了在线检索，但存在两个关键缺陷： - \*\*监督构建成本极高\*\*：采用\*\*词元级别（token-level）\*\*记忆目标，需对语料库中每个词元位置执行检索，导致海量的离线查询与检索项。 - \*\*浅层融合\*\*：仅通过输出概率插值（output-probability interpolation）结合记忆，未能将记忆整合进解码器的中间隐藏状态，限制了后续层对知识的深度加工。 ### 2. 论文提出的核心问题如何设计一种参数化记忆架构，同时满足以下要求： - \*\*降低监督数据构建与训练的计算开销\*\*； - \*\*实现记忆与上下文表征的深度融合\*\*，使记忆能被解码器的后续层进一步处理； - \*\*保持推理无检索依赖\*\*，且不改变预训练主干参数以避免遗忘。 ### 3. 解决方案概述为回应上述问题，论文提出 \*\*Deep Fusion Memory (DFM)\*\*，其核心机制包括： - \*\*块级别（chunk-level）因果记忆预测器\*\*：以连续的记忆向量监督信号替代词元级别目标，将检索查询量降低 32× ，检索项降低 2048× 。 - \*\*门控交叉注意力（gated cross-attention）融合\*\*：将预测记忆投影至隐藏空间，并通过门控机制注入选定解码器层的中间隐藏状态，实现\*\*深层融合（deep fusion）\*\*。 - \*\*端到端训练\*\*：在冻结主干网络的前提下联合训练记忆预测与融合模块，推理时无需任何显式检索。 Q2: 有哪些相关研究？根据论文第2节（Related Work）及引言中的讨论，相关研究可分为以下三个类别： ### 1. 模型自适应（Model Adaptation） - \*\*持续预训练（Continued Pretraining, CPT）\*\*（Gururangan et al., 2020）：通过额外的语言建模目标在领域语料上继续训练模型全部参数。 - \*\*LoRA\*\*（Hu et al., 2021）：以低秩适配器的方式参数高效地微调模型。上述方法虽能保持推理自包含，但适应过程易造成\*\*灾难性遗忘\*\*（catastrophic forgetting），损害模型已获得的通用能力。Deep Fusion Memory 则冻结主干网络，通过新增记忆模块避免此问题。 ### 2. 检索增强语言模型（Retrieval-Augmented Language Models） - \*\*kNN-LM\*\*（Khandelwal et al., 2019）：检索上下文–词元对，并将邻居派生的下一个词元分布与语言模型输出插值。 - \*\*RAG\*\*（Lewis et al., 2020）：将检索到的文本段落作为上下文前缀，条件化地生成回答。 - \*\*RETRO\*\*（Borgeaud et al., 2022）：在解码器内部通过交叉注意力机制整合检索到的文本块。 - \*\*xRAG\*\*（Cheng et al., 2024）：将检索文档的稠密嵌入投影为单个词元表示，并置于查询之前，以减少生成器处理的上下文长度。这些方法在推理时均依赖外部检索，数据存储搜索与证据处理会带来显著的推理延迟。Deep Fusion Memory 旨在推理阶段完全避免在线检索。 ### 3. 参数化记忆（Parametric Memory） - \*\*MLP Memory\*\*（Wei et al., 2026a）：训练多层感知机（MLP）基于语言模型表示预测 k 近邻（ k NN）的下一个词元分布。 - \*\*Memory Decoder\*\*（Cao et al., 2026）：使用独立解码器学习类似的分布目标。 - \*\*Memory Decoder at Scale\*\*（Wei et al., 2026b）：将上述方法扩展至大规模通用与领域记忆预训练。 - \*\*MemSFT\*\*（Wang et al., 2026）：为冻结主干引入领域记忆，并学习词元级别的路由器，在主干输出分布与记忆输出分布之间进行插值。这些方法虽消除了推理时的显式检索，但存在两个主要局限：其一，\*\*词元级别\*\*的记忆目标导致监督数据构建成本极高；其二，它们依赖\*\*输出概率插值\*\*（output-probability interpolation），仅提供浅层融合，未将记忆整合进解码器的中间隐藏状态。Deep Fusion Memory 针对这两点进行了改进，通过块级别监督降低构建开销，并通过门控交叉注意力实现深层融合。 Q3: 论文如何解决这个问题？论文通过提出 \*\*Deep Fusion Memory (DFM)\*\* 来解决大语言模型高效获取与深度利用外部知识的问题。DFM 采用\*\*块级别（chunk-level）监督\*\*与\*\*深层隐藏状态融合\*\*相结合的策略，在冻结预训练主干的前提下，联合训练记忆预测器与记忆融合模块。具体解决方案可从以下六个方面展开： --- ### 1. 块级别离线监督构建（降低数据构造开销）不同于现有参数化记忆方法采用\*\*词元级别（token-level）\*\*目标——即对每个词元位置独立执行检索——DFM 将训练序列划分为长度为 C 的非重叠文本块 X_0, dots, X_(J-1) 。 - 对每个块 X_j （ j ge 1 ），将其\*\*前一个块\*\* X_(j-1) 编码为查询，从语料库数据存储中离线检索 Top- K 近邻块。 - 每个检索到的块由冻结编码器生成固定稠密嵌入，按检索排序堆叠为\*\*目标记忆\*\* V_j ∈ R^(K × d_m) 。 - 该目标记忆作为整个块 X_j 内所有词元预测的共同监督信号。此举将检索查询量降低 32× （由 4B 降至 125M），检索项总量降低 2048× （由 4.096T 降至 2B），显著削减离线监督构建成本。 --- ### 2. 因果记忆预测器（Causal Memory Predictor） DFM 引入一个轻量级的因果 Transformer 作为记忆预测器，用于基于前文生成当前块的连续记忆向量。 - 对前一区块 X_(j-1) 内的词元嵌入做均值池化，得到块嵌入 C_j ；首个块使用掩码占位符。 - 预测器接收前缀块嵌入序列 C_(le j) ，通过\*\*因果自注意力\*\*生成当前块的预测记忆：

Vj = Predictorφ(C_(le j)) ∈ R^(K × d_m)

该架构包含 K 个独立线性输出头，分别对应 K 个记忆槽位，保证预测记忆与目标记忆的槽位对齐。由于采用因果注意力，预测 Xj 的记忆仅能使用 X_0, dots, X(j-1) 的信息，满足语言建模的因果约束。 —- ### 3. 深层记忆融合（Deep Fusion via Gated Cross-Attention）为避免浅层输出插值的局限，DFM 通过**门控交叉注意力**将记忆注入解码器的中间隐藏状态。 - **共享投影器** P_psi 将预测记忆映射到解码器隐藏空间：

Mj = P_psi(V_j) ∈ R^(K × d)
其中 d 为主干隐藏维度。 M_j 在选定的多个解码器层间复用。 - 在选定层（如第 9, 16, 24, 31 层），对每个词元 t 计算多头交叉注意力：查询来自归一化 token 状态 z_t ，键与值来自该词元所属区块的投影记忆 M_j 。 - **门控机制**控制每个注意力头的记忆贡献：
g_t = σ(W_g z_t + b_g), quad u_t = W_O Concat(a=1)^(H) [ g(t,a) · o(t,a) ]
其中 o(t,a) 为头 a 的交叉注意力输出， g(t,a) ∈ (0,1) 为经 Sigmoid 激活的门控标量。 - **并行残差更新**：记忆分支与因果自注意力并行执行，共同进入残差连接：
ht = h_t + SelfAttn(z(le t)) + u_t
更新后的状态 h_t 再送入原始前馈网络。后续解码器层可在此基础上进一步加工融合后的表征，实现**深层融合**。 —- ### 4. 联合训练目标（Joint Training Objective）整个新增模块（预测器、投影器、交叉注意力、门控参数）在**冻结主干**的条件下端到端联合训练，目标函数结合语言建模与记忆预测：

L = L(LLM) + β L(MSE)
其中： - L(LLM) 为标准的下一词元交叉熵损失，确保预测记忆对生成任务有效； - L(MSE) 为预测记忆与离线目标记忆之间的均方误差：
L(MSE) = ∑(j=1)^(J-1) |hatV_j - V_j|_F^2(J-1) K d_m
论文设 β = 1 ，直接监督记忆向量对齐，且不重新归一化预测输出。语言建模损失通过融合模块反向传播至预测器，而 MSE 损失直接监督记忆槽位，两者协同优化。 —- ### 5. 推理阶段（无在线检索）推理时，DFM 完全脱离外部检索系统： - 利用输入提示的可见块通过记忆预测器实时生成预测记忆； - 选定解码器层直接对预测记忆执行交叉注意力； - 无需数据存储搜索、检索文本或外部编码器。在 QA 评测中，提示部分对应的预测记忆在答案生成期间保持固定；对于后续新生成的块，查询与记忆有效性掩码以零填充，确保因果性。 —- ### 6. 效率与效果收益通过上述设计，DFM 同时实现了监督效率、训练效率与推理性能的提升： - **参数效率**：在 Mistral-7B 上仅增加约 0.75B 参数，较 MLP Memory（1.5B）减少约 50%。 - **训练效率**：在 16 张 A800 GPU 上，训练时间由约 64 小时降至 24 小时，减少 62.5%。 - **监督构建效率**：如前述，检索查询与检索项分别减少 32× 与 2048× 。 - **性能增益**：在六个 QA 任务上，相比最强基线分别提升 12.71%（Mistral-7B-v0.3）与 11.19%（Qwen3-8B-Base）；在代码、数学、法律领域自适应任务上，平均提升 6.51 与 4.38 点。 Q4: 论文做了哪些实验？论文的实验围绕**知识密集型问答**、**领域自适应**、**效率对比**与**消融分析**四个维度展开，并在附录中补充了跨骨干验证与案例研究。具体实验内容如下： —- ### 1. 知识密集型问答（Question Answering）在 **Mistral-7B-v0.3** 与 **Qwen3-8B-Base** 两个主干模型上，于英文维基百科（2018年12月，约 4B 词元）上训练 DFM，并在六个 QA 基准上评测： - **单跳 QA**：Natural Questions (NQ)、WebQA - **多跳 QA**：HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle **对比基线**包括： - **非参数化方法**：RAG（检索增强生成）、xRAG（极端上下文压缩）、RETRO（检索增强 Transformer） - **参数化方法**：CPT（持续预训练）、LoRA（低秩适配，参数预算与 DFM 对齐）、MLP Memory（词元级参数化记忆） **主要结论**：DFM 在两个骨干上均取得最高的六任务平均分，相对最强基线分别提升 **12.71%**（Mistral）与 **11.19%**（Qwen3），且在多数单跳与多跳任务上优于 CPT、LoRA 与 MLP Memory。 —- ### 2. 领域自适应（Domain Adaptation）验证 DFM 在 QA 之外的专业领域适应能力，使用 **Qwen3-4B-Base** 与 **Qwen3-8B-Base** 两个模型，分别在以下三个领域的数据上训练： - **代码**：Swallow-Code → 评测 HumanEval、HumanEval+ - **数学**：Swallow-Math → 评测 GSM8K - **法律**：DISC-Law-SFT → 评测 LawBench（20 个子任务的宏平均） **对比基线**：Base、RAG、CPT、LoRA。 **主要结论**：DFM 在 4B 与 8B 模型上分别取得平均 **64.69** 与 **67.52** 的分数，相对 Base 提升 **6.51** 与 **4.38** 点，且在代码与法律任务上表现尤为突出。 —- ### 3. 效率分析（Efficiency Analysis）与词元级参数化记忆方法 **MLP Memory** 进行系统性的资源开销对比，基于共同的 4B 词元语料库： - **新增参数量**：DFM 增加 0.75B 参数，约为 MLP Memory（1.5B）的 **50%**。 - **训练时间**：在 16 张 A800 GPU 上，DFM 训练约 **24 小时**，相比 MLP Memory 的 64 小时减少约 **62.5%**。 - **离线检索工作量**： - 检索查询数：由 4B（词元级）降至 125M（32 词元块级），减少 **32×**（降幅 96.88%）。 - 检索返回项总数：由 4.096T（Top-1024）降至 2B（Top-16），减少 **2048×**（降幅 99.95%）。 —- ### 4. 消融实验与分析（Ablations and Analysis）以 **Mistral-7B-v0.3** 为主干，基于预测记忆与冻结骨干，系统检验关键设计选择： - **块大小（Chunk Size）**：对比 16、32、64 词元块。32 词元取得最佳平均（27.21），64 词元仅下降 0.14 点，验证块级监督在效率与性能间的平衡。 - **融合深度与位置（Fusion Depth and Placement）**： - 对比 1、2、4、6、8 个融合层。 - 对比仅最后四层（

28,31
）、起始层 2（
2,10,21,31
）与默认配置（
9,16,24,31
）。 - 结果表明：分布于**中间至深层**的四层融合显著优于仅集中在输出层附近的融合。 - **记忆槽数量（Number of Memory Slots）**：对比 Top-2、4、8、16。平均性能差异仅 0.33 点，表明 DFM 对较少的记忆槽具有鲁棒性。 - **门控机制（Memory Gating）**： - 移除门控平均下降 0.38 点。 - 对比门控偏置初始化 bg ∈ -6, -4, -2, 0 。 b_g=0 取得最高平均（27.90），但论文保守地保留 b_g=-2 作为默认，以限制记忆分支对预训练主干的初始扰动。 —- ### 5. 补充验证与案例分析 - **跨架构验证（附录 B.1）**：在 **OLMo-3-1025-7B** 上重复六任务 QA 协议，DFM 将平均分从 17.99 提升至 **25.49**，超越最强基线 RETRO（23.63）。 - **LawBench 细粒度结果（附录 B.2）**：报告了 Qwen3-4B 与 Qwen3-8B 在 LawBench 20 个子任务上的详细分数，展示 DFM 在法律知识记忆、理解与应用各维度的表现。 - **扩展消融（附录 C）**：补充了学习率（ 1×10^(-5) vs 2×10^(-5) ）、投影器共享/独立、记忆预测器深度（14/28/56 层）、以及记忆预测目标（MSE vs Cosine similarity）的对比。 - **案例研究（附录 E）**： - **QA 案例**：可视化 HotpotQA 上 Base、MLP Memory 与 DFM 的答案差异，展示 DFM 纠正事实性错误的实例。 - **离线检索监督案例**：展示训练数据中查询块、检索到的近邻块与真实续写之间的对齐关系，说明离线监督的合理性。 Q5: 有什么可以进一步探索的点？基于论文的架构设计与实验结果，以下几个方向值得进一步探索： —- ### 1. 动态与自适应的记忆粒度论文采用固定长度（如 32 词元）的非重叠分块策略。未来可探索**基于语义边界的自适应分块**（例如，按句子、段落或主题边界动态划分），或构建**层次化多粒度记忆**（粗粒度文档级记忆与细粒度实体级记忆结合）。这可能在保持构造效率的同时，提升对精细事实的召回能力。 ### 2. 与轻量级在线检索的混合机制 DFM 在推理阶段完全摒弃了外部检索，以避免延迟。然而，对于训练后产生的新知识或低频长尾事实，纯参数化记忆可能存在覆盖盲区。探索**“参数化记忆为主、轻量级在线检索为辅”**的混合架构——例如，让门控机制同时决定是否激活在线检索分支——可能在保持低延迟的同时进一步提升事实准确性。 ### 3. 记忆的高效编辑与增量更新参数化记忆一旦训练完成，其知识即固化在新增的预测器与融合模块中。如何在不重训整个模块的前提下，**快速编辑或撤销特定记忆**（如纠正过时事实、消除有害知识）是一个关键问题。未来研究可借鉴模型编辑（model editing）或持续学习中的记忆重放机制，为 DFM 设计针对性的知识更新策略。 ### 4. 深层融合机制的理论分析与可解释性论文通过消融实验验证了中间层融合优于输出层插值，但其内在机理尚未深入剖析。未来可通过**探测实验（probing）**分析： - 记忆在哪些解码器层被最强烈地激活； - 门控注意力头是否分化了不同功能（如事实检索、关系推理、时间推理）； - 预测记忆向量与目标检索嵌入在语义空间中的对齐模式。 ### 5. 记忆预测器架构的轻量化与替代设计论文尝试了 14、28、56 层预测器，发现平均性能差异有限。这暗示预测器可能存在过度参数化。未来可探索**线性注意力、状态空间模型（SSM）或小型 MoE** 作为预测器骨干，以进一步降低训练与推理开销，同时保持或提升记忆生成质量。 ### 6. 渐进式骨干解冻与灾难遗忘的平衡论文严格冻结了预训练主干以避免灾难性遗忘。未来可研究**渐进式解冻策略**（如逐步放开融合层邻近的骨干参数）或**DFM 与 LoRA 的联合训练**，在控制遗忘风险的前提下，增强主干对注入知识的适应能力，尤其针对需要深度领域重塑的任务（如法律、医学）。 ### 7. 超长上下文下的记忆压缩与层次化预测随着上下文长度增加，记忆预测器处理的前缀块嵌入序列 C(le j) 线性增长。对于超长文档（如整本书籍、长篇法律合同），可探索**块嵌入的在线压缩、摘要或层次化聚类**，使预测器在恒定计算开销下处理任意长的前缀历史。 ### 8. 跨模态与多模态知识注入当前 DFM 聚焦于文本语料。将其扩展至**代码-文本、图像-文本或视频-文本**场景具有直接潜力：例如，以代码块为单位构建记忆，或将视觉编码器的块级特征作为目标记忆，通过交叉注意力注入多模态大语言模型，验证深层融合机制在跨模态知识获取中的通用性。 ### 9. 更细粒度或动态的门控策略现有门控在注意力头级别以标量控制记忆贡献。未来可探索： - **通道级（channel-wise）门控**，允许同一头内不同维度对记忆的选择性吸收； - **基于任务或层的自适应门控初始化**，替代固定的 bg = -2 ； - **动态记忆丢弃（memory dropout）**作为正则化手段，提升泛化性。 ### 10. 复杂推理与智能体任务的验证论文的评测集中于问答与领域自适应。DFM 在需要**多步工具调用、长程规划或自我纠错**的智能体（agent）任务中是否依然有效，尚待验证。此类任务要求记忆不仅是静态事实的存储，还需支持动态上下文的快速更新与调用，是对深层融合记忆架构的更高阶测试。 Q6: 总结一下论文的主要内容这篇论文提出 **Deep Fusion Memory (DFM)**，一种面向大语言模型的参数化记忆架构，旨在以更低的离线监督成本获取外部知识，并将其深度整合到解码器的中间隐藏状态中，从而在推理阶段完全摆脱对在线检索的依赖。 ### 1. 研究背景与问题大语言模型在知识密集型应用中常面临事实缺失、记忆模糊或知识过时的问题。现有方案各有局限： - **持续预训练 / LoRA**：易导致灾难性遗忘； - **非参数检索（RAG、RETRO 等）**：推理时需在线检索，延迟显著； - **现有参数化记忆（如 MLP Memory、Memory Decoder）**：采用**词元级（token-level）**记忆目标，离线监督构建成本极高；且仅通过**输出概率插值**融合记忆，属于浅层融合，无法让解码器的后续层进一步加工记忆信息。 ### 2. 核心方法 DFM 由两大模块组成，在**冻结预训练主干**的前提下端到端联合训练： #### （1）因果块级记忆预测器 - 将训练序列划分为长度为 C 的非重叠文本块 X_0, dots, X(J-1) 。 - 对每个块 Xj （ j ge 1 ），将其前一区块 X(j-1) 的均值池化嵌入作为查询，离线检索语料库中的 Top- K 近邻块嵌入，构成目标记忆 Vj ∈ R^(K × d_m) 。 - 记忆预测器以因果 Transformer 处理前缀块嵌入序列 C(le j) ，生成预测记忆：

Vj = Predictorφ(C_(le j)) ∈ R^(K × d_m)

块级监督使构造训练数据所需的检索查询量减少 ** 32× **，检索项总量减少 ** 2048× **。 #### （2）门控交叉注意力记忆融合 - 共享投影器 Ppsi 将预测记忆映射到解码器隐藏空间： M_j = P_psi(V_j) ∈ R^(K × d) 。 - 在选定的解码器层（如第 9、16、24、31 层），引入并行的**记忆交叉注意力**分支： - 查询来自当前词元的归一化隐藏状态 z_t ； - 键、值来自该词元所属区块的投影记忆 M_j ； - 通过 Sigmoid 门控标量 g(t,a) = σ(W_g z_t + b_g) 调节每个注意力头的记忆贡献。 - 记忆分支与自注意力并行计算，共同进入残差更新：

ht = h_t + SelfAttn(z(le t)) + WO Concat(a=1)^(H) [ g(t,a) · o(t,a) ]
这使得后续解码器层能够对融合后的记忆与上下文进行深度加工，实现**深层融合**。 #### （3）联合训练目标

L = L(LLM) + β L(MSE)
其中 L(LLM) 为标准下一词元交叉熵损失， L(MSE) 为预测记忆与离线目标记忆的均方误差（ β=1 ）。仅优化新增的记忆预测器、投影器、交叉注意力与门控参数；主干网络、检索编码器与目标记忆保持冻结。 #### （4）推理推理时无需任何数据存储搜索或外部编码器，直接由输入提示通过记忆预测器生成记忆，并注入对应解码器层。 ### 3. 实验结果论文在知识密集型问答与领域自适应任务上进行了系统评估。 #### 知识密集型问答在 **Mistral-7B-v0.3** 与 **Qwen3-8B-Base** 上，使用英文维基百科训练，评测 NQ、WebQA、HotpotQA、2WikiMultiHopQA、MuSiQue 与 Bamboogle： - Mistral 上六任务平均分达到 **27.21**，相对最强基线提升 **12.71%**； - Qwen3-8B 上达到 **26.46**，相对最强基线提升 **11.19%**； - 在单跳与多跳 QA 上均优于 CPT、LoRA 与 MLP Memory 等参数化基线。 #### 领域自适应在 **Qwen3-4B-Base** 与 **Qwen3-8B-Base** 上分别于代码（Swallow-Code）、数学（Swallow-Math）与法律（DISC-Law-SFT）数据上训练： - 4B 模型平均提升 **6.51** 点，8B 模型平均提升 **4.38** 点； - 在法律任务（LawBench）上优势尤为显著。 #### 效率对比与词元级参数化记忆（MLP Memory）相比： - **参数**：新增 0.75B 参数，减少约 **50%**； - **训练时间**：在 16 张 A800 GPU 上由约 64 小时降至 24 小时，减少 **62.5%**； - **监督构建**：检索查询减少 **96.88%**，检索返回项减少 **99.95%**。 #### 消融分析 - **块大小**：32 词元为较优平衡点，64 词元仅使平均分下降 0.14 点； - **融合位置**：将记忆融合分布于中间至深层（如第 9、16、24、31 层）显著优于仅集中在最后几层； - **记忆槽数**：Top-2 至 Top-16 的平均性能差异仅 0.33 点，显示出对记忆槽数量的鲁棒性； - **门控初始化**：门控机制对性能有正面作用，保守的偏置初始化（ b_g=-2 ）可在训练初期限制记忆分支对主干的扰动。 ### 4. 主要贡献 - 提出 DFM 架构，通过**块级连续记忆预测**与**门控交叉注意力深层融合**，实现了无需在线检索的参数化知识注入； - 大幅降低参数化记忆的监督构建与训练开销，同时减少新增参数量； - 在多项问答与领域自适应基准上取得一致且显著的性能提升，验证了深层融合与共享块级监督的有效性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Rubin Wei,Siyuan Sun,Hao Sun,Yuliang Liu,Xiang Shi,Jiarui Wang,Junming Zhang,Zhouhan Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.25100.pdf

Arxiv URL: https://arxiv.org/abs/2610.25100

Arxiv ID: 2610.25100

CoolPaper URL: https://papers.cool/arxiv/2610.25100

Published: 2026-10-24T01:57:34.044Z

Updated: 2026-10-24T01:57:34.044Z

8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models

Abstract:Fine-grained visual understanding requires distinguishing subtle differences in local attributes and spatial relations, yet remains challenging for existing vision-language models. Unified multimodal models (UMMs) offer a new opportunity through generation pathways that preserve rich visual information complementary to understanding. However, existing generation-assisted understanding methods mainly rely on generative supervision or explicit generation and have not systematically explored direct use of native generation-side representations. To address this gap, we systematically analyze what generation-side representations offer for fine-grained understanding, finding that they are more sensitive to fine-grained semantic changes, capture task-relevant changes missed by understanding-side representations, and depend on correct spatial organization for this advantage. Guided by these findings, we design GAFU, a post-training framework that unlocks native generation-side information for fine-grained understanding. It compresses generation-side visual representations into compact (G) tokens that preserve fine-grained visual details, enabling task-conditioned retrieval by the understanding pathway. Experiments show that GAFU consistently outperforms SFT baselines trained on the same data across diverse visual understanding tasks and UMM architectures, with maximum relative improvements of 20.00\%, 17.94\%, and 8.62\% on VStar-Bench, OmniSpatial, and VSR-Bench, respectively. Overall, GAFU converts complementary information from the generation pathway into gains in fine-grained visual understanding, providing an effective path toward synergy between generation and understanding in UMMs.

中文摘要

摘要：细粒度视觉理解需要区分局部属性和空间关系的细微差别，但对现有视觉语言模型来说仍具挑战性。统一多模态模型（UMMs）通过世代路径提供了新机遇，保留丰富的视觉信息，并补充理解。然而，现有的代际辅助理解方法主要依赖生成监督或显式生成，尚未系统性探索原生代侧表征的直接应用。为弥补这一空白，我们系统分析了代际侧表征对细粒度理解的贡献，发现它们对细粒度语义变化更敏感，捕捉理解端表征遗漏的任务相关变化，并依赖正确的空间组织实现这一优势。基于这些发现，我们设计了GAFU，这是一个后培训框架，解锁原生代际侧信息以实现细粒度理解。它将世代侧的视觉表示压缩为紧凑的 \（G\）符号，保留细粒度的视觉细节，使理解路径能够实现任务条件检索。实验显示，GAFU 在不同视觉理解任务和 UMM 架构中，始终优于同一数据训练的 SFT 基线，VStar-Bench、OmniSpatial和 VSR-Bench 分别相对提升 20.00%、17.94% 和 8.62\%。总体而言，GAFU 将生成路径中的互补信息转化为细粒度视觉理解的提升，为生成与理解在 UMM 中实现协同提供了有效路径。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.23987 (HTTP 429)

Authors: Tengju Ru,Weitong Lian,Zecong Tang,Zhiheng Liu,Lingyi Meng,Haoran Li,Kaixuan Wang,Bohao Li,Xihui Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.23987.pdf

Arxiv URL: https://arxiv.org/abs/2610.23987

Arxiv ID: 2610.23987

CoolPaper URL: https://papers.cool/arxiv/2610.23987

Published: 2026-10-24T01:57:34.579Z

Updated: 2026-10-24T01:57:34.579Z

9. LaLa-World: Scaling Latent World Models with Natural Language Actions

Abstract:This paper shows that JEPA-style latent world models (LWMs) can learn across diverse domains and data sources by adopting the language-conditioned interface of video generation models. We establish this approach as an effective and efficient basis for planning with imagination and downstream policy fine-tuning. To this end, we introduce LaLa-World, a Language-conditioned Latent World model that learns from simulation and robot trajectories together with broader image and video data. Two designs make this work. First, we describe both numerical actions and visual changes in language, enabling joint training of a single future predictor across heterogeneous datasets. Second, we build the predictor on a language model, allowing it to interpret language conditions while predicting future latent states. The resulting predictor achieves higher average MPC planning performance than existing LWMs trained separately for each domain or task. Adding image and video data further improves average planning performance and robustness to action phrasing. In a matched comparison with an RAEv2-based video generation model baseline, LaLa-World reaches comparable planning performance with $6\times$ less training cost and $13.9\times$ faster planning. Beyond planning, the pretrained LaLa-World serves as an initialization for LaLa-Policy, which jointly predicts actions and future visual representations. LaLa-Policy performs competitively with Cosmos Policy on LIBERO and RoboCasa, with up to $5.5\times$ faster inference.

中文摘要

摘要：本文表明，JEPA风格的潜在世界模型（LWM）可以通过采用视频生成模型的语言条件接口，在多样的领域和数据源中进行学习。我们将这种方法确立为进行想象规划和下游策略微调的有效且高效的基础。为此，我们引入了LaLa-World，一种语言条件潜在世界模型，它能够同时从模拟和机器人轨迹以及更广泛的图像和视频数据中学习。该工作的成功依赖于两个设计：首先，我们用语言描述数值操作和视觉变化，从而使单一的未来预测器可以在异构数据集上联合训练；其次，我们将预测器建立在语言模型上，使其在预测未来潜在状态的同时能够理解语言条件。由此得到的预测器在平均MPC规划性能上优于针对每个领域或任务单独训练的现有LWM。加入图像和视频数据进一步提升了平均规划性能，并增强了对动作表述的鲁棒性。在与基于RAEv2的视频生成模型基线进行的匹配比较中，LaLa-World以6倍更低的训练成本和13.9倍更快的规划速度，达到了相当的规划性能。除了规划之外，预训练的LaLa-World还可作为LaLa-Policy的初始化，后者能够联合预测动作和未来视觉表示。LaLa-Policy在LIBERO和RoboCasa上的表现与Cosmos Policy具有竞争力，推理速度最高提升达5.5倍。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*潜在世界模型（Latent World Models, LWMs）难以跨多样化领域和数据源进行联合训练与扩展\*\*的问题，具体体现在以下几个方面： ### 1. 动作空间的异构性现有的JEPA风格LWMs（如V-JEPA 2-AC、DINO-WM）通常在单一领域的仿真或机器人数据上训练，其动作以数值向量形式表示。不同领域中，相同维度的数值向量可能具有完全不同的物理含义（例如，$

2, 4
在一个域中表示水平和垂直位移，在另一个域中表示力的大小）。这种领域特异性使得单一预测器难以跨域学习共享的动态规律。 ### 2. 图像与视频数据的利用瓶颈图像和视频数据提供了关于世界演化的丰富观测，但往往缺乏数值动作标注。传统的动作条件预测器依赖数值向量作为输入，导致这些海量视觉数据无法被直接用于训练LWMs，限制了模型的扩展能力。 ### 3. 规划与策略学习的效率与泛化虽然LWMs在潜在空间中进行规划比生成式世界模型更高效，但现有方法通常需要为每个域单独训练。此外，预训练LWMs作为下游策略学习初始化的潜力也尚未被充分探索。 —- ### 核心解决思路为应对上述挑战，论文提出以自然语言作为统一接口，构建名为LaLa-World的语言条件潜在世界模型。其关键创新在于： - 统一异构动作：将仿真/机器人数据中的数值动作转换为自然语言描述（如”move 2 left and 4 up”），使不同动作空间在形式上统一； - 融合无动作标注的视觉数据：将图像编辑指令和视频描述作为语言条件，使同一预测器能同时从控制轨迹和图像/视频数据中学习； - 语言模型即预测器：基于预训练语言模型构建未来预测器，使其直接理解语言条件并预测未来潜在状态，无需额外的文本编码器。通过这一设计，论文旨在证明：无需像素级重建，单一LWM即可在跨域规划中超越现有分域训练的基线，并在训练和推理效率上显著优于生成式世界模型，同时还能有效初始化为下游策略模型（LaLa-Policy）。 Q2: 有哪些相关研究？根据论文内容，相关研究主要集中在以下五个方向： ### 1. 潜在世界模型（Latent World Models）这类模型在学习的表征空间中预测未来状态，而非直接生成像素。近期工作主要遵循联合嵌入预测架构（Joint-Embedding Predictive Architecture, JEPA）： - V-JEPA 2-AC 与 V-JEPA 2.1：通过自监督视频模型实现理解与规划，将潜在规划扩展到真实机器人操作 - DINO-WM：展示使用冻结DINOv2视觉编码器进行零样本规划的有效性 - JEPA-WMs：系统研究物理规划中的设计选择，包括多步 rollout - PLDM：在无奖励离线数据上通过潜在动态模型进行规划 - LeWorldModel 与 AdaJEPA：关注训练稳定性，前者通过SIGReg防止表征崩溃，后者在测试时更新预测器 - Newt：跨多个控制与游戏环境学习，但仍局限于控制领域这些方法的共同局限是通常仅在单一领域内训练数值动作条件的预测器，难以跨异构数据联合训练。 ### 2. 视频生成模型（Video Generation Models）也称为生成式世界模型，通过语言条件合成图像或视频： - Sora / OpenAI视频生成模型、Wan、Stable Video Diffusion、Phenaki、VideoPoet：支持开放域文本到视频生成 - Cosmos-Predict2 与 Cosmos World Foundation Model：用于物理AI的大规模视频生成平台 - RAEv2（Representation AutoEncoder v2）：使用自监督预训练视觉编码器替代VAE，使生成式模型与LWM可共享编码器这些模型通过语言接口学习跨域视觉变化，并已被用作游戏、驾驶和机器人交互式仿真的先验，但在MPC规划中因需反复生成像素而计算成本高昂。 ### 3. 基于世界模型的规划与策略学习 - 经典方法：PlaNet（在潜在空间中使用CEM规划）、Dreamer系列（在想象轨迹上训练Actor-Critic策略）、IRIS（基于Transformer的世界模型）、MuZero（结合树搜索与学习模型）、TD-MPC2（学习带奖励/价值预测的潜在动态以支持MPC） - 近期方法：更狭义地将世界模型定义为未来状态预测器，通过采样优化直接朝向图像目标进行MPC规划（如DINO-WM、JEPA-WMs中的设置）上述方法或依赖重建与奖励监督，或局限于单域训练。 ### 4. 动作预测模型（Action Prediction Models） - 视觉-语言-动作模型（VLAs）：如RT-2、OpenVLA、π0.5、UniVLA、CogVLA等，通过微调视觉语言模型直接将观测与指令映射为动作，但仅预测动作 - 基于视频的策略：UniPi与AVDC先生成任务执行视频再转换为控制动作 - 统一视频-动作模型：如UVA、Diffusion Transformer策略，联合预测动作与未来帧 - Cosmos Policy：将Cosmos-Predict2微调的机器人策略，联合预测动作、未来状态与价值，是LaLa-Policy最直接的对比基线 ### 5. 视觉表征预训练自监督视觉编码器为潜在世界模型提供基础表征： - 对比学习与自蒸馏：MoCo、DINOv2、DINOv3、SigLIP2等，通过跨增强视图学习不变性 - 掩码图像建模：MAE、iBOT等，预测被掩码的图像块 - JEPA系列：V-JEPA、I-JEPA等，预测被掩码区域的表征而非像素这些编码器传统上通过分类、分割、深度估计等下游任务评估，而V-JEPA 2等近期工作将其评估扩展到规划任务：冻结编码器，在其上训练动作条件预测器进行MPC规划。 —- 与现有工作的核心区别：LaLa-World首次将自然语言作为统一接口引入JEPA风格的潜在世界模型，使单一预测器能够跨异构控制数据与广义图像/视频数据进行联合训练，并在不依赖像素重建的前提下，同时提升规划效率、跨域泛化与下游策略初始化能力。 Q3: 论文如何解决这个问题？论文通过提出 LaLa-World（Language-conditioned Latent World model） 解决潜在世界模型跨域扩展的问题。核心思路是以自然语言作为统一接口，将异构的控制动作与广义的视觉变化描述纳入同一框架，使单一预测器能够跨领域、跨数据源进行联合训练。具体实现包含以下关键设计： —- ### 1. 构建语言条件化的转移数据该方法通过语言统一动作空间与视觉变化，使控制轨迹与图像/视频数据能够共享相同的训练格式 (xt, z, x(t+1)) ，其中 z 为自然语言条件。 - 异构数值动作的语言化 对于仿真与机器人数据，论文使用固定模板将数值动作向量转换为自然语言描述。例如，不同领域的动作被统一表述为： > “move 2 left and 4 up”（移动）、”push with force 2 downward”（推力）、”rotate roll +2deg, pitch -7deg”（旋转）这种转换保留了各领域的数值幅度、方向与物理含义，同时使不同动作空间在形式上完全一致，从而允许将七个不同维度和物理意义的控制数据集合并训练单一预测器。 - 无动作标注数据的融合 对于缺乏数值动作标注的图像和视频数据，直接以视觉变化的描述作为语言条件 z ： - 视频数据（如OpenVid）：使用相邻帧之间的变化描述（如”The train moves forward along the tracks”） - 图像编辑数据（如OmniEdit、ShareGPT-4o-Image）：使用编辑指令作为条件（如”Swap the moon with a vibrant sunset”）这类数据不仅扩展了训练规模，还使预测器接触到更丰富、更自然的语言表述，从而提升对语言语义的敏感性和对动作措辞变化的鲁棒性。 —- ### 2. 基于语言模型的预测器架构现有LWM通常通过AdaLN或特征拼接等方式嵌入数值动作，无法处理文本；而视频生成模型虽支持语言条件，但需额外的文本编码器。LaLa-World通过以下架构设计解决这一矛盾： - 预训练语言模型作为预测器骨干 选用Qwen3.5-0.8B等预训练语言模型作为未来预测器 Pφ 。语言条件 z 通过模型自身的分词器直接转换为词元嵌入，与视觉表征一同输入模型。这消除了对独立文本编码器的需求，同时赋予预测器原生语言理解能力。 - 视觉到语言嵌入空间的适配 观测编码器 Eθ （如冻结的DINOv2-S/14或DINOv3-L/16）将图像 x_t 映射为潜在表征 e_t$。随后，一个两层MLP将视觉块表征投影到语言模型的嵌入空间，并叠加3D位置编码（时间维度 + 2D空间维度）：

e_t^(proj) = MLP(e_t) + PosEmbed(t, h, w)

**未来表征的查询读出** 在输入序列末尾附加可学习的查询词元（learned query tokens）。这些查询通过语言模型骨干聚合视觉上下文与语言条件的信息，最终由预测头映射为未来潜在状态：
e(t+1) = PredHead(LLM([e(t-w+1:t)^(proj); z; queries]))
**训练目标** 仅通过最小化预测未来表征与目标表征之间的平方误差进行训练，无需像素重建或奖励监督：
L = |e(t+1) - e(t+1)|^2
其中 e(t+1) = Eθ(x(t+1)) 。值得注意的是， proprioceptive state（本体感受状态）既不作为输入也不作为预测目标，以避免引入域特定信息。 —- ### 3. 从世界模型到策略模型（LaLa-Policy）为验证预训练LWM作为策略学习初始化的价值，论文进一步将LaLa-World微调为 **LaLa-Policy**： - **联合预测动作与未来潜在状态** 在预测器原有未来查询的基础上，增加可学习的动作查询（action queries）。给定当前观测 x_t 与任务指令 ell ，预测器输出未来潜在表征 e(t+N) 以及动作条件特征 h_(t:t+N-1) 。 - **扩散式动作生成** 动作生成器 A_psi （基于Diffusion Transformer）以预测器输出的条件特征为引导，从高斯噪声中通过迭代去噪生成动作块：

(e(t+N), h(t:t+N-1)) = Pφ(Eθ(xt), ell), quad a(t:t+N-1) = Apsi(ε; h(t:t+N-1)), quad ε sim N(0, I)
这种设计允许策略表示到达目标的多种可能动作序列。 —- ### 4. 方法优势总结通过上述设计，LaLa-World实现了： - **跨域统一**：单一预测器同时处理2D导航（PointMaze）、推压任务（Push-T）、7自由度机器人操作（DROID）以及开放域视频/图像编辑数据； - **数据扩展性**：语言接口打破了控制数据与无动作标注视觉数据之间的壁垒； - **效率优势**：相较于基于扩散Transformer的生成式世界模型（RAEv2），在匹配条件下实现 **6× 更低训练成本** 与 **13.9× 更快推理速度**，同时规划性能更高； - **下游可迁移性**：预训练的潜在动态知识可通过微调有效迁移至动作预测任务，LaLa-Policy在LIBERO与RoboCasa上与Cosmos Policy性能相当，推理速度提升 **5.5×**。 Q4: 论文做了哪些实验？论文围绕 **MPC规划** 与 **下游策略学习** 两大核心任务展开实验验证，并在附录中提供了大量消融分析与扩展实验。 —- ## 1. MPC规划实验 ### 1.1 与现有潜在世界模型的对比在 **7个控制数据集** 上评估LaLa-World的规划能力，包括： - **仿真环境**：Wall、PointMaze、Push-T、MetaWorld（Reach / Reach-Wall）、Rope、Granular - **真实机器人数据**：DROID - **零样本迁移**：RoboCasa（Reach / Place，未参与训练） **对比基线**涵盖多种世界模型范式： - LWMs：DINO-WM、JEPA-WMs、V-JEPA 2-AC - 带重建/奖励的模型：DreamerV3、TD-MPC2、IRIS、LeWorldModel **关键结果**（表1）：单一跨域联合训练的LaLa-World预测器在仿真组平均成功率达到 **72.1%**，超越最佳基线JEPA-WMs（64.6%）；在包含Rope、Granular、RoboCasa、DROID的组别中平均得分 **50.5%**，同样优于所有对比基线。在零样本的RoboCasa任务上，LaLa-World达到 **40.6%**（Reach）与 **46.9%**（Place）。 —- ### 1.2 图像与视频数据的贡献验证将OpenVid、OmniEdit等图像/视频过渡数据加入训练的效果（图4）： - **性能提升**：仅使用控制轨迹时平均得分59.3，加入图像/视频后提升至 **61.6** - **措辞鲁棒性**：在评估时对动作模板进行同义改写（如将”move the gripper”改为”shift the robot hand”），仅控制数据训练的模型性能下降6.8分，而全数据训练的模型几乎不受影响（61.6 → 61.0），表明视觉变化描述数据增强了预测器对语言语义的理解 —- ### 1.3 定性语言动作的规划测试LaLa-World是否能在**无精确数值幅度**的情况下规划： - 将数值动作映射到三个定性级别：**slightly** / no modifier / **far** - 在Wall、MetaWorld、RoboCasa等域仍保持可观成功率（如Wall达83.3%，MetaWorld-R达70.8%），证明预测器可从纯方向与相对幅度描述中推断动态 —- ### 1.4 潜在 vs. 生成式世界模型与基于RAEv2的生成式世界模型进行**严格对齐比较**（相同视觉编码器DINOv3-L/16、相同语言条件、相同训练数据）： - **训练效率**：LaLa-World在2小时内达到RAEv2（5步去噪）12小时的性能，最终规划得分 **59.4%** vs. **48.0%** - **推理效率**：全深度LaLa-World规划速度比RAEv2快 **2.9×**（1步去噪）至 **13.9×**（5步去噪） - **定性可视化**（图6）：两个模型都能预测合理的未来状态，但LaLa-World无需承担像素重建开销 —- ## 2. 策略学习实验（LaLa-Policy）将预训练的LaLa-World微调为策略模型 **LaLa-Policy**，联合预测动作块与未来潜在表征。 ### 2.1 LIBERO基准在4个套件（Spatial、Object、Goal、Long）上评估： - 使用LaLa-World初始化的LaLa-Policy平均成功率达 **97.7%** - 优于随机初始化（94.1%）与Qwen3.5预训练初始化（95.7%），且超过或持平于Cosmos Policy（97.3%）及多个VLA基线（如π0.5、CogVLA） ### 2.2 RoboCasa基准在24项厨房操作任务上测试两种数据规模： - **50 demos**：LaLa-World初始化达到 **57.3%**，优于Cosmos Policy的56.0%与随机初始化的55.5% - **300 demos**：达到 **66.4%**，与Cosmos Policy（66.0%）及Video Policy（66.0%）相当 ### 2.3 推理效率平均每条轨迹的推理时间（表4）： - LIBERO：LaLa-Policy **0.86s** vs. Cosmos Policy **4.45s**（快5.2×） - RoboCasa：LaLa-Policy **2.12s** vs. Cosmos Policy **11.71s**（快5.5×） —- ## 3. 附录中的扩展与消融实验 ### 3.1 ImageNet视觉变化检索将ImageNet图像变换（裁剪、翻转、位移等）描述为语言动作，训练LaLa-World预测目标视图。在256个候选视图中检索的**平均倒数排名（MRR）达0.856**，与IWM基线相当，证明语言条件可精确控制静态图像的视觉变换。 ### 3.2 可通信世界建模（Communicable World Modeling）用大语言模型（Claude Opus 5 / GPT-6 Astra）替代CEM作为规划器，仅通过语言与LaLa-World交互： - LLM提出候选计划，LaLa-World返回目标距离成本 - 仅需 **8–90次** 世界模型推演/轨迹，而传统CEM需 **4,500–54,000次** - 在Wall上达到100%成功率，展示了LLM与LWM通过自然语言协作规划的可行性 ### 3.3 架构与训练消融 - **语言敏感性分析**（图E）：通过替换方向词、幅度词评估预测器是否真正依赖语言语义。Qwen3.5骨干在方向反转时分数显著下降，而Nemotron虽验证损失相似却对语义不敏感，说明低损失不等于语言理解 - **位置编码与读出设计**（图F/G）：3D输入位置编码（时间+空间）配合可学习查询词元，语言依赖度最高 - **初始化与联合训练**（表C）：预训练初始化+联合训练平均得分60.2，优于单域训练（54.5）与随机初始化+联合训练（55.6） - **视觉编码器消融**（表D）：DINOv2-S/14与DINOv3-L/16提供互补信息，联合使用时平均得分从53.7/47.7提升至 **63.0** ### 3.4 动作措辞鲁棒性详细分析（表F）在5个领域对比原始模板与改写模板，全数据训练在所有域均保持更稳定的性能。 ### 3.5 大规模定性可视化附录提供了覆盖所有基准的**解码未来状态可视化**： - **数值语言动作**（图M–S）：涵盖Wall、PointMaze、Push-T、MetaWorld、DROID、RoboCasa Reach/Place - **定性语言动作**（图T–Y）：展示无精确数值时的MPC轨迹 - **策略 rollout**（图Z–AN）：LIBERO与RoboCasa的多视角观测与解码预测对比，验证LaLa-Policy对未来机器人运动与物体位置变化的预测能力 Q5: 有什么可以进一步探索的点？基于论文第6节（Conclusion）与附录B（Future Directions）的论述，可进一步探索的研究方向包括： ### 1. 扩展数据规模与模型容量当前LaLa-World采用约0.8B参数的预测器，训练数据规模仍小于Wan等大规模视频生成模型。实验表明，加入图像与视频数据已能提升规划性能与语言鲁棒性，但尚未验证这些收益在更大规模上是否持续。未来可分别或同时增大数据集容量与预测器规模，系统测量其对规划精度及下游策略学习的影响。 ### 2. 视觉表征的端到端学习目前LaLa-World冻结视觉编码器（如DINOv2、DINOv3）以防止表征崩溃（collapse），但这也限制了编码器适应未来预测任务的能力。更优的世界模型可能需要专门面向动态预测的视觉表征。因此，**在防止崩溃的前提下联合训练视觉编码器与预测器**（例如借鉴LeWorldModel的SIGReg或AdaJEPA的测试时更新思路）是重要的下一步。 ### 3. 超越单步预测：长程自回归 rollout 视频生成模型能够生成连续的未来帧序列，而当前LaLa-World仅对**下一时刻**的潜在状态进行监督。潜在世界模型能否通过自回归方式生成同样长的未来序列仍属开放问题。实现这一点需要在训练时展开多步自回归轨迹，并对多个未来状态施加损失，而非仅监督单步转移。这将显著增加训练成本，但对评估预测质量随 rollout 长度增长的变化至关重要。 ### 4. 扩展规划时间范围（Horizon）遵循JEPA-WMs与DINO-WM的评估协议，当前MPC实验采用的规划 horizon 较短（最多6步，见附录表H）。评估更长horizon（如数十步）有助于检验模型对**远期后果**的预见能力，并支撑需要长程推理的真实世界任务。上述多步监督训练可直接支持该扩展。 ### 5. 真实机器人上的策略评估 LaLa-Policy在LIBERO与RoboCasa仿真环境中已显示出竞争性表现与显著的推理加速，但其价值仍需在**真实机器人平台**上验证。将仿真中建立的预训练-微调范式迁移到物理世界，是验证其实用性的关键步骤。 ### 6. Best-of-N规划与价值学习当前LaLa-Policy通过扩散模型生成动作块，但未引入价值监督。Cosmos Policy进一步从策略 rollout 中学习，同时预测未来状态与价值，从而支持 **Best-of-N规划**（从N个候选动作块中选择最优者）。将LaLa-Policy扩展至此类带价值估计的规划框架，是提升其决策质量的有价值方向。 ### 7. 其他潜在方向 - **更细粒度的定性动作空间**：当前定性语言动作仅划分为 *slightly* / *no modifier* / *far* 三级。引入更连续或更丰富的语言幅度描述，可进一步提升无精确数值时的规划精度。 - **多编码器融合策略**：附录C.5显示DINOv2与DINOv3提供互补信息，但简单拼接未必在所有任务上最优。设计更高效的视觉表征融合机制（如动态选择或门控融合）值得探索。 - **与大语言模型更深度的协作**：附录C.2展示了LLM作为规划器、LaLa-World作为世界模型进行“可通信规划”的潜力。开发更高效的交互协议（如迭代优化、思维链引导），可进一步降低规划所需的世界模型调用次数。 Q6: 总结一下论文的主要内容这篇论文介绍了 **LaLa-World**，一种通过自然语言动作条件实现跨域扩展的潜在世界模型（Latent World Model, LWM），并展示了其在模型预测控制（MPC）规划与下游策略学习中的高效性。以下是主要内容总结： —- ### 1. 研究动机与核心问题现有的 JEPA 风格潜在世界模型（如 DINO-WM、V-JEPA 2-AC）通常依赖**数值向量**作为动作条件，导致： - **域间异构性**：不同控制域的动作维度与物理含义各异（如 $

2, 4
可能表示位移或力），难以用单一预测器联合训练； - 数据利用受限：大量图像与视频数据缺乏数值动作标注，无法用于训练动作条件预测器。因此，如何构建一个能跨多样化控制域与视觉数据统一学习、且保持潜在模型高效优势的系统，是本文要解决的核心问题。 —- ### 2. 方法：LaLa-World #### 2.1 语言条件化的统一接口论文提出以自然语言作为动作与视觉变化的共享接口，构建训练样本 (xt, z, x(t+1)) ： - 控制数据语言化：将仿真与机器人数据中的数值动作向量通过固定模板转换为自然语言（如 “move the gripper 0.81 right, 0.84 forward, 1.46 down”），使不同动作空间在形式上统一； - 视觉变化语言化：对于无动作标注的图像/视频数据（如 OpenVid、OmniEdit），直接以帧间变化描述或编辑指令作为条件 z （如 “The train moves forward along the tracks”）。 #### 2.2 基于语言模型的预测器架构 LaLa-World 采用编码器-预测器（Encoder-Predictor）架构： - 视觉编码器：使用冻结的预训练视觉 Transformer（如 DINOv2-S/14 或 DINOv3-L/16）将观测 xt 编码为潜在表征 e_t = Eθ(x_t) ； - 语言模型预测器：以 Qwen3.5-0.8B 为骨干，直接接收语言条件 z$ 的词元嵌入与视觉表征，通过两层 MLP 与 3D 位置编码（时间+空间）进行对齐，最终由可学习的查询词元（learned queries）读出未来状态：

e(t+1) = Pφ(e_(t-w+1:t), z)

**训练目标**：仅最小化潜在空间中的预测误差，无需像素重建：
L = |e(t+1) - e(t+1)|^2
2.3 LaLa-Policy：从世界模型到策略模型为验证预训练 LWM 作为策略初始化的价值，论文将 LaLa-World 微调为 **LaLa-Policy**： - 在预测器中引入**动作查询（action queries）**，联合预测未来潜在状态 e(t+N) 与动作条件特征 h(t:t+N-1) ； - 以 Diffusion Transformer（DiT）作为动作生成器 A_psi ，在条件 h 下从高斯噪声去噪生成动作块：

(e(t+N), h(t:t+N-1)) = Pφ(Eθ(xt), ell), quad a(t:t+N-1) = Apsi(ε; h(t:t+N-1))
—- ### 3. 实验与结果 #### 3.1 MPC 规划性能在 7 个控制数据集（Wall、PointMaze、Push-T、MetaWorld、Rope、Granular、DROID）及零样本 RoboCasa 上评估： - **超越现有 LWM**：单一联合训练的 LaLa-World 在仿真任务上平均成功率达 **72.1%**，优于分域训练的 JEPA-WMs（64.6%）与 DINO-WM（62.3%）； - **数据扩展收益**：加入图像/视频数据后，平均性能提升（59.3 → 61.6），且对动作模板同义改写更鲁棒； - **定性动作规划**：即使将数值幅度替换为 *slightly* / *far* 等定性描述，仍能在 Wall（83.3%）、MetaWorld-R（70.8%）等任务上成功规划。 #### 3.2 与生成式世界模型的对比在相同视觉编码器、语言条件与训练数据下，对比基于 RAEv2 的扩散 Transformer 生成式模型： - **性能**：LaLa-World 规划得分 **59.4%**，优于 RAEv2 的 **48.0%**（5 步去噪）； - **效率**：训练成本低 **6×**，推理速度快 **13.9×**（对比 5 步去噪 RAEv2）。 #### 3.3 下游策略学习在 LIBERO 与 RoboCasa 上微调 LaLa-Policy： - **LIBERO**：四套件平均成功率 **97.7%**，优于 Cosmos Policy（97.3%）及多种 VLA 基线； - **RoboCasa**（50 demos）：成功率 **57.3%**，优于 Cosmos Policy（56.0%）； - **推理加速**：平均每条轨迹推理时间比 Cosmos Policy 快 **5.5×**。 —- ### 4. 结论与贡献论文的主要贡献包括： 1. 提出 **LaLa-World**，首次利用自然语言作为共享接口，实现了单一潜在世界模型在异构控制数据与广义图像/视频数据上的联合训练； 2. 证明该模型在跨域 MPC 规划中优于现有分域训练的 LWM，且在匹配条件下比生成式世界模型更高效（更高性能、更低训练与推理成本）； 3. 展示预训练 LWM 可有效初始化为策略模型 **LaLa-Policy**，在仿真机器人任务上达到顶尖性能的同时显著加速推理。这些结果表明，**无需依赖像素级重建，潜在世界模型即可在可扩展性、规划效率与下游策略迁移方面提供实用优势**。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Junha Song,Geonmo Gu,Jeongeun Park,Heejeong Nam,Lucas Maes,Byeongho Heo,Dongyoon Han,Sangdoo Yun

Categories:

PDF URL: https://arxiv.org/pdf/2610.27851.pdf

Arxiv URL: https://arxiv.org/abs/2610.27851

Arxiv ID: 2610.27851

CoolPaper URL: https://papers.cool/arxiv/2610.27851

Published: 2026-10-24T01:57:36.776Z

Updated: 2026-10-24T01:57:36.776Z

Abstract:As model parameters scale up, sparsely activated Mixture-of-Experts (MoE) approaches have become essential for model scaling. However, mainstream models currently adopt hierarchical architectures, where experts in different layers, although topologically independent, exhibit substantial similarity and redundancy in their stored content. Compared to the hierarchically arranged \textbf{Local Expert} in existing mainstream models, we hypothesize that inter-layer shared \textbf{Meta Expert} hold greater potential. To this end, we conduct a multi-dimensional empirical comparison between Local and Meta Experts, and find that models incorporating Meta Experts exhibit lower parameter redundancy, together with lower cross-entropy loss and higher downstream task accuracy. With the activated quantity and the expert granularity held fixed, \textbf{our model matches the performance of Vanilla MoE using only 70—80\% of the experts}, substantially improving the model’s scaling potential. Beyond removing inter-layer redundancy among experts and improving information storage efficiency, our theoretical analysis further shows that, compared with Local Experts, Meta Experts provide hidden states with more flexible residual pathways, thereby improving information retrieval efficiency.

中文摘要

摘要：随着模型参数的增大，稀疏激活的专家混合（MoE）方法已成为模型扩展的关键。然而，目前主流模型采用分层架构，不同层的专家虽然在拓扑上相互独立，但其存储内容表现出较大的相似性和冗余。与现有主流模型中按层排列的\textbf{本地专家}相比，我们假设跨层共享的\textbf{元专家}具有更大潜力。为此，我们在多维度上对本地专家和元专家进行了经验比较，发现包含元专家的模型表现出更低的参数冗余，同时具有更低的交叉熵损失和更高的下游任务准确性。在激活数量和专家粒度固定的情况下，\textbf{我们的模型仅使用70—80\%的专家即可匹配原始MoE的性能}，大幅提升了模型的扩展潜力。除了消除专家之间的跨层冗余并提高信息存储效率外，我们的理论分析还表明，相较于本地专家，元专家为隐藏状态提供了更灵活的残差通路，从而提高了信息检索效率。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*稀疏混合专家模型（MoE）中分层专家架构导致的跨层参数冗余与信息存储/检索效率不足\*\*的问题。具体而言，论文围绕以下几个核心层面展开： ### 1. 核心研究问题主流MoE模型采用分层（hierarchical）架构，每层拥有独立的局部专家（Local Experts）。尽管这些专家在拓扑上相互独立，但不同层之间存储的知识存在显著相似性与冗余。论文质疑这种分层排他性设计的必要性，并提出：\*\*跨层共享的元专家（Meta Experts）是否能在减少冗余的同时，提升模型的有效容量与任务性能？\*\* ### 2. 实证优化问题论文系统探究了Meta Expert的多种配置形式，试图明确： - \*\*数量配比\*\*：Meta Expert与Local Expert在总专家数及每层激活数中的最优比例； - \*\*拓扑结构\*\*：是否每层都需要Meta Expert，以及Meta Expert本身是否需要轻度分层（如循环子池）； - \*\*参数效率\*\*：在保持激活专家数量和计算量（FLOPs）不变的前提下，能否用更少的总专家数（或总参数量）达到与标准Vanilla MoE相当的性能。实验发现，在固定激活粒度的条件下，基于Meta Expert的模型仅需Vanilla MoE的\*\*70–80%的专家数量\*\*（或75–90%的参数）即可达到可比的交叉熵损失与下游任务准确率，且这一优势随模型加深而扩大。 ### 3. 理论机制问题除了去除跨层冗余、提升参数存储效率外，论文进一步从\*\*残差连接与信息检索\*\*的角度解释Meta Expert为何有效： - 在分层MoE中，第 l 层的专家内容只能通过前向残差流传播到更深的层，且深层对浅层的反向影响仅通过梯度回传作用于该层私有参数，无法在同一前向传播中作为可寻址的激活内容被浅层读取。 - 在Meta Expert架构下，所有层共享同一专家池 θ 与路由 R 。这使得训练时各层对共享参数的梯度更新累积为：

θ^((T)) = θ^((0)) + ∑_(l=0)^(L-1) Deltaθ_l

由此，在推理的前向传播中，任意层 m 的隐状态可以通过共享专家池**双向访问**（bidirectional access）其他层 l 存储的内容：
I(m arrow l) ≈ -etaγ^2 ∑(t<T) Jm^((t)) J_l^((t))^top y_l^((t))
其中 J_m^((t)) 为共享块在第 m 层处的切空间雅可比矩阵。这种机制在激活层面引入了**反向残差通路**（backward residual connection），使浅层能直接读取深层已编码的信息，反之亦然，从而提升了信息检索的灵活性。 ### 4. 总结简言之，该工作试图将深度MoE中长期以来被视为固有成本的**跨层冗余**转化为**有效容量**，通过跨层专家共享机制，在降低参数冗余的同时，赋予隐状态更灵活的双向信息存取路径，最终实现更高效的模型扩展。 Q2: 有哪些相关研究？根据论文附录及正文中的文献综述，与本文相关的研究可归纳为以下几个方向： ### 1. 权重绑定与跨层参数共享（Weight Tying & Cross-Layer Sharing） - **嵌入层与输出头绑定**：Press & Wolf (2017); Inan et al. (2016) 提出将词嵌入矩阵与语言模型头矩阵绑定，几乎减半对应参数量并常能降低困惑度，这已成为现代语言模型的标准做法。 - **跨深度权重重用**：Dehghani et al. (2018); Lan et al. (2019) 将权重绑定推广到不同层之间，探索在深度维度上的参数复用。 ### 2. 循环 Transformer（Looped Transformers） - **核心思想**：Dehghani et al. (2018); Giannou et al. (2023) 等将同一块参数进行多次递归应用，以极少的权重展开到任意深度。 - **推理性能**：Bae et al. (2025); Saunshi et al. (2025); Wang et al. (2026) 表明，紧凑的循环模型能以远少的参数达到更大模型的推理性能，但代价是额外的递归步数和更高的串行计算/延迟开销。 - **与本文区别**：Meta Expert 在同一前向传播内、以专家粒度进行跨层共享，不增加递归深度，保持了标准 Transformer 的并行性。 ### 3. 注意力机制层面的共享 - **注意力权重共享**：Xiao et al. (2019); Lan et al. (2019); Mu et al. (2026) 跨层重用注意力投影或整个注意力块，在适度节省参数的同时保持准确率，提示 Transformer 每层参数预算存在部分冗余。 - **KV 缓存共享**：Sun et al. (2024); Brandon et al. (2024); Zuhri et al. (2025); Wu & Tu (2024); Wu et al. (2025) 在长上下文或推理服务场景中，让多层共享同一个 KV 缓存，以内存和吞吐换取表征独立性。这类工作主要影响推理时的缓存而非训练好的权重。 ### 4. 前馈网络（FFN）与 MoE 专家共享 - **密集 FFN 共享**：Lan et al. (2019); Pires et al. (2023); Thawakar et al. (2024) 探索跨层重用密集前馈网络参数，但结果不一，且通常均匀应用于每一层。 - **MoE 专家共享（与本文最相关）**：Li et al. (2025); Tan et al. (2025); Chen et al. (2026a); Huang et al. (2026); Chen et al. (2026b); Jiao et al. (2026) 等近期工作开始探索跨层共享专家，但多采用“每层都共享”的拓扑，导致通信与内存开销难以扩展。 - **本文的差异化**：Meta Expert 将这种共享推广到更灵活的拓扑（如保留边界层为 Local Expert、子池循环/交错访问），并通过稀疏激活保持每层计算量不变，同时从理论上揭示了共享专家作为**双向残差通路**的机制。 ### 5. MoE 基础与跨层冗余分析 - **MoE 架构**：Shazeer et al. (2017); Fedus et al. (2022) 奠定了稀疏门控混合专家的基础，通过条件计算实现大规模参数扩展。 - **FFN 知识存储**：Geva et al. (2021); Dai et al. (2022) 发现前馈层以相对静态的键值记忆形式存储知识。 - **层间冗余证据**：Meng et al. (2022); Takase & Kiyono (2023); Fan et al. (2019); Chen et al. (2025); Men et al. (2025) 从不同角度表明，不同层可能存储相似知识，存在非平凡的跨层冗余，为跨层共享专家提供了动机。 ### 6. 计算效率与深度扩展 - **动态计算分配**：Raposo et al. (2024) 提出 Mixture-of-Depths，动态分配 Transformer 中的计算资源。 - **最优训练与扩展律**：Hoffmann et al. (2022b); Hägele et al. (2024); Tian et al. (2026); Zhao et al. (2025) 研究了计算最优训练、学习率/批量大小扩展律以及 MoE 结构（专家数量、粒度等）的扩展规律，为本文的 scaling-ladder 实验设计提供了依据。 Q3: 论文如何解决这个问题？论文通过**跨层专家共享（Cross-Layer Expert Sharing）**这一参数循环方案解决分层MoE中的冗余与效率问题，具体可从架构设计、拓扑优化、理论解释与实验验证四个层面展开： —- ### 1. 核心架构：以 Meta Expert 替代/补充 Local Expert 不同于标准 MoE 中每层私有的 Local Experts，论文提出**跨层共享的 Meta Experts**： - **共享机制**：所有（或部分）层共用同一个专家池 φ_e(·; θ_e)(e=0)^(M-1) 和同一个路由器 R ，而非每层独立维护 φe(·; θ(l,e)) 与 R_l 。 - **稀疏激活保持**：每层仍只激活 top- k 个专家，因此每层前向计算的 FLOPs 与 Vanilla MoE 保持一致（iso-FLOP）。 - **参数节省**：共享专家池在深度方向上只存一份，显著削减总参数量。具体的前向更新公式为：

yl = ∑(e ∈ topk)(R, xl) R(x_l)_e , φ_e(x_l; θ_e)
—- ### 2. 系统性的拓扑与配比搜索为确定 Meta Expert 如何与 Local Expert 协同，论文控制总专家数和总激活数不变，系统遍历了两个核心维度： #### (1) 数量配比（Quantity Allocation） - 调整 Meta Expert 占每层专家总数的比例（25% / 50% / 75% / 100%）以及每层激活中 Meta Expert 的占比。 - 发现 **75% Meta + 25% Local** 的总数配比，配合 **4 Meta + 4 Local** 的激活配比，在各项规模下均取得最优或近最优的交叉熵损失与专家冗余度。 #### (2) 拓扑结构（Topological Organization） - **边界层保留 Local Expert**：浅层与深层的功能分化更大，因此仅在**首两层和末两层（F2L2）**保留纯 Local Experts，中间层使用 Meta Experts，可轻微提升性能。 - **Meta Expert 子池循环**：将全局 Meta Expert 池划分为 2 个交错的子池（Loop2），每 2 层循环访问，既保留跨层共享又引入轻度的层次结构，进一步优化通信与存储局部性。最终的最优组合为 **MR75 + F2L2 + Loop2**。 —- ### 3. 参数效率：在固定计算下削减专家总量在保持每层激活专家数（top-8）和专家粒度不变的前提下，论文进一步验证：基于最优 Meta Expert 配置的模型，仅需 Vanilla MoE **70–80% 的专家数量**（或 **75–90% 的总参数量**）即可达到与之相当的损失与下游任务准确率。这一优势随模型加深而扩大，表明 Meta Expert 改善了参数的有效容量，将跨层冗余转化为扩展效率。 —- ### 4. 理论机制：共享专家作为双向残差通路（Bidirectional Residual Pathways）论文从残差连接与信息存取角度，解释了为何共享专家能超越“单纯去冗余”的作用： - **分层 MoE 的局限**：在标准架构中，第 l 层的专家内容只能通过前向残差流向后传播（ x(l+1) = xl + γ E(θ_l)(x_l; R_l) ），深层对浅层的影响仅通过梯度回传到达该层**私有参数**，无法在同一前向传播中作为可寻址的激活内容被读取。 - **Meta Expert 的双向访问**：由于所有层共享同一参数 θ 和路由 R ，训练时各层的梯度累积到同一组参数上：

θ^((T)) = θ^((0)) + ∑(l=0)^(L-1) Deltaθ_l
在推理的前向传播中，任意层 m 读取共享池时，其输出变化可分解为来自各层 l 的叠加影响：
I(m arrow l) ≈ -etaγ^2 ∑(t m ）：深层在训练时写入共享池的内容，可在前向传播中被浅层直接检索，形成一条**激活层面的反向残差通路**，其路径长度为 O(1) ，与层间距离 |m-l| 无关。综上，Meta Expert 不仅通过跨层共享消除了存储冗余，更通过共享参数池为隐状态提供了**双向、跨深度的灵活信息检索路径**，从而同时提升了存储效率与检索效率。 Q4: 论文做了哪些实验？论文围绕 Meta Expert 与 Local Expert 的对比，从**比例配置**、**拓扑结构**、**扩展性验证**及**下游任务评估**四个维度展开系统实验。所有对比均在**固定总专家数、固定每层激活数（即近似 iso-FLOP）**的前提下进行，以确保公平性。 —- ### 1. 核心变量与评估指标实验操控两类核心变量： - **定量关系**：Meta Expert 与 Local Expert 的总数占比，以及每层激活中的占比； - **拓扑关系**：是否每层均含 Meta Expert，以及 Meta Expert 自身是否进行轻度的层次化组织（如子池循环）。评估指标包括： - **交叉熵损失**（语言建模损失）； - **专家冗余度** rho ：基于 linear-CKA 构建相似性核，再通过谱的 Gini 系数度量专家功能冗余程度（附录 A.2）； - **下游任务准确率**：涵盖知识问答、推理与生成任务。 —- ### 2. Meta/Local 专家数量配比实验（第 3.2 节） #### Pilot 实验（图 4）固定总专家数为 256、每层激活 8 个，系统扫描： - **总数比例**：Meta Expert 占比 0% / 25% / 50% / 75% / 100%； - **激活比例**：Meta Expert 在每次前向中激活 2 / 4 / 6 个（对应 25% / 50% / 75%）。 **发现**：更高的 Meta Expert 总数比例一致地降低损失和冗余度；将更多激活配额分配给 Meta Expert 同样有助于降低损失。 #### Scaling Ladder 实验（图 5）固定激活配比为 **4 Meta + 4 Local**，在总训练计算量（FLOPs）对数轴上验证总数比例 25% / 50% / 75%。 - **结果**：75% Meta 比例在所有 Partial-Meta 配置中表现最优，同时降低冗余度。后续实验均以该比例（MR75）为基础配置。 —- ### 3. Meta/Local 专家拓扑结构实验（第 3.3 节） #### Pilot 实验（图 6）基于 MR75，探索两种拓扑干预： 1. **边界层保留 Local Experts**：仅在首端和/或末端的 1 / 2 / 4 / 8 层使用纯 Local Experts，其余层用 Meta Experts； 2. **Meta Expert 子池循环**：将全局 Meta 池划分为 2 / 4 / 8 个子池，以 chunk 或 interleave 方式循环访问。 **发现**：轻度干预（如仅首尾 2 层保留 Local Experts，或仅 2 个子池循环）可轻微改善损失；过度层次化则会退化。 #### Scaling Ladder 实验（图 7）对 Pilot 中表现最优的两类拓扑（F2L2：首末各 2 层纯 Local；Loop2：2 子池交错）进行完整计算量扩展验证。 - **结果**：F2L2 + Loop2 的组合在每个计算预算下均取得最优损失与冗余度，且随着模型加深，更大程度的拓扑分化更有利。 #### 累积设计与参数削减（图 8 与图 1） - **累积比较**：从 MR75 出发，逐步叠加 F2L2 与 Loop2，最终组合（MR75 + F2L2 + Loop2）在所有计算量下均优于 Vanilla MoE。 - **参数削减**：在最优组合基础上进一步缩减 Meta Expert 总量，发现达到同等损失仅需 Vanilla MoE 的 **70–80% 专家数**（或 **75–90% 参数量**），且模型越深、规模越大，节省越显著。 —- ### 4. 下游任务性能实验（第 3.4 节与表 1）训练规模为 **6B-A1.6B** 的模型，使用 **200B tokens**，比较 5 种配置： - Vanilla MoE（纯 Local）； - MR75（75% Meta 比例）； - MR75 + Loop2； - MR75 + F2L2； - MR75 + F2L2 + Loop2。在以下基准测试上评估： - **知识问答**：MMLU（英文）、C-Eval、CMMLU（中文）； - **推理**：BBH（多步推理）、OpenBookQA（常识推理）； - **生成**：TriviaQA（知识密集型开放生成）。 **结果**：各 Meta Expert 变体在不同数据集上各有优势，但总体而言，引入 Meta Experts 的系统一致地优于 Vanilla 基线。 —- ### 5. 专家冗余度度量（附录 A.2）为量化专家功能重叠，论文设计了一套冗余指标： 1. 对每个专家输入共享的探针 token，提取其响应矩阵； 2. 计算 centered covariance 的 linear-CKA 作为相似性核 K(ij) ； 3. 对核矩阵的谱 λ_i 计算 Gini 系数：

rho = Gini(λ) = ∑_(i,j) |λ_i - λ_j|2E ∑_i λ_i
rho to 0 表示专家功能互补无冗余， rho to 1 表示高度冗余。该指标贯穿所有对比实验，用于解释架构变化对专家专业化的影响。 —- ### 6. Scaling Ladder 的实现细节（附录 A.3）实验在 **Qwen3.5-style** 文本 MoE 上实施，具体包括： - **4 个深度档**： L ∈ 12, 16, 20, 24 ，宽度与深度联合缩放至近似计算最优； - **统一 backbone**：每层 128 个 routed experts + 1 个 gated shared expert，top-8 路由，GDN/Full-Attention 混合； - **训练配置**：Muon 优化器、WSD 学习率调度、峰值 LR 随深度递减（表 3）； - **变体矩阵**（表 4）：涵盖 Ratio 家族（MR25/50/75）、First/Last 本地层家族（F1L1/F2L2/F4L4）、Meta Loop 家族（Loop2/4/8）、Pure-Meta（100%）及组合配置； - **参数削减消融**（表 5）：在 F2L2+Loop2 基础上，将每层 Meta 专家宽度从 96 逐步缩减至 48，验证共享容量下限。 Q5: 有什么可以进一步探索的点？基于论文的实证发现与理论分析，以下方向值得进一步探索： —- ### 1. 更大规模与更广架构的验证论文的 scaling-ladder 实验覆盖到 24 层及 2.4 × 10^(20) FLOPs 量级。Meta Expert 的节省比例随深度和规模增长而扩大，但其在**更大规模（如 100B+ 参数）或不同架构（如 Decoder-only 以外的结构、多模态模型）**中的泛化性仍需验证。此外，混合注意力（GDN/Full-Attention）的配置是否会影响最优的 Meta/Local 配比，亦有待检验。 —- ### 2. 轻度层次化共享的冗余-性能悖论实验发现，将 Meta Experts 划分为少量循环子池（如 Loop2）会引入一定的专家冗余 rho ，但并未导致性能下降，甚至在某些情况下略有提升（第 3.3 节）。论文明确指出这是一个**开放问题**（open question）。未来工作可深入分析：这种冗余是否对应于功能性的“备份”或“噪声鲁棒性”，抑或不同子池在训练过程中形成了隐式的梯度隔离，从而有利于优化。 —- ### 3. 纯 Meta Expert 配置的稳定性机制论文观察到，100% Meta Expert（Pure-Meta）设置虽在损失上表现最优，但存在**训练不稳定性**（第 3.2 节），因此后续实验以 75% 比例为基础。探索导致不稳定的根源——例如共享参数上的梯度冲突、路由坍缩（router collapse）或激活值的深度依赖性放大——并设计针对性的稳定化策略（如梯度重加权、层自适应学习率或动态路由温度），是实现更激进参数共享的关键。 —- ### 4. 跨层共享与分布式训练的协同优化论文虽提出了 F2L2 与 Loop2 等“通信与内存友好”的拓扑，但未深入量化这些拓扑在**大规模分布式训练**中的实际通信开销。未来可结合专家并行（Expert Parallelism）策略，分析不同 Meta Expert 子池划分对 all-to-all 通信量、内存碎片化和负载均衡的具体影响，并设计硬件感知的共享拓扑搜索算法。 —- ### 5. 从人工设计到自动学习的共享拓扑当前最优拓扑（首末层保留 Local Expert、中间层使用 2 子池循环）依赖网格搜索确定。可引入**可微分的架构搜索（NAS）或强化学习**，让模型自动决定哪些层应共享、共享粒度如何，以及在何种深度间隔进行循环访问，从而在任务与规模变化时自适应地调整跨层共享结构。 —- ### 6. 双向残差通路的任务特异性分析论文从理论上揭示了 Meta Expert 提供 O(1) 长度的双向激活通路（第 4 节）。未来可在**需要深度信息交换的任务**（如多步数学推理、长程依赖建模、上下文学习中的示例检索）中，显式测量浅层读取深层内容（ l > m ）的贡献度，验证该机制是否在认知密集型任务中发挥更显著的作用。 —- ### 7. 与循环 Transformer 及 LoRA 等技术的复合设计 Meta Expert 与 Looped Transformer（Dehghani et al., 2018）在“跨层参数复用”上动机相通，但机制不同：后者增加递归深度，前者在单层前向内共享。探索二者的复合——例如，以 Meta Expert 作为循环块内部的专家层——可能在保持低延迟的同时进一步压缩参数。类似地，将**层自适应 LoRA** 注入共享专家池，以解耦通用跨层知识与层特定适配，也是值得尝试的方向。 —- ### 8. 基于冗余度度量的动态专家剪枝论文提出的冗余指标 rho （附录 A.2）基于专家响应的 linear-CKA 谱集中度。该指标可用于训练过程中的**在线专家剪枝**：动态识别并移除功能高度重叠的 Meta Expert，或将其蒸馏合并，从而在训练后期进一步降低存储与通信开销，实现“训练时扩展、收敛时压缩”的动态生命周期管理。 —- ### 9. 共享专家池的梯度冲突与优化理论附录 A.4 指出，共享参数使得各层梯度在 θ 上累积，层间梯度重加权（layer-wise gradient reweighting）可视为对反向通路的门控。未来可从**多任务学习中的梯度冲突**视角出发，分析不同深度对共享专家梯度的干扰模式，并开发如 PCGrad、GradNorm 等冲突消解变体，以提升共享池的训练效率和最终收敛质量。 Q6: 总结一下论文的主要内容这篇论文系统研究了混合专家模型（MoE）中**跨层专家共享**（Cross-Layer Expert Sharing）的潜力，提出以**Meta Expert**替代或补充传统的分层**Local Expert**，从实证与理论两方面论证了其在参数效率与信息检索能力上的优势。 ### 1. 研究背景与问题 - 主流 MoE 模型采用分层架构，每层拥有独立的 Local Experts。尽管拓扑上相互隔离，但不同层存储的知识存在显著相似性，导致**跨层参数冗余**。 - 传统循环 Transformer（Looped Transformers）通过递归复用参数提升效率，但会增加串行深度与延迟。 - 论文核心问题：**能否在不增加递归、保持每层计算量（iso-FLOP）不变的前提下，通过跨层共享专家来消除冗余并提升模型有效容量？** ### 2. 核心方法：Meta Expert 论文将跨层共享的专家称为 **Meta Expert**，与每层私有的 **Local Expert** 相对。关键设计包括： - **参数共享**：一个全局（或分组循环）的专家池与路由器被多层共用，而非每层独立维护。 - **稀疏激活不变**：每层仍只激活 top- k 个专家，确保前向计算量与 Vanilla MoE 相当。 - **灵活拓扑**：系统探索了 Meta 与 Local 专家的**数量配比**（总数与激活数中的占比）及**拓扑结构**（是否保留边界层为 Local Expert、Meta 池是否划分子组循环访问）。 ### 3. 实验设计与主要发现所有实验严格控制**总专家预算**与**每层激活数**相同，确保公平比较。 - **配比实验**：Meta Expert 占比越高，交叉熵损失与专家冗余度 rho 越低。最终采用 **75% Meta + 25% Local**（每层激活 4 Meta + 4 Local）作为基础配置（MR75）。 - **拓扑实验**：仅在**首两层和末两层（F2L2）**保留纯 Local Experts，并将 Meta 池划分为 **2 个交错子池（Loop2）**，可在所有计算预算下取得最优性能。 - **扩展性验证**：随着模型加深（12 至 24 层）与计算量增长，最优 Meta Expert 模型仅需 Vanilla MoE **70–80% 的专家数量**（或 **75–90% 的参数量**）即可达到相当的训练损失，且优势随规模扩大而增加。 - **下游任务**：在 6B-A1.6B 规模、200B tokens 训练后，Meta Expert 变体在 MMLU、C-Eval、CMMLU、BBH、TriviaQA 等基准上总体优于 Vanilla MoE 基线。 - **冗余度量**：基于 linear-CKA 谱集中度定义的 Gini 冗余指标 rho 显示，Meta Experts 显著降低了专家功能重叠。 ### 4. 理论机制：双向残差通路论文从残差连接视角解释了 Meta Expert 的有效性： - 在分层 MoE 中，信息沿前向残差流单向传播；深层对浅层的影响只能通过梯度回传到达**私有参数**，无法在同一前向传播中被浅层作为激活内容读取。 - 在 Meta Expert 架构下，所有层共享同一参数 θ 。训练时各层梯度累积于共享池中：

θ^((T)) = θ^((0)) + ∑_(l=0)^(L-1) Deltaθ_l

前向传播中，任意层 m 对共享池的读取隐含了来自所有层 l 的贡献：
I(m arrow l) ≈ -etaγ^2 ∑(t m ）：深层训练时写入共享池的内容，可被浅层直接访问，形成一条**激活层面的反向残差通路**，路径长度为 O(1) ，与层间距 |m-l| 无关。 ### 5. 结论论文表明，深度 MoE 中长期被视为固有成本的**跨层冗余**，可通过 Meta Expert 共享转化为**有效容量**。该方法在不增加前向计算和递归深度的前提下，同时提升了**信息存储效率**（去除冗余）与**信息检索效率**（双向残差通路），为更大规模 MoE 模型的高效扩展提供了新范式。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ermo Hua,Xiangyu Hong,Baiting Wu,Che Jiang,Haozheng Hou,Yicheng Gu,Hanjing Wang,Qirui Zeng,Ming Zhang,Ning Ding,Qipeng Guo,Youbang Sun,Biqing Qi,Bowen Zhou

Categories:

PDF URL: https://arxiv.org/pdf/2610.27598.pdf

Arxiv URL: https://arxiv.org/abs/2610.27598

Arxiv ID: 2610.27598

CoolPaper URL: https://papers.cool/arxiv/2610.27598

Published: 2026-10-24T01:57:38.068Z

Updated: 2026-10-24T01:57:38.068Z

11. Self-Distilling Future Video Representations for World Action Models

Abstract:World Action Models (WAMs) have emerged as a promising approach to learning generalist robot policies using rich spatiotemporal priors from pre-trained video diffusion models. A recent line of WAMs improves inference efficiency by conditioning a separate action decoder on intermediate future video representations extracted from a single denoising step, avoiding costly iterative denoising required for video generation. This design makes action prediction depend directly on the quality of these future representations. In this paper, we introduce Future REpresentation learning via self-Distillation with temporal context (FRED), a framework that trains WAMs to improve the quality of future video representations from noise in a single denoising step. Specifically, FRED uses self-distillation to predict future representations from noise, using representations extracted from ground-truth future observations as targets. We further condition the video model on historical observations, providing temporal context for predicting future representations better. Across diverse real-world manipulation scenarios, FRED consistently outperforms competing WAMs. It achieves particularly large gains on long-horizon and out-of-domain tasks under zero-shot environment generalization, and substantially improves human-to-robot skill transfer, reaching 50.0% task success on tasks absent from robot training data and demonstrated only in human videos, compared with 19.4% for the best competing WAM.

中文摘要

摘要：世界动作模型（World Action Models，WAMs）已经成为一种有前景的方法，通过利用预训练视频扩散模型中的丰富时空先验来学习通用机器人策略。最近的一系列WAMs通过在单步去噪中提取的中间未来视频表示上条件化一个独立的动作解码器，从而提高了推理效率，避免了视频生成所需的昂贵迭代去噪。该设计使动作预测直接依赖于这些未来表示的质量。在本文中，我们提出了通过时间上下文自蒸馏学习未来表示（Future REpresentation learning via self-Distillation with temporal context，FRED）的框架，该框架训练WAMs以在单步去噪中从噪声中提高未来视频表示的质量。具体而言，FRED使用自蒸馏从噪声中预测未来表示，并以从真实未来观察中提取的表示作为目标。我们进一步将视频模型条件化于历史观察，为更好地预测未来表示提供时间上下文。在各种真实世界操作场景中，FRED始终优于竞争的WAMs。在长时距任务和零-shot环境泛化的域外任务中，它取得了特别大的提升，并显著改进了人类到机器人技能迁移，在机器人训练数据中缺失且仅在人类视频中演示的任务上，实现了50.0%的任务成功率，而最佳竞争WAM仅为19.4%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30320 (HTTP 429)

Authors: Huiwon Jang,Suhyeok Jang,Hyeonmo Kang,Seungku Kim,Jinwoo Shin,Sihyun Yu

Categories:

PDF URL: https://arxiv.org/pdf/2610.30320.pdf

Arxiv URL: https://arxiv.org/abs/2610.30320

Arxiv ID: 2610.30320

CoolPaper URL: https://papers.cool/arxiv/2610.30320

Published: 2026-10-24T01:57:38.907Z

Updated: 2026-10-24T01:57:38.907Z

12. Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks

Abstract:Selecting intermediate features from a frozen diffusion model for discriminative tasks is non-trivial because the useful signal is distributed across the denoising trajectory, network depth, and channels. In practice, this requires choosing a timestep, a block, and a channel subset. Existing methods either fix these choices by hand or optimize only a few extraction hyperparameters, most often the timestep, then reuse the same rule across inputs and budgets. We introduce Policy-Mask, a budget-conditioned policy trained on the downstream objective that jointly selects all three under a prescribed channel budget. Without normalization, the channel-score contribution grows with the number of selected channels and dominates the timestep and block updates. We normalize it by subset cardinality, keeping the three policy heads on comparable scales and stabilizing joint training. At matched budgets, Policy-Mask improves over fixed extraction and feature-filter baselines across segmentation, classification, and semantic correspondence, reaching 38.9 mIoU on ADE20K, 75.4% top-1 on CIFAR-100 at 128 dimensions, and 76.3 PCK@0.1 on SPair-71k. Component-wise ablations show that block selection materially affects downstream accuracy, and the highest recorded channel-budget score occurs at 256 retained channels, identifying a practical operating point for compact diffusion representations. We further adapt Policy-Mask to diffusion transformers, including PixArt-$\Sigma$ and SD3.5 MMDiT, by replacing U-Net channels with image-token hidden dimensions.

中文摘要

摘要：从冻结扩散模型中选择中间特征用于判别任务并非易事，因为有用的信号分布在去噪轨迹、网络深度和通道上。在实践中，这需要选择一个时间步、一个模块和一个通道子集。现有方法要么通过手工固定这些选择，要么只优化少数提取超参数，最常见的是时间步，然后在不同输入和预算下重复使用相同规则。我们提出了 Policy-Mask，这是一种基于预算的策略，通过下游目标进行训练，可在规定的通道预算下联合选择所有三者。如果不进行归一化，通道分数的贡献会随着选择的通道数量增长，从而主导时间步和模块的更新。我们通过子集基数对其进行归一化，使三个策略头保持在可比的尺度上，并稳定联合训练。在匹配预算下，Policy-Mask 在分割、分类和语义对应任务中优于固定提取和特征过滤基线，在 ADE20K 上达到 38.9 mIoU，在 CIFAR-100（128 维）上达到 75.4% 的 top-1，在 SPair-71k 上达到 76.3 PCK@0.1。组件消融实验显示，模块选择对下游准确性有显著影响，而记录的最高通道预算分数出现在保留 256 个通道时，为紧凑扩散表示提供了实际操作点。我们进一步将 Policy-Mask 适配到扩散 Transformer，包括 PixArt-$\Sigma$ 和 SD3.5 MMDiT，通过将 U-Net 通道替换为图像 Token 隐藏维度。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28889 (HTTP 429)

Authors: Ivan Listopadov,Maksim Nakhodnov,Aibek Alanov

Categories:

PDF URL: https://arxiv.org/pdf/2610.28889.pdf

Arxiv URL: https://arxiv.org/abs/2610.28889

Arxiv ID: 2610.28889

CoolPaper URL: https://papers.cool/arxiv/2610.28889

Published: 2026-10-24T01:57:39.501Z

Updated: 2026-10-24T01:57:39.501Z

13. Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

Abstract:Tool-using voice agents often leave users waiting after speech ends, even when actionable information arrives earlier in the request. Speculative approaches begin work during speech, but chunk-bounded or interrupt-on-update generation can truncate a tool call before its arguments are complete. This couples computation time to speech updates, limiting useful work completed in advance. We introduce Heartbeat Thinking, which handles updated input through new Thinker invocations while allowing ongoing invocations and dispatched tools to finish. Periodic invocations read the latest partial transcript and a shared record of completed reasoning and tool results. These results help resolve missing arguments and initiate dependent calls, allowing preparation to progress across speech updates. Across SpeechFCEval, FDBench v3, and AudioCRAG, Heartbeat improves aggregate speculative tool coverage or retrieval reuse over a SHANKS-style windowed baseline, with benchmark-dependent effects on final task quality. On FDBench v3, it increases tool coverage by 16 percentage points and reduces mean final-response latency by 36.4\%. The results show that heartbeat thinking paradigm preserving ongoing computation during speech can turn listening time into reusable preparation for faster and more capable voice-agent responses.

中文摘要

摘要：使用工具的语音代理经常在语音结束后让用户等待，即便可操作的信息在请求中更早到达。推测性方法会在语音进行时开始工作，但基于块的生成或在更新时中断的生成可能会在工具调用的参数尚未完成时截断调用。这将计算时间与语音更新耦合，限制了能够提前完成的有用工作。我们提出了“心跳思维（Heartbeat Thinking）”，它通过新的思考者调用处理更新的输入，同时允许正在进行的调用和已分发的工具完成。周期性调用会读取最新的部分转录文本以及已完成推理和工具结果的共享记录。这些结果有助于解决缺失参数并启动依赖调用，从而允许准备工作跨语音更新继续进行。在SpeechFCEval、FDBench v3和AudioCRAG中，HeartBeat在总推测工具覆盖率或检索重用方面优于SHANKS式窗口基线，并在基准测试中对最终任务质量产生不同影响。在FDBench v3上，它将工具覆盖率提高了16个百分点，并将平均最终响应延迟降低了36.4%。结果表明，心跳思维范式在语音过程中保留正在进行的计算，可以将聆听时间转化为可重复利用的准备，从而实现更快速、更高能力的语音代理响应。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.26233 (HTTP 429)

Authors: Zhenyu Zhang,Kewei Fu,Yongqi Tong,Chenzhi Zheng,Wei Wu,Jiang-Ming Yang,Jianshe Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.26233.pdf

Arxiv URL: https://arxiv.org/abs/2610.26233

Arxiv ID: 2610.26233

CoolPaper URL: https://papers.cool/arxiv/2610.26233

Published: 2026-10-24T01:57:41.251Z

Updated: 2026-10-24T01:57:41.251Z

14. Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

Abstract:Code-based video generation offers fine-grained control, targeted editing, and component reuse compared with direct video generation. This approach requires multimodal large language models (MLLMs) to translate visual and temporal requirements into executable programs that produce complete videos. However, existing code-based benchmarks primarily target specialized tasks, leaving complete video creation across diverse creative categories and input modalities insufficiently evaluated. We introduce Code2Video-Compass, a general-purpose benchmark for code-based video generation across text-to-video (T2V), image-to-video (I2V), and video-to-video (V2V) settings. Code2Video-Compass comprises 2,104 tasks spanning 10 categories, 24 subtypes, and three complexity dimensions covering construction, dynamic animation, and state dependency. It combines tasks curated from textual instructions and visual references with corresponding T2V, I2V, and V2V tasks derived from complete professional and user-created videos. We propose a dual-level evaluation framework combining 12 objective metrics and five subjective metrics. Objective evaluation covers operational performance, video quality, text-video alignment, and reference fidelity, while subjective evaluation uses an MLLM judge to evaluate instruction following and holistic video quality. Extensive evaluation of 15 recent proprietary and open-weight MLLMs from nine families reveals that even leading models face challenges in reliably generating high-quality complete videos aligned with textual and visual requirements, with performance generally declining as construction, dynamic animation, and state-dependency complexity increases. We anticipate that Code2Video-Compass will advance reliable, coherent, and controllable code-based video generation and inspire broader progress in programmatic visual creation.

中文摘要

摘要：与直接视频生成相比，基于代码的视频生成提供了更精细的控制、针对性编辑和组件重用能力。这种方法需要多模态大型语言模型（MLLMs）将视觉和时间要求转换为可执行程序，从而生成完整的视频。然而，现有的基于代码的基准测试主要针对特定任务，对跨各种创意类别和输入模态的完整视频创作评价不足。我们提出了 Code2Video-Compass，这是一个通用的基于代码的视频生成基准，涵盖文本到视频（T2V）、图像到视频（I2V）和视频到视频（V2V）场景。Code2Video-Compass 包含 2,104 个任务，涵盖 10 个类别、24 个子类型和三种复杂度维度（构建、动态动画和状态依赖）。它结合了从文本指令和视觉参考整理的任务，以及从完整的专业和用户创作视频衍生的对应 T2V、I2V 和 V2V 任务。我们提出了一种双层次评估框架，结合了 12 个客观指标和 5 个主观指标。客观评估涵盖操作性能、视频质量、文本与视频的一致性以及参考相符性，而主观评估使用 MLLM 评审来评估指令遵循情况和整体视频质量。对来自九个家族的 15 个最新专有和开源权重 MLLMs 进行的广泛评估显示，即便是领先模型，在可靠生成与文本和视觉要求一致的高质量完整视频方面仍面临挑战，并且随着构建、动态动画和状态依赖复杂度的增加，性能总体呈下降趋势。我们期望 Code2Video-Compass 能推动可靠、连贯且可控的基于代码的视频生成，并激发程序化视觉创作的更广泛进展。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*现有基于代码的视频生成（code-based video generation）基准测试在任务覆盖、输入模态与评估维度上的显著不足\*\*，导致多模态大语言模型（MLLM）在通用完整视频创建方面的能力未能得到充分、系统的评估。具体而言，该工作针对以下核心局限： - \*\*任务覆盖的专业化局限\*\*：现有基准大多面向特定垂直场景（如 Manim 教育演示、SVG 矢量动画、网页动画重建或产品发布的短促动效片段），缺乏面向多样化创意实践的\*\*通用完整视频\*\*生成评估，难以覆盖品牌宣传、动态排版、信息图表、广播包装、抽象实验动画等广泛类别。 - \*\*输入模态的单一性\*\*：已有工作未能在一个统一框架内系统评估文本到视频（T2V）、图像到视频（I2V）与视频到视频（V2V）三种输入条件。特别是，现有基准缺乏对视觉参考（关键帧或参考片段）在完整视频中被重建与集成的系统性考察。 - \*\*评估体系的不完备\*\*：现有方法缺少将\*\*操作可靠性\*\*（执行成功率、Token 消耗）、\*\*客观视频质量\*\*（技术质量、美学质量、运动平滑度）、\*\*文本-视频对齐\*\*（局部与全局语义对应）、\*\*参考保真度\*\*（图像/片段的感知、结构、运动保真）与\*\*主观创意质量\*\*（指令遵循、内容连贯性、视觉设计、运动质量、观众参与度）相结合的综合双层次评估框架。简言之，该论文试图填补通用代码生成视频在\*\*跨创意类别完整性\*\*、\*\*多模态输入统一性\*\*与\*\*主客观评估全面性\*\*之间的空白，为可靠、连贯且可控的代码生成视频研究提供诊断平台。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要分布在\*\*直接视频生成\*\*与\*\*基于代码的视频和动画生成\*\*两大方向，具体可归纳如下： ### 1. 直接视频生成（Direct Video Generation）该方向主要围绕端到端视频生成模型建立评估基准，与本文的代码生成范式存在本质区别： - \*\*感知质量评估\*\*：VBench

22
与 EvalCrafter
32
侧重于生成视频的感知质量评价。 - **组合性与时间约束**：T2V-CompBench
51
与 TCBench
16
关注组合语义与时间约束的遵循程度。 - **图像条件与关键帧扩展**：VBench++
23
和 KeyFrame-Compass
52
将评估扩展至图像条件与关键帧 adherence。 - **长序列与多条件叙事**：StoryBench
9
、MSVBench
48
与 LongAV-Compass
30
进一步考察叙事进展与长程一致性；其中 LongAV-Compass 覆盖文本、图像、视频三种条件输入。 - **主客观联合评估**：T2AV-Compass
10
尝试结合客观指标与主观评价。上述基准虽为视频生成评估奠定重要基础，但其范式不适用于代码生成场景，无法衡量**操作可靠性**（如代码执行成功率）、**跨文件工程能力**以及**程序化视觉创建的完整技术-语义-创意质量**。 ### 2. 基于代码的视频与动画生成（Code-Based Video and Animation Generation）该方向探索利用代码合成视频或动画，但现有工作多聚焦于垂直应用或特定表示： - **教育视频**：Code2Video

13
提出基于 Manim 的智能体框架，并引入 MMMC 基准用于教育视频评估。 - **数据叙事**：DataReel
35
支持自动化的数据驱动视频故事生成。 - **标识与品牌动效**：LogoMotion
31
生成可编辑的 Logo 动画；MG-Gen
49
从单图生成分层 HTML 动画。 - **结构化矢量动画**：InternSVG
53
与 LottieGPT
12
探索 SVG 等结构化矢量表示的动画生成。在评估层面，现有代码生成基准同样呈现高度专门化： - **MMMC**
13
：评估美学、知识迁移与生成效率。 - **Animation2Code**
24
：针对网页动画重建，评估执行成功率、外观保真度与运动保真度。 - **MoVer**
34
：验证动效约束的满足情况。 - **HeyGen Code2Video Benchmark**
62
：面向短促的产品发布动效片段进行主观评估。 ### 与现有工作的关系相较于上述研究，本文指出其核心局限在于：**现有基准在任务覆盖上高度专业化，在输入模态上缺乏对 T2V、I2V、V2V 的统一支持，在评估体系上缺少将操作性能、客观视频质量、文本-视频对齐、参考保真度与主观创意质量进行系统整合的双层次框架**。Code2Video-Compass 正是在这些缺口上，首次建立了面向通用完整视频、跨三种输入条件、覆盖 10 大创意类别与 24 个子类型的综合性诊断基准。 Q3: 论文如何解决这个问题？论文通过提出 **Code2Video-Compass** 这一通用基准，从**任务形式化**、**数据集构建**、**评估框架**与**大规模模型评测**四个层面系统性地解决了现有研究的局限。具体方案如下： ### 1. 统一跨模态任务形式化论文将基于代码的完整视频生成定义为一个统一的框架，要求多模态大语言模型（MLLM）将文本指令与可选的视觉参考转换为可执行代码项目。该框架明确区分三种输入设置： - **文本到视频（T2V）**：模型依据自包含的文本指令生成代码，实现指定的视觉内容与时间推进。 - **图像到视频（I2V）**：模型需理解参考关键帧的视觉内容，判断其在完整视频中的时序位置，并通过代码重建与集成该视觉状态。 - **视频到视频（V2V）**：模型需解析参考片段（2–10 秒）的外观、运动与事件序列，在完整视频中重建并整合该片段。渲染栈支持 **HTML/CSS、SVG、Canvas 与 Three.js**，并通过 **Remotion** 统一渲染为视频，确保生成的是完整、连贯、可执行的视频项目，而非孤立片段或嵌入式素材的直接回放。 ### 2. 基于分类学的多层次数据集构建为解决任务覆盖不足与缺乏真实创作关联的问题，论文构建了一个包含 **2,104 项任务**的数据集，覆盖 **10 个创意类别**与 **24 个子类型**（如解说动效、品牌宣传、动态排版、信息图表、3D 动效等），并通过两种互补策略确保广度与真实性： - **独立任务集（Independent Task Set）**：基于筛选的文本种子与视觉参考（图像/视频片段）从零构建任务，以扩展创意覆盖的多样性。 - **配对任务集（Paired Task Set）**：从 573 个完整的专业及用户创作视频（源自 YouTube、Bilibili、REDnote、X 等平台）中派生，每个视频同步生成对齐的 T2V、I2V、V2V 任务，确保任务根植于真实创作实践。此外，论文引入 **三个互补的复杂度维度**，每个维度设三个层级，以精细刻画任务难度： - **构建复杂度（Construction Complexity）**：从标准图元组合到自定义几何与程序模拟系统。 - **动态动画复杂度（Dynamic Animation Complexity）**：从分阶段序列到多元素复杂并发运动。 - **状态依赖复杂度（State-Dependency Complexity）**：从相邻阶段的一致性到跨多阶段的长程依赖。 ### 3. 双层次综合评估框架论文提出融合 **12 项客观指标**与 **5 项主观指标**的双层次评估体系，从操作可靠性、视频质量、语义对齐、参考保真度与创意质量五个维度进行全面诊断： #### 客观评估（Objective Metrics） - **操作性能**：执行成功率（ES）与 Token 消耗（TC），衡量代码的可靠性与生成效率。 - **视频质量**：技术质量（TQ，基于 DOVER++）、美学质量（AQ，基于 Aesthetic Predictor V2.5）与运动平滑度（MS，基于 AMT 帧插值误差）。 - **文本-视频对齐**：局部对齐（L-TVA，基于 ViCLIP-L 的滑动窗口语义对应）与全局对齐（G-TVA，基于 Qwen3-VL-Embedding 的指令-视频余弦相似度）。 - **I2V 参考保真度**：感知保真度（PF，基于 DINOv3）与结构保真度（SF，基于 SSIM），在完整视频中搜索最匹配帧进行评估。 - **V2V 参考保真度**：序列对齐（SA，基于子序列 DTW）、外观保真度（AF，基于 DreamSim 的约束 DTW）与运动保真度（MF，基于 CoTracker3 轨迹比对）。 #### 主观评估（Subjective Metrics）采用 **MLLM-as-a-Judge** 协议（经人工验证，Pearson r 达 0.796）： - **指令遵循（IF）**：基于从指令派生的可验证 QA 清单（最多 16 问，覆盖内容、属性、构图、关系、动态、美学及任务特定要求），计算通过率。 - **整体视频质量**：内容连贯性（CC）、视觉设计（VD）、运动质量（MQ）与观众参与度（VE），均采用五点李克特量表。 ### 4. 大规模模型评测与深度洞察论文对 **15 个来自 9 个家族的专有与开源 MLLM** 进行了固定子集（1,054 项任务）的标准化评测，揭示了以下关键发现，从而验证并展示了该基准的诊断价值： - **质量与可靠性非必然正相关**：如 GPT-6 Astra 与 GPT-6.1 Sol 在成功渲染视频上的平均整体质量较高，但因执行失败率较高，其全集平均得分反而低于执行更可靠的 Claude Opus 5.5。 - **失败模式异质性**：不同模型的失败类型分布显著不同（如 GPT-6 Astra 以编译错误为主，Claude Opus 5.5 以运行时异常为主），表明基准能有效区分模型的工程能力短板。 - **复杂度敏感性**：随着构建、动态与状态依赖复杂度的提升，模型性能普遍下降，且结构保真度（SF）受中度复杂度影响最大，长程状态依赖（L2→L3）的下降尤为显著。 - **效率差异**：更高 Token 消耗与 API 成本并不必然对应更高视频质量（如 GLM-5.3-Flash 的 Token 量远高于 GPT-6 Astra，但质量显著更低）。通过上述设计，Code2Video-Compass 首次为通用代码生成视频提供了**跨创意类别、跨输入模态、主客观结合**的系统化诊断平台。 Q4: 论文做了哪些实验？论文的实验部分围绕 **15 个多模态大语言模型（MLLM）** 在固定任务子集上的系统评测展开，涵盖主实验结果、质量-可靠性权衡、失败模式、复杂度敏感性、生成成本效率及评判模型验证六个方面。具体实验内容如下： ### 1. 实验设置 - **评测模型**：共 15 个模型，来自 9 个家族，包括专有模型（Claude Opus/Sonnet/Haiku 5.5、GPT-6 Astra/6.1 Sol/6 Luna、Gemini 3.8 Flash、Qwen3.8-Max/Flash）与开源/开放权重模型（Qwen3.8-27B、Kimi K3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax M3、MiMo-V2.6-Pro）。 - **任务子集**：从全部 2,104 项任务中固定采样 **1,054 项**（360 T2V、347 I2V、347 V2V），确保与未采样任务在三个复杂度维度分布及提示长度上无显著差异（Pearson chi^2 检验 p_(Holm) > 0.05 ，Welch’s t 检验 |g| < 0.05 ）。 - **推理协议**：所有模型通过单次 API 调用生成代码项目，**不提供执行反馈或自动修复**；V2V 任务中，GPT 与 Claude 接收 4 FPS 帧序列，其余模型接收原生视频（API 采样 4 FPS）。输出 Token 总量包含 API 报告的思考 Token。 —- ### 2. 主实验结果（T2V / I2V / V2V）论文在表 2–4 中报告了 15 个模型在三种输入设置下的全指标表现，关键发现包括： - **整体排名**：Claude Opus 5.5 在 T2V、I2V、V2V 上的平均排名均为第一（分别为 1.60、1.08、1.15），Claude Sonnet 5.5 稳居第二；专有模型包揽各设置前三名。开源模型中，DeepSeek-V4.1-Flash 在 T2V 领先，MiMo-V2.6-Pro 在 I2V 与 V2V 领先。 - **执行成功率（ ES ）**：模型间差异显著，T2V 范围为 0.52 sim 0.94 ，I2V 为 0.59 sim 0.96 ，V2V 为 0.69 sim 0.97 。 - **T2V 维度分化**：Claude Opus 5.5 在指令遵循（ IF = 0.915 ）与内容连贯性（ CC = 4.047 ）上领先；Claude Sonnet 5.5 在运动质量（ MQ = 3.847 ）与观众参与度（ VE = 3.900 ）上最优；GPT-6.1 Sol 在视觉设计（ VD = 3.883 ）与技术质量（ TQ = 0.117 ）上表现最佳。 - **I2V 参考保真度**：Claude Opus 5.5 在感知保真度（ PF = 0.894 ）与结构保真度（ SF = 0.658 ）上显著领先。值得注意的是，GPT-6 Astra 与 GPT-6 Luna 的 PF （0.834 vs. 0.823）与 SF （0.649 vs. 0.617）相近，但指令遵循（ IF ：0.855 vs. 0.703）与运动质量（ MQ ：3.467 vs. 2.611）差距悬殊，表明**关键帧重建忠实并不必然保证指令遵循或运动质量**。 - **V2V 片段保真度**：Claude Opus 5.5 在序列对齐（ SA = 0.882 ）、外观保真度（ AF = 0.787 ）与运动保真度（ MF = 0.445 ）上全面领先。Claude Sonnet 5.5 的 SA （0.873）、 AF （0.773）、 MF （0.443）接近，但其 IF （0.756）与 CC （3.357）明显低于 Opus（0.929 / 3.997），揭示了**参考片段重建与完整视频要求之间存在显著鸿沟**。 —- ### 3. 质量与可靠性分析论文对比了模型在**全部评估任务**与**仅成功渲染视频**上的平均整体视频质量（四项主观指标均值）。如图 5 所示： - GPT-6 Astra 与 GPT-6.1 Sol 在成功渲染子集上的平均质量分别达 4.19 与 4.15，高于 Claude Opus 5.5 的 4.04； - 然而，由于前者执行失败率较高，其在全集上的平均质量分别降至 3.62 与 3.61，而 Claude Opus 5.5 以 3.87 位居全集最高。该实验证实了**视频质量与执行可靠性并不总是正相关**，强调了在代码生成视频评估中必须同时考察二者。 —- ### 4. 失败分析针对 2,756 个错误案例，论文统计了各模型的失败类型分布（图 6）： - **GPT-6 Astra**：83.4% 的失败集中于编译错误与缺失 API/包； - **Qwen3.8-Max**：59.7% 的失败源于缺失 API 与包； - **Claude Opus 5.5**：75.0% 的失败为运行时异常； - **GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiMo-V2.6-Pro**：运行时异常占比亦超过 50%。结果表明，不同模型的失败来源存在显著异质性，涵盖编译、依赖管理与运行时执行等多个环节。 —- ### 5. 复杂度分析论文量化分析了三个复杂度维度从低层级向高层级跃迁时的性能变化（图 7）。所有指标值均按量程归一化，正值表示性能下降： - **普遍趋势**：随构建复杂度（C）、动态动画复杂度（D）与状态依赖复杂度（S）提升，模型性能普遍下降。 - **结构保真度（ SF ）对中度复杂度最敏感**：在构建复杂度从 L1 升至 L2 时， SF 下降达 14.38% 量程；在动态动画复杂度 L1→L2 时下降 12.82%。 - **维度差异**：构建复杂度与动态动画复杂度的最陡下降出现在 **L1→L2**；而状态依赖复杂度的最大降幅出现在 **L2→L3**，表明长程依赖仍是当前 MLLM 的突出瓶颈。 —- ### 6. 生成代价与成本分析论文分析了输出 Token 消耗、估计 API 成本与整体视频质量的关系（图 8）： - **Token 效率**：GLM-5.3-Flash 平均消耗 90.0k 输出 Token，远高于 GPT-6 Astra 的 13.9k，但其整体质量（2.94）显著低于后者（3.62）。 - **成本效率**：GPT-6.1 Sol 与 GPT-6 Astra 质量相近（3.61 vs. 3.62），但 GPT-6 Astra 的估计 API 成本约为前者的 6.1 倍。Claude Opus 5.5 在质量最高（3.87）的同时，成本低于 GPT-6 Astra。 - **结论**：更高的生成代价与 API 支出并不必然转化为更优视频质量，模型间效率差异显著。 —- ### 7. MLLM Judge 验证为验证 Gemini 3.8 Flash 作为主观评判模型的可靠性，论文开展了人工对齐与重复稳定性实验： - **实验设计**：从 6 个能力层次不同的模型（GPT-6 Astra、Claude Opus 5.5、Gemini 3.8 Flash、Kimi K3、Qwen3.8-27B、MiniMax M3）中各取 50 个输出，共 300 个样本；每个输出由评判模型重复评分 3 次。另从中抽取 200 个输出，由 3 名独立人工标注者评分。 - **结果**（表 5）： - **人工对齐**：指令遵循（ IF ）的 Pearson r = 0.796 ，整体视频质量的 r = 0.783 ； - **重复稳定性**：ICC(A,3) 分别为 0.983（ IF ）与 0.970（整体质量）。该验证表明 Gemini 3.8 Flash 作为评判模型具有**强人工对齐度**与**高评分稳定性**。 Q5: 有什么可以进一步探索的点？基于论文所揭示的瓶颈与代码生成视频的独特潜力，以下从**模型能力**、**评估方法**、**数据与任务扩展**及**系统效率**四个层面，梳理可进一步探索的研究方向： —- ### 1. 执行可靠性的自动修复与验证机制论文显示，当前 MLLM 的执行成功率差异显著，且失败模式高度异质（编译错误、运行时异常、依赖缺失等）。未来可探索： - **执行反馈驱动的迭代修复**：在单次生成后引入错误日志作为反馈，通过多轮自我调试（self-debugging）或测试时计算（test-time compute）提升代码可执行率。 - **依赖与 API 的显式验证**：构建针对前端/动画技术栈（HTML/CSS/SVG/Canvas/Three.js）的轻量级静态分析工具，在渲染前自动检测缺失模块或不兼容调用。 - **分阶段生成与单元测试**：将完整视频拆分为场景或组件进行模块化生成，对每个模块实施单元测试后再进行全局集成，降低长程代码生成的错误累积。 —- ### 2. 视觉参考的精准重建与时空融合在 I2V 与 V2V 设置中，高参考保真度（ PF 、 SF 、 SA 、 AF ）并不必然伴随高指令遵循率（ IF ）或整体视频质量。这暗示现有模型在“重建参考”与“融入叙事”之间存在割裂。可进一步研究： - **外观-运动解耦的参考注入**：利用显式的外观编码器与运动编码器分别处理参考内容的视觉风格与动态模式，再在代码生成阶段重新组合，避免生硬嵌入导致的时序不协调。 - **时序定位与对齐的显式规划**：在生成代码前，增加一个规划模块显式预测参考内容（关键帧或片段）在完整视频中的目标时间轴位置（timestamp alignment），而非依赖端到端的隐式推理。 - **基于神经渲染的代码混合表示**：探索将传统参数化代码（如 CSS 动画、SVG 路径）与神经纹理/神经辐射场（NeRF）结合的混合表示，以在保持可编辑性的同时提升复杂外观的重建精度。 —- ### 3. 复杂状态依赖与长程一致性的显式建模复杂度分析表明，状态依赖复杂度（State-Dependency Complexity）从 L2 到 L3 的性能降幅尤为显著，长程状态一致性是当前模型的核心短板。未来工作可关注： - **状态机与记忆机制**：在代码生成中引入显式状态机（finite-state machine）或记忆模块，用于追踪跨场景的变量、对象属性与数据状态，减少长程依赖中的逻辑漂移。 - **世界模型与代码协同**：利用视频世界模型（world model）预测长程物理或语义演化的合理性，再将预测结果转化为代码约束，增强复杂动画的因果一致性。 - **分层时序规划**：采用“故事板 → 关键事件 → 细节动画”的多级规划策略，先生成高层叙事结构，再逐层细化到具体代码实现，以缓解长上下文下的状态遗忘。 —- ### 4. 评估协议与自动化指标的深化尽管论文提出了 17 项指标，部分维度仍存在提升空间： - **像素级与结构级自动验证**：针对 UI/产品动效、信息图表等类别，开发基于 OCR、图标检测、图表解析的像素级对齐指标，自动验证文本内容、数据值、布局坐标的精确性，减轻 MLLM-as-a-Judge 的幻觉风险。 - **参考保真度的细粒度分解**：将 V2V 的 AF 与 MF 进一步分解为局部外观保持（颜色、纹理）与动态行为保持（速度曲线、加速度、形变模式），以定位模型在不同运动属性上的弱点。 - **多评判模型集成与人类研究的扩展**：当前主观评估主要依赖 Gemini 3.8 Flash。未来可引入多评判模型投票或校准机制，并开展更大规模、跨文化背景的人类主观实验，建立更稳健的人类相关性基准。 —- ### 5. 跨渲染栈与领域特定语言（DSL）的泛化 Code2Video-Compass 目前基于 HTML/CSS/SVG/Canvas/Three.js + Remotion 的技术栈。向更广泛的渲染后端扩展是一个自然方向： - **跨框架迁移**：评估并提升模型在 Flutter、SwiftUI、Lottie、Unreal Engine 蓝图、Blender Python API 等不同声明式/命令式图形框架间的泛化能力。 - **面向视频生成的 DSL 设计**：设计专门面向动效与视频的领域特定语言（DSL），在抽象层级上平衡表达能力与生成可靠性，降低通用编程语言带来的语法噪声和依赖复杂性。 —- ### 6. 交互式与增量式代码视频生成论文聚焦于一次性完整视频生成，而代码表示天然支持编辑与复用： - **增量编辑与版本控制**：探索基于自然语言指令的增量修改（如“将第三段的蓝色改为红色并延长 2 秒”），评估模型在代码级版本控制与局部重渲染下的编辑保真度。 - **人机协同实时预览**：构建交互式系统，允许用户在代码生成过程中进行实时干预（如调整关键帧、修改时间轴），研究模型在交互反馈下的快速适应能力。 —- ### 7. 生成效率与成本效益的优化论文发现高 Token 消耗（ TC ）与 API 成本并不对应更高质量。未来可探索： - **代码模块化与复用**：通过函数库、组件模板或检索增强生成（RAG）复用常见动效模式，减少重复代码的 Token 开销。 - **预算约束下的最优推理**：研究在固定 Token 预算或 API 成本约束下，如何通过早期停止、分层生成或模型级联（cascading）策略最大化视频质量。 - **面向视频代码生成的高效微调**：基于 Code2Video-Compass 的标注数据，开发专门针对代码生成视频任务的高效微调方法（如 LoRA、强化学习），在不显著增加推理成本的前提下提升特定复杂度层级下的性能。 —- ### 8. 从真实视频到代码的逆向工程增强 Paired Task Set 已从真实视频派生任务，但自动化程度有限： - **大规模伪标签数据生成**：利用更强的视频理解模型自动生成高质量代码注释与复杂度标签，扩展训练/评测数据的规模与多样性。 - **视频到代码的检索-生成混合范式**：构建大规模代码-视频配对检索库，在生成时先检索相似案例再进行代码适配，提升对复杂真实世界动效的重建能力。 Q6: 总结一下论文的主要内容这篇论文介绍了 **Code2Video-Compass**，一个面向通用代码生成视频的综合性基准测试，旨在系统评估多模态大语言模型（MLLM）通过可执行代码创建完整视频的能力。以下从研究背景、数据集构建、评估框架、实验发现与核心贡献五个方面进行总结。 —- ### 1. 研究背景与核心问题与端到端直接视频生成不同，**基于代码的视频生成**通过显式的程序结构实现细粒度控制、定向编辑与组件复用。然而，现有基准存在三方面显著不足： - **任务专业化**：现有工作多聚焦于垂直场景（如 Manim 教育视频、SVG 动画、网页动画重建或短促产品动效），缺乏面向多样化创意实践（如品牌宣传、信息图表、动态排版、3D 动效等）的**通用完整视频**生成评估。 - **输入模态局限**：未有基准在统一框架内系统覆盖文本到视频（T2V）、图像到视频（I2V）与视频到视频（V2V）三种条件输入，尤其缺乏对视觉参考在完整视频中重建与集成的评估。 - **评估体系割裂**：现有方法缺少将操作可靠性、客观视频质量、文本-视频语义对齐、参考保真度与主观创意质量进行系统整合的双层次评估框架。 —- ### 2. 数据集构建论文构建了包含 **2,104 项任务**的大规模数据集，其设计要点包括： - **创意覆盖**：涵盖 10 个核心类别（如解说动效、品牌宣传、UI/产品动效、标题序列、抽象实验动画、3D 动效等）与 24 个细分子类型。 - **输入模态**：包含 T2V（718 项）、I2V（693 项）与 V2V（693 项）任务。 - **双策略构造**： - **独立任务集（Independent Task Set）**：基于精选文本种子与视觉参考从零构建，扩展创意多样性。 - **配对任务集（Paired Task Set）**：从 573 个完整的专业及用户创作视频（源自 YouTube、Bilibili、REDnote、X 等平台）中派生，每个视频同步生成对齐的 T2V、I2V、V2V 任务，确保与真实创作实践关联。 - **复杂度标注**：每项任务在三个互补维度上标注 3 个层级——**构建复杂度**（图元组合到程序模拟）、**动态动画复杂度**（分阶段序列到复杂并发运动）与**状态依赖复杂度**（相邻阶段一致到长程跨阶段依赖）。 - **技术栈**：生成代码支持 HTML/CSS、SVG、Canvas 与 Three.js，通过 Remotion 统一渲染为视频。 —- ### 3. 双层次评估框架论文提出融合 **12 项客观指标**与 **5 项主观指标**的评估体系： **客观评估** - **操作性能**：执行成功率（ ES ）与 Token 消耗（ TC ）。 - **视频质量**：技术质量（ TQ ，基于 DOVER++）、美学质量（ AQ ，基于 Aesthetic Predictor V2.5）、运动平滑度（ MS ，基于 AMT 帧插值）。 - **文本-视频对齐**：局部对齐（ L-TVA ，基于 ViCLIP-L 滑动窗口）与全局对齐（ G-TVA ，基于 Qwen3-VL-Embedding）。 - **参考保真度**： - I2V：感知保真度（ PF ，基于 DINOv3）与结构保真度（ SF ，基于 SSIM）。 - V2V：序列对齐（ SA ，基于子序列 DTW）、外观保真度（ AF ，基于 DreamSim）与运动保真度（ MF ，基于 CoTracker3 轨迹比对）。 **主观评估** 采用经人工验证的 **MLLM-as-a-Judge** 协议（Pearson r ≈ 0.79 ，ICC ≈ 0.98 ）： - **指令遵循（ IF ）**：基于从指令派生的 QA 清单（最多 16 问，覆盖内容、属性、构图、关系、动态、美学），计算验证通过率。 - **整体视频质量**：内容连贯性（ CC ）、视觉设计（ VD ）、运动质量（ MQ ）与观众参与度（ VE ），采用五点李克特量表。 —- ### 4. 实验发现论文对 **15 个来自 9 个家族的 MLLM**（包括 Claude、GPT、Gemini、Qwen、Kimi、GLM、DeepSeek、MiniMax、MiMo）进行了固定子集（1,054 项任务）的标准化评测，核心发现如下： - **整体领先者**：Claude Opus 5.5 在三种设置下的平均排名均为第一，Claude Sonnet 5.5 紧随其后；开源模型中 DeepSeek-V4.1-Flash（T2V）与 MiMo-V2.6-Pro（I2V/V2V）表现较优。 - **可靠性与质量非必然正相关**：GPT-6 Astra 与 GPT-6.1 Sol 在成功渲染视频上的主观质量较高，但因执行失败率较高（ ES 分别为 0.864、0.892），其全集平均质量反被 Claude Opus 5.5（ ES=0.944 ）超越。 - **失败模式异质**：不同模型失败原因分布显著不同——GPT-6 Astra 以编译错误与缺失依赖为主（83.4%），而 Claude Opus 5.5 以运行时异常为主（75.0%）。 - **复杂度敏感性**：性能随复杂度提升普遍下降；结构保真度（ SF ）对中度复杂度（L1→L2）最敏感（降幅达 14.38% 量程）；状态依赖复杂度的最大降幅出现在 L2→L3，表明长程依赖仍是突出瓶颈。 - **成本效率差异显著**：GLM-5.3-Flash 的 Token 消耗（90.0k）约为 GPT-6 Astra（13.9k）的 6.5 倍，但质量显著更低；更高 API 支出并不必然转化为更优视频。 —- ### 5. 核心贡献 - **通用任务形式化**：首次在统一框架下形式化 T2V、I2V、V2V 的代码生成视频任务，要求模型生成可执行代码以创建完整连贯视频，而非孤立片段。 - **分类学驱动的大规模数据集**：构建 2,104 项任务，覆盖 10 大创意类别与 24 子类型，并引入三维度三级复杂度体系，为诊断模型能力提供精细粒度。 - **综合双层次评估框架**：整合 12 项客观指标与 5 项主观指标，覆盖操作可靠性、视频质量、语义对齐、参考保真度与创意质量，填补了代码视频生成领域系统性评估的空白。 - **广泛基准测试与深度洞察**：对 15 个前沿 MLLM 的大规模评测揭示了执行可靠性、参考重建、复杂度敏感性与生成效率方面的关键瓶颈，为后续研究指明了方向。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhenghan Chen,Zekai Shao,Xin Lin,Leting Cheng,Siming Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.28416.pdf

Arxiv URL: https://arxiv.org/abs/2610.28416

Arxiv ID: 2610.28416

CoolPaper URL: https://papers.cool/arxiv/2610.28416

Published: 2026-10-24T01:57:42.266Z

Updated: 2026-10-24T01:57:42.266Z

15. Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports

Abstract:Deep research agents synthesize open-web evidence into long reports, but current benchmarks do not evaluate research centered on a source video. We introduce Video-Centered Deep Research Report Generation. Given a video and user request, an agent identifies research questions, retrieves external multimodal evidence, and produces an interactive report linked to relevant video moments. This task has direct practical value because it helps users locate relevant moments, verify claims, reproduce demonstrated procedures, and make informed decisions from video content. We present a skill-based workflow and OmniDR-Bench for this task. For evaluation, we propose Omni Atomic Rubric Trees (Omni-ARTs). Each tree contains three dimensions, 23 shared directions, and task-specific atomic binary criteria. The directions test audiovisual grounding, multimodal evidence use, and interactive presentation. Audited Rubric Construction (ARC) builds these trees through independent evidence collection, automated checks, behavioral calibration, and iterative human review. OmniDR-Bench contains 50 Chinese and English tasks across 19 realworld subcategories. It includes 6,414 criteria. Across 18 agent configurations, the best system scores 63.3 out of 100. Current agents still need broader content coverage, stronger causal and logical analysis across modalities, and more accurate citation support. We further analyze models, harnesses, skill configurations, video categories, and research trajectories. The code and data are released at this https URL.

中文摘要

摘要：深度研究代理将开放网络证据综合为长篇报告，但现有的基准并未评估以源视频为中心的研究。我们提出了视频中心深度研究报告生成任务。给定一个视频和用户请求，代理会识别研究问题，检索外部多模态证据，并生成与相关视频片段链接的互动报告。该任务具有直接的实用价值，因为它帮助用户定位相关片段，验证观点，复现实验过程，并从视频内容中做出知情决策。我们提出了基于技能的工作流程和OmniDR-Bench用于该任务。评估方面，我们提出了Omni原子评分树（Omni-ARTs）。每棵树包含三个维度、23个共享方向和特定任务的原子二元标准。这些方向测试视听基础、多模态证据使用和互动呈现。审计评分标准构建（ARC）通过独立证据收集、自动检查、行为校准和迭代人工审核来构建这些树。OmniDR-Bench包含19个真实世界子类别中的50个中英文任务，涵盖6,414个标准。在18种代理配置中，最佳系统得分为63.3分（满分100分）。当前的代理仍需要更广泛的内容覆盖、跨模态的更强因果和逻辑分析，以及更准确的引用支持。我们进一步分析了模型、工具、技能配置、视频类别和研究轨迹。代码和数据已在此URL发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.31158 (HTTP 429)

Authors: Jiahao Meng,Qize Yang,Yuxuan Wang,Yunfei Chu,Wensi Dai,Jin Xu,Yunhai Tong

Categories:

PDF URL: https://arxiv.org/pdf/2610.31158.pdf

Arxiv URL: https://arxiv.org/abs/2610.31158

Arxiv ID: 2610.31158

CoolPaper URL: https://papers.cool/arxiv/2610.31158

Published: 2026-10-24T01:57:44.219Z

Updated: 2026-10-24T01:57:44.219Z

16. RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing

Abstract:LLM routing dynamically selects and coordinates heterogeneous language models across diverse tasks. However, existing approaches are largely built around a predefined execution paradigm, such as single-round, multi-round, or agentic routing, which fixes how model calls are organized and limits adaptation to different query needs. We propose RouteWeaver, a unified routing framework that integrates these routing modes within a single LLM policy, jointly learning which mode to use and how to select models within that mode. To jointly optimize mode selection and within-mode execution, we develop COMET-GRPO (COordinated Mode-Execution Training), which decouples the trajectory-level advantage into separate signals for mode selection and within-mode execution, enabling more targeted credit assignment to each decision level. We further introduce progressive exploration, which gradually shifts training from externally assigned modes to autonomous selection, so that the router first learns how to execute each mode before deciding when to use it. We evaluate RouteWeaver across mathematics, coding, knowledge, logical reasoning, and factual recall. RouteWeaver achieves an average accuracy of 61.4%, an 11.03% relative improvement over the strongest baseline, and outperforms all compared baselines in each of the five domains. Ablations show that both COMET-GRPO and progressive exploration are important for adaptive routing; without progressive exploration, the routing policy collapses entirely to single-round execution.

中文摘要

摘要：LLM 路由可以在不同任务中动态选择和协调异构语言模型。然而，现有方法大多建立在预定义的执行模式之上，例如单轮、多轮或代理式路由，这种模式固定了模型调用的组织方式，限制了对不同查询需求的适应能力。我们提出了 RouteWeaver，一个统一的路由框架，在单一的 LLM 策略中整合了这些路由模式，同时学习使用哪种模式以及如何在该模式内选择模型。为了联合优化模式选择与模式内执行，我们开发了 COMET-GRPO（协调模式-执行训练），将轨迹级优势解耦为模式选择和模式内执行的独立信号，从而能够对每个决策层进行更有针对性的信用分配。我们进一步引入了渐进式探索，将训练逐步从外部分配模式转向自主选择，使路由器能够先学习如何执行每种模式，再决定何时使用它。我们在数学、编码、知识、逻辑推理和事实回忆等领域对 RouteWeaver 进行了评估。RouteWeaver 平均准确率达到 61.4%，比最强基线高出 11.03%，并在五个领域中均优于所有对比基线。消融实验表明，COMET-GRPO 和渐进式探索对于自适应路由都非常重要；没有渐进式探索，路由策略将完全崩溃为单轮执行。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.19705 (HTTP 429)

Authors: Xiaohan Wang,Haozhen Zhang,Qingyuan Liu,Tao Feng,Wenya Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.19705.pdf

Arxiv URL: https://arxiv.org/abs/2610.19705

Arxiv ID: 2610.19705

CoolPaper URL: https://papers.cool/arxiv/2610.19705

Published: 2026-10-24T01:57:45.764Z

Updated: 2026-10-24T01:57:45.764Z

17. RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting

Abstract:Feed-forward 3D Gaussian Splatting (FF3DGS) reconstructs 3D scenes from images in a single forward pass, making it well-suited to applications that must operate within limited resource budgets. To further improve its practicality, recent budget-controllable FF3DGS methods allow the number of Gaussians to be adjusted at inference, so that the output meets a given storage limit or rendering-latency constraint. However, these methods overlook the cost of inference itself: to produce a representation with the target number of Gaussians, they first predict a dense set of Gaussians and then prune or select from it, requiring nearly constant latency and peak memory regardless of the budget. We therefore propose RLSplat, a resource-linear budget-controllable FF3DGS framework whose representation size, inference latency, and peak memory all decrease linearly as the Gaussian budget is reduced. Instead of pruning or selection, RLSplat learns a Gaussian allocation policy that distributes the budget across local scene regions, so that exactly the requested number of Gaussians is generated. These Gaussians are then refined through resource-linear Gaussian decoding, in which each Gaussian attends only to nearby Gaussians found via an efficient hierarchical neighbor search, so that the decoding cost decreases linearly with fewer Gaussians. In zero-shot evaluation, RLSplat outperforms prior budget-controllable methods at every budget, surpassing the strongest baseline even with 4$\times$ fewer Gaussians, while running up to 4.1$\times$ faster with 9.6$\times$ less peak memory at low budgets.

中文摘要

摘要：前馈三维高斯点扩散（FF3DGS）能够在单次前向传递中从图像重建三维场景，使其非常适合必须在有限资源预算内运行的应用。为了进一步提高其实用性，最近的可控预算 FF3DGS 方法允许在推理时调整高斯数量，以使输出满足给定的存储限制或渲染延迟约束。然而，这些方法忽略了推理本身的成本：为了生成具有目标数量高斯的表示，它们首先预测一组密集的高斯，然后进行修剪或选择，无论预算如何，几乎都需要恒定的延迟和峰值内存。因此，我们提出了 RLSplat，一种资源线性可控预算的 FF3DGS 框架，其表示大小、推理延迟和峰值内存随着高斯预算的减少而线性下降。RLSplat 并非通过修剪或选择，而是学习一个高斯分配策略，将预算分配到局部场景区域，从而生成正好所需数量的高斯。随后，这些高斯通过资源线性高斯解码进行优化，在解码过程中，每个高斯仅关注通过高效分层邻近搜索找到的附近高斯，从而使解码成本随着高斯数量的减少而线性下降。在零样本评估中，RLSplat 在每个预算下都优于之前的可控预算方法，即使高斯数量减少 4 倍，也超过最强的基线，同时在低预算下运行速度提高最多 4.1 倍，峰值内存减少 9.6 倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.27712 (HTTP 429)

Authors: Injae Kim,Minseok Joo,Jihwan Park,Sehyung Kim,Minseong Bae,Hyunwoo J. Kim

Categories:

PDF URL: https://arxiv.org/pdf/2610.27712.pdf

Arxiv URL: https://arxiv.org/abs/2610.27712

Arxiv ID: 2610.27712

CoolPaper URL: https://papers.cool/arxiv/2610.27712

Published: 2026-10-24T01:57:48.603Z

Updated: 2026-10-24T01:57:48.603Z

18. Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

Abstract:LLM memory is widely used in long-term conversation understanding. Agentic memory systems often use mutation, structural organization, learned retrieval strategies, or other complex operations. Is this complexity always necessary? We study Raw-RAG, a naive RAG baseline using dense retrieval and reranking over raw history to supply evidence to a reader LLM. Across LoCoMo, LongMemEval, MEME, and MemoryAgentBench, Raw-RAG ranks first among the compared memory systems in six of seven benchmark-model settings, outperforming the strongest compared agentic memory system by 0.13-5.53 points. We investigate why raw-history retrieval remains competitive. Evidence analysis shows that its higher coverage of necessary evidence can offset lower utilization. Useful evidence includes both answer values and the relations and dependency paths needed to derive them. Even complete access to transformed memory stores leaves an accuracy gap relative to raw evidence, highlighting the importance of preserving raw information. These findings challenge the necessity of complex agentic memory for the evaluated conversation tasks and establish naive RAG as an essential baseline.

中文摘要

摘要：LLM 内存被广泛用于长期对话理解。具有代理能力的内存系统通常使用变异、结构化组织、学习的检索策略或其他复杂操作。这种复杂性总是必要吗？我们研究了 Raw-RAG，一种使用稠密检索和重新排序对原始历史进行操作以为阅读器 LLM 提供证据的简单 RAG 基线。在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 中，Raw-RAG 在七个基准模型设定中的六个中排名第一，超过最强的具代理能力的内存系统 0.13-5.53 分。我们探讨了为什么原始历史检索仍具有竞争力。证据分析表明，其对必要证据的更高覆盖率可以抵消较低的利用率。有效证据包括答案值以及推导这些答案所需的关系和依赖路径。即使完全访问转换后的内存存储，相对于原始证据仍存在准确性差距，这突显了保留原始信息的重要性。这些发现挑战了在评估的对话任务中使用复杂代理内存的必要性，并确立了简单 RAG 作为一个重要基线。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30755 (HTTP 429)

Authors: Zhengye Bao,Shengtao Zhang,Haokai Zhang,Shiqi Lou,Muning Wen,Minnan Luo

Categories:

PDF URL: https://arxiv.org/pdf/2610.30755.pdf

Arxiv URL: https://arxiv.org/abs/2610.30755

Arxiv ID: 2610.30755

CoolPaper URL: https://papers.cool/arxiv/2610.30755

Published: 2026-10-24T01:57:48.735Z

Updated: 2026-10-24T01:57:48.735Z

19. Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

Abstract:Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiveness depends on what the latent space compresses and how the discrete generator uses it. We propose Cola2, a framework that jointly studies continuous semantic compression, the balance between reconstruction and generation, and continuous-discrete co-adaptation. Cola2 dynamically segments text into semantic spans, controls the compression rate through auxiliary-loss-free negative feedback, and combines reconstruction and generation supervision to learn compact, predictive latent representations. A block-causal masked diffusion decoder is trained with clean, noisy, and dropped latent conditions, while classifier-free guidance adjusts the balance between semantic reconstruction and autonomous generation. Token-prediction gradients update the encoder through the latents, whereas Flow Matching prior learning is decoupled from representation learning by stop-gradient. During inference, generated text is re-encoded under a fixed span layout to keep the latent history consistent with the actual text context. Experiments on five downstream tasks with about 210 billion training tokens validate the core designs and show competitive, unsaturated scaling. With 346.03 billion source tokens, an unconverged checkpoint reaches a 60.10 average across eight tasks and surpasses Llama-3-8B on HellaSwag and StoryCloze despite its reported pretraining budget being over 43 times larger. These results demonstrate the potential of continuous-latent hierarchical language generation.

中文摘要

摘要：分层语言生成将连续语义建模与离散文本实现分开，但其有效性取决于潜在空间压缩的内容以及离散生成器如何使用它。我们提出了 Cola2 框架，它共同研究连续语义压缩、重建与生成之间的平衡以及连续-离散协同适应。Cola2 动态地将文本分段为语义片段，通过无辅助损失的负反馈控制压缩率，并结合重建与生成监督来学习紧凑且可预测的潜在表示。一个块因果掩码扩散解码器在干净、噪声和丢弃潜在条件下进行训练，而无分类器引导用于调节语义重建与自主生成之间的平衡。令牌预测梯度通过潜在变量更新编码器，而通过停止梯度将流匹配先验学习与表示学习解耦。在推理过程中，生成的文本在固定片段布局下重新编码，以保持潜在历史与实际文本上下文的一致性。在大约 2100 亿训练令牌的五个下游任务实验中验证了核心设计，并显示了具有竞争力且未饱和的扩展性。在 3460.3 亿源令牌下，未收敛的检查点在八个任务中平均达到 60.10，并在 HellaSwag 和 StoryCloze 超过 Llama-3-8B，尽管其报告的预训练预算大了超过 43 倍。这些结果展示了连续潜在分层语言生成的潜力。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*层次化语言模型中连续语义压缩与离散文本生成之间的协同适应（co-adaptation）问题\*\*。具体而言，它针对以下三个相互关联的核心挑战： --- ### 1. 语义压缩的信息选择问题层次化生成将连续潜在空间与离散文本实现分离，但\*\*缩短潜在序列长度不等于获得紧凑的语义表示\*\*。论文指出，在有限的潜在容量下，潜在空间应优先保留何种信息（如高层语义而非局部冗余）尚无明确答案。仅依赖重构目标无法保证潜在变量具备预测缺失或未来文本的能力。关键公式层面，论文定义了语义信息密度：

D_(sem) := (I(S; Z mid C)) / (K) = (I(S; Z mid C)) / (rho T)
其中 S 为高层语义变量， Z 为潜在序列， rho 为压缩率。该指标强调，有效的压缩应提升**单位潜在位置所承载的语义信息量**，而非简单减少序列长度。 —- ### 2. 离散解码器的重构–生成平衡问题离散解码器必须在两种模式间取得平衡： - **条件重构（reconstruction）**：在潜在条件完整时，忠实还原连续语义对应的离散文本； - **自主生成（generation）**：当潜在条件不完整、含噪声或被丢弃时，基于离散上下文自主补全剩余内容。论文通过信息分解指出：

H(Y mid C) = I(Y; Z mid C) + H(Y mid C, Z)
若固定编码器，信息分配 I(Y; Z mid C) 与 H(Y mid C, Z) 在解码器训练前即被锁定，导致次优分工。因此，**潜在保留的信息量必须与解码器能自主完成的剩余不确定性联合决定**。 —- ### 3. 连续–离散表示的联合学习问题论文揭示了两种常见训练策略的缺陷： - **预训练固定编码器**：限制了潜在表示对解码需求的持续适应； - **先验拟合梯度直接更新编码器**：可能驱使潜在空间流向易于扩散模型拟合的方向（”latent hacking”），而非更有利于离散生成的方向。为此，论文提出**梯度解耦**机制：通过离散token预测损失反向传播更新编码器（ ∇φ L(DGD) ≠ 0 ），实现连续表示与离散解码的端到端协同适应；同时通过stop-gradient阻断扩散先验（Flow Matching）损失对编码器的直接影响（ ∇φ L(FM) = 0 ），避免先验拟合扭曲语义表示。 —- ### 总结 Cola2试图建立一个**统一的协同适应框架**，通过动态语义分段、无辅助损失的负反馈压缩率控制、混合可靠性的潜在条件训练，以及推理时的固定跨度重编码反馈，使连续潜在空间与离散生成器在有限容量下**共同进化**，实现语义压缩与文本生成的最优分工。 Q2: 有哪些相关研究？根据论文第2节（Related Work）及引言中的讨论，相关研究可分为以下三个方向： —- ### 1. 语义压缩与层次化语言模型（Semantic Compression and Hierarchical Language Models）该方向关注如何通过不同粒度压缩文本来构建层次化表示： - **固定粒度方法**：通过分块（chunking）或下采样（downsampling）缩短建模序列，如 Nawrot 等人提出的 Hierarchical Transformers

33
和 Yu 等人的 Megabyte
48
。 - **自适应压缩方法**：根据内容动态聚合字节或 token，例如 Hwang 等人的 Dynamic Chunking
18
、Pagnoni 等人的 Byte Latent Transformer
36
，以及 Qu 等人的 Dynamic Large Concept Models（DLCM）
39
。 - **概念级方法**：利用句子表示或概念预测来组织生成过程，如 Barrault 等人的 Large Concept Models
3
和 Cao 等人的 NCP-ArchPreview
7
。 **与 Cola2 的区别**：Cola2 采用无辅助损失（auxiliary-loss-free）的负反馈机制动态控制压缩率，避免压缩率损失与表示学习之间的竞争；同时结合重构与生成监督，学习既紧凑又具有预测性的连续语义表示。 —- ### 2. Token 空间语言模型（Token-Space Language Models）该方向涵盖在离散 token 空间直接进行文本生成的主流范式： - **自回归（Autoregressive, AR）方法**：遵循从左到右的串行生成顺序，如 Brown 等人的 GPT-3

6
、Grattafiori 等人的 Llama 3
11
以及 Yang 等人的 Qwen3
45
。 - **离散扩散（Discrete Diffusion）方法**：通过迭代去噪并行预测多个位置，例如 Austin 等人的 Structured Denoising Diffusion Models
2
、Lou 等人的 D3PM
27
、Nie 等人的 LLaDA
34
、Sahoo 等人的 MDLM
41, 42
和 Ye 等人的 Dream 7B
47
；进一步扩展到块级生成与 token 编辑，如 Arriola 等人的 Block Diffusion
1
、Bie 等人的 LLaDA2.0/2.1
4, 5
。 - **连续增强（Continuous-Augmented）方法**：使用配对的连续状态辅助离散去噪，例如 Uziel 等人的 Crocodile
44
、Zheng 等人的连续增强离散扩散
51
以及 Zhou 等人的协同进化连续-离散扩散
52
。 **与 Cola2 的区别**：Cola2 并非直接在 token 空间建模，而是先在压缩的连续潜在空间学习语义先验，再通过离散解码器进行条件生成，从而将语义组织与文本实现解耦为层次化过程。 —- ### 3. 连续表示与潜在空间语言模型（Continuous Representations and Latent-Space Language Models）该方向探索在连续空间中进行语言建模或利用潜在变量： - **Token 对齐方法**：直接在连续表示上进行扩散或流建模，如 Chen 等人的 Langflow

8
、Gong 等人的 DiffuSeq
10
、Gulrajani 与 Hashimoto 的基于似然的扩散语言模型
12
、Hu 等人的 ELF
16
、Lee 等人的 Flow Map Language Models
22
、Li 等人的 Diffusion-LM
23
以及 Yang 等人的连续扩散语言模型
46
。 - **基于自编码器的潜在空间方法**：将潜在生成与文本解码分离，例如 Lovelace 等人的 Latent Diffusion for Language Generation
28
、Meshchaninov 等人的 Cosmos
29
和 Zhang 等人的 PLANNER
50
。 - **联合学习方法**：共同优化潜在空间与生成模型，例如 Guo 等人的 Cola DLM
13
以及 Meshchaninov 等人关于联合训练潜在扩散语言模型的研究
30
。 **与 Cola2 的区别**：Cola2 通过离散重构与生成监督驱动表示学习，同时利用 stop-gradient 隔离扩散先验（Flow Matching）对编码器的梯度，避免先验拟合扭曲语义表示；这使得语义压缩与解码器的重构–生成平衡能够被联合优化，而非独立设计。 Q3: 论文如何解决这个问题？ Cola2 通过**连续–离散协同适应的层次化建模框架**解决上述问题，核心设计围绕概率信息分解、动态语义压缩、重构–生成平衡解码器、梯度解耦训练以及推理时跨空间对齐五个层面展开。 —- ### 1. 统一概率建模与信息分解框架将文本生成形式化为连续潜在变量模型：

p(Y mid C) = ∫ pθ(Z mid C) , p_psi(Y mid C, Z) , dZ
其中 C 为上下文， Y 为目标文本， Z = (z_1, dots, z_K) 为连续潜在序列，压缩率 rho = K/T 。引入编码器 qφ(Z mid C, Y) 作为近似后验，得到条件 ELBO：
L(ELBO) = E(qφ)[log p_psi(Y mid C, Z)] - KL(qφ(Z mid C, Y) parallel pθ(Z mid C))
由此导出三项关键信息分解： - **语义压缩**：定义语义信息密度
D(sem) := (I(S; Z mid C)) / (K) = (I(S; Z mid C)) / (rho T)
以衡量单位潜在位置承载的高层语义信息量，指导编码器优先保留预测性强、可泛化的语义信号。 - **重构–生成平衡**：对潜在条件施加随机退化信道 Z ，利用数据处理不等式
I(Y; Z mid C) ≥ I(Y; Z mid C), quad H(Y mid C, Z) ≤ H(Y mid C, Z)
使得解码器在条件完整时执行语义重构，在条件退化时自主生成残余不确定性。 - **协同适应**：联合优化编码器与解码器
(φ^star, psi^star) = argmin(φ,psi) E(pdata)(C,Y) E(q_φ(Zmid C,Y))[-log p_psi(Y mid C, Z)] quad s.t. quad (K) / (T) ≈ rho^star
而非预先固定编码器，从而使潜在表示与离散生成能力共同进化。 —- ### 2. 动态语义压缩编码器 **动态分段（Dynamic Segmentation）** 将目标序列 Y 划分为 K 个连续语义跨度（spans），允许跨度长度 L_k 在 $

1, L(max)
$ 内根据内容自适应变化：
∪(k=1)^K Sk = 1, dots, T, quad rho = (K) / (T)
通过计算相邻 token 表示的语义不连续度 δ_t = 1 - cos(LN(h_t), LN(h(t+1))) ，经可学习的偏置 b 映射为边界概率 pt = σ(α(δ_t - τ_0) + b) ，实现内容驱动的软边界决策。 **无辅助损失的负反馈压缩率控制** 偏置 b 不参与反向传播，而按控制律更新：
b arrow clip(b - eta_b(rho - rho^star), -c_b, c_b)
其中 rho 为当前全局批次的实测压缩率。该机制将硬压缩率约束外化为梯度无关的负反馈回路，避免压缩率损失与表示学习之间的竞争。 **跨度内双向聚合与因果潜在编码** 在跨度内部使用双向注意力池化提取局部语义，再沿潜在轴进行因果 Transformer 编码，输出对角高斯后验：
qφ(z_k mid C, Y) = N(μ_k, diag(σ_k^2)), quad z_k = μ_k + σ_k odot ε_k
—- ### 3. 重构–生成平衡的块因果 MDM 解码器解码器 D_psi 为**块因果掩码扩散模型（Block-Causal MDM）**：跨块因果、块内双向去噪。 **三态混合训练（Clean / Noisy / Drop）** 对每个潜在块独立采样条件可靠性状态 A ∈ cond, noise, drop ：

ZA = Z, & A = cond (1-u_c)Z + u_cε, & A = noise ∅, & A = drop
对应的平衡目标为：
L(bal) = λc L(cond)^(tok) + λn L(noise)^(tok) + λd L(drop)^(tok)
覆盖从强条件重构到弱条件生成的完整连续谱。 **生成导向的编码器监督（ L(gen) ）** 在固定分段布局下，随机遮蔽编码器输入中的部分跨度，强制编码器基于上下文推断缺失语义，并通过对应 token 预测损失直接监督潜在表示的预测性：
L(gen) = L_(encmask)
该目标确保潜在变量不仅支持局部重构，还能降低未来或缺失 token 的条件不确定性。 —- ### 4. 连续–离散协同适应与梯度解耦训练 **端到端 token 梯度驱动协同适应** Stage 1 联合训练编码器、潜在–token 接口与解码器，统一目标为：

L^((1)) = L(DGD) + β(KL)L(KL) + λ(dur)L(dur)
其中 L(DGD) = L(bal) + λ(gen)L(gen) 。关键性质为：
∇φ L(DGD) = ∂ L(DGD)∂ Z (∂ Z) / (∂ φ) ≠ 0
即离散 token 预测损失通过潜在变量反向传播至编码器，驱动连续表示与离散生成需求对齐。 **Flow Matching 先验拟合的梯度隔离** Stage 2 在保留上述路径的同时，引入基于 Flow Matching 的潜在 DiT Gθ 。在线潜在经 stop-gradient 后送入 DiT：
Z = sg(Z)
Flow Matching 损失为：
L(FM) = E[| Gθ(z_u, u; Z(<j)) - v^star |2^2], quad v^star = ε - Z
此时：
∇φ L(FM) = 0, quad ∇θ L_(FM) ≠ 0
此举阻断扩散先验对编码器的直接重写（避免”latent hacking”），同时保留编码器在 token 监督下的持续进化。 —- ### 5. 推理时的跨空间对齐：提议–解码–重编码–提交为避免累积上下文漂移，推理遵循原子化事务：

Zj^(prop) D_psi Y_j Eφ(·; hatSj) Z_j^(corr) commit K(j+1)

**提议（Propose）**：DiT 在已提交的修正潜在前缀上生成当前块提议 Zj^(prop) 。 - **解码（Decode）**：MDM 解码器将提议实现为离散 token 块 Y_j 。 - **重编码（Re-encode）**：使用由时长预测器确定的**固定跨度布局**（不重新运行动态分段器）对生成文本重编码，得到 Z_j^(corr) 。 - **提交（Commit）**：将 Z_j^(corr) 及对应 token 历史原子写入持久缓存。该机制保证训练–推理一致性（潜在历史始终来自同一编码器路径），并维持连续潜在上下文与离散 token 上下文的对齐：
K(Z≤ j) equiv Eφ(K(Y≤ j); S(≤ j))
**两级 Classifier-Free Guidance** - **潜在 DiT 级**：在速度空间调制历史潜在条件影响：
γ = v_u + γ(gen)(v_c - v_u)
**MDM 解码器级**：在 logit 空间执行前缀–潜在双轴 CFG：
ell(γ_p,γ_z) = γ_pγ_z ell(11) + γp(1-γ_z)ell(10) + (1-γp)γ_z ell(01) + (1-γp)(1-γ_z)ell(00)
其中 γ_p 控制前缀可见性， γ_z 控制当前潜在条件强度，实现推理时对重构–生成平衡的显式调节。 —- ### 6. 计算架构与成本训练成本分为两阶段：

C(train) ≈ D_1 c(rep)^((1)) + D2(c(rep)^((2)) + cG^((2)))
推理的串行调用轮次代理为：
H(Cola2)H(AR) ≈ rho(gen)B(S(gen) + H_D + H_F)
其中 B 为潜在块大小， S(gen) 为 DiT 去噪步数， HD 和 H_F 分别为解码与反馈的每块调用轮次。压缩率 rho 将潜在轴的主导线性层与注意力对数复杂度分别降至 O(rho) 与 O(rho^2) 的 token 空间对应量，但表示路径与解码路径的代价依然存在。 Q4: 论文做了哪些实验？论文的实验体系围绕**语义潜在空间构建**、**潜在生成器学习**、**解码器重构–生成平衡**以及**规模扩展与下游评估**四个维度展开，包含大量组件消融与受控对比。 —- ### 1. 实验设置 - **数据集**：组件分析与受控缩放使用 OLMo 2 预训练语料；下游评估涵盖 LAMBADA、RACE、OBQA、Story Cloze、SQuAD（五任务受控实验），以及 HellaSwag、NarrativeQA、ARC-Easy、TruthfulQA、MMLU（八任务后预训练比较）。 - **基线**：包括 DLCM（速率控制对比）、自回归（AR）、LLaDA、Cola DLM、无压缩的 Cola-MDM（ rho = 1 ），以及 Llama-3-8B、Qwen2.5-7B、Qwen3-8B-Base、LLaDA-8B-Base 等外部模型。 - **训练规模**：受控缩放实验训练约 210B token；最终检查点使用 346.03B source token，分三阶段完成（动态压缩 VAE、联合训练、冻结 VAE 继续训练 DiT）。 —- ### 2. 语义潜在空间的构建（组件分析，以 LAMBADA 为主要观测任务） #### 2.1 动态分割与速率控制 - **分割策略对比**：比较固定长度分割（fixed-length + tail drop）、随机跨度（random span）与动态分割（dynamic segmentation，论文方法）。结果显示在 rho = 1/2 、 L(max) = 4 时，动态分割达到 25.0%，显著优于固定长度（16.8%）和随机跨度（20.6%）；放宽 L_(max) 至 8 可达 29.4%，甚至超过无压缩模型（28.7%）。 - **速率控制机制对比**：对比无辅助损失的负反馈控制器与 DLCM

39
。前者达到 25.0%，后者仅 18.4%，表明直接调节硬压缩率可避免速率损失与表示学习竞争。 #### 2.2 VAE 架构消融 - **编码器层分配**：测试不同层数分配（如 0+2+2 、 2+0+2 、 2+4 、 6 层等）。发现四层 0+2+2 配置（两层池化前、两层池化后）达到最佳 29.6%，超过所有六层变体；移除池化层（ 2+0+2 ）则暴跌至 15.7%。 - **跨度池化算子**：比较均值池化（mean）、端点池化（endpoint）、全因果注意力、块因果注意力（block-causal）与跨度内双向注意力（intra-span bidirectional）。跨度内双向注意力最优（26.7%），块因果次之（25.0%），其余均 ≤ 19.0%。 #### 2.3 压缩与潜在容量 - **潜在通道宽度 dz **：在平均跨度为 2 时， d_z = 64 达到峰值 32.3%， d_z = 512 时降至 14.5%，呈现非单调的“内部最优”现象。 - **最大跨度 L(max) 与压缩率联合调节**：分析 L(max) 对强制截断比例的影响。当截断频繁时，较小 L(max) 使每个潜在更简单；当截断比例降至约 1%（跨度 4、 L(max)=18 ）时，保留完整语义跨度成为主导因素。表 1 报告了各压缩水平下的最佳配置：平均跨度 2（ d_z=64, L(max)=8 ）时 32.3%，平均跨度 4（ dz=256, L(max)=18 ）时 25.2%。 #### 2.4 编码器的生成监督 - **生成目标形式**：纯重构仅 15.7%；增加 Span-AR 或 BERT 式目标分别提升至 25.2% 和 26.5%。 - **编码器可训练性**：冻结编码器时 BERT 式目标仅带来 2.2 点增益（28.9% to 31.1%）；解除冻结后可达 35.2%，验证了 Lemma 4.1——生成监督在编码器可训练时才能推动潜在表示本身进化。 - **编码器–解码器协同进化**：使用 MDM 解码器时，冻结编码器为 47.6%，端到端协同进化提升至 53.5%，进一步增加生成损失达 58.2%。 —- ### 3. 潜在生成器的学习 #### 3.1 VAE 更新策略与梯度分离 - **更新策略对比**：保持 VAE 可训练但分离 DiT 梯度（论文方法）最终达 32.8%；冻结 VAE 仅 28.7%；每 5 步更新 VAE 并使用 EMA 潜在介于两者之间。 - **梯度注入的时间动态**：允许 DiT 梯度流入编码器时，20k 步领先 2.2 点，但 80k 步后被反超，140k 步时全分离策略领先 1.0 点（33.1% vs 32.1%），支持 Lemma 4.2——先验拟合梯度会“篡改”（hack）潜在空间。 #### 3.2 噪声调度校准 - 测试 Logit-normal 噪声调度的均值参数 loc ∈ 1.0, 1.7, 2.0, 2.3 。三种配置均在 loc=2.0 时最优，偏离后损失 0.3–3.0 点，证明噪声调度必须与潜在分布联合校准（Lemma 4.3）。 #### 3.3 块大小与生成器容量 - **块大小 B **：对 2B DiT， B=4 最优（36.4%）， B=1 和 B=24 分别仅 31.8% 和 27.3%。 - **DiT 容量缩放**：增大 DiT（2B to 7B to 32B）使大块的性能下降斜率变平： B=8 to 16 的损失从 4.5 点降至 2.7 点，表明更大生成器可有效建模更大潜在块。 #### 3.4 生成器引导与推理步数 - **CFG 尺度**：8 步去噪时， γ(gen)=1 仅 12.2%， γ(gen)=14 达 37.1%；16 步时峰值移至 γ_(gen)=20 （38.5%）。 - **去噪步数**：1 步和 4 步分别损失约 14 和 5 点；8 步后饱和（8–128 步差异 ≤ 0.3 点）。 —- ### 4. 解码器的重构–生成平衡 #### 4.1 解码器类型 - 对比 AR-MTP 与 MDM 解码器在相同潜在–token 接口下的表现：50k、100k、150k 步差距均 ≤ 1.4 点，且领先方交替出现。结论为解码器因子 Q5: 有什么可以进一步探索的点？基于论文第 5 节（Limitations & Future Prospects）及实验分析，以下方向具有进一步探索的价值： —- ### 1. 更大规模训练与收敛行为论文指出，当前系统的潜在 DiT 远未收敛，整体训练规模受限于可用资源。未来可探索： - **超大规模训练**：在数十亿参数 DiT 与数千亿甚至万亿级 token 上训练，测定层次化模型的性能天花板； - **收敛动态**：观察潜在先验与离散解码器在不同训练阶段的收敛速度差异，以及它们对最终性能的边际贡献； - **学习率与阶段过渡策略**：优化 Stage I/II/III 之间的状态迁移、EMA 衰减与优化器重启机制。 —- ### 2. 推理效率的系统级优化虽然压缩将潜在先验的线性层与注意力复杂度降至 O(rho) 与 O(rho^2) ，但端到端速度还受以下因素制约： - **专用内核与缓存管理**：为块因果 DiT、固定跨度重编码反馈（fixed-span feedback）以及两级 CFG 设计融合内核，减少内存搬运与冗余计算； - **并行调度策略**：潜在生成（DiT 去噪）与离散解码（MDM demasking）在块级别上的流水线或投机执行（speculative execution），以突破串行调用轮次

H(Cola2)H(AR) ≈ rho(gen)B(S(gen) + HD + H_F)
所带来的延迟瓶颈； - **KV 缓存压缩**：对潜在轴与 token 轴的双重历史缓存进行量化或逐出（eviction）策略研究。 —- ### 3. 与多种离散生成范式的深度融合 Cola2 已展示与自回归（AR）和掩码扩散（MDM）解码器的兼容性，但以下问题仍待澄清： - **协同训练目标**：不同解码器因子（AR vs. MDM）在联合优化时，对潜在空间几何结构的偏好差异； - **最优能力分工**：在固定总参数量下，如何根据任务类型（如代码生成需要精确 token 重构，而创意写作需要语义跳跃）动态分配编码器、DiT 与解码器的容量； - **混合解码**：在同一推理过程中，对高确定性片段使用 AR 快速解码，对需要全局重排的片段使用扩散解码，探索潜在空间作为统一调度接口的可能性。 —- ### 4. 跨模态统一潜在空间连续潜在空间理论上可作为文本与其他连续模态（如视觉、音频）的共享接口： - **视觉–语言联合建模**：将图像块（image patches）的连续表示与文本潜在序列置于同一 DiT 先验下，实现统一的跨模态生成与理解； - **统一先验学习**：利用 Flow Matching 或扩散模型在共享潜在空间中对齐多模态数据，探索跨模态语义压缩的统一框架。 —- ### 5. 自适应压缩与任务感知分段实验表明压缩率 rho 、最大跨度 L(max) 与潜在维度 dz 需联合调节，且不同任务对压缩的敏感度不同（如 SQuAD 与 Story Cloze 对逐字还原要求更高）。未来可研究： - **任务自适应压缩**：在推理时根据下游任务或用户指令动态调整目标压缩率 rho^star ； - **细粒度语义边界**：将动态分段器扩展为多语言、代码或数学公式等特定领域的自适应边界检测，提升非自然语言数据的压缩效率。 —- ### 6. 潜在空间的结构化操控与可解释性由于语义被显式压缩到低维连续序列，可进一步探索： - **潜在插值与编辑**：在 Z 空间进行算术运算或方向性编辑，实现对生成文本风格、长度或主题的可控连续调节； - **语义密度 D(sem) 的显式优化**：当前 D(sem) = I(S;Zmid C)/K 仅为分析量，未来可尝试将其转化为可微训练目标或正则项，直接提升单位潜在位置的语义承载量； - **潜在变量解耦**：通过引入层次化或解耦的先验结构，将句法、语义与风格信息分离到潜在空间的不同子维度。 —- ### 7. 理论分析的深化论文中的信息分解与梯度冲突分析可进一步严格化： - **协同适应的收敛理论**：在编码器–解码器联合优化框架下，证明或刻画 ∇φ L(DGD) 与 ∇φ L_(FM) 分离后，整体训练的收敛性与表示质量保障； - **CFG 的分布级保证**：当前两级 classifier-free guidance 仅提供单步的得分场解释，未来可推导其在完整多步生成链下的端到端分布变换保证； - **压缩率–失真–泛化权衡**：建立 rho 、解码器重构误差 ε 与下游任务泛化误差之间的定量三角关系。 Q6: 总结一下论文的主要内容该论文提出 **Cola2**（Co-Adaptive Hierarchical Language Modeling），一个通过连续–离散协同适应实现层次化文本生成的统一框架。以下是其主要内容总结： —- ### 1. 研究背景与核心问题现有语言模型主要分为自回归（AR）与离散扩散（DLM）两类，前者受限于串行生成，后者在 token 空间直接建模缺乏显式语义层次。层次化生成将**连续语义组织**与**离散文本实现**解耦，但面临三个根本挑战： - **语义压缩**：潜在空间应保留何种信息？简单缩短序列不等于获得紧凑语义； - **重构–生成平衡**：离散解码器需在“忠实还原潜在语义”与“自主补全缺失内容”之间取舍； - **连续–离散协同**：编码器与解码器若独立训练，潜在表示无法适应解码需求；若让先验拟合梯度直接更新编码器，又会导致“潜在篡改”（latent hacking）。 —- ### 2. 方法：Cola2 框架 Cola2 将文本生成形式化为连续潜在变量模型：

p(Y mid C) = ∫ pθ(Z mid C) , p_psi(Y mid C, Z) , dZ
其中 C 为上下文， Y 为文本， Z 为压缩后的连续潜在序列。框架包含以下核心设计： #### 2.1 动态语义压缩（Dynamic Semantic Compression） - **动态分段**：根据 token 间的语义不连续度 δ_t = 1 - cos(LN(h_t), LN(h(t+1))) 自适应划分跨度，替代固定长度分块； - **无辅助损失的负反馈速率控制**：通过外部偏置 b 的负反馈调节硬压缩率 rho = K/T ，避免压缩率损失与表示学习竞争； - **生成导向监督**：固定跨度布局下遮蔽编码器输入，强制潜在变量通过上下文预测缺失 token，提升预测性信息密度

D_(sem) := (I(S; Z mid C)) / (K)

2.2 重构–生成平衡解码器 - 采用块因果掩码扩散模型（Block-Causal MDM），跨块因果、块内双向去噪； - 三态混合训练：对每个潜在块以互斥概率采样 clean / noisy / drop 条件，覆盖从强条件重构到弱条件自主生成的完整谱系； - 两级 Classifier-Free Guidance：潜在 DiT 在速度空间调制历史条件，MDM 解码器在 logit 空间执行前缀–潜在双轴 CFG。 #### 2.3 连续–离散协同适应训练 - Stage 1：联合训练编码器与解码器，离散 token 预测损失直接反向传播至编码器（ ∇φ L(DGD) ≠ 0 ），驱动二者共同决定信息分配； - Stage 2：引入 Flow Matching 训练潜在 DiT，但通过对在线潜在施加 stop-gradient（ Z = sg(Z) ）阻断先验梯度流入编码器，实现表示学习与先验拟合的解耦：

∇φ L(FM) = 0, quad ∇θ L(FM) ≠ 0

2.4 推理时的跨空间对齐采用提议–解码–重编码–提交（propose–decode–re-encode–commit）协议： - DiT 生成潜在提议，MDM 解码为 token； - 使用固定跨度布局（不重新分段）对生成文本重编码，将修正后的潜在 Zj^(corr) 提交为持久历史； - 保证连续潜在上下文与离散 token 上下文始终指向同一语义状态，消除累积漂移。 —- ### 3. 实验验证与关键发现实验覆盖组件消融、受控缩放（约 210B token）与大规模后预训练评估（346.03B source token）。 #### 3.1 语义压缩 - 动态分段（25.0%）显著优于固定长度（16.8%）与随机跨度（20.6%），在 L(max)=8 时甚至超过无压缩模型； - 反馈速率控制（25.0%）优于 DLCM（18.4%）； - 潜在维度 dz 存在内部最优（ d_z=64 时 32.3%， d_z=512 时跌至 14.5%）； - 生成监督将纯重构的 15.7% 提升至 26.7%；编码器与 MDM 解码器协同进化可将冻结编码器的 47.6% 提升至 58.2%。 #### 3.2 潜在生成器 - 保持 VAE 可训练但分离 DiT 梯度（32.8%）长期优于允许梯度注入（32.1%）与冻结 VAE（28.7%）； - 噪声调度需与潜在分布联合校准，Logit-normal loc=2.0 为最佳； - 中等块大小（ B=4 或 8 ）最优；DiT 在 8 步去噪后饱和，CFG 尺度需较强（ γ(gen) ≈ 14 ）。 #### 3.3 解码器平衡 - 训练比例 drop : noisy : clean = 0.4 : 0.4 : 0.2 达到最佳平衡（44.7%），重构精度始终高于 99.5%； - 解码器 CFG 权重 w_(dec) = -0.9 与训练分布匹配，偏离则性能骤降； - 在 3B 总参数量限制下，2B DiT + 1B 解码器（44.4%）显著优于其他分配。 #### 3.4 缩放与下游性能 - 受控缩放：Cola-MDM（无压缩）在 210B token 上达到约 34.5% 五任务平均，超过 AR（约 33%）；Cola2-MDM（压缩）收敛较慢但差距持续缩小，呈现非饱和趋势。 - 后预训练对比：346.03B token 的检查点达到 8 任务平均 60.10，在 HellaSwag（41.75 vs. 39.21）与 StoryCloze（80.42 vs. 79.49）上超过 Llama-3-8B，后者使用超过 43 倍的预训练数据。 —- ### 4. 核心贡献 - 统一框架：从条件信息分解视角，将语义压缩、重构–生成平衡与连续–离散协同适应整合为可优化的联合问题； - 协同适应机制：提出动态压缩、生成导向监督、可靠性混合训练与梯度解耦，使紧凑语义表示与离散生成能力共同进化； - 扩展性验证：系统组件分析与受控实验支持核心设计，展示层次化模型在有限数据下的强劲表现与未饱和的扩展潜力； - 范式兼容性：证明连续–潜在层次建模可有效集成自回归与掩码扩散等成熟 token 空间生成器。论文将当前系统视为起点，指出在更大规模训练、推理系统协同设计、多模态统一潜在空间及解码器范式深度融合等方面具有显著的研究前景。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hongcan Guo,Yian Zhao,Feng Wang,Shen Nie,Guoqiang Wei,Yan Zeng,Hengshuang Zhao

Categories:

PDF URL: https://arxiv.org/pdf/2610.31305.pdf

Arxiv URL: https://arxiv.org/abs/2610.31305

Arxiv ID: 2610.31305

CoolPaper URL: https://papers.cool/arxiv/2610.31305

Published: 2026-10-24T01:57:50.165Z

Updated: 2026-10-24T01:57:50.165Z

20. Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems

Abstract:Modern LLM agents can retrieve information from accessible documents, and then disclose a sensitive conclusion assembled from them. This mosaic effect creates a critical risk for agents operating over confidential data. We quantify its realization with 30 synthetic cybersecurity, medical, and military examples, yielding 10,800 final answers from three LLM agents in controlled simulation and 1,440 answers from live agents in two open-source harnesses. Even under benign queries designed to be answerable from one document, GPT-5.6-Sol, the best performing model tested, discloses forbidden composites in 7.08% of answers (95% CI: 3.75-10.67%) in simulation, with worse disclosure rates in live harnesses. Adding visible classification headers and explicit aggregation rules reduces pooled disclosure rates substantially, yet unsafe disclosures persist in 32.37% of simulated answers (95% CI: 28.33-36.19%) across all intents despite these safeguards. Furthermore, increased refusals do not guarantee confidentiality, since significant refusals reveal the prohibited conclusion regardless. These results point to a troubling conclusion: sensitive data leaks via mosaic-style events are an observed confidentiality failure mode in the evaluated settings at non-negligible rates. They motivate stronger controls on what agents may infer and disclose in sensitive data environments with mixed-clearance users.

中文摘要

摘要：现代大型语言模型（LLM）代理可以从可访问的文档中检索信息，然后披露由这些信息汇编而成的敏感结论。这种马赛克效应对在保密数据上操作的代理构成了关键风险。我们通过30个合成的网络安全、医疗和军事示例对其实现进行了量化，在受控模拟中，从三种LLM代理中生成了10,800个最终答案，在两个开源平台上的实时代理中生成了1,440个答案。即便在设计为仅能从单一文档回答的良性查询下，表现最好的模型GPT-5.6-Sol在模拟中仍有7.08%的答案（95% 可信区间：3.75%-10.67%）泄露了禁止的组合信息，在实时平台上的泄露率更高。添加可见的分类头和明确的汇总规则可以显著降低总体泄露率，但即便采取这些防护措施，模拟答案中仍有32.37%（95% 可信区间：28.33%-36.19%）在各种意图下存在不安全的披露。此外，增加拒绝回答的次数并不能保证保密性，因为大量拒绝仍会暴露禁止结论。这些结果得出一个令人担忧的结论：在所评估的环境中，以马赛克风格事件引起的敏感数据泄露是一个可观的保密性失败模式。它们强调了在有混合权限用户的敏感数据环境中，需要对代理能够推断和披露的信息进行更严格的控制。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30418 (HTTP 429)

Authors: Daniel Ruiz,Luca Luceri,Emilio Ferrara

Categories:

PDF URL: https://arxiv.org/pdf/2610.30418.pdf

Arxiv URL: https://arxiv.org/abs/2610.30418

Arxiv ID: 2610.30418

CoolPaper URL: https://papers.cool/arxiv/2610.30418

Published: 2026-10-24T01:57:53.322Z

Updated: 2026-10-24T01:57:53.322Z

HuggingFace Papers 2026-10-24

Latest Papers

1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels

2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

3. Deep Search in Real-World Web Environments

4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation

5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

6. Toward Recursive Self-Improvement in Physical AI

7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models

9. LaLa-World: Scaling Latent World Models with Natural Language Actions

10. Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

11. Self-Distilling Future Video Representations for World Action Models

12. Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks

13. Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

14. Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

15. Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports

16. RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing

17. RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting

18. Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

19. Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

20. Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems