HuggingFace Papers 2026-10-22
数据来源：HuggingFace Papers
Latest Papers
1. Focused Omni-Modal GUI Agents
Abstract:Graphical User Interface (GUI) agents increasingly act over streaming omni-modal observations spanning screenshots, audio, video, interaction history, and device states. However, exposing this complete context uniformly at every step ignores that relevance is transient and sparse: the signal determining one action can become clutter at the next. Because executed actions feed back into the context, these errors compound into Sequential Distraction, driving the agent into irreversible trajectory drift. We formulate the underlying requirement as Focused Perception: a representation that is step-adaptive, action-sufficient, and non-intrusive. We realize this in FocusGUI, a lightweight adapter that dynamically prioritizes multimodal channels against a step-specific decision reference. Instead of uniformly processing all inputs, it compresses the most relevant evidence into a compact latent and subtly injects it into the frozen decoder’s embeddings, guiding the model’s attention without altering its native parameter space. FocusGUI trains from action supervision alone, requiring neither modality-relevance labels nor backbone fine-tuning. Across four omni-modal backbones, it raises overall Type Match by +33.2 and Exact Match by 3.0 times over the frozen backbone on average, and Type Match by +30.1 over the strongest existing enhancement method.
中文摘要
摘要：图形用户界面（GUI）代理越来越多地在跨越屏幕截图、音频、视频、交互历史和设备状态的流式多模态观测上执行操作。然而，在每一步均统一暴露完整上下文忽略了相关性是瞬时且稀疏的：决定某个动作的信号在下一步可能变成干扰。由于已执行的动作会反馈回上下文，这些错误会累积成序列性分心，推动代理进入不可逆的轨迹漂移。我们将其基本需求形式化为聚焦感知：一种步骤自适应、动作足够且非侵入的表示。我们在 FocusGUI 中实现了这一点，这是一种轻量级适配器，可根据特定步骤的决策参考动态优先处理多模态通道。它不是统一处理所有输入，而是将最相关的证据压缩为紧凑的潜在表示，并巧妙地注入到冻结解码器的嵌入中，引导模型的注意力而不改变其原生参数空间。FocusGUI 仅通过动作监督进行训练，无需模态相关性标签或骨干网络微调。在四种多模态骨干网络上，平均而言，它将整体类型匹配提升了 +33.2，精确匹配提升了 3.0 倍，并在最强的现有增强方法上将类型匹配提升了 +30.1。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决\*\*多模态 GUI 代理（Omni-Modal GUI Agents）在逐步交互过程中因上下文暴露方式不当而导致的序列性错误累积问题\*\*，具体可归纳为以下三个层面： --- ### 1. 核心现象：Sequential Distraction（序列性干扰） 在流式多模态环境中（同时接收截图、视频、音频、交互历史、设备状态等），现有范式通常将\*\*完整的、未经过滤的观察上下文\*\*在每一步都统一暴露给模型。然而，论文指出： - \*\*相关性是步骤级别（step-level）的、短暂的（transient）\*\*：决定当前动作的关键证据在下一步可能变为干扰信息。如图1所示，主导模态在相邻步骤间切换的比例高达45.3%，且90.1%的步骤中至少存在一个干扰模态。 - \*\*相关性是稀疏的（sparse）\*\*：目标元素仅占屏幕中位面积的0.87%，视频内容单步变化中位数仅为7.41%。 当代理在每一步都从零开始“重新发现”哪些信息重要时，误读不可避免。更关键的是，在闭环交互中，\*\*执行后的动作会反馈到下一步的观察与历史中\*\*，使得单步的误读随时间逐步累积，导致不可逆的轨迹漂移（trajectory drift）。论文将这一失败模式形式化为 \*\*Sequential Distraction\*\*。 --- ### 2. 现有补救策略的根本性错配 针对“信息过载”，现有方法（如 DRS-GUI、OmniParser、RegionFocus 等）的直观思路是\*\*对输入做减法\*\*——通过裁剪、缩放或搜索候选区域来缩小当前屏幕的处理范围。论文论证了该策略与流式交互本质存在双重错配： - \*\*模态错配\*\*：裁剪仅作用于空间视觉通道，无法触及音频、视频动态或设备状态等同样可能承载决定性证据的通道。 - \*\*上下文错配\*\*：即使信号位于屏幕内，粗粒度的裁剪往往会丢弃用于准确定位坐标和理解文本参数的周边背景上下文。 因此，问题并非“给得太多”，而是\*\*解码器缺乏一种关于“在当前这一步应如何优先阅读信息”的显式引导\*\*。 --- ### 3. 解决目标：Focused Perception（聚焦感知） 基于以上分析，论文将根本需求形式化为 \*\*Focused Perception\*\*，其表示必须满足三个性质： - \*\*步骤自适应（Step-Adaptive）\*\*：根据当前任务状态动态调整各证据通道的权重。 - \*\*动作充分（Action-Sufficient）\*\*：仅压缩对生成下一步动作真正必要的证据。 - \*\*非侵入性（Non-Intrusive）\*\*：不改变原始多模态输入，也不修改冻结骨干网络的参数空间。 论文据此提出了 \*\*FocusGUI\*\*——一个轻量级适配器。它从同一观察中分离出可独立评分的感知通道（perceptual channels），根据当前步骤的联合语义上下文计算各通道的兼容性得分，将优先化的证据压缩为紧凑的潜在表示 z_t ∈ R^(d_z) ，并以\*\*零初始化的残差（zero-initialized residual）\*\*形式，在动作生成边界前注入冻结解码器的嵌入层：
Et = E_t + S(Jt)(γ R_t), quad R_t = Reshape(W_p z_t + b_p)
该残差仅重新分配解码器对完整观察的注意力（改变“如何读”），而非替换或删减观察本身（不改变“给什么”）。训练仅依赖动作监督，无需模态相关性标注，也无需微调骨干网络。 Q2: 有哪些相关研究？ 与本文相关的研究主要分布于以下三个方向： —- ### 1. 全模态 GUI 代理（Omni-Modal GUI Agents） 该方向关注 GUI 代理从静态截图向动态、流式多模态观察的演进。代表性工作包括： - **OmniGUI**（Henry et al., 2026）：构建了同时包含屏幕、视频、音频与交互历史的全模态智能手机交互基准。 - **VideoWebArena**（Jang et al., 2025）与 **GUI-World**（Chen et al., 2025）：将动态视觉内容纳入网页与 GUI 任务评估。 - **OSWorld 2.0**（Yuan et al., 2026）与 **WeaveBench**（Li et al., 2026）：推进了真实计算机环境中的长程任务基准。 - **全模态基础模型**：如 **Qwen2.5-Omni**（Xu et al., 2025）、**VITA-1.5**（Fu et al., 2025）、**MiniCPM-o 4.5**（Cui et al., 2026）等，支持文本、视觉与音频的统一感知。 - **Agent-Computer Observation Interfaces**（Li & Shi, 2026）：通过门控关键帧、音频转录与持续视觉叙述增强计算机使用代理的观察侧。 —- ### 2. GUI 代理的感知与定位（Perception and Grounding） 该方向致力于将用户指令与界面元素准确关联，主要技术路线包括： - **GUI 专用表征学习**：通过大规模定位数据与视觉语言模型增强界面理解（Cheng et al., 2024; Hong et al., 2024; Gou et al., 2025; Wu et al., 2025b）。 - **屏幕解析（Screen Parsing）**：如 **OmniParser**（Lu et al., 2024）将截图转化为结构化元素集合；**GUI-Lens**（Fu et al., 2026）与 **InnerZoom**（Liu et al., 2026a）采用由粗到细的裁剪策略辅助定位。 - **Token 压缩与联合学习**：**ShowUI**（Lin et al., 2025）与相关研究（Liu et al., 2026c）在减少冗余屏幕令牌的同时联合学习定位与动作生成。 —- ### 3. 选择性感知与测试时精炼（Selective Perception） 该方向强调对观察内容进行选择性处理，以抑制无关信息： - **空间区域精炼**：通过视觉搜索或注意力机制在测试时缩小处理区域，例如 **ScreenSpot-Pro**（Li et al., 2025a）、**RegionFocus**（Luo et al., 2025）与 **Continual GUI Agents**（Liu et al., 2026d）。 - **主动感知（Active Perception）**：在推理阶段动态决定裁剪、缩放或扩展视野，如 **DRS-GUI**（Liu et al., 2026b）与 **GUI-Eyes**（Chen et al., 2026a）。 —- ### 4. 本文实验中的对比基线 论文在实验部分将 FocusGUI 与以下四类方法进行了直接对比，这些方法均在不修改骨干网络权重的前提下应用于相同观察： - **DRS-GUI**（Liu et al., 2026b）：动态区域搜索，通过候选区域裁剪实现无训练的定位增强。 - **OmniParser**（Lu et al., 2024）：将截图解析为结构化文本元素后输入模型。 - **RegionFocus**（Luo et al., 2025）：基于注意力放大感兴趣区域。 - **GUI-Actor**（Wu et al., 2025a）：在冻结骨干上学习动作头，用于坐标无关的视觉定位。 Q3: 论文如何解决这个问题？ 论文通过提出 **Focused Perception** 这一核心原则，并具体实现为 **FocusGUI** 轻量级适配器来解决上述问题。解决方案的设计严格遵循“改变解码器如何阅读观察，而非改变给它的内容”这一根本立场。 —- ### 1. 问题形式化与核心原则 在交互步骤 t ，代理接收全模态观察 O_t = g, I_t, V_t, A_t, H_t, S_t ，需预测可执行动作 y_t 。设冻结的预训练全模态骨干为 F(Theta0) ，其向解码器提供的嵌入序列为 E_t ∈ R^(N_t × d(model)) 。 论文承诺**在解码器的阅读方式上实现聚焦**，这固定了机制的形式： - **不替换、不裁剪、不删减** Ot 的任何部分； - 从同一观察中构建紧凑的聚焦表示 z_t = fφ(Ot) ； - 将其映射为残差 R_t = Aφ(z_t) ，并**添加**到现有嵌入的特定位置上：
Et = E_t + S(Jt)(γ R_t), quad p(Theta0,φ)(y_t mid O_t) = p(Theta0)(y_t mid E_t)
其中 S(Jt)(·) 仅在动作边界前的 K 个位置 J_t = b_t - K, dots, b_t - 1 放置残差，其余位置保持为零。 这一加法形式将**观察保留**与**决策引导**分离：原始通路保留完整的多模态上下文，FocusGUI 通路仅学习如何为该上下文在当前步骤赋予权重。 —- ### 2. 步骤自适应的证据组织 由于优先级无法在融合表示内部定义，观察必须首先被暴露为可分离的证据通道。 - **通道分解**：将观察分解为感知通道集合 X_t = x_t^((m))(m ∈ M) ，其中 M 索引包括骨干网络集成隐状态、空间屏幕通道以及各独立模态。每个通道通过源特定的投影器映射到共享的 d 维空间：
e_t^((m)) = P_m(x_t^((m))) ∈ R^d
- **决策参考**：从完整观察的集成表示中导出联合语义上下文 q_t = P_q(e_t^((all))) ，作为评估各通道用意的动态基准。 - **步骤自适应优先化**：计算每个通道与当前联合上下文的兼容性，并通过带温度 τ 的 softmax 归一化为步骤特定的优先级：
s_t^((m)) = v^top tanhl(W_e(e_t^((m)) + r_m) + W_q q_tr)
αt^((m)) = exp(s_t^((m)) / τ)∑(j ∈ M) exp(st^((j)) / τ), quad c_t = ∑(m ∈ M) α_t^((m)) e_t^((m))
由于 q_t 和各通道均在每一步重新计算，不同信息源之间的相对强调可随任务演化而变化，且不存在跨步骤的状态传递。 —- ### 3. 紧凑聚焦与残差对齐 优先化表示 c_t 仍位于完整的共享通道空间中，需进一步压缩以降低辅助条件信号的容量，而非限制主干可访问的信息。 - **动作充分投影**：将 c_t 投影到低维聚焦表示：
zt = P_s(c_t) ∈ R^(d_z), quad d_z < d
由于完整观察仍通过原始通路可用， z_t 无需独立编码每个视觉细节、坐标或文本参数；其角色仅为提供一个关于“当前应强调什么”的紧凑摘要。 - **残差对齐**：将 z_t 扩展为可在冻结解码器嵌入空间直接使用的残差，并在动作生成起始边界前注入：
R_t = Reshape(W_p z_t + b_p) ∈ R^(K × d(model))
E(t,J_t) = E(t,J_t) + γ R_t
W_p 与 b_p 以**零初始化**，使得训练开始时 R_t = 0 且 E_t = E_t 。FocusGUI 因此从原始冻结模型输入出发，通过优化逐渐学习观察条件化的偏差。重要的是， J_t 由**现有提示位置**构成，FocusGUI 既不追加文本提示，也不移除任何多模态输入。 —- ### 4. 仅从动作监督中学习 FocusGUI 不需要任何标注来指明哪个模态或通道应当被强调。所有可训练组件（通道投影器、步骤自适应优先化、紧凑投影、残差对齐）均通过最小化动作token的平均负对数似然进行联合优化：
L(act)(φ) = -(1) / (|mathcalD)(tr)| ∑(t ∈ D)(tr) (1) / (Lt) ∑(k=1)^(Lt) log p(Theta0,φ)(y(t,k) mid y_(t,<k), O_t)
损失仅在动作 token 上评估，梯度通过冻结解码器反向传播至 φ ，而全模态骨干、解码器及语言模型头均不接收参数更新。因此，单一的动作生成目标同时学习了应当强调哪些证据、如何总结这些证据、以及如何在解码器的原生表示空间中表达该摘要。 —- ### 5. 理论分析：残差如何纠正动作 论文进一步从理论上追踪了 z_t 如何通过冻结解码器到达动作 logits，并揭示残差通过两条具有不同功能的路径起作用： - **路径 (V) — Value 修改**：
(∂ ok) / (∂ γ) ⊃ W_O ∑_i a(ki) WV Lambda_i δ_i
该路径向表示中添加内容，直接改变位置上的语义，足以**翻转动作原语（action primitive）的类别选择**。 - **路径 (A) — Attention 重分配**：
(∂ o_k) / (∂ γ) ⊃ W_O ∑_i s(ki) (vi - v_k), quad v_k = ∑_j a(kj) vj
其中 s(ki) 包含 query steering 与 key displacement。该路径**不添加新内容**，仅重新分配对现有证据位置的注意力质量。由于因果掩码与残差注入位置的约束，所有证据位置 i < bt - K 的内容 v_i 与 γ 无关，因此**参数（坐标、文本）的纠正只能通过路径 (A) 的注意力重分配实现**。 这一分解解释了为何注入必须是**加性**的：若用替换而非添加，将覆盖 K 个最近、最受关注的上下文位置，摧毁其作为证据的价值，从而破坏参数定位能力。 Q4: 论文做了哪些实验？ 论文在 **OmniGUI** 基准上开展了一系列实验，涵盖主性能对比、组件消融、交互深度分析、表征可解释性与容量敏感性等方面。主要实验内容如下： —- ### 1. 主结果对比（Main Results） 在 **OmniGUI**（708 条轨迹，2,572 个动作步骤）上，对四种代表性开源全模态骨干网络进行评估： - **Qwen2.5-Omni** - **VITA-1.5** - **MiniCPM-o 4.5** - **Baichuan-Omni-1.5** 每种骨干均保持权重冻结，分别测试以下方法： - 直接推理（Frozen backbone） - **DRS-GUI**（动态区域搜索） - **OmniParser**（屏幕结构化解析） - **RegionFocus**（注意力区域放大） - **GUI-Actor**（学习动作头） - **FocusGUI**（本文方法） 评估指标包括： - **Type Match (TM)**：动作原语是否正确 - **Exact Match (EM)**：原语、坐标/文本参数是否均正确 - **Goal Progress (GP)**：每条轨迹中正确执行步骤的占比均值 任务类别分为：Overall、Localization、Semantic、Cross-modal、Temporal、Instant。 **关键发现**：FocusGUI 在全部 24 个骨干-类别组合中均取得最佳 TM 与 EM；平均跨骨干提升 TM +33.2、EM 3.0×，较最强基线提升 TM +30.1。屏幕裁剪类方法（DRS-GUI、OmniParser、RegionFocus）虽对 TM 近乎中性，但相对降低 EM 与 GP，验证了空间裁剪损害参数定位。 —- ### 2. 消融实验（Component Ablation） 在 **Qwen2.5-Omni** 上，对 FocusGUI 的四个核心组件进行系统性移除： - **CD**（Channel Decomposition，通道分解） - **SP**（Step-Adaptive Prioritization，步骤自适应优先化） - **AP**（Action-Sufficient Projection，动作充分投影） - **RA**（Residual Alignment，残差对齐） **结论**： - 各组件对 TM 的影响相对温和（0.51–5.39 点），但对 **Goal Progress** 的影响显著更大（1.38–5.93 点）。 - 这表明组件的核心价值在于**防止轨迹随步骤累积而崩解**，与 Sequential Distraction 的理论预测一致。 - 残差对齐（RA）对 EM 与 GP 尤为关键：将加性残差替换为提示嵌入替换后，EM 下降 5.30 点、GP 下降 5.38 点，验证了保留原始嵌入对参数定位的必要性。 —- ### 3. 交互深度性能分析（Performance Across Interaction Depth） 为验证 **Sequential Distraction** 的累积效应，论文将步骤按其在轨迹中的索引分箱（第 1 步、第 2 步、第 3 步、第 4 步及以后），报告每步准确率（含 90% episode-clustered bootstrap 区间）。 **在 Qwen2.5-Omni 上的结果**： - Frozen backbone 的 TM 从第 1 步的 64.79% 降至第 4 步及以后的 32.79%，损失近半。 - FocusGUI 同期保留 86.8% 的初始性能，且 EM 从 38.73 上升至 46.72。 - 增益随深度单调扩大：EM 改进从 +22.54 增至 +35.25。 - **Temporal** 类别中，frozen backbone 在第 4 步后 EM 降至 0.00%，而 FocusGUI 达到 39.39%。 - **Instant** 任务作为负对照：在前两步（反应性任务、历史累积少）FocusGUI 与 backbone 统计无显著差异；但在第 2–3 步后，历史可累积时，FocusGUI 分别提升 TM +28.57 与 +46.67。 **在其余三个 backbone 上的重复**（附录 C.2）：MiniCPM-o 4.5、VITA-1.5、Baichuan-Omni-1.5 均呈现相同的“frozen 衰减、FocusGUI 保持、差距随深度扩大”模式，表明该现象是交互机制的属性，而非特定模型所致。 —- ### 4. 学习到的通道优先级可解释性分析 对 Qwen2.5-Omni 测试步骤的通道优先级 α_t^((m)) 按交互阶段（Initial、Early、Middle、Late）取平均： - **Interaction state**：从初始阶段的 30.9%（最高）降至结束阶段的 7.7%（最低）。 - **Audio / Video**：分别从 13.4% / 11.3% 上升至 18.8% / 18.3%。 - **Screen**：始终维持在 10.9%–12.8%，低于均匀分配（14.3%）。 - **Screen spatial**：最高仅 9.1%。 这一动态重排序说明： - 固定权重无法同时复现初始与结束阶段的极端差异。 - 先前工作聚焦的屏幕/空间通道在整个轨迹中从未主导优先级，而流式通道（音频、视频）在后期获得显著权重。 - 该排序完全从**动作标注 alone** 恢复，无任何模态相关性监督。 —- ### 5. 容量敏感性分析（Capacity Sensitivity） 在 Qwen2.5-Omni 上，对两个超参数进行单因素与联合网格分析： | 参数 | 测试范围 | 结论 | |—-|—-|—-| | **边界窗口 K ** | 1, 4, 8, 16 | Overall TM 仅波动 2.6 点，无单调趋势。 R_t 是 z_t 的确定性展开，扩大窗口仅将同一压缩表示分布于更多位置。 | | **聚焦维度 d_z ** | 32, 64, 128, 256 | d_z=32 时信息过度压缩，EM 与 GP 显著下降（-6.9 / -6.5）； d_z ≥ 64 后性能平坦，最优值位于默认 64。 | 附录 C.1 的完整容量表面（Capacity Surface）显示：在 K 与 d_z 的联合网格上，默认配置 (4, 64) 位于平坦区域内部，无需针对每骨干或每基准进行搜索。 —- ### 6. 优先化 vs. 容量的控制实验（Prioritization, not capacity） 为排除“增益仅来自引入可训练参数量”的替代解释，论文构建了一个**参数匹配至 79 个参数以内**的对照：将动态优先化替换为固定布局的通道拼接（Concatenation），保留下游投影能力但消除每步评分。 | 配置 | Params | TM | EM | GP | |—-|—-|—-|—-|—-| | 固定拼接 | 1,444,913 | 71.85 | 33.46 | 10.14 | | 动态优先化 | 1,444,992 | 72.83 | 37.01 | 13.58 | | 差异 | +79 | +0.98 | **+3.54** | **+3.44** | 动态优先化对 **EM** 与 **GP** 的提升远大于 TM，证实增益源于可执行定位的改善，而非参数量或原始选择能力的单纯提升。 —- ### 7. 成对错误修正分析（Paired Error Correction） 对比 FocusGUI 与 frozen backbone 在 508 个测试步骤上的成对预测结果： - **总体**：153 个步骤被 FocusGUI 修正，仅 13 个步骤出现回归。 - 所有五个任务类别中，修正数均多于回归数。 - **Temporal** 类别的净改进最大，表明 FocusGUI 对依赖演化观察的时序推理尤为有效。 —- ### 8. 案例研究（Case Study） 论文通过定性案例展示 FocusGUI 的跨场景泛化： - **跨模态时序推理**：指令要求“听到特定音频时暂停视频”。屏幕内容几乎静止，决定性信号完全在音频流中。FocusGUI 动态将优先级转移至音频通道，正确等待并执行暂停；frozen backbone 因视觉显著性而提前误操作，且无法恢复。 - **多步语义规划与空间定位**：代理需根据复杂文本指令，在密集 UI 中依次点击筛选器、选择嵌套选项（“Like count” → “Liked” → “This Week”）。FocusGUI 展示了精确的空间定位与鲁棒的状态跟踪能力。 Q5: 有什么可以进一步探索的点？ 基于论文的局限性讨论与实验结果，以下是可以进一步探索的研究方向： —- ### 1. 预测性通道优先级（Anticipatory Focus） 当前 FocusGUI 的通道优先级完全基于**当前步骤**的观察计算。一个自然的延伸是引入**前瞻性信号**，预测哪些证据通道可能在**未来若干步骤**中变得关键，并提前调整聚焦策略。这有望在轨迹漂移尚未发生前的更早阶段进行干预，进一步巩固长程交互的稳定性。 —- ### 2. 扩展至更广泛的计算机使用环境 论文实验集中在智能手机 GUI 的 OmniGUI 基准上。将该机制迁移到**桌面操作系统、网页浏览器、AR/VR 界面**等更复杂的计算机使用场景中，验证其在更大动作空间、更长上下文窗口及更丰富外设状态下的泛化能力，是极具价值的下一步。 —- ### 3. 解耦动作原语选择与参数定位的两条路径 理论分析（Appendix G）揭示，残差通过两条功能不同的路径影响解码器： - **Value 路径**：改变位置上的内容表示，主导**动作原语（action primitive）**的选择； - **Attention 路径**：重新分配对现有证据的注意力，主导**参数（坐标、文本）**的纠正。 未来工作可以**显式建模并解耦**这两条路径，例如设计双分支残差结构，分别针对“做什么”和“怎么做”进行精细化控制，而非依赖单一的压缩潜在变量 z_t 同时承担两项职责。 —- ### 4. 与骨干网络的轻量协同微调 FocusGUI 采取完全冻结骨干的策略以保证通用性与训练效率。未来可探索**适配器与骨干部分层级的轻量协同微调**（如 LoRA 或 Layer-wise 选择性更新），在不破坏预训练知识的前提下，检验是否能进一步缩小聚焦表示与解码器原生空间之间的语义鸿沟。 —- ### 5. 引入半监督或人类注意力对齐 当前通道优先级完全从**动作监督 alone** 无监督地恢复。引入少量**模态相关性标注**（例如人类标注者在每个步骤关注哪个通道）进行半监督学习，或将 FocusGUI 的注意力分布与人类眼动/听觉注意数据对齐，可能加速收敛并提升优先级分配的可靠性。 —- ### 6. 极低延迟与流式优化 FocusGUI 在每步需执行通道分解、参考计算、评分、投影与残差注入，引入了额外计算开销。在**实时全双工交互**（real-time full-duplex）场景下，如何将这些操作与骨干的前向传播**流水线化**，或设计增量更新机制避免每一步重新计算所有通道，是值得关注的工程与算法问题。 —- ### 7. 更细粒度的可解释性与干预 论文展示了通道级别的优先级变化，但紧凑潜在变量 z_t 的内部语义仍是黑盒。未来可探索： - 对 z_t 进行**解缠学习（disentanglement）**，使其维度对应可解释的语义因子（如“空间定位”、“时序等待”、“音频触发”）； - 开发**人类可干预接口**，允许用户在交互过程中显式锁定或屏蔽特定通道，验证并修正代理的聚焦行为。 —- ### 8. 跨任务与持续学习中的聚焦迁移 当前每个 FocusGUI 适配器独立训练。探索在**多任务或持续学习**设定下，已习得的聚焦模式（如“视频类任务依赖音频通道”）能否作为先验知识迁移到新任务，避免从零开始重新学习优先级，这对构建 Continual GUI Agents 具有重要意义。 Q6: 总结一下论文的主要内容 这篇论文围绕多模态图形用户界面（GUI）代理在长程交互中的错误累积问题，提出了 **Sequential Distraction（序列性干扰）** 现象，并设计了 **FocusGUI** 这一轻量级适配机制加以解决。以下是论文的主要内容总结： —- ### 1. 研究背景与核心问题 现代 GUI 代理已从处理静态截图，演进为在流式全模态环境中运作，同时接收屏幕、视频、音频、交互历史与设备状态。现有范式通常将**完整的、未经过滤的观察上下文**在每一步统一暴露给模型。 论文指出，这种策略忽略了一个关键事实：**相关性是步骤级别（step-level）的、短暂的（transient）且稀疏的（sparse）**： - 主导模态在相邻步骤间切换的比例高达 **45.3%**； - **90.1%** 的步骤中至少存在一个干扰模态； - 目标元素仅占屏幕中位面积的 **0.87%**。 由于代理每一步都需从零开始“重新发现”关键证据，误读不可避免。更严峻的是，在闭环交互中，执行的动作会反馈到下一步的观察与历史中，导致单步误读随时间**不可逆地累积**，引发轨迹漂移。论文将此失败模式形式化为 **Sequential Distraction**。 —- ### 2. 核心洞见：从“减法输入”到“引导阅读” 论文论证，现有基于空间裁剪的补救策略（如 DRS-GUI、OmniParser、RegionFocus）存在根本性错配： - **模态错配**：裁剪仅作用于视觉通道，无法处理来自音频、视频或设备状态的关键信号； - **上下文错配**：即使信号在屏幕上，裁剪也会丢弃用于准确定位坐标和理解文本参数的背景上下文。 因此，问题并非“给解码器的信息太多”，而是它**缺乏如何优先阅读这些信息**的显式引导。论文据此提出 **Focused Perception** 原则，要求聚焦机制具备： - **步骤自适应（Step-Adaptive）** - **动作充分（Action-Sufficient）** - **非侵入性（Non-Intrusive）** —- ### 3. 方法：FocusGUI FocusGUI 是一个冻结全模态骨干、仅训练轻量级适配器的方案，其核心流程如下： #### (1) 通道分解与步骤自适应优先化 将观察 O_t 分解为可分离的感知通道 X_t = x_t^((m))(m ∈ M) ，通过源特定投影器映射到共享空间 e_t^((m)) = P_m(x_t^((m))) 。基于完整观察的集成表示构建决策参考 q_t ，计算各通道的兼容性得分与归一化优先级：
st^((m)) = v^top tanhl(W_e(e_t^((m)) + r_m) + W_q q_tr), quad α_t^((m)) = exp(s_t^((m)) / τ)∑(j ∈ M) exp(st^((j)) / τ)
得到优先化表示 c_t = ∑(m ∈ M) α_t^((m)) e_t^((m)) 。 #### (2) 紧凑聚焦投影 将 c_t 压缩为低维潜在变量 z_t = P_s(c_t) ∈ R^(d_z) （ d_z < d ）。该变量无需重建完整观察，仅承载“当前应强调什么”的紧凑摘要。 #### (3) 零初始化残差注入 在动作生成边界前 K 个嵌入位置 J_t = b_t - K, dots, b_t - 1 注入加性残差：
Rt = Reshape(W_p z_t + b_p) ∈ R^(K × d(model))
Et = E_t + S(J_t)(γ R_t)
其中 W_p, b_p **零初始化**，保证训练始于原始冻结模型输入，逐渐学习观察条件化的偏差。该残差不替换任何输入、不追加文本提示、不修改骨干参数。 #### (4) 训练目标 仅需**动作监督**，优化动作 token 的平均负对数似然：
L(act)(φ) = -(1) / (|mathcalD)(tr)| ∑(t ∈ D)(tr) (1) / (Lt) ∑(k=1)^(Lt) log p(Theta0,φ)(y(t,k) mid y_(t,<k), O_t)
—- ### 4. 实验结果 论文在 **OmniGUI** 基准（708 条轨迹，覆盖 29 个应用）上测试了四种冻结骨干：Qwen2.5-Omni、VITA-1.5、MiniCPM-o 4.5 与 Baichuan-Omni-1.5。 #### 主性能 - **跨骨干平均**：FocusGUI 将 **Type Match (TM)** 从 31.0% 提升至 64.2%，**Exact Match (EM)** 提升 **3.0 倍**，较最强基线提升 TM **+30.1**。 - 在全部 24 个骨干-类别组合中，FocusGUI 均取得最佳 TM 与 EM。 #### 与屏幕裁剪方法的对比 DRS-GUI、OmniParser、RegionFocus 等基线对 TM 近乎中性，但相对降低 EM 28% 与 GP 35%，验证了**空间裁剪损害坐标与文本参数的准确定位**。 #### 交互深度分析（Sequential Distraction 验证） - **Qwen2.5-Omni** 的 TM 从第 1 步的 64.79% 降至第 4 步及以后的 32.79%，损失近半； - FocusGUI 同期保留 **86.8%** 的初始性能，且 EM 随深度上升； - 该模式在其余三个骨干上完全一致，证实收益随交互深度扩大，而非均匀分布。 #### 学习到的通道优先级 从动作标注无监督恢复的优先级显示： - **Interaction state** 从初始阶段的 30.9% 降至结束阶段的 7.7%； - **Audio / Video** 从约 12% 上升至约 19%； - **Screen / Screen spatial** 始终低于均匀分配，从未主导。 这证明了步骤自适应重排序的必要性。 —- ### 5. 理论分析 论文从理论上追踪残差如何通过冻结解码器影响输出，揭示两条功能分离的路径： - **Value 路径**：向表示添加内容，足以**选择动作原语**； - **Attention 路径**：通过 query steering 与 key displacement **重分配对现有证据的注意力**，是**纠正坐标/文本参数的唯一途径**。 这解释了为何残差必须是**加性**的：替换式注入会覆盖关键上下文位置，摧毁参数定位所需的证据基础。 —- ### 6. 主要贡献 - **现象刻画**：提出并实证了 **Sequential Distraction**，阐明多步全模态 GUI 交互中相关性动态变化与错误累积的机制。 - **原则提出**：区分“给予什么证据”与“如何阅读证据”，推导出 **Focused Perception** 的三项要求。 - **机制设计**：实现 **FocusGUI**，一种零初始化残差适配器，仅依赖动作监督，以 1.15M–1.45M 可训练参数在四个异构骨干上取得一致且显著的提升。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Fuyao Zhang,Wenwen He,Jiaming Zhang,Yurong Hao,Xuan Wang,Guowei Guan,Che Wang,Longtao Huang,Wei Yang Bryan Lim
Categories:
PDF URL: https://arxiv.org/pdf/2610.26203.pdf
Arxiv URL: https://arxiv.org/abs/2610.26203
Arxiv ID: 2610.26203
CoolPaper URL: https://papers.cool/arxiv/2610.26203
Published: 2026-10-22T01:50:25.909Z
Updated: 2026-10-22T01:50:25.909Z
2. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds
Abstract:Moving from controllable videos to genuinely playable worlds requires persistent world state, executable game rules, and low-latency interaction. We outline a roadmap for the next generation of Matrix-Game that separates game execution from visual generation through an executable game harness, and introduce Matrix-Game 4.0 as the first system built on this design. A lightweight game engine maintains world state and executes interaction rules, a multimodal coding agent translates player ideas into game code and dynamic scene captions, and a renderer based on autoregressive video model transforms engine-rendered low-poly proxies into detailed visuals, conditioned on dynamic captions and memory references. This framework provides continuous guidance for visual generation and enables natural-language creation and modification of scenes and gameplay. Our renderer is trained on aligned low-poly and high-fidelity video pairs and distilled into a causal generator that generates in four-frame chunks with one or two denoising steps. Together with targeted inference optimizations, Matrix-Game 4.0 enables 480p, 60 FPS gameplay on a single NVIDIA RTX5090 with a key-press-to-display latency of 112ms. Single-step generation achieves 83FPS steady-state throughput with 18.2GiB of peak GPU memory usage. With fixed prompts, steady-state throughput also reaches 67FPS on an RTX5080 and 58FPS on an RTX5070Ti. We demonstrate customizable shooter and driving games with engine-enforced mechanics, and release code, model weights, and low-poly game assets to support research and creation of playable game worlds.
中文摘要
摘要：从可控视频到真正可玩的世界，需要持续的世界状态、可执行的游戏规则以及低延迟的交互。我们概述了下一代矩阵游戏（Matrix-Game）的路线图，通过可执行的游戏框架，将游戏执行与视觉生成分离，并介绍了基于这一设计构建的首个系统——矩阵游戏4.0。一个轻量级游戏引擎维护世界状态并执行交互规则，多模态编码代理将玩家的想法转换为游戏代码和动态场景字幕，而基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为精细视觉效果，这一过程以动态字幕和记忆引用为条件。该框架为视觉生成提供持续指导，并使场景和玩法的自然语言创建与修改成为可能。我们的渲染器在对齐的低多边形与高保真视频对上进行训练，并蒸馏为一种因果生成器，可在四帧块中生成图像，并进行一到两次去噪步骤。结合有针对性的推理优化，矩阵游戏4.0在单个NVIDIA RTX5090上可实现480p、60 FPS的游戏体验，按键到显示的延迟为112毫秒。单步生成在稳定状态下实现83FPS的吞吐量，GPU峰值内存使用为18.2GiB。在固定提示下，稳定状态下吞吐量在RTX5080上达到67FPS，在RTX5070Ti上达到58FPS。我们演示了具有引擎强制机制的可自定义射击和驾驶游戏，并发布了代码、模型权重和低多边形游戏资产，以支持可玩游戏世界的研究与创作。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决\*\*如何将基于视频生成模型的交互式世界从"可控视频"提升为"真正可玩的、可执行的游戏世界"\*\*这一核心问题。 具体而言，现有以视频生成为主的交互式世界模型（如Genie、GameNGen、Oasis等）在迈向长时运行、具备丰富玩法和可控规则的游戏时，面临以下关键局限： \*\*1. 缺乏持续的外部状态校正\*\* 当前模型的推演过程在很大程度上与外部环境隔离。世界状态隐式地存在于生成的像素和模型上下文中，缺乏对视野外区域的显式状态维护，导致生成过程无法被外部系统持续修正。 \*\*2. 误差随时间累积\*\* 由于缺乏外部校正，自回归生成中的微小误差会不断复合，逐渐降低长期一致性。即使借助外部3D工具，估计的相机位姿误差也会累积，最终导致场景崩溃。 \*\*3. 未压缩的帧级记忆\*\* 历史帧以原始像素形式堆积，空间信息未被整合为紧凑的表征。记忆成本随推演长度线性增长，严重限制了长时程生成能力。 \*\*4. 游戏机制受限\*\* 现有系统的交互主要集中于导航和基础环境响应，缺乏对可执行规则、持久化行为后果以及用户可主动追求的显式目标的支持。 \*\*5. 实时交互的系统级瓶颈\*\* 除上述模型层面的局限外，构建真正可玩的游戏世界还需同时满足： - \*\*低延迟实时生成\*\*：实现从玩家按键到画面反馈的毫秒级响应； - \*\*丰富的可执行玩法\*\*：超越简单导航，支持通过代码定义的物理、规则与胜负条件； - \*\*持久且可共享的世界状态\*\*：支持多玩家基于同一世界状态进行交互。 为应对这些挑战，论文提出\*\*Matrix-Game 4.0\*\*架构，其核心思路是\*\*将游戏执行与视觉生成分离\*\*：由轻量级游戏引擎显式维护世界状态并执行交互规则，由多模态编程智能体将玩家自然语言指令转化为游戏代码与动态场景描述，而视频生成模型仅专注于将引擎输出的低多边形代理（low-poly proxy）实时渲染为高保真视觉画面。 Q2: 有哪些相关研究？ 根据论文第7节（Related Work），相关研究可分为以下四个主要方向： ### 1. 交互式视频世界模型（Interactive Video World Models） 这类方法通过用户动作生成环境的下一帧观测，网络同时承载世界动力学与视觉表现： - \*\*Genie 系列\*\*
1–3
：Genie 从无标注互联网视频学习潜在动作空间与自回归动力学模型；Genie 2 与 Genie 3 生成可玩 3D 环境，其中 Genie 3 实现 720p、24 FPS 的实时生成。 - **GameNGen**
4
：在单颗 TPU 上以 20 FPS 运行 DOOM 的扩散模型。 - **DIAMOND**
38
：在扩散世界模型内部训练智能体。 - **Oasis**
5
：实时生成类 Minecraft 游戏。 - **Hunyuan-GameCraft**
39,40
：将键盘鼠标输入映射至共享相机表征。 - **Yan**
41
：瞄准实时 1080p 模拟与文本驱动编辑。 - **WorldPlay**
42
、**LingBot-World**
43
：流式生成分钟级交互视频。 - **Matrix-Game 2.0/3.0/3.5**
6–8
：结合少步自回归扩散与长时记忆，实现 720p 实时生成。 与上述方法不同，Matrix-Game 4.0 将世界动力学保留在游戏代码中，视频模型仅负责视觉渲染。 ### 2. 由视频模型渲染的代码定义世界（Code-Defined Worlds Rendered by Video Models） 近期研究将状态与规则赋予可执行代码，由视频模型负责渲染： - **Code World Model**
25
：编程智能体编写代码维护世界状态，代理视频条件化微调后的 MiniMax-H3 渲染器。 - **Streaming Code World Model**
26
：将上述渲染器转化为因果流式生成器，经 DMD 蒸馏为 4 步，在单卡 H200 上每 17 帧块耗时 5.1 秒。 - **Programmable World Model**
30
：智能体将指令翻译为实体状态与转移规则程序，在轻量级引擎中执行并维护视野外实体，通过 ControlNet 渲染编译后的 3D 边界框。 - **Code Video Model**
31
：编写 Three.js 程序布局场景、物体运动与相机，仅在前去噪步条件化冻结的 MiniMax-H3，无需额外训练。 - **StreamRender-H3**
27
：基于 MiniMax-H3 构建两步流式渲染器，由代码游戏引擎的语义图驱动，依赖 Sol 推理引擎
44
。 - **AgentGarten**
28
：耦合模拟器与游戏引擎，通过共享神经渲染器生成世界以训练智能体。 - **CoDeR**
45
：通过协调角色在代码中构建可执行世界并由视频生成模型渲染。 - **Magpie**
29
：分离解析玩家动作的游戏引擎与从引擎帧生成视觉的渲染服务器。 - **Mora**
33
：结合编程智能体、3D 生成与视频模型，在云端构建谜题、多人与物理游戏。 - **EdenLive**
35
：通过 4 步块自回归模型渲染上游游戏程序产生的参考视频。 Matrix-Game 4.0 遵循同样的劳动分工，但专为消费级 GPU 上的交互延迟设计（单卡 RTX 5090 达到 112 ms 按键到画面延迟），并增加了在游玩过程中实时编辑游戏规则与编写动态提示的智能体。 ### 3. 神经渲染与结构条件化视频生成（Neural Rendering and Structure-Conditioned Video Generation） 该类方法结合学习型生成模型与图形管线的结构信息： - **Enhancing Photorealism Enhancement**
48
：利用渲染器 G-buffer 将游戏帧翻译为照片级真实图像。 - **GameGAN**
49
：带记忆模块从帧与动作学习游戏渲染器。 - **DLSS 5**
50
：实时为游戏帧添加照片级光照与材质。 - **vid2vid**
51
、**World-Consistent vid2vid**
52
：将语义图转化为时序一致视频，后者通过投影 3D 引导保持重访区域一致性。 - **ControlNet**
53
、**VideoComposer**
54
：为预训练生成器添加空间与时序控制。 - **Cosmos-Transfer1**
55
：将分割、深度与边缘图转化为真实视频。 - **DiffusionRenderer**
56
、**FrameDiffuser**
57
：从 G-buffer 合成视频。 - **AlayaRenderer-Flash**
32
：将 G-buffer 条件渲染器蒸馏为 4 步自回归模型，在单卡 H200 上达到 31.5 FPS（832×448）。 - **SolarRenderer**
34
：通过 MiniMax-H3 的参考路径跟随骨骼、草图、点云等任意结构输入，4 步渲染。 Matrix-Game 4.0 从 Wan2.2 Fun Control 权重
14,58
出发，以游戏引擎渲染的低多边形代理视频为条件，在像素对齐的 UE5 数据对上训练渲染模型。 ### 4. 实时自回归视频生成（Real-Time Autoregressive Video Generation） 聚焦于流式生成与推理加速的技术： - **Diffusion Forcing**
59
、**Rolling Diffusion**
60
：在帧间分配不同噪声级。 - **StreamDiT**
61
：基于移动帧缓冲区训练实时文本到视频生成。 - **分布匹配蒸馏（DMD）**
18,19
：将多步扩散模型转化为单步或少步生成器。 - **CausVid**
20
：应用 DMD 将双向视频模型转化为因果模型。 - **Self Forcing / Self-Forcing++**
62,63
：在学生自身 KV 缓存的推演上进行训练。 - **Causal Forcing**
64
：从自回归教师模型初始化学生。 - **Causal Forcing++**
17
：采用因果一致性蒸馏实现每块 1–2 步的帧级生成。 在系统层面，以下技术构成了 Matrix-Game 4.0 推理栈的组件： - **CUDA Graphs**
21
降低核函数启动开销； - **FlashAttention**
65
、**FlashAttention-2**
66
与 **split-KV 解码**
24
加速注意力计算； - **FP8 低精度运算**
22
； - **Triton 融合核**
23
； - **TAEHV 轻量解码器**
16
。 Matrix-Game 4.0 遵循 Causal Forcing++ 进行少步蒸馏，并整合上述系统级优化，在单张消费级 GPU 上实现 480p、83 FPS 的稳态生成吞吐。 Q3: 论文如何解决这个问题？ Matrix-Game 4.0 通过**将游戏执行与视觉生成解耦**，构建了一个由可执行游戏 harness 驱动的实时 playable 系统。具体而言，该方案从架构设计、数据训练到推理优化三个层面系统性地解决了前述挑战。 —- ### 1. 核心架构：可执行游戏 Harness 该论文提出 Matrix-Game V4 的技术路线，将传统“视频模型即世界”的范式转变为**“代码定义规则、引擎维护状态、视频模型负责渲染”**的分工模式（Figure 2）。系统由三个协同模块构成： - **游戏引擎（The Referee）**：以轻量级模拟维护持久化的世界状态与交互规则，输出像素对齐的低多边形结构渲染（structural rendering / low-poly proxy）。 - **多模态编程智能体（Scriptwriter & Translator）**：向上承接玩家自然语言指令，转化为可执行的游戏代码与场景配置；向下将引擎的实时状态与事件流翻译为动态文本描述（dynamic captions），指导视觉生成。 - **视频生成模型（The Painter）**：基于 Wan2.2-Fun-5B Control 改造的因果视频到视频（V2V）模型，在引擎提供的几何结构、动态语义描述及空间记忆的共同条件约束下，将低多边形代理实时重绘为高保真帧。 —- ### 2. 运行时闭环：持续外部校正 在交互循环中，玩家动作首先更新引擎状态；引擎据此输出当前帧的**低多边形代理**与**结构/运动/语义控制信号**；视频模型仅负责渲染，不再承担世界动力学推演。其数据流可概括为：
Player input arrow Engine state update arrow Structural renderings + control signals arrow Real-time video rendering arrow Visual feedback
该设计直接针对现有系统的四大局限： | 现存问题 | Matrix-Game 4.0 的解决机制 | |—-|—-| | **无持续外部校正** | 引擎以代码形式显式维护所有实体状态（包括视野外对象），为视频模型提供逐帧的硬约束，而非依赖模型隐式记忆。 | | **误差累积** | 每帧生成均以引擎渲染的代理为空间布局与运动轨迹的强制条件，切断了自回归生成中微小误差随时间复合的链条。 | | **未压缩帧级记忆** | 采用紧凑的空间记忆帧（spatial-memory reference frames）与滚动 KV 缓存（ring KV cache），替代原始历史像素的堆积；记忆成本不再随推演长度线性增长。 | | **玩法机制受限** | 物理、碰撞、血量、任务进度等规则完全由引擎代码执行，视频模型仅渲染结果；玩家可通过自然语言指令经智能体实时编辑游戏规则与场景内容。 | —- ### 3. 数据与模型训练管线 为支撑上述 harness，论文建立了一套跨域对齐的 UE5 数据与训练流程： - **成对数据采集（Section 3.1）**：在 Unreal Engine 5 中同步捕获低多边形结构视频与高保真 RGB 视频，二者严格像素对齐。结构表示保留空间拓扑与运动轨迹，但去除材质、光照与纹理。 - **动态字幕（Section 3.2）**：基于引擎每帧上报的可见对象 ID、位姿、事件与相机参数，通过规则模板实时合成文本描述。当玩家移动、转向或触发事件时，描述自动重组，确保视频模型始终接收与当前世界状态一致的语义条件。 - **监督微调（Section 4.2）**：以 Wan2.2-Fun-5B Control 为基座，在 81 帧窗口、 704 × 1280 分辨率下进行双向 V2V 微调，条件包括代理视频、动态字幕、首帧及空间记忆帧。 - **因果少步蒸馏（Section 4.3）**：遵循 Causal Forcing++，将双向模型蒸馏为因果自回归生成器。通过三阶段训练（教师强制自回归扩散 → 因果一致性蒸馏 → 分布匹配），最终实现每块（4 视频帧 / 1 潜帧）仅需 **1–2 步去噪**即可生成：
z arrow z - σ · v
其中 v 为模型预测的流速， σ 为噪声尺度。 —- ### 4. 实时推理优化 为使少步模型在单张消费级 GPU 上达到 playable 的帧率与延迟，论文实施了一系列系统级推理优化（Section 5 & Table 2）： - **CUDA Graph**：将 DiT 骨干计算记录为单次启动的图，消除 CPU 核函数调度开销。 - **FP8 权重量化与融合 Triton 核**：线性层采用 8 位权重；RoPE、归一化、量化等操作写为融合 GPU 内核，减少访存。 - **Ring KV Cache**：历史窗口滑动时，新帧直接覆盖最旧的槽位，避免整体数据搬移。 - **Split-KV FlashAttention**：将自注意力 KV 窗口分片并行计算后通过对数求和指数（log-sum-exp）合并，降低长序列推理延迟。 - **异步 I/O 与轻量解码器**：采用 TAEHV 替代完整 Wan VAE 解码器，输入输出流水化。 综合上述优化，在单张 NVIDIA RTX 5090、 480 × 864 分辨率下： - **1 步去噪**达到 **83.4 FPS** 稳态生成吞吐，峰值显存约 18.2 GiB； - **端到端按键到画面延迟**低至 **112 ms**； - 在 RTX 5080 与 RTX 5070 Ti 上亦可分别达到约 67 FPS 与 58 FPS。 —- ### 5. 总结 Matrix-Game 4.0 的解决路径并非单纯改进视频生成模型，而是通过**引入外部可执行 harness**，从根本上转移了世界状态维护与规则执行的职责。视频模型因此退化为“神经渲染器”，在引擎提供的几何、语义与记忆条件下完成实时重绘；配合针对 1–2 步生成的全栈推理优化，最终在单张消费级 GPU 上实现了可实时交互、规则可代码化编辑、状态持久可控的 playable 游戏世界。 Q4: 论文做了哪些实验？ 论文中的实验主要集中在**第6节（Evaluation）**，涵盖定量对比、定性分析、玩法定制与性能效率四个层面。以下按实验类别梳理： —- ### 1. 实验设置 - **模型与数据**：为每种游戏类型分别训练一个渲染模型，基于表1中的UE5成对数据进行训练。评估选用三类场景的**蒸馏因果模型**： - 城堡射击（Castle shooter） - 沙漠射击（Desert shooter） - 城市驾驶（City driving） - **生成配置**：每块（chunk）采用**2步去噪**，生成分辨率为 480 × 864 。 - **长程推演（Held-out Rollout）**：从真实第一帧出发，进行**961帧（约40秒，24 FPS）**的自回归生成，条件为held-out片段的低多边形代理与动态字幕。 - **测量平台**：速度与延迟均在单张 **NVIDIA RTX 5090** 上测得。 —- ### 2. 与近期交互式系统的定量对比 论文在**表3**中系统对比了Matrix-Game 4.0与四个近期同类型系统（Code World Model Streaming、StreamRender-H3、AgentGarten、Magpie）： | 对比维度 | 关键发现 | |—-|—-| | **端到端延迟** | Matrix-Game 4.0 为 **112 ms**，约为次优系统 StreamRender-H3（≈517 ms）的五分之一，远低于 Magpie（≈1.55 s）与 Code World Model（≈10.2 s）。 | | **运行硬件** | Matrix-Game 4.0 是唯一可在**单张消费级GPU（RTX 5090, 32 GB）**上运行的系统；其余系统均需数据中心级GPU（如H100、H200、8×GB200）。 | | **输出分辨率** | 在 480p–768p 区间内运行。 | | **开放发布** | Matrix-Game 4.0 在发布时即开源代码与权重；对比系统仅部分开放数据集或LoRA权重。 | —- ### 3. 定性结果：长程视觉一致性 论文在**图7**中展示了三个held-out场景在**1秒、11秒、21秒、31秒**四个时间步的生成效果： - **结构保真**：生成帧严格遵循低多边形代理的空间布局、相机轨迹与物体运动。建筑、墙体、树木、载具均出现在代理指定的位置。 - **外观补全**：模型为代理添加高保真视觉细节——平面色块变为石墙、茅草屋、棕榈树、砂岩建筑与城市立面；方块状玩家变为带纹理的角色；战斗场景中出现烟雾、火花与弹道轨迹。 - **长程稳定性**：在40秒的连续推演中，场景整体视觉风格保持稳定，角色外观从首块到末块保持一致。 —- ### 4. 基于Coding Agent的游戏玩法定制实验 论文在**图8**中展示了通过多模态编程智能体在现有游戏代码基础上进行自然语言定制后的三种可玩模式，验证了引擎规则与神经渲染的解耦能力： - **第三人称射击（扩展模式）**： - 添加生命值与弹药控制系统 - 添加具有耐久度上限的护盾机制 - 添加更高射速的霰弹枪 - 添加生命值归零时的游戏结束条件 - 添加简易音效 - **驾驶游戏：计时赛（Time Trial）**： - 添加路线检查点（checkpoints） - 添加碰撞时间惩罚 - 支持漂移过弯 - 添加错过检查点的判定逻辑 - **驾驶游戏：追击模式（Pursuit）**： - 玩家需追击目标载具 - 添加“靠近目标5秒即拦截成功”的胜利条件 上述所有规则均由**引擎实时判定**，视频模型仅根据引擎输出的代理帧与动态字幕进行渲染，实现了“代码控制玩法、模型负责画面”的分工。 —- ### 5. 性能与效率评估 论文在**第5节**与**表2**中详细报告了模型推理的逐层优化及最终性能： - **稳态生成吞吐（Steady-state FPS）**： - RTX 5090，1步去噪：**83.4 FPS** - RTX 5090，2步去噪：**57 FPS** - RTX 5080（16 GB），固定提示，1步：**≈67 FPS**，显存约12.8 GB - RTX 5070 Ti（16 GB），固定提示，1步：**≈58 FPS**，显存约10.9 GB - **端到端延迟（Key-press-to-display）**： - 游戏以60 FPS 运行时，按键到画面反馈的延迟为 **112 ms**。 - **显存占用**： - RTX 5090 上峰值显存约为 **18.2 GiB**（1步或2步配置）。 - **消融式优化增益（表2）**： 从基线（Causal Wan2.2 DiT, 4步, 完整Wan VAE）的 4.5 FPS / 1110 ms 出发，依次叠加 tiny VAE、RoPE融合核、FP8量化+CUDA Graph、1步蒸馏、异步I/O、Triton融合核、Ring KV缓存、Split-KV FlashAttention，最终实现 **19倍** 的FPS提升与 **9.9倍** 的延迟降低。 Q5: 有什么可以进一步探索的点？ 论文在第8节（Conclusion and Future Work）中明确提出了若干可直接延伸的研究方向，同时其系统架构也隐含着一些值得深入探索的技术延伸点。 —- ### 论文明确提出的未来工作 **1. 降低推理成本与硬件要求，推动消费级部署** - 近期首要目标是将系统优化至更低成本的硬件上运行，并计划在 **Steam 发布技术预览版**。当前虽然已能在 RTX 5070 Ti 等 16 GB 显存的显卡上运行，但进一步压缩显存占用与计算量，将直接决定该范式的普及程度。 **2. 提升视觉保真度并引入高分辨率细化阶段** - 目前生成质量为 480p，未来可通过增加**后处理或细化阶段（refinement stage）**实现更高分辨率输出（如 720p 或 1080p），同时保持实时性。如何在增加细节的同时不破坏引擎代理提供的结构一致性，是一个关键挑战。 **3. 探索多人场景下的一致渲染（Multiplayer Rendering）** - 当前系统为单玩家视角设计。扩展至多玩家时，需保证不同玩家视角下的**共享世界状态**在各自渲染结果中保持空间与语义一致，且需解决多视角下的计算资源分配与延迟同步问题。 **4. 实现对生成视觉的更精确控制** - 尽管引擎代理已提供几何与语义约束，但对风格、光照、材质、天气等视觉元素的**细粒度、实时调控**仍有提升空间。例如，玩家可能要求“将正午改为黄昏”而不改变代理几何，模型需精确响应此类高级视觉指令。 **5. 扩展至更广泛的游戏类型与场景** - 当前演示集中于射击与驾驶类游戏。未来需验证该 harness 架构在**开放世界 RPG、策略游戏、平台跳跃、室内解谜**等更复杂类型中的适用性，这涉及引擎表示能力、代理渲染方式及训练数据多样性的扩展。 —- ### 基于系统架构的潜在延伸方向 除上述明确规划外，从 Matrix-Game 4.0 的“引擎 + 智能体 + 视频模型”三元架构出发，以下方向亦具有探索价值： - **多模态编程智能体的复杂逻辑生成**：当前 Coding Agent 已能添加规则与物品，但面对更复杂的游戏机制（如经济系统、AI 行为树、剧情分支），智能体生成无漏洞、可维护代码的能力仍需检验与增强。 - **长程物理一致性与因果推理**：虽然引擎承担了规则执行，但视频模型在渲染爆炸、流体、破碎等复杂物理效果时，其统计学习特性仍可能产生违背物理的伪影。探索如何让视频模型更好地“尊重”引擎的物理模拟结果，是提升沉浸感的关键。 - **跨场景与跨风格的泛化训练**：当前模型按游戏类型分别训练。未来可探索**统一渲染模型**，使其能够零样本或少样本适应未见过的代理结构与艺术风格，减少对大量成对 UE5 采集数据的依赖。 - **多模态交互反馈**：目前系统以视觉为主，未来可整合**音频生成**（引擎事件驱动音效与音乐）与**触觉反馈**，构建更完整的感官闭环。 Q6: 总结一下论文的主要内容 该论文提出 **Matrix-Game 4.0**，一种通过可执行游戏 harness 将世界状态维护、规则执行与视觉生成分离的新范式，实现了在单张消费级 GPU 上的实时可玩游戏世界。以下是主要内容概述： —- ### 1. 研究背景与问题 现有交互式视频世界模型（如 Genie、GameNGen、Oasis 等）将世界动力学与视觉渲染耦合于单一网络，面临根本性局限： - **无持续外部校正**：世界状态隐式存在于生成像素中，缺乏对视野外区域的显式维护； - **误差累积**：自回归生成的微小误差随时间复合，导致长期不一致甚至场景崩溃； - **未压缩帧级记忆**：历史帧以原始像素堆积，成本随推演长度线性增长； - **玩法机制受限**：交互多限于导航与基础响应，难以支持复杂的可执行规则、持久化后果与显式目标。 —- ### 2. 核心架构：可执行游戏 Harness Matrix-Game 4.0 采用”**代码定义规则、引擎维护状态、视频模型负责渲染**“的三元架构（Figure 2）： - **游戏引擎（The Referee）**：以轻量级模拟显式维护世界状态（位置、血量、库存、任务进度等），执行物理、碰撞、射击规则等交互逻辑，并输出**低多边形结构代理**（low-poly proxy）作为空间与运动的硬约束。 - **多模态编程智能体（Scriptwriter & Translator）**：向上将玩家自然语言指令转化为可执行游戏代码与场景配置；向下将引擎实时状态（可见物体、事件、相机位姿）翻译为**动态字幕**（dynamic captions），为视频模型提供语义条件。 - **视频生成模型（The Painter）**：基于 Wan2.2-Fun-5B Control 改造的因果视频到视频（V2V）模型，在代理几何、动态字幕、首帧及空间记忆的共同条件下，将结构代理实时渲染为高保真帧。 运行时闭环为：
Player input arrow Engine state update arrow Structural proxy + captions arrow Neural rendering arrow Visual feedback
—- ### 3. 关键技术与管线 - **成对数据采集**：在 Unreal Engine 5 中同步捕获像素对齐的低多边形代理与高保真 RGB 视频，覆盖城堡射击、沙漠射击、城市驾驶与空战等场景（Table 1）。 - **动态字幕**：通过规则模板基于引擎每帧上报的物体 ID、位姿、距离与事件实时合成文本描述，无需视觉语言模型（VLM），确保语义条件与世界状态严格同步（Figure 4）。 - **训练与蒸馏**： - **监督微调**：在 81 帧窗口、 704 × 1280 分辨率下进行双向 V2V 微调； - **因果少步蒸馏**：遵循 Causal Forcing++，将双向模型蒸馏为因果自回归生成器，实现每块（4 视频帧 / 1 潜帧）仅需 **1–2 步去噪**：
z arrow z - σ · v
- **推理优化**：整合 CUDA Graph、FP8 权重量化、Triton 融合核、Ring KV 缓存、Split-KV FlashAttention 与 TAEHV 轻量解码器，消除 CPU 调度与数据搬移开销（Table 2）。 —- ### 4. 实验结果 - **实时性能**：在单张 NVIDIA RTX 5090、 480 × 864 分辨率下： - **1 步去噪**：稳态生成 **83.4 FPS**，峰值显存约 18.2 GiB； - **2 步去噪**：约 **57 FPS**； - **端到端按键到画面延迟**：**112 ms**。 - **硬件扩展性**：固定提示下，单步生成在 RTX 5080 达约 67 FPS（12.8 GB），RTX 5070 Ti 达约 58 FPS（10.9 GB）。 - **系统对比**（Table 3）：与 Code World Model（ ≈ 10.2 s）、Magpie（ ≈ 1.55 s）、AgentGarten（ ≈ 878 ms）、StreamRender-H3（ ≈ 517 ms）相比，Matrix-Game 4.0 延迟最低，且是唯一可在**单张消费级 GPU**上实时运行的系统。 - **长程一致性**：在 40 秒（961 帧）的 held-out 自回归推演中，生成帧严格遵循代理布局，场景风格与角色外观保持稳定（Figure 7）。 - **玩法定制**：通过 Coding Agent 实时添加护盾耐久机制、计时赛检查点与碰撞惩罚、追击模式等规则，引擎执行判定，视频模型即时渲染（Figure 8）。 —- ### 5. 贡献与开源 - **技术路线**：提出从”可控视频”到”可执行世界”的范式转变，通过外部 harness 实现持久状态、可执行规则与低延迟交互的统一。 - **完整管线**：建立覆盖 UE5 成对数据采集、动态语义条件、因果蒸馏与实时推理优化的可复用技术基础。 - **开源发布**：论文发布时即开源代码、模型权重与低多边形游戏资产，为研究者和开发者提供探索 playable 生成式游戏世界的平台。 未来工作包括进一步降低硬件门槛、引入高分辨率细化阶段、探索多人一致渲染、扩展至更多游戏类型，并计划推出 Steam 技术预览版。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Jihai Zhang,Runjia Qian,Kaiqin Kong,Biao Jiang,Puyi Wang,Siru Chen,Tianle Li,Guanjie Chen,Junyi Wu,Chubin Chen,Yuanhang Li,Kaichen Huang,Haobo Zhang,Yangguang Li,Wei Yu,Guibin Chen,Yu Cheng,Yahui Zhou
Categories:
PDF URL: https://arxiv.org/pdf/2610.27999.pdf
Arxiv URL: https://arxiv.org/abs/2610.27999
Arxiv ID: 2610.27999
CoolPaper URL: https://papers.cool/arxiv/2610.27999
Published: 2026-10-22T01:50:25.981Z
Updated: 2026-10-22T01:50:25.981Z
3. Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
Abstract:World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision. We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments. We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control. A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction. We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data. Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, $\Psi_0$, $\omega$-HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training. Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction. Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model’s utility for embodied decision-making.
中文摘要
摘要：世界模型使具身主体能够预判行动后果，但由于行动空间异构和多模态监督有限，联合建模不同身体的运动与操作仍然具有挑战性。我们呈现Ropedia W0，这是首个以自我为中心的机车操控世界基础模型，涵盖具有多样身体的人类和机器人。我们策划了Xp-Data，包含1万小时的自我中心人类数据和3千小时机器人数据，并配有统一的多模态注释和系统性质量控制。统一的运动学表征通过摄像机姿态编码运动，通过投影骨骼进行操作，机器人骨骼结合了具身特有的前向运动学与大量手动关键点注释和修正。我们还介绍了Xp-Teleop，这是一个基于高质量灵巧人形远程操作数据的长视野机车操作基准测试。评估展示了五个跨身体基准测试（DreamDojo、$\Psi_0$、$\omega$-HOME、Xp-Teleop和AgiBot）以及从零次推断到少样本和全数据的后训练视频中最先进的性能。缩放人类预训练数据提升了人类和机器人评估的表现。经过精炼后，我们的模型支持实时、一分钟的部署，实现实时虚拟现实交互。在政策评估、基于模型的规划和世界行动建模中的应用，进一步展示了该模型在具体决策中的实用性。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.26855 (HTTP 429)
Authors: Tianqi Liu,Hanfei Zhao,Qifeng Liang,Hui En Pang,Jiarui Xu,Sayang Mu,Penghao Qiu,YingSheng Zhang,Jun Wang,Ziang Cao,Mingze Sun,Yukang Cao,Fangzhou Hong,Zhaoxi Chen,Ziwei Liu
Categories:
PDF URL: https://arxiv.org/pdf/2610.26855.pdf
Arxiv URL: https://arxiv.org/abs/2610.26855
Arxiv ID: 2610.26855
CoolPaper URL: https://papers.cool/arxiv/2610.26855
Published: 2026-10-22T01:50:25.963Z
Updated: 2026-10-22T01:50:25.963Z
4. PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
Abstract:Looped language models can run more iterations at test time, but additional iterations need not help them solve longer problems. For sequential state tracking, final-answer supervision does not specify how far each iteration should advance, and repeated updates can change the scale of the recurrent state. We introduce \textbf{Progress-Aligned Recurrence (PAR)}, which trains the prediction at iteration $k$ to match the state after the first $k$ operations and rescales recurrent states to their first-iteration norms. On swap-$S_5$, a Qwen2.5-0.5B model trained on at most 32 moves achieves 95.5\% mean full-state accuracy at 512 moves, or $16\times$ the training length, compared with 55.7\% reported for RLT and 0.8\% for explicit chain of thought on the same backbone. Controlled $S_5$ ablations show that removing norm anchoring reduces the extrapolation factor from $16\times$ to below $2.2\times$, and replacing progress-aligned targets with final-answer supervision reduces it to at most $8\times$. A learned completion readout selects when to answer without a supplied stopping depth. When intermediate labels are unavailable, prefix self-distillation induces the correspondence from shorter problem prefixes using only final answers. The gains apply across sequential state-tracking tasks, establishing the task structure required for depth extrapolation. These findings support training intermediate predictions and state scale together to make additional recurrent depth useful for longer problems.
中文摘要
摘要：循环语言模型在测试时可以运行更多迭代，但额外的迭代未必有助于它们解决更长的问题。对于顺序状态跟踪，最终答案监督并未指定每次迭代应推进的程度，而重复更新可能会改变循环状态的尺度。我们引入了\textbf{进度对齐循环（PAR）}，该方法训练第 $k$ 次迭代的预测以匹配前 $k$ 次操作后的状态，并将循环状态重新缩放至首次迭代的范数。在 swap-$S_5$ 上，一个训练最多 32 步的 Qwen2.5-0.5B 模型，在 512 步时达到了 95.5\% 的平均全状态准确率，相当于训练长度的 $16\times$，相比之下，同一主干网络下 RLT 报告为 55.7\%，显式思路链为 0.8\%。受控的 $S_5$ 消融实验表明，移除范数固定会使外推因子从 $16\times$ 降至低于 $2.2\times$，而将进度对齐目标替换为最终答案监督则将其降至最多 $8\times$。一个学习的完成读出模块可以在没有指定停止深度时选择何时回答。当中间标签不可用时，前缀自我蒸馏通过仅使用最终答案从较短问题前缀中引导对应关系。这些收益适用于所有顺序状态跟踪任务，确立了深度外推所需的任务结构。这些发现支持同时训练中间预测和状态尺度，使额外的循环深度对处理更长的问题有用。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.27628 (HTTP 429)
Authors: Pan Wang,Yihao Hu,Guangyuan Dong,Yitong Lin,Hang Wang,Zimi Liu,Zhihao Wen,Jianshe Li,Jiang-Ming Yang,Wei Wu,Yongqi Tong
Categories:
PDF URL: https://arxiv.org/pdf/2610.27628.pdf
Arxiv URL: https://arxiv.org/abs/2610.27628
Arxiv ID: 2610.27628
CoolPaper URL: https://papers.cool/arxiv/2610.27628
Published: 2026-10-22T01:50:25.971Z
Updated: 2026-10-22T01:50:25.971Z
5. S-Agent 2.0: Spatial Reasoning with a General Coding Agent
Abstract:Spatial reasoning asks a model to work out where objects are in 3D space, how they relate to one another, and how they move. Agentic VLMs have recently brought large improvements on such tasks by letting the model actively gather evidence with 3D perception tools instead of answering in a single pass. Even so, on many questions the tools return the right evidence and the model still does not arrive at the correct answer: the gap between model and tools, where raw readings become usable conclusions, is left unfilled. We present S-Agent 2.0, a spatial reasoning agent that equips an off-the-shelf general coding agent with a command-line perception toolkit, and we design the interface around one principle: help the VLM close the evidence loop: acquire scene evidence, remember it in a persistent scene memory, and interpret each reading in plain spatial language. This design keeps the full flexibility of a coding agent, and every reading it acts on stays grounded in the tools’ geometry. On MMSI-Bench and ReVSI, the toolkit improves a strong open-source model, Qwen3.8-27B, by +13.9 and +20.5 points over the same agent without tools, and a strong closed-source model, Gemini-3.8-Flash, by +11.2 and +9.6 points. With the open backbone S-Agent 2.0 reaches 66.5 on MMSI-Bench and 82.3 on ReVSI, ahead of the specialized system SpatialClaw on the same backbone (62.6 and 74.5), and with Gemini-3.8-Flash it reaches 74.1 and 90.5 against its 67.0 and 79.7. Both tool gains shrink as the backbone grows more capable, but SpatialClaw’s shrinks far more on ReVSI, from +13.2 to +2.7, while ours stays at +9.6. S-Agent 2.0 also works across different general coding agent harnesses, such as Codex and Claude Code.
中文摘要
摘要：空间推理要求模型确定物体在三维空间中的位置，它们相互之间的关系，以及它们的运动方式。近年来，智能型视觉语言模型（Agentic VLMs）通过允许模型使用三维感知工具主动收集证据，而不是一次性回答，从而在此类任务上带来了显著的改进。然而，在许多问题上，即使工具返回了正确的证据，模型仍然无法得出正确答案：模型与工具之间的差距，即原始读数转化为可用结论的环节，仍未填补。我们提出了 S-Agent 2.0，一种空间推理代理，将现成的通用编码代理与命令行感知工具包结合起来，并围绕一个原则设计接口：帮助 VLM 闭合证据循环——获取场景证据，将其保存在持久化的场景记忆中，并用直白的空间语言解释每个读数。该设计保持了编码代理的全部灵活性，每个操作的读数都与工具的几何信息保持一致。在 MMSI-Bench 和 ReVSI 上，该工具包将一个强大的开源模型 Qwen3.8-27B 提升了 +13.9 和 +20.5 分，相较于没有工具的同一代理；并将一个强大的闭源模型 Gemini-3.8-Flash 提升了 +11.2 和 +9.6 分。使用开源骨干的 S-Agent 2.0 在 MMSI-Bench 上达到 66.5 分，在 ReVSI 上达到 82.3 分，领先于同一骨干上的专业系统 SpatialClaw（分别为 62.6 和 74.5 分）；使用 Gemini-3.8-Flash 时达到 74.1 和 90.5 分，而其分别为 67.0 和 79.7 分。随着骨干能力的增强，两个模型的工具增益都会缩小，但 SpatialClaw 在 ReVSI 上的增益缩小幅度更大，从 +13.2 降至 +2.7，而我们的增益保持在 +9.6。S-Agent 2.0 还可适用于不同的通用编码代理框架，如 Codex 和 Claude Code。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*Agentic视觉语言模型（VLMs）在空间推理任务中"证据循环断裂"的问题\*\*——即尽管3D感知工具能够返回正确的几何测量结果，模型仍然无法将其可靠地转化为正确答案。 具体而言，论文诊断出当前Agentic空间推理系统（如SpatialClaw）存在以下核心问题： --- ### 1. 证据循环未闭合 一个完整的空间答案需要闭合三个环节的循环，但现有系统仅投资了第一个环节： - \*\*证据获取（Acquisition）\*\*：工具执行3D重建、分割和几何测量； - \*\*证据记忆（Memory）\*\*：测量结果需要在多步推理中持久保存且易于寻址； - \*\*证据解释（Interpretation）\*\*：原始数值需要被转化为与问题一致的空间语言。 现有系统（如SpatialClaw）几乎将全部设计精力投入于感知与几何库的丰富化，却让记忆和解释环节完全依赖模型自身，导致工具读数与最终答案之间出现断裂。 --- ### 2. 两类典型失败模式 通过对SpatialClaw轨迹的分析，论文发现工具本身很少出错，失败主要发生在"读数消费"阶段： - \*\*误读正确测量\*\*：模型正确获取了旋转或位移数值，但翻转了符号、混淆了坐标系（如相机坐标与世界坐标），或颠倒了参考对象； - \*\*证据未被使用\*\*：测量结果停留在工作区或代码变量中，而模型最终答案依赖于对图片的"肉眼观察"；或者正确读数被以无关理由丢弃，导致推理过程与已采集的证据脱节。 --- ### 3. 模型自身感知与工具测量的割裂 在先前系统中，模型对图像的直观感知与工具的测量输出处于分离的通道。模型"看"到的内容和工具"测"到的内容没有落在同一个几何基础上，导致两者无法交叉验证，模型容易在矛盾时倒向自身的视觉直觉而非工具读数。 --- ### 论文的解决思路 为此，论文提出 \*\*S-Agent 2.0\*\*，其设计目标是通过一个命令行感知工具包（CLI perception toolkit）来\*\*闭合上述证据循环\*\*： - \*\*统一感知\*\*：允许模型将自身识别或想象的内容（如问题中假设的观察者）作为实例注册到同一场景记忆中，与工具测量结果处于同一几何基础； - \*\*持久场景记忆\*\*：由环境维护场景状态（点云、命名实例、位姿），后续查询通过名称直接调用，无需模型在上下文中手动传递数值； - \*\*到达即解释\*\*：每个工具调用返回的不是裸数值，而是包含结论句（conclusion）的结构化报告，用与问题一致的空间语言（如"左前方"、"后退"）直接呈现读数，避免模型自行推导时出错。 实验表明，该设计在MMSI-Bench和ReVSI等基准上将Qwen3.8-27B的得分分别提升了\*\*+13.9\*\*和\*\*+20.5\*\*个百分点，并在多个骨干网络和不同通用编码Agent框架（OpenHands、Codex、Claude Code）上均保持有效。 Q2: 有哪些相关研究？ 这篇论文的相关研究可归纳为以下六个主要方向： --- ### 1. 视觉语言模型（VLM）中的空间推理 该方向致力于将空间智能直接嵌入模型权重中，大致可分为三类： - \*\*空间指令数据蒸馏\*\*：通过大规模3D标注数据对模型进行微调，代表性工作包括 SpatialVLM、SpatialRGPT、Cambrian-S 与 SenseNova-SI； - \*\*几何感知架构重塑\*\*：修改模型结构或进行空间定向调优，如 Spatial-MLLM 与 VST； - \*\*强化学习与课程训练\*\*：利用可验证奖励或渐进式训练信号提升空间能力，如 SpaceR、ViLaSR、MindCube 与 SpatialLadder。 与本文的核心区别在于：上述方法均依赖单向前传（single forward pass）回答，不在推理时对场景进行任何显式测量，因而面对新的感知后端或任务分布时需重新训练。 --- ### 2. 工具增强的视觉Agent与“代码即行动”（Code as Action） 该方向关注如何以可执行代码或结构化调用整合外部工具： - \*\*程序合成\*\*：VisProg 与 ViperGPT 在单步内生成完整视觉程序后再执行； - \*\*结构化工具菜单\*\*：MM-ReAct、HuggingGPT 与 OctoTools 按轮次调度工具； - \*\*动态工具编写\*\*：PyVision 在推理过程中动态生成工具代码； - \*\*代码格式优势\*\*：CodeAct 通过对比实验表明，可执行代码作为行动格式优于 JSON 或自由文本。 这些系统所调用的工具主要面向 2D 识别，其控制器无需在跨视图、跨时间条件下维护一个度量 3D 场景，这与空间推理的需求存在本质差异。 --- ### 3. Agentic 空间推理（与本文最直接相关） 该方向将工具使用引入 3D 空间问答，代表性工作包括： - \*\*视觉程序方法\*\*：VADAR 合成任务特定的 Pythonic API 并执行程序；pySpatial 将重建、相机位姿恢复与新视角合成组合为 3D 视觉程序； - \*\*几何约束与场景图方法\*\*：GCA 将模型拆分为“问题形式化”与“工具执行”两部分；RieMind 基于显式 3D 场景图进行类型化几何查询； - \*\*工具微调方法\*\*：SpaceTools 通过监督演示与交互式强化学习微调 VLM，以协调固定工具集； - \*\*渲染推理方法\*\*：Think3D 选取相机视角、渲染重建点云并在渲染图上进行推理； - \*\*前代 Agentic 系统\*\*：S-Agent 在多视图与长视频上调度 3D 操作；SpatialClaw 以手工设计的 plan-act-reflect 状态机驱动 VLM，并配备丰富的 3D 感知与几何工具库。 上述系统的共同特征是：控制器为空间推理专门编写，设计精力集中于\*\*证据获取\*\*（acquisition），而将\*\*证据记忆\*\*与\*\*证据解释\*\*留给模型自身；同时，模型自身的视觉感知与工具的测量输出处于分离通道，未能在统一几何基础上进行交叉验证。 --- ### 4. 通用编码Agent（General-Purpose Coding Agents） 软件工程Agent（如 SWE-agent、OpenHands）针对代码生成与维护任务提供了成熟的脚手架，包括 shell、文件系统、代码执行、长程上下文管理与工具调用循环。S-Agent 2.0 直接采用这些现成框架作为空间推理的“底座”，将感知工具以普通命令行程序的形式嵌入其中，从而保持了跨框架的通用性（实验验证其可在 OpenHands、Codex、Claude Code 上直接运行）。 --- ### 5. 长视频与多视图感知（视觉证据供给） 该方向为空间推理提供底层视觉证据，分为两类： - \*\*帧压缩方法\*\*：通过采样、检索或摘要将长视频压缩为有限帧集输入长上下文 VLM，如 Video-LLaMA、LongVA、T⋆； - \*\*重建优先方法\*\*：通过多视图几何或前馈模型构建显式 3D 表示，如 VGGT、Depth Anything 3。 这两类方法均将输出作为固定上下文提供给模型，跨视图关联与度量比较仍依赖模型的隐式推理。S-Agent 2.0 将此类方法中的重建与可提示分割模型作为\*\*工具感知后端\*\*（Tool Perception），由 Agent 按问题需求决定调用时机与 grounding 方式，并通过持久场景记忆统一存放测量结果。 --- ### 6. 空间推理基准测试 评测方法已从单图像探测（如 BLINK、EmbSpatial）发展到需要整合多源证据的复杂场景： - \*\*多视图推理\*\*：MMSI-Bench（跨视图位置关系与几何属性）、MindCube（稀疏视图下的空间心智模型）、SPAR-Bench（从度量感知到多视图关系推理的层级能力）； - \*\*视频推理\*\*：ReVSI（动态观察下的 3D 空间关系）、MMSI-Video-Bench（长视频空间建构、运动理解、跨视频记忆与路径规划）。 本文在 MMSI-Bench、MindCube、SPAR-Bench、MMSI-Video-Bench 与 ReVSI 五个基准上进行了评估。 Q3: 论文如何解决这个问题？ 论文通过构建 \*\*S-Agent 2.0\*\* 来解决证据循环断裂问题。该系统不编写专门的空间推理控制器，而是将一个\*\*现成的通用编码Agent\*\*与\*\*命令行感知工具包\*\*相结合，通过接口设计本身来闭合“获取—记忆—解释”的完整循环。 --- ## 1. 总体架构 系统由三个核心部分组成： - \*\*通用编码Agent\*\* π ：作为规划器与执行器，保留其全部通用能力（Linux命令、代码读写、文件查看、图像查看等）。 - \*\*命令行感知工具包\*\* T ：以普通命令行程序的形式提供3D感知工具，Agent通过shell调用。 - \*\*持久场景记忆\*\* S ：由工具包维护，存放每一轮采集的度量几何证据。 形式化地，一个空间推理问题包含问题 q 与帧集合 I = I_1, dots, I_n 。Agent接收固定指令 u （包含工具包教程与推荐工作流），在每一步 t 基于历史上下文生成下一步思考与动作：
(zt, a_t) sim π(· mid u, q, z(<t), a(<t), o(<t)), quad at ∈ A(gen) ∪ A(perc)
其中 A(gen) 为编码Agent的原生动作， A(perc) 为感知工具包动作。 —- ## 2. 闭合证据循环的三项设计 ### 2.1 获取与模型自身感知的统一（Dividing perception by competence） 论文将感知工作按能力剖面划分，让模型与工具各尽所能，但输出落在同一场景记忆中： - 工具感知 T(tool) ：负责精确测量。 - recon：基于 Depth Anything 3、GeoCalib、 π^3 mos 等模型，将所有帧融合为度量、重力对齐的点云 P ，并注册相机位姿。 - segment：基于 SAM 3，以模型提供的自然语言为提示，生成像素级掩码并提升到3D点云注册为命名实例。 - 模型感知 T_(model) ：负责语义理解与问题意图的具象化。 - add_instance：模型将自身识别或想象的实体（如问题中“躺在床上的人”、“面向桌角的观察者”）以名称注册到场景记忆中，可基于像素坐标或已有实例指定位置与朝向。 - drop：模型可删除工具误注册实例（如镜面反射产生的假阳性），在读取测量前即修正记忆。 由此，模型“看到”的内容与工具“测到”的内容以同一几何 footing 共存于 S ，两者可在调用读数前交叉验证。 ### 2.2 由环境维护的持久场景记忆 场景记忆的结构为：
S = langle I, P, (nui, g_i)_i rangle, quad g_i = langle p_i, E_i, T_i rangle
其中 I 为原始帧， P 为融合点云，每个实例以名称 nu_i 索引，附带三维位置 p_i ∈ R^3 、点云子集 E_i 与六自由度位姿 T_i ∈ SE(3) 。 **关键设计**：记忆由工具包环境持有，而非由模型在上下文中转录。后续测量通过**名称查询**即可在封闭形式下完成：
Rτ(nu_1, dots, nu_k; S_t)
例如 ` distance —a sofa —b tv、 side —observer person —of clock`。模型只需记住实例名称，无需在长篇上下文中携带原始坐标或数组，从而避免证据在到达答案前丢失。 ### 2.3 到达即解释的语言表面（The language surface） 每个工具调用返回的并非裸数值，而是经过解释的结构化报告：
ot^(perc) = cτ(m; S)
该报告具有固定解剖结构： - 少量带单位的类型化数字字段； - 一段**结论句（conclusion）**，用 plain spatial language 重述测量结果。 例如 `$ side` 的返回： > “clock is 3.67 m in FRONT of observer, 3.15 m to its RIGHT and 0.26 m ABOVE it — overall to its FRONT-RIGHT” 结论句明确命名了涉及实体、声明了坐标系（重力对齐/相机/图像平面），并将数值直接映射到答案常用的空间词汇（如 front-left、behind）。模型无需自行推导方向或进行坐标转换，从而消减了符号翻转、参考系混淆等误读。 —- ## 3. 推理流程 完整的证据循环如下：
q π E π x τ (m, S(t+1)) = τ(x_t; S_t) cτ ot^(perc) π answer
其中虚线回路由模型的阅读与下一步调用闭合：模型将 o_t^(perc) 中的结论读回其证据集合 E ，并决定下一个调用参数 x 。由于图像查看与普通文件读取对编码Agent是原生能力，模型可随时打开工具渲染的分割覆盖图或俯视图（BEV），与场景记忆中的注册表进行交叉核对（cross-check），进一步确保工具输出与自身感知一致后再采信。 —- ## 4. 跨编码Agent框架的兼容性 由于整个接口仅依赖命令行标准输入输出与磁盘文件（通用编码Agent均具备的CLI能力），S-Agent 2.0 无需修改Agent内部循环、提示工程或上下文管理逻辑。实验表明，同一工具包可在 OpenHands、Codex、Claude Code 等不同通用编码Agent底座上直接运行，并保持稳定的性能增益。 Q4: 论文做了哪些实验？ 论文的实验围绕空间推理性能评估、消融验证与定性分析展开，具体包括以下五个部分： —- ### 1. 实验设置 - 评测基准：涵盖五个多视图与视频空间推理基准： - MMSI-Bench：多视图场景中的位置关系、几何属性、运动与多步推理； - MindCube：基于稀疏视图构建空间心智模型； - SPAR-Bench：从基础度量感知到多视图关系推理的层级能力； - ReVSI：动态视频观察下的三维空间关系； - MMSI-Video-Bench：长视频空间建构、运动理解、跨视频记忆与路径规划。 - 主干模型：以 Qwen3.8-27B（FP8，本地部署）为主要骨干，以 Gemini-3.8-Flash 作为更强能力的对比骨干。 - Agent 框架：默认采用 OpenHands；为验证通用性，同时将相同工作空间与工具包迁移至 Codex 与 Claude Code。 - 感知后端（全部冻结，无训练）：Depth Anything 3（度量重建）、 π^3 mos（运动掩码）、GeoCalib（重力方向估计）、SAM 3（可提示分割）。 —- ### 2. 主实验结果 #### 2.1 MMSI-Bench（表1） 在 Qwen3.8-27B 骨干下，S-Agent 2.0 达到 66.5% 平均准确率，超过同骨干下的 Specialized Agent 系统 SpatialClaw（62.6%）及前代 S-Agent（48.3%），也超过所有对比的专有模型（除 GPT-6 外）。在 Gemini-3.8-Flash 骨干下，S-Agent 2.0 达到 74.1%，为表中最高平均分。 #### 2.2 ReVSI（表2） 在 Qwen3.8-27B 下达到 82.3%，领先 SpatialClaw（74.5%）+7.8 个百分点；在 Gemini-3.8-Flash 下达到 90.5%，领先 SpatialClaw（79.7%）+10.8 个百分点。提升最大的是需要跨对象几何的类别（相对方向、路径规划）。 #### 2.3 跨基准综合对比（表3） 在五个基准上，S-Agent 2.0（Qwen3.8-27B）全面领先所有 Agentic 基线： - MMSI：66.5（vs SpatialClaw 62.6） - MindCube：88.3（vs SpatialClaw 83.2） - SPAR：72.4（vs SpatialClaw 70.2） - MMSI-Video：56.4（vs SpatialClaw 53.1） - ReVSI：82.3（vs SpatialClaw 74.5） —- ### 3. 消融实验 #### 3.1 跨通用编码 Agent 框架（表4） 将完整系统分别置于 OpenHands、Codex、Claude Code 三个不同通用编码 Agent 上运行同一工具包，结果显示性能保持稳定： - MMSI-Bench：66.5 / 67.0 / 63.8 - SPAR-Bench：72.4 / 71.8 / 72.8 - ReVSI：82.3 / 76.6 / 79.1 #### 3.2 工具增益 vs 无工具（表5） 在相同 Agent 与相同题目上对比“有工具包”与“无工具包”： - Qwen3.8-27B：工具包带来 ReVSI +20.5（61.8 → 82.3）、MMSI +13.9（52.6 → 66.5）的增益； - Gemini-3.8-Flash：工具包带来 ReVSI +9.6、MMSI +11.2 的增益； - 相比之下，SpatialClaw 的工具增益在更强骨干上大幅萎缩（ReVSI 从 +13.2 降至 +2.7），而 S-Agent 2.0 的增益保持 substantial。 #### 3.3 界面组件消融（表6） 逐次移除 S 2 中的一项设计承诺： - 移除场景记忆：模型需自行在上下文中携带所有读数，性能降至 63.0 / 79.8（−3.5 / −2.5）； - 移除解释性读数（裸数值返回）：性能降至 65.2 / 81.1（−1.3 / −1.2）； - 移除模型感知接口（无法注册或删除实例）：性能降至 57.7 / 76.4（−8.8 / −5.9），损失最大。 —- ### 4. 定性分析与案例研究 #### 4.1 与 SpatialClaw 的轨迹对比（图4 左） 在相同骨干与相同感知后端下，SpatialClaw 常出现“工具测量正确但答案错误”：例如正确计算了位移向量后，因右手定则实现方向相反、或在第二次肉眼观察图片后被推翻。S-Agent 2.0 则通过将问题前提注册为定向实例，并以结论句直接返回空间关系，避免了模型自行推导的误差。 #### 4.2 两种感知的交叉验证（图4 右上） S-Agent 2.0 展现出编码 Agent 固有的 inspect-and-revise 习惯：模型主动打开工具输出的分割覆盖图或 BEV 地图，与场景记忆注册表进行比对——删除错误掩码（如镜面反射假阳性）、保留经视觉确认的真实重复对象，从而在读取测量前实现工具感知与模型感知的统一。 #### 4.3 剩余错误分类（图4 右下） 当获取、记忆与解释均被接口承担后，剩余错误集中在问题 grounding 环节，分为两类： - 想象视角错误：未能正确模拟问题要求的假设观察者位姿（如借用错误朝向）； - 量纲/语义混淆：测量了正确的物理量但理解错问题的含义（如将“物体自身高度”误读为“相对于参考物的垂直位置”）。 —- ### 5. 工具使用统计与补充实验 #### 5.1 命令调用频率（附录C，表8） 在完整基准运行中统计各命令的使用率： - 场景构建（recon、segment、bev）出现在超过 90% 的 episode 中； - 读数命令按任务分布：MMSI-Bench 多用 side、motion、compass；ReVSI 多用 distance、list_instance； - 模型感知（add_instance）使用于 25%–48% 的 episode，drop 使用于 20%–40%，说明注册表编辑是常规操作而非异常。 #### 5.2 读数移植实验（附录D，表9） 为分离“解释性读数”的独立贡献，将 S-Agent 2.0 的读数函数（distance、side、elevation、motion、compass）以相同格式移植到 SpatialClaw 的 Python 内核中。结果显示： - SpatialClaw + 移植读数：ReVSI 75.5，MMSI 62.9； - 仍低于完整 S-Agent 2.0（82.3 / 66.5），表明仅靠读数解释不足以弥补场景记忆与模型感知接口的缺失。 #### 5.3 扩展案例对比（附录E，图5–10） 额外展示 6 个 ReVSI 与 MMSI-Bench 案例，涵盖相对方向、相对距离、相机运动、方位判断等类型，均呈现 SpatialClaw 在获得正确掩码与坐标后仍因手工推导错误而失败，S-Agent 2.0 则通过工具结论句直接得出正确答案。 Q5: 有什么可以进一步探索的点？ 基于论文的发现与剩余挑战，以下几个方向值得进一步探索： —- ### 1. 问题意图到3D场景的精确Grounding 论文指出，当证据循环闭合后，剩余错误主要集中在模型到工具的Grounding阶段（如错误模拟假设视角、混淆“物体高度”与“相对海拔”）。未来工作可探索： - 显式的自然语言→3D布局解析模块：在工具调用前增加一个专门的grounding层，将问题中的假设性实体（如“躺在床上的人”）、方位词（如“面朝北”）和相对关系显式映射为场景记忆中的坐标约束与参考系，而非完全依赖VLM的零样本推理。 - 反事实与假设场景的实例化：当前 add_instance 需要模型自行推断像素坐标和朝向。可引入基于学习的想象视角合成或布局先验，以自动从问题文本生成合理的观察者候选位姿。 —- ### 2. 场景记忆的层次化与语义扩展 当前场景记忆以几何实例（位置、位姿、点云子集）为核心。向更高阶的空间表示扩展可提升复杂推理的可靠性： - 语义-拓扑场景图：在点云之上维护显式的节点（对象/区域）与边（支持、包含、相邻）关系，使多步路径规划（如MMSI-Video-Bench中的导航题）和常识推理（如“厨房通常紧邻餐厅”）有显式结构可依。 - 跨Episode的长期记忆：将单一场景的记忆沉淀为可复用的空间先验（如房间布局模板、物体典型尺寸），支持跨视频、跨场景的累积性空间学习。 —- ### 3. 从被动感知到主动探索 现有系统以被动回答为主：Agent接收固定图像/视频后调用工具。若允许Agent主动控制感知过程，可显著降低不确定性： - 主动视角选择：当证据不足（如遮挡导致分割歧义）时，Agent自主请求新视角或模拟相机移动，类似于Think3D但嵌入本系统的证据循环框架。 - 交互式澄清：在Grounding模糊时，Agent可生成澄清问题（如“您指的是靠窗的桌子还是门边的桌子？”），将交互结果以 add_instance 形式写入场景记忆，形成人机协同的闭环。 —- ### 4. 工具使用策略的学习与优化 目前工具调用序列完全由VLM的自回归规划产生。尽管编码Agent具备inspect-and-revise的直觉，但元决策层面仍有优化空间： - 证据预算与停止条件：学习何时已收集足够证据可作答、何时需继续感知，避免过度调用（如表8中部分episode产生大量冗余的 side/compass 查询）。 - 强化学习微调：以最终答案正确性为延迟奖励，对工具选择顺序、参数命名策略和交叉验证路径进行策略优化，可能进一步压缩强骨干上的工具增益衰减（Gemini-3.8-Flash上增益已小于Qwen）。 —- ### 5. 感知后端的鲁棒性与多模态融合 论文中的感知后端（Depth Anything 3, SAM 3等）均为冻结的现成模型，其失败会直接传入场景记忆： - 工具错误的自动检测与恢复：当重建出现尺度漂移、分割产生碎片化掩码时，Agent可调用一致性检查（如跨视图几何重投影误差）触发重新感知或降级到单视图推理。 - 多模态工具包扩展：将LiDAR、IMU、事件相机或音频定位（如通过声音判断物体方位）纳入同一CLI接口，使场景记忆从纯视觉扩展到多模态度量空间，服务于机器人等具身场景。 —- ### 6. 实时化与具身化部署 论文框架以离线批处理方式运行（先重建全部帧，再回答）。向实时应用延伸需解决： - 增量式场景记忆更新：将 recon 的批量重建替换为SLAM式的增量融合，使Agent在视频流持续输入时动态维护 S，支持实时导航与避障。 - 延迟-精度权衡：为不同时间约束的任务提供轻量级工具变体（如快速单帧深度估计 vs. 高精度多视图联合优化），Agent根据问题复杂度动态选择。 —- ### 7. 可解释性与可信推理 当前系统已输出BEV地图与结构化读数，但推理过程的透明度仍可增强： - 证据链可视化：自动生成“空间推理证明”，将 segment → add_instance → side/compass 的调用链与对应的视觉证据（覆盖图、俯视图、数值读数）整合为人类可审计的报告。 - 不确定性量化：在工具读数中附加置信度（如分割掩码的稳定性、深度估计的边缘不确定性），使Agent在证据冲突时能够显式声明“低置信度”而非强行选择。 Q6: 总结一下论文的主要内容 这篇论文围绕空间推理中证据循环的闭合展开，提出了一种基于通用编码Agent与命令行感知工具包的新型Agentic系统。以下是主要内容总结： —- ### 1. 研究背景与核心问题 空间推理要求模型理解三维空间中的物体位置、相互关系与运动。近期Agentic视觉语言模型（VLMs）通过主动调用3D感知工具收集证据，取得了显著进步。然而，论文发现现有系统（如SpatialClaw）存在一个关键瓶颈：工具能返回正确的几何测量，但模型仍无法可靠地推导出正确答案。其根源在于“证据循环”未完全闭合——现有工作过度投资于证据获取（重建、分割、几何计算），却将证据记忆与证据解释完全交给模型自身，导致两类典型失败： - 误读测量：模型翻转旋转符号、混淆坐标系或颠倒了参考对象； - 证据弃用：正确读数停留在代码变量或工作区中，最终答案反而基于模型对图片的直观“肉眼观察”，导致推理与已采集的证据脱节。 —- ### 2. 方法：S-Agent 2.0 为解决上述问题，论文提出 S-Agent 2.0。该系统不编写专门的空间推理控制器，而是将一个现成的通用编码Agent（如OpenHands、Codex、Claude Code）与一套命令行感知工具包（CLI Perception Toolkit）相结合，通过接口设计本身闭合证据循环。系统由三部分组成： - 通用编码Agent π ：负责规划、推理与执行，保留其全部通用能力（Shell命令、代码执行、文件/图像查看等）； - 命令行感知工具包 T ：以普通命令行程序提供3D感知与读数功能； - 持久场景记忆 S ：由工具包环境维护，存储所有度量几何证据。 #### 2.1 统一感知：工具测量与模型感知落在同一场景 论文按能力剖面划分感知任务： - 工具感知 T(tool) （负责精确测量）：recon（多帧度量重建）、segment（基于自然语言提示的分割与3D提升）； - 模型感知 T_(model) （负责语义与意图具象化）：add_instance（模型将自身识别或想象的实体，如“面向桌角的观察者”，注册为命名实例）、$ drop（删除工具误注册的实例，如镜面反射假阳性）。 通过这一设计，模型“看到”的内容与工具“测到”的内容以同一几何基础共存，可在读取测量前交叉验证、相互修正。 #### 2.2 持久场景记忆：由环境持有，而非模型上下文 场景记忆的结构为：
S = langle I, P, (nu_i, g_i)_i rangle, quad g_i = langle p_i, E_i, T_i rangle
其中 I 为原始帧， P 为融合点云，每个实例以名称 nu_i 索引，附带三维位置 p_i ∈ R^3 、点云子集 E_i 与六自由度位姿 T_i ∈ SE(3) 。 关键设计在于：记忆由工具包环境维护，后续测量通过**实例名称查询**即可在封闭形式下完成（如 ` distance —a sofa —b tv、 side —observer person —of clock`）。模型无需在上下文中手动转录坐标数组，避免了证据在长篇推理中丢失或混淆。 #### 2.3 到达即解释：数值返回时附带空间语言结论 每个工具调用返回的并非裸数值，而是经过解释的结构化报告：
ot^(perc) = cτ(m; S)
报告包含带单位的类型化字段，以及一段**结论句（conclusion）**，用与问题一致的空间语言直接重述测量（例如：“clock is 3.67 m in FRONT of observer, 3.15 m to its RIGHT — overall to its FRONT-RIGHT”）。这避免了模型自行推导方向、进行坐标转换或判断参考系时出错。 —- ### 3. 实验与结果 #### 3.1 主实验 在五个基准（MMSI-Bench、MindCube、SPAR-Bench、ReVSI、MMSI-Video-Bench）上，使用 **Qwen3.8-27B** 与 **Gemini-3.8-Flash** 进行评测： - 在 **MMSI-Bench** 上，Qwen3.8-27B 达到 **66.5%**，领先同骨干的 SpatialClaw（62.6%）；Gemini-3.8-Flash 达到 **74.1%**，为所有对比模型中最高。 - 在 **ReVSI** 上，Qwen3.8-27B 达到 **82.3%**（+7.8 相比 SpatialClaw）；Gemini-3.8-Flash 达到 **90.5%**（+10.8 相比 SpatialClaw）。 #### 3.2 关键消融与发现 - **跨通用编码Agent框架**：将同一工具包置于 OpenHands、Codex、Claude Code 上运行，性能保持稳定，验证了方法的通用性。 - **工具增益**：相比无工具的同款Agent，工具包为 Qwen3.8-27B 带来 **ReVSI +20.5** 和 **MMSI-Bench +13.9** 的增益；且当骨干能力增强时（Gemini-3.8-Flash），SpatialClaw的工具增益大幅萎缩（ReVSI从+13.2降至+2.7），而 S-Agent 2.0 的增益仍保持 substantial（+9.6）。 - **组件移除实验**：移除场景记忆（-3.5 / -2.5）、移除解释性读数（-1.3 / -1.2）、移除模型感知接口（-8.8 / -5.9）均导致性能下降，证实了每个设计环节的必要性。 #### 3.3 定性分析 - **与SpatialClaw对比**：SpatialClaw常在获得正确掩码与坐标后，因手工推导（如右手定则实现错误、二次肉眼观察推翻工具结果）而失败；S-Agent 2.0则通过将问题意图注册为定向实例，并直接消费解释性结论句，避免了此类错误。 - **交叉验证**：S-Agent 2.0展现出编码Agent固有的 inspect-and-revise 习惯，主动对比工具输出的覆盖图与场景记忆，删除错误实例后再读取测量。 - **剩余错误**：当获取、记忆与解释均被接口承担后，剩余错误集中在**问题grounding**阶段，主要包括**想象视角错误**（假设观察者位姿模拟错误）与**量纲语义混淆**（如将“物体自身高度”误读为“相对参考物的海拔”）。 —- ### 4. 核心贡献 - **跨通用编码Agent的空间推理方法**：首次展示了无需定制空间推理控制器，仅通过为通用编码Agent配备命令行感知工具包，即可实现先进的3D空间推理，且兼容多种Agent框架。 - **闭合证据循环的接口设计**：通过统一感知（工具+模型）、持久场景记忆与到达即解释的语言表面，将“获取—记忆—解释”全链路嵌入工具接口，显著降低了模型在正确工具输出与最终答案之间的失败率。 - **领先的实验性能**：在五个多视图与视频空间推理基准上，以27B开源骨干和零训练设定超越了所有Agentic基线；在更强闭源骨干上获得了最高报道分数，且工具增益随骨干增强的衰减更为缓慢。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Rui Gong,Ruoyu Wang,Yalun Dai,Hao Li,Sidi Yang,Qihao Zhao,Hongyu Li,Zeyang Guan,Fangzhou Hong,Zhaoxi Chen,Kim-Hui Yap,Ziwei Liu
Categories:
PDF URL: https://arxiv.org/pdf/2610.28354.pdf
Arxiv URL: https://arxiv.org/abs/2610.28354
Arxiv ID: 2610.28354
CoolPaper URL: https://papers.cool/arxiv/2610.28354
Published: 2026-10-22T01:50:25.991Z
Updated: 2026-10-22T01:50:25.991Z
6. CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?
Abstract:Model—harness co-evolution has emerged as a prominent paradigm for recursive self-improving (RSI) agents, jointly evolving their execution scaffolds and intrinsic capabilities. We study the persistent yet often overlooked brain—body mismatch problem in this paradigm, where an evolving harness (body) demands behaviors its model (brain) has not learned or restricts capabilities it already possesses. We introduce CoEvo-RSI, a RSI framework that advances model—harness co-evolution through agent-driven, bidirectional historical inheritance. Drawing on a shared evolutionary archive and execution feedback, a meta-agent coordinates harness development from historical designs with model checkpoint selection or merging and subsequent adaptation under the selected harness, aligning inherited capabilities with evolving execution requirements to reduce brain—body mismatch. Using only supervised fine-tuning (SFT) on its own rejection-sampled trajectories, CoEvo-RSI makes Qwen3.5-9B competitive with larger models across diverse vertical applications, including multi-agent failure attribution, role-aware text-to-SQL, and smart-home instruction following. It surpasses DeepSeek-V4-Pro on TraceElephant (+14.16 agent accuracy) and GLM-5.3 on HomeBench VM (+4.90 success rate), underscoring the need for brain—body alignment and the potential of bidirectional historical inheritance to advance agent co-evolution.
中文摘要
摘要：模型—外壳协同进化已成为递归自我增强（RSI）智能体的一个重要范式，它通过联合进化执行外壳和内在能力来实现自我改进。我们研究了这一范式中持久但经常被忽视的“脑—体不匹配”问题，即不断进化的外壳（身体）要求智能体表现其模型（大脑）尚未学习的行为，或限制其已具备的能力。我们提出了CoEvo-RSI，这是一个通过智能体驱动的双向历史继承推进模型—外壳协同进化的RSI框架。该框架利用共享的进化档案和执行反馈，由元智能体协调外壳开发，包括历史设计的模型检查点选择或合并，以及在所选外壳下的后续适应，将继承的能力与不断演化的执行需求对齐，以减少脑—体不匹配。仅通过在自身拒绝采样轨迹上的监督微调（SFT），CoEvo-RSI使Qwen3.5-9B在多种垂直应用中与更大模型竞争，包括多智能体故障归因、角色感知文本到SQL转换以及智能家居指令执行。它在TraceElephant上超过了DeepSeek-V4-Pro（智能体准确率提升14.16），在HomeBench VM上超过GLM-5.3（成功率提升4.90），强调了脑—体对齐的必要性以及双向历史继承在推进智能体协同进化中的潜力。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文针对\*\*模型–支架协同进化（model–harness co-evolution）中的脑体不匹配（brain–body mismatch）问题\*\*展开研究。 ### 问题背景 在递归自我改进（RSI）智能体的协同进化范式中，智能体的“大脑”（语言模型参数）与“身体”（执行支架，包括提示词、工具接口、状态管理与控制流）被联合优化。然而，支架的进化与模型的适应往往并不同步，导致两者在能力与需求上出现错位。 ### 核心问题：脑体不匹配 论文将该问题形式化为：在协同进化的任意轮次 t 中，模型–支架对 (H_t, θ_t) 出现脑体不匹配，当且仅当满足以下任一条件： - \*\*需求发散\*\*：支架 H_t 要求的行为与模型 θ_t 已学习的行为产生偏离； - \*\*能力受限\*\*：支架 H_t 约束或未能充分利用模型 θ_t 已具备的能力。 ### 具体表现 1. \*\*接口不匹配（Interface Mismatch）\*\* 例如，模型输出 XML 格式的工具调用，而进化后的支架期望 JSON 格式，导致原本正确的调用被环境拒绝。 2. \*\*能力不匹配（Capability Mismatch）\*\* 例如，支架引入了主动上下文管理工具，但当前模型不熟悉其操作方式；反之，某个历史检查点已掌握相关能力，却未被重新利用。 ### 影响 这种不匹配使得正确意图在执行边界被拦截，造成“模型能思考但无法操作支架”或“支架有功能但模型不会用”的困境，进而限制协同进化的整体效能。 ### 解决方向 为缓解上述问题，论文提出了 \*\*CoEvo-RSI\*\* 框架，通过\*\*双向历史继承\*\*（bidirectional historical inheritance）机制，让支架编辑自主选择历史设计作为进化起点，同时让模型继承独立地选择或合并历史检查点，从而在进化过程中持续对齐“大脑”的能力与“身体”的执行需求。 Q2: 有哪些相关研究？ 论文在第2节将相关文献围绕\*\*优化目标\*\*（支架、模型、或两者联合）与\*\*历史组件复用\*\*两条主线组织，归纳为以下三个方向： --- ### 1. 递归支架改进（Recursive Harness Improvement） 该方向关注在\*\*模型参数固定\*\*的前提下，通过执行反馈或群体搜索优化外部执行系统。 | 类别 | 代表性工作 | 核心贡献 | |------|-----------|---------| | 早期手工设计 | ReAct、Reflexion、Voyager | 奠定“推理–行动”交错、跨轮次语言反馈、可复用技能库等机制基础 | | 接口设计 | Yang et al. (2024) | 揭示暴露给模型的操作接口如何显著影响其任务效能 | | 模块级进化 | Zhang et al. (2026g); Zhang et al. (2025a, 2026e); Pan et al. (2026b); Liu et al. (2026b); Lee et al. (2026b) | 分别针对上下文、记忆、规划、检索等模块进行迭代优化 | | 系统级搜索 | Lee et al. (2026a,c); Lin et al. (2026); Lou et al. (2026); Zhang et al. (2026d,f) | 将提示词、工具与控制流作为整体进行联合搜索 | | 档案与在线适应 | Meta-Harness (Lee et al., 2026c); AutoHarness (Lou et al., 2026); Liu et al. (2026c); Nie et al. (2026b); Pan et al. (2026a); Zhang et al. (2026h); Nie et al. (2026a); Luo et al. (2026b) | 引入档案保存设计多样性、执行历史与在线流式适应 | | 开放 ended 自我修改 | Darwin Gödel Machine (Zhang et al., 2025c) | 维护可自我修改的智能体档案，允许早期分支成为后期改进的垫脚石 | \*\*与本文关系\*\*：上述方法扩展了搜索目标并证明保留设计多样性与执行历史的必要性，但未将历史复用与对应的\*\*模型检查点档案\*\*显式关联。 --- ### 2. 递归模型改进（Recursive Model Improvement） 该方向关注将生成的执行经验转化为\*\*模型参数\*\*的持久化提升，主要包含三类学习循环： - \*\*课程学习（Curricula）\*\*：通过自博弈、工具导向任务生成或搜索代理训练，动态调整训练数据的来源与难度（Zhao et al., 2025; Acikgoz et al., 2026; Sundaram et al., 2026; Yang et al., 2026a,b; Yue et al., 2026）。 - \*\*监督蒸馏（Supervision）\*\*：将演示、特权反馈或模型自身改进后的行为转化为自蒸馏目标，其中同策略（on-policy）变体强调生成分布对学习效果的决定性作用（Zhao et al., 2026a; Shenfeld et al., 2026; Hübotter et al., 2026; Zhang et al., 2026b; Lu et al., 2026b）。 - \*\*经验复用（Experience Reuse）\*\*：从轨迹中提取可复用技能并将其迁移到模型行为中。例如 SkillRL 联合进化层次化技能库与代理策略（Xia et al., 2026; Zhang et al., 2026c; Lu et al., 2026c; Wu et al., 2026; Yang et al., 2026c）。 \*\*与本文关系\*\*：这些方法提升了智能体的内在能力，但未显式考虑\*\*执行支架的变化\*\*如何改变训练轨迹中的工具、观测与约束，从而可能在新支架下产生脑体不匹配。 --- ### 3. 模型–支架协同进化（Model–Harness Co-Evolution） 该方向同时适应策略与其执行环境，可细分为三条技术路线： | 路线 | 工作 | 特点 | |------|------|------| | (i) 上下文与权重耦合 | Lu et al. (2026a); Tiwari et al. (2026); Tu et al. (2026); Zhao et al. (2026b) | 通过提示优化、持续适应将上下文指导转化为模型参数 | | (ii) 可执行支架与策略联合 | HarnessForge (Chen et al., 2026b); Co-Harness (Chen et al., 2026d); WHALE (Kim et al., 2026); Chen et al. (2026c); Qi et al. (2026); Qu et al. (2026); Hebbar et al. (2026); Karten et al. (2026); Mao et al. (2026); TaoLive AIGC LLM Team et al. (2026); Yu et al. (2026b) | 交替进行支架修改与模型训练/对齐，但模型初始化通常绑定最新代或支架的父分支 | | (iii) 执行与编辑共享学习 | Luo et al. (2026a); Shi et al. (2026) | 允许策略参与自身支撑系统的进化过程 | \*\*与本文区别\*\*：现有协同进化方法普遍假设模型继承与支架亲缘线绑定（例如沿用当前检查点或父分支策略）。本文提出的 \*\*CoEvo-RSI\*\* 首次将\*\*双向历史继承\*\*显式化——支架编辑可独立选择历史设计作为起点，模型继承亦可独立选择或合并档案中的检查点——从而打破“最新代即最优”的隐含假设，直接以脑体对齐作为进化组织原则。 --- ### 附录：代表性协同进化框架的继承机制对比 论文附录D进一步对比了不同框架在历史结构与能力继承上的差异： | 方法 | 支架更新/继承 | 模型初始化 | 模型更新 | 历史检查点选择 | 历史检查点合并 | |------|--------------|-----------|---------|---------------|---------------| | HarnessForge | 父支架 + 档案设计样例 | 父分支策略 | LoRA SFT | 否 | 否 | | HarnessX | 当前支架编辑 + 变体分支 | 当前检查点 | 跨支架 GRPO | 否 | 否 | | Co-Harness | 当前支架的局部补丁 | 当前检查点 | SFT | 否 | 否 | | HASE | 持久化支架 + 阶段评审编辑 | 当前检查点 | GRPO | 否 | 否 | | WHALE | 档案程序搜索与复用 | 当前检查点 | 拒绝采样 SFT | 否 | 否 | | SafeEvolve | 版本化提示/技能更新 + 技能检索 | 当前策略；SFT 冷启动 | SFT + RL | 否 | 否 | | \*\*CoEvo-RSI\*\* | \*\*智能体选择的历史基与设计复用\*\* | \*\*智能体选择或合并的档案检查点\*\* | \*\*拒绝采样 SFT\*\* | \*\*是\*\* | \*\*是\*\* | Q3: 论文如何解决这个问题？ 论文通过提出 \*\*CoEvo-RSI\*\* 框架，以\*\*双向历史继承（bidirectional historical inheritance）\*\*为核心机制，系统性地缓解模型–支架协同进化中的脑体不匹配问题。其解决路径可分解为问题形式化、解耦的继承决策与闭环适应三个层面。 --- ### 1. 问题形式化与诊断信号 首先，论文将脑体不匹配严格形式化为：在协同进化轮次 t 中，模型–支架对 (H_t, θ_t) 出现不匹配，当且仅当支架要求的行为与模型已学习行为发散，或支架限制了模型已具备的能力。 为诊断其中可观测的\*\*接口不匹配（interface mismatch）\*\*，论文引入了\*\*轮次级接口不匹配率（Turn-level Interface Mismatch Rate, TIMR）\*\*：
TIMR(H, θ) = ∑(τ ∈ Z(H,θ)) ∑(u=1)^(n(lm))(τ) v(τ,u)∑(τ ∈ Z(H,θ)) n(lm)(τ)
其中 v(τ,u) ∈ 0,1 标识第 u 轮是否出现不可用工具调用、接口契约违反或格式错误输出。TIMR 作为轻量化的诊断信号，用于在进化过程中快速筛选接口兼容的候选对，而任务性能评估则负责捕获更广泛的能力对齐。 —- ### 2. CoEvo-RSI 框架概述 CoEvo-RSI 维护一个共享的**进化档案** A(<t) ，记录历史支架、模型检查点、开发谱系及执行结果。每一轮协同进化由固定参数的元智能体协调，包含两个解耦的继承步骤： **步骤一：支架继承（Harness Inheritance）**
(H(t,1:K), e_t) = Inheritφ^h(pt, A(<t), Ft)
基于当前对 p_t = (H_t, θ_t) 的执行反馈 F_t ，生成 K 个子代支架，并产出关联历史设计与执行结果的证据 e_t 。 **步骤二：模型继承（Model Inheritance）**
Q_t^(sel) = Inheritφ^m(H(t,1:K), A(<t), et)
为每个子代支架选择或合并历史模型检查点，构成候选模型–支架对集合 Q_t^(sel) 。 随后通过评估、适应与验证，选出进入下一轮的对 p(t+1) 。 —- ### 3. 支架侧继承：从档案中复用结构设计 支架继承解决“身体”如何演化以避免过度偏离模型可执行范围的问题，分为两个阶段： #### 3.1 证据整理（Evidence Curation） Curator 组件诊断当前对在验证集上的表现，生成分类反馈 Ft 。它通过检索策略 πφ^(ret) 浏览档案元数据，构建证据 et 与 K 个修改假设 b(t,1:K) ：
(et, b(t,1:K)) sim πφ^(cur)(· mid H_t, F_t, r_t^(cur); L(ctx))
证据将历史设计与其观测行为关联，为编辑者提供“何时复用”的决策依据。 #### 3.2 历史基选择（Historical Base Selection） K 个独立的 Harness Editor 各自接收假设 b_(t,k) ，在档案中浏览并自主选择历史支架作为进化起点：
i(t,k) sim πφ^(base)(· mid I(<t), r(t,k)^(edit)), quad H(t,k) = H(it,k)
编辑者基于选定基座开发子代支架：
(H(t,k), U(t,k)) sim πφ^(edit)(· mid H(t,k), r(t,k)^(edit), C)
其中 U(t,k) 记录被采用的历史设计贡献。该机制允许不同子代从**不同历史代际**继承结构，避免全部锁定在最新设计上。 —- ### 4. 模型侧继承：对齐能力到新兴支架需求 模型继承解决“大脑”如何初始化以适应新支架的执行要求，核心是把模型初始化视为**兼容性决策**而非默认沿用当前检查点。 #### 4.1 检查点选择或合并 设 M(<t) 为档案中检查点的索引， α = (αj)(j ∈ M_<t) 为权重。元智能体直接指定这些实值系数，决定评估多少个合并候选。当 α 为 one-hot 向量时，表示单检查点选择；多检查点合并则采用 TIES-Merging：
θ(α) = TIES(θj(j ∈ M<t); α)
TIES 通过修剪微小任务向量、解决符号冲突并合并符号一致的更新，降低多检查点合并的干扰。 #### 4.2 基于证据与 TIMR 的决策 在初步评估中，历史证据 e_t 与候选对在任务性能及 TIMR 上的反馈 O(t,k)^((q)) 共同指导权重提案：
α(t,k)^((q)) sim πφ^(∈herit)(· mid H(t,k), e_t, M(<t), O(t,k)^((q)))
验证集 V 最终确定最优候选对：
p_t = argmax(p ∈ Qt^(sel)) J_V(p)
该过程优先选择**在适应前已能初步操作新支架**的初始化，而非盲目继承最新代。 —- ### 5. 适应与推广：闭环巩固兼容性行为 选定对 p_t = (H_t, θ_t) 后，模型在训练集 D(tr) 上基于固定支架 H_t 生成轨迹，通过**拒绝采样**保留验证器接受的轨迹，进行监督微调（SFT）：
pt^+ = (H_t, θ_t^+)
推广阶段比较三个状态——原对 p_t 、继承对 p_t 、适应后对 p_t^+ ——在验证集上的性能：
p(t+1) = max(succ_prom) p_t, p_t, p_t^+
其中晋级规则要求候选对相对 p_t 的提升超过阈值 δ(prom) ，否则保留原对。所有结果（含失败修改）连同支架谱系与模型出处（检查点系数 α 、训练历史）一并写入档案 A(<t+1) ，供后续轮次复用。 —- ### 6. 关键创新总结 | 维度 | 传统协同进化 | CoEvo-RSI 的解决方案 | |———|——————-|——————————-| | 支架进化起点 | 通常基于当前代或单一父分支 | 多个编辑者独立选择档案中最适合的历史设计 | | 模型初始化 | 默认沿用最新检查点或父分支策略 | 独立选择或合并历史检查点，以 TIMR 和任务性能为兼容标准 | | 对齐机制 | 隐式、单向 | 显式、双向：支架结构继承与模型能力继承解耦，通过评估闭环对齐 | | 失败恢复 | 易因单一漂移路径陷入退化 | 档案积累允许跨代回退与重组（如 RBAC 实验中第10轮复用第3轮检查点） | 简言之，CoEvo-RSI 将脑体对齐确立为协同进化的组织原则，通过维护共享档案、解耦双向继承决策，以及利用 TIMR 与任务性能联合筛选，使“大脑”的能力演化与“身体”的结构需求在持续迭代中保持动态一致。 Q4: 论文做了哪些实验？ 论文在 4 个实验维度 上验证了 CoEvo-RSI 的有效性，涵盖三个不同领域的垂直应用。 —- ### 1. 实验设置（§4.1 & Appendix A） #### 评测基准 实验围绕三个对 harness 能力要求迥异的领域展开： | 领域 | 训练/验证数据 | 测试集（OOD） | 核心指标 | |———|———————|———————|————-| | 多智能体故障归因 | TracerTraj 等 3,400 条训练；200 条验证 | Who&When Hand (58)、Who&When Algo. (126)、Who&When Pro (1,750)、TraceElephant (219) | Agent Accuracy (AA/Who)、Step Accuracy (SA/When) | | 角色感知 Text-to-SQL | RBAC-Spider 训练集 8,000；验证 2,000 | Spider 测试集 (ID)、BIRD (OOD) | Safe-EX、AC-F1、Safe-Deny、Violation Rate | | 智能家居指令遵循 | HomeBench 训练 10,000；验证 2,000 | HomeBench VM/IM 多设备测试集 (342) | Success Rate、F1 | #### 对比基线（四大类） - 直接 LLM：DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、GLM-5.3、MiniMax-M3、Qwen3.8-Max - Harness 增强系统：CHIEF、FALAT、AgentScope、DCFA（故障归因）；OpenCode、mini-SWE-agent、Pi（Text-to-SQL） - 单侧面进化：Meta-Harness、Self-Harness（仅进化 harness）；GRPO、GSPO（仅在初始 harness 下训练模型） - 协同进化基线：HarnessForge #### 实现配置 - 任务模型：Qwen3.5-9B（thinking enabled） - 元智能体：DeepSeek-V4.1-Flash（high reasoning effort）via Codex - 进化轮次：10 轮，每轮 K=8 个 harness 候选 - 训练方式：仅 SFT（拒绝采样 + verifier-accepted 轨迹），不使用 RL —- ### 2. 主要结果（§4.2） #### (1) 故障归因（Failure Attribution） CoEvo-RSI 使 9B 模型在 OOD 测试上超越或逼近超大模型： - Who&When Hand：Who 准确率 68.39%（超越 FALAT + MiniMax-2.5 的 66.30%） - Who&When Pro：Who 准确率 69.43%（超越 Qwen3.8-Max 的 65.03%） - TraceElephant：Who 准确率 70.78%，较 DeepSeek-V4-Pro-0813（56.62%）提升 14.16 个百分点 单侧面进化（Self-Harness、Meta-Harness）及纯 RL 基线均显著落后，尤其在 When 指标上差距悬殊（如 TraceElephant 上 Self-Harness 仅 7.76% When acc.，而 CoEvo-RSI 为 28.92%）。 #### (2) 角色感知 Text-to-SQL（RBAC） - Spider 测试集：Safe-EX 80.85%、Safe-Deny 96.64%、Violation Rate 1.57%，均优于 Pi + MiniMax-M3 等强基线 - BIRD (OOD)：Safe-EX 60.15%，Safe-Deny 最高（91.26%），Violation Rate 最低（5.65%） - 10 轮进化中 Safe-EX 从 77.09% 提升至 80.85%，Violation Rate 相对降低 21.5% #### (3) 智能家居指令遵循（HomeBench） - VM（有效多设备指令）：成功率 75.51%、F1 89.23%，超越 DeepSeek-V4-Pro-0813（75.10% / 89.18%） - IM（无效指令）：成功率 84.54%（并列最优）、F1 91.80%（最优） —- ### 3. 消融实验（§4.3 & Figure 4） 在 Who&When Algo. 上运行 10 轮，对比完整 CoEvo-RSI 与三个变体： | 变体 | 设置 | 关键发现 | |———|———|————-| | Harness-only | 固定模型，仅进化 harness | TIMR 在 8/10 轮高于 1%，SA 全程低于完整方法；证明仅改 harness 会因脑体不匹配导致接口违规激增 | | Model-only | 固定初始 harness，仅 SFT 训练模型 | TIMR 接近 0%，但 SA 最高仅 35%；证明无 harness 进化时模型能力受限于固定执行环境 | | Latest-only | 协同进化，但模型始终继承最新代检查点 | 第 4 轮出现退化，最终 SA 最低；证明仅继承最新代无法恢复历史兼容能力 | | CoEvo-RSI（完整） | 双向历史继承 | TIMR 全程 le 0.22%，AA/SA 持续提升；第 6、8 轮通过复用第 4 轮模型权重实现恢复与突破 | 结论：双向历史继承与联合进化缺一不可。 —- ### 4. 框架分析（§4.4） #### (1) 鲁棒性与稳定性分析（Figure 6） 对每轮候选数 K ∈ 4,6,8,10 进行敏感性测试（3 轮运行）： - AA 维持在 45.11%–52.17%，SA 在 28.80%–37.50% - TIMR 始终 le 0.12% - 默认 K=8 的运行时间最短（17.48 小时），API 成本 2.72 #### (2) 成本分析（Figure 7 & Table 8） - 训练成本：10 轮共采样 74,639 条轨迹，训练 39,395 条（含 replay），低于单轮 GRPO/GSPO 的 81,600 条 - 推理成本-准确率权衡： - Who&When Hand：CoEvo-RSI 以 0.16 成本达到 68.39% Who acc.，较 DeepSeek-V4.1-Flash（ 3.55，60.34%）准确率 +8.05，成本低 22 倍 - RBAC Spider：较 Pi + MiniMax-M3 成本低 38 倍，Safe-EX 还高 0.59 个百分点 #### (3) 继承机制分析（Figure 8） 在 RBAC 运行中构建 Harness × Checkpoint 的 TIMR 矩阵（归一化）： - 随着档案增长，选中对的平均归一化 TIMR 从前 3 轮的约 0.72 降至后 5 轮的约 0.13 - 5 个轮次复用了已有权重（非新训练） - 第 10 轮复用了第 3 轮检查点：该检查点在第 4–9 轮 harness 下 TIMR 极高（0.54–1.00），但在第 10 轮 harness 下 TIMR 最低（0.02），并取得全轮最高 Safe-EX（80.85%） 该实证直接支撑核心论点：接口兼容性取决于具体的 harness–model 配对，而非越新越好，因此跨代历史继承至关重要。 Q5: 有什么可以进一步探索的点？ 基于论文的方法设计、实验范围与讨论，以下方向值得进一步探索： —- ### 1. 超越接口不匹配的脑体对齐诊断 论文提出的 TIMR 仅捕捉可观测的接口违规（工具调用格式错误、不可用工具访问等），并明确指出其不表征更广泛的能力不匹配（§3.1、§B）。未来工作可探索： - 开发能够检测隐式能力错配的诊断信号，例如模型对 harness 暴露的信息空间利用不足、或 harness 约束了模型已掌握的推理模式； - 结合轨迹层面的因果分析，区分“接口兼容但策略错误”与“接口不兼容导致的能力压抑”。 —- ### 2. 与强化学习的深度结合 CoEvo-RSI 目前仅依赖 SFT（拒绝采样轨迹上的监督微调）完成模型适应，未引入在线策略优化。未来可研究： - 在 harness 固定的适应阶段，用 on-policy RL（如 GRPO/GSPO）替代或增强 SFT，以进一步收紧模型行为与 harness 反馈的循环； - 探索 harness-conditioned RL，使奖励函数显式依赖当前 harness 的接口契约与执行约束。 —- ### 3. 跨领域迁移与通用性保持 论文将研究范围刻意限定为可负担的垂直领域特化（affordable domain specialization），并指出进化后的模型–支架对在无关领域上的性能不作保证（§4.2、§C）。下一步可探索： - 在多领域并行或序列进化中，设计防止灾难性遗忘的机制，使模型在特化过程中保留通用能力； - 验证 co-evolution 是否能在领域间迁移：将 A 领域进化出的 harness 设计模式或模型检查点作为 B 领域的热启动，检验历史继承的跨域价值。 —- ### 4. 更高效的继承与档案机制 当前框架依赖元智能体显式浏览档案并选择历史基座，随着进化轮次增加，档案规模与 API 检索成本随之增长（§4.4 显示 K=10 时 API 成本上升至 3.69）。未来可研究： - 语义化档案检索：利用嵌入空间对 harness 设计与检查点进行向量化索引（类似 HarnessBank 的思路），加速兼容配对搜索； - 自适应剪枝：识别并淘汰被后续代际严格支配的档案条目，在保持设计多样性的同时控制搜索空间； - 更精细的模型合并：在 TIES-Merging 基础上探索任务向量解耦或模块级合并，使继承能针对不同 harness 需求重组模型的局部能力。 —- ### 5. 在线与持续协同进化 论文中的进化以离线批量方式进行（10 轮固定流程）。相关文献已提出在线 harness 适应与测试时进化（Liu et al., 2026c; Nie et al., 2026b）。未来可扩展为： - 部署时 co-evolution：在真实用户请求流上持续收集反馈，动态微调 harness 与模型，而非仅在静态训练/验证集上迭代； - 终身协同进化：设计支持开放式任务流（open-ended task streams）的脑体对齐机制，使智能体在环境需求漂移时自动触发历史继承与重适应。 —- ### 6. 可解释性与人类可控性 随着进化档案增长，继承决策（为何选择第 3 轮而非第 9 轮的检查点）的透明度下降。可探索： - 为元智能体的 harness 选择与模型继承生成可解释的理由（如显式陈述“选择 H₃ 因其 JSON 契约与当前候选 harness 的解析器兼容”）； - 引入人类可编辑的对齐约束或契约规范，限制 harness 进化的接口语法空间，减少脑体不匹配的发生概率。 —- ### 7. 更大规模与更长程的进化验证 论文以 Qwen3.5-9B 为任务模型，在 10 轮内完成进化。未来可在以下设定下检验框架的扩展性： - 更大参数规模：验证双向历史继承在数十亿乃至数百亿参数模型上是否仍能带来与前沿模型竞争的效果； - 更长进化轨迹：进行数十轮乃至上百轮 co-evolution，观察脑体对齐收益是否饱和，以及档案积累是否会出现“进化停滞”或“谱系坍塌”。 Q6: 总结一下论文的主要内容 该论文针对模型–支架协同进化（model–harness co-evolution）中的脑体不匹配（brain–body mismatch）问题，提出了 CoEvo-RSI 框架，并通过多领域实验验证了双向历史继承机制的有效性。 —- ### 1. 研究背景与核心问题 智能体的能力由“大脑”（语言模型参数）和“身体”（执行支架，含提示词、工具接口、控制流等）共同决定。在协同进化范式中，两者本应联合适应任务域，但实践中常出现脑体不匹配： - 需求发散：支架进化后要求模型执行未学过的行为（如新的工具调用格式）； - 能力受限：支架未能充分利用模型已掌握的能力，或模型初始化与新兴支架不兼容。 论文将这一问题形式化为：在协同进化轮次 t 中，若支架 H_t 要求的行为与模型 θ_t 已学习的行为偏离，或 H_t 限制了 θ_t 的能力，则称对 (H_t, θ_t) 存在脑体不匹配。 —- ### 2. 方法：CoEvo-RSI 框架 为解决上述问题，论文提出 CoEvo-RSI（Co-Evolving Recursive Self-Improvement），其核心是双向历史继承： #### （1）进化档案（Evolutionary Archive） 维护一个共享档案 A(<t) ，记录历史支架设计、模型检查点、训练谱系及执行结果，为继承提供结构化证据。 #### （2）支架继承（Harness Inheritance） 每个进化轮次中， K 个独立的 harness editor 基于当前执行反馈，自主选择档案中最适合的历史设计作为进化起点，并复用其组件生成子代支架：
(H(t,1:K), e_t) = Inheritφ^h(pt, A(<t), F_t)
（3）模型继承（Model Inheritance） 针对每个子代支架，框架**独立地**从历史检查点中选择或合并（TIES-Merging）初始化参数，形成候选模型–支架对：
Qt^(sel) = Inheritφ^m(H(t,1:K), A(<t), e_t)
模型初始化不再默认绑定最新代，而是以接口兼容性与任务性能为联合标准。 #### （4）诊断信号：TIMR 引入**轮次级接口不匹配率（Turn-level Interface Mismatch Rate, TIMR）**：
TIMR(H, θ) = ∑(τ) ∑(u=1)^(n(lm))(τ) v(τ,u)∑(τ) n(lm)(τ)
用于在进化过程中快速、低成本地筛选接口兼容的候选对。 #### （5）适应与验证 选定候选对后，在固定支架下通过**拒绝采样**生成 verifier-accepted 轨迹，进行**监督微调（SFT）**。最终通过验证集性能决定是否推广至下一轮，确保脑体对齐的稳定性。 —- ### 3. 实验验证 论文在三个垂直应用领域对 Qwen3.5-9B 进行 10 轮协同进化，与多类基线对比： | 领域 | 关键结果 | |———|————-| | **多智能体故障归因** | Who&When Hand: Who 准确率 **68.39%**（超越 FALAT + MiniMax-2.5）；TraceElephant: Who 准确率 **70.78%**（超越 DeepSeek-V4-Pro **14.16 个百分点**） | | **角色感知 Text-to-SQL** | RBAC-Spider: Safe-EX **80.85%**、Violation Rate **1.57%**（优于 Pi + MiniMax-M3）；Safe-Deny 达 **96.64%** | | **智能家居指令遵循** | HomeBench VM: 成功率 **75.51%**（超越 DeepSeek-V4-Pro 的 75.10%）；IM: F1 **91.80%**（最优） | **消融实验**表明： - 仅进化支架（Harness-only）导致 TIMR 飙升、任务性能低下； - 仅训练模型（Model-only）因支架固定而性能受限； - 仅继承最新代（Latest-only）会出现退化，而双向历史继承可从档案中恢复兼容检查点（如 RBAC 实验中第 10 轮复用第 3 轮检查点取得最佳性能）。 **成本分析**显示：CoEvo-RSI 以远低于 frontier 模型的 API 成本（如 Who&When 评估成本低 **22 倍**）实现了可竞争的性能。 —- ### 4. 结论与贡献 论文的主要贡献包括： - **问题形式化**：首次系统定义了协同进化中的脑体不匹配问题，并提出 TIMR 作为可操作诊断指标； - **方法创新**：提出双向历史继承机制，将支架结构复用与模型能力继承解耦，使脑体对齐成为进化过程的组织原则； - **实证验证**：仅通过 SFT 即可使 9B 参数模型在多个专业领域超越或逼近前沿大模型，展示了 affordable domain specialization 的可行性。 研究启示在于：递归自我改进智能体的进化不应仅追求单方面的最优，而需通过档案化的历史继承与双向选择，持续对齐“大脑”的能力边界与“身体”的执行需求。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Jiaqi Su,Guibin Zhang,Jie-Jing Shao,Cong Pang,Tiankuo Yao,Ivor Tsang,Haiyan Yin,Shuicheng Yan
Categories:
PDF URL: https://arxiv.org/pdf/2610.25078.pdf
Arxiv URL: https://arxiv.org/abs/2610.25078
Arxiv ID: 2610.25078
CoolPaper URL: https://papers.cool/arxiv/2610.25078
Published: 2026-10-22T01:50:29.642Z
Updated: 2026-10-22T01:50:29.642Z
7. Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition
Abstract:In this report, we introduce Sage-A1.5, a 35B Mixture-of-Experts agentic model that builds on A1 to advance long-horizon problem solving through adaptive capability composition. Compared with A1, Sage-A1.5 learns not only to solve individual tasks, but also to organize work and revise its approach during execution. Sage-A1.5 highlights three improvements: agentic orchestration, verification, and open scientific discovery. First, agentic orchestration extends single-agent execution through task delegation and parallel collaboration among subagents with isolated contexts, enabling complex tasks to be decomposed and addressed concurrently and supporting efficient execution while reducing interference across concurrent subagents. Second, agentic verification strengthens long-horizon reliability through progress checking, evidence validation, and reflective strategy revision, allowing the agent to recognize unproductive search paths and pursue alternative approaches. Third, open scientific discovery extends agentic capabilities beyond answering predefined questions to conducting exploratory research, connecting scientific inquiry with interactive analysis and inspectable research artifacts. We showcase these capabilities through complicated agentic tasks and multidisciplinary scientific applications. Besides, we hope Sage-A1.5 provides the community with an accessible foundation for open scientific discovery, offering a practical path from long-horizon task execution to collaborative, verifiable, and inspectable scientific exploration.
中文摘要
摘要：在本报告中，我们介绍了 Sage-A1.5，这是一种 35B 混合专家（Mixture-of-Experts）自主模型，在 A1 的基础上，通过自适应能力组合推进长远问题解决。与 A1 相比，Sage-A1.5 不仅学习解决单个任务，还能够在执行过程中组织工作和调整方法。Sage-A1.5 突出了三方面的改进：自主协调、验证和开放科学发现。首先，自主协调通过任务委派和在隔离上下文中的子代理之间的并行协作扩展了单代理执行，能够将复杂任务分解并同时处理，并在支持高效执行的同时减少并行子代理之间的干扰。第二，自主验证通过进度检查、证据验证和策略反思修正增强了长远可靠性，使代理能够识别低效搜索路径并采用替代方法。第三，开放科学发现将自主能力扩展到回答预设问题之外，开展探索性研究，将科学探究与交互分析及可检查的研究资料相结合。我们通过复杂的自主任务和多学科科学应用展示了这些能力。此外，我们希望 Sage-A1.5 为社区提供一个便于开放科学发现的基础，提供从长远任务执行到协作、可验证且可检查的科学探索的实用路径。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决\*\*长程复杂任务执行中“能力覆盖”与“能力组织”不匹配\*\*的问题，具体可归纳为以下几个方面： --- ### 1. 单智能体串行执行的瓶颈 现有智能体模型（包括其前作 Agents-A1）在解决长程问题时，通常采用单智能体逐步推进的方式。这导致： - \*\*上下文膨胀\*\*：随着交互步数增加，历史信息不断累积，干扰后续决策； - \*\*探索效率低下\*\*：单一执行路径难以并行验证多种假设，容易陷入重复或无效的搜索； - \*\*错误级联\*\*：早期未经验证的假设会被当作后续推理的前提，造成错误累积。 ### 2. 复杂任务对动态组织与自我修正的需求 软件工程、机器学习优化与科学研究等任务往往要求智能体： - 管理并协调多个相关子任务； - 比较不同方案并在获得新证据后修订决策； - 在进度停滞时主动识别问题并调整策略。 论文指出，仅靠外部框架的固定规则（如硬编码的任务分解或验证流程）不足以应对上述需求，这些组织与反思能力应当成为\*\*模型自身习得的原生能力\*\*。 ### 3. 从封闭任务求解到开放科学探索的跃迁 现有模型多聚焦于回答预定义问题，而真实的科学研究是\*\*探索性、长程且迭代\*\*的，需要将科学 inquiry 与交互式分析、可检查的研究产物相结合。因此，亟需一种能够自主组织并行子任务、主动验证中间结论，并持续产出可审计研究 artifacts 的开放科学发现范式。 --- ### 核心解决思路 为应对上述挑战，论文提出 \*\*Sage-A1.5\*\*，一个 35B 的混合专家（MoE）智能体模型，通过两大机制实现“自适应能力组合”（Adaptive Agentic Execution）： | 机制 | 功能 | |------|------| | \*\*Agentic Orchestration\*\* | 将工作动态分解为并行子任务，委托给具有隔离上下文的子智能体执行，并整合其结果，支持探索式与构造式两种并行模式。 | | \*\*Agentic Verification\*\* | 在执行过程中自适应地识别停滞或关键节点，审查已有证据与假设，区分已确认事实与未验证推断，并据此调整后续行动方向。 | 最终，论文试图为社区提供一条\*\*从长程任务执行到协作、可验证、可检查的开放科学发现\*\*的可扩展技术路径。 Q2: 有哪些相关研究？ 与 Sage-A1.5 直接相关的研究工作可分为以下几个层面： --- ### 1. 智能体基础与本团队前置工作 - \*\*Agents-A1\*\* (Bai et al., 2026)：Sage-A1.5 的直接前作，提出通过扩展智能体交互长度（agent horizon）而非单纯增加模型参数量来提升长程任务性能，并建立了连接外部知识、工具调用、观测与验证反馈的知识–动作基础设施。 - \*\*Agents-K1 / Knowledge–Action Infrastructure\*\* (Cao et al., 2026)：支撑 A1 与 A1.5 训练轨迹收集的知识编排系统，用于构建平均长度达 45K tokens 的长程交互数据。 --- ### 2. 同期大规模语言模型与智能体 论文在相同基准上与以下近期模型进行了对比： - \*\*Kimi-K3\*\* (Kimi Team, 2026) - \*\*GLM-5.3\*\* (GLM-5-Team, 2026) - \*\*GPT-5.6-sol\*\* (OpenAI, 2026) - \*\*Ornith-1.5\*\* (Ornith Team, 2026) 此外，训练过程中使用的基座模型包括 \*\*Qwen3.5-35B-A3B\*\* 与 \*\*Qwen3.6-35B-A3B\*\*。 --- ### 3. 训练方法与优化技术 - \*\*PPO\*\* (Schulman et al., 2017)：近端策略优化，被用于 Windowed Interaction Reinforcement Learning (WIRL) 中的策略更新。 - \*\*On-Policy Distillation (OPD)\*\* (Lu & Thinking Machines Lab, 2025)：多教师在线策略蒸馏，用于 Sage-A1.5 统一后训练阶段的过程监督。 - \*\*Nemotron-Cascade 2\*\* (Yang et al., 2026)：结合级联 RL 与多领域在线策略蒸馏的后训练方法，为统一训练框架提供参考。 - \*\*AReaL\*\* (Fu et al., 2025)：大规模异步强化学习系统，用于语言推理。 - \*\*DAPO\*\* (Yu et al., 2025)：开源大模型强化学习系统，用于大规模 RL 训练。 - \*\*Recursive Task Evolution\*\* 与 \*\*LongBlocks\*\* (Ramos et al., 2026)：用于长上下文推理任务的递归演化与难度提升。 --- ### 4. 工程任务与数据集 - \*\*SWE-Bench 系列\*\*： - SWE-Bench Pro (Deng et al., 2025) 与 SWE-Bench Multilingual (Yang et al., 2025)：评估软件工程智能体解决真实仓库问题的能力。 - SWE-rebench-V2 (Badertdinov et al., 2026)：大规模多语言软件工程任务集。 - SWE-agent (Yang et al., 2024) 与 Mini-SWE-Agent：用于轨迹收集的轻量级智能体接口。 - SWEFactory (Guo et al., 2025)：自动化构建 issue 修复训练数据与评测基准。 - \*\*MLE-Bench\*\* (Chan et al., 2024) 与 \*\*MLE-Bench-Lite\*\*：评估自主机器学习工程。 - \*\*MLE-Dojo\*\* (Qiang et al., 2025)：交互式机器学习工程环境。 - \*\*SciCode\*\* (Tian et al., 2024)：由科学家策划的研究编码基准。 --- ### 5. 搜索、长程推理与通用智能体评测 - \*\*GAIA\*\* (Mialon et al., 2024)：评估真实世界助手问题，需要多步推理与浏览。 - \*\*BrowseComp\*\* (Wei et al., 2025)：针对需要持久、创造性浏览的困难信息检索任务。 - \*\*DeepResearch Bench II\*\* (Li et al., 2026)：通过专家报告评分标准评估深度研究报告生成。 - \*\*XBench-DS-2510\*\* (Chen et al., 2026)：面向专业场景的深度搜索评测。 - \*\*Agents' Last Exam (ALE)\*\* (Sun et al., 2026)：评估长程、具有经济价值的真实世界任务。 - \*\*IFBench\*\* (Pyatkin et al., 2025)：复杂组合指令遵循基准。 - \*\*AA-LCR\*\* (Artificial Analysis Team, 2025)：长上下文推理基准。 - \*\*PinchBench\*\* (PinchBench Contributors, 2026)：真实世界 AI 编码智能体基准。 - \*\*VitaBench\*\* (He et al., 2025)：通用交互式任务基准。 --- ### 6. 科学研究与领域专用基准 - \*\*FrontierScience-Olympiad (FS-O)\*\* 与 \*\*FrontierScience-Research (FS-R)\*\* (Wang et al., 2026)：分别覆盖 Olympiad 级别与 PhD 级别的多学科科学任务。 - \*\*HLE (Humanity's Last Exam)\*\* (AI Scale et al., 2026)：专家级学术问题基准。 - \*\*HiPhO\*\* (Yu et al., 2025)：高中物理奥林匹克基准。 - \*\*CMT-Benchmark\*\* (Pan et al., 2026)：凝聚态物理理论专家级问题。 - \*\*CritPt\*\* (Zhu et al., 2026)：前沿物理研究挑战，侧重可计算验证的科学推理。 - \*\*ChemCoTBench\*\* (Li et al., 2025)：化学推理与分子操作基准。 - \*\*MatTools\*\* (Liu et al., 2025)：材料科学工具使用基准。 - \*\*OmniDocBench\*\* (Ouyang et al., 2024)：PDF 文档解析基准。 --- ### 7. 科学智能体框架与工具 - \*\*ExoMind\*\* (Ye et al., 2026)：受延展心智启发的智能体系统，用于科学问题选择与能力预测，影响了 Sage-A1.5 的科学问题筛选流程。 - \*\*SeekBrain\*\* (Wu et al., 2026)：神经科学多智能体系统，Sage-A1.5 在其框架内复现了跨脑区解码分析。 - \*\*Psi4\*\* (Smith et al., 2020)：开源量子化学软件，在计算化学案例研究中被 Sage-A1.5 调用。 - \*\*Claude Code\*\*：在软件工程与真实世界任务中被用作交互式 harness 进行轨迹收集。 --- ### 8. 基础设施 - \*\*PolicyVisor (pVisor)\*\*：本团队开发的智能体原生沙箱框架，支持环境按需加载、内存卸载与恢复，用于支撑长程智能体训练的算力与状态管理。 Q3: 论文如何解决这个问题？ Sage-A1.5 通过\*\*自适应智能体执行（Adaptive Agentic Execution）\*\*框架解决长程复杂任务中的能力组织问题，核心在于将“如何组织与协调计算”本身作为显式的训练目标，而非仅扩展单任务技能。具体解决路径可分为以下五个层面： --- ### 一、Agentic Orchestration：从串行执行到并行能力组合 针对单智能体上下文膨胀与探索效率低下的问题，Sage-A1.5 将\*\*任务编排\*\*内化为模型原生能力，使其能够动态分解工作、委派并行子智能体并整合结果。 - \*\*两种互补的并行模式\*\* - \*\*探索式组合（Exploratory Composition）\*\*：对应逻辑析取 A lor B lor C ，主智能体指派多个子智能体从假设或方法的不同角度独立调查同一问题，再通过比较证据缩小调查范围。 - \*\*构造式组合（Constructive Composition）\*\*：对应逻辑合取 A land B land C ，将整体任务拆分为互补子问题并行求解，主智能体负责协调依赖关系并检查一致性与覆盖度。 - \*\*结构化委派与反馈协议\*\* 主智能体通过 \`spawn\_subagent\` 接口委派子任务，子智能体在\*\*隔离上下文\*\*中独立调用模型与工具。返回结果采用结构化 JSON 格式，包含答案、证据来源、自评估状态（\`ok\` / \`unknown\` / \`insufficient\_evidence\` 等）及未解决问题。主智能体据此识别冲突与信息缺口，动态规划后续步骤。 - \*\*训练数据构建\*\* 通过两种任务族训练该能力： 1. \*\*约束引导的长程搜索\*\*：将传统关系链扩展为以答案为中心的星形约束图（starlike tree），主智能体需并行调查多条约束分支以锁定目标实体。 2. \*\*多源研究综合\*\*：要求模型将宽泛研究目标拆分为互补的并行调研任务，评估多源发现的覆盖度与一致性，最终合成为连贯报告。 --- ### 二、Agentic Verification：内置的证据驱动的自我修正 为解决错误级联与无效搜索持续累积的问题，Sage-A1.5 将\*\*验证\*\*转化为模型自主触发的推理行为，无需外部在线监督或独立验证工具。 - \*\*自主验证机制\*\* 当进度停滞、重复搜索未获进展或到达关键中间结论时，模型主动执行以下审查： - 区分\*\*已确认事实\*\*与\*\*未验证假设\*\*； - 识别已证明无效的探索路径； - 提出具体的后续调查方向并调整行动策略。 - \*\*训练方式\*\* 构建包含\*\*中间反思点\*\*的完整研究轨迹：由执行模型进行实时搜索与阅读，监督模型在适当的停滞点插入验证指令。验证仅依赖当时可获得的证据，并明确产出事实核查与策略修订。训练前去除所有外部监督提示，将反思内容直接融入模型推理文本，使其学习“何时验证、验证什么、如何继续”。 - \*\*条件激活与上下文管理\*\* 训练时引入条件标记 \`Verification protocol:enabled\`，在推理时通过系统提示激活该能力。未来计划将验证点作为上下文压缩的自然边界，将已完成的探索段总结为阶段性记录，在保持推理连续性的同时控制长程开销。 --- ### 三、统一的后训练框架：融合结果导向与过程监督 Sage-A1.5 设计了跨领域、跨模式、跨 harness 的统一训练流程，将编排与验证能力与领域知识融合为单一策略。 - \*\*第一阶段：多领域监督微调（Multi-Domain SFT）\*\* 在兼容 harness（如 Claude Code、Codex 及内部 harness）下收集多领域演示数据，包含两类样本： - \*\*任务导向演示\*\*：建立具体领域的解题能力； - \*\*协议导向冷启动\*\*：建立工具使用、子智能体调度、消息路由等交互能力。 损失函数为 token 归一化的负对数似然：
ellθ(τ) = -(1) / (Nτ) ∑t m_t log πθ(y_t mid c_t)
- **第二阶段：统一结果—过程后训练（Unified Outcome–Process Post-Training）** 在学生策略生成的轨迹上，联合优化结果强化学习（RL）与多教师在线策略蒸馏（OPD）：
L(post)(x) = λ(out)(x) L(RL)(x) + λ(proc)(x) L(OPD)(x)
其中样本级权重根据交互特征与信号可用性动态选择三种监督模式： - **仅结果监督**：基于任务结果分数与格式/协议惩罚计算奖励 R(out)(x) = Vd(x) - P(fmt)(x) - P(proto)(x) ； - **仅过程监督**：通过反向 KL 散度 D(KL)(pt parallel p_t^T) 对齐教师 token 分布； - **混合监督**：在同一轨迹上同时利用结果奖励与教师 token 级反馈。 —- ### 四、领域专用的深度训练与数据工程 为使编排与验证能力落地于复杂实际任务，论文针对不同领域设计了专门的数据生产与训练机制： - **软件工程（SWE）与机器学习工程（MLE）** - 构建自动化的 Kaggle-MLE Factory 流水线，将历史竞赛转化为可执行任务； - 对 MLE 任务采用 **Windowed Interaction RL（WIRL）**，将连续交互按实验结果划分为执行窗口，以窗口级结果奖励进行异步策略优化； - SWE 任务采用双 harness（mini-swe-agent 与 Claude Code）收集轨迹，并实施严格的泄漏控制（移除 Git 历史中的参考修复、阻断外部网络）。 - **科学研究** 三阶段科学教师模型训练： 1. **能力引导的问题选择**：利用强模型的世界模型能力预测问题难度、任务类型与工具收益，筛选中高难度、研究导向的问题； 2. **研究工具框架优化**：配备 search / visit / code / scholar 四工具，引入隔离沙箱与工具结果重播机制保证可复现性； 3. **轨迹蒸馏与扩展多 epoch SFT**：对正确性、推理深度、工具调用成功率进行多维过滤，保留含成功恢复的失败轨迹，通过多 epoch 训练巩固长程科学交互。 - **长上下文推理** 采用**递归任务演化**：基于 10 个难度增强轴（搜索空间、证据非局部性、计算深度等），通过参考模型反馈递归修改问题，使难度增长指向证据组织与推理结构的改变，而非表面复杂度。 - **搜索与真实世界工作流** - 搜索任务构建开放-ended 研究问题，以基于标准的 LLM 评估过滤轨迹； - 针对 ALE-CLI 真实任务，从手工种子出发通过受控演化生成 1000+ 专业工作流环境，由独立构建、审查与评判智能体验证质量。 —- ### 五、Agent-Native 基础设施支持 长程任务需要保持大量中间状态与执行上下文，Sage-A1.5 基于 **PolicyVisor（pVisor）** 解决资源驻留问题： - **执行状态持久化**：工作空间保留代码、实验输出与工具调用历史，支持后续检查与回溯； - **内存卸载与恢复**：在模型等待响应期间暂停环境、卸载内存，恢复后保持原有工具与控制流，初步测试显示驻留内存降低约 80%； - **访问控制**：文件与网络操作对宿主可见，支持离线、本地及隐私敏感场景的全栈部署。 Q4: 论文做了哪些实验？ 论文围绕**基准评测**与**案例研究**两大维度展开实验，系统验证了 Sage-A1.5 在长程搜索、软件工程、机器学习工程、科学研究、通用智能体及真实世界工作流等任务上的性能，并通过多学科深度案例展示其开放科学发现潜力。 —- ### 一、基准评测实验（Section 3） #### 1. 评测设置（Section 3.1） 实验覆盖 **6 大类、超过 20 个基准**： | 类别 | 基准测试 | 说明 | |———|—————|———| | **长程搜索** | GAIA、BrowseComp、DeepResearch Bench II、XBench-DS-2510 | 评估多步信息检索、深度浏览与报告生成 | | **工程任务** | SWE-Bench Pro、SWE-Bench Multilingual、SciCode、MLE-Bench-Lite | 评估代码修复、多语言软件工程、科研编码与自动机器学习工程 | | **科学研究** | FS-O、FS-R、HLE w/ tools、HiPhO、CMT、CritPt | 覆盖 Olympiad/PhD 级别物理、化学、生物及专家学术问题 | | **通用能力** | AA-LCR、IFBench、ALE-CLI、PinchBench、VitaBench | 长上下文推理、指令遵循、真实世界经济价值任务、通用编码智能体 | | **科学智能体任务** | ChemCoTBench、MatTools、OmniDocBench | 化学推理、材料科学工具使用、文档解析 | #### 2. 主要结果与观察（Section 3.2） - **科学领域增强效果（Table 2）** Science-enhanced Teacher 在全部 6 个科学基准上超越 Qwen3.5-35B-A3B 基线。研究级任务提升尤为显著：FS-R 从 2.5 提升至 70.0，CMT 从 20.0 提升至 84.0，CritPt 从 0.9 提升至 25.7。 - **搜索领域增强效果（Table 3）** Search-enhanced Teacher 在 4 个搜索基准上全面超越基线，GAIA 从 59.8 提升至 96.1，BrowseComp 从 61.0 提升至 85.5，XBench-DS-2510 从 77.0 提升至 89.0。 - **Agentic Orchestration 消融（Table 4）** 在 BrowseComp 和 DeepResearch Bench II 上对比了开启/关闭编排的效果。对 Sage-A1.5，启用编排后 BrowseComp 从 81.7 提升至 82.8，DeepResearch Bench II 从 43.7 提升至 47.5；编排教师模型分别达到 81.6 和 53.6。 - **Agentic Verification 消融（Table 5）** 在 BrowseComp 上，Verify 教师在普通模式达 81.0，启用验证后提升至 85.5；且在配对比较中，验证模式反而使平均输出 token 降低 5.52%，交互轮次降低 3.15%，验证了减少无效探索的设计目标。 - **MLE 教师模型（Table 6）** MLE Teacher（SFT+RL）在 MLE-Bench-Lite 上奖牌率达 72.73%，较基线（37.88%）提升近一倍；金牌率从 22.73% 提升至 50.00%。 - **通用领域与总体排名** Sage-A1.5 在 ALE-CLI 上取得 19.0% 的严格通过率，为同规模（35B）模型最优；在 PinchBench 上以 90.0 分位列所有评测系统第一。 —- ### 二、开放科学发现案例研究（Section 4） #### 1. 基础能力展示（Section 4.1） - **Agentic Orchestration（图 7）** 完成了一项涉及全球 **50 个最多观看 YouTube 频道** 的大规模调研。主智能体将任务分 6 批并行委派给 51 个子智能体，调查频道身份、所有权及商业关系。案例中展示了子智能体对 StarPlus 所有权从 Sony Pictures Networks India 修正为 Disney Star / JioStar 的动态纠错，最终整合为结构化研究图谱。 - **Agentic Verification（图 8）** 在 BrowseComp 多跳问题（通过电影角色、婚姻史、家庭时间线推断演员首任妻子名字）中，模型在第 20 轮自主触发验证，识别出证据缺口与无效搜索，将策略从广泛匹配转向针对性验证电影作品与婚姻关系，最终输出正确答案（Madhumati）；而基线模型持续无效搜索并给出错误答案。 - **本地自动化部署（图 9）** 展示了 Sage-A1.5（35B/3B MoE）在 Ascend NPU、NVIDIA/AMD GPU、Apple Silicon 等异构硬件上的量化部署，通过 LM Studio、llama.cpp、MLX 等本地运行时完成代码执行、文件访问与文档检索的全本地智能体工作流。 #### 2. 科学信息整合与长程推理（Section 4.2） - **深度研究：Navier–Stokes 问题（图 10）** Sage-A1.5 针对 Navier–Stokes 问题的公开声明与研究进展，动态构建任务图、并行执行独立调研、迭代更新计划，最终生成一份 **8 章节、391 处引用、84 条参考文献、约 4.4 万汉字** 的深度研究报告（含中英双语版本）。 - **长程科学推理与自校正：量子光学任务 CritPt #19（图 11）** 针对级联光学参量放大器输出噪声与压缩极值推导，模型完成假设构建、文献检索、符号/数值验证。当发现解析解与数值计算最大偏差达 24.16 时，自主审计并修正数值校验代码中的复共轭错误，经 10 轮数值测试后将最大残差降至 3.55 × 10^(-15) ，并验证 3 个物理极限。 #### 3. 从科学协作到端到端自动研究（Section 4.3） - **真实世界专业工作流（图 12）** 在 10 个跨领域任务中验证端到端执行能力，包括： - **数字硬件**：PicoRV32 SoC 的逻辑综合、布局布线、时序收敛与比特流生成； - **空气动力学**：使用 SU2 评估无人机管道几何，修正配置序列化精度错误并重新仿真； - **应急响应**：制定容量、响应时间、覆盖范围与预算约束下的资源分配方案； - **网络安全**：DNS 渗出取证，恢复 326 B JSON 载荷； - **文档安全**：PDF 内容修订，确认 14/14 政策目标移除。 - **端到端自动研究（图 13）** 跨三个科学领域生成可审计的计算分析： - **能源经济学**：模拟 30 个非洲绿氢输送至欧洲站点的成本，插值得到与欧洲生产成本交叉的加权平均资本成本约为 7.3%； - **引力波分析**：对合成数据集的球谐模式误差进行量化， ell=8 相对于 ell=2 的中位误差放大 7.6 倍； - **原子材料**：分析六种金属表面的 O/OH 吸附能标度关系，线性拟合斜率分别为 0.637 与 0.676。 #### 4. 科学家对齐的科学问题求解（Section 4.4） - **神经科学（图 14）** 在 SeekBrain 多智能体框架内，对 IBL 小鼠决策数据集 201 个脑区的解码分数进行重分析。主成分分析显示 PC1 解释 63.2% 的标准化解码指标方差（5,000 次置换检验，经验 p ≈ 2.0 × 10^(-4) ），与 SeekBrain 论文报道的结果高度一致。 - **计算化学（图 15）** 执行科学家指定的量子化学工作流：使用 Psi4 研究吡啶取代基与 N-甲基乙酰胺（NMA）的结合。自主提出 5 种衍生物、生成 7 个单体与 11 个复合物构象，执行几何优化与 SAPT 能量分解；在约 12 小时内完成，估算人类研究者需约一周。报告揭示了 2-甲基吡啶的意外强结合及 3-羟基吡啶的两种结合模式。 - **凝聚态物理（图 16）** 对 Sc _2 Au _6 进行粉末 X 射线衍射晶体结构精修。采用 Planner-Executor-Reviewer 三角色协作，经 8 轮试验后将 R(wp) 从 88.3091% 降至 86.1092%，展示了基于诊断反馈的参数选择与独立验收门控机制。 - **电化学（图 17）** 对 40 条历史记录中的交流电 Friedel–Crafts 烷基化进行回溯重放。基于 5 批（每批 4 个条件）的产率反馈，迭代修正机理图假设，最终定位到最高产率条件（EXP-038，89%），并解释了 HFIP 溶剂与低频率的假设性作用。 - **计算生物学（图 18）** 迭代优化荧光斑点检测流水线：在 9 个显微数据集上，通过 U-Net 与 LoG fallback 混合策略，结合测试时增强、自适应阈值、背景扣除与加权损失等逐步改进，将 `aggregate_improvement` 从 -0.0469 提升至 0.1158。 —- ### 三、实验结论 上述实验表明，通过 **Agentic Orchestration** 与 **Agentic Verification** 的内生训练，Sage-A1.5 在保持 35B 参数规模的同时，在多个长程、开放-ended 的科学、工程与搜索任务上达到或超越更大规模（T 级）模型的性能，并能够在真实多学科场景中完成从假设生成、工具调用、错误恢复、结果验证到报告撰写的端到端自主研究。 Q5: 有什么可以进一步探索的点？ 基于论文中 “Limitation and Future Work” 及相关章节的讨论，可从以下方向进一步探索： —- ### 1. 基于验证点的上下文压缩与长程记忆管理 当前超长轨迹仍会累积沉重的上下文开销。论文提出可将 **Agentic Verification 的中间验证点** 作为自然边界，将已完成探索段压缩为简洁的阶段记录（stage record），仅保留关键证据、被拒绝的假设、未解决问题与当前任务状态。未来可探索： - 验证点触发的自动压缩策略，避免对早期历史的重复压缩； - 在维持推理连续性与证据完整性的前提下，控制更长程任务中的上下文膨胀。 —- ### 2. 编排能力向更广泛工程工作流的扩展 现有 Agentic Orchestration 的训练主要集中在 **搜索与研究综合** 任务上。后续工作可将其推广至更复杂的软件工程、硬件设计、ML 实验管道等场景，探索： - 动态依赖图下的子智能体调度（非独立批次，而是基于数据流或因果依赖的并行执行）； - 工程工作流中工具状态持久化与跨子智能体检查点共享机制。 —- ### 3. 降低统一后训练中的跨领域蒸馏损失 统一模型在联合后训练后，**未能完全保留每个领域教师模型的峰值性能**。未来可研究： - 更精细的多教师蒸馏权重分配策略，减少领域间干扰与教师不兼容性； - 领域自适应的路由或模块机制，在保持模型统一性的同时保护高成本领域（如科学计算、SWE）的专项能力； - 更高效的异步生成与有界陈旧性（bounded-staleness）部分轨迹更新，以容纳异构的交互时长。 —- ### 4. 从计算模拟迈向真实物理实验的闭环 当前科学展示仍局限于 **计算仿真与历史数据重放**，未涉及主动物理实验。下一步可探索： - 与科学家协作，将 Sage-A1.5 与实验室自动化设备（如机器人实验平台、测量仪器接口）对接； - 构建支持实时实验反馈的安全 harness，使模型能够提出假设、设计实验、执行操作并基于观测结果迭代修正； - 开发针对实验不确定性（如测量噪声、样本异质性）的专门验证与不确定性量化机制。 —- ### 5. 更轻量、更具可解释性的验证与编排决策 - **验证触发条件**：当前需通过系统提示中的条件标记 `Verification protocol:enabled` 显式激活，未来可探索完全内隐、基于任务特征与不确定性估计的自适应触发； - **可解释性**：增强子智能体结构化反馈与主智能体整合决策的可视化与审计能力，支持人类研究者对并行探索过程的理解与干预； - **资源效率**：结合 pVisor 的内存卸载与恢复机制，进一步优化异构硬件上的本地部署与长程任务资源调度。 Q6: 总结一下论文的主要内容 这篇论文介绍了 **Sage-A1.5**，一个 35B 参数的混合专家（MoE）智能体模型，旨在将智能体训练的焦点从扩展单一任务技能，转向**在长程执行中自适应地组织、协调与修正能力**。以下是论文的主要内容概括： —- ### 一、研究动机与核心问题 当前智能体模型（包括前作 Agents-A1）虽已在多步推理与工具使用上取得进展，但在面对软件工程、机器学习优化与科学研究等复杂任务时，仍面临三个根本瓶颈： - **单智能体串行执行的局限**：上下文随交互膨胀，探索效率低，且早期错误易级联至后续步骤； - **缺乏内生组织能力**：任务分解、并行协作与中途修正往往依赖外部框架的硬编码规则，而非模型自身的学习所得； - **封闭问答 vs. 开放探索**：现有系统多针对预定义问题求解，而真实科学研究需要长程、迭代、可检查的探索性研究。 论文提出，解决这些问题的关键不在于继续扩大模型参数量，而在于**将“如何组织执行”与“如何基于证据自我修正”显式地作为训练目标**。 —- ### 二、核心创新：Adaptive Agentic Execution Sage-A1.5 围绕两大原生能力展开设计，使模型在长程任务中能够像研究团队一样工作： #### 1. Agentic Orchestration（智能体编排） 模型自身决定**是否、如何、何时**将工作分解并委派给并行子智能体，并整合其返回结果。支持两种互补模式： - **探索式组合**（Exploratory Composition， A lor B lor C ）：多个子智能体从不同假设或角度独立调查同一问题，主智能体比较证据后缩小范围； - **构造式组合**（Constructive Composition， A land B land C ）：将任务拆分为互补子问题并行求解，主智能体协调依赖并检查一致性与覆盖度。 子智能体在**隔离上下文**中独立运行，返回包含自评估状态、证据来源与未解决问题的结构化反馈，主智能体据此动态调整后续计划。 #### 2. Agentic Verification（智能体验证） 模型在自身推理与工具使用过程中**自适应地识别**进度停滞、重复无效搜索或关键中间结论，主动执行验证： - 区分已确认事实与未验证假设； - 识别无效探索路径； - 提出具体修正方向并调整后续行动。 该能力通过训练含中间反思点的完整研究轨迹习得，无需外部在线监督或独立验证工具，并可通过系统提示中的条件标记 `Verification protocol:enabled` 激活。 —- ### 三、统一训练框架 论文构建了一个跨领域、跨模式、跨 harness 的统一后训练流程，将编排、验证与多种领域能力熔合为单一策略： - **Stage I：多领域监督微调（SFT）** 结合任务导向演示（建立解题能力）与协议导向冷启动样本（建立工具使用、子智能体调度等交互能力），在 Claude Code、Codex 等兼容 harness 上训练。 - **Stage II：统一结果—过程后训练（Unified Outcome–Process Post-Training）** 在学生生成轨迹上联合优化： - **结果强化学习（RL）**：基于任务结果、格式与协议违规惩罚计算奖励； - **多教师在线策略蒸馏（OPD）**：通过反向 KL 散度对齐领域教师的 token 分布； - **混合监督**：对同一样本同时施加结果奖励与教师过程反馈。 - **领域专用深度训练** - **MLE/SWE**：采用窗口化交互 RL（WIRL）、异步策略优化与严格的泄漏控制； - **科学研究**：三阶段 pipeline（能力引导的问题选择 → 研究 harness 优化 → 轨迹蒸馏与多 epoch SFT）； - **长上下文推理**：基于 10 个难度轴的递归任务演化，通过参考模型反馈持续增加问题难度； - **搜索与真实世界工作流**：构建开放-ended 研究问题与受控演化的专业工作流环境。 —- ### 四、实验与基准评测 Sage-A1.5 在 6 大类、20 余项基准上进行了评测，主要结果包括： - **与 T 级模型竞争**：尽管仅有 35B 参数，Sage-A1.5 在 SWE-Bench Pro、BrowseComp、FrontierScience-Olympiad、CMT、PinchBench、IFBench 等基准上**超越或匹敌** Kimi-K3、GLM-5.3、GPT-5.6-sol 等更大规模模型； - **科学领域**：Science-enhanced Teacher 在 FS-R、CMT、CritPt 等研究级任务上较基线提升数十个百分点； - **搜索领域**：Search-enhanced Teacher 在 GAIA 上达 96.1，BrowseComp 上达 85.5； - **消融实验**：启用 Agentic Orchestration 后，BrowseComp 与 DeepResearch Bench II 均有提升；启用 Agentic Verification 后，BrowseComp 准确率从 81.0 升至 85.5，同时平均 token 消耗与交互轮次反而下降； - **MLE 工程**：MLE Teacher 奖牌率达 72.73%，金牌率 50.00%，较基线翻倍。 —- ### 五、开放科学发现案例研究 论文通过大量跨学科案例展示 Sage-A1.5 在真实场景中的端到端能力： - **基础能力**：完成 50 个 YouTube 频道的并行研究图谱构建（涉及 51 个子智能体），自主验证并修正所有权归属错误；在 BrowseComp 多跳问题中自主触发验证、纠正搜索策略；支持在 Ascend NPU、NVIDIA/AMD GPU、Apple Silicon 上的本地化全栈部署。 - **深度研究**：生成关于 Navier–Stokes 问题的 8 章节、4.4 万字深度报告（391 处引用）；在量子光学任务（CritPt）中发现并修正数值验证代码错误，将残差降至 3.55 × 10^(-15) 。 - **真实世界工作流**：完成 FPGA 逻辑综合与时序收敛、UAV 管道流体力学仿真、应急响应资源优化、DNS 渗出取证、SEC 财务数据仓库等 10 项专业任务。 - **端到端自动研究**：开展绿氢经济成本分析、引力波模式误差量化、材料表面吸附能标度关系计算，产出代码、可视化结果与结构化报告。 - **科学家对齐研究**：在 SeekBrain 框架内复现小鼠脑区解码分析；执行 Psi4 量子化学工作流研究吡啶衍生物结合；完成 Sc _2 Au _6 粉末 X 射线衍射结构精修；回溯电化学历史实验优化机理假设；迭代优化荧光斑点检测流水线。 —- ### 六、局限与未来工作 - **编排与验证的训练范围**：当前仍偏重搜索与研究综合，需向更广泛的工程工作流扩展； - **上下文开销**：超长轨迹的上下文累积问题有待通过验证点驱动的阶段性压缩来解决； - **统一训练的性能折损**：联合后训练后，模型未能完全保留各领域教师的峰值性能； - **物理实验闭环**：现有科学展示限于计算模拟与历史数据重放，未来需连接真实实验平台，实现假设—设计—执行—观测的完整闭环。 综上，Sage-A1.5 提供了一条**从长程任务执行到协作、可验证、可检查的开放科学发现**的实用路径，展示了中等规模模型通过原生能力组合与统一训练，在复杂智能体任务上达到前沿性能的可能性。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Wenjie Lou,Tianshuo Peng,Shiyang Feng,Shengji Tang,Runmin Ma,Ruizhe Chen,Jinxin Shi,Haoyang Peng,Fangchen Yu,Zhijie Zhong,Yuhao Zhou,Yue Fan,Yixin Chen,Yiming Wu,Yiheng Wang,Yigeng Jiang,Yichen Jiang,Yi Xie,Xu Guo,Xiaohan He,Tao Hu,Songtao Huang,Siyu Zhou,Shuaiyu Zhang,Shangheng Du,Qinglong Cao,Kun Li,Jingqi Ye,Hongbin Zhou,Guohang Yan,Zongsheng Cao,Ziyi Wang,Zhuo Liu,Zhiyin Yu,Zhiwang Zhou,Zelin Tan,Yuqing Zhu,Yaoze Zhang,Yang Chen,Xuming He,Xiuliang Liang,Xingjian Guo,Xiang Zhuang,Weiping Shen,Weida Wang,Tianyuan Zhou,Tianlin Ye,Tengyuan Fan,Siyu Yan,Shuo Li,Shuchen Pu,Shengyuan Xu,Shao Zhang,Ran Wei,Qinyuan Qin,Qingyu Yang,Nianchen Deng,Meng Dai,Kuikun Liu,Kaitao Chen,Juncheng Xiao,Jiangning Liu,Jianbiao Mei,Jia Yu,Haonan He,Hangfan Zhang,Cheng Yang,Chen Zhang,Bihao Zhan,Benteng Cheng,Yuqiang Li,Yihao Liu,Yang Yang,Xujun Fu,Xiaosong Wang,Xiangyu Yue,Wenwei Zhang,Shuyue Hu,Pinlong Cai,Mianxin Liu,Lei Bai,Jie Zhou,Jie Hou,Jiamin Wu,Hui Wang,Haijun Li,Guangyu Wang,Dongzhan Zhou,Chunfeng Song,Chao Yang,Biqing Qi,Xing Xie,Dahua Lin,Bowen Zhou,Xiangchao Yan,Wenlong Zhang,Shufei Zhang,Peng Ye,Bo Zhang
Categories:
PDF URL: https://arxiv.org/pdf/2610.28578.pdf
Arxiv URL: https://arxiv.org/abs/2610.28578
Arxiv ID: 2610.28578
CoolPaper URL: https://papers.cool/arxiv/2610.28578
Published: 2026-10-22T01:50:29.941Z
Updated: 2026-10-22T01:50:29.941Z
8. VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
Abstract:Flow-matching vision-language-action (VLA) models generate an action chunk by iteratively denoising Gaussian noise, but typically execute only a short prefix before replanning with updated observations. Under this receding-horizon paradigm, the unexecuted remainder—-the action tail—-is discarded, and the next chunk is regenerated from fresh noise. We show that this discarded tail retains transferable denoising progress: action-tail initialization can match or outperform a native 10-step Gaussian baseline using fewer denoising steps. However, the optimal denoising budget varies substantially across samples, indicating that tail reuse should be adapted to the updated environment. Based on this observation, we introduce VLA-Rolling, a lightweight inference framework that reuses action tails through three stages: action-tail inheritance, per-action confidence estimation, and confidence-guided refinement through renoising and denoising budget allocation, while the underlying VLA remains frozen. Across $\pi_{0.5}$, SmolVLA, X-VLA, and MolmoAct2 on LIBERO, MetaWorld, LIBERO-Plus, and RoboTwin 2.0, VLA-Rolling reduces action-chunk inference cost in all 16 model—benchmark pairs, achieving up to a $1.48\times$ speedup, while improving success rate in 14 pairs by up to $15.08$ percentage points. These results show that action tails are not merely discarded predictions, but reusable intermediate states that enable more efficient and accurate VLA inference. These results demonstrate that the action tail can support the generation of better actions with fewer denoising steps. Our project is available at this https URL.
中文摘要
摘要：流匹配视觉-语言-动作（VLA）模型通过迭代去噪高斯噪声生成动作块，但通常只执行一个短前缀，然后用更新的观测值重新规划。在这种后退视界范式下，未执行的剩余部分—-动作尾部—-被丢弃，下一块由新噪声重新生成。我们证明了该丢弃尾部保留可转移的去噪进展：动作尾部初始化可以用更少的去噪步数匹配甚至超过原生10步高斯基线。然而，最佳去噪预算在不同样本间差异显著，表明尾部重用应适应更新后的环境。基于这一观察，我们引入了VLA-Rolling，一种轻量级推理框架，通过三个阶段重用动作尾部：动作尾部继承、每动作置信度估计，以及通过重噪和去噪定预算分配实现置信导导细化，同时底层VLA保持冻结。在LIBERO、MetaWorld、LIBERO-Plus和RoboTwin 2.0上的$\pi_VLA、X-VLA和MolmoAct2中，VLA-滚动降低了所有16个模型-基准对的动作块推断成本，实现了最高1.48倍倍的加速，同时在14对中提高了最高15.08%个百分点的成功率。这些结果表明，动作尾巴不仅仅是被丢弃的预测，而是可重用的中间状态，能够实现更高效、更准确的VLA推断。这些结果表明，动作尾部可以支持以更少去噪步骤生成更优动作。我们的项目可在 https URL 访问。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.25043 (HTTP 429)
Authors: Sicheng He,Yi Pan,Qiuting Yu,Jiaming Huang,Qi Lu,Shuyan Wu,Hongyan Feng,Xuanyu Liu,Jun Zhang,Jie Zhang,Wenqi Zhang,Xuhong Zhang,Jianwei Yin
Categories:
PDF URL: https://arxiv.org/pdf/2610.25043.pdf
Arxiv URL: https://arxiv.org/abs/2610.25043
Arxiv ID: 2610.25043
CoolPaper URL: https://papers.cool/arxiv/2610.25043
Published: 2026-10-22T01:50:32.312Z
Updated: 2026-10-22T01:50:32.312Z
9. SolarRenderer: Few-Step Generative Reference Rendering
Abstract:Game engines and coding agents can specify the layout, motion, and camera of a scene, yet turning such coarse structure into realistic video requires a renderer that follows the structure and completes the appearance it leaves open. Existing renderers are tied to the representation of one engine, need tens of denoising steps or a costly distillation of their own, and learn from conditions that are not aligned with their target videos. We present SolarRenderer, a structure-conditioned video renderer that adapts a frozen MiniMax-H3 33B backbone with two lightweight LoRAs. Structural videos enter the native reference pathway of the backbone at the positions of the frames they describe, without a type identifier and described only in plain text, so that a single control LoRA follows arbitrary structural representations. Starting from a pretrained four-step LoRA, structure-guided distribution matching renders in four steps, 12.3 times faster than 50-step sampling, while preserving the learned control. A block-causal variant extends the same design to streaming and renders 768p video in real time. To train the model, we build a frame-aligned corpus of 136K clips from game engines, simulators, and YouTube videos. Experiments on an in-distribution test set and a generalization benchmark of 16 structural representations show that SolarRenderer achieves state-of-the-art results across both, and generalizes to 11 unseen representations, including pose skeletons, drawings, and point clouds.
中文摘要
摘要：游戏引擎和编码代理可以指定场景的布局、运动和摄像机，但将这种粗略结构转化为逼真视频需要一个遵循结构并完成其未覆盖外观的渲染器。现有的渲染器绑定于某个引擎的表示，需要数十步去噪或自身高成本的蒸馏，并且从与目标视频不一致的条件中学习。我们提出了 SolarRenderer，一种结构条件视频渲染器，它通过两个轻量级 LoRA 调整冻结的 MiniMax-H3 33B 主干。结构化视频在所描述帧的位置进入主干的原生参考路径，无需类型标识，仅以纯文本描述，从而单一控制 LoRA 可遵循任意结构表示。从预训练的四步 LoRA 开始，结构引导的分布匹配在四步内完成渲染，比 50 步采样快 12.3 倍，同时保留了学习到的控制。块因果变体将相同设计扩展到流式渲染，并可实时渲染 768p 视频。为训练模型，我们构建了一个对齐帧的语料库，包含来自游戏引擎、模拟器和 YouTube 视频的 13.6 万个片段。在一个同分布测试集和 16 种结构表示的泛化基准上的实验表明，SolarRenderer 在两者上都实现了最先进的效果，并能够泛化到 11 种未见过的表示，包括姿态骨架、绘图和点云。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28630 (HTTP 429)
Authors: Guian Fang,Shengju Qian,Dongyue Lu,Junchao Huang,Lutao Jiang,Xin Wang,Yiren Song,Li Jiang,Mike Zheng Shou
Categories:
PDF URL: https://arxiv.org/pdf/2610.28630.pdf
Arxiv URL: https://arxiv.org/abs/2610.28630
Arxiv ID: 2610.28630
CoolPaper URL: https://papers.cool/arxiv/2610.28630
Published: 2026-10-22T01:50:34.513Z
Updated: 2026-10-22T01:50:34.513Z
10. Learning the 4D World through Point Trajectory Forecasting
Abstract:Reliable multi-view forecasting requires videos from different cameras to describe the same evolving 3D scene. To this end, we introduce Video-Point Model (VPM), a world model that conditions on multi-view video histories and a language instruction to jointly forecast future videos from arbitrary viewpoints and the 3D trajectories of persistent scene points. We extend a pretrained world model with camera-conditioned multi-view processing that integrates complementary observations across cameras, and add a trajectory head that predicts how physical points move through time. Each trajectory tracks a single point across all views, and supervising these trajectories alongside video generation therefore anchors appearance changes in every camera to a shared description of 3D motion. To support training and evaluation, we build VPM-Data, a simulation corpus pairing synchronized multi-view videos with persistent point trajectories, and VP-WorldBench, a forecasting benchmark spanning simulated and real environments. We further extend VPM to robot control by adding robot actions as a token modality in the generator. Action tokens share the point-supervised backbone and are denoised jointly with future videos, thereby grounding the policy in the same 3D-aware representation. On VP-WorldBench and existing 4D generation benchmarks, point supervision improves both video fidelity and 3D motion accuracy over a video-only counterpart, and in simulated and real-robot experiments, it also raises the manipulation success of the action-enabled model.
中文摘要
摘要：可靠的多视角预测需要来自不同摄像机的视频来描述同一不断变化的三维场景。为此，我们引入了视频-点模型（VPM），这是一种世界模型，它以多视角视频历史和语言指令为条件，联合预测来自任意视角的未来视频以及场景中持久点的三维轨迹。我们扩展了一个预训练的世界模型，加入了摄像机条件的多视角处理，以整合来自不同摄像机的互补观测，并添加了轨迹头以预测物理点随时间的运动。每条轨迹在所有视角中跟踪单个点，因此在视频生成的同时对这些轨迹进行监督，可以将每个摄像机中的外观变化与共享的三维运动描述联系起来。为了支持训练和评估，我们构建了VPM-Data，这是一个将同步多视角视频与持久点轨迹配对的模拟语料库，以及VP-WorldBench，这是一个涵盖模拟和真实环境的预测基准。我们进一步将VPM扩展到机器人控制，通过在生成器中将机器人动作作为一种令牌模态。动作令牌共享点监督的主干网络，并与未来视频一同去噪，从而将策略扎根于同样具备三维感知的表示。在VP-WorldBench和现有的四维生成基准上，点监督在视频质量和三维运动精度上均优于仅视频的对照模型，在模拟和真实机器人实验中，它还提高了具备动作能力模型的操作成功率。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决**现有视频世界模型在预测未来时缺乏连贯3D运动理解**的问题，特别是在**多视角视频生成**和**机器人控制**场景下。具体而言，论文针对以下核心挑战： ### 1. 视觉合理性与3D运动一致性的脱节 现有世界模型主要通过生成未来视频来预测场景演化，但仅凭视觉上的合理性无法保证所预测的内容对应于物理上连贯的3D运动。不同视角生成的未来帧可能彼此矛盾，缺乏共同的3D场景演化描述。 ### 2. 多视角观测的整合与跨视角一致性 多视角历史观测蕴含了更丰富的场景结构和动态信息，但模型必须将来自不同相机的互补观察整合到对同一3D场景的共同预测中。预测结果应满足： - 任意请求视角的未来视频描绘**同一物理事件**； - 即使存在视角差异、遮挡或相机运动，生成内容仍保持几何一致。 ### 3. 时序范围外的对应关系预测 与常规跟踪任务不同，该模型需要**预测超出观察历史**的未来点轨迹，即在无法访问未来帧的情况下，推断物理点将如何运动及如何在不同视角间保持对应。 ### 4. 机器人控制中的动作-视觉表征 grounding 在机器人交互场景中，世界模型不仅需要预测视频，还需预测动作。论文进一步探究：显式学习3D点运动是否能为机器人动作学习提供更有效的3D感知表征，从而提升操作策略的物理可执行性。 --- ### 核心解决思路 为应对上述问题，论文提出了 **Video-Point Model (VPM)**，其核心范式是**联合预测未来多视角视频与持久3D点轨迹**： - **持久3D点轨迹**：每条轨迹追踪同一物理点在时间和所有视角中的3D位置，提供了一个跨视角共享的、显式的3D运动描述； - **联合监督**：通过在视频生成的同时监督点轨迹，将每个视角中的外观变化锚定到同一组可识别的物理点上，从而强制模型学习“场景点将如何移动”； - **动作扩展**：在机器人控制变体中，将动作作为额外的token模态与视频和轨迹联合去噪，使动作预测共享经点监督训练得到的3D感知表征。 此外，为支撑训练与评估，论文构建了配对多视角视频与持久3D轨迹的仿真数据集 **VPM-Data**，以及覆盖仿真与真实场景的基准测试 **VP-WorldBench**。 Q2: 有哪些相关研究？ 根据论文第2节及相关论述，该研究涉及的相关工作可分为以下三个方向： ### 1. 几何与运动感知的视频预测（Geometry- and Motion-Aware Video Prediction） - **特征监督与对齐方法**：现有研究通过辅助目标改进视频生成，包括利用2D点跟踪（如Jeong et al., 2025; Lee et al., 2026a）或光流（Chefer et al., 2025）监督内部特征，以及通过与视频和3D基础模型对齐（Zhang et al., 2025; Wu et al., 2026; Han et al., 2026）来增强表征。 - **多视角4D生成方法**：SV4D（Xie et al., 2025）合成观察视频的新视角；Geometry-aware 4D Video Generation（Liu et al., 2026）联合预测RGB和点云图（pointmaps）；X-WAM（Guo et al., 2026）将动作引入多视角RGB-D预测；GEM-4D（Zhou et al., 2026b）、MECo-WAM（Zhang et al., 2026c）和4D-WAM（Yang et al., 2026）则将几何或轨迹场蒸馏到视频及视频-动作表征中。 - **与VPM的关系**：上述方法多采用单视角或逐帧几何目标，而VPM提出的**持久3D轨迹**在跨视角和跨时间维度上保持了点的身份一致性。最接近的工作是MVTrack4Gen（Lee et al., 2026b），其利用多视角点跟踪监督新视角生成；VPM在此基础上进一步预测未来帧（而非仅观察帧）、将监督从2D提升至度量3D空间，并扩展至机器人动作学习。 ### 2. 视频世界模型与动作学习（Video World Models and Action Learning） - **视频基础模型**：HunyuanVideo1.5（Wu et al., 2025）和Wan2.2-TI2V-5B（Team et al., 2025）等提供了用于视觉预测的预训练表征。 - **世界-动作联合模型**：VideoVLA（Shen et al., 2026）和Cosmos 3（Agarwal et al., 2026）联合预测未来观测与机器人动作；SpatialVAM（Li et al., 2026b）将多视角RGB预测与空间动作热图相结合。 - **VPM的差异化**：不同于上述方法，VPM通过**未来3D点运动**显式监督多视角视频预测，并系统检验了这种几何监督对机器人动作学习的迁移效益。 ### 3. 3D运动预测与基准（3D Motion Forecasting and Benchmarks） - **3D点跟踪**：传统点跟踪器（如Karaev et al., 2025）估计观察视频内的对应关系；TAPIP3D（Zhang et al., 2026a）和MVTracker（Rajiˇc et al., 2025）进一步将跟踪扩展至基于单目和多目输入的3D空间。 - **未来运动预测**：MotionForesight（Bharadhwaj & Jangir, 2026）和MolmoMotion（Zhang et al., 2026b）致力于预测超出观察帧的未来运动，后者同时支持视频生成与机器人学习。 - **基准数据集**：TAPVidMV（Koppula et al., 2026）提供多视角跟踪注释；PointMotionBench（Zhang et al., 2026b）专注于语言条件下的运动预测评估。 - **VPM的扩展**：VPM-Data和VP-WorldBench补充了现有资源，提供了**配对未来外观与几何运动**的联合监督数据，支持对视觉预测和3D点运动预测的统一评估。 Q3: 论文如何解决这个问题？ 该论文通过提出 **Video-Point Model (VPM)** 解决上述问题，其核心在于将**未来视频预测**与**持久3D点轨迹预测**进行联合学习，使模型在生成视觉内容的同时必须显式推断物理点的运动。具体方法如下： --- ### 1. 问题形式化 给定输入相机集合 V_(∈) 和输出相机集合 V_(out) 。对于相机 v 在时刻 τ ，观测帧为 O_τ^v ∈ R^(H × W × 3) ，内参为 K_v ，相机到世界坐标系的位姿为 T_τ^v ∈ SE(3) 。模型接收： - 观察到的多视角历史视频 O_(t-h'+1:t)^v_(v ∈ V_∈) - 观察与未来视角的相机参数 - 语言指令 ell 任务为预测未来 h 帧的任意视角视频，以及从观察帧中选出的 N 个查询点的未来3D轨迹。每个查询点 n 由历史中的 (t_n, v_n, u_n) 指定，其持久3D位置记为 P_(τ,n) ∈ R^3 。所有轨迹表达于由参考相机 v_(ref) 在首帧 t_0 = t-h'+1 定义的固定参考系中。 --- ### 2. 基础架构：Mixture-of-Transformers VPM 基于 Cosmos 3 的 Mixture-of-Transformers 骨干，包含独立的 **Reasoner** 与 **Generator** 两塔，分别由预训练视觉-语言模型初始化，并通过联合注意力交互。 - **Reasoner**：以因果注意力处理指令 token。 - **Generator**：在预测配置中，其 token 可同时关注自身序列与 Reasoner 序列。 Generator 采用 **Rectified Flow Matching** 进行训练。给定干净的未来视频 token x_0 与高斯噪声 ε ，构造噪声样本 x_σ = (1-σ)x_0 + σε ，其中噪声水平 $σ ∈
0,1
。去噪器 vθ 预测 ε - x_0 ，条件于噪声水平与上下文 c$（包含观察历史及条件信息）：
L(FM) = E(x_0,c,ε,σ) [ |vθ(x_σ, σ, c) - (ε - x_0)|_2^2 ]
—- ### 3. 相机条件化的多视角预测 为整合跨相机信息并区分相机几何与视角身份，VPM 将所有视角的视频 token 打包至共享时序网格的单一序列中，并引入以下相机条件机制： #### 3.1 相机嵌入（Plücker Ray） 对每个视频 token i ，根据其图像区域对应的内参与位姿，在固定参考系中计算 Plücker 射线 r_i = (d_i, o_i × d_i) ，其中 o_i 为射线原点， d_i 为单位方向。经轻量编码器得到嵌入 e_i = φ(r_i) ，通过以下方式作用于骨干：
h_i arrow h_i + W e_i
qi arrow R(psi(e_i)) q_i, quad k_i arrow R(psi(e_i)) k_i
其中 W 为可学习投影， R(·) 施加由 psi 预测的每头旋转相位，使注意力依赖于 token 关联的相机几何。 #### 3.2 四维旋转位置编码（4D RoPE） 标准3D RoPE 无法区分共享相同时空坐标但来自不同相机的 token。VPM 增加第四维视角轴，令 p(view),i = v （相机 v 的标识），旋转相位为：
θ(i,k) = p(t,i)ωt^k + p(h,i)ωh^k + p(w,i)ωw^k + p(view),iω(view)^k
其中 ω_t, ω_h, ω_w 为预训练频率， ω(view) 为可学习频率。初始化时将视角频率设为零，以恢复原始3D位置编码。 —- ### 4. 联合视频与轨迹学习 VPM 通过两种机制将点运动监督与视频生成耦合：轨迹预测头从中间生成特征推断点位置；对应关系目标直接监督用于轨迹推断的注意力特征。 #### 4.1 轨迹预测头 该头作用于 Generator 某中间自注意力层的 query/key 特征，将其重塑为各视角的隐空间特征图 Fq^v, F_k^v 。对每个查询点，采样源特征并计算其与当前点估计周围 key 特征的相关性。一个注意力在**空间、时间、视角**上分解的 Transformer 对估计进行 M 次迭代精炼。 在每次隐空间时刻，该头预测每视角的2D位置 u(τ,n)^v 、深度 d(τ,n)^v 与置信度 c(τ,n)^v 。利用已知相机参数反投影至固定参考系：
P(τ,n)^v = Rτ^v ( d(τ,n)^v (K_v)^(-1) u(τ,n)^v 1 ) + bτ^v
其中 Gτ^v = (T(v_ref)^(t_0))^(-1) Tτ^v 为相机到参考系的变换，含旋转 Rτ^v 与平移 bτ^v 。训练时，未来帧特征来自部分去噪的 token，使该头必须从模型的预测特征中推断运动。 #### 4.2 轨迹监督 扩展多视角跟踪目标，对迭代预测进行监督：
L(track) = λ(seq) L(seq) + λ(depth) L(depth) + λ(conf) L_(conf)
- L(seq) ：对2D位置及其帧间位移施加截断 Huber 损失； - L(depth) ：对 log-深度施加截断 Huber 损失； - L(conf) ：二元交叉熵，目标指示预测位置是否在地面真值阈值内。 所有项在 M 次精炼迭代上求和，并在可见点上平均。2D 与深度目标由同一组地面真值3D轨迹经已知相机参数投影得到，确保跨视角几何一致。 #### 4.3 跨视角对应监督 为直接监督用于轨迹精炼的特征，将对应关系建模为目标帧空间单元上的分类。令 C(v_1,v_2)^(i,j) 为隐空间帧 i （视角 v_1 ）与帧 j （视角 v_2 ）间的注意力图，通过在目标单元上归一化 query-key 相似度并对注意力头取平均得到。最小化：
L(corr) = -(1) / (|Omega|) ∑((n,v2,j) ∈ Omega) log C(vn,v_2)^(t_n,j)[u_n, u(j,n)^(v2)]
其中 Omega 包含地面真值对应可见的查询-目标对，括号内选取对应位置的注意力权重。该目标促使 Generator 的注意力特征将同一物理点关联到跨视角与跨时间的特征上。 —- ### 5. 训练与推理流程 #### 5.1 三阶段训练 1. **第一阶段**：使用 L(FM) 训练生成路径、相机嵌入与视角频率，利用所有多视角数据源（含无轨迹注释者）。 2. **第二阶段**：冻结其余参数，仅使用 L_(track) 训练轨迹头与视角频率。 3. **第三阶段**：联合优化视频骨干与轨迹头：
L(forecast) = L(FM) + λ(track) L(track) + λ(corr) L(corr)
5.2 推理 条件于观察历史、相机参数与指令，Generator 将未来视频 token 从高斯噪声（ σ=1 ）去噪至 σ=0 ，历史 token 保持干净。轨迹从预测片段的骨干特征中解码，并转换至参考系。 —- ### 6. 机器人控制扩展：联合动作学习 为验证点监督对控制的收益，VPM 扩展为动作生成模型。未来动作序列 At ∈ R^(h_A × d_A) 作为额外的 token 模态，与视频 token 共享预测骨干。 干净动作 token a_0 被加噪为 a(σa) = (1-σ_a)a_0 + σ_a ε_a ，其中 σ_a 独立于视频噪声水平采样。共享去噪器的动作输出 vθ^a 在最终训练阶段与预测目标联合训练：
L(robot) = L(forecast) + λ(act) E[ |vθ^a(a(σ_a), σ_a, xσ, c) - (εa - a_0)|_2^2 ]
推理时，视频与动作 token 从噪声中初始化并联合去噪，仅条件于观察与指令。动作 token 因而共享经3D点轨迹监督训练得到的表征，使动作学习根植于3D感知特征。 Q4: 论文做了哪些实验？ 论文通过多组实验验证了 VPM 在视频预测质量、几何一致性、机器人控制及模型设计选择上的有效性。实验可归纳为以下六大类： —- ### 1. VP-WorldBench 基准测试 在提出的 **VP-WorldBench**（涵盖模拟与真实环境的机器人操作及城市场景）上评估多视角视频生成质量与3D运动一致性。 - **设置**：对比仅使用视频监督的 **VPM (V)** 与使用视频加3D点轨迹监督的 **VPM (V+T)**，同时与 HunyuanVideo-1.5、Wan2.2-5B、Cosmos3-Nano、X-WAM 等基线比较。 - **指标**：视频保真度（FVD、PSNR）与几何一致性（cross-view MEt3R、 δ(3D avg) ，即3D轨迹精度）。 - **结果**（Table 2）：VPM (V+T) 在所有划分与指标上均取得最佳性能，且点监督一致地提升了视频保真度与3D运动精度。即使在 I2V（单帧条件）、2-view（双视角输入）、V2V（16帧视频条件）等不同协议下（Appendix E.1, Table 16–18），该结论依然成立。 —- ### 2. Zero-shot 4D 生成泛化 为评估域外泛化能力，在未用于训练的公开基准上进行零样本测试： - **数据集**：ReCamMaster、CMU Panoptic（多人场景）及 RoboCasa Kitchen（机器人厨房操作）。 - **结果**（Table 3, Table 4, Appendix E.2）： - 在 ReCamMaster 与 CMU Panoptic 上，VPM (V+T) 在 FVD、PSNR、MEt3R 和 δ(3D avg) 上全面优于基线。 - 在 RoboCasa Kitchen 上，VPM (V+T) 超越了 Robot4DGen 等几何感知基线，表明点监督对生成视频的3D一致性至关重要。 —- ### 3. 机器人操作与控制 验证点轨迹监督是否也能提升机器人控制性能。 - **模拟环境**：LIBERO（四个标准套件）、LIBERO-Plus（零样本扰动测试）、RoboCasa Kitchen（24项操作任务）。 - **真实环境**：使用 Franka Research 3 手臂与 DROID 相机配置（左/右外置相机 + 手腕相机），执行三种不同难度的 pick-and-place 任务（香蕉→篮子、绿杯→盘子、蓝立方→红立方）。 - **对比基线**：VLA 方法（ π(0.5) 、GR00T N1.5/N1.7）与世界-动作模型（Cosmos3-Nano、DreamZero、X-WAM）。 - **结果**（Table 5）： - **VPM (V+T+A)**（视频+轨迹+动作）在所有模拟与真实任务上均取得最高成功率。 - 与无轨迹监督的 **VPM (V+A)** 相比，点监督一致地提高了任务成功率。 - **零样本轨迹控制**（Figure 4, Appendix A.4）：无需动作 token，仅将预测的未来3D点轨迹通过逆运动学转换为关节命令，即可在真实机器人上完成未见任务，证明预测轨迹本身携带可操作信息。 —- ### 4. 消融与机理分析实验 #### 4.1 模态消融（表6、表26） 训练不同模态组合的模型（V：视频；T：轨迹；A：动作）： - 添加 **T（轨迹监督）** 在所有划分上带来最大的 FVD 与 δ(3D avg) 提升； - 添加 **A（动作监督）** 有适度增益，且与轨迹监督互补； - 三模态联合（V+T+A）性能最佳。 #### 4.2 与逐帧几何监督的对比（表22） 将轨迹头替换为逐帧几何头（监督单帧深度或点云图，但不保持时序点身份）： - 逐帧深度/点云图监督仅能恢复轨迹监督带来的 **19–28%** 的 FVD 提升； - 完整轨迹监督（保持时序身份）在所有划分上均显著优于逐帧几何监督，尤其在动态与遮挡场景中。 #### 4.3 推理效率分析（表27） 测量单张 GH200 GPU 上生成 64 帧 480p 视频的 wall-clock 时间： - VPM (V+T+A) 单视角仅比 Cosmos3-Nano 慢约 4%； - 四视角联合生成时开销约为独立生成的 1.6 倍，但实现了跨视角一致性。 #### 4.4 数据可扩展性（图9） 在 10K、100K、600K 样本上训练： - 点监督在每个数据规模下均优于纯视频监督； - VPM (V+T) 在 100K 样本上的性能已超过 VPM (V) 在 600K 样本上的表现，说明轨迹监督具有更高的数据效率。 —- ### 5. 轨迹头专门评估 - **VP-WorldBench 轨迹精度**（表19）：直接评估 VPM 轨迹头输出的 3D 点轨迹，其 δ(3D avg) 优于从生成视频中后处理提取的轨迹（MVTracker），也优于纯视频模型。 - **PointMotionBench**（表23）：在 HOT3D、WorldTrack、DAVIS 等3D点预测基准上，VPM 在 ADE/FDE/PWT 指标上优于 MolmoMotion-AR 等专用运动预测模型，显示轨迹头本身具备跨域的精确3D跟踪与预测能力。 —- ### 6. 单视角世界模型验证 尽管 VPM 面向多视角设计，仍在单视角基准上验证竞争力： - **I2V**：在 PAIBench-G 与 RBench 上（表24），VPM 优于 Cosmos3-Super、Veo-3.1 等模型。 - **V2V**：在单视角视频延续任务上（表25），VPM 超过 Cosmos3-Nano，仅次于 Magi-1 与 Cosmos3-Super。 —- ### 7. 设计选择详细消融（Appendix F） | 消融维度 | 关键发现 | |————-|————-| | **相机嵌入**（表28） | Plücker 嵌入（加性+旋转）与 4D RoPE 视角轴均对性能有贡献，移除任一组件均导致退化。 | | **损失函数**（表29） | L(seq) 主要提升视频保真度， L(depth) 主要提升3D精度， L(corr) 进一步带来一致增益。 | | **训练阶段**（表30） | 三阶段课程（先视频、再轨迹头、最后联合）优于直接联合训练或跳过任一阶段。 | | **特征层位置**（表31） | 从第18层自注意力层读取特征最优，过浅或过深均下降。 | | **轨迹精炼器**（表32） | M=4 次迭代达到最佳性价比；移除跨视角注意力对性能损害最大。 | | **训练数据源**（图10） | VPM-Data（仿真数据）、机器人数据集、开源视频三者互补，移除任一源均会损害对应域的评估性能。 | —- ### 8. 定性结果 - **多视角视频与轨迹预测**（图11–12）：展示生成的未来帧与叠加的预测3D轨迹在模拟/真实、机器人/城市场景中的时空一致性。 - **预测 vs 真值**（图13）：对比生成视频与真实视频，验证视觉保真度。 - **注意力可视化**（图8）：VPM 的跨视角注意力能够准确聚焦同一物理点（如人手），而基线（Cosmos3-Nano）的注意力则分散或错位。 Q5: 有什么可以进一步探索的点？ 基于论文结论与实验分析，以下方向值得进一步探索： —- ### 1. 稠密且非刚性的场景级4D监督 现有轨迹监督仅覆盖机器人本体与标注物体，未涵盖完整场景；骨骼驱动的点轨迹亦无法描述衣物、头发等独立非刚性形变。未来可探索： - 从真实多视角视频中自动提取稠密、场景级的3D点轨迹监督，降低对仿真数据的依赖； - 引入可变形表面模型或粒子表示，将点监督扩展至流体、布料、毛发等复杂非刚性运动。 —- ### 2. 无需标定相机的世界模型 VPM 在推理阶段依赖已知的相机内参与位姿。后续研究可致力于： - 联合估计相机参数与未来场景演化，实现自标定（self-calibrating）的4D预测； - 在部分相机未知或动态变化的条件下进行鲁棒的多视角生成，提升系统在开放环境中的适用性。 —- ### 3. 可扩展的多视角计算架构 当前所有相机流被拼接到单一token序列中，计算成本随视角数线性增长。未来可研究： - 稀疏化或分层化的跨视角注意力机制，在保持几何一致性的同时降低长序列开销； - 显式3D体或点云缓存，作为各视角生成的共享中间表征，避免重复处理冗余信息。 —- ### 4. 长程与高层语义耦合的轨迹预测 现有轨迹头主要面向短期物理运动。将其扩展至： - 长时程（long-horizon）任务中的意图理解与目标驱动轨迹规划； - 结合物理约束（碰撞避免、动力学可行性）的轨迹生成，使预测不仅是视觉上的延续，更满足机械或物理规则。 —- ### 5. 基于轨迹的零样本机器人控制 论文初步验证了将预测的3D轨迹直接转换为关节命令的可行性，但成功率尚不足以定量评估。后续可： - 设计更稳定的轨迹到动作映射（如考虑闭环重规划与力控）； - 探索轨迹预测作为通用机器人接口，实现跨本体（cross-embodiment）的零样本迁移。 —- ### 6. 更大规模与多样性的4D世界数据 VPM-Data 当前规模为10K仿真片段。构建更大、更多样化的4D数据集（涵盖室内外、自然场景、人机交互等）并配合相应的自监督预训练，有望显著提升模型在开放域的泛化能力。 —- ### 7. 多模态感知融合 将深度、光流、语义分割或事件相机信号与点轨迹预测结合，形成更完整的4D世界表征，以支持对遮挡、光照变化及高速运动的鲁棒预测。 Q6: 总结一下论文的主要内容 该论文提出了 **Video-Point Model (VPM)**，一种通过联合预测未来多视角视频与持久3D点轨迹来学习4D世界动态的世界模型，并系统验证了显式3D点运动监督对视频生成与机器人控制的双重增益。 ### 核心问题 现有视频世界模型主要追求视觉上的合理性，但缺乏对物理3D运动的显式约束，导致多视角预测可能出现视角间不一致、几何失准等问题。此外，这种仅基于像素的预测能否有效支撑机器人动作学习仍存疑。 ### 方法 - **联合预测框架**：VPM 以 posed 的多视角视频历史和语言指令为条件，同步生成任意视角的未来视频，并预测从观察帧中查询的 **N** 个持久3D点的未来轨迹。每个轨迹在时间与跨视角维度上追踪同一物理点，从而将外观变化锚定到共享的3D运动描述上。 - **相机条件化多视角处理**：基于 Cosmos 3 的 Mixture-of-Transformers 骨干，VPM 将所有视角的 token 打包为单一序列，并引入： - **Plücker 射线嵌入**：编码相机几何，通过加性特征与 query/key 旋转注入注意力； - **4D RoPE**：在时空三维旋转位置编码基础上增加可学习的视角轴，以区分不同相机流。 - **轨迹预测与监督**：在生成器中间层附加轨迹头，迭代精炼点的2D位置、深度与置信度，并反投影至固定参考系。训练目标包括： - **轨迹损失** L(track) ：监督2D位置、log-深度与可见性置信度； - **跨视角对应损失** L(corr) ：强制注意力图将同一物理点关联到跨视角、跨时间的特征上。 两者与流匹配损失 L(FM) 联合优化。 - **三阶段训练**：先以视频生成适配多视角与相机条件；再冻结骨干、预热轨迹头；最后联合微调视频骨干与轨迹头。 ### 数据集与基准 - **VPM-Data**：10K 仿真训练片段，涵盖桌面操作（8K）与城市动态（2K），提供同步多视角视频、度量3D点轨迹、相机参数、可见性掩码与语言描述。 - **VP-WorldBench**：评估套件覆盖仿真（桌面/城市）与真实环境（机器人操作/室内人物活动），包含专门设计的“困难”子集，用于测试遮挡与跨视角一致性。 ### 机器人控制扩展 VPM 进一步扩展为动作生成模型（VPM (V+T+A)），将未来动作序列作为与视频 token 共享骨干的额外模态，在最终阶段联合去噪视频、轨迹与动作。实验表明，3D轨迹监督不仅提升视频质量，还能通过提供密集的3D运动先验来改善动作学习。 ### 实验结果 - **视频生成**：在 VP-WorldBench、ReCamMaster、CMU Panoptic 和 RoboCasa Kitchen 上，VPM (V+T) 在 FVD、PSNR、跨视角 MEt3R 和 3D 轨迹精度（ δ_(3D avg) ）上全面优于视频-only 基线及现有4D生成方法。点监督在零样本泛化设置下同样显著。 - **机器人控制**：在 LIBERO、LIBERO-Plus、RoboCasa 仿真任务及真实 Franka 机器人操作任务中，VPM (V+T+A) 的成功率均高于无轨迹监督的变体与现有 VLA / 世界-动作模型。 - **消融与机理**：轨迹的时序身份（而非逐帧几何）是提升关键；相机嵌入、跨视角注意力与三阶段训练均对性能有显著贡献；预测轨迹甚至可通过逆运动学直接驱动机器人完成零样本任务。 ### 主要贡献 - 提出首个联合预测未来多视角视频与持久3D点轨迹的世界模型 VPM，利用显式点运动监督提升视觉预测的几何一致性。 - 构建 VPM-Data 与 VP-WorldBench，提供对齐的视觉-几何训练数据与多域评估基准。 - 证明3D点轨迹监督可同时增强多视角视频生成与机器人动作学习，并展示基于预测轨迹的零样本机器人控制潜力。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Byungwoo Jeon,Sunghwan Hong,Dohyeon Kim,Jonghoon Lee,Jungwoo Park,Inhee Lee,Doosan Baek,Jinil Kim,Taehyun Lim,Hanbyul Joo,Marc Pollefeys,Saining Xie,Jinwoo Shin
Categories:
PDF URL: https://arxiv.org/pdf/2610.28594.pdf
Arxiv URL: https://arxiv.org/abs/2610.28594
Arxiv ID: 2610.28594
CoolPaper URL: https://papers.cool/arxiv/2610.28594
Published: 2026-10-22T01:50:34.665Z
Updated: 2026-10-22T01:50:34.665Z
11. Correction Training for Diffusion Models
Abstract:Iterative sampling in diffusion models can lead to error accumulation due to exposure bias. The denoiser is trained on real images interpolated with noise, but at inference its inputs are constructed from its own imperfect predictions from the earlier steps, something it has never seen at training time. This might be one reason diffusion models often struggle without additional help, such as CFG. We introduce a correction step for diffusion models which attempts to reduce this training-inference gap. The corrector takes the base model’s prediction as input and is trained against the same ground-truth target. This makes correction an explicit learning task, with training inputs provided by the base model. During sampling, at each denoising step, we iteratively refine the denoiser’s clean-sample prediction. This allows us to correct predictions at intermediate denoising steps, preventing early artifacts from persisting into the final sample. Although the corrector is trained only on predictions from the base denoiser, it can be applied repeatedly to its own outputs at inference for better results. This simple framework leads to substantial improvement in sample quality while largely preserving diversity. We evaluate our method across DiT, SiT, and JiT. Our method substantially improves upon previously reported FID scores for unguided generation and, notably, unconditional generation, where producing high-quality samples without guidance has been particularly challenging. Our method achieves performance competitive with classifier-free guidance (CFG), and combining correction with CFG further improves diversity and reduces oversaturation typical of CFG. Finally, we show that the additional inference cost of correction can be amortized by distilling the refined predictions back into the base diffusion model, retaining the quality gains without additional inference-time overhead.
中文摘要
摘要：扩散模型中的迭代采样可能会因暴露偏差而导致误差积累。去噪器在带有噪声的真实图像上进行训练，但在推理时，其输入由之前步骤中自身不完美的预测构建，这是它在训练时从未见过的。这可能是扩散模型在没有额外帮助（如CFG）时经常表现不佳的原因之一。我们为扩散模型引入了一个修正步骤，旨在减少训练和推理之间的差距。修正器以基础模型的预测作为输入，并针对相同的真实目标进行训练。这使得修正成为一个明确的学习任务，训练输入由基础模型提供。在采样过程中，每个去噪步骤中，我们迭代地优化去噪器的干净样本预测。这允许我们在中间去噪步骤中修正预测，防止早期的伪影延续到最终样本。尽管修正器仅在基础去噪器的预测上进行训练，但在推理时可以重复应用于其自身输出以获得更好的结果。这一简单的框架在很大程度上提高了样本质量，同时保持了多样性。我们在DiT、SiT和JiT上评估了我们的方法。我们的方法显著改进了之前报告的无指导生成（unguided generation）和无条件生成（unconditional generation）的FID分数，特别是在无指导情况下生成高质量样本是尤其具有挑战性的。我们的方法达到了与无分类器引导（CFG）相竞争的性能，并且将修正与CFG结合使用进一步提高了多样性，减少了CFG常见的过度饱和现象。最后，我们展示了通过将优化后的预测蒸馏回基础扩散模型，可以分摊修正步骤的额外推理成本，从而在不增加推理时间开销的情况下保持质量提升。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.14136 (HTTP 429)
Authors: Donghoon Ahn,Runqian Wang,Alexei A. Efros,Taesung Park,Yash Belhe
Categories:
PDF URL: https://arxiv.org/pdf/2610.14136.pdf
Arxiv URL: https://arxiv.org/abs/2610.14136
Arxiv ID: 2610.14136
CoolPaper URL: https://papers.cool/arxiv/2610.14136
Published: 2026-10-22T01:50:36.594Z
Updated: 2026-10-22T01:50:36.594Z
12. SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
Abstract:Training high-quality diffusion models is computationally expensive, and inference-time guidance often adds further sampling cost. In this work, we introduce Swift, a simple yet effective self-guided training method that uses a frozen weak denoiser to improve a stronger model without adding inference overhead. For each noisy input, Swift extrapolates the clean regression target away from the weak denoiser’s prediction, amplifying components that remain underfit. The weak guide can be an early training checkpoint, requires no backpropagation during main-model training, and is discarded afterward. The resulting model retains the original sampler and supports both conditional and unconditional generation without label dropout or an unconditional branch. We explain this mechanism through a spectral analysis of finite-time population gradient flow in an RKHS. With an early-stopped weak guide, we prove that a nonempty range of extrapolation strengths yields strictly lower posterior-mean error than matched standard training, despite shifting the regression target away from the posterior mean. Experiments on CIFAR-10 and ImageNet-256 demonstrate improvements across model scales and representations. In one ImageNet-256 configuration, Swift surpasses the baseline’s best FID using roughly half the total training compute, including guide preparation and training overhead. On RAEv2, it achieves FID 1.15 without inference-time guidance and 0.99 with guidance. These results establish target extrapolation as an effective approach to weak-to-strong diffusion training with efficient single-model inference.
中文摘要
摘要：训练高质量的扩散模型计算成本很高，而推理时的引导通常会进一步增加采样成本。在本工作中，我们介绍了 Swift，一种简单但有效的自我引导训练方法，它使用冻结的弱去噪器来提升更强的模型，而无需增加推理开销。对于每个带噪输入，Swift 会将干净的回归目标从弱去噪器的预测中外推，从而放大那些仍未充分拟合的组件。弱引导可以是早期训练的检查点，在主模型训练过程中无需反向传播，并且训练后将被丢弃。生成的模型保留了原始采样器，并支持有条件和无条件生成，无需标签丢弃或无条件分支。我们通过在 RKHS 中对有限时间群体梯度流的频谱分析解释了这一机制。利用早停的弱引导，我们证明了存在一非空的外推强度范围，其后验均值误差严格低于匹配的标准训练，即使将回归目标从后验均值上移。CIFAR-10 和 ImageNet-256 上的实验表明，在不同模型规模和表示上均有改善。在一个 ImageNet-256 配置中，Swift 在总训练计算量（包括引导准备和训练开销）约为基线的一半时，超过了基线的最佳 FID。在 RAEv2 上，它在无需推理时引导的情况下实现了 FID 1.15，使用引导时达到 0.99。这些结果证明了目标外推作为一种从弱到强扩散训练的有效方法，并支持高效的单模型推理。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.25844 (HTTP 429)
Authors: Yanjin He,Cuifeng Shen,Wanzhou Lei,Maohua Li,Tao Lan,Kan Liu,Hanlin Tang,Qing Qu
Categories:
PDF URL: https://arxiv.org/pdf/2610.25844.pdf
Arxiv URL: https://arxiv.org/abs/2610.25844
Arxiv ID: 2610.25844
CoolPaper URL: https://papers.cool/arxiv/2610.25844
Published: 2026-10-22T01:50:36.943Z
Updated: 2026-10-22T01:50:36.943Z
13. MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
Abstract:Enterprise agents answer questions over workplace records that evolve through team collaboration. As information is shared, corrected, and revised across documents, chats, and figures, multiple versions of the same information accumulate in the workspace. Reliable question answering therefore requires agents to reason over sufficient evidence, resolve cross-source and temporal conflicts, and recognize when the available evidence is insufficient to establish an answer. To systematically evaluate these capabilities, we introduce MMEnterprise-Bench, a benchmark comprising 1,613 questions grounded in evolving multimodal records from simulated collaboration projects, covering three categories: Evidence Reasoning, Conflict Resolution, and Unanswerability. We evaluate 10 proprietary and open-source multimodal LLMs and find that even the strongest models struggle when evidence contains cross-source or temporal conflicts or spans multiple images. Moreover, increasing the retrieval budget or employing a larger retriever improves evidence recall but does not consistently translate into higher answer accuracy. These findings highlight the persistent challenges of reasoning over evolving workplace records and establish MMEnterprise-Bench as a testbed for developing more reliable enterprise agents. Code and data are available at this https URL.
中文摘要
摘要：企业代理通过回答关于不断通过团队协作演变的工作场所记录的问题来工作。随着信息在文档、聊天记录和图表中被共享、纠正和修订，相同信息的多个版本会在工作空间中累积。因此，可靠的问题回答要求代理能够基于足够的证据进行推理、解决跨来源和时间的冲突，并识别出可用证据不足以得出答案的情况。为了系统地评估这些能力，我们引入了MMEnterprise-Bench，这是一个基准测试，包括1613个基于模拟协作项目中演变的多模态记录的问题，涵盖三个类别：证据推理、冲突解决和无法回答性。我们评估了10个专有和开源的多模态大语言模型（LLM），发现即便是最强的模型，在证据包含跨来源或时间冲突或跨多张图像时，也会表现困难。此外，增加检索预算或使用更大的检索器可以改善证据召回，但并不总能转化为更高的答案准确率。这些发现凸显了在不断演变的工作场所记录上进行推理的持续挑战，并确立了MMEnterprise-Bench作为开发更可靠企业代理的测试平台。代码和数据可通过此 https URL 获取。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.27911 (HTTP 429)
Authors: Seohyun Lee,Jongha Kim,Dohwan Ko,Ji Soo Lee,Seoung Choi,Jayun Ku,Hyunwoo J. Kim
Categories:
PDF URL: https://arxiv.org/pdf/2610.27911.pdf
Arxiv URL: https://arxiv.org/abs/2610.27911
Arxiv ID: 2610.27911
CoolPaper URL: https://papers.cool/arxiv/2610.27911
Published: 2026-10-22T01:50:38.440Z
Updated: 2026-10-22T01:50:38.440Z
14. Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
Abstract:Video generation models can now depict remarkably realistic motion. Yet it is unclear how to use this motion beyond pixels: to animate a specific 3D asset and replay the animation in its 3D scene. For instance, a video model can show a monkey jumping over a crossbar, but it cannot return that jump as replayable 3D motion placed in the 3D scene. Here we present a model that directly co-generates the video and 3D motion for any supplied rig, along with a camera that registers this motion to the scene. Prior video-motion models either handle only human skeletons, often adding billions of parameters, or triangulate 3D motion from generated 2D pose maps. We instead keep 3D motion in a separate model that supports arbitrary skeletons, and connect it to a pretrained video model through a small set of cross-attention layers. This separation lets the motion model first learn how skeletons move from motion-only data, which is easier to obtain and augment than paired video. Additionally, our model learns to locate each joint in the video frames, which lets us recover the camera and place the 3D motion in the scene. To train across many skeletons, we use a generative video editor to place animated 3D assets in scenes suited to their actions, curating the edits so their known motion remains valid. Together with human and robot video, this yields nearly 200K training pairs. Our evaluations demonstrate that our model animates diverse rigs from text more faithfully than video-first pipelines, and its motion responds to the surrounding scene. It also turns video into rig motion, rig motion into video, and enables keyframe-based control of the 3D motion. Videos and additional results are available on our project page: this https URL.
中文摘要
摘要：视频生成模型现在可以描绘出非常逼真的运动。然而，如何将这种运动应用到像素之外仍不清楚：比如让特定的3D资产动画化，并在其3D场景中重放动画。例如，视频模型可以展示一只猴子跳过横杆，但它无法将该跳跃转化为可重放的3D运动并放置在3D场景中。在这里，我们提出了一种模型，可以直接为任何提供的骨架同时生成视频和3D运动，同时配备一个将该运动注册到场景中的摄像机。之前的视频-运动模型要么仅处理人类骨架，经常需要增加数十亿个参数，要么从生成的2D姿态图中三角解算3D运动。我们则将3D运动保存在一个单独的模型中，该模型支持任意骨架，并通过一小部分交叉注意力层将其连接到预训练视频模型。这种分离让运动模型首先从仅运动数据中学习骨架的运动方式，而这些数据比成对视频数据更容易获取和增强。此外，我们的模型还能学习在视频帧中定位每个关节，这使我们能够恢复摄像机并将3D运动放置在场景中。为了在多个骨架上进行训练，我们使用生成视频编辑器将动画化的3D资产放置在适合其动作的场景中，并策划编辑，以确保其已知运动保持有效。结合人类和机器人视频，这产生了近20万对训练数据。我们的评估表明，我们的模型比以视频为先的流程更忠实地根据文本为多样骨架生成动画，且其运动能够响应周围场景。它还可以将视频转化为骨架运动，将骨架运动转化为视频，并实现基于关键帧的3D运动控制。视频和更多结果可在我们的项目页面查看：此https URL。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*视频生成模型无法直接产生可重放、可注册到3D场景的骨骼运动\*\*的问题。具体而言，论文针对现有方法在以下四个层面的局限展开： ### 1. 像素与3D运动之间的鸿沟 现有视频生成模型能够合成高度逼真的动态画面，但其输出仅为像素。论文指出，这些运动无法直接用于驱动用户提供的特定3D资产（如动物、机器人或虚构角色），也无法在对应的3D场景中进行重放。例如，模型可以生成“猴子跳高”的视频，但无法返回与该猴子rig对应、且能在原始3D场景中 replay 的关节级动画数据。 ### 2. 对任意拓扑结构rig的泛化缺失 现有的联合视频–运动生成方法大多仅针对人体骨骼（如SMPL），通常需要为视频主干增加数十亿参数；另一些方法则从生成的2D姿态图间接三角化3D运动，这不仅容易引入误差，还依赖多视角视频进行训练，难以处理具有任意关节数量和连接关系的通用rig。 ### 3. 运动与生成场景的配准问题 即便获得了与视频同步的3D关节轨迹，仍需确定其在视频所描绘的3D场景中的空间位置。论文强调，必须同时估计相机变换，才能将生成的3D运动正确注册到场景几何中，从而实现“生成即可用”的动画。 ### 4. 跨rig训练数据的稀缺性 自然视频与多样化3D rig运动的配对数据极其匮乏，尤其缺乏涵盖非人体骨骼的大规模标注语料，这限制了模型学习跨拓扑结构运动先验的能力。 为应对上述挑战，论文提出了 \*\*Joints, Camera, Action! (JCA)\*\*，其核心目标是\*\*直接联合生成\*\*： - 与文本/关键帧对齐的视频； - 针对任意用户供应rig的3D关节运动（以关节旋转与位置表示）； - 将3D运动投影到生成场景所需的相机参数。 该统一框架同时支持多种条件生成模式——包括文本驱动的rig动画、基于首末关键帧的运动补全、视频到运动的恢复（Video-to-Motion），以及给定3D轨迹生成对应视频（Motion-to-Video）——且无需针对特定rig重新设计网络结构。 Q2: 有哪些相关研究？ 根据论文第3页的 Related Work 章节，相关研究可分为以下五个方向： --- ### 1. 联合视频与运动生成（Joint Video and Motion Generation） 现有视频生成模型能够捕捉复杂的外观与动态，但仅输出像素，缺乏显式的3D运动表示。 - \*\*UniMo\*\*（Pang et al., 2025）、\*\*EchoMotion\*\*（Yang et al., 2026）、\*\*CoMoVi\*\*（Zhao et al., 2026a）：联合建模视频与人体运动。UniMo 采用共享自回归主干；EchoMotion 与 CoMoVi 则基于视频主干扩展出规模达数十亿参数的运动分支，其中 EchoMotion 的联合注意力为运动 token 分配了相对于视频网格的空间偏移。 - \*\*SViMo\*\*（Dang et al., 2025）、\*\*VAG\*\*（Lang et al., 2026）：覆盖手-物交互与机器人动作。 - \*\*AnimaX\*\*（Huang et al., 2025）：通过四个固定视角生成 RGB 与 2D 姿态图，再经三角测量与逆运动学恢复 3D 运动。该间接路径限制了训练数据必须为多视角视频，且难以处理丰富场景。 与上述方法不同，JCA 通过\*\*双向交叉注意力\*\*耦合独立预训练的视频网络与运动网络，避免联合自注意力及空间偏移设计，可直接为任意供应的 rig 生成 3D 关节参数，无需网格输入或多视角三角测量。 --- ### 2. 多样化骨骼与网格动画（Animating Diverse Skeletons and Meshes） 该方向关注如何为人体之外的任意拓扑结构生成动画。 - \*\*AnyTop\*\*（Gat et al., 2025）：学习跨多样化骨骼的共享运动先验。 - \*\*RigMo\*\*（Zhang et al., 2026）：从变形网格中联合学习 rig 与运动，无需预定义骨骼。 - \*\*AnimateAnyMesh\*\*（Wu et al., 2025）：以前馈方式将网格与文本映射为顶点轨迹。 - \*\*ViPS\*\*（Chen et al., 2026）、\*\*AKD\*\*（Li et al., 2025）、\*\*Puppeteer\*\*（Song et al., 2025）、\*\*CHORD\*\*（Lyu et al., 2026）：利用视频先验进行逐实例的动画优化或姿态采样；其中 AKD 报告每个资产需约 25 小时优化。 - \*\*AnimaSpark\*\*（Zhao et al., 2026b）：通过视频生成、跟踪与平面提升避免逐实例优化。 - \*\*ActionMesh\*\*（Sabathier et al., 2026）、\*\*STAC\*\*（Samuel et al., 2026）：直接输出网格形变。 - \*\*Bekor et al.\*\*（2025）：将视频扩散先验蒸馏至动态高斯，实现无 rig 的跨类别运动迁移。 JCA 的核心区别在于\*\*通过耦合去噪联合生成运动与视频\*\*，无需后验跟踪或将运动拟合到视频，且支持用户直接提供任意拓扑的 rig。 --- ### 3. 条件生成与引导机制（Conditional Generation and Guidance） 该方向探索如何利用结构或运动线索引导视觉内容生成。 - \*\*ControlNet\*\*（Zhang et al., 2023）：以结构信号为条件控制图像合成。 - \*\*Lay-AScene\*\*（Rahamim et al., 2024）：以 3D 对象为条件。 - \*\*MeshToken\*\*（Liang et al., 2026）：以 3D 人体网格运动为条件控制视频。 - \*\*LooseControlVideo\*\*（Bhat et al., 2026）：利用粗略定向 3D 框。 - \*\*Time-to-Move\*\*（Singer et al., 2026）：在双时钟去噪计划下，无需训练即可使用粗略参考动画进行控制。 - \*\*运动修复与约束生成\*\*（Tessler et al., 2024; Rempe et al., 2026）：完成部分运动指定。 - \*\*EchoMotion\*\*（Yang et al., 2026）：支持人体视频到运动与运动到视频的生成。 JCA 的训练策略结合了\*\*联合去噪\*\*与\*\*对无噪声模态的条件生成\*\*，通过专门的 rig 编码器与去噪器，实现对任意 rig 的双向条件生成（视频→运动、运动→视频）。此外，论文提出的 \*\*bridge guidance\*\* 在推理时通过对比“启用/禁用视频-运动交叉注意力”的预测差异，显式增强两种模态间的一致性。 --- ### 4. 运动恢复（Motion Recovery） 从单目视频中恢复 3D 运动是计算机视觉的经典问题。 - \*\*人体特定方法\*\*：如 SAM-Body4D（Gao et al., 2025）、GVHMR（Shen et al., 2024）用于身体；Dyn-HaMR（Yu et al., 2025b）用于手部。 - \*\*任意骨骼方法\*\*：\*\*MoCapAnything V2\*\*（Gong et al., 2026）与 \*\*TopoCap\*\*（Pu et al., 2026）支持无需逐实例优化的任意拓扑运动恢复。 JCA 在其联合生成框架内同样支持视频到运动任务，且无需针对特定 rig 进行额外训练。 --- ### 5. 训练数据构建（Training Data Pipeline） 联合视频-运动模型的训练受限于缺乏大规模、跨 rig 的配对数据。 - \*\*现有联合方法\*\*（Pang et al., 2025; Yang et al., 2026; Zhao et al., 2026a）：通常在固定人体骨骼上，利用估计的 3D 运动与人体视频配对训练。 - \*\*VideoMDM\*\*（Mann et al., 2026）：通过 2D 投影监督规避 3D 标注需求，但仍假设固定骨骼。 - \*\*动画资产数据集\*\*（如 AnimaX 所用数据）：提供多样化骨骼的精确运动，但渲染背景单一（白色）。 - \*\*生成式视频编辑\*\*（Liu et al., 2026; Tewel et al., 2026）：可在保留原视频结构的前提下替换场景，为构建训练数据提供新途径。 JCA 的数据管线利用 \*\*Bernini\*\*（Liu et al., 2026）生成式视频编辑器，将已知 3D 运动的动画资产渲染图编辑至与其动作语义匹配的自然场景中，同时通过自动化验证确保 3D 标注的有效性，从而构建了名为 \*\*Objaverse in Video (OiV)\*\* 的数据集，最终与人体、机器人数据合并形成约 20 万对跨 rig 的视频-运动训练数据。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*Joints, Camera, Action! (JCA)\*\* 模型，从架构设计、推理机制、场景配准与数据构建四个层面系统性地解决了上述问题。具体方法如下： --- ### 1. 分离-耦合的双分支架构：保留模态先验，降低参数成本 论文没有采用将运动分支直接堆叠到视频主干上的方式（那样会增加约 70 亿参数），而是保持了两个独立预训练的模型，并通过轻量级的交叉注意力桥接进行信息交换。 - \*\*视频分支\*\*：基于预训练的 Wan2.2 I2V-A14B 视频扩散模型，通过 LoRA 适配器进行微调。 - \*\*运动分支\*\*：专门设计的、针对任意拓扑 rig 的流匹配（flow-matching）去噪器，在耦合前仅在运动数据上预训练。 两分支在特定的 DiT 块之间插入\*\*双向零初始化交叉注意力（zero-initialized cross-attention bridges）\*\*：
B(m to v) = Attn(H_v, H_m)O_v, quad B(v to m) = Attn(H_m, H_v)O_m
其中 Attn(X,Z) 表示以 X 为 query、 Z 为 key/value 的标准注意力。输出投影 O_v, O_m 初始化为零，使得联合训练初期两分支各自保持其预训练时的孤立行为，随后逐步学习协作。这一设计将新增参数量控制在约 1.78 亿（含运动模型、rig 编码器、定位头与桥接层），远低于扩展视频主干的代价。 —- ### 2. 图结构运动表示：支持任意拓扑的 Rig 为了摆脱对固定人体骨骼的依赖，论文将 rig 视为有向树图 G=(J, E) ，其中关节为节点、骨骼为边。 - **运动表示**：每个关节在每一帧存储 6D 旋转与 3D 位置，以及它们的帧间变化，共 18 维通道。根关节使用世界坐标，其余关节使用父局部旋转与根相对位置。 - **Rig 编码器**：由于不同 rig 的关节数量、语义索引和连接关系各异，论文使用图注意力网络（GATv2）结合全图自注意力，将 rig 编码为**逐关节描述符（per-joint descriptors）** D ∈ R^(J × d) 。每个关节的输入融合其名称文本嵌入、静止位姿几何、参考图像中的 2D 位置（若提供）以及根/链/叶类型指示器。 - **运动去噪器**：基于 Transformer，在每个块内交替执行**全局自注意力**（跨关节与时间）和**图注意力**（沿骨骼边 E 传播），从而同时捕获长程依赖与局部骨架结构。 —- ### 3. 桥接引导（Bridge Guidance）：在推理时强化视频-运动一致性 仅仅在训练时连接两分支不足以保证生成结果的高度一致。论文提出了一种在推理阶段增强耦合强度的机制： 对每种模态 i ∈ video, motion ，分别计算四种预测： 1. 桥接**禁用** + 空文本 varnothing 2. 桥接**禁用** + 文本 c 3. 桥接**启用** + 空文本 varnothing 4. 桥接**启用** + 文本 c 先在各桥接状态下应用文本引导：
vi^b = v_i^b(varnothing) + ω(text),i(vi^b(c) - v_i^b(varnothing))
再放大“启用桥接”相对于“禁用桥接”带来的变化：
v_i = v_i^0 + ω(bridge),i(v_i^1 - v_i^0)
该机制显式地对比了“有交叉注意力”与“无交叉注意力”的差异，并将这种差异作为一致性信号进行放大，显著提升了视频与运动的同步质量。 —- ### 4. 关节定位与相机配准：将 3D 运动注册到生成场景 联合生成解决了“运动是什么”的问题，但未解决“运动在场景的哪里”。为此，论文引入了一个辅助的**关节定位头（joint-localization head）**： - 在每一对偶帧上，运动分支中各关节的特征作为 query，视频分支的 patch 特征作为 key，计算注意力权重：
Af = softmax(kappa Q(4f) K_f^top)
- 以 patch 中心 C 为值，加权求和得到每个关节的 2D 图像坐标：
Yf = A_f C
在推理时，将生成的 3D 关节位置与预测的 2D 位置配对，作为 2D–3D 对应点，拟合一个静态透视相机（估计旋转、平移与焦距，主点固定于图像中心）。由此可将生成的 3D 运动轨迹准确注册到视频所描绘的 3D 场景中，实现“生成即可渲染”。 —- ### 5. 训练数据管线：构建跨 Rig 的大规模配对语料 由于缺乏自然视频与多样化 rig 运动的现成配对数据，论文构建了名为 **Objaverse in Video (OiV)** 的合成数据集： 1. **渲染**：将 Objaverse/Objaverse-XL 中的动画资产在简单临时场景中渲染。 2. **场景编辑**：利用生成式视频编辑器 Bernini，根据资产的动作语义将其植入匹配的真实感场景中。 3. **一致性验证**：通过 SAM 分割对比、VGGT 相机运动检测与 VLM 物理合理性判断，剔除因编辑导致主体姿态、轮廓或相机发生漂移的失败样本，并重新生成。 4. **多源融合**：OiV（11.8 万视频，4.3 万资产）与人体视频（6 万，通过 SAM-Body4D 与 Dyn-HaMR 重建）、机器人视频（2.7 万，通过运动学模型计算）合并，总计约 **20 万对**视频-运动训练数据。 此外，论文将人体运动重定向到随机化的人形 rig（改变比例、拆分/合并肢体等），在无需额外视频的情况下将运动预训练扩展至 10 万种不同骨骼结构。 —- ### 6. 联合训练策略：实现双向条件生成 在联合训练阶段，论文随机执行以下条件丢弃（dropout）： - 以一定概率丢弃文本、参考图像或桥接连接； - 以 0.1 的概率保持视频**完全干净**（仅去噪运动），实现 **Video-to-Motion**； - 以 0.1 的概率保持运动**完全干净**（仅去噪视频），实现 **Motion-to-Video**。 这使得同一模型无需额外训练即可支持： - 文本驱动的 rig 动画 - 给定首帧/首末关键帧的 3D 运动补全与视频生成 - 视频到任意 rig 的运动恢复 - 3D 轨迹到视频的生成 —- 综上所述，JCA 通过**保持视频与运动先验的分离主干、轻量桥接耦合、推理期桥接引导、显式 2D-3D 关节定位以及自动生成的大规模跨 rig 数据**，首次实现了对任意拓扑 rig 的视频-运动联合生成与场景配准。 Q4: 论文做了哪些实验？ 论文在实验部分系统评估了所提方法在文本驱动动画、场景感知生成、人体运动-视频联合生成、双向条件生成（视频到运动/运动到视频）、关键帧控制以及消融实验等方面的表现。具体实验如下： —- ### 1. 文本驱动的 Rig 动画（Rig Animation from Text） 该实验评估模型根据文本提示为多样化 rigged 资产生成 3D 动画并同步生成视频的能力。 - **设置**：从 Puppeteer 测试集中随机选取 20 个资产，使用 GPT-5.6 Sol 为每个资产生成 5 个动作提示，共 **100 个资产-提示对**。 - **对比方法**： - **AnimateAnyMesh**：前馈式顶点动画，无 rig。 - **ActionMesh**：基于视频指导的网格形变方法。 - **Puppeteer**：基于视频优化的 ground-truth rig 动画方法。 - **评估指标**： - **Prompt adherence**：由 GPT-6 Astra 作为多模态裁判，按 0–100 分盲评动画与文本提示的符合程度。 - **Mesh distortion**：中位边长相对变化率（衡量几何保真度）。 - **Motion smoothness** 与 **Dynamic degree**：基于 VBench，区分平滑运动与几乎不动的运动。 - **关键结果**（表 1）： - JCA 的 prompt adherence 显著领先（**58.4**，对比最强基线 43.4）。 - Mesh distortion 最低（**0.20%**），动态程度最高（**0.83**），表明生成的运动既忠实于文本，又保持资产几何完整且动作幅度充分。 —- ### 2. 场景感知的 Rig 动画（Scene-Aware Rig Animation） 验证模型在生成运动时是否响应周围 3D 场景几何，而非仅在空白背景中运动。 - **设置**：给定一个 rigged 资产和一个 3D 场景，将资产置于用户指定的初始位置与姿态并渲染为首帧。模型根据文本提示生成视频及对应的 3D 运动。 - **示例**： - 图 1：一只 rigged 猴子跳过场景中的高栏。 - 图 5：一只企鹅在雪地场景中向前行走并滑下斜坡。 - **关键观察**：生成的运动不仅与文本一致，还与场景几何交互（如跳过障碍、沿斜坡滑动），展示了通过视频先验实现的场景感知能力。 —- ### 3. 人体运动-视频联合生成（Joint Generation for Humans） 在人体骨骼上直接与专用的人体联合生成模型进行对比，以验证架构的先进性。 - **设置**：使用 HumanML3D 测试集中的 **250 个提示**。 - **对比方法**：**EchoMotion**，一个基于 dual-modality DiT 的人体专用文本到视频+SMPL 运动联合生成模型。 - **评估变体**： - **JCA**：通用模型，直接测试。 - **JCA SMPL-FT**：在通用检查点基础上，使用人体子集以 SMPL 骨骼继续微调 10K 步。 - **评估指标**： - **同步性**：从生成的视频中用 GVHMR 恢复 SMPL 轨迹，与生成运动对比。 - PA-MPJPE：逐帧刚性对齐后的平均关节位置误差。 - SA-MPJPE / SA-MPJVE：全局旋转对齐后的位置与速度误差。 - **视频质量**：VBench 的成像质量（IQ）、美学（Aesth.）、平滑度（Smooth.）、人体解剖正确性（Anat.）、动态程度（Dyn. degree）。 - **非静态相机率**：排除相机运动对动态程度的干扰。 - **关键结果**（表 2）： - 未经微调的通用模型在同步性上略逊于 EchoMotion。 - **JCA SMPL-FT** 在所有同步指标上超越 EchoMotion： - PA-MPJPE 降低 **26%**（72.3 vs 97.7）。 - SA-MPJVE 降低 **37%**（272.6 vs 431.3）。 - 人体解剖正确性显著更高（**0.934** vs 0.730），美学分数也更优；非静态相机率更低，说明其动态程度更多反映真实肢体运动而非相机漂移。 —- ### 4. 视频到运动与运动到视频（Video-to-Motion & Motion-to-Video） 验证同一模型在保持一种模态“干净”（零噪声）的条件下，生成另一种模态的能力。 - **Video-to-Motion（视频驱动运动恢复）**： - 设置：固定视频潜变量，仅去噪运动分支；无需首帧 3D 姿态，仅需静态 rig。 - 数据集：TrueBones Zoo 未见测试集（67 个片段，白背景渲染）。 - 对比：**MoCapAnything V2**（额外接收首帧真实关节位姿）、**TopoCap**。 - 变体：零样本通用模型（Ours）、在 TrueBones 训练集上微调 10K 步的模型（Ours-FT）。 - 指标：PA-MPJPE、SA-MPJPE、SA-MPJVE。 - 结果（表 4）：零样本时优于 TopoCap；微调后在未使用首帧真实位姿的情况下，与 MoCapAnything V2 性能相当（PA-MPJPE 39.27 vs 41.95）。 - **Motion-to-Video（运动驱动视频生成）**： - 设置：固定运动序列，仅去噪视频分支；给定文本提示决定外观与环境。 - 验证：生成的视频能严格遵循输入的 3D 轨迹，且适用于任意 rig。 - 结果：支持**有首帧参考图像**（图 1）和**无输入图像**（图 4，如北极熊在健身房做哑铃推举）两种模式。 —- ### 5. 关键帧控制的 3D 运动（Keyframe-Controlled Motion） 评估模型通过稀疏 RGB 关键帧指导 3D 动画生成的能力，无需提供 3D 关键帧。 - **设置**：给定文本提示、静态 rig，以及在指定时间点提供的 RGB 关键帧。构建稀疏参考视频（关键帧位置填入图像，其余帧置零），通过 Wan 的图像条件协议进行编码，并提供时序掩码。 - **机制**：视频与运动分支联合去噪，视觉关键帧条件通过跨模态桥接引导 3D 轨迹生成。 - **输出**：完整的 3D rig 轨迹与匹配的视频，无需目标 3D 运动或末帧 3D 姿态。 - **示例**：图 1 展示了给定首帧和末帧后，模型填补中间运动与视频的能力。 —- ### 6. 消融实验（Ablations） #### 6.1 桥接引导（Bridge Guidance）的有效性 验证连接视频与运动分支的交叉注意力层及其引导机制对同步性的贡献。 - **设置**：基于 JCA SMPL-FT 在人体数据上评估。 - **配置比较**（表 3）： - 完整 JCA（启用 bridge guidance， ω(bridge)=2 ）。 - 无 bridge guidance（桥接存在但不放大差异， ω_(bridge)=1 ）。 - 完全断开交叉注意力。 - **结果**： - 完全断开导致同步性严重下降（PA-MPJPE 从 72.27 升至 140.71）。 - Bridge guidance 进一步改善同步（PA-MPJPE 从 84.78 降至 72.27）。 #### 6.2 联合训练 vs. 仅运动预训练 对比完整模型与其仅在运动数据上预训练的版本，验证联合训练带来的收益。 - **设置**：采用与第 4.1 节相同的 rig 动画评估协议。 - **结果**： - Prompt adherence：从 **51.6** 提升至 **58.4**。 - Dynamic degree：从 **0.72** 提升至 **0.83**。 - Mesh distortion 保持低位（0.14% vs 0.20%），表明联合训练在提升运动丰富度的同时不损害几何一致性。 —- ### 总结 实验覆盖了**文本驱动生成、场景交互、人体专项对比、双向条件生成、关键帧控制及模块消融**六个维度，结果表明 JCA 在多样化 rig 的动画忠实度、视频-运动同步性、场景感知能力及条件生成灵活性上均优于现有的视频优先流程和网格动画基线。 Q5: 有什么可以进一步探索的点？ 基于论文第 6 节“Conclusion, Limitations, and Future Work”，以下几个方向值得进一步探索： —- ### 1. 动态相机估计与动态场景配准 当前关节定位与相机拟合模块假设推理阶段相机是静态的，通过单段透视相机将 3D 运动注册到场景。放宽该假设、支持**移动相机**将显著扩展适用场景。未来工作可探索时变相机外参与内参的联合估计，或结合 SLAM/运动恢复结构（SfM）先验，使生成结果能匹配更复杂的摄像机运动与动态视角变化。 —- ### 2. 非双足及复杂拓扑结构的骨骼泛化 现有训练数据在骨骼类型上仍存在偏差：Objaverse 中大多数动画角色为双足人形，且动作范围相对有限；额外的纯运动预训练数据亦基于人形变体。虽然视频先验在一定程度上拓宽了这些骨骼可执行的动作集合，但**向四足、多肢或任意非人形拓扑的迁移**仍有提升空间。未来研究可通过收集更多样化的动物、昆虫或虚构生物运动数据，或设计更强的跨拓扑迁移机制，进一步释放视频模型的先验能力并减少对双足结构的依赖。 —- ### 3. 显式 3D 场景几何约束与物理一致性 目前场景对运动的影响是**间接的**——仅通过视频分支的像素级生成传递，运动分支从未直接接收 3D 场景几何。因此，模型不强制执行接触约束，也无法避免角色与场景之间的穿透。后续工作可将 3D 场景几何（如深度、占据网格或符号距离场）显式条件化到运动去噪器，或在训练/推理引导中加入**接触项、碰撞惩罚与 foot-skating 约束**，从而将“视觉一致”的视频-运动联合生成提升为“物理一致”的 3D 动画。 —- ### 4. 交互物体的 3D 重建与多实体联合动画 当前每段视频仅动画化**单个 rig**，而视频中与主体交互的物体（如被搬动的杯子、被推开的门）仅在像素层面运动，并未被恢复为可重用的 3D 实体。将联合生成从“单个资产动画”扩展到“完整场景动画”，需要同时恢复或生成交互物体的 3D 运动轨迹，并支持**多角色/多物体之间的物理交互**。这要求在表示层面引入物体级别的运动与形状建模，并在训练数据与模型架构中支持多实体联合去噪。 —- ### 5. 增强视频先验向运动模型的迁移效率 论文指出，尽管耦合架构保留了预训练视频模型的能力，但在联合训练过程中仍有**视频先验被削弱**的现象。未来可研究更精细的参数高效微调策略（如选择性解冻、模态间梯度裁剪或知识蒸馏），在保持视频生成质量的同时，让运动分支更充分地利用视频模型中蕴含的丰富动力学与场景交互先验。 Q6: 总结一下论文的主要内容 本文介绍了一种名为 **Joints, Camera, Action! (JCA)** 的联合生成模型，旨在解决视频生成模型仅能输出像素、无法直接产生可驱动任意三维资产（rig）的重放式三维运动及场景配准的问题。以下从问题背景、方法架构、技术创新、数据构建、实验验证及局限性六个方面进行总结。 —- ### 1. 研究背景与核心问题 现有视频生成模型虽能捕捉复杂动态，但其输出缺乏显式的三维运动表示，无法直接用于驱动用户提供的特定三维资产（如动物、机器人、虚构角色等）。具体而言，现有工作存在三方面局限： - **骨骼拓扑受限**：既有联合视频-运动模型多针对固定人体骨骼（如 SMPL），难以泛化至任意关节数量与连接关系的 rig。 - **间接三维恢复**：部分方法从生成的二维姿态图通过三角测量反推三维运动，易引入误差且依赖多视角视频。 - **场景配准缺失**：即使获得三维运动，仍缺乏将其注册到生成视频所描绘的三维场景中的相机参数。 —- ### 2. 方法概述 JCA 是一个联合去噪模型，同时生成： - **视频**：由预训练的 Wan2.2 I2V-A14B 视频扩散模型生成； - **三维运动**：针对用户提供的任意树状 rig（以关节为节点、骨骼为边）生成逐帧关节旋转与位置； - **相机参数**：通过预测关节在视频帧中的二维投影，拟合透视相机，实现三维运动与生成场景的配准。 该模型支持文本驱动生成，并可在训练后零样本支持 **视频到运动（Video-to-Motion）**、**运动到视频（Motion-to-Video）** 以及 **基于 RGB 关键帧的三维运动控制**。 —- ### 3. 关键技术创新 #### （1）分离-耦合的双分支架构 论文未采用将运动分支直接堆叠到视频主干（会增加约 70 亿参数）的方案，而是保持两个独立预训练模型，通过少量**双向零初始化交叉注意力层（zero-initialized cross-attention bridges）**连接：
B(m to v) = Attn(H_v, H_m)O_v, quad B(v to m) = Attn(H_m, H_v)O_m
输出投影 O_v, O_m 初始化为零，使联合训练初期两分支保持各自预训练行为，随后渐进学习协作。此设计将新增参数量控制在约 1.78 亿，显著优于扩展视频主干的代价。 #### （2）图结构运动表示与任意 Rig 编码 将 rig 视为有向树图 G=(J, E) 。运动去噪器基于 Transformer，交替执行**全局自注意力**（跨关节与时间）和**图注意力**（沿骨骼边传播）。一个图神经网络（GATv2）将 rig 编码为**逐关节描述符（per-joint descriptors）**，融合关节名称文本嵌入、静止几何、参考图像中的二维位置及拓扑类型（根/链/叶），从而支持任意骨骼拓扑。 #### （3）桥接引导（Bridge Guidance） 在推理阶段，通过对比“启用交叉注意力”与“禁用交叉注意力”的预测差异，放大视频-运动交互带来的变化，显式增强两模态一致性：
vi = v_i^0 + ω(bridge),i(v_i^1 - v_i^0)
该机制显著提升了生成视频与三维运动的同步质量。 #### （4）关节定位与场景配准 引入辅助的关节定位头，以运动特征为 query、视频 patch 特征为 key，通过注意力加权 patch 中心预测每个关节的二维图像位置 Y_f 。将生成的三维关节位置与预测的二维位置配对，拟合静态透视相机（估计旋转、平移与焦距），从而将三维运动注册到生成场景中。 —- ### 4. 训练数据构建 由于缺乏大规模、跨 rig 的视频-运动配对数据，论文提出自动化数据管线，构建 **Objaverse in Video (OiV)** 数据集： - 将 Objaverse/Objaverse-XL 中的动画资产渲染后，使用生成式视频编辑器 **Bernini** 将其植入与动作语义匹配的真实感场景中； - 通过 SAM 分割对比、VGGT 相机运动检测与 VLM 物理合理性验证，过滤因编辑导致姿态漂移或相机运动的失败样本； - 与人体视频（通过 SAM-Body4D 与 Dyn-HaMR 重建，约 6 万段）及机器人视频（通过运动学模型计算，约 2.7 万段）合并，总计约 **20 万对**训练数据。 此外，论文将人体运动重定向到随机化的人形 rig（改变比例、拆分/合并肢体等），在无需额外视频的情况下扩展骨骼多样性。 —- ### 5. 实验验证 #### （1）文本驱动的 Rig 动画 在 100 个资产-提示对上，与 AnimateAnyMesh、ActionMesh、Puppeteer 对比： - **Prompt adherence**：JCA 得分 **58.4**，显著优于最强基线（43.4）； - **几何保真**：Mesh distortion 最低（0.20%）； - **动态程度**：0.83，表明运动既忠实于文本又具充分动作幅度。 #### （2）人体联合生成（与 EchoMotion 对比） 在 HumanML3D 测试集上，经 SMPL 微调的 **JCA SMPL-FT** 在同步性上全面超越人体专用的 EchoMotion： - PA-MPJPE 降低 **26%**（72.3 vs 97.7）； - SA-MPJVE 降低 **37%**（272.6 vs 431.3）； - 人体解剖正确性（0.934）与美学质量均更优。 #### （3）视频到运动（TrueBones Zoo） 零样本时优于 TopoCap；微调后（Ours-FT）与 MoCapAnything V2 性能相当，且**无需首帧真实三维姿态**。 #### （4）消融实验 - 验证 **Bridge guidance** 有效性：启用后 PA-MPJPE 从 84.78 降至 72.27；完全断开交叉注意力则恶化至 140.71。 - 验证**联合训练**收益：相比仅运动预训练，prompt adherence 从 51.6 提升至 58.4，动态程度从 0.72 提升至 0.83。 #### （5）场景感知与关键帧控制 定性展示生成运动响应场景几何（如猴子跳高栏、企鹅滑下斜坡）；支持给定首末 RGB 关键帧，联合补全中间三维运动与视频。 —- ### 6. 局限性与未来方向 - **静态相机假设**：当前相机拟合假设相机静止，未来可扩展至移动相机。 - **骨骼多样性不足**：训练数据仍偏向双足人形，向四足、多肢等拓扑的迁移有待加强。 - **缺乏显式三维场景条件**：运动分支未直接接收场景几何，不保证物理接触与防穿透。 - **单 rig 限制**：未恢复交互物体的三维运动，多实体联合动画是重要拓展方向。 —- 综上所述，JCA 通过**分离-耦合的轻量架构、桥接引导机制、显式二维-三维关节定位以及自动化跨 rig 数据管线**，首次实现了对任意拓扑 rig 的视频-运动联合生成与场景配准，在文本驱动动画、双向条件生成及场景感知方面展示了优越性能。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Noam Rotstein,Yoad Tewel,Chen Tessler,Haggai Maron,Gal Chechik,Or Litany,Yoni Kasten,Yuval Atzmon
Categories:
PDF URL: https://arxiv.org/pdf/2610.28632.pdf
Arxiv URL: https://arxiv.org/abs/2610.28632
Arxiv ID: 2610.28632
CoolPaper URL: https://papers.cool/arxiv/2610.28632
Published: 2026-10-22T01:50:42.210Z
Updated: 2026-10-22T01:50:42.210Z
15. SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration
Abstract:Diffusion Transformers (DiTs) achieve high-fidelity image and video generation, but they suffer from substantial inference costs due to repeated transformer evaluations across many denoising steps. Feature caching reduces this cost by reusing features across denoising steps. Recent forecasting methods extend this idea by extrapolating features to skipped steps instead of reusing them. However, existing forecasting methods extrapolate the features they predict uniformly, even though the spatial-frequency components of these features change most at different stages of denoising. They also overlook that denoising progresses nonuniformly, so equal step intervals can correspond to very different amounts of change. These mismatches amplify forecast errors as more steps are skipped, limiting the achievable acceleration. We propose SpecKCast, a training-free method that forecasts the model output in the frequency domain. SpecKCast applies a 2D discrete cosine transform (DCT) to the output and tracks each coefficient with a lightweight Kalman filter along a band-specific time coordinate derived from the noise schedule. The filter tracks each coefficient’s value and rate of change, and the transformer is evaluated only when the filter’s forecast uncertainty exceeds a threshold. Experiments on FLUX.1-dev, Qwen-Image, Wan2.1-14B, and HunyuanVideo show that SpecKCast achieves a better trade-off between acceleration and fidelity than existing caching and forecasting methods, reaching up to 6x speedup with less than 0.05 GiB of additional memory.
中文摘要
摘要：扩散变换器（Diffusion Transformers，DiTs）能够实现高保真图像和视频生成，但由于在多个去噪步骤中需要反复评估变换器，它们的推理成本很高。特征缓存通过在去噪步骤之间重用特征来降低这种成本。近期的预测方法通过将特征外推到跳过的步骤而不是重用它们，扩展了这一思路。然而，现有的预测方法对它们预测的特征进行均匀外推，尽管这些特征的时空频率成分在去噪的不同阶段变化最大。它们还忽略了去噪过程的非均匀性，因此相等的步骤间隔可能对应非常不同的变化量。这些不匹配会随着跳过更多步骤而放大预测误差，从而限制可实现的加速。我们提出了SpecKCast，一种无需训练的方法，在频域中预测模型输出。SpecKCast对输出应用二维离散余弦变换（2D DCT），并沿从噪声调度得到的带特定时序坐标，用轻量级卡尔曼滤波器跟踪每个系数。滤波器跟踪每个系数的数值和变化率，仅当滤波器的预测不确定性超过阈值时才评估变换器。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上的实验表明，SpecKCast在加速与保真度之间实现了比现有缓存和预测方法更好的权衡，最高可达到6倍加速，同时额外内存消耗不到0.05 GiB。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.26837 (HTTP 429)
Authors: Javad Rajabi,Hakki Can Karaimer,David B. Lindell,Babak Taati,Michael S. Brown
Categories:
PDF URL: https://arxiv.org/pdf/2610.26837.pdf
Arxiv URL: https://arxiv.org/abs/2610.26837
Arxiv ID: 2610.26837
CoolPaper URL: https://papers.cool/arxiv/2610.26837
Published: 2026-10-22T01:50:43.624Z
Updated: 2026-10-22T01:50:43.624Z
16. LLM2R: From Large Language Models to 3D Reassemblers
Abstract:3D part assembly aims to reconstruct a complete shape from a set of unassembled parts by predicting a rigid SE(3) transformation for each part. Because the placement of a part is rarely determined by its own geometry, the task demands reasoning over the entire part set, and existing methods, which rely on pairwise relations or iterative generation and verification, scale poorly to objects with many parts. We present LLM2R, which casts part assembly as sequence modeling with a pretrained decoder-only large language model (LLM): a Point-BERT encoder and a Q-Former compress each part into a block of geometric tokens, the blocks of all parts are concatenated, and a causal LLM adapted with Low-Rank Adaptation (LoRA) processes the sequence in one forward pass. Causal attention, however, lets the hidden states of a part observe only the parts that precede it. LLM2R therefore appends a block of learnable summary tokens after the last part: these tokens follow every part, so their states aggregate the whole assembly at a constant token cost, and a part-aware pose head fuses each part’s states with them before predicting its rotation and translation. One architecture thus handles semantic and geometric assembly and predicts all poses in a single non-autoregressive pass. LLM2R achieves the highest part accuracy and success rate on all three PartNet categories, the best rotation error, translation error, and part accuracy on PartNeXt, and the lowest translation error and fastest inference on Breaking Bad, where only a fracture-specialized method is more accurate. Its advantage grows with the number of parts: at 100 parts it exceeds GARF by 33.5 points in part accuracy on Breaking Bad and Assembler by 29.1 points on PartNet, and it transfers zero-shot to unseen categories with more than 16 points higher part accuracy than the strongest of three baselines.
中文摘要
摘要：3D零件组装旨在通过预测每个零件的刚性SE(3)变换，从一组未组装的零件重建完整形状。由于零件的放置很少由其自身几何形状决定，该任务需要对整个零件集合进行推理，而现有方法依赖于成对关系或迭代生成与验证，对于零件数量多的物体，其扩展性较差。我们提出了LLM2R，将零件组装转化为使用预训练的仅解码大型语言模型（LLM）的序列建模：Point-BERT编码器和Q-Former将每个零件压缩为一个几何令牌块，然后将所有零件的块连接起来，经过应用了低秩适配（LoRA）的因果LLM一次性处理整个序列。然而，因果注意力使得一个零件的隐藏状态只能观察其之前的零件。因此，LLM2R在最后一个零件之后附加一块可学习的摘要令牌：这些令牌跟随每个零件，因此其状态可以以恒定的令牌成本聚合整个组装信息，而零件感知姿态头在预测旋转和平移之前将每个零件的状态与它们融合。一个架构即可处理语义和几何组装，并在单次非自回归过程中预测所有姿态。LLM2R在三个PartNet类别中达到最高的零件准确率和成功率，在PartNeXt上获得最佳旋转误差、平移误差和零件准确率，在Breaking Bad上获得最低平移误差和最快推理速度，仅有一种针对断裂的专用方法准确率更高。其优势随零件数量增加而增长：在100个零件时，它在Breaking Bad上零件准确率比GARF高33.5个百分点，在PartNet上比Assembler高29.1个百分点，并且可零样本迁移到未见类别，零件准确率比三种基线中最强的高出16个百分点以上。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.18604 (HTTP 429)
Authors: Zhouhan Zhong,Qiuhong Shen,Xingyi Yang,Jinyi Xu,Xinchao Wang
Categories:
PDF URL: https://arxiv.org/pdf/2610.18604.pdf
Arxiv URL: https://arxiv.org/abs/2610.18604
Arxiv ID: 2610.18604
CoolPaper URL: https://papers.cool/arxiv/2610.18604
Published: 2026-10-22T01:50:46.156Z
Updated: 2026-10-22T01:50:46.156Z
17. Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
Abstract:Mixture-of-experts (MoE) models often exceed a single accelerator’s memory capacity. Offloading experts to host memory creates a severe PCIe I/O bottleneck because data-dependent routing keeps transfers on the critical path. We present Specter, an inference system that uses quantization to combine speculative decoding with expert offloading. Its lightweight quantized draft model runs efficiently on device while preserving high-fidelity expert activation patterns. This provides accurate multi-step lookahead over future expert usage, allowing the runtime to organize expert movement and execution ahead of verification and improve both communication and execution efficiency. Under single-request inference, Specter achieves an average 1.50x (up to 1.88x) speedup in time per output token (TPOT) over the state-of-the-art system. Specter makes memory-constrained, single-GPU MoE inference more practical on commodity hardware. Our code is available at this https URL.
中文摘要
摘要：混合专家（Mixture-of-experts, MoE）模型通常会超过单个加速器的内存容量。将专家模型卸载到主机内存会造成严重的 PCIe I/O 瓶颈，因为数据依赖的路由会使传输成为关键路径。我们提出了 Specter，一种使用量化结合推测解码与专家卸载的推理系统。其轻量级量化草稿模型能在设备上高效运行，同时保留高保真度的专家激活模式。这提供了对未来专家使用的准确多步前瞻，使运行时能够在验证之前组织专家的移动和执行，从而提高通信和执行效率。在单请求推理下，Specter 在每个输出标记的时间（TPOT）上相比最先进系统平均实现 1.50 倍（最高 1.88 倍）的加速。Specter 使得在常规硬件上进行受内存限制的单 GPU MoE 推理更为实用。我们的代码可在此 https URL 获取。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 论文针对 Mixture-of-Experts（MoE）大模型在单卡加速器上推理时“参数体积远超显存”导致的 PCIe 取数瓶颈，提出把“数据搬运”从关键路径上移除。核心观察是： - 4-bit 量化版 MoE 对原模型 top-k 专家选择具有 >90% 的零训练预测保真度； - 利用该量化模型作为轻量草稿，可在首次 I/O 等待窗口内并行生成未来 k 个 token，并一次性获知未来多步所需专家集合； - 由此把“预测–预取–验证”三段流水线与显存层次缓存、动态投机长度调节相结合，使 PCIe 传输与 GPU 计算重叠，将 I/O 延迟隐藏到计算背后。 简言之，论文解决的是 > \*\*“MoE 推理中因动态专家激活导致的不可预测、高延迟 PCIe 取数问题”\*\*， 通过\*\*投机量化解码 + 前瞻预取 + 显存协同管理\*\*，在消费级 GPU 上把端到端 token 延迟降低最多 2.34×。 Q2: 有哪些相关研究？ 相关研究可归纳为三大主线，每类均列出与 MoE-SpeQ 最直接可比的代表工作： 1. MoE 高效推理与卸载 - \*\*DeepSpeed-Inference\*\*、\*\*FlexGen\*\*、\*\*Mixtral-Offloading\*\* 采用层/专家级 CPU↔GPU 换入换出，但均为“按需取数”，无法预测下一步专家，PCIe 阻塞在关键路径。 - \*\*ProMoE\*\*、\*\*Klotski\*\*、\*\*eMoE\*\*、\*\*HybriMoE\*\* 引入学习式或启发式预取，仍只做到单步预测，命中率受限于路由高熵；未与投机解码结合。 2. 投机解码（Speculative Decoding） - \*\*SpecInfer\*\*、\*\*EAGLE-1/2\*\*、\*\*Dynamic Depth\*\*、\*\*Opt-Tree\*\* 面向稠密模型设计，验证阶段仅激活一套参数；当目标模型为 MoE 时，k 个 token 可能触发 \*\*k×top-k\*\* 个不同专家，验证开销爆炸，反而变慢。 - \*\*Distill-Spec\*\*、\*\*FastDraft\*\*、\*\*CORAL\*\* 需要额外训练草稿模型或蒸馏，且未考虑专家级预取；MoE-SpeQ 的量化草稿零训练、专用于专家预测。 3. 大模型量化与内核优化 - \*\*GPTQ\*\*、\*\*AWQ\*\*、\*\*SmoothQuant\*\*、\*\*Marlin\*\* 提供 INT4 权重量化与融合 GEMM 内核，被 MoE-SpeQ 直接用作“草稿加速”底层算子。 - \*\*SPQR\*\*、\*\*Atom\*\*、\*\*BitMoD\*\* 探索更低比特或混合精度，但面向稠密模型；MoE-SpeQ 首次将 4-bit MoE 作为高保真“专家选择预言机”。 综上，MoE-SpeQ 与上述工作的差异在于： - 把\*\*量化草稿\*\*同时用作\*\*专家预测器\*\*与\*\*投机生成器\*\*； - 以\*\*多步专家前瞻\*\*驱动\*\*PCIe 预取+显存层次缓存\*\*，实现 I/O–计算重叠； - 通过\*\*Amortization Roofline 模型\*\*在线选择最优投机长度，兼顾吞吐与 TTFT。 Q3: 论文如何解决这个问题？ 论文将“MoE 推理受 PCIe 取数阻塞”重新定义为\*\*可重叠的延迟隐藏问题\*\*，并给出三阶段协同方案： 1. 预测阶段——把量化草稿当“专家预言机” - 4-bit 量化版 MoE 与原模型共享路由逻辑，对 top-k 专家选择保真度 >90%； - 利用首次强制 I/O 等待，在 GPU 上并行跑 k 步草稿，一次性生成 \*\*Expert Lookahead Buffer (ELB)\*\*：
ELB[i][j] = (expertid, confidence), quad 1le ile k, 1le jle L
从而提前获知未来 k× L 个专家需求。 2. 调度阶段——ELB 驱动的分层预取与缓存 - **三阶段流水线**： ① 本地命中优先 → ② 带宽自适应预取 → ③ 验证前饱和加载； - **熵感知替换**：按 ELB 中置信度+层间复用概率计算 eviction score，实现**近最优替换**； - **显存分区**：共享专家、路由、KV-cache 保持 FP16，其余专家 INT4，节省 43% 显存。 3. 控制阶段——Amortization Roofline 在线调 k 定义**摊销强度**
I(amort)(k)= mathbb E[accepted tokens]mathbb E[synchronous I/O bytes]
与有效吞吐
Theta(k)= k(accept)(k)T(draft)(k)+T(pcie)(k)+T(verify)(k)
实时求解
k^=argmax(k∈[k_min),k(SLO)] Theta(k)
保证 TTFT 不超阈值前提下，把运行点推到“compute roof”与“I/O roof”交界的膝部。 4. 执行阶段——融合内核+重排验证 - \*fuseMoE CUDA kernel**：把多个小 GEMM 合并为一次 kernel launch，解决 INT4 细粒度专家利用率低问题； - **验证重排**：按专家 ID 对 k 个 token 重排，提高 L2 命中率，减少冗余加载。 通过上述四步，系统把 PCIe 延迟从关键路径移除： > 草稿生成与首次 I/O 并行 → ELB 指导预取 → 验证阶段所需专家已驻留显存 → 整体吞吐提升最多 2.34×。 Q4: 论文做了哪些实验？ 论文在统一硬件平台上对 **3 个代表性 MoE 模型** × **5 个领域数据集** × **2 种显存预算** 展开系统级对比，并辅以微观测试与消融分析，共 4 组实验： 1. 端到端吞吐与延迟 - 平台：A100-PCIE-40 GB，PCIe 4.0 ×16，CPU 24 核 256 GB - 模型：Phi-3.5-MoE（41.9 B）、Qwen1.5-MoE-A2.7 B、DeepSeek-V2-Lite（15.7 B） - 数据集：C4、WikiText-2、HumanEval、GSM8K、GPQA，256-token 生成长度 - 配置：低显存（≈16 GB）与高显存（≈32 GB）两种预算 - 指标：平均输出 token 时间 TPOT - 结果：MoE-SpeQ 在高显存下把 Phi-MoE 从 536.7 ms/token 降到 163.1 ms（3.3×），Qwen-MoE 提升 2.5×，DeepSeek 提升 4.8×；低显存场景仍保持 >2× 优势。 2. 显存占用分解 - 场景：12 K context 长度下的 Qwen1.5-MoE - 对比：独立双模型 → 仅共享专家 → 再共享非专家参数 → 再共享 KV-cache - 结果：总显存由 13.4 GB 逐步降至 7.68 GB，节省 43%，使单卡 24 GB 即可跑 12 K 长序列。 3. 预取策略命中率 - 模型：DeepSeek-V2-Lite - 容量：16 GB / 24 GB / 32 GB 三种缓存预算 - 方法：LRU、扩大槽位 LRU、单次预取（ sooner/later ）、MoE-SpeQ 投机预取 - 指标：每解码步“所需专家已驻留”比例 - 结果：投机预取在 16 GB 缓存即达 99.85% 命中率，显著高于最佳 LRU 的 61%。 4. 消融与微基准 - 消融：DeepSeek-V2-Lite 上关闭异步预取 → 降速 5%；关闭 fuseMoE 内核 → 降速 31.8%；两者皆关 → 降速 36.3%。 - 微基准： – 对比 Marlin、PyTorch FP16、fuseMoE 内核在 K=1408/N=2048 细粒度专家上的 decode 延迟；fuseMoE 比 Marlin 额外快 1.45×。 – 对比不同草稿长度 k 下的 Θ(k) 曲线，验证 Amortization Roofline 模型在线选择的 k* 与实际最优 k 误差 <3%。 综合以上实验，论文量化了“投机量化解码 + 前瞻预取” 带来的端到端收益，并证实各组件（量化草稿、融合内核、分层缓存、动态 k 选择）对性能与显存节省的独立贡献。 Q5: 有什么可以进一步探索的点？ 以下方向可在此基础上继续推进，分“算法-系统-硬件”三层列出： --- ### 算法与模型层面 1. \*\*亚 4-bit 量化草稿\*\* - 尝试 2-bit、1-bit 或矢量量化（VQ-VAE、LookupQuant）进一步压缩草稿，验证专家选择保真度与解码速度的权衡。 - 引入 \*\*误差反馈校正\*\*：当草稿预测专家集合与目标模型差异 >τ 时，用一次“校正微网络”在线纠偏，降低 9% 的 mismatch 代价。 2. **动态专家池 / 弹性宽度** - 让草稿模型根据输入难度自动调整激活专家数（Top-k→Top-j），减少远距离 token 的过度预取，提高 VRAM 利用率。 - 结合 **early-exit** 思想，对浅层草稿提前终止，进一步缩短 TTFT。 3. **多草稿树/森林投机** - 将单序列 ELB 扩展为 **draft-tree**，每个节点对应一组专家需求，用 **max-cover** 算法挑选最小预取集合，提升带宽-命中率帕累托前沿。 —- ### 系统与调度层面 4. **异构多卡场景** - 把草稿放 A100，目标模型放 RTX4090，利用 NVLink+PCIe 双通道做 **分层预取**；研究不同 NUMA 拓扑下的最优放置策略。 - 引入 **专家级流水线并行**：将不同层专家静态分片到多 GPU，ELB 充当跨卡 prefetch 信号，减少单卡显存峰值。 5. **SLO 感知的批处理** - 在连续批处理（continuous batching）环境下，将 Amortization Roofline 模型扩展为 **multi-instance 版本**，联合优化吞吐、TTFT 与尾延迟 P99。 - 探索 **k 的动态热升级**：对交互请求用小 k，背景批用大 k，同一 GPU 内时分复用。 6. **与页式内存系统协同** - 结合 vLLM 的 PagedAttention，把专家参数也拆成 4 MB 块，做 **专家页表**；当 ELB 预测置信度低时只预取“页级子块”，进一步隐藏延迟。 - 利用 **uVM / CUDA Unified Memory** 的 on-demand migration 机制，把 ELB 作为迁移提示（prefetch hint），减少 CPU-GPU 往返。 —- ### 硬件与加速层面 7. **专用预取引擎** - 在 FPGA 或 SmartNIC 上实现 **ELB 解析 + DMA 调度** 逻辑，PCIe 传输零 CPU 介入；量化草稿仍在 GPU，形成 **GPU-FPGA 协同投机**。 - 评估不同 PCIe 世代（Gen4/Gen5/CXL 2.0）下的带宽-计算拐点，验证 Roofline 膝部迁移规律。 8. **量化-稀疏融合内核** - 将 INT4 权重与 2:4 稀疏模式结合，设计 **Sparse-INT4 GEMM**，进一步把草稿阶段计算强度降到 <1 FLOP/Byte，实现“内存墙外”推理。 - 针对 CXL 共享内存，开发 \*\*cache-line 粒度 fine-grain 预取指令\*\*，把专家参数直接读到 GPU L2，跳过 GDDR 写回。 9. \*\*存内计算（PIM）专家\*\* - 把最热的共享专家放入 HBM-PIM 或 ReRAM 存内计算宏，草稿阶段直接在该宏上完成，消除 20–30% 的内存流量。 - 研究 ELB 置信度阈值：仅当置信度 >0.95 才触发 PIM 计算，避免误算能耗。 —- ### 评估与 Benchmark 10. **真实工作负载追踪** - 收集 Chatbot、Co-pilot 等在线服务的**长轨迹**，测量专家激活的时空局部性，验证 ELB 在实际高熵场景下的命中率衰减。 - 建立 **MoE-PerfBench**：包含超长上下文（100 K+）、多轮对话、工具调用等模式，用于标准化未来 MoE 推理系统对比。 通过上述探索，可逐步把“投机-预取”框架从单卡 PCIe 瓶颈扩展到**多卡-异构-新内存层次**，并推向更低比特、更高能效的下一代 MoE 部署。 Q6: 总结一下论文的主要内容 - **问题**：MoE 模型参数 ≫ 单卡显存，只能把专家卸载到主存；自回归每 token 动态选专家，PCIe 取数成为关键路径，GPU 利用率 <15%。 - \*\*关键观察\*\*：4-bit 量化 MoE 对原模型 top-k 专家选择保真度 >90%，可作为零训练“专家预言机”。 - **核心思想**：把不可避免的首次 PCIe 延迟转化为“免费”计算窗口——用量化草稿并行生成 k 个 token，同时得到未来 k×L 个专家需求（ELB），随后验证阶段一次性并行执行，实现 I/O-计算重叠。 - **系统实现（MoE-SpeQ）** 1. **Speculative Governor**：在线求解 Amortization Roofline 模型，动态选择满足 TTFT-SLO 的最优 k。 2. **Expert Scheduler**：以 ELB 为输入，三阶段（本地命中→带宽自适应→验证前饱和）预取，配合熵感知缓存替换，单卡 16 GB 即可达 >99% 专家命中率。 3. **Execution Engine**：草稿与目标模型共享 KV-Cache 与非专家参数；FP16 保留路由/共享专家，其余 INT4；fuseMoE 内核合并多小 GEMM，验证阶段按专家重排 token 提升缓存局部性。 - **效果**：A100-40G 上对比 HuggingFace 与 Mixtral-Offloading，Phi-MoE 吞吐提升 3.3×（最高 2.34× 平均），显存节省 43%，单卡 24 GB 可跑 12 K 长序列；消融实验表明预取与融合内核分别贡献 5% 与 32% 速度。 - **意义**：首次将“投机量化解码”与“专家卸载”协同设计，把数据依赖的 PCIe 瓶颈从关键路径移除，为消费级 GPU 部署百亿级 MoE 提供了可复制的系统范式。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Wenfeng Wang,Xiaofeng Hou,Xinfeng Xia,Xinkai WAng,Mingxuan Zhang,Peng Tang,Jiacheng Liu,Chao Li
Categories:
PDF URL: https://arxiv.org/pdf/2511.14102.pdf
Arxiv URL: https://arxiv.org/abs/2511.14102
Arxiv ID: 2511.14102
CoolPaper URL: https://papers.cool/arxiv/2511.14102
Published: 2026-10-22T01:50:46.317Z
Updated: 2026-10-22T01:50:46.317Z
18. Evolving Agent Interfaces
Abstract:Computer-use agents are limited by the interfaces humans give them. An agent may type a spreadsheet cell by cell when a single line of code would do, or print all two thousand lines of a file through a shell to find one function. Both the interfaces and the knowledge of when to use each are built by hand, which cannot keep pace with new applications, workflows, and models. We argue that interface design should itself be an agent capability. We introduce Agent S4, an autonomous computer-use scientist that builds Evolving Agent Interfaces from task experience. A meta-agent examines task agents’ trajectories on synthetic training tasks, without success labels, and constructs and revises interfaces and usage knowledge in a repository. Population-based evolution then selects which repositories to develop further by their performance on validation tasks the meta-agent never sees, favoring changes that generalize beyond the seen tasks. On OSWorld V2, Agent S4, with Qwen3.8-27B and the evolved repository of interfaces, sets a new state of the art in open-source computer-use agents, reaching 21.3% binary score, 3.8 times the same model with fixed interfaces. This is above both GPT-5.5 (13.0%) and Claude Opus 4.8 (20.6%), at about 4.3% and 1.5% of their respective costs. On ScienceBoard, the evolved interfaces improve the success rate from 41.4% to 58.6% with the same model. These results suggest that useful interfaces can be evolved from experience, making autonomous interface design a source of improvement complementary to advances in models and harnesses. We open-source our code at this https URL.
中文摘要
摘要：计算机使用代理受限于人类赋予它们的接口。一个代理可能会逐个单元格地输入电子表格，而其实一行代码就够了，或者通过 shell 打印文件的两千行来找到一个函数。接口以及何时使用每个接口的知识都是手工构建的，这无法跟上新应用、工作流程和模型的发展。我们认为界面设计本身应该成为代理的能力。我们引入了 Agent S4，一个自主的计算机使用科学家，它能根据任务经验构建演化的代理接口。一个元代理在合成训练任务上检查任务代理的轨迹，而无需成功标签，并在一个存储库中构建和修订接口及使用知识。基于种群的进化随后根据元代理从未看到的验证任务上的表现选择哪些存储库需要进一步开发，偏向那些能够超越已见任务泛化的变化。在 OSWorld V2 上，Agent S4 使用 Qwen3.8-27B 和演化后的接口存储库，创造了开源计算机使用代理的新状态，达到了 21.3% 的二进制评分，相当于使用固定接口的同一模型的 3.8 倍。这超过了 GPT-5.5（13.0%）和 Claude Opus 4.8（20.6%），其成本约为各自的 4.3% 和 1.5%。在 ScienceBoard 上，演化后的接口使得相同模型的成功率从 41.4% 提升到 58.6%。这些结果表明，有用的接口可以从经验中演化而来，使自主界面设计成为与模型和工具进步互补的改进来源。我们在此 https URL 开源了我们的代码。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28601 (HTTP 429)
Authors: Saaket Agashe,Yuzhe Yang,Gonzalo Gonzalez-Pumariega,Bhuvan Chandra Koduru,Chih-Lun Li,Jiachen Yang,Ang Li,Xin Eric Wang
Categories:
PDF URL: https://arxiv.org/pdf/2610.28601.pdf
Arxiv URL: https://arxiv.org/abs/2610.28601
Arxiv ID: 2610.28601
CoolPaper URL: https://papers.cool/arxiv/2610.28601
Published: 2026-10-22T01:50:46.962Z
Updated: 2026-10-22T01:50:46.962Z
19. Breaking Diffusion: Parallel Reasoning with Draft Refinement
Abstract:Drafting an answer allows a reasoning model to reconsider each decision in the context of the others. Yet repeated diffusion denoising does not ensure that individually plausible token updates form a better answer together. We introduce Draft Refinement Language Models (DRLMs), which use a single denoiser to propose parallel revisions and evaluate a candidate draft. We train the denoiser to reconstruct every token from uniformly corrupted drafts, teaching both preservation and repair. Its predictions specify revisions directly, without a diffusion reverse transition. Evaluation requires a different use of these predictions: confidence in an existing token reflects both contextual support and evidence from observing the token itself. Using the known corruption process, we correct for this self-token evidence to estimate how well each token is supported by the prompt and the remaining draft. Aggregating these estimates yields a cavity energy computed in one forward pass, without an additional scoring model. Each round proposes a revision, reads the completed candidate in its revised context, and retains it only if its energy is lower. Across Countdown, Sudoku-Extreme, and Maze-Hard, our method outperforms autoregressive and discrete diffusion baselines. With 6M parameters, DRLM reaches 44.4% on Countdown-5 and 93.9% on Sudoku-Extreme. The results establish complete-draft parallel refinement as an effective alternative to reverse diffusion for complex reasoning.
中文摘要
摘要：起草答案让推理模型能够在考虑彼此关联的情况下重新审视每个决策。然而，重复的扩散去噪并不能保证单独合理的词元更新能够共同形成更好的答案。我们提出了草稿精炼语言模型（DRLMs），它使用单一的去噪器来提出平行修订并评估候选草稿。我们训练去噪器从均匀扰动的草稿中重建每个词元，同时教授保留与修复。它的预测直接指定修订，而无需扩散逆向转换。评估需要对这些预测进行不同的使用：现有词元的置信度既反映上下文支持，也反映观察到该词元本身的证据。利用已知的扰动过程，我们对这种自词元证据进行校正，以估计每个词元在提示和其余草稿中的支持程度。聚合这些估计值可以在一次前向推理中计算空腔能量，而无需额外的评分模型。每轮提出一次修订，读取在其修订上下文中的完整候选草稿，并仅在其能量更低时予以保留。在Countdown、Sudoku-Extreme和Maze-Hard上，我们的方法均优于自回归和离散扩散基线。采用6M参数时，DRLM在Countdown-5上达到44.4%，在Sudoku-Extreme上达到93.9%。结果证明，完整草稿的平行精炼是复杂推理任务中逆向扩散的有效替代方案。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.26542 (HTTP 429)
Authors: Jaesang Yu,Seoyeon Byun,Yun Wang,Yan Lu,Juho Kim
Categories:
PDF URL: https://arxiv.org/pdf/2610.26542.pdf
Arxiv URL: https://arxiv.org/abs/2610.26542
Arxiv ID: 2610.26542
CoolPaper URL: https://papers.cool/arxiv/2610.26542
Published: 2026-10-22T01:50:49.124Z
Updated: 2026-10-22T01:50:49.124Z
20. Epi: Towards a Persistent, Self-Improving Agent for Autonomous Research
Abstract:We present Épi, an autonomous research agent that sustains investigations across model sessions and evolves its methods through accumulated experience. Épi combines persistent research history, hierarchical memory, branching and independent review to maintain research continuity, learn from experiments, and explore and revisit alternative approaches. Its experiments run across session boundaries, and a fixed verifier evaluates their outputs. Épi produced 120 record-setting results, comprising 20 numerical bound records across 12 families and 100 construction records across eight families. These include an approximately 84-fold narrower interval for the $n$-queens constant and a more than 3.6-million-fold narrower rigorous interval for the quartic Feigenbaum attractor dimension. Exact dual certificates establish that the Cohn-Elkies linear-programming bound cannot be sharp in dimensions 10 and 11. Beyond numerical improvements, Épi gives a computer-assisted proof of Tuza’s conjecture for split graphs with an eight-vertex clique part and at most three triangle-active neighborhood types, with arbitrary multiplicities. We extend this research process to algorithmic coding with Épi-turbo, a lightweight configuration that develops executable solvers for tasks including vehicle routing, scheduling and production planning. On 30 FrontierOR tasks, Épi-turbo achieves a 5.4% higher total benchmark score than Codex at 64% of its model cost, using the same underlying model and reasoning effort. Épi is designed to support human understanding by connecting computational results to explicit methods and mathematical arguments that researchers can examine and build upon.
中文摘要
摘要：我们提出了 Épi，一种自主研究代理，能够在模型会话中持续进行研究，并通过累积经验不断改进其方法。Épi 结合了持久的研究历史、分层记忆、分支与独立审查，以保持研究的连续性，从实验中学习，并探索和重访替代方法。其实验跨会话边界进行，并由固定的验证器评估结果。Épi 产生了 120 项创纪录的成果，包括 12 个家族的 20 项数值界记录以及 8 个家族的 100 项构造记录。其中包括 $n$ 皇后常数约 84 倍更窄的区间，以及四次 Feigenbaum 吸引子维度精确区间超过 360 万倍更窄。精确的对偶证书证明 Cohn-Elkies 线性规划界在第 10 和 11 维中不可能达到最优。除了数值改进外，Épi 还给出了 Tuza 猜想在分裂图（由一个八顶点团和最多三种三角形活动邻域类型组成，具有任意重数）情况下的计算机辅助证明。我们将这一研究过程扩展到算法编码，提出了 Épi-turbo，这是一种轻量级配置，能够开发可执行求解器，用于包括车辆路线规划、调度和生产规划等任务。在 30 个 FrontierOR 任务上，Épi-turbo 在使用相同基础模型和推理 effort 的情况下，以 64% 的模型成本实现了比 Codex 高 5.4% 的总基准得分。Épi 的设计旨在通过将计算结果与明确的方法和数学论证联系起来来支持人类理解，研究人员可以检查和基于这些结果进行进一步构建。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决\*\*自主研究代理（autonomous research agents）如何在跨越多个模型会话的长期研究过程中持续保持研究连续性、从实验经验中学习并改进自身方法，同时有效探索替代方案与回溯\*\*的问题。 具体而言，论文聚焦于以下三个核心挑战： 1. \*\*维持研究连续性（Maintaining Research Continuity）\*\* 实验与研究决策往往跨越多个模型会话。为了继续一项研究，代理需要访问正在运行的任务、代码、中间结果以及早期决策的理由。随着历史记录的增长，代理必须能够在有限的上下文窗口中筛选出当前所需的关键信息，包括实验状态、相关经验以及先前方法失败的原因。 2. \*\*从实验经验中学习（Learning from Experimental Experience）\*\* 代理需要将实验观察转化为可指导后续决策的知识。这要求识别哪些选择产生了特定结果、该方法在何种条件下适用，以及支持该经验的证据是什么。代理必须保留这些知识，并在相关任务中检索和更新它们。 3. \*\*探索替代方案与回溯（Exploring Alternatives and Backtracking）\*\* 单一研究方向只能探索可用方法的一部分。代理需要保存每种替代方法的实现与证据，在共同的评估规则下比较候选方案，并在新发现使早期工作重新具有价值时恢复这些工作。 为应对上述挑战，论文提出了 \*\*Épi\*\*，一个持久化且能自我演进的自主研究代理。其核心机制包括： - \*\*分层记忆（Hierarchical Memory）\*\*：分离即时上下文与可复用的长期经验，支持跨会话恢复研究状态。 - \*\*版本化分支（Versioned Branches）\*\*：开发替代方法的同时保留每种方法的代码与证据，支持回溯到已保存的实现。 - \*\*独立评审（Independent Review）\*\*：由独立模型评估研究进展与证据，避免代理自身评估的局限性。 - \*\*固定验证协议（Fixed Verification Protocol）\*\*：在完整研究活动（campaign）中采用固定的评估规则（ruler）与增益下限（gain floor），确保不同方法间的比较基础一致。 论文通过在\*\*数学发现\*\*（如将 n -queens 常数的区间缩小约 84 倍、证明 Cohn–Elkies 界限在 10 维和 11 维不尖锐、对 Tuza 猜想的新证明等，共 120 项创纪录结果）和\*\*算法编码\*\*（Épi-turbo 在 30 个 FrontierOR 任务上以 64% 的模型成本取得比 Codex 高 5.4% 的总基准分数）两个领域验证了该框架的有效性。最终目标是使自主研究不仅能产生更优结果，还能通过保留实现、实验工件与研究笔记，将这些结果与明确的方法和数学论证相联系，从而支持人类的理解与后续研究。 Q2: 有哪些相关研究？ 根据论文第7节（Related work）及引言中的讨论，相关研究可按其关注的核心问题分为以下几类： ### 1. 实验方向探索与假设精炼 - \*\*The AI Scientist-v2\*\*（Yamada et al., 2025）：通过 \*\*agentic tree search\*\* 探索实验方向。 - \*\*Co-Scientist\*\*（Gottweis et al., 2026）：利用模型生成的批评（critique）围绕研究目标精炼假设。 - \*\*InternAgent-1.5\*\*（Feng et al., 2026）：协调生成与验证，跨越计算任务与实证任务。 - \*\*AIRA2\*\*（Hambardzumyan et al., 2026）：通过异步实验与一致的评估协议解决执行层面的瓶颈。 \*与Épi的区别\*：Épi在单个 campaign 内保持验证器（verifier）与评估规则（ruler）固定，而代理方法可以持续演化。 ### 2. 研究状态的表示、延续与跨任务知识传递 - \*\*Kosmos\*\*（Mitchener et al., 2025）：使用共享世界模型连接文献搜索与数据分析。 - \*\*ScienceFlow\*\*（Zhao et al., 2026）：保存可恢复的可执行研究状态，支持暂停与回溯。 - \*\*AgentRxiv\*\*（Schmidgall and Moor, 2025）：通过研究报告在多次调查之间传递知识。 - \*\*AutoKD\*\*（Ge et al., 2026）：构建持久化的已接受发现图谱。 \*与Épi的关系\*：Épi同时保留了恢复 campaign 所需的\*\*实验状态\*\*，以及可在其他问题上复用的\*\*经验教训\*\*（lessons）；其\*\*分支（branches）\*\*机制还在 campaign 内部保存了替代历史。 ### 3. 基于可执行评估的程序生成与搜索 - \*\*FunSearch\*\*（Romera-Paredes et al., 2024）与 \*\*AlphaEvolve\*\*（Novikov et al., 2025）：通过测量性能来指导程序生成，用于数学与算法发现。 - \*\*SimpleTES\*\*（Ye et al., 2026）：通过独立搜索轨迹与评估历史的重用实现搜索规模化。 - \*\*Dream-RSI\*\*（Zheng et al., 2026）：将记录的发现树转化为可重放的环境，用于评估和修订探索策略，再部署到后续搜索中。 - \*\*TTT-Discover\*\*（Yuksekgonul et al., 2026）：在测试时调整模型权重。 \*与Épi的区别\*：Épi保持模型权重固定，依赖存储的经验教训与分支历史来指导下一次实验。 ### 4. 记忆机制与经验重用（引言部分） - \*\*MemoHarness\*\*（Huang et al., 2026）：在训练期间构建记忆库，检索执行诊断与可复用模式，以在测试时自适应调整。 - \*\*MemGPT\*\*（Packer et al., 2023）、\*\*Generative Agents\*\*（Park et al., 2023）与经典记忆模型（Atkinson and Shiffrin, 1968）：为Épi的分层记忆设计提供了基础。 ### 5. 自我修正与验证（引言部分） - \*\*Huang et al. (2024)\*\*：指出大语言模型尚不能自我修正推理， motivates Épi 引入独立评审。 - \*\*Denison et al. (2024)\*\*：关于奖励篡改（reward hacking）的研究， motivates Épi 通过固定验证器检查分数提升是否反映真实任务进展。 ### 6. 其他相关资源 - \*\*Hyra\*\*（Hyra Team, 2026）：发布可供进一步细化的构造结果，Épi 的调查可在此基础上继续，也可扩展到寻找证书或证明定理（如 Tuza 猜想案例）。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*Épi\*\* 这一自主研究代理，将研究过程的持续性、经验积累与方法论演进整合为一个闭环系统。其核心解决方案围绕以下机制展开： --- ### 1. 分层记忆与跨会话持久化（维持研究连续性） 为应对实验与决策跨越多个模型会话所带来的上下文断裂问题，Épi 建立了\*\*分层记忆架构\*\*： - \*\*短期记忆\*\*支撑当前调查所需的即时上下文；\*\*长期记忆\*\*则保留可跨战役复用的经验。记忆记录分为三类：研究上下文、\*\*经验教训（lessons）\*\* 与 \*\*死胡同（dead ends）\*\*，分别记录可复用的发现、无效的方法及被放弃的原因。 - 在每次会话边界，代理记录研究发现及一份\*\*交接说明（handover note）\*\*，标识当前状态与下一步行动。后续会话接收相关记忆记录，并可按需打开引用的文件，从而在有限上下文内恢复研究，无需重放完整历史。 - 代码、实验工件与详细研究笔记存储于\*\*持久化文件系统\*\*中；经验教训与死胡同则存放在模型上下文外的记忆存储里，确保实验状态跨会话延续。 --- ### 2. 版本化分支与回溯（探索替代方案） 为避免单一研究方向对方法空间的过早收敛，Épi 采用\*\*版本化分支（versioned branches）\*\*机制： - 每个分支在版本化仓库中独立保存一套实现、测试与笔记。代理通过提交（commits）保存变更，并可从早期提交创建新分支，从而并行开发多种替代方法（例如，在同一 packing 问题中，一个分支优化坐标，另一个分支改变接触模式）。 - \*\*回溯\*\*通过返回到已保存的实现并尝试不同的延续来完成；代理也可重新审视现有分支并扩展已有工作。 - 被放弃的分支仍被保留并记录放弃原因，以便后续调查在新证据出现时恢复这些早期工作。所有分支的候选结果均在\*\*同一固定评估规则\*\*下比较，确保方法间的公平对比。 --- ### 3. 经验归纳与动态更新（从实验中学习） Épi 将实验观察转化为可指导未来决策的结构化知识： - 代理在实验过程中识别哪些选择产生了特定结果、该方法适用的条件，以及支持该结论的证据。这些发现以\*\*经验教训\*\*的形式存入长期记忆，并与具体条件和证据关联。 - 随着新实验结果的到达，代理\*\*更新\*\*现有记忆，而非简单追加。这使得经验能够在后续战役中被检索并应用于不同但相关的问题。 - 已验证的发现会成为新战役的\*\*参考基准（reference）\*\*，推动研究环境的持续演化；例如，一个数值估计可引出包含严格误差控制与证书表示的新验证任务。 --- ### 4. 独立评审与固定验证协议（避免自我欺骗与保证评估一致性） 为防止代理因自身视角局限而误读证据，并确保改进反映真实进展而非奖励篡改，Épi 引入双重外部约束： - \*\*独立评审\*\*：由\*\*不同的独立模型\*\*担任审查者，获取分数轨迹、尝试方法、检索发现、比较基线与资源使用信息，评估证据实际支持什么、代理对进展的解释是否合理。评审结果供后续会话参考，且评审者身份被记录。 - \*\*固定 ruler 与增益下限\*\*：在每个战役开始前，论文明确固定\*\*评估规则（ruler）\*\*，包括提交格式、可行性条件、目标函数、归一化方式与比较值；同时设定\*\*增益下限（gain floor）\*\* δ > 0 。对于最小化问题，仅当
V(x)=1, quad Delta(x) ≥ δ
时接受改进，其中 Delta(x) = b - f(x) 为相对参考值 b 的改进量。验证器在固定容差下检查约束，而代理使用该下限判断改进是否具意义。这排除了因报告精度或常规后处理导致的虚假进展，并为所有分支提供一致的比较标尺。 —- ### 5. 执行基础设施支持 Épi 依托 **Breadboard** 执行基础设施提供： - 隔离的实验环境； - 跨模型会话的长期运行作业支持； - 研究历史（代码、分支状态、实验输出）的持久化存储； - 固定验证器的隔离运行与状态恢复能力。 代理利用这些服务执行实验、检查结果并在会话中断后恢复研究。 —- ### 6. 轻量级扩展：Épi-turbo（算法编码场景） 针对算法设计任务，论文提出 **Épi-turbo** 配置，将上述研究流程适配为低开销模式： - 保持固定 ruler 验证、分支状态持久化与跨会话记忆核心不变； - 通过**连续会话**尽可能不重启上下文，将预算集中于算法设计与短周期测试，仅在实验需要超时会话时才提交至执行基础设施； - 预留模型调用预算上限，确保战役成本可控； - 在 FrontierOR 基准上，该配置以 64% 的模型成本实现了较基线更高的总分，证明上述持久化与反馈驱动的方法论同样适用于路由、调度、生产规划等算法编码任务。 —- 综上，Épi 通过**分层记忆实现跨会话 continuity**、**版本化分支实现探索与回溯**、**结构化经验实现自我改进**、**独立评审与固定 ruler 保证评估的客观性**，并由**持久化执行基础设施**支撑整个循环，从而系统性解决了自主研究代理在长期、多会话调查中的核心挑战。 Q4: 论文做了哪些实验？ 论文中的实验可分为**数学发现**与**算法编码**两大范畴，共涵盖 120 项创纪录结果及一项定理扩展，并在 30 个算法设计任务上进行了系统基准对比。具体如下： —- ### 1. 数学发现实验 #### 1.1 总体统计（第 4 节） 实验在数天内使用 OpenAI 前沿模型（GPT-5.6 Sol 与 GPT-6-Astra）运行，按问题设定计算预算。最终产生： - **120 项创纪录结果**：包括 **100 项构造记录**（覆盖 8 个家族）与 **20 项数值界限记录**（覆盖 12 个家族）。 - **1 项定理扩展**：Tuza 猜想的新情形证明（不计入上述 120 项）。 #### 1.2 构造记录（第 4.2 节） 共 100 项，其中 97 项为几何堆积，3 项为非堆积构造： - **几何堆积家族**：圆形象限（46 项）、四维球（36 项）、五边形（9 项）、半圆（5 项）、八边形（1 项）。 - **非几何构造**：车辆路由（1 项）、有符号最大自相关不等式（1 项）、Zhang–Zagier 构造（1 项）。 #### 1.3 数值界限记录（第 4.3 节与附录 A） 覆盖 12 个数学家族的 20 项记录，验证方式各异： - **Wellens’ D∞ **：有理见证。 - **Cohn–Elkies 对偶界限**：精确对偶证书（维度 9、10、11、13）。 - **Spencer 常数**：全部 256 种符号赋值验证。 - **二聚体熵（Dimer entropy）**：整数转移不等式。 - ** n -queens 常数**：有理与区间检查，区间宽度缩小约 84 倍。 - **Ramsey c(4,5) **：1,024 顶点图。 - **MAX-4-CUT 比率**：整数加权 gadget。 - **Klarner 常数 λ **：递推证书。 - **$B_h
g
系数：区间认证核（ h=3,dots,7 五项改进）。 - 四次 Feigenbaum 吸引子维度：全定义域区间证明，区间宽度缩小逾 360 万倍。 - 量子噪声容量：正相干信息。 - 水网络设计（waterund36）：精确下界证书。 #### 1.4 详细案例研究（第 5 节） 论文对以下 7 个代表性案例展开深入分析： - 五边形堆积精化（5.1）：将 34 个单位边长正五边形放入最小等边三角形，边长从约 12.9814 降至约 12.9756。 - Cohn–Elkies 界限与堆积密度分离（5.2）：在维度 10 和 11 中，证明 Cohn–Elkies 线性规划界限不可能尖锐（sharp），即严格大于真实堆积密度上界，相对分离度分别约为 0.35% 和 1.92%。 - n -queens 常数区间压缩（5.3）**：将常数 α 的区间从
1.944000752, 1.944001082
收紧至
1.9440010223327, 1.9440010262694
，宽度缩减约 84 倍。 - MAX-4-CUT gadget 优化（5.4）：在固定 gadget 结构下优化边权重，将不可近似比率从 195581/198140 ≈ 0.987085 改进至 84931/86101 ≈ 0.986411 。 - Spencer 常数构造（5.5）：构造一个 8 × 8 矩阵，其条目 ∈ -1,0,1 ，通过穷举 256 种符号赋值验证其偏差恰好为 5，将下界从 7/√17 提升至 5/√8 。 - 水网络设计认证（5.6）：对 MINLPLib 中的 waterund36 实例，将全局下界从约 655.544 提升至约 662.807（与已知可行值差距约 10^(-5) ），关闭逾 99.999% 的 optimality gap。 - Tuza 猜想的计算机辅助证明（5.7）：对团部分为 8 个顶点、独立部分最多含三种三角活跃邻域类型的分裂图（split graphs），证明 τ_triangle(G) le 2nu_triangle(G) 。通过有限归约与 18,444 个整数多重性盒子的精确证书，将有限验证扩展至任意重数的无穷图族。 —- ### 2. 算法编码实验：Épi-turbo（第 6 节） #### 2.1 实验设计 - 基准：FrontierOR（含 180 个运筹学任务的文献基准）。 - 任务选择：从中选取 30 个对两个系统均为陌生的任务（13 个来自官方困难集，17 个难度排名 51–70），涵盖车辆路由、调度、生产计划、设施选址、聚类与图优化。 - 对比系统：Codex（OpenAI, 2026），使用相同底层模型 GPT-6-Astra 与相同推理努力。 - 预算：每任务模型预算 20。 - 评估协议：开发阶段在 2 个实例上测试；战役结束后，最优程序在 4 个 held-out 实例上各运行 1 小时。评分由质量项（与参考值的差距）与速度项（相对于参考求解器的运行时间）组成。 #### 2.2 主要结果 - 总分：Épi-turbo 为 53.96，Codex 为 51.21，提升 5.4%。 - 胜出任务数：Épi-turbo 在 18 个任务上得分更高，Codex 在 12 个上更高。 - 成本：Épi-turbo 平均成本为 7.30/任务，中位研究时间约 22 分钟；Codex 平均 11.35/任务，中位 37 分钟。Épi-turbo 总成本约为 Codex 的 64%。 - 运行时间：在 held-out 实例上，Épi-turbo 程序中位运行时间为 2.9 秒，Codex 为 9.3 秒；Épi-turbo 无任务超过 30 分钟，Codex 有 7 个任务的 17 次运行超过 30 分钟。 - 质量与速度分解：两者平均质量项接近（1.030 vs 1.032），Épi-turbo 的优势主要来自更高的速度项（0.784 vs 0.675），因其程序通常在搜索无法改进时及时终止。 #### 2.3 代表性任务表现（第 6.4 节与表 5） 在 Épi-turbo 优势最大的 10 个任务中，涉及： - 超平面聚类（amaldi2013） - 团拦截（furini2021） - 带节点成本的车辆路由（he2020） - 最大团（furini2019） - 协同起重机调度（kress2019） - 过程配置与生产计划（delage2022） - 带时间窗分配的路由（spliet2015） - 图着色（gualandi2012） - 集合划分（zhang2025） - 设施选址（fischetti2017） 这些实验表明，Épi 的持久化、分支与记忆机制不仅适用于数学构造与严格证明，也能在有限预算内高效开发出兼具质量与速度的优化算法求解器。 Q5: 有什么可以进一步探索的点？ 基于论文所提出的框架与实验结果，以下方向值得进一步探索： —- ### 1. 模型自适应与持续学习 论文在报告的战役中保持模型权重固定，依靠记忆与分支实现方法演进。未来可研究在战役期间或跨战役动态调整模型参数（如测试时训练、持续学习或微调），观察其是否能加速收敛或发现更深层的结构。与此相关，如何将 TTT-Discover 等权重自适应机制与 Épi 的持久化记忆、分支体系结合，是一个自然的技术延伸。 —- ### 2. 记忆机制的深化与自动化 当前的分层记忆已区分短期与长期经验，但以下问题仍具研究空间： - 记忆的自动整理与遗忘：随着战役累积，如何识别并压缩过时或冗余的经验，同时保留关键推断链； - 跨领域迁移：长期记忆中的经验教训能否自动抽象为领域无关的研究启发式，从而迁移到全新的数学或算法家族； - 记忆冲突解决：当不同分支导出相互矛盾的经验时，代理如何评估证据强度并更新信念。 —- ### 3. 分支策略与计算资源的智能分配 版本化分支为并行探索提供了基础，但分支的创建、合并与剪枝目前依赖代理的自主决策。可引入更系统的搜索与资源分配策略： - 利用多臂老虎机（bandit）算法或贝叶斯优化，根据分支的历史表现动态分配计算预算； - 设定自动回溯触发条件（如连续多轮未达增益下限 δ 时强制切换分支），减少在无效路径上的沉没成本； - 研究分支合并机制，将不同分支的成功组件组合成新的混合方法。 —- ### 4. 验证与评审机制的演进 Épi-turbo 在短任务中关闭了独立评审以控制成本，这提示了评审机制的优化空间： - 自适应评审：根据任务复杂度、当前置信度或资源剩余量，动态决定是否启用独立评审； - 评审知识蒸馏：训练一个轻量级模型来近似独立评审者的判断，从而在低开销下保留外部反馈的收益； - 自动 ruler 生成：当前评估规则（ruler）由策展人预先设定。对于开放性问题，可探索代理如何自动形式化问题目标与约束，构建可执行的验证环境。 —- ### 5. 从封闭问题到开放式科学发现 论文聚焦于具有可验证输出的任务（构造、界限、证明）。下一步可探索： - 开放式猜想生成：在缺乏现成参考值或明确验证器的领域，代理如何提出有意义的猜想并设计验证路径； - 多模态实验循环：将研究范围从纯代码/数学证明扩展到需要仿真、物理实验（wet lab）或传感器数据的领域，处理噪声更大、反馈周期更长的环境； - 跨学科问题重构：代理能否自动识别一个领域的技术可迁移到另一个领域（如将 packing 的几何洞察用于网络设计）。 —- ### 6. 人机协作与可解释性增强 论文强调连接计算结果与人类理解，但交互层面仍有拓展余地： - Human-in-the-loop 的最优介入点：研究人类研究者应在何时介入（如分支选择、关键定义修改、证明策略确认），以最大化人机联合发现效率； - 自然语言证明生成：当前 Tuza 猜想的案例提供了有限验证与逻辑归约，但未来可探索让代理生成人类数学家可直接审阅的自然语言证明草稿，而非仅提供可检查的证书； - 交互式分支历史可视化：开发工具让研究人员直观浏览版本化分支的演化树、对比不同方法的实验证据，并直接基于历史笔记提出新的研究假设。 —- ### 7. 多智能体协作研究 当前架构以单代理为主，辅以独立的评审模型。可进一步探索： - 多代理并行探索：多个代理各自负责不同的方法家族或子问题，通过共享记忆池交换发现； - 代理分工：例如，一个代理专注于构造候选解，另一个专注于证明下界或寻找反例，形成类似数学研究社区的协作模式。 —- ### 8. 跨战役的元学习与自动任务生成 论文提到战役之间通过验证发现建立新的参考值，但战役的启动仍依赖外部策展。未来可研究： - 自动任务提出：代理基于已有成果自动识别下一个有意义的研究问题（如从数值估计自动推进到严格证书、从低维实例推广到高维）； - 元策略学习：从多个已完成战役中提取通用的研究策略（如“先松弛约束再精化”、“先小规模搜索再推广”），使得代理在新战役的冷启动阶段即能采用高效的方法论模板。 Q6: 总结一下论文的主要内容 该论文提出 Épi，一种能够跨模型会话持续进行研究、并通过累积实验经验不断自我改进的自主研究代理。以下为主要内容的系统总结： —- ### 1. 核心研究动机 现有自主研究系统（如 FunSearch、AlphaEvolve、AI Scientist-v2）已能结合代码生成与可执行评估进行发现，但它们在以下三个长期研究挑战上仍存不足： - 研究连续性：实验与决策跨越多个会话时，代理需恢复运行中的任务、代码、中间结果及早期决策依据； - 经验学习：代理需将实验观察转化为可复用的结构化知识，并在后续实验中动态检索与更新； - 替代探索与回溯：单一研究方向易陷入局部最优，代理需保存、比较并恢复多种替代方法。 —- ### 2. Épi 的方法框架 为应对上述挑战，Épi 整合了四项核心机制： - 分层记忆（Hierarchical Memory） 区分短期记忆（支撑当前会话）与长期记忆（存储跨战役复用的经验教训与死胡同记录）。研究状态（代码、工件、笔记）持久化存储于外部文件系统，交接说明（handover note）确保后续会话在有限上下文内无缝恢复。 - 版本化分支（Versioned Branches） 每个分支在版本化仓库中保存完整的实现、测试与证据。代理可在任意提交点创建新分支以并行探索不同方法（如修改公式、调整搜索区域），并在新证据出现时回溯至早期实现。所有分支的结果均在同一固定评估规则（ruler）下比较。 - 独立评审（Independent Review） 由独立模型审查分数轨迹、尝试方法、资源消耗与基线对比，评估代理对进展的解释是否合理，避免自我欺骗与奖励篡改（reward hacking）。评审意见被记录并纳入后续决策。 - 固定验证协议（Fixed Verification Protocol） 在每个战役（campaign）开始前，固定可行性检查、目标函数、归一化方式与增益下限（gain floor） δ > 0 。对最小化问题，仅当
V(x)=1,quad Delta(x) = b - f(x) ≥ δ
时接受改进（最大化问题类似）。这确保了不同方法在一致的标尺下被评估，排除精度噪声造成的虚假进展。 —- ### 3. 实验验证 论文在两大领域验证了 Épi 的有效性： #### 3.1 数学发现 共产生 **120 项创纪录结果**，涵盖： - **100 项构造记录**（8 个家族）：包括五边形/圆堆积等几何构造； - **20 项数值界限记录**（12 个家族），代表性成果包括： - 将 n -queens 常数 α 的区间宽度从 3.30 × 10^(-7) 缩小至约 3.94 × 10^(-9) （约 **84 倍**）； - 将四次 Feigenbaum 吸引子 Hausdorff 维度的严格区间宽度缩小逾 **360 万倍**； - 证明 Cohn–Elkies 线性规划界限在维度 **10 和 11** 不可能尖锐（即严格大于真实堆积密度上界）； - 对 MAX-4-CUT 给出更紧的不可近似比率 84931/86101 ； - 对 Spencer 偏差常数将下界从 7/√17 提升至 5/√8 。 #### 3.2 计算机辅助证明 Épi 证明了 Tuza 猜想的一个新情形：对团部分为 8 个顶点、独立部分至多含 **三种三角活跃邻域类型**（任意重数）的分裂图，有
τ(triangle)(G) ≤ 2nu(triangle)(G).
证明结合有限归约与 18,444 个整数多重性盒子的精确证书，并由独立检查器验证。 #### 3.3 算法编码（Épi-turbo） 在 30 个 FrontierOR 运筹学任务上，轻量级配置 **Épi-turbo** 以相同模型（GPT-6-Astra）和相同推理努力，相比 Codex 取得： - 总分 **53.96** vs **51.21**，提升 **5.4%**； - 仅使用 **64%** 的模型成本（平均 \ 7.30 vs 11.35）； - 在 held-out 实例上中位运行时间 **2.9 秒** vs **9.3 秒**。 —- ### 4. 主要贡献 - **系统架构**：首个将分层记忆、版本化分支与独立评审整合的持久化自主研究代理，支持研究在多次会话间无缝延续； - **验证协议**：引入固定 ruler 与增益下限 δ ，确保演化中的方法在统一标准下被评估； - **数学与算法成果**：120 项经严格验证的创纪录结果，覆盖堆积、组合优化、动力系统、量子容量等多个领域，以及 Tuza 猜想的新证明； - **人类可理解性**：通过保留完整的实现、分支历史、评审记录与显式数学论证，将计算发现转化为可供研究人员检查、解释与扩展的知识。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Yue Huang,Zhangchen Xu,Xiaonan Luo,Zheyuan Liu,Lichi Li,Yiping Wang,Peiyang Song,Eric Gabriel Ramos,Enze Xie,Olexandr Isayev,Paul Liang,Nouha Dziri,Huan Sun,Jianfeng Gao,Ying Liu,Misha Sra,Xiangliang Zhang,Alex Pentland,Zichen Chen
Categories:
PDF URL: https://arxiv.org/pdf/2610.24944.pdf
Arxiv URL: https://arxiv.org/abs/2610.24944
Arxiv ID: 2610.24944
CoolPaper URL: https://papers.cool/arxiv/2610.24944
Published: 2026-10-22T01:50:49.422Z
Updated: 2026-10-22T01:50:49.422Z