HuggingFace Papers 2026-10-13

数据来源：HuggingFace Papers

Latest Papers

1. Scaling Agentic Data for Long-Horizon Terminal Intelligence

Abstract:Terminal agents are moving beyond local operations toward completing real-world professional tasks. Short trajectories can demonstrate commands and tool calls, but they do not fully show how agents accumulate evidence through exploration, use it to inform judgments, continually adjust strategies based on feedback, and turn intermediate results into final deliverables. High-quality long-horizon trajectories capture these agentic behavioral patterns and their connections within a single problem-solving process, providing richer experience for sustained autonomous work. However, environment synthesis may complete or simplify the key work underlying these patterns in advance and thus remove the need for exploration, implementation, and verification that the agent was meant to perform. To address this, we introduce TerminalHorizon, a fully automated data synthesis engine for long-horizon terminal agents. Starting from real-world professional work, it uses independent execution to identify key work omitted during construction and uses the resulting evidence to guide environment reconstruction. To extend these patterns across stages, it progressively expands tasks under the same goal, introducing new requirements that build on prior results and call for further exploration and improvement. Using this engine, we construct 1.5K task environments and perform supervised fine-tuning of Qwen3.5-27B on the resulting dataset to obtain TerminalHorizon-27B. We achieve substantial performance gains on all 12 benchmarks spanning coding-agent tasks, agentic tasks in real-world production settings, and general reasoning. Multiple RSI case studies, each with a 12-hour research budget, further demonstrate the model’s ability to continue experimenting beyond an initial solution, improve its methods based on feedback, and retain effective improvements in its final deliverables.

中文摘要

摘要：终端代理正在从本地操作迈向完成真实世界专业任务。短时轨迹可以展示指令和工具调用，但它们无法完全展示代理如何通过探索积累证据、利用证据进行判断、根据反馈不断调整策略以及将中间结果转化为最终成果。高质量的长时轨迹能够捕捉这些代理行为模式及其在单一问题解决过程中的内在联系，为持续自主工作提供更丰富的经验。然而，环境合成可能会提前完成或简化这些模式背后的关键工作，从而消除了代理本应执行的探索、实施和验证的必要性。为了解决这一问题，我们引入了TerminalHorizon，这是一种面向长时终端代理的全自动数据合成引擎。从真实世界的专业工作出发，它通过独立执行识别构建过程中被忽略的关键工作，并利用所得证据指导环境重建。为了将这些模式延伸到各阶段，它在同一目标下逐步扩展任务，引入基于先前结果的新要求，并要求进一步探索和改进。利用该引擎，我们构建了1.5K任务环境，并对生成的数据集进行Qwen3.5-27B的监督微调，得到TerminalHorizon-27B。我们在涵盖编码代理任务、真实生产环境中的代理任务以及通用推理的12个基准上实现了显著的性能提升。多项RSI案例研究（每项拥有12小时的研究预算）进一步展示了模型在初步解决方案之外继续实验的能力、根据反馈改进方法的能力以及在最终成果中保留有效改进的能力。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*长程终端智能体（long-horizon terminal agents）的高质量训练数据稀缺问题\*\*，具体而言，现有数据合成方法难以捕捉和保留智能体在复杂任务中必需的深层行为模式。该问题可从以下两个层面理解： ### 1. 短轨迹无法支撑持续自主工作现有终端任务数据以短轨迹为主，平均交互轮次有限。这类数据虽能演示独立的命令执行或工具调用，却难以展现智能体如何在单一问题解决过程中： - 通过\*\*探索\*\*积累证据； - 利用证据\*\* inform 判断\*\*； - 根据执行反馈\*\*持续调整策略\*\*； - 将中间结果整合为\*\*最终交付物\*\*。这些跨越多个阶段的\*\*智能体行为模式\*\*（agentic behavioral patterns）——包括探索、诊断、构建、验证与策略协调——是长程自主任务的核心，但短轨迹无法提供相应的经验。 ### 2. 环境合成提前消除了本应保留的核心工作现有的环境合成方法（如技能组合、递归扩展等）虽然能规模化生成可执行任务，但在构建过程中往往会\*\*预先完成或简化\*\*关键工作（如问题分析、方案实现、结果验证）。这导致： - 智能体在执行时\*\*跳过\*\*了本应自行完成的探索、实现与验证环节； - 生成的轨迹虽然任务成功，却\*\*丧失了\*\*长程问题求解所需的实质性工作链条； - 即使增加交互轮次或任务难度，也\*\*不一定能延伸\*\*跨阶段的智能体行为模式。 ### 论文的解决思路为应对上述挑战，论文提出 \*\*TerminalHorizon\*\*——一个全自动的长程数据合成引擎，通过两阶段机制恢复并延伸核心工作： - \*\*挑战引导的长程合成（Challenge-Guided Long-Horizon Synthesis）\*\*：引入与构建过程无关的独立执行者（Independent Challenger）尝试候选任务，通过对比"预期工作"与"实际执行"的差距（Horizon Gap），识别环境在构建时遗漏或简化的关键工作，并据此重建环境，确保智能体必须亲自完成分析、实现与验证。 - \*\*渐进式视界扩展（Progressive Horizon Expansion）\*\*：在已验证的任务基础上，围绕同一目标逐步引入新的需求，使新增工作\*\*依赖于前期结果与执行反馈\*\*，从而迫使智能体行为模式跨越多个阶段持续发展。通过这一引擎，论文构建了包含 1,535 个任务环境和 2,852 条轨迹的 \*\*TerminalHorizon-3K\*\* 数据集（平均 52.8 轮交互），并据此微调得到 \*\*TerminalHorizon-27B\*\*。实验表明，仅用约 3K 条长程轨迹进行监督微调，即可在涵盖代码智能体、真实生产力任务和通用推理的 12 个基准测试上取得显著提升，同时在长达 12 小时的自主研究任务中展现出持续实验、反馈驱动的改进与最终交付能力。 Q2: 有哪些相关研究？这篇论文在第 5 节（Related Work）及引言中，将相关研究归纳为以下两大主线，并明确了自身工作的定位差异。 --- ### 1. 长程智能体（Long-Horizon Agents）长程智能体研究聚焦于智能体如何在扩展的交互过程中保留信息、跟踪进度，并协调跨阶段动作。代表性工作包括： - \*\*执行框架与连续性维持\*\*：Ye et al. (2025)、Ma et al. (2026)、Choi et al. (2026) 等开发了支持上下文管理、记忆机制和状态维护的执行框架（harnesses），帮助智能体在长时间交互中保持连续性。 - \*\*能力需求与规划\*\*：Dong et al. (2026b)、Ren et al. (2026)、Sun et al. (2026) 等探讨了长程智能体在跨阶段协调、自适应反馈处理等方面的核心需求。 \*\*与 TerminalHorizon 的关系\*\*：上述工作主要从\*\*推理与执行架构\*\*层面支持长程交互，而 TerminalHorizon 补充了\*\*训练数据层面\*\*的研究——即如何通过高质量轨迹培养智能体持续的解题能力，特别是将探索、策略修订与验证连接为完整过程的跨阶段行为模式。 --- ### 2. 终端环境合成（Terminal Environment Synthesis）该方向致力于通过程序化构建和演化，规模化生成可执行、可验证的终端任务环境。主要技术路线包括： - \*\*技能组合与基于证据的任务生成\*\*：Wu et al. (2026a)、Cheng et al. (2026)、Wu et al. (2026b)、Fan et al. (2026)、Shi et al. (2026)、Hua et al. (2026)、Pi et al. (2026) 等利用技能组合、技术证据和真实世界专业需求来合成终端任务。 - \*\*递归扩展复杂度\*\*：Li et al. (2026a) 通过递归参考解决方案扩展（recursive reference-solution expansion）逐步提升任务复杂度。 - \*\*通用环境合成框架\*\*：Song et al. (2026)、Wang et al. (2026)、Dong et al. (2026a) 等提出了可扩展的工具交互环境合成方法，用于支撑智能体的交互经验获取。 \*\*与 TerminalHorizon 的关系\*\*：现有方法显著扩展了任务的覆盖范围与复杂度，但生成的轨迹平均长度仍然较短，且较少关注行为模式的跨阶段连接。TerminalHorizon 的独特之处在于\*\*不仅追求任务数量与难度，更强调环境必须保留足够的实质性工作，以支撑探索、诊断、构建、验证和策略协调等智能体行为模式在跨阶段中的持续展开与相互连接\*\*。 --- ### 3. 背景性相关工作在引言部分，论文还提及了奠定研究背景的相关工作： - \*\*从对话到自主工作\*\*：Xu et al. (2026)、Koh et al. (2026)、Dong et al. (2026b)、Zheng et al. (2026) 等研究 LLM 智能体如何超越对话问答，转向数字环境中的自主工作。 - \*\*终端作为通用界面\*\*：Anthropic (2025)、OpenAI (2025) 等探索终端如何成为整合代码、数据、工具与执行反馈的共享工作空间，支撑软件开发、系统管理与科学计算等复杂任务。 - \*\*终端能力评估\*\*：Merrill et al. (2026) 提出了 Terminal-Bench 系列基准，用于在真实、困难的命令行任务上评估智能体性能。 Q3: 论文如何解决这个问题？论文通过提出 \*\*TerminalHorizon\*\*——一个全自动化的长程轨迹数据合成引擎——来解决高质量长程终端训练数据稀缺的问题。该引擎包含两个核心阶段，通过系统性的环境重建与渐进式任务扩展，确保智能体行为模式能够在跨阶段的完整问题求解过程中得以保留并延伸。 --- ### 1. 任务定义与设计目标每个可执行终端任务被形式化为五元组：

T = (I, E, S, V, M), quad P(T) = (I, E)
其中 I 为公开指令（目标与约束）， E 为可执行环境（初始状态、工具与执行机制）， S 为参考解决方案， V 为私有验证器， M 为执行配置。智能体执行时仅可访问 P(T) ，通过与环境交互收集信息。长程设计目标并非仅展示孤立的终端操作，而是保留连接**探索、诊断、构建、验证与策略协调**的实质性工作。为此，论文定义了涵盖 5 大类共 27 种智能体行为模式（详见论文附录 E），环境设计必须确保这些模式所需的证据、待完成的分析与实现、以及反馈机制均得到保留。 —- ### 2. 第一阶段：挑战引导的长程合成（Challenge-Guided Long-Horizon Synthesis）该阶段通过**独立执行**揭示环境构建中无意完成或简化的关键工作，并据此指导环境重建。其流程由内外两层循环构成： #### 2.1 自主批次规划（Autonomous Batch Planning）规划智能体（Planner Agent）基于已接受任务集合 D_b 、累积记录 F_b 与可用研究槽位数 n_b ，生成研究摘要：

Qb = Plan(D_b, F_b; n_b), quad Q_b = q(b,i)(i=1)^(n_b)
每个摘要 q(b,i) 指定工作范围、尚未覆盖的需求及待调查的真实世界来源，为后续研究提供起点。 #### 2.2 基于证据的深度研究（Evidence-Grounded Deep Research）深度研究智能体（Deep Research Agent）依据研究摘要，调查文档、代码仓库、问题报告与专业材料，建立真实需求、技术约束与评估完成所需证据。研究输出为**任务种子** z_(b,i) ，包含公开指令草案与支持证据。 #### 2.3 联合环境构建（Joint Environment Construction）构建智能体（Construction Agent）基于任务种子合成具体实例，控制初始状态与验证条件，明确留给智能体的任务、可用材料与工具、以及完成标准。构建过程需满足公开契约：

C(sem)(V) ⊂eq Sem(I, O(pub)(E))
即验证器的评分要求必须可被智能体通过公开指令与可发现证据推导，不得引入隐藏要求。参考解决方案仅提供一种可行路径，验证器接受其他满足公开要求的实现。 #### 2.4 独立挑战（Independent Challenge）为检验环境是否仍保留必要工作，引入**与构建过程无关的独立挑战者**（Independent Challenger），其策略 π_B 仅访问 P(T_r) ，不可接触研究记录、蓝图、参考解或私有测试。在第 t 步，策略选择动作，环境动态更新状态并返回观测：

at sim π(· mid I, h_t), quad (s(t+1), o(t+1)) sim P_E(· mid s_t, a_t)
最终得到轨迹 τ_r 与验证分数 rho_r = V_r(s(H_r)) 。综合诊断记录为：
τ_r sim Rollout(π_B; P(T_r)), quad d_r = Asyn(T_r, τ_r, rho_r)
其中 d_r 记录运行时缺陷、信息泄露、评分不一致性及预期工作是否被保留。 #### 2.5 视界差距分析与重建（Horizon Gap Analysis and Reconstruction）该步骤将任务种子中规定的工作与独立挑战轨迹进行对比，追溯遗漏的工作根源（如初始材料、对象关系或工具行为）。例如，若环境已提供核心函数实现，则智能体剩余工作可能仅剩修改常量。重建过程恢复该函数的实现与调试需求，同时保留完成该工作所需的公开规范。利用任务种子 z 、轨迹与诊断，构建智能体修订任务：

T(r+1) = Refine(T_r; z, τ_r, d_r)
修订后的任务再次进入独立挑战循环，直至恢复的工作真正进入实际求解流程，从而闭合任务级挑战-重建循环。通过批次级外循环，已接受任务更新集合 D(b+1) = Db ∪ A_b ，记录更新 F(b+1) = F_b ∪ Delta F_b ，供下一轮规划使用。 —- ### 3. 第二阶段：渐进式视界扩展（Progressive Horizon Expansion）通过审查的任务并非终点，而是深化探索的起点。该阶段在**同一目标下**扩展原始任务，引入新要求，使新增工作依赖前期结果与执行反馈，从而支持行为模式跨阶段延续。 #### 3.1 渐进式内容扩展（Progressive Content Expansion）演化智能体（Evolution Agent）审查已接受的父任务 T^((g)) ，形成扩展提案 δ^((g)) 。随后检验父任务解能否直接满足新要求，识别所需的进一步分析、实现或验证。扩展方向包括： - **更广泛的角色**：利用现有产物支持相关职责； - **更深的机制**：将此前简化的关系、依赖或不确定性纳入工作； - **更丰富的证据**：增加记录、观测与专业材料以支持判断； - **方法升级**：要求对原方法进行实质性扩展或重新设计。 #### 3.2 实现交互依赖性（Implementing Interaction Dependencies）演化智能体从三种交互设计中选择，将新增要求与前期证据、产物或状态关联，确保后续工作依赖前期进展： - **探索与判断依赖**：后续决策依赖于前期公开查询、探测与观测收集的证据； - **动作与反馈依赖**：可观测的工具或系统效应将早期操作与后续诊断、修正和验证关联； - **实例变化与适应**：在固定公开规范下，对象或状态在不同运行中变化，要求智能体检查当前实例、适应动作并验证结果。扩展后的候选任务表示为：

T^((g+1)) = Expand(T^((g)); δ^((g)))
其公开规范整合原始与新增要求，环境、参考解与验证器相应更新，且评分条件继续遵循公式 3 的公开完成契约。候选通过审查后成为 T^((g+1)) ，可作为下一轮扩展的父任务。 —- ### 4. 数据生成与模型训练基于上述引擎，论文自动构建了 **1,535** 个任务环境，使用 DeepSeek-V4-Pro-0813 作为教师模型、Terminus2 作为执行框架，采集轨迹并经过三维度过滤（轨迹有效性、环境基础进展、多轮训练价值），保留 **2,852** 条轨迹构成 **TerminalHorizon-3K**。这些轨迹平均交互轮次达 **52.8**，显著长于现有方法。随后，对 Qwen3.5-27B 进行全参数监督微调（SFT），得到 **TerminalHorizon-27B**。在 12 个涵盖代码智能体、真实生产力任务与通用推理的基准上，该模型均取得显著提升；在多个 12 小时自主研究预算的 RSI 案例中，模型展现出持续实验、基于反馈改进方法并将有效改进保留至终稿的能力。 Q4: 论文做了哪些实验？论文围绕所合成的数据与训练后的模型，从**数据特性分析**、**基准测试主结果**、**消融与扩展分析**、**长程自主任务案例研究**四个层面展开了系统实验。以下按实验类别梳理： —- ### 1. 合成数据的特性与规模分析（Section 3）在正式训练前，论文对 TerminalHorizon-3K 数据集进行了多维度的统计与定性分析，以验证其是否具备支撑长程自主工作的训练价值。 - **领域覆盖**：如图 3a 所示，1,535 个任务环境覆盖芯片、物理、天文等 **25 个真实专业领域**，将真实世界工作统一为终端交互格式。 - **交互长度**：如图 4 所示，轨迹平均交互轮次为 **52.8**，P50 与 P90 分别为 40 与 98，显著高于对比的现有终端数据合成方法（如 TerminalTraj 12.63 轮、TermiGen 10.79 轮）。图 3c 进一步显示，最长连续动作链（由终端反馈连接）的中位数长度达 **25 轮**，表明轨迹中存在持续的行动-反馈交互。 - **行为模式密度**：依据附录 E 定义的 5 大类 27 种智能体行为模式（包括信息探索与判断、诊断与纠错、构建与进展、验证与保证、策略与执行协调），统计表明每条轨迹平均包含 **8.6 种核心模式**，且分布覆盖全部五大家族（图 3d），说明轨迹不仅长，而且在组织问题求解过程上具有多样性。 —- ### 2. 主实验：基准测试性能（Section 4.1–4.2）论文在 **12 个基准** 上评估了 TerminalHorizon-27B（基于 Qwen3.5-27B 经 2,852 条轨迹 SFT 得到），分为编码智能体、真实生产力与通用推理三类。 #### 2.1 评测基准 | 类别 | 基准 | |:—-|:—-| | **Coding** | Terminal-Bench 1.0 / 2.0 / 2.1 | | **Agentic** | AutomationBench；τ2-bench（Airline、Retail）；VitaBench（English Cross-domain） | | **General reasoning** | MATH-500；GSM8K；AIME 2024；AIME 2025；KOR-Bench (Cipher) | #### 2.2 核心结果如表 1、表 2 所示，TerminalHorizon-27B 在所有 12 个基准上均优于基座模型 Qwen3.5-27B，关键提升包括： - **终端编码任务**：Terminal-Bench 1.0 提升 **8.7 pp**（46.3 → 55.0）；TB 2.0 提升 **14.2 pp**（41.6 → 55.8）；TB 2.1 提升 **13.85 pp**（46.82 → 60.67）。在相同基座与执行框架下，仅用约 3k 轨迹即超过使用 32k 轨迹的 Terminal-Universe-27B（52.8%）。 - **真实生产力任务**：AutomationBench Pass Rate 提升 **11.7 pp**（5.5 → 17.2），Partial 分数提升 **23.3 pp**（26.4 → 49.7）；VitaBench 提升 **11.3 pp**（20.5 → 31.8）；τ2-bench Airline / Retail 分别提升 **5.5 pp** 与 **2.6 pp**。 - **通用推理**：MATH-500 达 98.9%（+2.0），AIME 2024 达 96.7%（+3.4），AIME 2025 达 93.3%（+6.6），GSM8K 与 KOR-Bench 亦均有提升。这表明长程交互训练不仅增强了终端任务能力，同时**保留并强化了通用推理**。 —- ### 3. 消融与扩展分析（Section 4.3 & Appendix B） #### 3.1 教师模型效应（Table 3）在随机抽样的 100 个任务上对比 GLM-5.2 与 DeepSeek-V4-Pro-0813 作为教师模型： - DeepSeek-V4-Pro 产生更长的平均反馈链（**30.3 vs 19.2**）、更低的精确重复率（**13.2% vs 15.8%**），且任务通过率更高（**50.0% vs 44.0%**）。 - 论文据此选用 DeepSeek-V4-Pro 作为最终轨迹采集的教师模型。 #### 3.2 跨模型尺寸迁移（Figure 5）将 TerminalHorizon-3K 训练分别应用于 Qwen3.5-27B、35B-A3B 与 122B-A10B： - 在 Terminal-Bench 2.1 上，三款模型分别获得 **+13.85 pp**、**+13.11 pp**、**+14.98 pp** 的提升。 - 证明所捕获的长程行为模式训练价值**不局限于单一尺寸模型**。 #### 3.3 训练数据缩放（Figure 6）将训练轨迹从 1,000 逐步扩充至约 3,000： - Terminal-Bench 2.1 性能从基线的 46.82 单调提升至 **60.67**，且**未见饱和迹象**，暗示继续扩展高质量长程数据可能带来进一步收益。 #### 3.4 跨任务类别与数据效率（Appendix B） - **类别分布**（Figure 8）：在 Terminal-Bench 2.1 的 16 个类别中，TerminalHorizon-27B 在 11 个类别上取得提升，其中调试（+46.7 pp）、数据科学（+25.0 pp）、机器学习（+22.2 pp）增益最为显著。 - **数据效率**（Figure 9）：在 TB 2.0 上，TerminalHorizon-27B 以约 **3k 轨迹** 达到 55.8%，超越使用 32k 轨迹的 Terminal-Universe-27B（52.8%），验证了长程经验在数据效率上的优势。 —- ### 4. 长程自主任务案例研究（Section 4.4 & Appendix C）为评估模型在**持续自主研究**中的系统级表现，论文设计了多个 **RSI-Exam** 案例，给予模型 **12 小时** 的自主研究预算，对比 TerminalHorizon-27B 与 Qwen3.5-27B。 #### 4.1 评测案例与总体结果（Table 5） | 案例 | 基线得分 | 本文得分 | 增益 | 基线用时 | 本文用时 | |:—-|:—-|:—-|:—-|:—-|:—-| | 机器人路由与宏优化 | 14.63 | 39.72 | +25.09 | 11.42 h | 12.00 h | | 潮汐摩擦反演 | 27.41 | 48.15 | +20.74 | 1.12 h | 12.00 h | | 2048 策略 | 37.54 | 45.25 | +7.71 | 1.28 h | 12.00 h | | 多视角点云融合 | 21.93 | 48.96 | +27.03 | 0.20 h | 12.00 h | #### 4.2 代表性案例分析 - **多视角点云融合**（Figure 7）：基线模型在 12.1 分钟后基于自设计的代理指标（proxy metric）判定结果”优秀”并主动停止，但该指标仅衡量与单一参考视图的一致性，未能发现其他视角覆盖不足的问题。TerminalHorizon-27B 则在初始解之后持续实验，引入 **leave-one-view-out 诊断**，暴露覆盖缺陷，进而改进跨视图对齐与全局精修，最终隐藏评分提升 **27.03%**。 - **机器人路由与宏优化**（Appendix C.1 / Figure 10）：基线模型虽发现较优中间解，但后期回退并移除了宏压缩，最终提交得分 466.35；TerminalHorizon-27B 则保留并持续改进压缩方案，将 Q5: 有什么可以进一步探索的点？基于论文内容，以下是可以进一步探索的研究方向，按层次梳理： —- ### 1. 数据规模与训练范式的深化 - **长程数据的持续缩放**：论文在训练数据缩放实验（Figure 6）中观察到，从 1,000 条轨迹扩展至约 3,000 条时，Terminal-Bench 2.1 性能仍未出现饱和迹象。这暗示继续扩大高质量长程轨迹的覆盖范围与数量，可能在更强基座模型上释放进一步的能力增益，值得进行更大规模（如 10K–100K 级别）的系统性探索。 - **与强化学习的结合**：当前工作仅采用监督微调（SFT）。长程任务天然涉及延迟奖励与信用分配问题，未来将 TerminalHorizon 构建的可验证环境与长程轨迹作为初始策略，再结合 RL（如 PPO、GRPO 或基于验证器的结果奖励模型）进行在线优化，可能是提升长程自主决策稳定性的关键路径。 - **课程式训练与动态采样**：论文中的任务难度通过渐进式扩展自然形成，但训练时并未显式利用这种难度层级。未来可探索按任务复杂度、行为模式密度或交互长度进行课程排序，观察是否能进一步加速收敛或改善长程稳定性。 —- ### 2. 智能体行为模式的机理分析 - **模式贡献的因果归因**：论文定义了 27 种跨 5 大家族的行为模式（附录 E），并统计了轨迹中的模式数量，但尚未回答“哪些具体模式对终端任务性能、真实生产力任务或通用推理的增益具有决定性作用”。通过受控的模式移除或模式注入实验，可以建立特定行为模式（如假设驱动诊断、修改-重检迭代、证据驱动策略修订）与下游能力之间的因果联系。 - **跨阶段连接的显式建模**：论文强调长程价值在于行为模式在阶段间的“连接”。未来可以设计显式的阶段依赖标注或中间状态检查点，训练模型学习更结构化的长程工作流表示（如显式的计划图、信念状态更新机制），而隐式地从纯文本轨迹中学习。 - **失败轨迹的价值挖掘**：当前过滤标准（附录 F）保留了一些未完成但过程可靠的轨迹。然而，长程任务中的系统性失败（如策略陷入局部最优、错误累积）可能蕴含更丰富的学习信号。未来可专门研究如何利用“高质量但失败”的长程轨迹进行反事实学习或偏好优化。 —- ### 3. 合成引擎的自动化与效率提升 - **自适应独立挑战者**：当前独立挑战者使用固定策略 πB （DeepSeek-V4-Pro）。未来可探索让挑战者本身具备自适应能力，例如根据任务类型动态调整探索深度，或引入多个不同能力水平的挑战者进行“对抗式”环境压力测试，以发现更隐蔽的 Horizon Gap。 - **降低合成成本的增量式验证**：构建 1,535 个任务环境涉及大量 LLM 调用与完整执行循环。未来可研究增量验证技术，例如在重建阶段仅对修改部分进行差分测试，或通过环境状态的模块化复用减少从头构建的开销，从而支持更大规模的环境迭代。 - **动态环境演化**：当前的 Progressive Horizon Expansion 在任务发布前完成。未来可探索**在线环境演化**，即在智能体训练或评估过程中，根据其实际表现动态注入新需求或改变环境状态，使任务难度与智能体能力持续匹配。 —- ### 4. 任务类型与评估的扩展 - **超长时间跨度的开放式任务**：当前轨迹 P90 约为 98 轮，主要面向可明确验证的专业任务。未来可探索**无明确终止条件**的开放式研究任务（如 24 小时或数天的自主科学实验），这对记忆管理、目标维持与防止“漂移”提出更高要求，也需要新的评估协议。 - **多智能体长程协作**：TerminalHorizon 目前聚焦于单智能体问题求解。将框架扩展至多智能体场景，让不同智能体分别承担探索、实现、验证、审计等角色，并处理智能体间的信息传递、版本冲突与责任归属，是向真实软件工程与科研团队自动化迈进的重要方向。 - **安全性与对齐**：长程终端智能体在扩展的时间窗口内拥有更高的环境权限（代码执行、系统管理、数据操作）。当前工作未深入讨论安全风险（如工具滥用、目标篡改、中间产物污染）。未来需要在长程数据合成阶段就引入安全约束与红队测试，确保智能体在持续自主工作中保持对齐。 - **特定领域的深度优化**：论文在 TB 2.1 的类别分析（Figure 8 / Appendix B.1）中发现，Games、Personal assistant、Video processing、Optimization 等类别的提升为 0。这可能源于任务样本稀少、基线已饱和，或当前的长程合成方法不适用于这些任务结构。针对性地改进这些领域的任务设计与验证方式，仍有探索空间。 —- ### 5. 跨领域迁移与可解释性 - **专业领域间的行为迁移**：论文覆盖了 25 个真实领域，但尚未量化在某一领域（如芯片设计）学到的长程调试模式，能否以及如何在另一领域（如天文数据处理）中迁移。系统性的领域组合与迁移实验，有助于理解长程行为模式的领域特异性与通用性。 - **轨迹级别的可解释性审计**：由于长程轨迹涉及数十至上百轮交互，其决策链条对人类而言已难以完全追踪。未来可开发自动化的轨迹摘要与决策依据抽取工具，不仅用于人工审计，也可作为智能体自我反思与经验压缩的模块。 Q6: 总结一下论文的主要内容这篇论文围绕**长程终端智能体的高质量训练数据合成**展开，核心内容可概括如下： —- ### 1. 研究背景与核心问题终端智能体正从执行孤立命令转向完成真实世界中的长程专业任务。这一转变要求智能体具备持续的问题求解能力：通过探索积累证据、依据反馈调整策略、将中间结果转化为最终交付物。然而，现有数据存在两方面缺陷： - **短轨迹局限**：现有终端数据集的轨迹较短，虽能演示命令与工具调用，却难以展示跨越多个阶段的智能体行为模式（如探索、诊断、策略修订、验证）如何在单一问题求解过程中相互连接。 - **环境合成提前消除工作**：现有环境合成方法往往在构建阶段就完成或简化了本应留给智能体的分析、实现与验证工作，导致智能体在执行时无需进行核心问题求解。因此，**如何自动合成能够保留并延伸长程智能体行为模式的高质量训练数据**，成为论文要解决的核心问题。 —- ### 2. 方法：TerminalHorizon 数据合成引擎论文提出 **TerminalHorizon**，一个全自动化的两阶段长程数据合成引擎，其目标是确保智能体行为模式在任务中自然涌现并跨阶段延续。 - **任务形式化**：每个任务被定义为 T = (I, E, S, V, M) ，其中公开部分 P(T)=(I,E) 包含指令与环境，智能体仅据此与环境交互。 - **设计目标**：围绕 5 大家族共 27 种智能体行为模式（涵盖信息探索与判断、诊断与纠错、构建与进展、验证与保证、策略与执行协调）组织环境设计，确保环境保留可供探索的证据、待完成的分析与实现、以及可指导策略修订的反馈。 #### 阶段一：挑战引导的长程合成（Challenge-Guided Long-Horizon Synthesis）通过**独立执行**与**差距分析**重建环境，防止核心工作被提前完成： 1. **自主批次规划**：规划智能体根据现有任务覆盖缺口生成研究摘要，确定新的真实世界工作方向。 2. **基于证据的深度研究**：研究智能体调查文档、代码与专业材料，形成包含技术约束与证据的任务种子。 3. **联合环境构建**：构建智能体围绕任务种子合成可执行环境，明确留给智能体的工作与完成标准，并满足公开契约 C(sem)(V) ⊂eq Sem(I, O_(pub)(E)) 。 4. **独立挑战**：引入未参与构建的独立挑战者尝试任务，记录其轨迹与诊断。 5. **视界差距分析与重建**：对比任务种子与实际轨迹，识别环境构建中遗漏或简化的工作（Horizon Gap），并据此精炼环境。该过程迭代进行，直至恢复的工作真正进入求解流程。 #### 阶段二：渐进式视界扩展（Progressive Horizon Expansion）将已验证任务作为起点，在同一目标下引入新要求： - **内容扩展**：通过更广角色、更深机制、更丰富证据或方法升级四个方向扩展任务。 - **交互依赖性实现**：使新增工作依赖前期探索获得的证据、已产生的产物或系统状态，确保后续分析、实现与验证必须建立在前序结果之上，从而延伸行为模式的跨阶段连接。 —- ### 3. 数据集与模型 - **TerminalHorizon-3K**：利用该引擎自动构建 **1,535** 个任务环境，使用 DeepSeek-V4-Pro-0813 作为教师模型采集轨迹，经三维度过滤（轨迹有效性、环境基础进展、多轮训练价值）后保留 **2,852** 条高质量轨迹。这些轨迹平均交互 **52.8** 轮，P90 达 98 轮，行为模式覆盖 5 大家族。 - **TerminalHorizon-27B**：以 Qwen3.5-27B 为基座，在上述约 3K 条轨迹上进行全参数监督微调（SFT）得到。 —- ### 4. 实验结果论文在涵盖**编码智能体**、**真实生产力**与**通用推理**的 **12 个基准** 上进行了系统评估，主要发现包括： - **终端编码任务显著提升**：在 Terminal-Bench 1.0、2.0、2.1 上分别较基线提升 **8.7**、**14.2**、**13.85** 个百分点；在相同基座与框架下，仅用约 3K 轨迹即超越使用 32K 轨迹的同类方法。 - **真实生产力任务迁移有效**：AutomationBench Pass Rate 提升 **11.7 pp**，Partial 分数提升 **23.3 pp**；VitaBench 提升 **11.3 pp**；τ2-bench Airline / Retail 分别提升 **5.5 pp** 与 **2.6 pp**。 - **通用推理能力保留并增强**：MATH-500 达 98.9%（+2.0），AIME 2025 达 93.3%（+6.6），表明长程交互训练未损害通用推理，反而有所增益。 - **跨模型尺寸有效**：在 Qwen3.5-27B、35B-A3B、122B-A10B 上均实现双位数百分点提升，证明长程行为模式的训练价值具有迁移性。 - **数据可扩展性**：从 1K 增至约 3K 轨迹时性能单调上升且未饱和，暗示进一步扩展的潜力。 #### 长程自主任务案例研究（RSI-Exam）在多个 12 小时自主研究预算的案例中，TerminalHorizon-27B 展现出基线模型不具备的系统级能力： - **持续实验**：在初始解之后继续探索，而非基于单一代理指标过早停止。 - **反馈驱动的改进**：根据实验证据（如 leave-one-view-out 诊断）修订方法，甚至修正评估自身进展的指标。 - **保留至终稿**：将验证有效的改进保留在最终提交物中，避免基线模型出现的“中途发现有效方案却最终回退”现象。 —- ### 5. 主要贡献 - **数据视角**：提出以**智能体行为模式及其跨阶段连接**为核心的高质量长程终端数据视角，强调环境必须保留的实质性工作。 - **合成引擎**：提出全自动的 **TerminalHorizon** 引擎，结合挑战引导重建与渐进式扩展，构建出 **TerminalHorizon-3K**（1,535 环境 / 2,852 轨迹）。 - **模型与验证**：仅通过约 3K 条轨迹的 SFT，在 12 个基准上实现全面性能提升；多个 12 小时 RSI 案例展示了持续实验、基于反馈改进与最终交付的长程自主工作能力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shun Zou,Ziyu Ma,Yi Zou,Yong Wang,Lin Chen,Zehui Chen,Guanhua Chen,Xiangxiang Chu,Feng Zhao

Categories:

PDF URL: https://arxiv.org/pdf/2610.13166.pdf

Arxiv URL: https://arxiv.org/abs/2610.13166

Arxiv ID: 2610.13166

CoolPaper URL: https://papers.cool/arxiv/2610.13166

Published: 2026-10-13T03:51:33.120Z

Updated: 2026-10-13T03:51:33.120Z

2. Multi-Stream Attention Residuals

Abstract:Attention Residuals (AttnRes) enables content-dependent retrieval over network depth, which can be viewed as single-stream softmax attention along the depth axis. Inspired by the success of multi-head attention along the sequence axis, we introduce Multi-Stream Attention Residuals (MSAR), an extension of AttnRes that generalizes this mechanism to multi-head depth attention, yielding substantial performance gains with minimal additional overhead. MSAR draws stream diversity from sequence context through multi-scale causal convolutions, allowing different heads to retrieve historical representations through distinct contextual views while preserving the integrity of the hidden representation. The retrieved streams are combined through lightweight adaptive mixing to generate the single-stream layer input. By retaining single-stream sources and expanding them on demand, MSAR supports multi-stream computation without requiring persistent multi-stream storage or communication. Across all 12 downstream benchmarks at the 18B and 28B MoE scales, MSAR consistently outperforms prior residual variants, including standard residual connections, manifold-constrained Hyper-Connections (mHC), and AttnRes. Scaling-law experiments yield an iso-loss compute speedup of $1.58\times$ over the standard residual baseline, compared with $1.35\times$ for AttnRes and $1.30\times$ for mHC. These results make MSAR a promising residual architecture for large-scale pre-training.

中文摘要

摘要：注意力残差（AttnRes）实现了基于内容的网络深度检索，可以被视为沿深度轴的单流 softmax 注意力。受序列轴上多头注意力成功的启发，我们引入了多流注意力残差（MSAR），这是 AttnRes 的扩展，将该机制推广到多头深度注意力，在带来显著性能提升的同时仅需极少额外开销。MSAR 通过多尺度因果卷积从序列上下文中获取流多样性，使不同的头能够通过不同的上下文视角检索历史表示，同时保持隐藏表示的完整性。检索到的流通过轻量的自适应混合进行组合，以生成单流层输入。通过保留单流来源并按需扩展，MSAR 支持多流计算，而无需持久的多流存储或通信。在 18B 和 28B MoE 规模下的全部 12 个下游基准测试中，MSAR 始终优于先前的残差变体，包括标准残差连接、流形约束超连接（mHC）和 AttnRes。扩展规律实验显示，MSAR 在相同损失下的计算加速为 $1.58\times$，而 AttnRes 和 mHC 分别为 $1.35\times$ 和 $1.30\times$。这些结果使 MSAR 成为大规模预训练的有前景残差架构。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*Transformer架构中深度扩展时的信息稀释问题\*\*，并克服现有残差连接变体在构建多样化深度注意力机制时面临的挑战。具体而言，论文试图解决的核心问题可概括为以下三个方面： ### 1. 深度方向的信息稀释（Depth-wise Information Dilution）在标准PreNorm架构中，残差流通过单条隐藏状态轨迹以固定加法更新累积前序计算。随着层数加深，早期层形成的特征在累积过程中被渐进稀释，导致后续层难以有效检索和利用这些历史表示。这种深度方向的信息稀释限制了附加层数的收益，使得深度扩展的效率远低于其表征容量所暗示的水平。 ### 2. 现有残差变体的局限性近期工作尝试通过两种路径改进残差连接，但均存在不足： - \*\*多状态残差（如mHC）\*\*：虽将单一流扩展为多条并行流，但各流实质上是同一向量的标量重加权，归一化后键值几乎相同，限制了源表示的多样性。 - \*\*跨层访问（如AttnRes）\*\*：将固定残差累加替换为基于softmax的深度检索，但尝试通过通道切分（channel-splitting）实现多头深度注意力时，会因破坏隐藏状态的完整连贯性而导致性能退化。 ### 3. 构建多样化深度注意力头的核心挑战论文指出，实现多头深度注意力的非平凡性在于：\*\*如何在单一层输出的基础上构造具有足够多样性的深度注意力头，同时不损害隐藏表示的完整性\*\*。直接对隐藏状态进行密集投影会增加大量参数与计算量；而简单的标量重加权或通道切分又无法提供真正意义上的多视角源表示。 ### 解决思路为此，论文提出\*\*Multi-Stream Attention Residuals (MSAR)\*\*，其关键创新在于： - \*\*从序列轴获取多样性\*\*：利用轻量级多尺度因果深度卷积（multi-scale causal depthwise convolutions）对层输出进行上下文扩展，生成多个全维度的流（full-dimensional streams），各流通过不同的局部上下文尺度编码历史信息。 - \*\*多流深度检索\*\*：每条流独立执行深度方向的softmax注意力检索，使不同头能够基于不同的上下文视角选择深度历史。 - \*\*单流存储与按需扩展\*\*：仅保留单流摘要，在计算深度注意力时动态扩展多流表示，从而避免持久的多流存储与通信开销。通过上述设计，MSAR在不破坏隐藏状态完整性的前提下，将AttnRes的单流深度检索推广为多流深度注意力，显著提升了大规模预训练的损失–计算效率与下游任务性能。 Q2: 有哪些相关研究？该论文的相关研究主要围绕\*\*残差连接设计\*\*展开，可分为以下三个核心类别，外加与MSAR方法定位的直接关联： ### 1. 多状态残差循环（Multi-State Residual Recurrence）此类方法通过将单一残差流扩展为多条并行 persistent 状态，提升残差路径携带不同深度历史的能力： - \*\*Hyper-Connections (HC)\*\*

50
：提出可学习的流聚合（ H(pre) ）、输出分布（ H(post) ）与流间混合（ H(res) ），实现多状态残差传播。 - **mHC (manifold-constrained HC)**
39
：将 H(res) 通过 Sinkhorn–Knopp 算法投影至双随机矩阵构成的 Birkhoff 多面体，稳定信号传播。 - **Single-Pass HC**
8
：消除对当前状态读取系数的依赖，支持单遍融合执行。 - **xHC**
44
：通过丰富写回信号与稀疏流操作，支持更大规模的残差扩展。 - **Gated Residual**
28
：采用逐元素门控读取与输入相关标量写入，无需显式流间混合算子。 - **SiameseNorm**
21
、**Deep Delta Learning (DDL)**
46
、**Multi-gate Residuals**
48
：探索差异化的多状态更新与归一化策略。 ### 2. 跨层访问（Cross-Layer Access）此类方法赋予深层网络显式检索浅层表示的能力，以缓解深度方向信息稀释： - **DenseNet**

17
：通过拼接（concatenation）前序特征图实现密集连接。 - **DenseFormer**
26
：以学习的、输入无关的深度权重对历史隐藏状态进行加权平均。 - **MUDDFormer**
38
：引入输入相关的多路动态密集连接，聚合历史层表示。 - **Mixture-of-Depths Attention (MoDA)**
51
：联合注意力至序列键值对与来自前序同位置的键值对。 - **Attention Residuals (AttnRes)**
35
：以深度方向的 softmax 注意力替代固定残差累加，显式保留历史层输出作为可检索源。 - **Laurel**
25
、**Cross-layer Retrospective Retrieving**
10
、**Value Residual Learning**
49
：从不同角度探索跨层显式连接。 ### 3. 标准残差及经典变体 - **标准残差连接 (Vanilla)**

14
：采用固定单位系数进行加法更新， h(l+1) = h_l + f_l(h_l) 。 - **ReZero**
1
：通过学习标量 α_l （初始化为零）自适应调节残差分支幅度。 - **Highway Networks**
30
：引入输入动态门控 g_l ，以 h_l = (1-g_l)odot h(l-1) + gl odot f(l-1)(h_(l-1)) 控制信息流。 ### 4. MSAR 的方法定位 MSAR 处于**多状态扩展**与**跨层访问**两个设计轴的交集： - 它保留了 AttnRes 的显式跨层检索能力，同时借鉴 HC 家族的多状态容量扩展思想。 - 与 **DAR (Dual Attention Residuals)**

43
不同：DAR 在同一 token 位置维护两条 distinct 残差轨迹；而 MSAR 通过**多尺度因果卷积**从邻近序列位置构建检索源，使不同头基于差异化的序列上下文视角进行深度历史选择，从而在不破坏隐藏状态完整性的前提下实现多流深度注意力。 Q3: 论文如何解决这个问题？论文通过提出 **Multi-Stream Attention Residuals (MSAR)** 解决上述问题。MSAR 将 Attention Residuals 的单流深度检索推广为**多流深度注意力**，在保持隐藏状态完整性的同时，从序列上下文引入源多样性。具体解决路径可分为以下四个层面： —- ### 1. 多流源扩展：从序列上下文构造差异化视角 MSAR 的核心创新在于**不通过切分通道或增加密集投影，而是利用轻量级多尺度因果深度卷积**将单一层输出扩展为多条全维度流。对于第 i 个残差分支的输出 vi ∈ R^d ，MSAR 通过卷积算子 E(i,r) 生成 m 条流：

vi^((r)) = E(i,r)[vi], quad r = 0, …, m-1
其中 E(i,0) = Id 为恒等映射， r ≥ 1 时为层特定的因果深度卷积。恢复 token 索引 t 后，各流定义为：
v(i,t)^((0)) = v(i,t), quad v(i,t)^((r)) = ∑(δ=0)^(kappar-1) c(i,r,δ) odot v_(i,t-δ), quad r = 1, …, m-1

**完整性保持**：每条流均为完整维度 d ，避免了 AttnRes 通道切分导致的表示碎片化。 - **多样性来源**：不同卷积核尺寸（如 4, 8, 12 ）赋予各流差异化的局部感受野，使同一份残差源在序列轴上形成多种上下文视图。 —- ### 2. 每流独立深度注意力：实现真正的多注意力头扩展后的各流作为独立的深度注意力头，各自执行跨层检索。对于目标层 l ，第 r 条流的检索状态为：

zl^((r)) = ∑(i=0)^(l-1) α(ito l)^((r)) v_i^((r))
其中每流拥有独立的可学习伪查询 q_l^((r)) = w_l^((r)) ，注意力权重通过 softmax 独立归一化：
α(ito l)^((r)) = φ(ql^((r)), k_i^((r)))∑(j=0)^(l-1) φ(q_l^((r)), k_j^((r)))
此处 φ 为 RMS 归一化的指数核。该设计使得： - 不同头可基于不同的序列上下文视角，选择截然不同的深度历史； - 各流的注意力分布在深度轴上独立优化，避免了 mHC 中多流仅为标量重加权的问题。 —- ### 3. 轻量级自适应流融合：聚合多流检索结果检索得到 m 条状态 $Z_l =

zl^((0)), …, z_l^((m-1))
^top ∈ R^(m × d) 后，MSAR 通过轻量级的 H(pre)$ 风格混合器生成输入相关的标量权重：
H(pre)^l = σ( α(pre)^l · RMSNorm(Flatten(Zl)) W(pre)^l + b(pre)^l ) ∈ R^(1 × m)
最终层输入为各流的加权求和：
h_l = ( H(pre)^l Zl )^top = ∑(r=0)^(m-1) [ H(pre)^l ]_r z_l^((r)) ∈ R^d
该混合器仅涉及轻量投影（ W(pre)^l ∈ R^(md × m) ），避免了标准多头注意力输出投影的 md × d 矩阵开销。 —- ### 4. 系统级高效设计：单流存储与按需计算为解决多流带来的存储与通信瓶颈，MSAR 引入 **Block MSAR** 及配套执行策略： - **块级单流摘要**：将 L 个残差分支划分为 N 个块，块内累加为单流摘要 b_n ，仅存储和通信这些摘要，将开销从 O(mNd) 降至 O(Nd) 。 - **按需流扩展**：块摘要仅在计算深度注意力时通过因果卷积动态扩展为 m 流，扩展后的中间流被注意力计算即时消费，无需持久化。 - **两阶段计算**：第一阶段批量计算已完成块摘要的跨流检索结果；第二阶段在线合并当前块的部分和，复用 AttnRes 的流水线策略。 - **融合内核**：将因果卷积扩展与深度注意力融合为单内核，消除中间流的内存读写。 —- ### 总结 MSAR 通过**“序列上下文驱动的多流扩展 → 每流独立深度注意力 → 自适应标量融合”**的三级流水线，在不破坏隐藏状态完整性的前提下实现了多流深度注意力。配合块级单流存储与融合计算，MSAR 以仅增加 0.3%–0.5% 训练开销的代价，显著改善了深度扩展时的信息检索效率与模型表达能力。 Q4: 论文做了哪些实验？论文在**大规模语言模型预训练**设置下开展实验，涵盖从消融研究到十亿参数级别模型的系统评估。实验可归纳为以下四个层面： —- ### 1. 主实验：18B 与 28B MoE 模型下游性能对比 **实验设置** - 采用 DeepSeekMoE 架构，训练 **18B** 与 **28B** 总参数量（分别约 1.7B / 2.7B 激活参数）的模型。 - 对比基线包括：标准残差（Vanilla）、manifold-constrained Hyper-Connections（mHC, m=4 ）、Attention Residuals（AttnRes, N≈ 8 blocks）。 - MSAR 配置为 m=4 条流、 N≈ 8 个块，卷积核尺寸 4,8,12 。 **评估基准**（共 12 个，分三类）： - **通用能力**：MMLU、MMLU-Pro、MMLU-Redux、ARC-C、BBH - **代码与数学**：HumanEval、LCBench、GSM8K、MATH - **中文理解**：CMMLU、C-Eval、C3 **关键结果**： - **18B 规模**：MSAR 平均得分 **45.7**，显著优于 Vanilla（37.5）、mHC（41.7）和 AttnRes（41.8）。代表性提升包括 ARC-C（+6.2）、BBH（+5.9）、MMLU（+3.5）。 - **28B 规模**：MSAR 平均得分 **52.4**，优于 Vanilla（44.6）、mHC（47.4）和 AttnRes（49.4）。 - **开销**：28B 设置下仅增加 **0.3%** 激活参数与 **0.5%** 训练 FLOPs。 —- ### 2. Scaling-Law 实验：计算效率量化 **实验设计** - 在四个模型规模（2.21B / 3.75B / 9.47B / 17.40B 总参数）上，匹配各方法的训练 token 预算。 - 拟合移位幂律：

L(C) = AC^(-β) + E
其中 E=0.72 为估计不可约损失， C 为归一化训练计算量。 **核心结论** - MSAR 在所有四个规模上均取得最低训练损失。 - **Iso-loss 计算加速比**（相对 Vanilla）： - **MSAR：1.58×** - AttnRes：1.35× - mHC：1.30× - 在最大规模下，MSAR 相对 Vanilla 降低训练损失 2.7%，优于 mHC（1.6%）和 AttnRes（1.8%）。 —- ### 3. 消融研究：10B MoE 模型上的设计验证在 **10B** 模型（15 层 Transformer，30 个残差子层）上通过 The Pile 数据集的损失评估关键设计选择： | 实验内容 | 变体设置 | Pile Loss | |————-|————-|—————-| | **与先前方法对比** | Vanilla | 1.898 | | | mHC ( m=4 ) | 1.871 | | | AttnRes ( S=4 ) | 1.867 | | | AttnRes + mHC（直接混合） | 1.861 | | | **MSAR (默认)** | **1.847** | | **组件消融** | w/o Conv（复制源，仅独立查询） | 1.862 | | | w/o H_(pre) （均值聚合替代自适应融合） | 1.851 | | **流数量 m ** | m=2 | 1.850 | | | m=4 | 1.847 | | | m=8 | 1.846 | | **块粒度 S ** | Full MSAR（无块，逐层访问） | 1.843 | | | S=2 ( N=15 ) | 1.845 | | | S=4 ( N=8 ) | 1.847 | | | S=8 ( N=4 ) | 1.852 | **关键发现**： - 直接拼接 AttnRes 与 mHC 仅比 AttnRes 提升 0.006，而 MSAR 在同等配置下再降 0.014，表明增益来自特定设计而非简单叠加。 - 去除卷积（即多查询共享同源）导致损失显著上升（1.862），证实**上下文驱动的源多样性**至关重要。 - m=4 已捕获大部分收益，继续增大至 8 收益边际递减；块粒度 S=4 （约 8 块）接近 Full MSAR 性能。 —- ### 4. 可视化与机制分析 - **深度注意力模式可视化**（附录 D）：对 10B Block MSAR 学习到的深度注意力权重进行热力图分析，显示： - Pre-Attn 层在深度上分布更广，保留对嵌入和早期块的访问； - Pre-MLP 层更聚焦于近期源（近对角线）和特定块（垂直带）； - 不同流（Stream 1–4）形成差异化的源偏好，验证多流确实学到了不同的深度历史选择策略。 - **残差机制对比**（附录 E）：以结构化矩阵形式统一对比 Vanilla、mHC、AttnRes 与 MSAR 的深度混合系数，阐明 MSAR 在每流独立评分、独立归一化、再融合的计算流程。 Q5: 有什么可以进一步探索的点？基于论文的局限性分析与开放性问题，以下几个方向值得进一步探索： —- ### 1. 更优雅地融合多状态表示与跨层访问论文结论明确指出，多状态残差（如 mHC）与跨层访问（如 AttnRes）的收益并非完全重叠，暗示二者存在互补潜力。未来的工作可致力于： - **统一框架设计**：不再将多流状态与深度检索视为独立机制，而是构建统一的动态残差图，其中节点既作为 persistent 多状态存储，又支持内容相关的跨层检索。 - **自适应状态-访问切换**：根据层深度或输入复杂度，动态决定是执行多流混合还是直接深度注意力检索，以进一步降低冗余开销。 —- ### 2. 流生成机制的多样化与动态化 MSAR 目前采用固定的多尺度因果深度卷积生成 m 条流，这一设计仍有拓展空间： - **替代性轻量级编码器**：可探索时间卷积网络（TCN）、轻量级局部自注意力、或基于 FFT/DFT 的频率分解来生成具有不同归纳偏置的源视图。 - **输入自适应流选择**：借鉴 Mixture-of-Experts（MoE）的路由思想，让模型根据输入 token 动态激活流的子集（ m’ ⊂eq m ），在保持表达能力的同时减少实际计算量。 - **可变感受野学习**：将固定的卷积核尺寸 4, 8, 12 替换为可学习的连续或离散感受野，使模型自动发现最优的局部上下文尺度。 —- ### 3. 向非语言模态与新型架构的迁移论文的验证集中于大规模语言模型（MoE Transformer），其核心理念具有更广泛的适用性： - **视觉与多模态模型**：在 ViT 或视频 Transformer 中，深度卷积可被替换为时空因果卷积，探索空间-时间轴上的多流深度注意力。 - **状态空间模型（SSM）与 RNN**：将 MSAR 的深度检索机制与 Mamba、RWKV 等线性复杂度架构结合，检验其在长序列建模中是否能缓解状态压缩导致的历史信息丢失。 - **扩散模型**：在深度 U-Net 或 DiT 的残差路径中引入深度注意力，可能改善时间步/深度方向上的特征复用。 —- ### 4. 极长上下文与无限长度扩展当前因果卷积的感受野受限于局部核尺寸，对于极长序列（如 1M tokens）可能不足： - **层级化上下文聚合**：设计具有指数膨胀率（dilated）的多尺度卷积，或引入递归摘要机制，使深层流能访问更远距离的历史上下文。 - **与线性注意力结合**：将每流的深度 softmax 注意力替换为线性注意力核方法，在保持多流检索能力的同时降低长序列下的计算复杂度。 —- ### 5. 系统级效率与推理优化尽管 MSAR 在训练 FLOPs 上开销极低，但其引入的多流检索在推理阶段仍存在优化空间： - **检索流的动态剪枝**：利用深度注意力权重的稀疏性，跳过对低权重源流的扩展与检索，减少内存访问。 - **跨阶段缓存与量化**：针对 Block MSAR 的两阶段计算，研究检索结果的低精度缓存（如 INT8/FP8）策略，进一步压缩流水线通信量。 - **与推测解码（Speculative Decoding）的协同**：MSAR 的多流结构可用于训练更轻量的草稿模型，或作为验证阶段的辅助表示。 —- ### 6. 可解释性与结构先验的显式注入论文可视化表明不同流学会了差异化的深度访问模式，但其语义角色尚不明确： - **结构化流先验**：显式约束特定流负责特定类型的信息（如低频语法 vs. 高频事实知识），通过正则化或掩码机制引导流的专业化。 - **注意力模式分析**：在大规模预训练后，系统分析各流在深层网络中的“功能定位”，例如是否形成类似“早期视觉边缘检测器”的深度功能分区。 —- ### 7. 与自适应计算和模型压缩的联合 - **基于深度注意力的动态深度**：利用 MSAR 学到的深度重要性分布，指导 LayerDrop 或早期退出（early exiting）策略，实现样本自适应的计算图深度。 - **残差架构的神经架构搜索（NAS）**：将块大小 S 、流数 m 、卷积核配置等纳入可微分搜索空间，自动发现特定模型尺度下的最优残差拓扑。 Q6: 总结一下论文的主要内容该论文提出 **Multi-Stream Attention Residuals (MSAR)**，一种用于提升 Transformer 深度扩展效率的新型残差架构。以下是论文核心内容的系统总结： —- ### 1. 研究背景与问题 - **深度信息稀释**：在标准 PreNorm Transformer 中，残差流通过单条隐藏状态以固定加法方式累积。随着层数加深，早期层特征被渐进稀释，后续层难以有效检索，导致深度扩展的收益递减。 - **现有局限**： - **mHC (manifold-constrained Hyper-Connections)** 将残差扩展为多流，但各流实质是同一向量的标量重加权，归一化后缺乏源多样性。 - **Attention Residuals (AttnRes)** 引入深度轴 softmax 检索，但尝试通过通道切分构建”多头”时会破坏隐藏状态的完整性，导致性能下降。 - **核心挑战**：如何在**不损害隐藏表示完整性**的前提下，从单一层输出构造具有足够多样性的多流深度注意力头。 —- ### 2. 核心方法：MSAR MSAR 将 AttnRes 的单流深度检索推广为**多流深度注意力**，其关键设计包括： #### (1) 多流源扩展：从序列上下文引入多样性对第 i 个残差分支的输出 v_i ，通过轻量级**多尺度因果深度卷积**生成 m 条全维度流（ m=4 ，核尺寸 4,8,12 ）：

v(i,t)^((0)) = v(i,t), quad v(i,t)^((r)) = ∑(δ=0)^(kappar-1) c(i,r,δ) odot v_(i,t-δ), quad r=1,…,m-1

恒等流保留当前源，卷积流引入不同尺度的局部历史上下文，形成差异化的序列视角。 - 所有流均为完整维度 d ，避免通道切分导致的表示碎片化。 #### (2) 每流独立深度注意力各流作为独立注意力头，在深度轴上执行独立的 softmax 检索。对目标层 l ，第 r 流的检索状态为：

zl^((r)) = ∑(i=0)^(l-1) α(ito l)^((r)) v_i^((r)), quad α(ito l)^((r)) = exp( (wl^((r)))^top RMSNorm(v_i^((r))) )∑(j=0)^(l-1) exp( (wl^((r)))^top RMSNorm(v_j^((r))) )
不同头可基于不同上下文视角，独立选择深度历史。 #### (3) 轻量级自适应流融合通过 H(pre) 风格的标量门控混合器聚合检索结果：

H(pre)^l = σ( α(pre)^l · RMSNorm(Flatten(Zl)) W(pre)^l + b_(pre)^l ) ∈ R^(1× m)

hl = ( H(pre)^l Zl )^top = ∑(r=0)^(m-1) [H_(pre)^l]_r , z_l^((r))

(4) 高效块级设计（Block MSAR） - 单流存储：块内层输出累加为单流摘要 b_n ，仅存储与通信单流，将开销从 O(mNd) 降至 O(Nd) 。 - 按需扩展：摘要仅在计算深度注意力时动态扩展为多流，扩展结果即时消费，避免中间流持久化。 - 两阶段计算：批量预计算已完成块的跨流检索，再在线合并当前块部分和，兼容流水线并行。 —- ### 3. 实验与结果论文在 18B 和 28B 总参数的 DeepSeekMoE 模型上进行大规模预训练验证： - 下游性能：在 12 个基准（涵盖知识、推理、数学、代码、中文）上，MSAR 全面优于 Vanilla、mHC 和 AttnRes。 - 18B：平均得分 45.7（vs Vanilla 37.5，AttnRes 41.8） - 28B：平均得分 52.4（vs Vanilla 44.6，AttnRes 49.4） - Scaling Law：在四个模型规模上拟合 L(C) = AC^(-β) + E ，MSAR 的 iso-loss 计算加速比达 1.58×（相对 Vanilla），优于 AttnRes（1.35×）和 mHC（1.30×）。 - 开销：28B 设置下仅增加 0.3% 激活参数和 0.5% 训练 FLOPs。 - 消融研究（10B 模型）： - 去除因果卷积（仅复制源）导致损失从 1.847 升至 1.862，验证上下文多样性关键作用； - 流数 m=4 已捕获大部分收益， m=8 边际增益有限。 —- ### 4. 主要贡献 1. 方法：提出 MSAR，首次实现不破坏隐藏状态完整性的多流深度注意力，将序列上下文多样性引入残差检索。 2. 效率：通过单流存储与按需扩展，使多流残差的通信与存储成本与单流 AttnRes 持平，系统兼容性强。 3. 验证：在十亿参数规模 MoE 模型上验证一致且显著的性能提升与计算效率优势，为大规模预训练提供有竞争力的残差架构。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaohan Qin,Xiangdong Zhang,Tuo Dai,Sunan Zou,Huaijin Wu,Yebin Yang,Zhuo Xia,Lin Yao,Yuliang Liu,Junchi Yan

Categories:

PDF URL: https://arxiv.org/pdf/2610.13630.pdf

Arxiv URL: https://arxiv.org/abs/2610.13630

Arxiv ID: 2610.13630

CoolPaper URL: https://papers.cool/arxiv/2610.13630

Published: 2026-10-13T03:51:33.110Z

Updated: 2026-10-13T03:51:33.110Z

3. GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

Abstract:Precise grounding matters. It specifies which object is the target and where that object is, even in clutter and for tiny objects, and it has to be fast enough for closed-loop control. Yet vision-language-action (VLA) and world-action models (WAMs) take perception from general-purpose vision-language and video-generation backbones, which still fail in these settings. We introduce GroundingPI, a 4B grounding foundation model that generates points and boxes as quantized coordinates in a shared vocabulary. Training combines multimodal and spatial pretraining, supervised fine-tuning, and reinforcement learning with GRPO, using supervision from public datasets and dedicated data engines. Against 44 baselines across 34 grounding benchmarks spanning 11 perceptual capabilities, GroundingPI establishes a new state of the art, averaging 73.68%, above the larger GPT-6 Astra (71.54%). As a downstream visual backbone, GroundingPI improves performance on robotic manipulation and autonomous driving. On RoboTwin 2.0, it outperforms every mainstream backbone we evaluate in all four out-of-distribution settings, by up to 24.8% relative to the strongest backbone. On RoboCasa-GR1, GroundingPI trained with 50% of the demonstrations outperforms those baselines trained with 75%. On nuScenes, used as the visual backbone, GroundingPI attains an average open-loop L2 error of 0.296 m. We systematically analyze GroundingPI’s pretraining in scale and data composition. Downstream autonomous driving and robotic manipulation improve as the pretraining is scaled. Analyzing the data recipe across these 11 perceptual capabilities shows dense grounding’s substantial benefits for both, and OCR’s potential as a catalyst for perceptual learning. These results support grounding as a perceptual foundation, and dedicated perceptual pretraining as a promising direction for foundation models of physical intelligence.

中文摘要

摘要：精确的定位至关重要。它不仅能指定目标对象及其位置，即使在杂乱环境中或面对微小物体，也必须足够快速以支持闭环控制。然而，视觉-语言-动作（VLA）模型和世界-动作模型（WAMs）通常依赖通用的视觉-语言和视频生成骨干网络进行感知，这在这些场景下仍然表现不佳。我们引入了 GroundingPI，一种 4B 的定位基础模型，它以共享词汇生成点和框的量化坐标。训练结合了多模态与空间预训练、监督微调以及基于 GRPO 的强化学习，监督信号来自公开数据集和专用数据引擎。在覆盖 11 种感知能力的 34 个定位基准上，与 44 个基线比较后，GroundingPI 创下新的最先进水平，平均准确率为 73.68%，高于更大规模的 GPT-6 Astra（71.54%）。作为下游视觉骨干网络，GroundingPI 提升了机器人操作和自动驾驶的性能。在 RoboTwin 2.0 中，它在所有四个分布外设置下的表现均优于我们评估的所有主流骨干网络，相对最强骨干网络的性能提升最高达 24.8%。在 RoboCasa-GR1 中，使用 50% 演示进行训练的 GroundingPI，相比使用 75% 演示训练的基线表现更佳。在 nuScenes 中，作为视觉骨干网络使用时，GroundingPI 的平均开环 L2 误差为 0.296 米。我们系统分析了 GroundingPI 在规模和数据组成上的预训练。随着预训练规模的扩大，下游自动驾驶和机器人操作性能得到提升。对这 11 种感知能力的数据组合进行分析显示，密集定位对两者均有显著益处，而 OCR 具有潜力成为感知学习的催化剂。这些结果支持将定位作为感知基础，并表明专用感知预训练是物理智能基础模型的一个有前景的方向。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*物理智能（Physical Intelligence）中精确视觉定位（Grounding）能力不足\*\*的问题，并系统性地验证\*\*以感知为核心的基础模型\*\*对下游动作学习的价值。具体而言，论文针对以下核心问题展开： ### 1. 现有基础模型的感知瓶颈当前视觉-语言-动作（VLA）模型与世界-动作模型（WAM）主要继承通用视觉-语言（VLM）或视频生成模型的骨干网络。然而，这些通用骨干\*\*并非专为物理交互所需的精确感知而优化\*\*，在以下场景中存在显著缺陷： - \*\*密集场景（Dense Scenes）\*\*：多个物体紧密排列时难以区分个体实例； - \*\*微小物体（Tiny Objects）\*\*：对远处或体积小的目标定位精度不足； - \*\*实时闭环控制\*\*：需要足够快的推理速度以支持动作闭环。这导致感知能力成为动作学习的瓶颈，使稀缺的动作演示数据不得不同时承担“学习感知”和“学习控制”的双重负担。 ### 2. 构建专用的视觉定位基础模型为解决上述瓶颈，论文提出了 \*\*GroundingPI\*\*——一个基于视觉原语（点与框）的 4B 参数定位基础模型。该模型通过以下设计实现广泛而精确的语言条件感知： - \*\*统一词汇表\*\*：将坐标量化为离散 token，与语义标签共享输出空间，统一处理检测、指代表达、OCR、GUI 定位、布局分析等 11 类感知任务； - \*\*分阶段训练\*\*：结合多模态预训练、监督微调（SFT）与基于 GRPO 的强化学习，直接优化定位精度、目标覆盖率和文本-几何一致性； - \*\*专用数据引擎\*\*：通过多教师融合与任务级验证，生成高质量的定位监督数据。 ### 3. 验证“强感知”对物理智能的迁移价值论文进一步探究了\*\*更强的感知基础能否转化为更强的物理智能\*\*，并试图回答： - \*\*感知迁移问题\*\*：在控制下游动作学习架构、数据与训练预算完全一致的前提下，将 GroundingPI 作为视觉骨干，能否提升自动驾驶（nuScenes）与机器人操作（RoboTwin 2.0、RoboCasa-GR1）的性能？ - \*\*数据效率问题\*\*：具备原生定位能力的骨干是否能减少对动作演示数据的依赖？ - \*\*能力构成问题\*\*：哪些预训练感知任务（如密集定位、OCR、指代表达）对下游动作迁移最为关键？ ### 4. 对具身基础模型设计的启示基于实验结果，论文提出\*\*System 1（执行）与 System 2（规划）应解耦\*\*的设计假设： - \*\*System 2（高层规划）\*\*：可依赖前沿通用大模型（如 GPT-6 Astra）的广博知识与推理能力； - \*\*System 1（感知-动作执行）\*\*：需要以精确、实时的定位为核心的感知原生基础模型（如 GroundingPI），以确保“知道在哪里行动”先于“知道如何行动”。综上，该论文的核心贡献在于：\*\*突破了通用 VLM 在精细空间定位上的局限，提出并验证了一种专为物理智能设计的感知原生基础模型范式\*\*，表明“先学好感知，再学动作”是提升具身智能体泛化性与数据效率的有效路径。 Q2: 有哪些相关研究？根据论文第 2 节（Related Work），相关研究可归纳为以下三个方向： ### 1. 视觉定位模型（Visual Grounding Models）该方向关注如何将语言与图像中的对象、区域或结构进行关联，经历了从闭集检测到开放集语言条件定位的演变： - \*\*传统目标检测\*\*：YOLO（Redmon et al., 2016）、DETR（Carion et al., 2020）等闭集检测器； - \*\*视觉-语言预训练与开放集定位\*\*：GLIP（Li et al., 2022）、Grounding DINO（Liu et al., 2024）等通过 grounded image-text pretraining 实现语言条件的目标定位； - \*\*生成式自回归定位模型\*\*：采用 next-token 预测统一输出标签与量化坐标，如 Pix2Seq（Chen et al., 2022）、Florence-2（Xiao et al., 2024）、Rex-Omni（Jiang et al., 2026）； - \*\*并行框解码\*\*：LocateAnything（Wang et al., 2026a）探索通过并行解码实现快速高质量定位； - \*\*空间可供性与机器人指向\*\*：RoboPoint（Yuan et al., 2024）、RoboRefer（Zhou et al., 2026）及空间指代工作（Wu et al., 2026）将定位能力扩展至机器人交互场景。 ### 2. 物理智能基础模型（Foundation Models for Physical Intelligence）该方向关注如何为机器人和自动驾驶等物理智能任务构建基础模型，主要包括三类范式： - \*\*视觉-语言-动作模型（VLA）\*\*：如 OpenVLA（Kim et al., 2024）、 π_0 （Black et al., 2024），在 VLM 基础上迁移视觉-语义知识； - \*\*世界-动作模型（WAM）\*\*：如 Cosmos Policy（Kim et al., 2026）、World Action Models（Ye et al., 2026）、OpenWAM（Wang et al., 2026b），利用视频与世界模型的时空动态先验； - \*\*具身基础模型（Embodied Foundation Models）\*\*：如 π_(0.5) / Physical Intelligence（Intelligence et al., 2025）、GR00T N1（NVIDIA et al., 2025）、RynnBrain（Dang et al., 2026）、Cosmos 3（NVIDIA, 2026），试图融合语义、动态与具身经验。 ### 3. 动作迁移中的感知学习（Perceptual Learning for Action Transfer）该方向研究如何在策略学习中显式增强感知能力，但通常以任务特定的辅助形式出现： - \*\*边界框语义锚定\*\*： π_(0.5) 在 VLA 训练中加入边界框预测作为知识隔离手段（Intelligence et al., 2025）； - \*\*任务区域重建\*\*：ReconVLA（Song et al., 2026）通过重建任务相关区域增强感知； - \*\*可供性感知\*\*：AffordanceVLA（Yu et al., 2026）、AffordanceWAM（You et al., 2026）引入可供性表示； - \*\*空间辅助监督\*\*：SG-VLA（Tu et al., 2026）、LD4WAM（Shen et al., 2026）等利用空间辅助目标提升策略学习。这些相关工作共同揭示了当前物理智能模型在感知能力上的缺口：通用 VLM/WAM 骨干并非为精确空间定位而设计，而现有动作学习中的感知增强多为任务特定的补丁。这为论文提出\*\*以定位为核心的感知原生基础模型\*\*提供了直接的动机与对比基准。 Q3: 论文如何解决这个问题？论文通过提出 \*\*GroundingPI\*\*（一个 4B 参数的 grounding 基础模型）来解决物理智能中的精确感知瓶颈问题。其核心解决思路是：\*\*将广泛而精确的视觉定位能力作为模型的原生能力进行预训练，从而为下游动作学习提供坚实的感知接口\*\*。具体解决方案可分为以下四个层面： --- ### 1. 统一视觉原语的定位架构论文设计了一个基于\*\*视觉原语（点与框）\*\*的生成式定位模型，将多样化的感知任务统一为语言条件的结构化序列生成问题： - \*\*架构\*\*：采用 \*\*MoonViT-V2 (Kimi K3)\*\* 作为视觉编码器，通过可学习的 projector 与 \*\*Qwen3-4B\*\* 语言解码器连接。视觉特征经 2×2 合并后映射到语言嵌入空间。 - \*\*统一词汇表\*\*：语义标签、协议标记与 1,000 个量化坐标 token（\`<0>\`–\`<999>\`）共享输出词汇。模型通过自回归 next-token 预测生成可变长度的结构化响应。 - \*\*多任务统一\*\*：一个模型覆盖 grounding、指代表达（referring）、指向（pointing）、OCR、GUI 定位、布局分析、视觉提示（visual prompting）等 \*\*11 种感知能力\*\*，避免了为每个任务设计专用头。 > \*\*关键设计\*\*：通过量化坐标将几何信息（点/框）转化为离散语言 token，使模型可以用单一的 next-token prediction 目标同时学习语义与空间。 --- ### 2. 高质量数据引擎为解决公开数据集标注质量与覆盖度不足的问题，论文构建了一个\*\*多教师融合的数据引擎\*\*： - \*\*字段级融合\*\*：组合多个互补教师模型（定位、分割、OCR、GUI 等）的预测结果，在字段级别（语义/几何）进行对齐与融合。 - \*\*任务级验证\*\*：对每个标注实例进行几何、语法、语义一致性和覆盖度检查，接受、拒绝或标记为待解决。 - \*\*专家迭代\*\*：通过验证的标注训练统一的 grounding 专家模型，再利用该专家进行迭代标注；对于不确定案例，通过局部裁剪、rollout 等方式补充证据。 - \*\*跨任务复用\*\*：一个验证后的实例记录可衍生出多种监督信号（如检测框用于 grounding，文本区域用于 OCR，实例掩码用于 pointing）。 --- ### 3. 三阶段训练策略论文设计了一个从通用视觉理解到空间专门化，再到强化后训练的分阶段 recipe： #### 阶段一：基础 VLM 预训练（Base VLM Training） - \*\*Projector 对齐\*\*：冻结视觉编码器与语言模型，仅训练 projector，使用图像-caption 数据对齐视觉-语言空间。 - \*\*联合多模态预训练\*\*：解冻所有模块，在文本与图文数据上进行因果 next-token 预测。 - \*\*通用视觉/视频理解\*\*：在视觉问答、图像描述和视频数据上继续训练，提升通用视觉理解能力。 #### 阶段二：监督微调（Supervised Fine-Tuning, SFT） - \*\*坐标对齐\*\*：使用 8 类空间任务数据（检测、密集定位、指代、指向、OCR、文档布局、GUI 等）进行全量微调，随后冻结视觉编码器与 projector，仅优化语言侧参数。 - \*\*损失函数\*\*：对语义标签、坐标 token 和协议标记施加标准的 token-level 交叉熵损失，\*\*不引入额外的 IoU 回归损失\*\*，保持生成框架的一致性。 #### 阶段三：强化后训练（Reinforcement Post-Training with GRPO）为进一步直接优化定位精度与覆盖率，论文采用 \*\*GRPO（Group Relative Policy Optimization）\*\* 进行强化学习： - \*\*采样策略\*\*：对每个图像-查询对生成 G=8 个自回归响应。 - \*\*Grounding 奖励\*\*： - \*\*集合完整性奖励 R_(set) \*\*：基于参考框与预测框的最大 IoU 匹配，结合类别验证，计算 F1 风格的覆盖率。 - \*\*严格定位奖励 R_(strict) \*\*：融合多阈值检测 F1、定位 IoU、格式合法性、框数量、排序合规性，并惩罚重复框和超大框。 - 综合优势函数： A_i = 0.7 Z(R_(set),i) + 0.3 Z(R_(strict),i) 。 - \*\*OCR 奖励\*\*：基于匈牙利匹配的文本-几何联合评估，同时考核文本内容、区域重合度和格式正确性。 - \*\*优化设置\*\*：使用冻结的 SFT 模型作为参考策略，仅更新语言参数，避免视觉表征在 RL 阶段退化。 --- ### 4. 向物理智能的迁移：作为通用感知骨干论文没有将 GroundingPI 训练为端到端策略模型，而是将其作为\*\*视觉感知骨干（visual backbone）\*\*，通过固定接口迁移至下游动作学习任务： #### 自动驾驶（nuScenes） - \*\*任务定义\*\*：将轨迹预测建模为语言条件生成。给定前视摄像头图像与历史自车状态，预测未来 3 秒内 6 个航路点。 - \*\*坐标映射\*\*：将轨迹的米制坐标 (x,y) 通过固定范围映射到 GroundingPI 现有的 \`<0>\`–\`<999>\` 量化词汇表，直接复用模型的坐标生成能力。 - \*\*训练目标\*\*：仅对轨迹响应部分施加因果交叉熵损失。 #### 机器人操作（RoboTwin 2.0 / RoboCasa-GR1） - \*\*统一动作接口\*\*：采用 π -style flow-matching 策略（Action DiT）。无论上游是 VLA 还是 WAM 骨干，均通过统一接口将 GroundingPI 的中间层特征注入 Action DiT 的交叉注意力层。 - \*\*受控比较\*\*：在固定 Action DiT 架构、动作数据、训练预算、推理流程的前提下，仅替换预训练骨干，从而\*\*纯粹评估感知基础对动作学习的贡献\*\*。 - \*\*物理提示接口\*\*：GroundingPI 的视觉原语输出（点/框）天然支持物理提示（physical prompting），可在语言之外直接指定交互目标与位置。 --- ### 5. 核心解决逻辑总结 | 问题 | GroundingPI 的解决方案 | |------|------------------------| | \*\*通用 VLM 定位不精确\*\* | 构建专用的 grounding 基础模型，将精确空间预测作为原生能力 | | \*\*多任务感知碎片化\*\* | 用量化坐标统一框/点/文本/布局等任务，共享单一自回归接口 | | \*\*标注质量与规模不足\*\* | 多教师字段融合 + 任务验证 + 专家迭代的数据引擎 | | \*\*定位精度难以直接优化\*\* | GRPO 强化学习，设计可微的覆盖与定位奖励直接优化 IoU 与格式 | | \*\*感知与动作学习耦合低效\*\* | 解耦“感知预训练”与“动作微调”，使稀缺动作数据专注于“如何行动” | | \*\*实时闭环需求\*\* | 4B 紧凑规模 + 高效量化坐标表示（7.6 tokens/框），降低推理开销 | 通过上述设计，论文在 \*\*34 个 grounding 基准\*\*上建立了新的 SOTA（平均 73.68%），并在机器人操作与自动驾驶的下游任务中，相较于更大或更通用的基线实现了更优的泛化性、数据效率和分布外（OOD）鲁棒性。 Q4: 论文做了哪些实验？论文的实验围绕\*\*定位能力评测\*\*、\*\*物理智能迁移\*\*与\*\*消融分析\*\*三条主线展开，具体可分为以下四大部分： --- ### 1. 定位基准评测（Grounding Benchmarks）在 \*\*34 个基准测试\*\* 上，与 \*\*44 个基线模型\*\*（包括专用检测器、通用 VLM、 grounding 专家模型及前沿模型 GPT-6 Astra）进行系统对比，评估 \*\*11 种感知能力\*\*： - \*\*常见与长尾目标检测\*\*：COCO、LVIS - GroundingPI 取得 62.98（COCO）和 56.02（LVIS）的 F1mIoU，优于同规模模型；在 COCO 上 F1@0.50 达到 81.16，但高 IoU（0.95）下仍有提升空间。 - \*\*密集与微小目标检测\*\*：Dense200、VisDrone - 在 Dense200 上达到 \*\*74.53 F1mIoU\*\*，显著超越 GPT-6 Astra（65.04）和 SenseNova-Vision（68.13）；VisDrone 上为 40.44，领先多数基线但落后于 SenseNova-Vision（42.35）。 - \*\*指代表达定位（Referring Grounding）\*\*：RefCOCO、RefCOCO+、RefCOCOg、HumanRef - HumanRef 上达 \*\*88.56 F1mIoU\*\*，RefCOCO 系列平均达 \*\*83.92\*\*，在 RefCOCOg val/test 上分别为 85.62/84.36。 - \*\*机器人与空间指向\*\*：RoboSpatial、RefSpatial - RefSpatial 平均（Location/Placement/Unseen）达 \*\*75.50\*\*；RoboSpatial Context 达 \*\*73.77\*\*，优于所有评估的紧凑基线。 - \*\*GUI 定位\*\*：ScreenSpot-Pro、ScreenSpot-V2、OSWorld-G - ScreenSpot-V2 达 \*\*96.15\*\*；ScreenSpot-Pro 达 \*\*65.78\*\*；OSWorld-G 达 \*\*74.82\*\*，均显著领先同规模基线，但 ScreenSpot-Pro 仍明显落后于 GPT-6 Astra（93.17）。 - \*\*OCR\*\*：HierText、ICDAR2015、TotalText、SROIE - SROIE 上达 \*\*72.47\*\*，大幅领先 Astra（53.57）；但在 TotalText（49.32）上略逊于 Astra（53.55）。 - \*\*文档布局\*\*：DocLayNet、M6Doc - DocLayNet 达 \*\*85.08\*\*，M6Doc 达 \*\*74.82\*\*，均超过 Astra 和多数基线。 - \*\*物体指向（Object Pointing）\*\*：基于 SAM 掩码评估点是否在目标内 - HumanRef 达 \*\*88.79 F1@Point\*\*，Dense200 达 \*\*81.27\*\*，但在 Dense200 上落后于 Astra（86.57）。 - \*\*视觉提示（Visual Prompting）\*\*：FSC147、Dense200、COCO、LVIS - Dense200 视觉提示达 \*\*75.43 F1mIoU\*\*，优于 Astra（68.94）；FSC147 为 \*\*57.99\*\*，略逊于 Astra（61.04）。 \*\*总体\*\*：GroundingPI 在 34 基准平均达 \*\*73.68%\*\*，高于 GPT-6 Astra（71.54%），且显著优于所有同规模（<10B）模型。 --- ### 2. 物理智能下游任务迁移（Physical Intelligence Transfer）为验证“强感知是否支持强动作学习”，论文将 GroundingPI 作为\*\*固定视觉骨干\*\*，在控制变量条件下迁移至两个物理智能领域： #### 2.1 自动驾驶（nuScenes） - \*\*任务设定\*\*：开环轨迹预测，将未来 3 秒内的 6 个航路点映射为量化坐标序列，以语言模型自回归生成。 - \*\*结果\*\*：平均开环 L2 误差为 \*\*0.296 m\*\*，优于 Qwen3-VL-4B（0.301 m）和 RynnBrain（0.308 m）。 #### 2.2 机器人操作（Robot Manipulation）采用统一的 \*\*π-style Action DiT\*\* 与 \*\*层-wise 特征注入接口\*\*，固定动作专家架构、训练数据与优化预算，仅替换预训练骨干： - \*\*RoboTwin 2.0（双机械臂桌面操作）\*\*： - \*\*ID（Full）\*\*：成功率 \*\*66.20%\*\*，排名第一； - \*\*OOD（Clean2Random）\*\*：成功率 \*\*17.60%\*\*，领先第二名 Rex-Omni（14.10%）达 24.8% 相对提升。 - \*\*RoboCasa-GR1（人形灵巧手操作）\*\*： - \*\*ID（Full）\*\*：成功率 \*\*37.75%\*\*； - \*\*OOD 泛化\*\*：在 Type、Appearance、Container 三种 OOD 设置中均排名第一，分别达 \*\*37.78%\*\*、\*\*37.86%\*\*、\*\*37.75%\*\*。 #### 2.3 数据效率（Data Efficiency）在 RoboCasa-GR1 ID 上，使用不同比例的动作演示数据训练： - GroundingPI 在 \*\*50% 数据\*\*下达到 \*\*28.75%\*\* 成功率，超过所有基线在 \*\*75% 数据\*\*下的表现（最佳基线 RynnBrain 为 27.75%）。 - 这表明感知原生基础模型可将动作学习的负担从“感知+控制”降低为“专注控制”，提升数据效率。 --- ### 3. 消融实验与分析（Ablations and Analysis） #### 3.1 预训练规模效应（Scaling）从 88.4B 增至 221B grounding 训练 token： - \*\*Grounding 平均得分\*\*：从 61.69 提升至 \*\*73.68\*\*； - \*\*RoboCasa-GR1 ID\*\*：从 33.92% 提升至 37.75%； - \*\*RoboCasa-GR1 OOD\*\*：从 26.59% 提升至 \*\*33.38%\*\*。 - \*\*结论\*\*：感知预训练规模的扩大同步提升定位质量与下游泛化能力，且 \*\*OOD 性能与感知提升关联最紧密\*\*。 #### 3.2 数据组成分析（Data Composition）将预训练数据分为 6 组（A: 基础定位, B: 密集定位, C: 指代表达, D: 基础指向, E: 机器人指向, F: OCR/布局/GUI），进行 leave-one-out 实验： - \*\*密集定位（B）\*\* 对操作与驾驶迁移的边际贡献最大：移除后 ID/OOD 分别下降 4.67/3.47 pp，L2 误差上升 0.015 m； - \*\*OCR（F）\*\* 单独存在时迁移效果弱，但与其他组结合时提升显著（移除后 ID/OOD 分别下降 5.33/3.63 pp），论文提出 \*\*“OCR 作为感知催化剂”\*\* 假设：字符边界精度与局部语义对齐可增强细粒度 ViT 特征； - \*\*完整六组混合\*\* 在所有配置中表现最佳，验证了感知任务的互补性。 #### 3.3 架构与训练策略消融 - \*\*坐标表示\*\*：量化坐标（73.68）显著优于文本坐标（71.21），且推理速度为文本坐标的 \*\*4 倍\*\*； - \*\*视觉编码器\*\*：MoonViT-V2（73.68）> MoonViT（73.17）> Qwen3-ViT（71.65）； - \*\*第三阶段 RL\*\*：移除 Stage III（GRPO）后平均得分降至 72.86，证明强化后训练对精细定位有明确增益。 #### 3.4 输出效率分析 - \*\*Token 效率\*\*：在 COCO 上仅需 \*\*7.6 tokens/框\*\*，对比 SEED1.5-VL 的 148.8 tokens/框，序列长度降低约 \*\*19.6 倍\*\*； - \*\*生成成本\*\*：输出长度与生成时间随预测目标数量线性增长，共享标签包装（label wrapper）在密集场景中摊销了协议开销。 --- ### 4. 附加与定性分析 - \*\*附录 F\*\* 提供了 34 个基准的完整细粒度结果（包括 R/P/F1@0.50/0.95/mIoU 等全部分解指标）； - \*\*附录 H\*\* 展示了定性可视化，涵盖密集场景定位、遮挡下的指代表达、GUI 控件定位、多语言/艺术字体 OCR、视觉提示引导的实例定位等，揭示了模型在复杂空间关系与细粒度判别上的优势与局限。 --- \*\*总结\*\*：实验体系从\*\*感知能力广度\*\*（34 基准全覆盖）、\*\*物理智能迁移深度\*\*（自动驾驶+机器人操作，控制变量对比）、\*\*预训练机制可解释性\*\*（规模、数据组成、架构消融）三个维度，系统验证了“以 grounding 为核心的感知原生基础模型”对物理智能的价值。 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论（附录 E）及实验分析，可进一步探索的方向可分为以下五个层面： --- ### 1. 感知能力的补齐与边界提升尽管 GroundingPI 在 34 个基准上取得领先，但在若干精细任务上仍存在明确差距，值得针对性攻关： - \*\*高 IoU 边界精度\*\*：在 COCO、LVIS 等数据集上，F1@IoU 0.95 显著落后于 F1@IoU 0.50（如 COCO 上 81.16 vs. 22.84），表明\*\*极端严格的边界定位\*\*仍是未解难题。 - \*\*极小目标定位\*\*：VisDrone 上的 F1@IoU 0.95 仅为 3.31，微小目标的像素级精度需进一步优化。 - \*\*特定文本场景\*\*：TotalText OCR 落后于 GPT-6 Astra，复杂曲线文本与艺术字体的联合识别-定位需更强监督或数据增强。 - \*\*前沿 GUI 定位\*\*：ScreenSpot-Pro 与 GPT-6 Astra（93.17）差距显著，专业高分辨率界面中的微小控件定位仍需提升。 - \*\*视觉提示边界质量\*\*：FSC147 上 IoU 0.95 的 F1 仅为 3.49，exemplar-conditioned 的精细边界回归是薄弱环节。 --- ### 2. 从开环评测到闭环部署验证当前实验主要在离线或仿真环境中进行，缺乏真实世界闭环验证： - \*\*闭环自动驾驶\*\*：nuScenes 实验为开环 L2 误差，\*\*闭环控制性能\*\*、时延约束下的规划稳定性、以及定位模型在自车反馈回路中的累积误差尚未评估。 - \*\*真实机器人部署\*\*：RoboTwin 与 RoboCasa-GR1 均为仿真环境，真实硬件上的感知延迟、相机标定误差、机械臂重复精度与 grounding 输出的耦合效应有待检验。 - \*\*实时动作延迟\*\*：论文报告了生成 token 效率（7.6 tokens/框），但未报告\*\*端到端动作执行延迟\*\*。对于 System 1 执行回路，"感知-动作"全链路的毫秒级时延是关键部署指标。 --- ### 3. 预训练机制与架构的因果分析论文提出了若干假设，但缺乏控制实验验证其因果性： - \*\*OCR 的催化机制假设\*\*：论文推测 OCR 通过"字符边界精度+局部语义对齐"提升整体感知表征，但尚未通过\*\*仅保留 OCR 几何监督而移除文本监督\*\*的控制实验来分离文本转录本身的因果效应（附录 C.4 提出了具体数学条件，但实验尚缺）。 - \*\*架构对动作迁移的敏感性\*\*： - \*\*记忆与门控机制\*\*：RynnBrain1.1（Gated DeltaNet）在操作任务上落后于 RynnBrain（Full Attention），暗示线性注意力/门控机制可能削弱空间特征向动作网络的梯度传播（附录 D.2 推导了条件梯度上界），需控制变量验证。 - \*\*多级视觉注入 vs. 单级接口\*\*：GroundingPI 采用单一 ViT-to-language 接口，而 Qwen3-VL/RynnBrain 使用 DeepStack（多层注入）。需设计\*\*匹配容量的共享/分层 projector 对比实验\*\*，以验证特征层级兼容性对动作学习的影响（附录 D.3）。 - \*\*深度监督假设\*\*：论文提出绝对 metric 深度监督可能不如相对深度或场景归一化深度适合预训练（因图像本身缺乏绝对尺度），该假设尚未测试。 --- ### 4. 双系统架构与物理提示的系统级设计论文提出 System 1（执行）与 System 2（规划）应解耦，但尚未实现集成验证： - \*\*System 1 + System 2 集成\*\*：将 GroundingPI 作为 System 1 的感知-动作骨干，与 GPT-6 Astra 等前沿模型作为 System 2 的规划器结合，验证\*\*任务成功率、鲁棒性与延迟\*\*的权衡。需明确感知失败与规划/控制失败的归因边界。 - \*\*物理提示（Physical Prompting）的独立验证\*\*：GroundingPI 的点/框原语天然支持用视觉标记指定目标，但论文仅将其作为预训练输出格式，未在下游任务中系统评估\*\*语言+框/点混合提示\*\*相比纯语言指令对动作学习或纠正的增益。 --- ### 5. 数据效率、规模化与泛化 - \*\*跨域数据效率\*\*：动作数据效率实验仅在 RoboCasa-GR1 上测试，未在 RoboTwin 2.0 或 nuScenes 上验证，无法确定该优势是否普适。 - \*\*预训练规模的饱和点\*\*： grounding 预训练从 88.4B 增至 221B token 持续带来增益，但\*\*更大规模（如 500B+）的边际收益曲线\*\*尚未刻画，且 ID 操作性能在最后阶段出现轻微下降（37.75% vs. 38.75%），需更多种子重复以确认趋势。 - \*\*强化学习的任务扩展\*\*：当前 RL 仅覆盖 grounding 与 OCR，尚未探索对\*\*更复杂结构化输出\*\*（如布局层级关系、时序轨迹一致性）的奖励设计。 --- ### 6. 输出表示与多模态扩展 - \*\*3D 与时序定位\*\*：当前模型聚焦于图像域的 2D 点/框，向 \*\*3D 空间定位\*\*（深度、点云）及\*\*时序视频 grounding\*\* 的扩展可进一步支持移动操作与动态场景理解。 - \*\*连续坐标 vs. 离散量化\*\*：虽然量化坐标在速度和统一性上占优，但在需要亚像素精度的任务（如关键pointing）中，\*\*混合离散-连续表示\*\*或扩散式坐标生成值得探索。 Q6: 总结一下论文的主要内容这篇论文围绕\*\*视觉定位（Visual Grounding）作为物理智能（Physical Intelligence）的基础能力\*\*展开，提出并验证了一种以精确感知为核心的基础模型范式。以下是主要内容总结： --- ### 1. 研究动机与核心问题当前视觉-语言-动作（VLA）模型与世界-动作模型（WAM）普遍依赖通用视觉-语言模型（VLM）或视频生成模型作为感知骨干。然而，这些通用骨干并非专为物理交互设计，在\*\*密集场景、微小目标定位及实时闭环控制\*\*等关键需求上存在显著瓶颈。这导致下游动作学习被迫同时承担“感知”与“控制”的双重负担，限制了数据效率与泛化能力。论文提出三个核心问题： - 紧凑的 grounding 基础模型能在多大程度上推进广泛而精确的感知？ - 更强的感知能力能否有效迁移至物理智能任务（自动驾驶与机器人操作）？ - 哪些感知能力与模型设计选择最能解释这种迁移效果？ --- ### 2. GroundingPI：基于视觉原语的定位基础模型论文提出 \*\*GroundingPI\*\*，一个 4B 参数的 grounding 基础模型，其设计要点包括： - \*\*统一视觉原语接口\*\*：将点（point）与框（box）表示为量化坐标 token（\`<0>\` 至 \`<999>\`），与语义标签共享输出词汇，通过自回归 next-token 预测统一处理检测、指代表达（referring）、指向（pointing）、OCR、GUI 定位、布局分析、视觉提示（visual prompting）等 \*\*11 种感知任务\*\*。 - \*\*架构\*\*：采用 \*\*MoonViT-V2 (Kimi K3)\*\* 作为视觉编码器，通过可学习 projector 与 \*\*Qwen3-4B\*\* 语言解码器连接。视觉特征经 2×2 空间聚合后映射至语言嵌入空间。 - \*\*数据引擎\*\*：构建多教师融合与任务级验证引擎，通过字段级对齐、专家迭代与局部证据补充，生成高质量的多任务监督数据。 --- ### 3. 三阶段训练策略 GroundingPI 的训练分为三个阶段，逐步从通用视觉理解过渡到精确空间定位： - \*\*基础 VLM 预训练\*\*：先对齐 projector，再进行联合多模态预训练（文本 + 图文）与通用视觉/视频理解训练。 - \*\*监督微调（SFT）\*\*：在 grounding、referring、pointing、OCR、布局等 8 类空间任务上微调，学习结构化输出协议与坐标对齐。 - \*\*强化后训练（RL）\*\*：采用 \*\*GRPO（Group Relative Policy Optimization）\*\*，针对 grounding 任务设计集合完整性奖励与严格定位奖励（含多阈值 F1、IoU、格式合规性、重复/超大框惩罚），针对 OCR 设计文本-几何联合奖励，直接优化定位精度与输出可靠性。 --- ### 4. 实验与主要结果 #### 4.1 Grounding 基准评测在 \*\*34 个基准测试\*\* 上对比 \*\*44 个基线模型\*\*（含专用检测器、VLM、grounding 专家及 GPT-6 Astra），GroundingPI 平均达到 \*\*73.68%\*\*，超过 GPT-6 Astra（71.54%）及所有同规模模型。关键结果包括： - \*\*密集目标检测\*\*：Dense200 上达 \*\*74.53 F1mIoU\*\*，较 Astra（65.04）提升显著； - \*\*指代表达\*\*：RefCOCO 系列平均达 \*\*83.92 F1mIoU\*\*，HumanRef 达 \*\*88.56\*\*； - \*\*OCR\*\*：SROIE 达 \*\*72.47\*\*，显著领先 Astra（53.57）； - \*\*GUI 定位\*\*：ScreenSpot-V2 达 \*\*96.15\*\*，OSWorld-G 达 \*\*74.82\*\*； - \*\*文档布局\*\*：DocLayNet 达 \*\*85.08\*\*，M6Doc 达 \*\*74.82\*\*。 #### 4.2 物理智能迁移将 GroundingPI 作为固定视觉骨干，在控制下游动作架构、数据与训练预算的条件下进行迁移： - \*\*自动驾驶（nuScenes）\*\*：开环轨迹预测的平均 L2 误差为 \*\*0.296 m\*\*，优于 Qwen3-VL-4B（0.301 m）与 RynnBrain（0.308 m）。 - \*\*机器人操作（RoboTwin 2.0）\*\*：ID 场景成功率 \*\*66.20%\*\*；OOD（Clean→Random）场景达 \*\*17.60%\*\*，相对最强基线提升 \*\*24.8%\*\*。 - \*\*机器人操作（RoboCasa-GR1）\*\*：在 ID 与全部三种 OOD（Appearance/Type/Container）设置中均排名第一，OOD 平均成功率达 \*\*33.38%\*\*。 #### 4.3 数据效率在 RoboCasa-GR1 上，GroundingPI 使用 \*\*50% 的动作演示数据\*\* 即可达到 \*\*28.75%\*\* 成功率，超过所有基线使用 \*\*75% 数据\*\* 的最佳表现（27.75%）。这表明原生感知能力可将下游动作学习的负担聚焦于控制本身，显著提升数据效率。 #### 4.4 消融与分析 - \*\*规模效应\*\*：grounding 预训练从 88.4B 增至 221B token，感知得分与操作 OOD 性能同步单调提升； - \*\*数据组成\*\*：leave-one-out 实验表明，\*\*密集 grounding（dense grounding）\*\* 提供空间迁移的核心能力，\*\*OCR\*\* 在与其他任务结合时发挥“感知催化剂”作用； - \*\*架构选择\*\*：量化坐标表示（73.68）优于文本坐标（71.21）且速度快 4 倍；MoonViT-V2 视觉编码器优于 MoonViT 与 Qwen3-ViT；Stage III 强化学习带来 0.82 pp 增益。 --- ### 5. 核心发现与设计启示 - \*\*感知先于动作（Perception Before Action）\*\*：精确的语言条件 grounding 为动作学习提供了“在哪里行动”的基础，使下游策略能专注于“如何行动”，从而改善泛化、鲁棒性与数据效率。 - \*\*System 1 与 System 2 的解耦设计\*\*：论文提出，未来具身系统可采用\*\*双系统架构\*\*——将 GroundingPI 这类感知原生模型作为 \*\*System 1（实时感知-动作执行）\*\* 的基础，而将 GPT-6 Astra 等前沿通用模型用于 \*\*System 2（高层推理与规划）\*\*。 - \*\*视觉原语作为物理提示\*\*：点与框的统一输出格式不仅支持语言条件定位，也为物理提示（physical prompting）提供了直接接口，可进一步探索人机交互中的目标指定方式。综上，该论文通过 GroundingPI 的系统构建与评估，论证了\*\*以 grounding 为核心的专用感知预训练是物理智能基础模型的重要方向\*\*。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是GroundingPI%3A%20A%20Grounding%20Foundation%20Model%20towards%20Physical%20Intelligence%20with%20Visual%20Primitives，链接是https://arxiv.org/pdf/2609.39601，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2609.39601。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qize Yu,Lianrui Fan,Boyu Chen,Jiaqi Liang,Xini Ding,Yue Chen,Zetian Song,Yuran Wang,Yi Zou,Kaixuan Wang,Tianxing Chen,Wenxuan Song,Bohan Zhou,Mingleyang Li,Siqiao Huang,Yuqi Ye,Caigao Jiang,Wei Wei,Ruihai Wu,Hang Zhang,Yixiao Ge,Shuchang Zhou,Shilong Liu,Xianming Liu,Ping Luo,Shiyu Huang

Categories:

PDF URL: https://arxiv.org/pdf/2609.39601.pdf

Arxiv URL: https://arxiv.org/abs/2609.39601

Arxiv ID: 2609.39601

CoolPaper URL: https://papers.cool/arxiv/2609.39601

Published: 2026-10-13T03:51:33.096Z

Updated: 2026-10-13T03:51:33.096Z

4. SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

Abstract:When solving complex spatial reasoning tasks, ordinary humans naturally revisit the scenes from task-relevant viewpoints and mentally reconstruct the spatial layouts from those viewpoints. But can Large Vision-Language Models (LVLMs) proactively think in the same way? We term this ability Active Spatial Mentalization (ASM), an intrinsic component of visual intelligence that remains substantially underdeveloped in current LVLMs. To bridge this gap, we introduce SpatialASM, a scalable framework to internalize ASM into LVLMs through training-time spatial simulation. SpatialASM employs an allocentric novel-view generator to ground hypothetical viewpoints in visual evidence and produces two complementary forms of supervision: i) explicit ASM trajectories that teach LVLMs when and how to adaptively invoke view planning and imagination during spatial reasoning, and ii) automatically-constructed perspective-taking tasks that further strengthens viewpoint-conditioned scene imagination. On seven benchmarks spanning relatively perception-oriented spatial understanding to more challenging tasks requiring multi-image, cross-view and viewpoint-transformation reasoning, SpatialASM yields performance gain on LVLMs of four LVLM backbones in spatial reasoning while retaining their original general vision capabilities. The experimental results demonstrate that our approach improves average accuracy across the seven spatial benchmarks. And the synthesis of ASM trajectories provides a scalable pathway to alleviate the scarcity of spatial Chain-of-Thought (CoT) supervision for eliciting active viewpoint exploration and mental scene simulation.

中文摘要

摘要：在解决复杂的空间推理任务时，普通人类自然会从与任务相关的视角重新审视场景，并从这些视角在脑中重建空间布局。但大型视觉-语言模型（LVLMs）能否以同样的方式主动思考呢？我们将这种能力称为主动空间心理化（ASM），这是视觉智能的一个内在组成部分，但在当前的LVLMs中仍然显著欠缺。为了弥补这一差距，我们提出了SpatialASM，这是一种可扩展框架，通过训练时的空间模拟将ASM内化到LVLMs中。SpatialASM采用以外向性的新视角生成器，将假设视角与视觉证据对应起来，并产生两种互补形式的监督：i) 显式的ASM轨迹，教会LVLMs何时以及如何在空间推理过程中自适应地调动视角规划和想象能力；ii) 自动构建的视角转换任务，进一步强化基于视点的场景想象。在七个基准测试中，涵盖从相对偏重感知的空间理解到要求多图像、跨视角及视点转换推理的更具挑战性任务，SpatialASM在四种LVLM骨干模型上实现了空间推理性能提升，同时保留了其原有的一般视觉能力。实验结果表明，我们的方法提高了七个空间基准的平均准确率。而ASM轨迹的合成提供了一条可扩展路径，以缓解引导主动视点探索和心理场景模拟所需的空间思维链（CoT）监督的稀缺性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13832 (HTTP 429)

Authors: Yuhong Liu,Shenxi Wu,Junyi Chi,Beichen Zhang,Xuanlang Dai,Jiaqi Wang,Yuhang Zang,Dahua Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.13832.pdf

Arxiv URL: https://arxiv.org/abs/2610.13832

Arxiv ID: 2610.13832

CoolPaper URL: https://papers.cool/arxiv/2610.13832

Published: 2026-10-13T03:51:33.078Z

Updated: 2026-10-13T03:51:33.078Z

Abstract:Vision-and-Language Navigation (VLN) has largely focused on a single agent following a single instruction, yet many real-world applications require teams of robots to tackle tasks beyond the capabilities of any individual agent. We present Systematic Multi-Agent Vision-and-Language Navigation, providing, to our knowledge, the first systematic formalization of multi-agent VLN as a constrained coordination problem: each mission consists of subtasks carrying dependency and resource constraints (presence locks and holding chains). A verified four-stage crafting pipeline instantiates the task as MAVLN, comprising 11,724 episodes across 145 scenes with teams of up to four agents under three instruction regimes, accompanied by tailored constraint-aware metrics. We further present TRISS, a coordination-ready navigation system coupling an LLM-based subtask scheduler, a shared topological memory that turns each agent’s exploration into team knowledge, and a conflict-aware execution mechanism that realizes simultaneous intentions as collision-free routes. Extensive experiments establish TRISS as a comprehensive baseline and reveal substantial room for improvement across scheduling, planning, and execution, highlighting the challenges of coordinating under MAVLN task constraints. Project page: this https URL.

中文摘要

摘要：视觉与语言导航（VLN）在很大程度上集中于单个智能体遵循单条指令，但许多现实应用需要机器人团队完成单个智能体无法完成的任务。我们提出了系统化的多智能体视觉与语言导航（MAVLN），据我们所知，这是第一个将多智能体VLN系统地形式化为受约束的协调问题的方法：每个任务由带有依赖和资源约束（存在锁和持有链）的子任务组成。经过验证的四阶段制作流程将任务实例化为MAVLN，包括跨145个场景的11,724个场景片段，每个团队最多四个智能体，在三种指令模式下进行，并配有定制的约束感知指标。我们进一步提出了TRISS，一种面向协调的导航系统，结合了基于LLM的子任务调度器、将每个智能体的探索转化为团队知识的共享拓扑记忆以及实现同时意图的无碰撞路线的冲突感知执行机制。大量实验表明TRISS是一个全面的基准，并揭示了调度、规划和执行方面的大幅改进空间，突显了在MAVLN任务约束下协调的挑战。项目页面：此 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35965 (HTTP 429)

Authors: Yunzhe Xu,Zhe Liu

Categories:

PDF URL: https://arxiv.org/pdf/2609.35965.pdf

Arxiv URL: https://arxiv.org/abs/2609.35965

Arxiv ID: 2609.35965

CoolPaper URL: https://papers.cool/arxiv/2609.35965

Published: 2026-10-13T03:51:33.476Z

Updated: 2026-10-13T03:51:33.476Z

6. Thinking Inertia: LLMs Keep Thinking When Told Not To

Abstract:Large Language Models (LLMs) increasingly ship with explicit “thinking modes”, yet their counterpart, “no-thinking”, has received far less attention. We study LLMs’ no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the question and pre-answer trace; and (iii) LLM-as-judge Explicit Inference Rate for visible explicit inference. Together, these metrics distinguish answer-only output, relevant but non-inferential text, and explicit inference. b. How does no-thinking vary across tasks and models? We evaluate six prompting interventions on six LLMs across Boolean, multiple-choice, and open-ended questions. We find that explicit no-think controls cannot reliably eliminate visible inference. Models instead exhibit “Thinking Inertia”: explicit inference persists even under strict controls and becomes more prevalent as the answer space opens. Accuracy remains stable on Boolean and multiple-choice tasks, whereas open-ended tasks reveal a trade-off between answer-only compliance and task accuracy. Rewriting the same questions across answer spaces shows that supplying candidate answers makes answer-only responses easier to produce. These findings establish no-thinking as a non-trivial capability: stopping explicit reasoning cannot be assumed from model settings or instructions alone and deserves systematic evaluation alongside reasoning ability.

中文摘要

摘要：大型语言模型（LLMs）越来越多地配备了明确的“思考模式”，然而其对立面——“无思考模式”，却受到的关注远少于前者。我们从两个方面研究了LLMs的无思考行为。a. 如何衡量无思考？以往研究通常通过一些代理指标定义无思考，例如禁用思考模式或缺乏长推理轨迹。然而这些代理指标不可靠：禁用的思考模式仍可能生成推理，而长轨迹可能包含填充内容而非真实推理。我们将每个响应规范化为预答轨迹和最终答案，并在三个层面进行评估：(i) 空思考率（Empty-Thinking Rate），用于严格的仅答题遵循性；(ii) 指令感知的问-预答相关性（instruction-aware Question-Pre-answer Relevance），衡量问题与预答轨迹之间的相似度；(iii) 以LLM为评判的显性推理率（LLM-as-judge Explicit Inference Rate），用于评估可见的显性推理。这些指标共同区分了仅答案输出、相关但非推理文本以及显性推理。b. 无思考行为如何随任务和模型变化？我们在六个LLMs上评估了六种提示干预方法，涵盖布尔题、多项选择题以及开放式问题。我们发现，明确的无思考控制并不能可靠地消除可见推理。模型表现出“思考惯性”（Thinking Inertia）：即使在严格控制下，显性推理仍然存在，并且随着答案空间的扩大而更为常见。布尔题和多项选择题的准确率保持稳定，而开放式任务显示了答案仅输出遵从性与任务准确率之间的权衡。将相同问题在不同答案空间中重写表明，提供候选答案使得仅答案响应更容易产生。这些发现表明，无思考是一个非平凡能力：仅凭模型设置或指令无法假定显性推理会停止，并且应与推理能力一起进行系统评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11765 (HTTP 429)

Authors: Dianqiao Lei,Kevin Qinghong Lin,Pan Lu,Philip Torr,James Zou

Categories:

PDF URL: https://arxiv.org/pdf/2610.11765.pdf

Arxiv URL: https://arxiv.org/abs/2610.11765

Arxiv ID: 2610.11765

CoolPaper URL: https://papers.cool/arxiv/2610.11765

Published: 2026-10-13T03:51:37.083Z

Updated: 2026-10-13T03:51:37.083Z

7. T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

Abstract:We reconstruct high-fidelity 3D scene meshes from posed multi-view images without per-scene optimization, across scales ranging from single objects to large outdoor scenes. Per-scene optimization methods lack the learned 3D prior needed when observations are sparse or surfaces are glossy or transparent. Existing generative methods leverage such priors to complete geometry in sparsely observed regions, but typically operate at a fixed resolution over a limited spatial extent, trading spatial coverage against detail. Reconstructing a large scene therefore often requires partitioning it into independently processed overlapping local regions, making it difficult to maintain global geometric consistency. To address these issues, we propose T3lescope, which applies a single fixed-resolution generator across scene scales in an inference-time coarse-to-fine cascade. A coarse level establishes the scene layout, and finer levels perturb and denoise geometry inherited from the coarser level within progressively finer spatial cells to recover surface detail. The model is trained on individual cells at multiple scales and shares its weights across all levels, so no hierarchy is fixed during training, and the number of levels, cell scales, and cell locations are determined at inference time. On indoor, outdoor, and city-scale scenes, T3lescope outperforms feed-forward and generative baselines, matches or surpasses per-scene optimization, and recovers fine structures as well as glossy and transparent surfaces. These results show that our method generalizes across diverse scenes, view counts, and image resolutions. Project page: this https URL

中文摘要

摘要：我们通过带位姿的多视角图像在不进行单场景优化的情况下重建高保真 3D 场景网格，适用于从单个物体到大型户外场景的各种尺度。单场景优化方法在观测稀疏或表面为光滑或透明情况下缺乏所需的学习型 3D 先验。现有生成方法利用此类先验来补全稀疏观测区域的几何形状，但通常在固定分辨率和有限空间范围内运行，需要在空间覆盖范围与细节之间权衡。因此，重建大场景通常需要将其划分为独立处理的重叠局部区域，从而难以保持全局几何一致性。为了解决这些问题，我们提出了 T3lescope，该方法在推理阶段采用从粗到细的级联策略，在场景各尺度上应用单一固定分辨率生成器。粗级别用于建立场景布局，较细级别在逐渐细化的空间单元内扰动和去噪从粗级继承的几何形状，以恢复表面细节。模型在多尺度的单个单元上进行训练，并在所有级别共享权重，因此训练期间不固定层级，级别数量、单元尺度及单元位置均在推理时确定。在室内、户外及城市级场景中，T3lescope 优于前馈和生成基线方法，达到或超越单场景优化效果，并能重建精细结构，以及光滑和透明表面。这些结果表明我们的方法能够在各种场景、视角数量和图像分辨率下实现良好泛化。项目页面：这个 HTTPS URL

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决从多视图图像进行\*\*高保真3D网格重建\*\*时面临的几个关键挑战，具体可归纳如下： - \*\*逐场景优化的局限性\*\*：传统方法（如NeRF、3D Gaussian Splatting等）虽能从密集观测中恢复精确表面，但缺乏学习的3D先验，在稀疏视角、遮挡、光泽或透明表面等困难情况下性能下降，且需要为每个场景单独进行耗时的优化。 - \*\*前馈预测的多视图不一致性\*\*：前馈方法（如深度估计、点图预测）虽避免了逐场景优化，但其输出通常与图像对齐，需要跨视图融合才能形成完整网格。此过程容易引入噪声、孔洞或重复表面，难以保证全局几何一致性。 - \*\*生成式方法在尺度与分辨率间的固有权衡\*\*：现有生成式3D重建方法通常在固定分辨率的体素网格上运行，空间覆盖范围有限，被迫在空间广度与几何细节之间做取舍。为重建大场景，现有方法（如GenRecon）将场景划分为独立处理的局部重叠单元，导致远距离区域仅通过邻域重叠间接交互，难以维持全局几何一致性。 - \*\*训练时固定层次结构缺乏灵活性\*\*：现有的粗到细（coarse-to-fine）3D生成器通常在训练阶段就固定了层级深度、空间范围和输出分辨率，无法根据推理时的需求灵活调整。针对上述问题，论文提出了 \*\*T3lescope\*\*，其核心思想是在\*\*推理时\*\*构建一个粗到细的级联（coarse-to-fine cascade），通过重用\*\*单个固定分辨率\*\*的生成器来跨尺度重建场景：粗级别先建立全局结构，细级别再对继承自粗级别的几何进行扰动与去噪，以恢复更精细的表面细节。级联的深度、单元尺度和布局均在推理时决定，无需在训练时预设层次结构，从而在统一的框架内同时实现大场景覆盖与高分辨率细节重建。 Q2: 有哪些相关研究？根据论文第2页的相关工作（Related Work）章节，现有研究可分为以下三个主要方向： ### 1. 网格重建（Mesh Reconstruction）该方向涵盖从传统多视图立体到神经隐式表示及前馈预测方法的广泛研究： - \*\*多视图立体视觉（MVS）\*\*：传统方法通过跨图像像素匹配并融合恢复几何，代表性工作如 \*\*Schönberger et al. (2016)\*\*（COLMAP）。 - \*\*逐场景优化方法\*\*：基于神经隐式场或3D高斯表示，针对每个场景独立优化。代表性工作包括： - 神经隐式表面重建：\*\*Wang et al. (2021)\*\*（NeuS）、\*\*Yu et al. (2022)\*\*（MonoSDF） - 高斯溅射表面重建：\*\*Huang et al. (2024)\*\*（2DGS）、\*\*Chen et al. (2025)\*\*（PGSR）、\*\*Guédon et al. (2025)\*\*（MILo）、\*\*Gomez et al. (2026)\*\*（GaussianWrapping） - 城市场景扩展：\*\*Liu et al. (2025)\*\*（CityGaussianV2） - \*\*局限性\*\*：这些方法依赖密集观测，缺乏学习的3D先验，在稀疏视角或处理光泽、透明表面时性能下降，且需要逐场景优化，成本高昂。 - \*\*前馈方法\*\*：通过学习跨场景的先验，单次前向传播直接预测图像对齐的深度或点图。代表性工作包括： - \*\*Wang et al. (2024)\*\*（DUSt3R） - \*\*Lin et al. (2026)\*\*（Depth Anything 3, DA3） - \*\*Keetha et al. (2026)\*\*（MapAnything） - \*\*Guo et al. (2025)\*\*（Murre） - \*\*局限性\*\*：预测结果需跨视图融合，容易因视图间不一致引入噪声、孔洞或重复表面。 ### 2. 生成式3D重建（Generative 3D Reconstruction）该方向利用学习的3D先验直接生成完整的几何表示，无需显式融合： - \*\*高分辨率网格生成\*\*：近期工作通过稀疏结构和结构化潜变量直接生成高分辨率网格，如 \*\*Xiang et al. (2026)\*\*（TRELLIS.2）。 - \*\*像素对齐图像条件\*\*：通过显式的2D–3D对应提升几何保真度，如 \*\*Li et al. (2026a)\*\*（Pixal3D）。 - \*\*场景级重建扩展\*\*：\*\*Schmid et al. (2026)\*\*（GenRecon）将对象级生成器扩展到场景尺度，通过将场景划分为局部重叠单元，并使用 \*\*Bar-Tal et al. (2023)\*\* 的 \*\*MultiDiffusion\*\* 联合采样。 - \*\*局限性\*\*：每个去噪器仅在局部单元上操作，远距离区域仅通过邻域重叠间接交互，难以维持全局几何一致性。 ### 3. 层次化生成（Hierarchical Generation）该方向研究如何通过多尺度策略提升分辨率或扩展空间范围： - \*\*固定层级的3D粗到细生成器\*\*：现有方法在训练阶段即固定层级深度与尺度，通常每层使用独立模型。代表性工作包括： - \*\*Ren et al. (2024a)\*\*（XCube） - \*\*Ren et al. (2024b)\*\*（SCube） - \*\*Meng et al. (2025)\*\*（LT3SD） - \*\*大场景空间扩展\*\*：通过渐进式延伸生成区域来扩大空间覆盖，如： - \*\*Wu et al. (2024)\*\*（BlockFusion） - \*\*Lu et al. (2025)\*\*（InfiniCube） - \*\*Joshi et al. (2026)\*\*（WorldFlow3D） - \*\*Li et al. (2026b)\*\*（WorldGrow） - \*\*Meng et al. (2026)\*\*（Seen2Scene） - \*\*2D级联扩散模型\*\*：\*\*Ho et al. (2022)\*\* 提出为每个分辨率训练独立模型的级联框架。 - \*\*无训练级联方法\*\*：在2D领域，\*\*Meng et al. (2022)\*\*（SDEdit）和 \*\*Du et al. (2024)\*\*（DemoFusion）重用了同一模型，通过对上采样样本进行渐进式细化来实现高分辨率生成。与上述研究不同，T3lescope 的核心区别在于：\*\*在推理时构建粗到细级联，且所有层级共享同一个固定分辨率生成器的权重\*\*，无需在训练时预设层次结构，从而在空间覆盖与几何细节之间实现了灵活的推理时权衡。 Q3: 论文如何解决这个问题？论文提出 \*\*T3lescope\*\*，通过以下关键设计解决高保真大场景网格重建中的尺度-细节权衡与全局一致性问题： ### 1. 推理时粗到细级联（Inference-Time Coarse-to-Fine Cascade）该方法在推理阶段动态构建级联，而非在训练时固定层次结构。整个重建分为 L 个级联层级，第 l 层的单元边长为：

s_l = (s_0) / (2^l), quad l = 0, dots, L-1

**第0层（粗层）**：以较大单元覆盖整个场景范围，建立全局几何布局与结构。 - **第 l+1 层（细层）**：单元边长减半，仅在前一层预测出表面的区域放置单元，对继承自父层的几何进行细化，恢复更精细的表面细节。级联深度、单元物理尺度和空间布局均在推理时根据场景需求确定，无需重新训练。 ### 2. 单一生成器跨尺度复用所有级联层级共享**同一组固定分辨率**的生成器权重。该生成器基于稀疏体素网格运行，在每个 R^3 （ R=64 ）的规范单元坐标内操作，且不接受绝对世界位置或物理尺寸作为输入。因此： - 相同模型可应用于任意位置和尺度的单元； - 小单元对应精细体素间距 Delta = s/R ，大单元对应粗体素间距，实现多尺度几何生成； - 避免了为每个分辨率或层级训练独立模型的开销。 ### 3. 父级初始化与 SDEdit 细化 finer 层级并非从纯噪声生成，而是继承父层几何并对其进行条件化细化： - 父层的形状解码器通过细分（subdivision）上采样至 2R 分辨率，子层对应区域被裁剪为一个 R^3 体素块 O_(sub)^((l)) ； - 该体素块经 SS 编码器与标准化后得到继承潜变量：

x0^((l+1)) = A(SS)(E(SS)(O(sub)^((l))))

通过前向加噪至中间时刻 ts ：
x(ts) = (1-t_s)x_0^((l+1)) + σ(ts)ε, quad σ_t = σ(min) + (1-σ_(min))t
随后用 K 步欧拉积分将流匹配回 t=0 ，完成去噪细化：
x(τ_k-1) = x(τk) - (τ_k - τ(k-1))vθ(x(τ_k), τ_k; I)
这一过程等价于 **SDEdit**，使子层在保留父层全局结构的同时，结合更高分辨率图像条件恢复局部细节。参数 t_s （默认取 0.8 ）控制全局继承与局部细节之间的权衡。 ### 4. 单元独立的多尺度图像条件（Cell-Independent Multi-Scale Conditioning）为适应推理时任意位置、尺度的单元，并高效复用图像特征，论文设计了以下机制： - **多尺度 Tile Bank**：对每张输入图像预先构建等向金字塔，每层划分为固定的 512 × 512 图像块（tile）。每个单元根据自身体素间距自动选择匹配的金字塔层级与覆盖其投影的 tile，将 tile 视为具有虚拟内参的独立视角。 - **Voxel-queried Image Attention**：摒弃简单的双线性采样，让当前体素特征作为查询，在每个视角的 w × w 局部 token 窗口上执行跨视角、跨 token 的联合注意力。通过相对位置编码编码投影偏移、射线方向和表观体素尺寸，使条件化与绝对场景位置无关。 - **ConvNeXt 细节分支**：在网格阶段引入轻量级的多步幅 ConvNeXt 特征，提供亚 token 级别的像素细节，与 DINOv3 特征互补。 Tile Bank 中的特征在推理时仅编码一次，即可跨单元、跨层级、跨采样步复用，大幅降低计算成本。 ### 5. 多尺度训练策略训练阶段无需成对的粗-细监督数据。单一模型在独立单元上进行训练，单元边长从多个尺度梯子（如 1,2,4 m 和 1.5,3,6 m）中随机采样。所有单元被映射到相同的规范坐标系与 R^3 网格，模型不接收物理尺寸 s 或体素间距 Delta 作为显式输入，从而使同一权重天然适用于多尺度推理。 Q4: 论文做了哪些实验？论文在多个数据集和设置下进行了系统性的实验验证，涵盖与现有方法的定量比较、定性分析以及详细的消融研究。具体实验内容如下： ### 1. 实验设置 #### 模型与训练数据 - 训练了两个模型：通用场景重建模型与城市场景重建模型。 - 均基于 **TRELLIS.2** 初始化，先在 **TexVerse** 上进行多视图预训练，再分别针对各自场景数据进行微调。 - 通用模型训练数据完全来自合成数据，包括 **SAGE-10K**、**3D-FRONT**、程序生成的多房间房屋与草地场景。 - 城市场景模型在日本城市街景采集的数据及其配对的建筑信息模型（BIM）上进行微调。 #### 推理配置 - 所有实验中，稀疏结构（SS）网格分辨率 R=64 ，网格解码器输出 512^3 分辨率。 - 采用基于边距的切块解码（margin-based chunk decoding）获取完整场景网格。 - 每级联层级采用步长 s/2 的单元放置，12 步流匹配采样，分类器无指导（classifier-free guidance）尺度分别为 7.5（SS 阶段）和 4.0（网格阶段）。 - 更细层级从父级以 t_s=0.8 初始化，运行 K=10 步。 - 每个单元最多使用 64 张条件图像块（tile）。 #### 数据集 - **ScanNet++**：在体积最大的 25 个验证场景上评估，输入视图数分别为 32 和 256（最远点采样）。 - **Tanks and Temples**：在 6 个场景上评估（Caterpillar, Ignatius, Truck, Barn, Courthouse, Meetingroom），输入视图数为 16 和 256，使用 2K 图像；附录中补充了 32 视图和 4K 图像的结果。 - **City blocks（自建数据集）**：在 3 个保留的街区块上评估，使用 256 张输入视图。 - **真实世界采集**：包括 Mip-NeRF 360 的 *garden*、N3DV 的 *coffee martini* 以及室内五人采集。 #### 基线方法 - **逐场景优化方法**：2DGS、MILo、GaussianWrapping、CityGaussianV2（仅城市街区）。 - **前馈方法**：Depth Anything 3 (DA3)、MapAnything、Murre。 - **生成式方法**：GenRecon。 #### 评估指标 - **3D 指标**：Chamfer Distance (CD, 单位：米)、F-score（ F@τ ， τ 为厘米阈值）、Normal Consistency (NC)。 - **2D 指标**（ScanNet++）：深度 MAE、AbsRel、法线角度误差 (Ang)、完整性 (Comp)。 - **评估协议**：ScanNet++ 和 Tanks and Temples 采用 GaussianWrapping 的虚拟扫描协议（virtual-scan protocol），仅评估相机可见表面；城市街区则针对完整 BIM 地面真值评估。 —- ### 2. 与现有重建方法的比较 #### ScanNet++ - 在 32 和 256 输入视图下，最细级联层级（L2）在全部 7 项指标上均优于生成式基线 **GenRecon**。 - 在 32 视图设置下，无需逐场景优化即超越所有优化基线（2DGS、MILo、GaussianWrapping）的 3D 指标；在 256 视图下与优化方法具有竞争力。 - 与 **DA3** 相比，深度和法线误差更小，且能恢复桌面上的小物体（如键盘、笔）和平整表面。 #### Tanks and Temples - 在 16 和 256 视图下，该方法在所有设置中达到最低或具有竞争力的 Chamfer Distance。 - 在大型场景（Barn, Courthouse, Meetingroom）的稀疏视图（16 视图）下，F-score 高于所有基线。 - 能够重建透明/反射材质的窗户（如 *truck* 场景），而基线方法无法将其恢复为闭合表面。 - 附录中补充了 4K 输入图像的结果，更细层级在 4K 图像下获得更高的 F-score。 #### 城市街区（City Blocks） - 在该极具挑战性的设置下（街景图像深度范围从数米到百余米），所有基线方法的 Chamfer Distance 均在 5 米以上，而该方法达到 **0.645 米**（L3），在所有三项指标上均显著优于基线。 - 每增加一级联层级，CD、F@10 和 NC 均持续提升。 #### 真实世界采集 - 在 *garden* 场景中，更细层级恢复了花瓶中的植物、桌板缝隙、中心金属板以及背景中的光泽球体。 - 在 *coffee martini* 和室内人物采集中，成功重建了透明玻璃瓶、徽章挂绳和衬衫褶皱等细节。 —- ### 3. 消融实验与分析 #### 父级初始化的影响 - 对比了更细层级从不同噪声强度 t_s ∈ 0.8, 0.9, 1.0 开始采样的效果： - t_s = 1.0 相当于从纯噪声生成，仅继承单元布局； - t_s = 0.8 （默认）在 ScanNet++ 大场景 32 视图下将 Chamfer Distance 降低 **80%**，并全面提升各指标。 - 在城市街区中， t_s = 1.0 导致屋顶碎裂；而 t_s = 0.8 通过父级提供的全局上下文保持建筑结构一致。 #### 图像条件化的影响 - 对比了三种设置： 1. **Baseline**：GenRecon 风格的双线性 DINO 特征采样； 2. **Voxel attn.**：提出的体素查询注意力； 3. **+ ConvNeXt**：增加 ConvNeXt 细节分支。 - 在 ScanNet++ 上，体素查询注意力与基线相当，而增加 ConvNeXt 后各项 3D 指标显著提升。 - 在人物采集中，基线过度平滑头发和衣物褶皱；体素查询注意力恢复了发丝，ConvNeXt 进一步锐化细节并还原衬衫纽扣。 #### 推理时间 - 在大型 ScanNet++ 场景上，单张 H200 GPU 的耗时为： - L1：约 **17 分钟/场景** - L2：约 **89 分钟/场景** - 与逐场景优化方法相当，但慢于前馈方法。 —- ### 4. 附录中的扩展实验 #### 补充数据集结果 - **ScanNet++**：补充了全部 50 个验证场景（按体积分为小/大各 25 个）的完整 2D 和 3D 指标（包括 GenRecon 的整网格评估协议与虚拟扫描协议）。 - **Tanks and Temples**：提供了 6 个场景在 16/32/256 视图及 4K 图像下的逐场景定量结果。 - **城市街区**：提供了 3 个保留街区块在各级联层级上的逐块定量结果。 #### 图像条件化与超参数消融 - **Tile 金字塔层级选择**：验证了自适应选择（匹配体素间距）优于固定使用最粗或最细层级，尤其在 4K 图像的 Tanks and Temples 上优势明显。 - **注意力窗口大小**：对比了 w=6 （36 token/视图）与 w=2 （4 token/视图），发现两者性能相当，故采用 w=2 以提升约 4 倍采样速度。 - **合成训练数据**：验证了程序生成的多房间房屋和草地对多房间场景墙壁完整性和户外植被细节的必要性；移除后会导致墙壁缺失和草地过度平滑。 #### 失败案例分析 - 在针对无界场景中远距离物体的尝试中（将单元放置于距场景中心 8 倍相机距离处），该方法难以重建远处地面和树木，表明其受训练数据分布限制，且无法处理无穷远处的物体。 Q5: 有什么可以进一步探索的点？基于论文结论、局限性及方法设计，以下是可以进一步探索的研究方向： —- ### 1. 加速推理与实时化论文指出，随着单元数量与级联层级增加，推理成本显著上升（如 ScanNet++ L2 级联需约 89 分钟）。一个直接的探索方向是将流匹配模型**蒸馏为少步（few-step）甚至单步采样器**，在保持几何质量的同时大幅降低推理延迟，使大场景高分辨率重建更接近实用化。 ### 2. 无界场景与远距离物体重建当前方法假设场景具有有限空间范围，且训练数据的尺度多样性不足，导致在**无界场景**（unbounded scenes）中重建远处物体时失败（如附录 A.5 所示）。未来可探索： - 引入**多尺度训练数据**（如航拍、远景图像），增强模型对极端尺度变化的泛化性； - 结合**自适应远近平面处理**或**无限场景表示**（如神经图、级联坐标系），将推理时级联机制扩展到无界空间。 ### 3. 几何-外观联合生成 T3lescope 目前专注于**表面几何重建**，未显式建模纹理、材质或光照。将级联生成框架扩展为**联合预测几何与外观**（如带纹理的网格或隐式外观场），可直接输出用于数字孪生、仿真和沉浸式环境的完整资产。 ### 4. 位姿无关的生成式重建方法目前依赖**已知的相机位姿**（posed images）。放宽这一假设，探索**相机位姿与三维几何的联合生成**（如结合流扩散模型估计位姿，或在生成过程中同步优化相机参数），将显著提升其在野外图像或无标定视频序列上的适用性。 ### 5. 动态场景（4D）重建现有框架针对**静态场景**。将其推广到时序维度，通过**时空级联**（space-time cascade）对动态场景进行粗到细的 4D 重建，可同时捕捉大尺度空间布局与细粒度时序动态（如形变、运动），扩展至数字人、自动驾驶场景重建等应用。 ### 6. 自适应级联控制策略当前级联深度、单元尺度及布局在推理时由人工预设或基于启发式（如 DA3 点云）决定。可探索**内容感知的自适应级联分配**，例如： - 利用图像特征预测局部几何复杂度，仅在需要细节的区域触发更深级联； - 学习最优的 t_s 调度策略，而非固定全局值，以在结构保持与细节恢复之间实现局部自适应平衡。 ### 7. 生成先验与可微渲染的融合由于生成式方法不逐像素拟合输入，其表面可能与观测存在轻微偏移，从而在严格阈值下降低 F-score。未来可探索**混合范式**：以 T3lescope 的生成结果作为强先验初始化，随后通过轻量级的**可微渲染优化**（如 Gaussian Splatting 或隐式场微调）进行快速对齐修正，兼顾先验完整性优化精度。 ### 8. 更高效的跨单元全局信息交互尽管粗层级提供了全局布局，但在细层级上各单元仍相对独立处理。可研究**跨单元注意力机制**或**全局潜变量**，使远距离区域在去噪过程中直接交互，而非仅通过父级潜变量间接传递，从而进一步提升大范围场景的全局一致性。 Q6: 总结一下论文的主要内容该论文提出 **T3lescope**，一种从多视图图像进行**高保真、任意分辨率三维网格重建**的生成式方法，无需针对每个场景进行优化。以下是主要内容总结： ### 1. 研究动机与问题现有三维重建方法存在以下瓶颈： - **逐场景优化方法**（如 NeRF、3D Gaussian Splatting）缺乏学习的三维先验，在稀疏视角、遮挡、光泽或透明表面等困难情况下性能退化，且优化成本高昂。 - **前馈方法**（如深度估计）预测结果需跨视图融合，易产生噪声、孔洞和重复表面，难以保证全局一致性。 - **现有生成式方法**通常在固定分辨率下运行，空间覆盖与几何细节不可兼得；扩展到场景尺度时采用独立局部单元，远距离区域仅间接交互，全局几何一致性差；且现有粗到细方法在训练阶段即固定层级结构，缺乏推理灵活性。 ### 2. 核心方法：T3lescope 论文提出**推理时粗到细级联（inference-time coarse-to-fine cascade）**，关键设计包括： - **单一生成器跨尺度复用**：基于稀疏体素网格的固定分辨率生成器（源自 TRELLIS.2），所有级联层级共享同一套权重。通过将不同物理尺度的单元映射到相同的规范坐标系，同一模型可在任意位置和尺度下运行。 - **推理时级联结构**： - 第 0 层以较大单元覆盖全场景，建立全局几何布局； - 更细层级将单元边长减半，仅在前一层预测表面处放置单元，对继承几何进行细化。 - 级联深度、单元尺度与空间布局均在推理时决定，训练阶段无需预设层次结构。 - **父级初始化与 SDEdit 细化**：子层单元不从纯噪声生成，而是继承父层细分（subdivision）后的体素块，编码为潜变量后加噪至中间时刻 t_s=0.8 ，再通过流匹配去噪恢复细节。该机制平衡了全局结构保持与局部细节恢复。 - **单元独立的多尺度图像条件化**： - **多尺度 Tile Bank**：为每张图像构建等向金字塔，划分为独立的 512×512 图像块（tile），按单元体素间距自动匹配金字塔层级，避免为每个单元单独裁剪和编码图像。 - **Voxel-queried Image Attention**：以体素特征作为查询，在投影位置附近的图像 token 上执行跨视角联合注意力，并编码相对位置、射线方向和表观体素尺寸，使条件化与绝对场景位置无关。 - **ConvNeXt 细节分支**：提供亚 token 级像素细节，与 DINOv3 特征互补，增强细粒度表面重建能力。 ### 3. 训练策略 - 在独立单元上进行多尺度训练，单元边长从多个尺度梯子（如 1,2,4 m 等）中随机采样。 - 无需成对的粗-细监督数据；模型不接收物理尺寸或体素间距的显式输入，自然习得尺度不变性。 - 先在大规模合成场景数据集（含程序生成的多房间房屋和草地）上微调，再针对城市场景进行专门训练。 ### 4. 实验结果在多个基准数据集和真实采集上验证，输入视角涵盖稀疏（16–32 张）与密集（256 张）设置： - **ScanNet++**：最细级联层级在 2D 和 3D 指标上均优于生成式基线 GenRecon，且在 32 视图下超越所有逐场景优化基线；在 256 视图下与其相当。 - **Tanks and Temples**：在稀疏视图和大型场景中达到最低或极具竞争力的 Chamfer Distance；能重建其他方法失效的透明/反射窗户。 - **城市街区（自建数据集）**：在所有基线均失效（Chamfer Distance > 5 m）的极端尺度下，达到 0.645 m，且每增加一级联层级，精度持续提升。 - **真实世界采集**：成功恢复植物枝叶、桌板缝隙、玻璃瓶、衬衫褶皱等精细结构。 ### 5. 消融研究 - **父级初始化**： t_s=0.8 相较于从纯噪声生成（ t_s=1.0 ）可将大场景 Chamfer Distance 降低达 80%，并维持全局结构一致性。 - **图像条件化**：Voxel-queried attention 结合 ConvNeXt 分支显著优于基线条件化方式，尤其在恢复发丝、衣物纹理等细节上效果明显。 ### 6. 结论与局限 - **优势**：T3lescope 通过推理时级联和共享权重，首次实现了在统一生成框架内灵活权衡空间覆盖与几何细节，兼具生成式方法的三维先验与粗到细方法的多尺度能力。 - **局限**：由于不逐像素拟合输入图像，在严格阈值下 F-score 可能略低于密集优化的方法；推理成本随级联层级增加而上升；依赖已知相机位姿；目前无法有效处理无界场景中的极远物体。论文项目页面：https://pfnet-research.github.io/t3lescope/ Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Atsuhiro Noguchi,Tianhan Xu,Yiming Liang,Yuta Kikuchi,Masahiro Ishiyama,Shintaro Takagi,Hitoshi Murai,Eiichi Matsumoto

Categories:

PDF URL: https://arxiv.org/pdf/2610.03308.pdf

Arxiv URL: https://arxiv.org/abs/2610.03308

Arxiv ID: 2610.03308

CoolPaper URL: https://papers.cool/arxiv/2610.03308

Published: 2026-10-13T03:51:38.187Z

Updated: 2026-10-13T03:51:38.187Z

8. ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

Abstract:As text-to-SQL systems move beyond demonstrations toward real-world deployment, ambiguity in user questions becomes a primary source of errors. Such ambiguities are often subtle, domain- or data-specific, and can silently cause system outputs to deviate from the user’s true intent. Ambiguity is traditionally addressed through conversational clarification, which is often inefficient, cognitively demanding, and poorly aligned with real-world user workflows. We propose structured disambiguation, a new paradigm in which ambiguity is resolved through explicit, constrained interactions rather than free-form dialogue. We construct ARCS (Ambiguity Resolution Corpus for SQL), the first text-to-SQL benchmark featuring naturally occurring, unconstrained ambiguities over real-world databases, with complete annotations of all valid ambiguity points, interpretations, and SQL queries. Experimental results show that text-to-SQL remains challenging in the presence of ambiguity: gpt-6-sol achieves only 51% end-to-end execution accuracy, and no open-source model exceeds 27%.

中文摘要

摘要：随着文本到 SQL 系统从演示阶段迈向实际部署，用户问题中的歧义成为错误的主要来源。这些歧义通常微妙、特定于领域或数据，并且可能悄无声息地导致系统输出偏离用户的真实意图。传统上，歧义是通过对话澄清来解决的，但这种方式通常效率低下、认知负担重，并且与现实世界用户工作流程契合度低。我们提出了结构化消歧的新范式，其中歧义通过明确、受约束的交互来解决，而不是自由形式的对话。我们构建了 ARCS（SQL 歧义消解语料库），这是首个以真实数据库中的自然存在、非约束性歧义为特征的文本到 SQL 基准，并完整标注了所有有效的歧义点、理解和 SQL 查询。实验结果表明，在存在歧义的情况下，文本到 SQL 仍然具有挑战性：gpt-6-sol 的端到端执行准确率仅为 51%，没有开源模型超过 27%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.09396 (HTTP 429)

Authors: Yihao Hu,Yanlin Feng,Naoki Otani,Nikita Bhutani

Categories:

PDF URL: https://arxiv.org/pdf/2610.09396.pdf

Arxiv URL: https://arxiv.org/abs/2610.09396

Arxiv ID: 2610.09396

CoolPaper URL: https://papers.cool/arxiv/2610.09396

Published: 2026-10-13T03:51:42.774Z

Updated: 2026-10-13T03:51:42.774Z

9. GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

Abstract:Autoregressive (AR) grounding models serialize spatial predictions, introducing sequential latency and imposing a causal order on output tokens. We view grounding as visual evidence extraction: objects, locations, and spatial relations are jointly constrained by the image and query, yet their dependencies do not imply an intrinsic left-to-right generation order. This distinction makes bidirectional diffusion a natural fit, allowing spatial hypotheses to emerge in parallel and be jointly refined through iterative denoising. We introduce GroundAnything, a 4B-parameter grounding foundation model that reconciles fast parallel decoding with precise localization through blockwise denoising. Training combines grounding pretraining from public datasets and dedicated data engines, direct AR-to-diffusion conversion with joint AR and diffusion objectives, supervised fine-tuning, and GRPO-based reinforcement post-training. Across 30 grounding benchmarks, our autoregressive variant, GroundAnything-VLM, establishes a new overall state of the art among similarly sized models at 72.42%, remaining competitive with GPT-6 Astra (71.35%). With entropy-guided decoding, GroundAnything also surpasses the prior state of the art at this scale, averaging 61.75% versus 53.32% for the fast MTP-based LocateAnything model. We further explore decoding strategies, showing that an optional self-speculative mode achieves a $4.51\times$ speedup over the AR counterpart with a 0.74 percentage-point drop in COCO F1mIoU. Infrastructure experiments show that progressive inference optimizations translate parallel decoding into practical speedups. These support efficient visual grounding in latency-sensitive real-world systems.

中文摘要

摘要：自回归（AR）定位模型将空间预测序列化，引入了顺序延迟，并对输出令牌施加了因果顺序。我们将定位视为视觉证据提取：对象、位置和空间关系由图像和查询共同约束，但它们的依赖关系并不意味着固有的从左到右的生成顺序。这一区别使双向扩散成为自然的选择，从而允许空间假设并行生成，并通过迭代去噪进行联合优化。我们提出了 GroundAnything，一个拥有 40 亿参数的定位基础模型，通过块状去噪实现快速并行解码与精确定位的结合。训练结合了来自公共数据集和专用数据引擎的定位预训练、通过联合 AR 和扩散目标进行的直接 AR 到扩散转换、监督微调以及基于 GRPO 的强化后训练。在 30 个定位基准测试中，我们的自回归变体 GroundAnything-VLM 在同等规模模型中以 72.42% 创下了新的总体性能记录，并且与 GPT-6 Astra（71.35%）保持竞争力。通过熵引导解码，GroundAnything 在该规模下也超过了此前的最佳水平，平均达到 61.75%，而基于快速 MTP 的 LocateAnything 模型为 53.32%。我们进一步探索了解码策略，显示可选的自我推测模式在 COCO F1mIoU 仅下降 0.74 个百分点的情况下，相较于 AR 对应方法实现了 4.51 倍的加速。基础设施实验表明，渐进式推理优化能将并行解码转化为实际的加速效益。这些研究支持在对延迟敏感的实际系统中实现高效的视觉定位。

LLM Analysis

Q: 这篇论文试图解决什么问题？该研究旨在解决\*\*视觉定位（visual grounding）任务中，自回归（autoregressive, AR）解码固有的顺序延迟与输出结构化空间预测时的因果顺序约束问题\*\*，并进一步探索如何在不牺牲定位精度的前提下实现高效的并行解码。具体而言，论文试图解决以下三个层面的问题： --- ### 1. 自回归定位模型的顺序延迟瓶颈现有的主流生成式定位模型（如 Pix2Seq、Florence-2、Rex-Omni 等）将空间预测（边界框、点、文本区域等）序列化为 token 序列，并采用自回归的 next-token 预测方式逐一生成。这种机制存在两个固有缺陷： - \*\*高顺序延迟\*\*：坐标和标签的串行生成导致解码步数与输出长度线性相关，在密集场景或复杂布局中成本高昂。 - \*\*因果顺序约束\*\*：模型强制按从左到右的顺序生成，但视觉证据（物体位置、空间关系等）本身并不具备固有的生成顺序，AR 的因果掩码限制了输出单元之间的双向交互与联合优化。 --- ### 2. 现有并行解码方法在定位任务上的局限为缓解 AR 延迟，已有工作探索了替代方案，但各自存在不足： - \*\*多 token 预测（MTP）\*\*：如 LocateAnything 通过原子化生成单元实现并行框解码，但其仍是因果式的，难以充分利用视觉证据对多个空间假设进行联合细化。 - \*\*领域特定的扩散模型\*\*：扩散视觉语言模型（Diffusion VLM）已在 GUI 定位、文档 OCR 等特定任务中展现出并行生成的潜力，但缺乏一个\*\*统一的、跨任务的扩散基础模型\*\*来支持多样化的定位任务（如通用检测、指代表达、OCR、GUI、布局分析等）并保持精确的空间定位能力。 --- ### 3. 如何统一“快速并行解码”与“广泛且精确的视觉定位” 论文的核心挑战在于\*\*调和（reconcile）\*\*这一对看似矛盾的目标： - \*\*速度\*\*：通过并行解码显著减少推理步数（将 N 步 AR 解码压缩为 K ll N 步的块级去噪）。 - \*\*精度\*\*：在并行生成的同时，保持对密集场景、微小物体、复杂布局和语言条件的精确边界框/点/文本区域预测。为此，论文提出将定位重新形式化为\*\*结构化视觉证据提取（structured visual evidence extraction）\*\*：给定图像 I 和查询 Q ，待预测的空间变量由图像和查询联合约束，但无需固定的生成顺序。基于此，作者引入 \*\*GroundAnything\*\*——一个 4B 参数的扩散定位基础模型，采用\*\*块级掩码扩散（blockwise masked diffusion）\*\*实现响应块内的双向并行去噪与块间的因果依赖，从而在 30 个定位基准测试上兼顾了高吞吐量与高精度。 Q2: 有哪些相关研究？根据论文第2节及相关章节，相关研究主要分布在以下三个方向： --- ### 1. 视觉定位（Visual Grounding）该领域关注如何将自然语言或视觉查询与图像中的空间区域关联起来，主要技术路线包括： - \*\*封闭集与开放集检测器\*\*：早期工作如 YOLO（Redmon et al., 2016）和 DINO（Zhang et al., 2022）在预定义类别内实现高效定位；随后 GroundingDINO（Liu et al., 2024）和 GLIP（Li et al., 2022）通过视觉–语言预训练将检测扩展到开放词汇和语言条件设置。 - \*\*自回归生成式定位\*\*：Pix2Seq（Chen et al., 2022）将检测重新框架为语言建模任务，随后 Florence-2（Xiao et al., 2024）和 Rex-Omni（Jiang et al., 2026）等通过结构化 token 序列统一了多种感知任务。这类方法通常结合量化坐标、大规模定位数据与强化学习后训练以提升精度。 - \*\*多 Token 预测（MTP）加速\*\*：LocateAnything（Wang et al., 2026）将边界框和点视为原子生成单元，通过 MTP 实现并行框解码，减少了自回归延迟，但仍受限于因果注意力。与上述工作不同，GroundAnything 试图在保持统一结构化输出接口的同时，通过扩散机制实现块级并行解码，而非逐 token 的因果生成。 --- ### 2. 扩散视觉语言模型（Diffusion Vision-Language Models）该方向探索掩码扩散模型在视觉–语言任务中的并行生成能力： - \*\*通用多模态理解\*\*：LLaDA-v（You et al., 2026b）和 Lavida（Li et al., 2026b）等研究表明，扩散语言模型可通过双向条件迭代恢复 token，实现视觉指令跟随。 - \*\*自回归到扩散的直接转换\*\*：Fast-DVLM（Wu et al., 2026a）提出将预训练的自回归 VLM 直接转换为块级扩散模型，在保留骨干网络与词汇表的同时引入掩码 token 和联合训练目标。 - \*\*领域特定应用\*\*：在 GUI grounding 方面，Kumbhar et al.（2026）利用几何感知掩码；在文档 OCR 方面，Mineru-diffusion（Dong et al., 2026）采用块级去噪处理结构化文档。这些工作展示了扩散在专门视觉任务中的潜力。 GroundAnything 受此启发，但旨在填补一个空白：构建一个\*\*统一的扩散定位基础模型\*\*，将双向并行解码的能力从特定领域（如 GUI 或文档）扩展到通用、密集且多样化的视觉定位任务。 --- ### 3. 并行解码（Parallel Decoding）该方向关注如何在不牺牲输出质量的前提下加速语言模型的推理： - \*\*块级生成\*\*：Block Diffusion（Arriola et al., 2025）提出了在块内使用双向注意力、块间保持因果依赖的生成方式，为长序列的并行恢复提供了框架。 - \*\*自适应与推测性并行采样\*\*：包括基于熵的解码策略（Liu et al., 2025）、自适应并行采样（Wu et al., 2026b; Ben-Hamu et al., 2026）以及扩散式推测解码（Liu et al., 2026）。 - \*\*推理基础设施优化\*\*：通过 SGLang、CUDA Graph、FP8 量化等手段将并行解码的理论优势转化为实际 wall-clock 加速（Liu et al., 2025）。 GroundAnything 的系统加速分析直接建立在这些进展之上，重点研究了熵引导直接解码、自回归验证的自推测解码（linear & quadratic schedules），以及与 MTP 基线在定位任务上的速度–精度权衡。 Q3: 论文如何解决这个问题？该论文通过\*\*任务形式化重构、统一的扩散基础模型架构、分阶段训练管线以及高效的并行推理机制\*\*来解决视觉定位中的速度与精度矛盾。具体解决方案可从以下四个层面展开： --- ### 1. 将定位重新形式化为“结构化视觉证据提取” 传统自回归（AR）模型强制空间预测按从左到右的序列化顺序生成。论文提出，定位本质上是从图像 I 和查询 Q 中提取结构化视觉证据的过程，输出 Y = (y_1, dots, y_L) 包含语义标识符及其空间坐标（框、点或有序点序列）。这些变量虽由图像与查询\*\*联合约束\*\*，但其依赖关系并不蕴含固有的生成顺序。基于此，论文采用\*\*块级掩码扩散（blockwise masked diffusion）\*\*对输出进行建模：

pθ(Y mid I, Q) = prod(k=1)^(K) p_θ(Y^((k)) mid I, Q, Y^((`、`<|box_start|>`）以及 1,000 个量化坐标 token（`<0>`–`<999>`）。这种设计使得检测、指代表达、OCR、GUI grounding、布局分析等多种任务能够通过同一结构化接口表达，无需为不同任务切换输出头。 —- ### 3. 四阶段训练管线为实现从 AR 基础到扩散定位模型的平稳过渡并保持高精度，论文设计了分阶段的训练流程： #### 3.1 基础 VLM 训练（Base VLM Training）包含三个阶段： 1. **连接器对齐**：冻结视觉与语言骨干，仅训练投影器； 2. **联合多模态预训练**：解冻全部模块，在纯文本与图文数据上联合训练； 3. **通用视觉/视频理解**：在视觉问答与指令跟随数据上进一步开发指令遵循能力。 #### 3.2 坐标对齐 / 有监督微调（SFT）在检测、GUI grounding、指代表达、OCR、文档布局、密集点标注和视觉提示等 8 类空间任务上进行监督微调，使模型掌握量化坐标与语义标签的联合预测。 #### 3.3 AR-to-Diffusion 转换（仅 GroundAnything）从 AR 检查点直接转换，保留预训练骨干与词汇表，并引入掩码 token $

MASK
： - 将响应划分为 B=32 个 token 块； - 对每块独立采样掩码率 tb sim U(0,1) ，构造两个互补的噪声视图 w^((1)) 与 w^((2))$； - 通过特定的注意力掩码实现：噪声块内双向自注意力，可读取干净的图像/查询前缀及之前已完成的干净响应块；干净 token 则严格使用因果注意力，且不可访问噪声视图。联合优化目标为：
L = 0.5 L(MDM) + 0.5 L(AR)
其中 L(MDM) 监督掩码响应目标， L(AR) 监督干净序列的 next-token 预测，二者共享解码器与输出头。 #### 3.4 基于 GRPO 的强化后训练对两个模型变体均应用 **Causal GRPO** 进行后训练： - 使用因果策略进行 rollout 生成与似然评估； - 针对 box grounding 设计**集合完整性** R(set) 与**严格定位** R_(strict) 奖励；OCR 奖励衡量文本–几何一致性；pointing 奖励综合位置、计数、标签与格式正确性； - 优势函数通过组内标准化计算，优化裁剪后的策略目标：

L(GRPO) = -E_i ∑(t ∈ Ti) min(r(i,t) Ai, clip(r(i,t), 1-ε, 1+ε) Ai)
其中 r(i,t) 为当前策略与旧策略的 token 概率比， ε=0.2 。更新后的共享权重直接复用于扩散推理。 —- ### 4. 高效的并行推理机制论文设计了多种解码策略，将块级扩散的理论并行性转化为实际的 wall-clock 加速： #### 4.1 直接扩散解码（Entropy-Guided Decoding）默认模式下，模型在去噪过程中不依赖 AR 验证。对每个掩码位置计算熵：

Hj = -∑(v) pj(v) log p_j(v)
若某位置满足 H_j ≤ τ （阈值 τ 控制速度–精度权衡），则立即**提交（commit）**该 token；若无位置满足，则提交熵最低者。已提交 token 固定不动，后续通过一次因果前向传播构建该块的 KV 缓存供后续块使用。 #### 4.2 自推测解码（Self-Speculative Decoding）利用共享权重支持可选的“扩散起草 + 因果验证”模式： - **线性调度**：每轮包含一次双向扩散起草与一次因果 AR 验证，共 2 次网络前向评估（NFE），查询复杂度为 O(B) ； - **二次调度**：将验证与下一轮提议融合，每轮仅需 1 次 NFE（初始化后），但查询复杂度为 O(B^2) ，适用于不同延迟场景。 #### 4.3 基础设施级优化结合 **SGLang**、**CUDA Graph** 与 **FP8** 等推理优化栈，将各解码模式的本地 PyTorch 实现进一步加速 3.45–4.06 倍，确保并行解码在真实系统中的实用性。 —- ### 总结通过上述设计，论文成功将视觉定位从“顺序序列生成”转变为“块级联合证据提取”：双向扩散负责块内的并行假设生成与细化，块间因果依赖保证长结构化输出的一致性，而 GRPO 强化学习与共享词汇表则确保了在加速的同时不牺牲跨任务的定位精度。 Q4: 论文做了哪些实验？论文围绕**定位能力（Capability）**、**推理速度（Speed）**与**设计选择（Design）**三个核心问题展开系统性实验，涵盖 30 个基准测试、44 个基线模型，并辅以详尽的消融与诊断分析。以下按实验模块归纳： —- ## 1. 主要基准评测（Main Results）在 **30 个基准测试**上评估模型，覆盖 **11 类感知能力**，并与 **44 个基线**（含专用检测器、通用 VLM、定位专才及具身基础模型）对比。所有涉及本模型的数值均基于 5 个随机种子、每种子 2 次运行的 10 次平均。 ### 1.1 检测与指代表达定位（Detection & Referring Grounding） - **数据集**：COCO、LVIS（常见/长尾目标）；Dense200、VisDrone（密集/微小目标）；RefCOCO、RefCOCO+、RefCOCOg（指代表达）。 - **指标**： F1 在 IoU 0.50 、 0.95 及平均 IoU（ F1(mIoU) ）。 - **关键发现**：GroundAnything-VLM 在同类规模模型中取得最佳总体表现（ 72.42% 平均）；GroundAnything 以纯扩散解码达到 61.75% ，超越此前同规模 AR 最佳 LocateAnything（ 53.32% ）。 ### 1.2 机器人、空间与 GUI 定位 - **数据集**：RefSpatial、RoboSpatial（空间关系定位）；ScreenSpot-Pro、ScreenSpot-V2、OSWorld-G（GUI 定位）。 - **指标**：Action accuracy / Exact accuracy。 - **关键发现**：GroundAnything 在 ScreenSpot-Pro 上从 65.34% 提升至 75.96% ，OSWorld-G 从 74.65% 提升至 81.21% 。 ### 1.3 OCR、文档布局与视觉提示 - **数据集**：HierText、ICDAR2015、TotalText、SROIE（OCR）；DocLayNet、M6Doc（布局）；FSC147、Dense200（视觉提示）。 - **关键发现**：GroundAnything-VLM 在 DocLayNet 达到 85.78 F1(mIoU) ；扩散变式在 OCR 与布局上相对 AR 存在更大差距，显示并行生成在结构化文本/区域提取中仍具挑战。 ### 1.4 物体点定位（Object Pointing） - **数据集**：COCO、LVIS、Dense200、VisDrone、RefCOCOg。 - **指标**： F1@Point （基于 SAM 掩膜判定点正确性）。 - **关键发现**：GroundAnything-VLM 在六项比较中五项领先；扩散变式在密集场景（Dense200 77.14 vs. AR 84.16 ）上仍有追赶空间。 —- ## 2. 速度评估（Speed Evaluation）系统分析解码策略的速度–精度权衡，并与基于 MTP（Multi-Token Prediction）的并行生成进行对照。 ### 2.1 解码策略分析（Decoding Strategy Analysis） - **评测指标**：每前向步输出 token 数（TPF）、每秒输出 token 数（TPS）、COCO F1(mIoU) 。 - **变量控制**： - **块大小（Block Size）**： B ∈ 4, 8, 16, 32 。 - **熵阈值（Entropy Threshold）**： τ ∈ 0.2, 0.4, 0.6, 0.8, 1.0, 1.2 。 - **核心结论**： - 在 B=32, τ=0.8 时，熵引导解码达到 127.0 TPS（ 2.56× AR 基线），COCO F1(mIoU) 为 60.72 。 - 线性自推测解码（Linear Self-Speculation）在 B=32 时达到 223.8 TPS，精度 62.96 ，实现 ** 4.51× 加速**且仅下降 0.74 pp。 - 二次自推测（Quadratic）虽 TPF 更高（ 3.17 ），但因 O(B^2) 查询成本，实际 TPS（ 49.9 ）低于线性方案。 ### 2.2 DLM vs. MTP 对照实验在**相同前缀、相同冻结 AR 验证器、相同候选长度 K ** 的严格对照下，比较扩散语言模型（DLM）草稿器与因果 MTP 草稿器： | 问题 | 实验设计 | 结论 | |———|————-|———| | **接受率** | K ∈ 4,8,16,32 ，统计每轮接受的草稿 token 数 | K=16 时，DLM 接受 3.48 token/轮，MTP 仅 2.69 | | **单位成本** | 测量每接受一个草稿 token 的 wall-clock 时间（含被拒绝工作） | K=16 时，DLM 为 5.38 ms，MTP 为 7.71 ms（降低 30.2% ） | | **细化回报** | 比较 1/2/4/8 步 DLM 细化 | 2 步细化降至 4.70 ms/token；超过 2 步成本回升 | | **失败诊断** | 在 COCO/Dense200/DocLayNet/GUI 上分析格式错误率与有效框漏检率 | 双向 DLM 将 Dense200 有效框漏检从 24.89% （MTP）降至 14.79% | ### 2.3 基础设施级优化（Infrastructure Analysis）在 NVIDIA H800 上逐步集成： - **SGLang（Eager）** - **CUDA Graph** - **BF16 to FP8** 对四种解码模式（Dynamic、Static、Entropy-Guided、Self-Speculative）分别测量其 Native PyTorch 基线与完整优化栈的最终延迟。完整栈带来 ** 3.45× – 4.06× ** 的逐模式加速，自推测解码最终达到 3.73 ms/token。 —- ## 3. 消融研究（Ablation Studies） ### 3.1 坐标表示（Coordinate Representation） - 对比**量化坐标**（`<0>`–`<999>`）与**文本坐标**（直接输出数字字符串）。 - 结果：量化坐标使 GroundAnything-VLM 提升 1.43 pp，GroundAnything 提升 5.68 pp（30-bench 平均），且输出更紧凑。 ### 3.2 视觉编码器选择（ViT Choice） - 对比 MoonViT-V2（Kimi K3）、MoonViT（Kimi-VL）与 Qwen3-ViT（Qwen3-VL-4B）。 - 结果：MoonViT-V2 在 AR 与 DLM 两种模式下均取得最高平均分。 ### 3.3 训练阶段消融（Training Phase） - 移除 Stage III（通用视觉/视频理解阶段）后评估。 - 结果：GroundAnything-VLM 下降 1.29 pp；GroundAnything 暴跌 16.62 pp，说明该阶段对扩散转换后的 grounding 行为至关重要。 ### 3.4 输出 Token 效率与生成成本 - 统计 COCO 与 Dense200 上平均每框所需 token 数。 - 结果：GroundAnything 仅需 ** 7.6 token/框（COCO）**与 ** 5.1 token/框（Dense200）**，相比 SEED1.5-VL（ 148.8 与 74.5 ）压缩约 15 – 20× 。 - 进一步分析预测框数量与生成时间的关系：GroundAnything 在各输出长度区间均短于 GroundAnything-VLM，且输出越长绝对节省越大。 —- ## 4. 附录中的补充实验（Appendix） ### 4.1 完整基准分解（Comprehensive Benchmark Results）附录 E 提供全部 30 个数据集的**完整表格**，包括： - 各 IoU 阈值（ 0.50, 0.75, 0.95 ）下的 Recall / Precision / F1 ； - OCR 的解析错误率（parse error）； - GUI 各子域（text/icon 跨 mobile/desktop/web/CAD/sci/office/OS）的细粒度准确率； - 视觉提示任务在 FSC147 与 Dense200 上的完整指标。 ### 4.2 解码敏感性分析（Decoding Sensitivity） - 验证不同 τ 与 B 组合的非单调精度曲线（如 τ=0.8 在 COCO 上优于 τ=1.0 ）。 - 明确区分算法加速（相对 GroundAnything-VLM）与基础设施加速（相对各模式自身 PyTorch 基线），避免乘性误读。 ### 4.3 结构与几何诊断（Structural and Geometric Diagnostics） - 在草稿阶段（验证前）测量**格式错误率**与**有效框漏检率**。 - 双向 Block-MTP 与因果 DLM 的对照证明：双向注意力本身即可降低漏检，但扩散 + 双向在相同计算预算下整体更优。 ### 4.4 定性分析（Qualitative Analysis）附录 E.11 提供跨任务的可视化案例，涵盖： - 通用/密集物体定位； - 遮挡与关系型指代表达； - 密集点标注与 GUI 点击定位； - 艺术字体 OCR 与视觉提示（exemplar-guided）定位。 —- 综上，论文的实验设计从**宏观精度**（30 基准、SOTA 对比）、**微观效率**（解码策略、MTP 对照、基础设施优化）到**内部机制**（消融、诊断、定性）形成了完整的证据链，支撑了“扩散可实现广泛、精确且高速的视觉定位”这一核心论点。 Q5: 有什么可以进一步探索的点？基于论文的方法设计、实验结果与讨论，以下几个方向具有进一步探索的价值： —- ### 1. 缩小扩散与自回归在特定任务上的精度差距论文指出，在 OCR 与文档布局（DocLayNet、M6Doc、SROIE）等任务中，纯扩散解码与 AR 变式之间存在显著的精度落差（如 SROIE 上 43.64 vs. 71.15 F1(mIoU) ）。这暗示并行生成在处理**强结构化、细粒度文本–几何对齐**时仍面临挑战。后续可探索： - 专为文本行/阅读顺序设计的**结构化扩散先验**（如引入几何感知的掩码调度）； - 在 OCR 中结合字符级语言先验与坐标扩散的联合建模，而非仅依赖块级去噪。 —- ### 2. 自适应块大小与动态解码预算论文默认采用固定块大小 B=32 与全局熵阈值 τ=0.8 ，并发现不同策略（熵引导、线性/二次自推测）的最优 B 并不一致（线性自推测在 B=32 最优，而熵引导在 B=16 更优）。可进一步研究： - **输入依赖的动态块大小**：根据查询复杂度或图像内容自适应选择 B ； - **Token 级或块级自适应阈值**：当前 τ 为全局超参，可基于局部置信度或层间熵分布动态调整提交策略，以在输出密集区域更保守、在简单区域更激进。 —- ### 3. 针对扩散采样的直接强化学习论文的 GRPO 后训练完全基于**因果策略**进行 rollout 与似然评估，扩散推理仅复用更新后的共享权重。这意味着强化学习并未直接优化扩散采样轨迹。未来可探索： - 如何为块级扩散设计**无偏的策略梯度估计**，直接对去噪过程中的掩码恢复序列进行 RL 优化； - 将验证器（如 IoU 奖励或文本编辑距离）的反馈引入扩散的**迭代细化过程**，而非仅在最终输出上施加奖励。 —- ### 4. 微小物体与严格 IoU 下的边界精度在 VisDrone 与 COCO 的 IoU 0.95 指标上，模型表现仍然有限（如 GroundAnything 在 VisDrone 上 F1@0.95 仅为 2.24 ）。公式推导显示，对于宽度为 w 的等大小方框，满足 IoU ≥ 0.95 的容许水平偏移仅为 w/7 。这要求： - **亚像素级或连续坐标扩散**：当前使用 <0> – <999> 的离散量化坐标，探索连续值扩散或更高分辨率量化（如 <0> – <9999> ）对严格定位的贡献； - 在损失函数中显式加入**边界敏感性项**（如边界感知 IoU 变体），专门针对微小物体的定位不确定性。 —- ### 5. 从 2D 图像到视频与 3D 空间的扩展论文将 grounding 定义为“2D 结构化视觉证据提取”，但块级扩散的框架理论上可推广至： - **视频时序定位**：将时间维度与空间坐标联合序列化，利用块级双向注意力对跨帧轨迹进行并行去噪； - **3D 视觉定位**（如点云或深度图）：将 3D 边界框或 6-DoF 位姿序列化为结构化 token，验证扩散在更高维连续空间上的并行生成能力。 —- ### 6. 数据引擎的自动化与规模扩展论文的数据引擎依赖多教师融合、字段级验证与专家迭代，这一过程仍需人工规则与版本控制。可探索： - 将 GroundAnything 本身作为**自举标注器（self-bootstrapping annotator）**，结合主动学习（active learning）自动识别并优先标注高不确定性样本； - 利用模型自身的双向注意力图提取**空间一致性约束**，作为数据清洗的额外信号，减少对外部教师模型的依赖。 —- ### 7. 自推测解码与基础设施的协同优化论文的自推测解码分为线性（ O(B) 查询）与二次（ O(B^2) 查询）两种调度，且发现二者适用场景不同。进一步可研究： - **混合自适应调度**：根据当前草稿接受率动态在两种模式间切换； - 与**前缀缓存复用**、**投机长度自适应**（adaptive draft length）及**动态批处理（dynamic batching）**的结合，将单样本加速推广至服务级吞吐量优化； - FP8/INT8 量化对扩散去噪轨迹中**低熵 token 提交决策**的影响量化（论文提及 FP8 可能改变 logits，但未在精度维度上深入分析）。 —- ### 8. 多层级视觉注入与坐标读出机制附录 D.3.1 初步讨论了在多语言层注入视觉特征对坐标预测的理论敏感性，但受限于固定架构未展开实验。可系统验证： - 在 grounding 任务中，**深层视觉注入**（如 DeepStack 式的跨层聚合）是否能改善密集小物体或遮挡场景下的坐标读出精度； - 不同注入策略在**因果 vs. 双向注意力上下文**中的梯度传播差异，及其对扩散去噪稳定性的影响。 —- ### 9. 理论理解：扩散归纳偏置与视觉证据结构论文观察到移除 Stage III（通用视觉理解阶段）后，DLM 性能暴跌 16.62 pp，而 AR 仅下降 1.29 pp。这一不对称现象暗示： - 扩散模型可能对**视觉–语言对齐的质量**更为敏感，或需要更丰富的预训练先验来稳定块级去噪； - 需要更深入的理论分析：为什么双向扩散在**指代表达**（RefCOCOg 达 91.10 ）上表现优异，而在**OCR 文本序列**上相对薄弱？这可能与“空间变量是否具备天然无序性”有关，值得从任务结构的因果/联合概率角度进行形式化分析。 Q6: 总结一下论文的主要内容该论文提出了 **GroundAnything**，一个 4B 参数的视觉定位基础模型，旨在通过块级掩码扩散模型（Diffusion Language Model, DLM）实现**快速并行解码**与**广泛且精确的视觉定位**的统一。以下是论文的主要内容概括： —- ### 1. 研究背景与动机现有的生成式视觉定位模型（如 Pix2Seq、Rex-Omni 等）主要采用**自回归（Autoregressive, AR）**的 next-token 预测范式，将边界框、点或文本区域序列化为 token 串行生成。这种方式引入了两个根本性局限： - **顺序延迟**：解码步数与输出长度线性相关，在密集场景中成本高昂； - **因果约束**：AR 的从左到右生成顺序强行施加了固有的因果依赖，但视觉空间证据（如物体位置、空间关系）本身并不具备天然的生成顺序。尽管多 token 预测（MTP）等方法尝试加速，但仍受限于因果注意力；而扩散模型虽在特定领域（如 GUI、OCR）展现出并行潜力，却缺乏一个统一的扩散基础模型来支撑多样化的定位任务。 —- ### 2. 核心思想：定位作为结构化视觉证据提取论文将视觉定位重新形式化为**结构化视觉证据提取（Structured Visual Evidence Extraction）**。给定图像 I 和查询 Q ，输出 Y = (y_1, dots, y_L) 中的语义标识符与空间坐标（框、点或序列）由图像和查询**联合约束**，但无需遵循固定的从左到右恢复顺序。这一观点使得**块级掩码扩散**成为自然选择：通过将响应划分为多个块，在块内利用**双向注意力**并行地去噪和恢复 token，在块间保持**因果依赖**以支持长序列和 KV 缓存复用。 —- ### 3. 方法：GroundAnything #### 3.1 模型架构 GroundAnything 由以下组件构成： - **MoonViT-V2（Kimi K3）** 视觉编码器； - **投影器**：通过 2×2 空间聚合与两层 MLP 对齐视觉–语言空间； - **Qwen3-4B 语言解码器**。模型采用**统一的共享词汇表**，包含文本、结构标记（如 `<|object_ref_start|>`、`<|box_start|>`）以及 1,000 个量化坐标 token（`<0>`–`<999>`），从而将检测、指代表达、OCR、GUI 定位、布局分析等多种任务统一到同一结构化输出接口。 #### 3.2 训练管线模型训练分为四个阶段： 1. **基础 VLM 训练**：三阶段预训练（连接器对齐、联合多模态预训练、通用视觉/视频理解），得到 GroundAnything-VLM（AR 基线）； 2. **坐标对齐（SFT）**：在 8 类空间任务上进行监督微调； 3. **AR-to-Diffusion 转换**（仅 GroundAnything）：从 AR 检查点直接转换，引入 $

MASK
token，将响应划分为 B=32 的 token 块，构造互补噪声视图，并通过特定的注意力掩码实现块内双向、块间因果的注意力模式。联合优化 AR 损失 L(AR) 与掩码扩散损失 L(MDM)$：
L = 0.5 L(MDM) + 0.5 L(AR)

**GRPO 强化后训练**：使用因果策略进行 rollout 生成与似然评估，针对 box grounding、OCR、pointing 等任务设计专门奖励函数，优化裁剪后的策略目标。更新后的共享权重直接复用于扩散推理。 #### 3.3 高效并行推理论文提出了多种解码策略以权衡速度与应用精度： - **熵引导解码（Entropy-Guided Decoding）**：直接并行提交低熵（高置信度）的掩码位置，无需 AR 验证； - **自推测解码（Self-Speculative Decoding）**：利用共享权重进行扩散起草与因果 AR 验证，支持线性（ O(B) 查询）与二次（ O(B^2) 查询）两种调度； - **基础设施优化**：结合 SGLang、CUDA Graph 与 FP8，将并行解码的理论优势转化为实际 wall-clock 加速。 —- ### 4. 实验结果论文在 **30 个基准测试**上与 **44 个基线**进行了对比，涵盖通用检测、密集/微小目标、指代表达、OCR、GUI、布局分析、视觉提示等任务。 #### 4.1 定位精度 - **GroundAnything-VLM（AR）**：在同类规模模型中取得 **72.42%** 的总体平均 F1(mIoU) ，建立新的 SOTA，并与 GPT-6 Astra（71.35%）保持竞争力。 - **GroundAnything（扩散）**：以纯扩散解码达到 **61.75%**，超越此前同规模 AR SOTA（LocateAnything，53.32%）。在 RefCOCOg 上达到 **91.10** F1(mIoU) ，在 ScreenSpot-Pro 上达到 **75.96%** 准确率。 #### 4.2 推理速度 - **熵引导解码**：在 B=32, τ=0.8 时达到 **127.0 TPS**，实现 ** 2.56× ** 于 AR 基线的吞吐，COCO F1_(mIoU) 为 60.72 。 - **自推测解码**：线性调度达到 **223.8 TPS**，相比 GroundAnything-VLM 实现 ** 4.51× 加速**，精度仅下降 0.74 个百分点（ 62.96 vs. 63.70 ）。 #### 4.3 DLM vs. MTP 诊断在控制变量（相同前缀、冻结 AR 验证器、相同候选长度 K ）下，双向扩散在 K=16 时： - 每轮接受 **3.48** 个草稿 token，高于因果 MTP 的 **2.69**； - 每接受一个草稿 token 的成本为 **5.38 ms**，低于 MTP 的 **7.71 ms**（降低 30.2%）； - 双向注意力显著降低了密集场景（Dense200）的有效框漏检率。 —- ### 5. 主要贡献 - **解锁扩散用于广泛视觉定位**：首次展示了统一的扩散基础模型可在 30 个多样化定位基准上实现广泛且精确的并行定位，超越了此前同规模的最先进 AR 模型。 - **4B 规模的定位 SOTA**：GroundAnything-VLM 在同类模型中取得总体最佳表现；GroundAnything 证明纯扩散解码可在不依赖 AR 验证的情况下达到强劲性能。 - **系统性的加速与权衡分析**：详细比较了熵引导、自推测、MTP 等多种并行机制的 speed-accuracy 权衡，并结合 SGLang、CUDA Graph、FP8 等基础设施优化验证了实际部署中的加速效果。 —- 总之，论文的核心论点在于：**生成策略应遵循任务结构**。对于视觉定位这类空间证据联合约束强但无固有序列顺序的任务，块级掩码扩散是一种比自回归更自然的生成范式，能够在保持高精度的同时，通过并行解码显著降低推理延迟。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qize Yu,Lianrui Fan,Bowen Ping,Xini Ding,Zetian Song,Junbo Niu,Kaixuan Wang,Tianxing Chen,Yue Chen,Minghua He,Yuran Wang,Jie Huang,Haojun Zhang,Min Chen,Hao Li,Wenxuan Song,Ruihai Wu,Xianming Liu,Shilong Liu,Shuchang Zhou,Ping Luo,Shiyu Huang

Categories:

PDF URL: https://arxiv.org/pdf/2609.39600.pdf

Arxiv URL: https://arxiv.org/abs/2609.39600

Arxiv ID: 2609.39600

CoolPaper URL: https://papers.cool/arxiv/2609.39600

Published: 2026-10-13T03:51:42.988Z

Updated: 2026-10-13T03:51:42.988Z

10. Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents

Abstract:Personal Graphical User Interface (GUI) agents rely on interaction history to infer what a user wants from ambiguous instructions and to anticipate recurring routines. Existing approaches retrieve task-relevant history and append it to the policy’s context, implicitly assuming that experience relevant to a task remains useful for each decision within it. We find that this help is largely spent at the first decision: retrieved history strongly improves the opening step of an episode, yet provides little sustained benefit over the remaining 90\% of steps, and offers weak guidance on whether a proactive suggestion is warranted. A relevant record may tell the agent where to begin, but not which past action applies to the current screen or whether a routine is due now. The underlying issue is that relevance does not imply applicability}: relevance is determined at the task level, whereas applicability depends on the situation at decision time. We therefore recast personalization as experience activation and introduce ExpActivator, a training-free framework that activates only the experience applicable to the current situation. During execution, ExpActivator matches each new screen to historical states in the frozen GUI backbone’s latent space and supplies the corresponding action as a reference. Before execution, it activates a recurring intent only when the current time and scenario provide sufficient support, and otherwise abstains. Across four GUI backbones, ExpActivator improves within-trajectory step success by 28\% on average, achieves the best personalized execution on every backbone while using about one-fifth as many history tokens, and reaches approximately 2.3$\times$ the Matthews correlation coefficient of the strongest proactive baseline. Experience pays where it is activated, not where it is appended.

中文摘要

摘要：个人图形用户界面（GUI）代理依赖交互历史来从模糊指令中推断用户需求，并预测重复出现的流程。现有方法检索与任务相关的历史，并将其附加到策略的上下文中，隐含地假设任务相关经验在每个决策中始终有用。我们发现这种帮助主要体现在第一个决策中：检索到的历史显著改善了一个回合的开头步骤，但在剩下的90%的步骤中几乎没有持续效果，并且对是否需要主动建议提供的指导也很弱。一条相关记录可能告诉代理从哪里开始，但不能确定哪条过去的动作适用于当前屏幕，也不能确定某个流程是否现在应该执行。根本问题在于相关性并不意味着适用性：相关性是在任务层面上确定的，而适用性取决于决策时的具体情境。因此，我们将个性化重新定义为经验激活，并引入ExpActivator，这是一个无需训练的框架，仅激活适用于当前情境的经验。在执行过程中，ExpActivator将每个新屏幕与冻结的GUI骨干网络潜在空间中的历史状态匹配，并提供相应的动作作为参考。在执行之前，它仅在当前时间和情境提供足够支持时才激活重复意图，否则则保持不动。在四个GUI骨干网络上，ExpActivator平均提升了轨迹内步骤成功率28%，在每个骨干网络上实现了最佳的个性化执行，同时使用的历史令牌约为以往的五分之一，并达到最强主动基线约2.3倍的Matthews相关系数。经验在被激活的地方发挥作用，而不是在被附加的地方发挥作用。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文针对\*\*个性化图形用户界面（GUI）代理中历史经验的利用方式\*\*提出了根本性的重新审视，主要试图解决以下核心问题： ### 1. 现有任务级检索范式的局限性当前个性化GUI代理普遍采用\*\*任务级检索\*\*（task-level retrieval）：将与用户指令相关的历史记录整体追加到策略上下文中。这种做法隐含假设：一旦某条历史经验与任务相关，它对该任务内的所有后续决策都持续有用。然而，论文通过实验发现该假设存在严重缺陷： - \*\*执行阶段\*\*：检索到的历史经验仅能显著改善任务\*\*初始步骤\*\*（opening step）的决策（如选择打开哪个应用），但对后续\*\*超过90%的步骤\*\*几乎无持续益处。 - \*\*主动建议阶段\*\*：检索可能返回与当前情景相关的例行程序，但无法判断该程序是否\*\*现在应该触发\*\*（例如，早晨在家的咖啡 routine 不应在晚间通勤时被建议）。 ### 2. 核心问题：相关性不等于适用性论文指出上述局限性的根源在于\*\*相关性（relevance）与适用性（applicability）之间存在本质差距\*\*： - \*\*相关性\*\*在\*\*任务级别\*\*判定：历史记录是否与用户当前目标（如“点咖啡”）语义相关。 - \*\*适用性\*\*在\*\*决策时刻\*\*判定：取决于当前具体情境（如当前屏幕状态、时间、地点），即历史记录中的某个具体动作是否适用于当前界面，或某个 routine 是否应在此时触发。一条相关的历史轨迹可能告诉代理“从何处开始”，但无法告诉代理“哪个过去动作适用于当前屏幕”，或“某个 routine 现在是否到期”。 ### 3. 提出的解决方向：经验激活（Experience Activation）基于上述诊断，论文将个性化重新定义为\*\*经验激活\*\*问题，而非一次性检索问题。具体通过以下两个粒度解决： - \*\*步骤级激活（Step-level Activation）\*\*：在执行过程中，将当前屏幕与历史状态在冻结GUI骨干网络的潜在空间中进行匹配，仅激活并引用与\*\*当前界面最匹配\*\*的历史动作作为参考；随着界面变化，该匹配在每个观察时刻重新计算。 - \*\*任务级激活（Task-level Activation）\*\*：在主动建议时，仅当当前时间和情景为某个重复意图提供充分支持时才激活该 routine，否则选择\*\*弃权\*\*（abstain）。 ### 4. 预期目标通过上述机制，论文旨在实现： - 在四个GUI骨干网络上，将轨迹内步骤成功率平均提升\*\*28%\*\*； - 仅使用约\*\*五分之一\*\*的历史上下文令牌，达到最佳个性化执行效果； - 在主动建议任务上，达到最强基线约\*\*2.3倍\*\*的Matthews相关系数，避免不合时宜的干扰。简言之，论文试图解决的核心问题是：\*\*如何让个人GUI代理在正确的时间、正确的情境下，仅激活并引用历史经验中真正适用的部分，而非盲目追加整段相关历史。\*\* Q2: 有哪些相关研究？根据论文第8页的“Related Work”章节，相关研究主要分布于以下三个方向： ### 1. 个性化GUI代理（Personalized GUI Agents）这类研究关注如何基于用户偏好与历史记录，使代理能够补全指令中隐含的个人化信息。 - \*\*个性化基准测试\*\*： - Yang et al. (2025)、Nie et al. (2026)、Chen et al. (2026)、Li et al. (2025) 等构建了涵盖记录演示到交互式偏好诱导的评估环境，用于检验代理在移动任务中遵循用户偏好的能力。 - \*\*偏好学习与层次化记忆\*\*： - Wang et al. (2026) 与 Lyu et al. (2026) 利用偏好学习和层次化记忆机制，从被省略的指令中恢复用户信息。 - 其中，\*\*PersonalAlign\*\*（Lyu et al., 2026）及对应的 \*\*HIM-Agent\*\* 是本文最直接的前期工作：它们将长期交互记录聚合为“偏好原型”与“例行原型”，并在 AndroidIntent 基准上进行评估。本文扩展了这一方向，进一步区分了“检索任务相关轨迹”与“识别适用于当前屏幕的历史步骤”。 ### 2. GUI代理中的记忆与经验重用（Memory and Experience Reuse in GUI Agents）这类研究探讨如何存储、复用和管理过往任务经验，以支持后续决策。 - \*\*结构化与可执行记忆\*\*： - Wang et al. (2024) 提出可复用的工作流记忆（Agent Workflow Memory）。 - Zhu et al. (2026) 设计了混合自演进结构化记忆（Hybrid Self-Evolving Structured Memory）。 - Qin et al. (2026) 提出了面向GUI代理的可执行动作记忆（Executable Agentic Memory）。 - \*\*记忆选择与压缩\*\*： - Zeng et al. (2026) 的 \*\*MementoGUI\*\* 在冻结GUI骨干网络的前提下，学习多模态记忆选择与压缩策略。 - Liu et al. (2026) 的 \*\*ATMem\*\*（对应论文 "What memory do GUI agents really need?"）跟踪任务信息的角色与状态，并学习选择性地使用记忆。 - \*\*长上下文与任务生成\*\*： - Chung et al. (2025) 评估了基于LLM的Web代理的长上下文推理能力。 - Chen et al. (2025) 通过知识图谱实现自动多模态任务生成（Graph2eval）。与上述工作不同，本文提出的 \*\*ExpActivator\*\* 不依赖训练额外的记忆控制器或微调策略网络，而是通过冻结潜在表示在决策时刻直接激活历史状态。 ### 3. 主动辅助（Proactive Assistance）这类研究关注在没有明确指令时，代理如何基于上下文推断用户意图并适时介入。 - \*\*主动式移动基准\*\*： - Yang et al. (2025) 的 \*\*Fingertip 20k\*\* 为主动与个性化移动LLM代理提供了基准。 - Chai et al. (2026) 的 \*\*Pira-bench\*\* 推动GUI代理从“反应式”向“主动意图推荐”转变。 - Kong et al. (2026) 的 \*\*ProactiveMobile\*\* 旨在提升移动设备上的综合主动智能。 - \*\*交互式评估与时机判断\*\*： - Chen et al. (2026) 的 \*\*KnowU-bench\*\* 考察了交互式、主动式个性化移动代理的评估。 - Nathani et al. (2026) 构建了 \*\*Proactive Agent Research Environment\*\*，通过模拟活跃用户来评估主动助手。 - \*\*例行记忆组织\*\*： - Lyu et al. (2026) 的 \*\*HIM-Agent\*\* 利用时间规律性与情景规律性组织例行记忆，并为代表性意图提供推理上下文。本文与之的区别在于：ExpActivator 将上下文信息（时间与情景）纳入\*\*显式的激活规则\*\*，在生成建议前先判定是否应触发某个例行意图；若支持不足则主动弃权，从而实现了更具选择性的主动建议。 Q3: 论文如何解决这个问题？论文通过\*\*经验激活（Experience Activation）\*\*这一核心范式来解决“相关性不等于适用性”的问题，将个性化从传统的“一次性任务级检索”转变为“决策时刻的适用性选择”。具体而言，论文提出了一个\*\*无需训练（training-free）\*\*的框架 \*\*ExpActivator\*\*，在两个决策粒度上分别实现激活机制。 --- ### 1. 核心范式：从检索到激活传统方法将检索到的完整历史记录追加到策略上下文中，隐含假设任务级相关性足以指导任务内所有步骤。ExpActivator 则对此进行解耦： - \*\*检索\*\*仅用于筛选出与当前任务相关的候选经验； - \*\*激活\*\*在每一次决策时，依据当前具体情境（屏幕、时间、场景）从候选经验中选出真正适用的部分。该框架在所有计算中保持 GUI 骨干网络与策略模型冻结，仅通过历史数据的离线缓存与在线匹配实现个性化。 --- ### 2. 步骤级激活（Step-level Activation）针对\*\*指令驱动的执行\*\*（instruction-driven execution），论文解决的关键问题是：当用户界面随每一步变化时，如何确定哪一个历史动作适用于当前屏幕。 #### 机制流程 1. \*\*候选轨迹筛选\*\*：首先利用文本编码器 f 计算指令 q 与历史记录目标的语义相关性 α_i(q) = f(q)^top f(rho(g_i)) ，选出前 K_xi 条相关轨迹构成候选集 C_u(q) 。此集合在单轮任务中固定。 2. \*\*屏幕表示构建\*\*：利用冻结 GUI 骨干网络的多层视觉令牌（visual tokens），将屏幕 s 编码为块级归一化向量：

φ(s) = (1) / (√B) [ nu(v1(s) - μ_1) ; … ; nu(v_B(s) - μ_B) ]
其中 v_k(s) 为第 k 个空间块的池化特征， μ_k 为历史校准图像的均值， nu 表示 ell_2 归一化。 3. **状态匹配与动作引用**：在每一步 t ，将当前屏幕 s_t 与候选轨迹中的所有历史状态 s(i,j) 进行兼容性比较：
(i^_t, j^t) = argmax(i ∈ Cu(q),, 0 le j < T_i) φ(s_t)^top φ(s(i,j))
兼容性得分 kappa(step) 为块级余弦相似度的平均。选中最相似的历史状态后，将其对应的动作 a(i^_t, j^t) 序列化为参考 e_t ，供冻结策略 πθ 结合当前屏幕生成最终动作 a_t 。 4. **每步重新计算**： C_u(q) 虽固定，但激活步骤 (i^_t, j^_t) 在每次观察后重新计算，允许参考动作在不同历史轨迹之间动态切换，而不假设当前执行必须遵循某条历史轨迹的步序。 —- ### 3. 任务级激活（Task-level Activation）针对**主动建议**（proactive suggestion），论文解决的关键问题是：在没有明确指令时，如何判断某个重复性意图（routine）在当前时间与场景下确实应该被触发。 #### 机制流程 1. **例行邻域构建**：对每条历史意图 g_i ，用意图编码器 psi 得到单位归一化嵌入 z_i = psi(g_i) 。以每条记录为中心 j 构建语义邻域：

Rj(x) = i ∈ I_u : τ_i ne τ_x,; z_j^top z_i ge eta
排除与查询同一时刻的记录，以避免将同一事件误计为重复。 2. **上下文支持度计算**：综合情景一致性与时间邻近性，计算每个 routine 在当前查询 x = (c_x, τ_x) 下的支持质量：
M_j(x) = ∑(i ∈ Rj(x)) I[c_i = c_x] exp( -d(24)(ωi, ω_x)^22σ^2 )
其中 $ω_i = hour(τ_i) ∈
0, 24) ， d(24)(a,b) = min(|a-b|, 24 - |a-b|) 为循环时间距离。 3. 合格性与排序分离：定义合格集合 A(x) ，通过绝对支持门槛过滤不具备足够证据的 routine： A(x) = j ∈ Iu : n_j ge n(min),; nj^(c_x) ge n(ctx),; Mj(x) ge δ 若 A(x) = ∅ ，则系统弃权（abstain），不发出建议。 4. 代表意图选择：对合格的 routine，按平均上下文匹配度排序： kappa(task)(x, j) = (Mj(x)) / (n_j^γ),quad γ = 1 选中 j^* = argmax(j ∈ A(x)) kappa(task)(x, j) 后，从其同场景成员 R(j^)^(cx) 中选取与整个 routine 语义最相似的代表意图 g(i^dagger) ，作为冻结骨干网络生成建议的参考。 —- ### 4. 关键设计特点 - 决策时选择，非任务时追加：步骤级激活在每一步依据当前屏幕重新锚定历史参考；任务级激活在生成建议前依据上下文决定是否触发。 - 训练无关：所有编码器、视觉骨干与策略模型均保持冻结，无需微调或强化学习，仅依赖历史数据的离线缓存与在线相似度计算。 - 极低上下文成本：步骤级每步仅供应单个动作引用（约 145 个历史令牌），任务级在建议前完成过滤，远低于传统方法追加完整轨迹的代价。 - 动态跨轨迹迁移：执行过程中，约 92% 的 episode 会从至少两条历史轨迹中汲取参考，55% 的连续步骤会切换至不同轨迹，确保经验来源随界面状态自适应变化。 Q4: 论文做了哪些实验？论文的实验围绕诊断现有方法的局限与验证经验激活机制的有效性展开，涵盖从主表对比到细粒度机制拆解的多个层面。具体实验内容如下： —- ### 1. 实验设置 - 数据集：在 AndroidIntent 基准上进行评估，包含 82 名用户的长期移动设备记录，覆盖 135 款应用与 13 类场景。训练/历史划分采用时间顺序的前 80%（15,966 条记录），后 20% 用于测试。测试集包括： - 个性化执行：775 个 episode，共 7,915 个步骤，指令被故意设计为模糊表述（如仅说“查看更新”，不指明应用与内容）。 - 主动建议：315 个状态（215 个正例、100 个负例），仅提供用户身份、时间与场景，无任何指令。 - 评估指标： - 执行：动作类型准确率（Type）、步骤成功率（SSR）、累积成功率（CSR，对早期步骤加权）。 - 主动建议：语义得分（Sem.）、精确率（P）、平衡准确率（BA）、Matthews 相关系数（MCC）；附录补充召回率（R）、误报率（FA）与 F1。 - 骨干网络与基线：在 4 个冻结的开源 GUI 骨干上测试（Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B、GUI-Owl-1.5-8B），并以 QwenVL-Max 为外部参考。对比基线包括： - Base：不使用历史。 - Recent：提供最近 3 条记录。 - Retrieve：检索与指令最相似的记录。 - LLM-UM：离线生成的用户画像。 - HIM-Agent：层次化意图记忆（该基准的最强基线）。 —- ### 2. 主要结果（Main Results） - 个性化执行：ExpActivator 在全部 4 个骨干上均取得最高的 Type、SSR 与 CSR。相比无历史的 Base，SSR 平均提升 44%，CSR 约翻倍；相比每个骨干上的最强记忆基线，SSR 平均提升约 20%。所有提升均通过配对自助法检验显著。此外，4 个开源骨干在 CSR 上均超过了闭源的 QwenVL-Max，平均达其 1.6 倍。 - 主动建议：在 MCC 上，ExpActivator 达到最强基线的约 2.3 倍；BA 相对最佳基线提升 24%；平均精确率达 84%。由于数据集中 68% 的状态为正例，“总是建议”即可获得高 F1，因此论文强调 BA 与 MCC 更能反映区分能力——多数基线在此接近随机水平，而 ExpActivator 表现出选择性触发能力。 —- ### 3. 检索经验何时失效（Where Retrieved Experience Stops Paying）该实验旨在诊断任务级检索的瓶颈，将每个 episode 的首步决策（opening，决定打开哪个应用）与后续轨迹内步骤（within-trajectory，共 7,140 步）分离统计： - 首步决策：所有记忆基线均显著提升成功率（Base 的 28.3% 提升至 62% 左右），说明检索对启动应用有效。 - 轨迹内步骤：在后续 90% 的步骤中，四个记忆基线（Recent、Retrieve、LLM-UM、HIM-Agent）与无历史基线无显著差异，均落在其 5% 范围内。这说明一旦进入应用内部，追加的完整历史记录不再提供有效指导。 - ExpActivator 的对比：在同一阶段，ExpActivator 将步骤成功率提升了 45%（相对 Base），证明持续地按屏幕选择历史动作是维持经验效用的关键。 —- ### 4. 消融实验（Ablation Studies）通过冻结 Qwen3-VL-8B 策略，在 7,140 个轨迹内动作与 315 个主动状态上逐一验证设计选择： - 选择优于追加（Selecting beats appending）：将历史限制为单条最相关轨迹。若将整条轨迹追加到上下文中，SSR 为 18.47%，与无历史无异；若仅通过步骤级激活从该轨迹中选择单个动作，SSR 升至 23.84%（相对提升 29%）。证明相同经验在不同使用方式下效果截然不同。 - 每步刷新必要性（Refresh at every observation）：固定 8 条候选轨迹，但改变匹配时机： - 使用上一屏幕进行匹配：SSR 下降 15%。 - 每 4 步刷新一次：SSR 下降 13%。 - stale 匹配下，参考动作与真实历史动作的一致性下降 38%，证实必须在每次观察后重新计算激活。 - 跨轨迹动态迁移：统计表明，92% 的 episode 会从至少 2 条过去轨迹中获取参考，平均引用 3.4 条；55% 的连续步骤会切换到不同轨迹。该行为在不同骨干上几乎一致，说明动态切换是激活规则的固有特性，而非编码器特例。 - 上下文门控建议（Context gates the suggestion）：移除任务级激活的三个组件： - 无时间权重：BA 下降约 5% 相对，AUROC 下降 6.28 点。 - 无场景条件：BA 下降 11% 相对，误报率从 37% 飙升至 62%。 - *无频率归一化：不改变触发决策，但生成建议的语义质量下降 4% 相对。 —- ### 5. 超参数敏感性分析（附录 E）对任务级激活的 6 个常数（语义阈值 eta 、最小总支持 n(min) 、最小场景支持 n(ctx) 、时间带宽 σ 、激活阈值 δ 、频率指数 γ ）进行网格扫描： - 在 eta ∈ [0.88, 0.98

与 n(min) le 12 的范围内，AUROC 始终高于 75，变化小于 5.4 点，表明操作点位于宽广平台而非尖锐峰值。 - 当 n(min) > 12 时，AUROC 下降并非因评分不稳定，而是因为过多状态找不到合格 routine（覆盖率下降）。 - 时间带宽 σ 在
0.25, 2
小时内对 AUROC 影响小于 0.6 点；场景支持 n(ctx) 在
1, 10
内移动 AUROC 小于 1.8 点；激活阈值 δ 对 BA 影响小于 1.3 点。 —- ### 6. 上下文成本与历史规模分析（附录 F） - 令牌成本：ExpActivator 每步仅增加 144.6 个历史令牌，约为最强基线平均值的 1/5，约为最经济基线 HIM-Agent 的 1/3，同时在所有步骤上取得最高成功率。 - 历史规模鲁棒性：按用户历史记录数量将 82 名用户分为四分位数（Q1: 39–111 条，Q4: 258–414 条）。ExpActivator 在每个四分位上均显著优于该组最强基线，最少记录组（Q1）的相对 SSR 提升达 37%。即使历史规模很小，步骤级激活依然有效。 —- ### 7. 案例研究（Case Study） - 步骤级激活：在真实的 NUS NextBus 任务中，当前屏幕激活了不同历史行程中的对应状态（相似度 0.93–0.98），参考动作随界面推进在多条过去轨迹间迁移。 - 任务级激活：展示单个用户在家一天中的四条 routine（查天气、识植物、查运动、设闹钟）。支持度曲线随时间变化，系统在 08:05、15:37、20:26、23:57 分别激活对应意图，在凌晨与下午 1 点后因支持不足而弃权。附录中对另外 5 名用户（包括不同场景下的通勤者）展示了相同模式。 Q5: 有什么可以进一步探索的点？基于论文所揭示的“相关性不等于适用性”这一核心洞察，以及 ExpActivator 在训练无关（training-free）机制上取得的成功，以下几个方向值得进一步探索： —- ### 1. 可学习的激活函数与自适应匹配机制论文严格保持 GUI 骨干网络与策略模型冻结，依赖余弦相似度等固定度量进行状态匹配。一个自然的延伸是放开匹配过程的可学习性： - 对比学习表征：利用用户历史中的正样本（同一任务内相邻屏幕）与负样本（不同任务或错误动作后的屏幕）训练专用的屏幕嵌入空间，使得 φ(s) 在潜在空间中更精准地反映“决策适用性”而非单纯的视觉相似性。 - 轻量门控网络：在冻结骨干之上引入一个小的可训练适配器，根据当前指令 q 、历史动作 a(i,j) 与屏幕状态 st 的联合表征，输出一个自适应的兼容性得分 kappa(step)^(learned) ，以替代固定的块级余弦相似度。这种探索可以在保持主干模型不变的前提下，检验学习式激活能否在跨应用或 UI 风格剧变时提升泛化性。 —- ### 2. 长期记忆的动态生命周期管理 ExpActivator 使用固定长度的历史切分（前 80% 记录），未处理记忆随时间无限增长的问题。后续研究可关注： - 遗忘与压缩机制：当用户历史规模从数百条扩展到数万条时，如何对历史状态进行语义压缩（如将旧 trajectory 聚类为宏观工作流），同时保留激活所需的细粒度步骤信息。可借鉴论文中 γ 频率归一化的思想，设计基于信息覆盖率的记忆淘汰策略。 - 在线更新：用户偏好会漂移（例如从“早晨咖啡”变为“早晨茶”）。激活规则中的阈值（如 n(min), δ ）若固定，可能无法捕捉这种漂移。可探索基于用户近期反馈在线调整支持度阈值的方法。 —- ### 3. 跨用户经验迁移与隐私保护论文聚焦于单用户历史（ M_u ），但某些任务在个体历史中极为稀疏。可探索： - 相似用户聚合：在联邦学习或聚类框架下，识别具有相似习惯的用户群体，将群体级别的例行模式作为候选集 B_u^((d))(x) 的补充。此时需要解决跨用户语义对齐问题（不同用户的同义词、不同应用的同功能界面）。 - 隐私感知的激活：步骤级激活需要在潜在空间中明文比较当前屏幕与历史屏幕。未来可探索同态加密或安全多方计算支持下的匹配，确保用户历史轨迹不离开本地设备即可参与相似度计算。 —- ### 4. 更丰富的情境感知与 Routine 建模任务级激活目前主要依赖小时级时间 d(24) 与离散场景标签 cx 。真实世界的情境更为复杂： - 多尺度时间模式：引入星期、工作日/节假日、月度周期等，使用周期性核函数或时序点过程（temporal point processes）替代高斯时间权重，以建模更复杂的重复结构（如“每周三下午健身”）。 - 连续空间与传感器情境：将 GPS 轨迹、Wi-Fi 接入点、甚至设备电量与网络状态纳入情境 x ，使“在回家路上”这一场景从离散标签变为连续概率分布。 - 多 Routine 竞争与层次结构：当前任务级激活选择单一 representative intent g(i^dagger) 。现实中多个 routine 可能同时具有较高支持度（如“查邮件”与“开视频会议”均可能在周一上午 9 点办公室触发）。可探索基于多任务学习或层次意图图（hierarchical intent graph）的并发 routine 推理。 —- ### 5. 用户反馈闭环与交互式主动建议论文中的主动建议是一次性生成，未显式建模用户拒绝或接受建议后的动态： - 在线偏好学习：当用户多次忽略“查天气”建议或明确关闭弹窗时，系统应下调该 routine 的激活质量 Mj(x) 或提高其阈值 δ 。可探索基于 Thompson 采样或贝叶斯优化的在线策略，平衡探索（尝试新 routine）与利用（激活已知 routine）。 - 解释性建议：ExpActivator 决定“是否触发”与“触发什么”，但未向用户解释为何此时建议。可研究生成自然语言解释（如“您通常在工作日早晨 8 点查看邮件”），这要求激活机制不仅输出 j^* ，还能追溯其支持集合 R(j^)(x) 中的关键证据。 —- ### 6. 向复杂交互范式扩展论文假设了相对线性的 episode 结构（单目标、单 trajectory）。真实个人代理面临更复杂的交互： - 多任务打断与恢复：用户在执行“点咖啡”途中被通知打断去“回复消息”。步骤级激活需要在多任务上下文中维护多个候选经验池，并在返回原任务时恢复到正确的历史状态匹配。 - 跨设备迁移：用户可能在手机、平板、车载系统上执行同一意图（如“继续听播客”）。屏幕视觉特征 φ(s) 在不同设备分辨率与 OS 版本间差异巨大，可探索基于 UI 结构（如 accessibility tree）或语义锚点（semantic anchors）的跨设备激活机制。 —- ### 7. 系统性的失败分析与理论刻画论文证明了激活机制有效，但对何时失效的分析主要停留在消融实验层面。未来可深入： - 失败分类学（Failure Taxonomy）：建立正式框架区分“检索失败”（无相关历史）、“匹配失败”（有相关历史但 kappa(step) 选错步骤）与“策略失败”（激活了正确参考但 πθ 未采纳）。这有助于定位改进瓶颈。 - 理论下界：在序列决策的框架下（如 MDP 或 POMDP），刻画“任务级相关性”与“决策级适用性”之间的信息差距，证明在何种动态环境下，每步重新激活的样本复杂度显著低于一次性检索。 Q6: 总结一下论文的主要内容该论文针对个性化图形用户界面（GUI）代理中历史经验的利用方式提出了根本性反思，指出任务级相关性不等于决策级适用性，并据此提出了经验激活框架 ExpActivator。 ### 核心问题现有方法普遍采用任务级检索：将与用户指令相关的历史记录整体追加到策略上下文中。作者发现，这种经验在任务的初始步骤（如选择打开哪个应用）确实有效，但对后续超过90%的步骤几乎无持续益处，因为在应用内部，当前屏幕与历史动作之间缺乏精细对应。同理，在主动建议中，检索出的例行程序（routine）无法判断在当前时间与场景下是否真的应该触发。根本原因在于：相关性（relevance）在任务级别判定，而适用性（applicability）取决于决策时刻的具体情境。 ### 方法：ExpActivator 论文将个性化重新定义为经验激活（experience activation），即在决策时刻从相关候选经验中选出真正适用的部分，而非一次性追加完整历史。该框架无需任何训练，所有模型保持冻结，包含两个粒度： - *步骤级激活（Step-level）：在执行过程中，利用冻结 GUI 骨干网络的视觉潜在空间，将当前屏幕 st 与历史轨迹中的状态 s(i,j)$ 进行匹配：

(i^_t, j^t) = argmax(i ∈ Cu(q),, 0 le j < T_i) φ(s_t)^top φ(s(i,j))
其中 φ(·) 基于空间分块的中心化视觉表征。每一步都重新计算最相似的历史状态，并将其动作作为参考 et 提供给策略，实现跨轨迹的动态经验迁移。 - 任务级激活（Task-level）：在主动建议时，先评估重复意图在当前情境下的支持度。通过语义邻域 R_j(x) 、情景一致性 $I
c_i = c_x
与时间邻近性 exp(-d(24)(ωi, ω_x)^2 / 2σ^2) 计算上下文质量 M_j(x) 。仅当满足绝对支持门槛（ n_j ge n(min) 、 nj^(c_x) ge n(ctx) 、 M_j(x) ge δ$）时才激活该 routine 并生成建议，否则弃权（abstain）。 ### 关键实验结果在 AndroidIntent 基准上对 82 名用户的评估表明： - 个性化执行：ExpActivator 在 4 个冻结 GUI 骨干上均取得最佳步骤成功率（SSR），相比最强基线平均提升约 20%，相比无历史基线平均提升 44%；同时仅使用约五分之一的历史上下文令牌。 - 持续效用：基线方法在轨迹内后续步骤上与无历史条件无显著差异，而 ExpActivator 在轨迹内步骤上相对无历史基线提升 45%，证明每步重新激活是维持经验效用的关键。 - 主动建议：在判断“何时该说话”上，ExpActivator 达到最强基线约 2.3 倍的 Matthews 相关系数（MCC），平衡准确率（BA）提升 24%，有效避免了不合时宜的干扰。 ### 主要贡献 1. 诊断了任务级检索的局限：证明检索到的经验主要在开篇步骤被“耗尽”，无法自动适配后续变化的界面状态。 2. 提出了经验激活范式：区分“检索候选”与“决策时刻激活”，在步骤级和任务级分别实现了无需训练的激活机制。 3. 验证了决策时选择优于整体追加：受控实验表明，即使只使用单条相关轨迹，从中选出适用动作也比追加整条轨迹有效得多；且参考动作需在每次观察后刷新，跨轨迹动态迁移是激活机制的固有特性。论文的核心结论可概括为：经验的价值不在于被追加到上下文中，而在于在正确的决策时刻被激活。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Fuyao Zhang,Xuan Wang,Zherui Li,Jiaming Zhang,Longtao Huang,Wei Yang Bryan Lim

Categories:

PDF URL: https://arxiv.org/pdf/2609.33304.pdf

Arxiv URL: https://arxiv.org/abs/2609.33304

Arxiv ID: 2609.33304

CoolPaper URL: https://papers.cool/arxiv/2609.33304

Published: 2026-10-13T03:51:43.481Z

Updated: 2026-10-13T03:51:43.481Z

HuggingFace Papers 2026-10-13

Latest Papers

1. Scaling Agentic Data for Long-Horizon Terminal Intelligence

2. Multi-Stream Attention Residuals

3. GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

4. SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

5. Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

6. Thinking Inertia: LLMs Keep Thinking When Told Not To

7. T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

8. ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

9. GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

10. Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents