HuggingFace Papers 2026-10-09

数据来源：HuggingFace Papers

Latest Papers

Abstract:General-purpose service robots need navigation systems that can handle diverse human requests in unfamiliar environments, combining task generality with scene generality. Some existing methods fine-tune multimodal large language models (MLLMs) to predict navigation actions, making their behavior dependent on the coverage of navigation training data and potentially limiting generalization to new requests and environments. Our key insight is to let the MLLM focus on interpreting requests, understanding scenes, and making decisions while preserving its general-purpose capabilities and delegating motion execution to navigation tools. To realize this idea, we introduce SuperNav, which equips a pretrained MLLM with a specialized agent harness without navigation-specific fine-tuning of the MLLM. Our harness supports these decisions with Navigation Skills, agent-oriented Tools for physical interaction, and task-progress and context management. A unified visual-point interface connects decision-making to motion by allowing the model to specify destinations directly in images and revise its decisions from execution feedback. Together, these components support sustained navigation across different task requirements and environments. SuperNav outperforms four evaluated baselines on instance-level, multi-object, and demand-driven tasks. Category-level evaluation on HM3D and deployment on a real quadruped robot further demonstrate its applicability across environments. Project Page: this https URL

中文摘要

摘要：通用服务机器人需要能够在陌生环境中处理各种人类请求的导航系统，结合任务通用性和场景通用性。一些现有方法通过微调多模态大型语言模型（MLLM）来预测导航动作，使其行为依赖于导航训练数据的覆盖范围，可能限制其对新请求和新环境的泛化能力。我们的关键见解是让MLLM专注于解释请求、理解场景和做出决策，同时保持其通用能力，并将运动执行委托给导航工具。为了实现这一想法，我们提出了SuperNav，它为预训练的MLLM配备了一个专门的代理框架，而无需对MLLM进行导航特定的微调。我们的框架通过导航技能、面向代理的物理交互工具以及任务进度和上下文管理来支持这些决策。一个统一的视觉点界面将决策与运动连接起来，使模型能够直接在图像中指定目的地，并根据执行反馈修正其决策。通过这些组件的协同作用，SuperNav能够在不同任务需求和环境中持续导航。在实例级、多对象和需求驱动任务上，SuperNav的表现优于评估的四个基线方法。在HM3D上的类别级评估以及在真实四足机器人上的部署进一步证明了其在不同环境中的适用性。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12126 (HTTP 429)

Authors: Jinkai Zhang,Jingyi Xu,Yuanhong Yu,Jiarui Guo,Ruizhen Hu,Hujun Bao,Xiaowei Zhou,Sida Peng

Categories:

PDF URL: https://arxiv.org/pdf/2610.12126.pdf

Arxiv URL: https://arxiv.org/abs/2610.12126

Arxiv ID: 2610.12126

CoolPaper URL: https://papers.cool/arxiv/2610.12126

Published: 2026-10-09T03:04:34.631Z

Updated: 2026-10-09T03:04:34.630Z

2. AgentGarten: Code Worlds for Evolving Agents

Abstract:Interactive virtual worlds allow agents to learn through exploration and interaction. What agents can learn is bounded by the environments they practice in, which must be faithful, with consistent state, rules, and dynamics, and realistic, with observations that follow the real-world visual distributions. Achieving both across diverse worlds remains a bottleneck. We introduce AgentGarten, a framework that couples simulators and game engines with a shared neural renderer to build real-time interactive environments. Its simulation backends maintain persistent world state and execute program-defined interaction rules, while the renderer generates visual observations from structured conditions exported through a common interface. To build the neural renderer, we adapt a pretrained video model to geometry conditions, distill it with our proposed Adversarial Forcing, and optimize inference for real-time interaction. Adversarial Forcing makes history prefilling differentiable through exact replay, so that losses on later predictions update how the renderer encodes prior observations, and adds real-data adversarial supervision to improve its visual quality. In AgentGarten, agents perceive the world through visual observations, interact with it in real time, and improve by distilling each round of experience into playbooks that subsequent agents inherit and refine. Our empirical study demonstrates a substantial gain in learning efficiency, with agents learning from just 4 rounds compared with millions for a conventional reinforcement learning counterpart. As new worlds can be written as code and rendered through the same interface, environments can scale in both number and difficulty alongside their agents, a step toward agents that keep evolving through interactive experience.

中文摘要

摘要：互动虚拟世界允许智能体通过探索和互动进行学习。智能体所能学习的内容受限于其练习的环境，这些环境必须是忠实的，即具有一致的状态、规则和动力学，同时也需是现实的，即其观察结果符合真实世界的视觉分布。在多样化的世界中同时实现这两点仍然是一个瓶颈。我们提出了AgentGarten，一个将模拟器和游戏引擎与共享神经渲染器结合的框架，用于构建实时互动环境。其模拟后台保持持久的世界状态并执行程序定义的互动规则，而渲染器则通过通用接口从导出的结构化条件生成视觉观察。为了构建神经渲染器，我们将预训练的视频模型适配到几何条件，使用我们提出的对抗强制（Adversarial Forcing）进行蒸馏，并优化推理以实现实时互动。对抗强制通过精确重播使历史预填充可微分，从而使后续预测的损失能够更新渲染器对先前观察的编码，并且加入真实数据的对抗监督以提高其视觉质量。在AgentGarten中，智能体通过视觉观察感知世界，实时与其互动，并通过将每轮经验蒸馏成下一轮智能体继承和改进的玩法手册来提升能力。我们的实证研究表明学习效率显著提高，智能体仅需通过4轮学习即可获得经验，而传统强化学习方法则需要数百万轮。由于新世界可以以代码形式编写并通过相同接口渲染，环境可以随着智能体的发展在数量和难度上扩展，这是迈向通过互动经验不断进化的智能体的一步。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12374 (HTTP 429)

Authors: Jiawei Chi,Shangchen Miao,Zhiyuan Shi,Kailu Wu,Hanyang Wang,Weiliang Chen,Qiyu Dai,Jinshan Ren,Jun Gao,Mingsheng Long,Yueqi Duan,Jiangran Lyu,Jialong Wu,Fangfu Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.12374.pdf

Arxiv URL: https://arxiv.org/abs/2610.12374

Arxiv ID: 2610.12374

CoolPaper URL: https://papers.cool/arxiv/2610.12374

Published: 2026-10-09T03:04:34.810Z

Updated: 2026-10-09T03:04:34.810Z

3. TokenRouter: Efficient Serving System for Token-Level LLM Routing

Abstract:Large language model (LLM) routing distributes inference work across different models, advancing the cost-quality Pareto frontier of LLM serving. While coarse-grained routing at the session or query level has been widely adopted in production systems, recent algorithmic work shows that fine-grained token-level routing can yield substantial efficiency and quality gains. However, efficiently serving token-level routed inference poses significant challenges to existing systems. Built on single-LLM assumptions, current systems suffer from severe step desynchronization and frequent batch admission delays under token-level routing, and they also impose high implementation complexity on developers. To address these challenges, we design TokenRouter, an efficient and developer-friendly serving system for token-level routed LLM inference. TokenRouter follows the principle of request-centric programming, model-centric execution: developers describe routing logic from the perspective of a single request, while the runtime launches a subserver for each LLM and dispatches requests asynchronously. Each subserver employs a delayed-batching scheduler, whose optimal hyperparameters are derived from a mathematical throughput model of the system. Across diverse routing algorithms, workloads, and model pairs, TokenRouter achieves 2.01-64.15x higher decoding throughput than existing systems, substantially advancing the serving efficiency of token-level LLM routing. Our code is available at this https URL.

中文摘要

摘要：大语言模型（LLM）路由将推理工作分配到不同的模型上，从而推进了 LLM 服务的成本-质量帕累托前沿。虽然在会话或查询级别的粗粒度路由已广泛应用于生产系统，但最近的算法工作显示，细粒度的令牌级路由可以带来显著的效率和质量提升。然而，高效地服务于令牌级路由的推理对现有系统来说是一个重大挑战。现有系统建立在单 LLM 假设之上，在令牌级路由下会出现严重的步骤不同步和频繁的批处理接入延迟，并且对开发者施加了高实现复杂性。为了解决这些挑战，我们设计了 TokenRouter，一种高效且对开发者友好的令牌级路由 LLM 推理服务系统。TokenRouter 遵循以请求为中心的编程、以模型为中心的执行原则：开发者从单个请求的角度描述路由逻辑，而运行时为每个 LLM 启动一个子服务并异步调度请求。每个子服务采用延迟批处理调度器，其最优超参数是通过系统的数学吞吐量模型推导得出的。在各种路由算法、工作负载和模型对中，TokenRouter 实现了比现有系统高 2.01-64.15 倍的解码吞吐量，大幅提升了令牌级 LLM 路由的服务效率。我们的代码可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12242 (HTTP 429)

Authors: Tianyu Fu,Tengxuan Liu,Ruoxi Wang,Yixin Dong,Yi Ge,Yichen You,Yu Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.12242.pdf

Arxiv URL: https://arxiv.org/abs/2610.12242

Arxiv ID: 2610.12242

CoolPaper URL: https://papers.cool/arxiv/2610.12242

Published: 2026-10-09T03:04:34.815Z

Updated: 2026-10-09T03:04:34.815Z

4. What Did the Agent Actually Do? Evidence-Grounded Oversight for Long-Horizon Agents

Abstract:As agents take on long-horizon tasks, users shift from making individual decisions to overseeing autonomous execution. Yet the volume of agent activity and the fragmentation of supporting evidence make it difficult to determine which decisions warrant user verification. We study monitors that identify consequential decisions and locate evidence to help users assess their implications. We introduce AgentMonBench, a software-engineering benchmark comprising three subsets that cover two complementary dimensions: alignment between requirements and behavior, and awareness of consequential autonomous decisions for verification. To support these judgments, we propose the Evidence-Grounded Behavior Graph (EBG), a training-free method that groups source-linked evidence into behaviors and organizes their relationships into a graph. EBG presents task-oriented views of this graph to help monitors interpret behavior in context. Experiments across eight models show that EBG improves decision identification and evidence localization in most settings compared with direct access to the original context. Further experiments show that EBG’s evidence-localization gains persist across input scales and hyperparameter settings, while real-world applications illustrate its practical value for human oversight.

中文摘要

摘要：随着智能代理承担长期任务，用户的角色从做个体决策转向监督自主执行。然而，代理活动的数量庞大以及支持证据的碎片化，使得判断哪些决策需要用户验证变得困难。我们研究了能够识别关键决策并定位证据以帮助用户评估其影响的监控方法。我们提出了AgentMonBench，这是一个软件工程基准，包含三个子集，覆盖两个互补维度：需求与行为的一致性，以及关键自主决策的意识以便进行验证。为了支持这些判断，我们提出了证据驱动行为图（EBG），这是一种无需训练的方法，将源链接的证据分组到行为中，并将它们的关系组织为图结构。EBG提供了面向任务的图视图，帮助监控者在上下文中解释行为。在八种模型上的实验表明，与直接访问原始上下文相比，EBG在大多数情况下能够改善决策识别和证据定位。进一步的实验显示，EBG在证据定位上的改进在不同输入规模和超参数设置下仍然有效，而现实应用则展示了其在人类监督中的实际价值。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.06406 (HTTP 429)

Authors: Zhongxiang Sun,Jiahao Yan,Hongkang Zhao,Haojie Ding,Boheng Zhang,Fan Yang,Xiao Zhang,Jun Xu

Categories:

PDF URL: https://arxiv.org/pdf/2610.06406.pdf

Arxiv URL: https://arxiv.org/abs/2610.06406

Arxiv ID: 2610.06406

CoolPaper URL: https://papers.cool/arxiv/2610.06406

Published: 2026-10-09T03:04:34.807Z

Updated: 2026-10-09T03:04:34.807Z

5. VibeEdit: Image Editing with Canvas Instructions

Abstract:In text-guided image editing, describing the desired change is often straightforward, but identifying the intended object or region can be cumbersome, especially when several objects look alike. We introduce a new image editing interface that lets users place spatial marks and optional short notes directly on the image. Together, these annotations form a canvas instruction that specifies where to edit and what to change. Our editor, VibeEdit, follows these instructions to perform object addition, removal, replacement, attribute modification, and movement without a separate text prompt. We construct 1.55 million source-target edit pairs with object masks and structured edit descriptions, from which we render canvas instructions during training. We adapt Qwen-Image-Edit with layer-decoupled conditioning that separately encodes source images and canvas instructions for image editing. We train the model with region-weighted supervised fine-tuning, followed by rubric-guided reinforcement learning to improve edit completion, local edit quality, and preservation of unedited regions. We evaluate VibeEdit on an independently constructed, human-curated benchmark of 419 cases emphasizing target selection among similar objects. VibeEdit achieves a VLM rubric score of 79.9 and an outside-region PSNR of 32.8 dB, compared with 67.4 and 24.0 dB for FireRed, the highest-scoring text-instructed baseline in our evaluation.

中文摘要

摘要：在文本引导的图像编辑中，描述所需的更改通常很直接，但识别目标对象或区域可能很繁琐，尤其是当多个对象看起来相似时。我们引入了一种新的图像编辑界面，允许用户直接在图像上放置空间标记和可选的简短说明。这些注释共同形成一个画布指令，指定要编辑的位置和要更改的内容。我们的编辑器 VibeEdit 会遵循这些指令执行对象添加、删除、替换、属性修改和移动，而无需单独的文本提示。我们构建了155万个带有对象掩码和结构化编辑描述的源-目标编辑对，并在训练过程中从中生成画布指令。我们对 Qwen-Image-Edit 进行了改造，采用层分离条件编码，将源图像和画布指令分别编码以进行图像编辑。我们通过区域加权的监督微调训练模型，随后进行基于评分标准的强化学习，以提高编辑完成度、本地编辑质量和未编辑区域的保留。我们在独立构建的人为策划的419个案例基准上评估 VibeEdit，这些案例强调在相似对象中选择目标。VibeEdit 在 VLM 评分标准上的得分为79.9，外部区域 PSNR 为32.8 dB，而 FireRed（我们评估中得分最高的文本指令基线）分别为67.4 和24.0 dB。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12229 (HTTP 429)

Authors: Jinjing Zhao,Fangyun Wei,Yitong Wang,Xiuyu Wu,Yunuo Chen,Yang Yue,Sirui Zhang,Wenbo Wang,Hongyang Zhang,Dong Chen,Yan Lu,Chang Xu

Categories:

PDF URL: https://arxiv.org/pdf/2610.12229.pdf

Arxiv URL: https://arxiv.org/abs/2610.12229

Arxiv ID: 2610.12229

CoolPaper URL: https://papers.cool/arxiv/2610.12229

Published: 2026-10-09T03:04:34.799Z

Updated: 2026-10-09T03:04:34.799Z

6. In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks

Abstract:We study robotic in-context learning (ICL), an emerging paradigm that enables robots to infer and execute tasks from visual demonstrations. Despite its growing promise, the problem itself remains under-defined: a visual demonstration simultaneously conveys action trajectories, object semantics, manipulation affordances, spatial relations, and task goals, making it unclear what information the robot is actually expected to follow. In this work, we first provide a clear problem definition of robot ICL that explicitly defines its learning target and resolves this fundamental prompt ambiguity. Building on this definition, we develop a minimalist and reproducible ICL framework (SimpleICL) with a visual prompt encoder and a low-cost data collection protocol. Without massive pre-training or specialized data infrastructure, our framework achieves strong performance in both simulation and real-world environments. Extensive experiments further reveal several key properties of robot ICL, including semantic discrimination and task-relevant disentanglement. We will fully open-source our data and training pipeline to facilitate systematic and reproducible research on robot ICL. The project page can be found at this https URL.

中文摘要

摘要：我们研究了机器人上下文学习（ICL），这是一种新兴的范式，使机器人能够从视觉演示中推断并执行任务。尽管其前景日益看好，但该问题本身仍未明确界定：视觉演示同时传达动作轨迹、对象语义、操作可行性、空间关系和任务目标，因此尚不清楚机器人究竟应遵循哪些信息。在本研究中，我们首先提供了机器人的ICL问题的明确定义，明确其学习目标并解决这一根本性的提示歧义。在此定义的基础上，我们开发了一个简约且可复现的ICL框架（SimpleICL），包括视觉提示编码器和低成本数据收集协议。无需大量预训练或专用数据基础设施，我们的框架在模拟和真实环境中均表现出色。大量实验进一步揭示了机器人ICL的几个关键特性，包括语义区分能力和任务相关的解耦能力。我们将完全开源我们的数据和训练管道，以促进系统性和可复现的机器人ICL研究。项目页面可通过此 HTTPS URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*机器人上下文学习（In-Context Learning, ICL）中的提示歧义（prompt ambiguity）问题\*\*，并建立一个清晰、极简且可 democratize（普及化）的研究范式。具体而言，论文试图解决以下几个核心问题： ### 1. 提示歧义与学习目标的模糊性视觉演示视频同时包含了\*\*动作轨迹、物体语义、操作 affordance、空间关系和任务目标\*\*等多重信息，导致一个根本性的歧义：机器人究竟应该从人类演示中学习什么？是严格模仿运动轨迹，还是理解高层语义？是复制物体的特定操作方式，还是只关注最终目标？论文通过明确定义机器人 ICL 的\*\*四个核心语义维度\*\*和\*\*三个鲁棒性维度\*\*，系统性地消解了这种歧义。 - \*\*应学习的语义维度\*\*： - \*\*动作语义\*\*（Action）：如抓取、放置、旋转等高层动作类别； - \*\*组合语义\*\*（Composition）：动作的时间顺序与结构组合； - \*\*物体语义\*\*（Object）：识别操作目标的身份，而非盲目记忆空间轨迹； - \*\*Affordance 语义\*\*：推断如何操作物体（如握杯身还是杯柄）。 - \*\*应保持鲁棒的因素\*\*： - \*\*空间不匹配\*\*（Spatial Mismatches）：目标物体在演示环境与执行环境中的位置差异； - \*\*人类动作细节\*\*（Human Action Details）：执行速度、手臂形态、手部外观等低层细节； - \*\*场景变化\*\*（Scene Variations）：光照、背景颜色、干扰物等视觉变化。 ### 2. 数据工程与收集的效率问题现有的模仿学习方法往往依赖大规模遥操作数据或海量预训练，成本高昂。论文提出了一套\*\*低成本的 ICL 数据设计与收集协议\*\*，包括： - 基于上述定义的语义判别式数据构造（Action/Object/Composition/Affordance-discriminative data）； - \*\*跨组数据增强（Cross-group Pairing）\*\*策略，通过轻微扰动物体位置、光照、背景等，在不增加额外收集成本的情况下扩展数据多样性，防止模型通过记忆或轨迹复制来“作弊”。 ### 3. 视觉提示的有效编码如何从不包含机器人动作标签的人类视频中提取任务相关信息？论文设计了一个\*\*统一的视觉提示编码模块\*\*，通过可学习的查询令牌（learnable query tokens）对原始人类演示视频进行交叉注意力建模，从而抑制背景噪声和无关的人体细节，聚焦于任务相关的时空线索。 ### 4. 建立极简、可复现的基准框架论文提出了 \*\*SimpleICL\*\* 框架，在不依赖大规模预训练或专用数据基础设施的情况下，通过在仿真和真实世界中的大量实验，验证了 ICL 的有效性，并首次揭示了机器人 ICL 在动作、语义、组合和 affordance 判别等方面的关键特性。总结来说，这篇论文的核心贡献在于\*\*首次系统性地定义了机器人 ICL 的学习目标与边界，解决了视觉提示的内在歧义，并提供了一套低成本、易复现的数据与模型方案\*\*，以推动该领域的民主化和系统化研究。 Q2: 有哪些相关研究？根据论文的Related Work章节及相关引用，相关研究主要围绕以下三个方向展开： ### 1. Vision-Language-Action (VLA) 模型这类方法将文本指令与视觉观测对齐到预训练大视觉语言模型的潜在空间中，微调后输出机器人动作。代表性工作包括： - \*\*OpenVLA\*\* (Kim et al., 2024) - \*\*π0\*\* (Black et al., 2024) - \*\*π0.5\*\* (Physical Intelligence et al., 2025) - \*\*GR00T N1\*\* (Bjorck et al., 2025) - \*\*RT-2\*\* (Zitkovich et al., 2023) - \*\*RDT-1B\*\* (Liu et al., 2024) - \*\*SmolVLA\*\* (Shukor et al., 2025) - \*\*Gemini Robotics\*\* (Team et al., 2025) - \*\*DexVLA\*\* (Wen et al., 2025) ### 2. World Action Models (WAMs) 这类方法以视频生成模型为基础，将未来视频预测作为推断机器人动作的先验。代表性工作包括： - \*\*UniPi\*\* (Du et al., 2023) - \*\*GR-2\*\* (Cheang et al., 2024) - \*\*Gen2Act\*\* (Bharadhwaj et al., 2024) - \*\*RoboDreamer\*\* (Zhou et al., 2024) - \*\*VidaR\*\* (Feng et al., 2025) - \*\*DreamGen\*\* (Jang et al., 2025) - \*\*Cosmos Policy\*\* (Kim et al., 2026) - \*\*Motus\*\* (Bi et al., 2025) - \*\*Fast-WAM\*\* (Yuan et al., 2026) - \*\*Flare\*\* (Zheng et al., 2025) - \*\*RynnVLA-002 / WorldVLA\*\* (Cen et al., 2025a;b) - \*\*World Action Models are Zero-Shot Policies\*\* (Ye et al., 2026) - \*\*Unified World Models\*\* (Zhu et al., 2025) - \*\*Video generators are robot policies\*\* (Liang et al., 2025) ### 3. 从人类演示视频中学习由于人类操作数据通常只包含视频而非机器人状态/动作信号，近期研究探索了无需重新训练或微调即可从人类视频中获取技能的方法： - \*\*WAM-TTT\*\* (Feng et al., 2026)：在测试时通过优化轻量级记忆模块，从人类视频中 Q3: 论文如何解决这个问题？该论文通过\*\*问题定义的清晰化\*\*、\*\*低成本数据工程的系统化设计\*\*以及\*\*极简的模型架构\*\*三个层面，系统性地解决了机器人上下文学习中的提示歧义与可复现性难题。具体解决方案如下： ### 1. 建立明确的机器人ICL问题定义为解决视觉演示中信息过载导致的意图歧义，该论文首次从两个互补视角对机器人ICL进行了严格界定： \*\*（1）期望学习的四个核心语义维度：\*\* - \*\*动作语义\*\*：模型需在类别层面区分不同操作（如抓取、放置、按压、旋转），而非复现具体轨迹。 - \*\*组合语义\*\*：模型需理解动作的时间结构与顺序（如先旋转后抓取 vs. 先抓取后旋转）。 - \*\*物体语义\*\*：模型应基于物体的语义身份而非空间位置进行定位；即使目标物体在执行场景中的位置与演示不同，也应适配实际位姿。 - \*\*Affordance语义\*\*：模型需推断操作物体的正确部位与方式（如握杯柄还是杯身）。 \*\*（2）期望保持鲁棒的三个无关因素：\*\* - \*\*空间不匹配\*\*：对目标物体在演示场景与执行场景间的位置差异保持鲁棒。 - \*\*人类动作细节\*\*：对执行速度、手臂形态、手部外观、具体抓取角度等低层细节保持不变性。 - \*\*场景变化\*\*：对光照条件、背景颜色、非目标干扰物等视觉变化保持鲁棒。这一明确定义为数据构建与模型训练提供了清晰的边界与目标。 ### 2. 设计语义判别式数据收集与增强协议基于上述定义，该论文提出了一套有针对性的数据构建方法，迫使模型学习真正需要区分的语义，同时抑制对无关因素的依赖： \*\*（1）四种语义判别式数据构造：\*\* - \*\*动作判别数据\*\*：在同一场景中用不同动作收集多组演示（如抓取后旋转 vs. 抓取后放置），迫使模型区分动作类别。 - \*\*物体判别数据\*\*：主动扰动目标物体位置，并在周围引入语义相近的干扰物，强制模型基于物体语义而非空间记忆执行任务；同时假设每类目标物体在场景中唯一，确保语义无歧义。 - \*\*组合判别数据\*\*：设计动作集合相同但执行顺序不同的任务（如先拿香蕉再拿苹果 vs. 相反顺序），迫使模型关注时序依赖。 - \*\*Affordance判别数据\*\*：在同一人-机器人数据对中保持抓取位置与模式一致，但在不同数据对间变化操作方式（如分别演示握杯身与握杯柄）。 \*\*（2）针对期望不变性的数据增强：\*\* - \*\*演示者不变性\*\*：收集不同演示者的视频，包括裸手、不同颜色手套、不同肤色等手部外观变化。 - \*\*环境不变性\*\*：系统性地变化光照、色温与相机视角，并将同一人演示视频与相同的机器人执行轨迹配对，训练模型忽略表层场景变化。 \*\*（3）基于组的收集与跨组配对策略：\*\* - 定义\*\*收集组\*\*为特定场景及其可执行任务的集合。 - \*\*主要切换\*\*：更换全新场景。 - \*\*次要切换\*\*：在现有场景内进行扰动（改变物体放置、调整光照、更换背景干扰物）。 - \*\*跨组配对\*\*：利用次要切换后的场景变化，将人类演示视频与在不同场景扰动下采集的机器人执行轨迹进行配对。这一策略打破了人类演示与机器人执行场景之间的精确耦合，以几乎零额外成本扩充数据量（单日单平台可产生多达3,000对有效数据），并\*\*显式防止模型通过轨迹复制或演示记忆来“作弊”\*\*。 ### 3. 提出统一的视觉提示编码模块为从原始人类演示视频中提取任务相关信息并过滤干扰，该论文设计了一个即插即用的视觉提示编码模块： - \*\*处理流程\*\*：原始条件视频首先经过预训练视觉编码器（如ViT）生成帧级嵌入序列，随后被展平并投影至共享潜在空间。接着，引入一组随机初始化的\*\*可学习查询令牌（learnable query tokens）\*\*，通过\*\*交叉注意力机制\*\*迭代查询视频嵌入序列，从而聚焦于最相关的时空线索，同时抑制背景噪声与无关的人体细节。 - \*\*输出生成\*\*：模块最终输出一组紧凑 Q4: 论文做了哪些实验？论文在仿真环境与真实世界环境中开展了系统性实验，涵盖\*\*视觉歧义测试、零样本泛化、组合与 affordance 判别、鲁棒性分析以及注意力可视化\*\*五个层面。 ### 1. 仿真实验 \*\*训练与测试设置\*\* - \*\*训练数据\*\*：基于 RoboTwin 2.0 仿真框架构建了两类数据集： - \*\*ICL-oriented 数据\*\*：在场景中同时放置多个任务相关物体并采集多任务演示（18,000 条），引入真实的视觉提示歧义； - \*\*Native RoboTwin 数据\*\*：遵循传统任务中心范式（27,500 条）。 - \*\*测试任务\*\*： - \*\*视觉歧义测试\*\*：组合部分 RoboTwin 任务，要求模型在歧义场景中正确解析意图； - \*\*7 个未见（OOD）任务\*\*：如将玩具车放入塑料盒、将杯子放入篮子、触碰玩具车、将扑克牌放到盘子上、合上笔记本电脑、将积木放到 Pad 上、将鼠标放到碗中（图 8）。这些任务既非 RoboTwin 原生支持，也未出现在训练集中。 \*\*关键结果\*\* - \*\*表 1（视觉歧义测试）\*\*：在 ICL-oriented 数据上训练的 SimpleICL 达到 \*\*72.1%\*\* 的成功率，远高于在 native 数据上训练的 Fast-WAM（37.6%）与 SimpleICL（40.3%）。消融实验显示，去掉视频条件后降至 61.6%，去掉未来预测后骤降至 20.2%。 - \*\*表 2（OOD 任务泛化）\*\*：SimpleICL 在 7 个 OOD 任务上平均成功率为 \*\*65.9%\*\*，显著优于 Fast-WAM（24.6%）。无视频条件（w/o. VC）降至 26.3%，无未来预测（w/o. FP）降至 17.9%。 \*\*核心发现\*\* - ICL-oriented 数据有助于缓解视觉歧义； - 视频条件机制使模型能够利用人类演示进行\*\*新颖任务的上下文学习\*\*； - \*\*未来预测\*\*对有效提取视频演示中的时序信息至关重要。 ### 2. 真实世界实验使用 FRANKA 机器人平台（配备三个 Intel RealSense D435 相机），通过 3Dconnexion space mouse 进行遥操作数据采集。 #### 2.1 主要结果（8 个未见过任务） \*\*任务\*\*：称重、擦盘子、泡茶、拉抽屉、按压皂液器、放置水果、整理筷子、整理货架。 \*\*三级评估协议\*\* - \*\*Easy\*\*：场景中仅含一个可执行任务，仅有一种执行方式； - \*\*Medium\*\*：场景中含多个不同可执行任务，要求模型解析视觉歧义并选择正确任务； - \*\*Hard\*\*：任务本身存在多个有效目标，需要精细的语义定位（如两个相邻盘子中必须擦指定的一个）。 \*\*对比基线\*\*：Fast-WAM 与 π 0.5 。 \*\*关键结果（表 3）\*\* - \*\*Easy\*\*：SimpleICL 平均 \*\*81%\*\*，略高于 Fast-WAM（80%）与 π 0.5 （72%）； - \*\*Medium\*\*：SimpleICL \*\*70%\*\*，显著优于 Fast-WAM（65%）与 π 0.5 （47%）； - \*\*Hard\*\*：SimpleICL \*\*68%\*\*，大幅领先 Fast-WAM（42%）与 π 0.5 （31%）。 \*\*核心发现\*\* - ICL 模型对\*\*未见过的物体与场景\*\*具有更强的泛化能力； - 模型能够\*\*准确识别并遵循\*\*人类演示的动作类型（放置、拉取、按压等）； - 在 Hard 级别存在语义相近干扰物时，模型仍能基于\*\*目标物体的语义身份\*\*而非空间记忆或盲目模仿进行定位； - 语言条件模型（如 Fast-WAM）容易出现捷径学习，将特定动作意图绑定到固定场景模式，而 ICL 模型能更好地\*\*解耦场景观测与条件化任务意图\*\*（图 5）。 #### 2.2 组合语义与 Affordance 分析通过\*\*判别式数据收集\*\*（discriminative sampling）进行受控实验： - \*\*组合判别\*\*：训练数据中包含同一场景下不同操作顺序的演示（如先放苹果再放香蕉 vs. 相反）。评估时使用训练未见的物品（零食、杯子、玩具）进行顺序组织任务。 - \*\*Affordance 判别\*\*：训练数据中对同一物体采用不同抓取方式（如握杯身 vs. 握杯柄）。评估使用卷尺、带柄杯子、胶带等多 affordance 物体。 \*\*关键结果（表 4）\*\* | 设置 | 组合（Snack/Cup） | Affordance（Bag/Cup/Measure/Tape） | |:---:|:---:|:---:| | 有判别式收集 | 0.97 / 1.00 | 0.90 / 0.87 / 0.77 / 0.83 | | 无判别式收集 | 0.93 / 0.97 | 0.93 / 0.60 / 0.40 / 0.47 | \*\*核心发现\*\* - 模型具备强大的\*\*组合判别\*\*与 \*\*affordance 判别\*\*能力； - \*\*组合能力\*\*无需显式为同一场景构建不同顺序数据即可自发学习； - \*\*Affordance 能力\*\*则必须显式为同一物体构建不同操作方式的数据才能习得；在 ICL 范畴内，细粒度 affordance 比全局时序/组合关系更难自发解耦。 #### 2.3 鲁棒性分析在三个期望不变的维度上引入受控干扰（表 5）： - \*\*空间不匹配\*\*：执行时目标物体位置相对于人类演示发生偏移； - \*\*人类动作细节\*\*：更换演示者手部外观（App.，如戴手套）或更换演示者及运动风格（Sty.）； - \*\*场景变化\*\*：改变光照（Light）、背景颜色（Bg.）、添加无关杂乱物体（Clut.）。 \*\*关键结果\*\* - 完整模型在所有干扰下保持 \*\*75%~80%\*\* 的成功率，平均 \*\*78%\*\*； - \*\*消融跨组配对（w/o. CP）\*\*后，空间偏移场景成功率从 79% 暴跌至 \*\*51%\*\*，背景与杂乱场景也出现明显下降（平均降至 70%）。 \*\*核心发现\*\* - 跨组配对策略不仅是数据增强手段，更是\*\*显式强制 ICL 期望不变性\*\*的关键机制； - 无跨组配对时，模型退化为\*\*轨迹复制\*\*模式：当物体位置偏移时，机械地移向人类视频中演示的位置，而非基于当前场景中的物体进行感知（图 6）。 ### 3. 注意力可视化分析对视觉提示编码器的交叉注意力进行可视化（图 7），揭示模型在人类演示视频上的时间结构化注意力模式： - \*\*初始阶段\*\*：注意力集中于人类手部； - \*\*峰值时刻\*\*：在\*\*手首次接触目标物体\*\*与\*\*任务完成\*\*两个时刻出现注意力强度峰值； - \*\*中间阶段\*\*：注意力以中等强度跟随手部与物体的运动。这一结果表明，模型并非均匀关注场景，而是在不同执行阶段聚焦动作相关线索，对关键交互事件（ Q5: 有什么可以进一步探索的点？基于论文的发现与局限，以下几个方向值得进一步深入探索： ### 1. 细粒度 Affordance 与物理语义的自发解耦论文实验表明，\*\*affordance 判别能力无法通过数据自发涌现\*\*，必须显式为同一物体构造不同抓取/操作方式的数据。这一发现暗示当前模型在解耦“物体身份”与“操作部位/物理属性”上存在根本瓶颈。未来可探索： - 引入\*\*显式的物体几何或物理先验\*\*（如 part-based 3D 表示、接触图 contact map）作为中间监督，辅助模型理解局部功能性； - 研究\*\*触觉或力反馈模态\*\*的融入，利用多模态信号强化对 affordance 的感知，而非仅依赖视觉时序； - 探索能否通过\*\*大规模互联网操作视频的自监督预训练\*\*，在无需成对机器人轨迹的情况下，预先建立 affordance 的通用表征。 ### 2. 复杂组合语义与层次化任务结构当前工作主要验证了\*\*线性动作序列\*\*（如 A→B vs. B→A）的组合判别能力。真实世界的长程任务往往涉及\*\*条件分支、循环、子程序嵌套\*\*等更复杂的层次化结构。未来研究方向包括： - 构建包含\*\*条件判断与重复模式\*\*的 ICL 数据集，检验模型对高层任务图（task graph）的理解能力； - 探索将\*\*程序归纳（program induction）或规划（planning）模块\*\*与 ICL 策略相结合，使模型不仅能模仿单一路径，还能从演示中抽取可重用的子程序并重新组合。 ### 3. 跨本体（Cross-Embodiment）泛化论文中的人类演示与机器人执行在\*\*相同或高度相似的硬件结构\*\*（AGILEX 或 FRANKA）下进行。然而，机器人 ICL 的最终愿景是允许任意形态的本体（如单臂、双臂、人形、移动操作平台）观看\*\*任意人类（甚至动物）演示\*\*后执行任务。亟待解决的问题有： - 如何处理\*\*严重不匹配的运动学结构\*\*（如人手 20+ 自由度 vs. 二指夹爪）带来的动作空间映射歧义； - 是否需要显式的\*\*本体编码（embodiment encoding）\*\*，或仅靠数据驱动即可隐式适应不同本体； - 利用\*\*大规模跨本体数据集\*\*（如 Open X-Embodiment）训练通用视觉提示编码器，检验其在未见本体上的 zero-shot 迁移能力。 ### 4. 理论边界：机器人 ICL 何时有效、何时失效论文通过实验归纳了若干性质，但尚缺乏\*\*理论层面的刻画\*\*。未来可从以下角度建立更严格的分析框架： - \*\*上下文学习的样本复杂度\*\*：对于给定的任务语义复杂度，所需的最少演示视频数量与模型容量的关系； - \*\*歧义消解的信息论极限\*\*：当人类演示视频的信噪比（任务相关信号 vs. 干扰信号）低于某一阈值时，模型是否必然产生歧义性解译； - \*\*因果推断视角\*\*：将 ICL 形式化为从观测视频中识别\*\*因果干预结构\*\*（causal intervention）的过程，明确模型在何种因果图中能正确识别操作者意图。 ### 5. 数据效率与互联网规模视频的无缝利用尽管论文提出了低成本的跨组配对策略，但真实机器人数据的收集仍受限于物理平台与人力。未来可探索： - \*\*混合训练范式\*\*：将少量成对的人-机器人配对数据与\*\*海量无配对互联网视频\*\*（如 Ego4D、HowTo100M）结合，利用视频世界模型（WAM）作为桥梁，将人类演示先映射为通用动作表征，再适配到具体机器人； - \*\*主动学习（Active Learning）与演示选择\*\*：在 ICL 场景下，机器人应主动请求人类提供哪一类演示视频（如特定的 affordance 或组合变体），以最高效地消除当前策略的不确定性。 ### 6. 在线测试时适应（Test-Time Adaptation）与持续学习论文采用训练后固定权重的范式。然而，若机器人需要在部署期间\*\*持续接触新任务、新物体或新环境\*\*，则需研究： - \*\*轻量级的测试时记忆更新机制\*\*：如参考 WAM-TTT（Feng et al., 2026），在推理阶段仅优化少量提示令牌或外部记忆，实现对新演示的快速适应，同时避免灾难性遗忘； - \*\*持续 ICL\*\*：当任务流非独立同分布（non-i.i.d.）时，如何防止模型在上下文学习新任务时遗忘先前习得的操作技能。 ### 7. 安全性、价值对齐与异常检测视觉提示歧义的消解不仅关乎任务成功率，更涉及\*\*安全执行\*\*。未来需关注： - \*\*对抗性提示的鲁棒性\*\*：若人类演示包含危险或错误操作（如碰倒易碎品），模型是否具备\*\*异常检测与拒绝执行\*\*的能力； - \*\*价值对齐的 ICL\*\*：如何从仅包含“是什么”的演示视频中，推断出“应该是什么”的隐含约束（如不能碰撞周围物体、需遵循特定安全顺序），并将这些约束编码到策略中。 Q6: 总结一下论文的主要内容这篇工作围绕\*\*机器人视觉上下文学习（In-Context Learning, ICL）\*\*这一新兴范式，系统性地解决了其中存在的\*\*提示歧义（prompt ambiguity）\*\*问题，并提出了一套极简、低成本且可复现的解决方案。以下是论文核心内容的结构化总结： --- ### 1. 研究背景与核心问题近年来，机器人学习经历了从强化学习、大规模模仿学习到利用自我中心数据的多次范式转变。视觉上下文学习被认为是一种更接近人类学习本质的方式：机器人通过观察人类演示视频（视觉提示）来推断并执行任务，从而具备零样本泛化潜力。然而，该领域存在一个根本性的\*\*定义空白\*\*：一段人类演示视频同时编码了\*\*动作轨迹、物体语义、操作 affordance、空间关系与任务目标\*\*等多重信息，导致意图传达存在严重歧义——机器人究竟应该严格复制人类动作，还是理解高层语义？应该复现操作方式，还是只关注最终目标？这种\*\*提示歧义\*\*阻碍了机器人ICL的系统化研究。 --- ### 2. 机器人ICL的清晰问题定义为消解歧义，论文首次从两个互补视角对机器人ICL进行了严格界定： \*\*（1）模型应当学习的四个语义维度：\*\* - \*\*动作语义\*\*：在类别层面理解操作（如抓取、放置、按压、旋转），而非复现具体轨迹； - \*\*组合语义\*\*：区分动作的时间顺序与结构（如先旋转后抓取 vs. 先抓取后旋转）； - \*\*物体语义\*\*：基于目标物体的语义身份进行定位，即使其在执行场景中的位置与演示不同，也能适配实际位姿； - \*\*Affordance语义\*\*：推断操作物体的正确部位与方式（如握杯柄还是杯身）。 \*\*（2）模型应当保持鲁棒的三个无关因素：\*\* - \*\*空间不匹配\*\*：目标物体在演示与执行场景间的位置差异； - \*\*人类动作细节\*\*：执行速度、手臂形态、手部外观、抓取角度等低层变化； - \*\*场景变化\*\*：光照、背景颜色、非目标干扰物等视觉扰动。 --- ### 3. 方法：SimpleICL 框架基于上述定义，论文提出了由\*\*数据协议\*\*与\*\*模型架构\*\*组成的极简框架。 #### 3.1 数据设计与收集协议 \*\*语义判别式数据构造：\*\* 针对四种应学习的语义，分别设计强迫模型进行判别的数据： - \*\*动作判别\*\*：同一场景下使用不同动作采集多组演示； - \*\*物体判别\*\*：扰动目标物体位置，并引入语义相近的干扰物，迫使模型基于物体身份而非空间记忆决策； - \*\*组合判别\*\*：设计动作集合相同但顺序不同的任务； - \*\*Affordance判别\*\*：同一物体在不同数据对中以不同部位/方式操作。 \*\*低成本跨组增强策略：\*\* - 定义\*\*收集组\*\*（场景+任务集合），通过\*\*主要切换\*\*（更换场景）与\*\*次要切换\*\*（同场景下扰动物体位置、光照、背景）生成新数据； - \*\*跨组配对（Cross-group Pairing）\*\*：将人类演示视频与在不同扰动场景下采集的机器人执行轨迹配对。此举以几乎零额外成本将数据量扩展约3倍，并\*\*显式防止模型通过轨迹复制或演示记忆来“作弊”\*\*。 \*\*不变性增强：\*\* 采集不同演示者（裸手、不同手套、肤色）及不同环境条件（光照、视角）的视频，以增强对无关因素的鲁棒性。 #### 3.2 统一视觉提示编码模块为从原始人类视频中提取任务相关信息并过滤干扰，论文设计了一个即插即用的编码模块： - 利用预训练视觉编码器提取帧级特征； - 引入少量\*\*可学习查询令牌（learnable query tokens）\*\*，通过\*\*交叉注意力机制\*\*从视频特征中主动查询任务相关的时空线索； - 输出紧凑的条件化嵌入，注入下游的视频DiT与动作DiT的上下文。该模块支持\*\*任意长度视频\*\*，显式抑制背景噪声与无关人体细节，且可端到端联合优化。 --- ### 4. 实验验证论文在仿真与真实世界中进行了广泛实验，揭示了机器人ICL的多个关键性质。 #### 4.1 仿真实验（RoboTwin 2.0） - \*\*视觉歧义测试\*\*：在ICL-oriented数据上训练的模型达到 \*\*72.1%\*\* 成功率，显著高于传统数据范式（40.3%）及基线Fast-WAM（37.6%）。 - \*\*OOD任务泛化\*\*：在7个完全未见过的新任务上，SimpleICL平均成功率达 \*\*65.9%\*\*，远超Fast-WAM（24.6%）。 - \*\*消融发现\*\*：\*\*视频条件\*\*对新任务泛化至关重要；\*\*未来预测\*\*对有效利用演示视频中的时序信息不可或缺（去除后性能从65.9%降至17.9%）。 #### 4.2 真实世界实验（FRANKA平台）在8个完全未见过的新任务上（涉及称重、擦盘子、泡茶、拉抽屉、按压皂液器、放置水果、整理筷子与货架），论文设计了\*\*Easy / Medium / Hard\*\*三级评估： | 难度 | 核心挑战 | SimpleICL | Fast-WAM | π 0.5 | |:---:|:---|:---:|:---:|:---:| | Easy | 单一任务，无歧义 | \*\*81%\*\* | 80% | 72% | | Medium | 多任务并存，需解析视觉歧义 | \*\*70%\*\* | 65% | 47% | | Hard | 多目标/强干扰，需精细语义定位 | \*\*68%\*\* | 42% | 31% | \*\*关键发现：\*\* - 随着任务歧义性与干扰增加，ICL模型展现出显著更强的\*\*语义定位与意图跟随能力\*\*； - 语言条件基线（如Fast-WAM）易出现\*\*捷径学习\*\*，将动作意图错误绑定到固定场景模式，而ICL模型能更好地\*\*解耦场景观测与条件化意图\*\*。 #### 4.3 深入分析 - \*\*组合 vs. Affordance 学习\*\*： - \*\*组合能力\*\*无需显式为同一场景构造不同顺序数据即可自发涌现； - \*\*Affordance能力\*\*则必须显式为同一物体构造不同操作方式的数据才能习得，表明细粒度 affordance 在ICL中更难自发解耦。 - \*\*鲁棒性分析\*\*： - 模型对空间偏移、演示者外观/风格变化、光照/背景/杂乱物体干扰均保持高成功率（平均 \*\*78%\*\*）； - \*\*跨组配对策略\*\*是关键：去除后，空间偏移场景成功率从79%暴跌至51%，模型退化为\*\*轨迹复制\*\*模式。 - \*\*注意力可视化\*\*：编码器的注意力呈现结构化模式：初始阶段聚焦人手，在\*\*手首次接触物体\*\*与\*\*任务完成\*\*时出现强度峰值，中间阶段跟随手与物体的运动，表明模型确实聚焦在关键交互事件上。 --- ### 5. 总结与价值论文的核心价值在于\*\*将机器人ICL从一个模糊的新兴概念转化为定义清晰、可系统研究的问题\*\*。通过明确学习目标与鲁棒性边界、设计低成本的数据协议、提出极简的模型架构，该工作不仅取得了领先的仿真与真实世界性能，更首次揭示了机器人ICL在动作、语义、组合与affordance判别方面的内在性质与挑战。论文承诺全面开源数据与训练流程，旨在推动该领域的民主化与可复现研究。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是In-context%20Robot%20Learning%20Made%20Simple%3A%20A%20Democratized%20Recipe%20for%20Manipulation%20Tasks，链接是https://arxiv.org/pdf/2609.38173，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2609.38173。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Minxing Li,Minghao Han,Weizhi Zhao,Hanwen Wang,Xiangshuo Liu,Shuyao Shang,Jingxiang Zhou,Mingchao Sun,Hongyu Pan,Mu Xu,Yu Liu,Lue Fan,Zhaoxiang Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2609.38173.pdf

Arxiv URL: https://arxiv.org/abs/2609.38173

Arxiv ID: 2609.38173

CoolPaper URL: https://papers.cool/arxiv/2609.38173

Published: 2026-10-09T03:04:45.585Z

Updated: 2026-10-09T03:04:45.585Z

7. From Prompting to Composing: A Spatial Canvas Interface for Poster Generation

Abstract:Text prompting is an indirect interface for poster generation, requiring users to encode inherently two-dimensional composition intent into a one-dimensional sequence of words. We introduce a Spatial Canvas Interface that enables users to directly compose generation intent in space through four complementary binding types: semantic, identity, text, and pixel, together with Text Specifications for individual elements and global appearance. Based on this interface, we develop Compo, a poster generation model adapted from a pretrained image editing model to understand Spatial Canvas inputs and Text Specifications. Compo supports both direct inference, where users explicitly construct the canvas, and agentic mode, where a high-level request is automatically translated into a planned Spatial Canvas. To train Compo, we develop a scalable pipeline that automatically constructs supervision data for different binding types and their combinations, enabling efficient adaptation without training a specialized poster generator from scratch. We further introduce a benchmark that evaluates adherence to individual binding types and their joint composition. Experiments show that Compo achieves stronger compositional controllability than both general-purpose image generation models and dedicated poster generation systems while maintaining high visual quality. By decoupling intent specification from visual generation, our work shifts poster generation from prompting toward composing.

中文摘要

摘要：文本提示是一种间接的海报生成接口，要求用户将本质上二维的构图意图编码为一维的文字序列。我们提出了一种空间画布接口，使用户能够通过四种互补的绑定类型——语义、身份、文本和像素——在空间中直接构建生成意图，同时提供针对单个元素和整体外观的文本规范。基于该接口，我们开发了Compo，一种从预训练图像编辑模型改编的海报生成模型，用于理解空间画布输入和文本规范。Compo支持两种模式：直接推理模式，由用户显式构建画布；以及代理模式，高级请求自动转换为规划好的空间画布。为了训练Compo，我们开发了一个可扩展的流水线，自动为不同绑定类型及其组合构建监督数据，从而无需从零训练专门的海报生成器即可实现高效适应。我们还引入了一个基准，用于评估对单个绑定类型及其联合构图的遵循情况。实验表明，Compo在组合可控性方面优于通用图像生成模型和专用海报生成系统，同时保持高视觉质量。通过将意图规范与视觉生成分离，我们的工作将海报生成从提示驱动转向了组合式创作。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12230 (HTTP 429)

Authors: Yitong Wang,Fangyun Wei,Jinjing Zhao,Sirui Zhang,Hongyang Zhang,Dong Chen,Bo Dai,Yan Lu

Categories:

PDF URL: https://arxiv.org/pdf/2610.12230.pdf

Arxiv URL: https://arxiv.org/abs/2610.12230

Arxiv ID: 2610.12230

CoolPaper URL: https://papers.cool/arxiv/2610.12230

Published: 2026-10-09T03:04:45.565Z

Updated: 2026-10-09T03:04:45.565Z

8. Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers

Abstract:Dense retrievers have made significant progress on text and image corpora, but whether these capabilities extend reliably to mixed corpora containing text, image, and fused text-image documents remains unclear. In this paper, we systematically examine retrievers across architectures and find that their performance is highly sensitive to modality composition. As image documents are progressively replaced with semantically corresponding text representations, retrieval performance follows a pronounced V-shaped curve, remaining strong on single-modality corpora but degrading substantially when modalities coexist. In particular, irrelevant text causes more severe degradation than an equal number of irrelevant images, a phenomenon we term Chaos in the Text. Further analysis reveals modality preference, whereby text representations receive systematically higher similarity scores, allowing irrelevant text to outrank relevant images. To mitigate this bias, we introduce Trident, which constructs text, image, and fused text-image views of each document as co-equal positives and jointly optimizes relevance discrimination and positive-view balance through Multi-Positive View InfoNCE. Experiments across visual document and natural image benchmarks show that trident improves mixed-modality retrieval on both CLIP-based and VLM-based architectures, reduces sensitivity to modality composition and text distractors, and increases average single-modality retrieval performance.

中文摘要

摘要：密集型检索器在文本和图像语料库上取得了显著进展，但这些能力是否能可靠地扩展到包含文本、图像和融合文本-图像文档的混合语料库仍不清楚。在本文中，我们系统地考察了不同架构的检索器，并发现它们的性能对模态组成高度敏感。随着图像文档逐渐被语义对应的文本表示替代，检索性能呈现明显的V型曲线：在单一模态语料库上保持强劲，但当多种模态共存时则显著下降。特别是，无关文本比同等数量的无关图像造成更严重的性能下降，这一现象我们称之为“文本混乱”。进一步分析揭示了模态偏好，即文本表示系统性地获得更高的相似度分数，使得无关文本能够胜过相关图像。为缓解这一偏差，我们引入了Trident，它为每个文档构建文本、图像和融合文本-图像视图，作为同等正样本，并通过多正样本视图InfoNCE联合优化相关性区分和正视图平衡。在视觉文档和自然图像基准测试中，实验表明Trident提升了基于CLIP和VLM架构的混合模态检索性能，降低了对模态组成和文本干扰的敏感性，同时提高了单模态检索的平均性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11816 (HTTP 429)

Authors: Yubo Sun,Chunyi Peng,Yukun Yan,Zhenghao Liu,Zhipeng Xu,Sen Mei,Linlin Xin,Zheni Zeng,Maosong Sun

Categories:

PDF URL: https://arxiv.org/pdf/2610.11816.pdf

Arxiv URL: https://arxiv.org/abs/2610.11816

Arxiv ID: 2610.11816

CoolPaper URL: https://papers.cool/arxiv/2610.11816

Published: 2026-10-09T03:04:45.648Z

Updated: 2026-10-09T03:04:45.648Z

9. SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

Abstract:The memory-bound nature of the decoding stage of large language model (LLM) inference incurs significant latency. Layer-wise training-free network pruning approaches guided by the Hessian have been a prominent solution to this problem, as pruning reduces the number of nonzero parameters read from memory during decoding. Nevertheless, typical methods in this line compute the Hessian using pre-collected natural sequences, whereas the model is fed self-generated tokens during decoding, creating a distribution shift between the two sequences. The Hessian calculated on the natural sequence is different from that calculated on the generated sequence. We observe that this discrepancy causes the activation distribution during generation to deviate from that used for pruning, further hurting the pruned model performance. Moreover, most existing LLM pruning methods that bring actual speedup primarily target the sparse matrix-matrix (SpMM) multiplication, providing limited support for the sparse matrix-vector (SpMV) operations, which dominate decoding. To solve these problems, we introduce SparseDecoding, a principled decoding-aware pruning framework tailored for accurate and efficient LLM decoding. Specifically, at the algorithmic axis, SparseDecoding constructs calibration matrices from layer-wise activations collected during the dense-model autoregressive generation, excluding prefill, thereby aligning the pruning objective with the decoding activations. At the system axis, we develop an optimized N:M sparse matrix-vector kernel with bitmask indexing and fixed-step traversal. Substantial empirical results on representative LLMs (Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B / 32B) demonstrate that our method consistently outperforms standard fixed-text calibration on the long-form generation benchmarks while achieving up to 1.48x end-to-end wall-clock decoding speedup on A100 GPUs.

中文摘要

摘要：大型语言模型（LLM）推理的解码阶段具有内存受限的特性，从而导致显著的延迟。基于Hessian指导的逐层无需训练的网络剪枝方法一直是解决该问题的主要方案，因为剪枝可以减少解码过程中从内存中读取的非零参数数量。然而，现有典型方法是利用预先收集的自然序列计算Hessian，而模型在解码时使用的是自生成的token，这在两种序列之间产生了分布偏差。在自然序列上计算的Hessian与在生成序列上计算的Hessian不同。我们观察到，这种差异会导致生成过程中的激活分布偏离用于剪枝的分布，进一步影响剪枝模型的性能。此外，大多数现有能够带来实际加速的LLM剪枝方法主要针对稀疏矩阵-矩阵（SpMM）乘法，对于主导解码的稀疏矩阵-向量（SpMV）操作支持有限。为了解决这些问题，我们引入了SparseDecoding，一种针对准确且高效LLM解码而设计的原理性解码感知剪枝框架。具体来说，在算法层面，SparseDecoding从密集模型自回归生成过程中收集的逐层激活构建校准矩阵（不包括预填充），从而将剪枝目标与解码激活对齐。在系统层面，我们开发了一个优化的N:M稀疏矩阵-向量内核，采用位掩码索引和固定步长遍历。对代表性LLM（Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B）的大量实证结果表明，我们的方法在长文本生成基准上始终优于标准的固定文本校准，同时在A100 GPU上实现了最高1.48倍的端到端实测解码速度提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12327 (HTTP 429)

Authors: Qitong Wang,Xinwei Niu,Mingluo Su,Shanwei Zhao,Shiai Zhu,Huan Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.12327.pdf

Arxiv URL: https://arxiv.org/abs/2610.12327

Arxiv ID: 2610.12327

CoolPaper URL: https://papers.cool/arxiv/2610.12327

Published: 2026-10-09T03:04:45.762Z

Updated: 2026-10-09T03:04:45.762Z

10. Reasoning-Informed Visual Editing

Abstract:Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but still face challenges in visual editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To study this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE), and extend it to RISEBench++, a more comprehensive and fine-grained benchmark for this emerging task. RISEBench++ extends the taxonomy into a hierarchical scheme spanning six reasoning dimensions: Temporal, Causal, Spatial, Logical, and Counterfactual Reasoning, together with Hybrid Reasoning integrating multiple reasoning types across multi-turn edits. These dimensions are further decomposed into 12 subcategories and 65 fine-grained task types. We expand input formats to include multi-image conditioning and scale the benchmark to 1000 human-annotated test cases, released in English and Chinese. We also improve our evaluation framework, assessing Instruction Reasoning, Appearance Consistency, and Visual Plausibility with human judges and an LMM-as-a-judge approach for more reliable and calibrated judgements. Beyond benchmarking, we introduce RISE-Agent, a training-free agentic framework integrating reasoning-driven planning, tool-augmented execution, and verifier-guided refinement, outperforming most strong existing approaches across diverse RISE tasks. We evaluate 58 visual editing approaches, including 34 open-source models, 19 closed-source models, and 5 agentic methods. The results reveal substantial challenges in reasoning-based visual editing, with even the strongest evaluated approach, GPT-Image-2.5 Sunburst, achieving only 56.6% accuracy. RISEBench++ highlights the limitations of contemporary editing models, provides insights, and indicates future directions for reasoning-aware visual editing.

中文摘要

摘要：大型多模态模型（LMMs）在视觉理解和生成方面取得了显著进展，但在视觉编辑中仍面临挑战，特别是在遵循复杂指令、保持外观一致性以及支持灵活输入格式方面。为研究这一差距，我们引入了RISEBench，这是首个用于评估推理驱动视觉编辑（RISE）的基准，并将其扩展为更全面、更细粒度的RISEBench++基准。RISEBench++将分类法扩展为涵盖六个推理维度的分层方案：时间推理、因果推理、空间推理、逻辑推理和反事实推理，以及在多轮编辑中整合多种推理类型的混合推理。这些维度进一步分解为12个子类别和65种细粒度任务类型。我们扩展了输入格式，包含多图像条件，并将基准扩展到1000个人工标注的测试案例，同时提供英文和中文版本。我们还改进了评估框架，通过人类评判和以LMM作为评判者的方法评估指令推理、外观一致性和视觉合理性，以提供更可靠、更校准的评价。除了基准测试，我们引入了RISE-Agent，一个免训练的智能框架，整合了推理驱动的规划、工具增强执行和验证器引导的优化，超越了大多数现有强方法在各种RISE任务中的表现。我们评估了58种视觉编辑方法，包括34个开源模型、19个闭源模型和5个智能方法。结果显示基于推理的视觉编辑仍面临重大挑战，即使是表现最好的方法GPT-Image-2.5 Sunburst也仅达到56.6%的准确率。RISEBench++突显了当代编辑模型的局限性，提供了洞见，并指明了面向推理的视觉编辑的未来方向。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12343 (HTTP 429)

Authors: Xue Yang,Peiyuan Zhang,Yilun Zhu,Qihao Yang,Mingxin Liu,Xiangyu Zhao,Ziqian Fan,Zhaokai Wang,Yan Li,Yifan Yang,Xu Yang,Xiaosong Jia,Yue Zhou,Zhihang Zhong,Junchi Yan

Categories:

PDF URL: https://arxiv.org/pdf/2610.12343.pdf

Arxiv URL: https://arxiv.org/abs/2610.12343

Arxiv ID: 2610.12343

CoolPaper URL: https://papers.cool/arxiv/2610.12343

Published: 2026-10-09T03:04:45.950Z

Updated: 2026-10-09T03:04:45.950Z

11. From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation

Abstract:Realistic environment replicas are increasingly valuable for training and evaluating LLM agents, yet the original systems may be inaccessible or impractical to reproduce. We explore agentic language world modeling: rather than rebuilding an executable environment, a world model agent serves as the environment for a task agent and supports faithful and stateful simulation. We instantiate this paradigm with Trace2Env, a learning-free framework for settings where the original system is unavailable but historical interaction traces remain accessible. Trace2Env reconstructs these traces into a reusable environment worldbook containing environment schemas, grounded evidence, and induced behavioral knowledge. At runtime, the world model agent actively consults the worldbook together with persistent episodic state to infer each action’s observation and lasting state effects. Across nine environments, Trace2Env improves both next-observation fidelity and long-horizon interaction consistency over conventional prompt-based LWMs. In multi-turn interaction, task agent actions generated against Trace2Env remain valid more often when replayed in the real environment, indicating that its simulated dynamics better preserve the consequences of earlier actions across successive turns. These results establish agentic language world modeling as an alternative direction for building realistic environment replicas without reconstructing the original executable system.

中文摘要

摘要：现实环境的复制在训练和评估大型语言模型（LLM）代理方面越来越有价值，但原始系统可能无法访问或难以重现。我们探索了代理语言世界建模：与其重建可执行环境，不如让世界模型代理作为任务代理的环境，并支持真实且有状态的模拟。我们通过 Trace2Env 实例化这一范式，这是一个无需学习的框架，适用于原始系统不可用但历史交互记录仍可访问的场景。Trace2Env 将这些记录重建为一个可重用的环境世界手册，其中包含环境模式、基于证据的依据以及抽取的行为知识。在运行时，世界模型代理主动参考世界手册与持久的情节状态，以推断每个动作的观察结果及其持久的状态影响。在九个环境中，Trace2Env 在下一步观察的准确性和长期交互一致性上均优于传统的基于提示的语言世界模型。在多轮交互中，任务代理针对 Trace2Env 生成的动作在实际环境中重放时更常有效，这表明其模拟动态能更好地保留早期动作在连续回合中的结果。这些结果确立了代理语言世界建模作为构建现实环境复制的一种替代方向，而无需重建原始可执行系统。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.06100 (HTTP 429)

Authors: Quanyu Long,Xiao Chen,Jianda Chen,Haozhen Zhang,Qisheng Hu,Jianzhu Bao,Wenya Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.06100.pdf

Arxiv URL: https://arxiv.org/abs/2610.06100

Arxiv ID: 2610.06100

CoolPaper URL: https://papers.cool/arxiv/2610.06100

Published: 2026-10-09T03:04:50.457Z

Updated: 2026-10-09T03:04:50.457Z

12. SanSi: A Looped Typed Decision Model for System 1.5 Thinking

Abstract:Typed decision models answer a declared question without generating text: a decision head returns a probability for each of the declared options in a single forward pass. A single pass is fast, intuitive System 1 thinking. We study what lies between one pass and generated reasoning: looping, in which the same layers are recursively applied several times before one typed readout. Each loop lets the model revise its hidden state before it commits to an answer, without generating a token; we call this System 1.5 thinking. We propose SanSi, which turns a pre-trained looped language model into a typed decision model. The option probabilities are read after every loop, and every loop is trained with a proper scoring rule, so that one model serves every budget from one loop to eight in a single run. On 10,027 test decisions from 59 sources, SanSi reaches 72.0% accuracy: 13.5 points above a non-looped model of the same shape trained with the same recipe, 5.3 points above a newer non-looped model of its size, and 1.8 points below one with three times the parameters. On two depth-controlled tasks, loops extend the solvable depth beyond the depths seen in training, where the larger single-pass model fails. Used as the judge for policy optimization with reinforcement learning, without gold answers, SanSi raises the generator’s F1 by 7.7 points.

中文摘要

摘要：类型化决策模型在不生成文本的情况下回答已声明的问题：一个决策头在一次前向传递中为每个已声明的选项返回概率。单次传递速度快，直观，类似系统1思维。我们研究单次传递与生成推理之间的过程：循环，即在进行一次类型化读出之前递归多次应用相同的层。每次循环允许模型在确定答案之前修正其隐藏状态，而无需生成令牌；我们称之为系统1.5思维。我们提出SanSi，将预训练的循环语言模型转化为类型化决策模型。每次循环后读取选项概率，每次循环都使用适当的评分规则进行训练，因此一个模型即可在单次到八次循环的不同预算下使用。在来自59个来源的10,027个测试决策中，SanSi达到了72.0%的准确率：比使用相同训练方法训练的不循环模型高出13.5个百分点，比相同规模的新不循环模型高出5.3个百分点，比参数量是其三倍的模型低1.8个百分点。在两个深度控制任务中，循环可将可解决深度扩展到训练中未见的深度，而较大的单传递模型则失败。作为强化学习中政策优化的评判者（无需金标准答案）时，SanSi使生成器的F1提高了7.7个百分点。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07730 (HTTP 429)

Authors: Shuyu Gan,Young-Jun Lee,Dongyeop Kang

Categories:

PDF URL: https://arxiv.org/pdf/2610.07730.pdf

Arxiv URL: https://arxiv.org/abs/2610.07730

Arxiv ID: 2610.07730

CoolPaper URL: https://papers.cool/arxiv/2610.07730

Published: 2026-10-09T03:04:54.291Z

Updated: 2026-10-09T03:04:54.291Z

13. USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation

Abstract:Geometrically faithful and functional articulated 3D assets are essential for real-to-sim robot manipulation, where policies trained in simulation must transfer to physical objects. Recent mesh-based methods learn to infer articulation from annotated 3D assets, but deployment remains challenging when real-world objects fall outside the training distribution or their meshes are incomplete or corrupted. To address these limitations, we formulate articulated asset reconstruction as programmatic modeling grounded in partial geometric evidence and introduce USDCraft, a framework in which a pretrained LLM writes and revises executable programs for simulation-ready articulated assets without task-specific training. We propose source geometry analysis, which converts the source mesh into a metric textual description that distinguishes observed surface from unknown space, and iterative geometric rechecking, which re-encodes each candidate in the same representation so that discrepancies point to program edits while unobserved regions remain open to completion. Visual feedback and physical authoring guidance complete the modeling process, which produces articulated USD assets with explicit physical properties that load into Isaac Sim without manual adjustment. Experiments demonstrate leading articulation recovery on two benchmarks and validate USDCraft’s effectiveness for real-to-sim-to-real robot manipulation.

中文摘要

摘要：在真实到仿真的机器人操作中，几何上忠实且功能齐全的关节3D资产至关重要，因为在仿真中训练的策略必须能够迁移到物理对象。近期基于网格的方法通过标注的3D资产学习推断关节，但当真实世界的对象超出训练分布或者它们的网格不完整或损坏时，部署依然具有挑战性。为了解决这些限制，我们将关节资产重建表述为基于部分几何证据的程序化建模，并引入USDCraft，这是一个框架，其中预训练的大型语言模型（LLM）编写和修改可执行程序，以生成可供仿真使用的关节资产，而无需任务特定训练。我们提出了源几何分析方法，将源网格转换为度量文本描述，以区分已观测的表面与未知空间；以及迭代几何重新检查，将每个候选对象重新编码为相同的表示，使差异指向程序修改，而未观测区域则保持可补全性。视觉反馈和物理创作指导完成了建模过程，生成带有显式物理属性的关节USD资产，可以直接加载到Isaac Sim中，无需手动调整。实验在两个基准上展示了领先的关节恢复效果，并验证了USDCraft在真实到仿真再到真实的机器人操作中的有效性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11322 (HTTP 429)

Authors: Chuanrui Zhang,Zaijia Yang,Duomin Wang,Lu Shi,Daquan Zhou,Ruihua Zhang,Ziwei Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.11322.pdf

Arxiv URL: https://arxiv.org/abs/2610.11322

Arxiv ID: 2610.11322

CoolPaper URL: https://papers.cool/arxiv/2610.11322

Published: 2026-10-09T03:04:56.403Z

Updated: 2026-10-09T03:04:56.403Z

14. Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

Abstract:In this paper, we argue that looped Transformers need their own residual connections to prevent performance degradation as the number of iterations grows. We observe that increasing loop iterations can reduce reasoning accuracy: noisy state updates overwrite correct intermediate deductions and even undo completed solutions. This leaves subsequent iterations to recover lost information from an already degraded representation: once an error arises in an earlier loop, often as a result of long-range propagation through the recurrence, later loops find it difficult to correct. In this paper, we introduce InfiLoop, a loop-native residual connection that learns which past computations to retain and how much to accept from each new update. InfiLoop combines content-based weighting with learned temporal decay to maintain a running summary of recurrent states. An exact streaming recurrence keeps its persistent aggregation memory constant as the loop count grows. The resulting adaptive update suppresses unreliable proposals and preserves useful intermediate states. Across extensive reasoning tasks, a 7M-parameter InfiLoop model outperforms existing recursive architectures, reaching 97.9% exact accuracy on Sudoku-Extreme, and 13.6% pass@2 on ARC-AGI-2. Notably, on Sudoku-Extreme, InfiLoop continues to improve with test-time looping beyond 20,000 effective steps, showing that added depth translates directly into stronger reasoning. Our code is available at this https URL.

中文摘要

摘要：在本文中，我们认为循环Transformer需要其自身的残差连接，以防止随着迭代次数增加而导致的性能下降。我们观察到，增加循环迭代次数可能会降低推理准确性：噪声状态更新会覆盖正确的中间推导，甚至撤销已完成的解决方案。这使得后续迭代必须从已经退化的表示中恢复丢失的信息：一旦早期循环中出现错误，通常是由于通过循环长程传播造成的，后续循环就很难纠正。本文中，我们引入了InfiLoop，一种循环原生残差连接，它学习保留哪些过去的计算以及从每个新更新中接受多少信息。InfiLoop将基于内容的加权与学习的时间衰减相结合，以维护循环状态的运行摘要。精确的流式循环保证其持久的聚合记忆在循环次数增加时保持不变。由此产生的自适应更新抑制不可靠的提议，并保留有用的中间状态。在广泛的推理任务中，一个具有700万参数的InfiLoop模型优于现有的递归架构，在Sudoku-Extreme上达到97.9%的精确准确率，在ARC-AGI-2上实现13.6%的pass@2。值得注意的是，在Sudoku-Extreme上，InfiLoop在测试时循环超过20,000有效步骤仍继续提高性能，显示出增加深度直接转化为更强的推理能力。我们的代码可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11570 (HTTP 429)

Authors: Pengxiang Li,Dilxat Muhtar,Di He,Guinan Su,Lu Yin,Shiwei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.11570.pdf

Arxiv URL: https://arxiv.org/abs/2610.11570

Arxiv ID: 2610.11570

CoolPaper URL: https://papers.cool/arxiv/2610.11570

Published: 2026-10-09T03:04:56.541Z

Updated: 2026-10-09T03:04:56.541Z

15. Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks

Abstract:We investigate a general-purpose layer for deep learning that, instead of compressing arbitrary-size training data into fixed-size weight matrices, stores a new pair of key-value representations for every data point during training, and retrieves and recombines these representations through an attention mechanism at inference time - resulting in a growing neural net (NN). While Irie et al. (arXiv:2202.05798) have put forward this perspective from the classic duality expressing any linear layer in a deep NN trained by gradient descent as linear attention (LA) over the training data points, replacing LA by more powerful attention functions, as they suggest, turns out to be non-trivial: we show that naively applying learning rules from the LA case to advanced kernels does not lead to principled optimization. Here we fill this gap and develop functional gradient-based learning rules for kernelized attention layers, based on radial basis function (RBF) and softmax-like kernels - establishing the principled “retrieval-centric deep learning” (RCDL) paradigm. Empirically, we demonstrate the promising performance and learning-efficiency of RCDL on image classification and synthetic teacher-student learning tasks. Moreover, we show that replacing LA in the dual form of NNs by advanced LA variants, namely MesaNet/DeltaNet, yields a formal connection to recently proposed optimizers for conventional fixed-size NNs, offering a novel perspective on deep learning optimization.

中文摘要

摘要：我们研究了一种通用的深度学习层，这种层不是将任意大小的训练数据压缩成固定大小的权重矩阵，而是在训练过程中为每个数据点存储一对新的键值表示，并在推理时通过注意力机制检索和重组这些表示——从而得到一个不断增长的神经网络（NN）。虽然 Irie 等人（arXiv:2202.05798）从经典对偶理论提出了这种视角，即任何由梯度下降训练的深度神经网络中的线性层都可以表示为对训练数据点的线性注意力（LA），但正如他们建议的那样，用更强大的注意力函数替换 LA 似乎并非易事：我们证明了，将 LA 情况下的学习规则简单地应用于高级核函数并不能得到原理性的优化。在这里，我们填补了这一空白，并开发了基于功能梯度的核化注意力层学习规则，这些规则基于径向基函数（RBF）和类似 softmax 的核函数——建立了具有原理性的“以检索为中心的深度学习”（RCDL）范式。在实验上，我们展示了 RCDL 在图像分类和合成教师-学生学习任务中的出色性能和学习效率。此外，我们还展示了在神经网络的对偶形式中，用高级 LA 变体（即 MesaNet/DeltaNet）替换 LA，会产生与最近提出的常规固定大小神经网络优化器的形式连接，为深度学习优化提供了新的视角。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.03858 (HTTP 429)

Authors: Maximilian Schlegel,Rajai Nasser,Seijin Kobayashi,Yanick Schimpf,Oliver Sieberling,Robert Obryk,Kazuki Irie,João Sacramento,Johannes von Oswald

Categories:

PDF URL: https://arxiv.org/pdf/2610.03858.pdf

Arxiv URL: https://arxiv.org/abs/2610.03858

Arxiv ID: 2610.03858

CoolPaper URL: https://papers.cool/arxiv/2610.03858

Published: 2026-10-09T03:04:56.835Z

Updated: 2026-10-09T03:04:56.835Z

16. V-CoLA: Vision Token Compression with Linear Attention

Abstract:Vision-language models (VLMs) have demonstrated impressive capabilities but suffer from substantial computational overhead, as vision tokens dominate the input sequence. This motivates vision token compression as a key direction to alleviate the burden. However, with the emergence of hybrid architectures incorporating linear attention (\eg, Qwen3.5), prior methods designed for softmax attention struggle to generalize. Our analysis reveals that both attention- and similarity-based approaches suffer notable performance degradation, underscoring the urgent need for compression methods tailored to this regime. To this end, we propose \textbf{V-CoLA}, an efficient training-free token compression framework specifically designed for linear attention. V-CoLA introduces a novel \textit{uniqueness-aware importance criterion} for identifying critical vision tokens, coupled with an \textit{adaptive token merging strategy} that performs compression. All components are optimized at the implementation level to remain compatible with the chunk-wise parallelism of linear attention, ensuring strong practical value. Extensive experiments across multiple benchmarks demonstrate the superiority of V-CoLA: it achieves 99.5\% of the original performance with only 50.0\% of vision tokens, and over 88.0\% with as few as 12.5\%, while delivering a 1.86$\times$ to 6.15$\times$ prefill speedup.

中文摘要

摘要：视觉-语言模型（VLM）展示了令人印象深刻的能力，但由于视觉标记在输入序列中占主导地位，其计算开销相当大。这促使视觉标记压缩成为减轻负担的关键方向。然而，随着结合线性注意力的混合架构（例如 Qwen3.5）的出现，以往为 softmax 注意力设计的方法难以推广。我们的分析表明，无论是基于注意力的方法还是基于相似性的方法都存在显著的性能下降，这凸显了针对该模式设计压缩方法的迫切需求。为此，我们提出了\textbf{V-CoLA}，一个专为线性注意力设计的高效、无需训练的标记压缩框架。V-CoLA 引入了一种新颖的\textit{基于唯一性的重要性标准}来识别关键视觉标记，并结合\textit{自适应标记合并策略}进行压缩。所有组件在实现层面进行了优化，以保持与线性注意力分块并行的兼容性，从而确保强大的实际价值。在多个基准测试中进行的大量实验表明了 V-CoLA 的优越性：它在仅使用 50.0% 的视觉标记的情况下就能达到原始性能的 99.5%，即使使用仅 12.5% 的标记也超过 88.0%，同时提供 1.86$ imes$ 至 6.15$ imes$ 的预填充加速。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11251 (HTTP 429)

Authors: Hao Jiang,Yiru Mao,Tianpeng Bu,Hao Zhou,Hongtao Duan,Wang Jing,Bowen Xu,Xin Chen,Lulu Hu,Bin Yang,Yongliang Tao,Minying Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.11251.pdf

Arxiv URL: https://arxiv.org/abs/2610.11251

Arxiv ID: 2610.11251

CoolPaper URL: https://papers.cool/arxiv/2610.11251

Published: 2026-10-09T03:04:59.671Z

Updated: 2026-10-09T03:04:59.671Z

HuggingFace Papers 2026-10-09

Latest Papers

1. SuperNav: An Agentic Navigation System for Any Task in Any Scene

2. AgentGarten: Code Worlds for Evolving Agents

3. TokenRouter: Efficient Serving System for Token-Level LLM Routing

4. What Did the Agent Actually Do? Evidence-Grounded Oversight for Long-Horizon Agents

5. VibeEdit: Image Editing with Canvas Instructions

6. In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks

7. From Prompting to Composing: A Spatial Canvas Interface for Poster Generation

8. Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers

9. SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

10. Reasoning-Informed Visual Editing

11. From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation

12. SanSi: A Looped Typed Decision Model for System 1.5 Thinking

13. USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation

14. Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

15. Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks

16. V-CoLA: Vision Token Compression with Linear Attention