HuggingFace Papers 2026-10-05

数据来源：HuggingFace Papers

Latest Papers

1. World Embedding Benchmark

Abstract:Physical fidelity has received increasing attention in world models and video generation, yet how video representations encode physical information remains less understood. We introduce the World Embedding Benchmark, comprising 8,000 controlled simulation cases from 80 families spanning fluid mechanics, solid mechanics, dynamics, and optics & electromagnetism. Each case pairs a rendered video with simulation-derived physical annotations, supporting three complementary tasks: text-video retrieval, physical-property regression, and multiple-choice video-description pair classification. We use these tasks to distinguish cross-modal physical alignment from the recoverability of quantitative physical information. Evaluated pre-trained omnimodal embedding models show weak retrieval and near-chance within-family pair classification, while lightweight probes recover useful physical information from frozen video embeddings. Continual contrastive training with physics-specific video-text pairs improves retrieval and pair classification but degrades physical-property regression, revealing a trade-off between alignment and quantitative information recoverability. Finally, we use the embeddings to retrieve reference videos for retrieval-augmented generation with MiniMax-H3. Retrieved references improve the physical fidelity of generated videos, with stronger retrieval models yielding larger gains in our experiments. Together, these findings highlight the need to evaluate physical alignment and property recoverability jointly, and demonstrate the utility of physical representations for improving video generation.

中文摘要

摘要：物理保真性在世界模型和视频生成中受到越来越多的关注，但视频表示如何编码物理信息仍然不太清楚。我们引入了世界嵌入基准（World Embedding Benchmark），包括来自80个类别的8,000个受控模拟案例，涵盖流体力学、固体力学、动力学以及光学与电磁学。每个案例都将渲染的视频与模拟衍生的物理注释配对，支持三种互补任务：文本-视频检索、物理属性回归和多项选择视频描述对分类。我们利用这些任务区分跨模态物理对齐与定量物理信息可恢复性。评估的预训练全模态嵌入模型显示检索能力较弱且同类内部配对分类接近随机水平，而轻量级探针能够从冻结的视频嵌入中恢复有用的物理信息。通过物理特定的视频-文本对进行连续对比训练能够提升检索和配对分类，但会降低物理属性回归性能，揭示了对齐与定量信息可恢复性之间的权衡。最后，我们使用这些嵌入检索参考视频，以便在MiniMax-H3中进行检索增强生成。检索到的参考视频提高了生成视频的物理保真度，在我们的实验中，检索模型越强，获得的提升越大。总体而言，这些发现强调了需要共同评估物理对齐性和属性可恢复性，并展示了物理表示在改进视频生成中的实用性。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*视频表示（video embeddings）中物理信息的编码与评估\*\*问题，具体可归纳为以下几个层面： ### 1. 核心问题：物理信息在视频嵌入中的“可编码性”与“可对齐性”之间的区分现有研究关注视频生成的视觉真实感，但缺乏对视频表示本身如何保留物理信息的系统理解。论文指出，一种表示可能识别出场景属于“流体流动”或“弹性形变”，却无法区分\*\*粘度\*\*或\*\*刚度\*\*等具体参数的变化。因此，需要区分两种能力： - \*\*跨模态物理对齐（cross-modal physical alignment）\*\*：视频嵌入能否与描述物理属性的自然语言相匹配 - \*\*定量物理信息可恢复性（quantitative recoverability）\*\*：具体的物理量（如雷诺数、杨氏模量、重力加速度等）能否从冻结的视频嵌入中被轻量探针恢复 ### 2. 现有基准的空白现有物理模拟基准（如 PDEBench、The Well 等）主要提供数值场或物体级动力学数据，但缺乏\*\*配对的视频-语言观测\*\*与\*\*共享受控设置下的定量物理目标\*\*，难以直接评估多模态嵌入模型。 ### 3. 研究问题（Research Questions）基于上述动机，论文围绕三个研究问题展开： - \*\*RQ1\*\*：当前预训练的全模态嵌入模型是否在视频表示中编码了物理信息？ - \*\*RQ2\*\*：通过物理感知的对比学习适应，能否改善物理对齐，又是否会牺牲定量信息的可恢复性？ - \*\*RQ3\*\*：物理表示能否通过检索增强生成（RAG）提升视频生成的物理保真度？ ### 4. 解决方案概述为回答上述问题，论文构建了 \*\*World Embedding Benchmark\*\*，包含 8,000 个受控模拟案例（覆盖流体力学、固体力学、动力学、光学与电磁学），并设计了三个互补任务： - \*\*文本-视频检索\*\*（评估跨模态对齐） - \*\*物理属性回归\*\*（评估定量信息可恢复性） - \*\*视频-描述对分类\*\*（评估细粒度物理辨别能力）通过这些任务，论文揭示了当前嵌入模型在物理对齐上的显著不足，发现对比适应虽能改善对齐但会损害回归性能（存在\*\*对齐-可恢复性权衡\*\*），并验证了物理嵌入对视频生成的实际效用。 Q2: 有哪些相关研究？根据论文内容，相关研究主要分布在\*\*物理模拟基准\*\*、\*\*物理感知视频生成与世界建模\*\*，以及\*\*全模态表示学习\*\*三个领域，此外还包括论文实验所涉及的具体嵌入与生成模型。 --- ### 1. 物理模拟与科学机器学习基准这类工作为学习物理动力学提供了数值仿真资源，构成了本文基准的数据生成基础与方法论前提： - \*\*PDEBench\*\* (Takamoto et al., 2022)：涵盖广泛偏微分方程求解任务的科学机器学习基准。 - \*\*AirfRANS\*\* (Bonnet et al., 2022)：用于近似雷诺平均 Navier-Stokes 解的高保真计算流体力学数据集。 - \*\*CFDBench\*\* (Luo et al., 2024)：大规模流体力学机器学习方法基准。 - \*\*The Well\*\* (Ohana et al., 2024a;b)：大规模多样化物理仿真集合，用于机器学习。 - \*\*LagrangeBench\*\* (Toshev et al., 2023)：拉格朗日流体力学基准测试套件。 - \*\*IntPhys\*\* (Riochet et al., 2020)、\*\*CLEVRER\*\* (Yi et al., 2020)、\*\*Physion\*\* (Bear et al., 2021)：在模拟环境中评估视觉直观物理推理与事件预测。 - \*\*Compositional Physical Reasoning\*\* (Chen et al., 2025)：从视频中推理物体与事件的组合物理。 --- ### 2. 物理感知视频生成与世界建模这类研究关注生成视频的视觉真实感之外的物理合理性，以及世界模型能力： - \*\*VideoPhy\*\* (Bansal et al., 2025)：评估视频生成中的物理常识。 - \*\*PhyGenBench\*\* (Meng et al., 2025)：基于物理常识的视频生成评测基准（本文视频生成实验的测试平台）。 - \*\*VBench-2.0\*\* (Zheng et al., 2025)：针对视频生成内在保真度的评测套件。 - \*\*WorldScore\*\* (Duan et al., 2025)：统一的世界生成评测基准。 - \*\*WorldModelBench\*\* (Li et al., 2026a)：将视频生成模型作为世界模型进行评测。 - \*\*WISA\*\* (Wang et al., 2025)：面向物理感知文本到视频生成的世界模拟器助手。 - \*\*PhyT2V\*\* (Xue et al., 2025)：基于大语言模型引导的物理 grounded 文本到视频生成。 - \*\*PhysRAG\*\* (Cheng et al., 2026)：通过检索增强生成提升视频生成中的物理感知（本文 RAG 实验的相关工作）。 - \*\*RAGME\*\* (Peruzzo et al., 2025)：检索增强视频生成以增强运动真实感。 --- ### 3. 全模态表示学习与嵌入模型这类研究关注跨模态对齐与统一嵌入空间的学习，是本文评估与改进的核心对象： - \*\*CLIP\*\* (Radford et al., 2021)：基于自然语言监督的可迁移视觉模型，开创图像-文本对齐表示学习。 - \*\*ImageBind\*\* (Girdhar et al., 2023)：将多种模态绑定到统一嵌入空间。 - \*\*LanguageBind\*\* (Zhu et al., 2024)：通过基于语言的语义对齐将视频-语言预训练扩展到 N 模态。 - \*\*E5-V\*\* (Jiang et al., 2024)：利用多模态大语言模型构建通用嵌入。 - \*\*VLM2Vec / VLM2Vec-v2\*\* (Jiang et al., 2025; Meng et al., 2026)：将视觉-语言模型训练用于大规模多模态嵌入任务，支持视频、图像与视觉文档。 - \*\*LCO-Embedding\*\* (Xiao et al., 2026)：以语言为中心的轻量化全模态对比激活表示学习框架（本文适应训练的基础模型）。 - \*\*Qwen3-VL-Embedding\*\* (Li et al., 2026b)：统一的多模态检索与排序框架。 - \*\*Omni-Embed-Nemotron\*\* (Xu et al., 2025)：统一的多模态检索模型。 - \*\*WEMM-Embedding\*\* (Zhou et al., 2026)、\*\*Pixel Sentence Representation\*\* (Xiao et al., 2024a)、\*\*VLM2Vec-v2\*\* 等：扩展至多模态交错输入、音频及组合查询的嵌入模型。此外，大规模评测工作如 \*\*MVEB\*\* (Assadi et al., 2026b)、\*\*MMEB-v3\*\* (Huang et al., 2026)、\*\*ReasonAudio\*\* (Zhang et al., 2026) 等揭示了跨模态检索中的模态偏差与不对称性，为本文的物理专用评测提供了方法论背景。 --- ### 4. 实验涉及的具体模型论文在实验中直接评估或使用了以下代表性模型： - \*\*嵌入模型\*\*：Video-CLIP-XL (Wang et al., 2024)、Qwen3-VL-Embedding-2B/8B、Omni-Embed-Nemotron-3B、LCO-Embedding-Omni-3B/7B。 - \*\*自监督视频模型\*\*：V-JEPA2 (Assran et al., 2025)（仅用于物理属性回归）。 - \*\*多模态大语言模型（MLLM）\*\*：Qwen3.5-27B/35B-A3B、Qwen3.6-27B/35B-A3B (Qwen Team, 2026a;b;c)（用于直接提示的成对分类）。 - \*\*视频生成模型\*\*：MiniMax-H3 (MiniMax, 2026)（用于检索增强视频生成实验）。 Q3: 论文如何解决这个问题？论文通过\*\*构建专用基准\*\*、\*\*设计多维评估任务\*\*、\*\*系统诊断现有模型\*\*、\*\*物理感知对比适应\*\*，以及\*\*下游检索增强生成验证\*\*五个相互衔接的步骤来解决视频嵌入中物理信息的编码与评估问题。 --- ### 1. 构建受控物理仿真基准为弥补现有基准缺乏\*\*配对视频-语言观测\*\*与\*\*定量物理目标\*\*的空白，论文构建了 \*\*World Embedding Benchmark\*\*。该基准包含： - \*\*8,000 个受控模拟案例\*\*，来自 \*\*80 个物理家族\*\*； - 覆盖四大物理分支：流体力学、固体力学、动力学、光学与电磁学； - 每个家族包含 100 个案例，共享同一物理系统但具有不同的参数设置（如粘度、弹性模量、雷诺数、波长等）； - 每个案例提供渲染视频、生成参数及计算得到的物理量，确保评估超出粗粒度语义范畴。 --- ### 2. 设计三重互补评估任务为同时度量“信息是否编码”与“信息是否可与语言对齐”，论文设计了三个互补任务： - \*\*文本-视频检索（Text-Video Retrieval）\*\*：衡量自然语言物理描述与仿真视频之间的\*\*跨模态对齐\*\*能力。在每个物理分支内评估双向检索（text-to-video 与 video-to-text），以 Recall@K 为指标。 - \*\*物理属性回归（Physical-Property Regression）\*\*：衡量连续物理量是否可从\*\*冻结的视频嵌入\*\*中被恢复。对每个回归任务，在固定视频编码器上训练轻量级线性探针，预测如重力、雷诺数、杨氏模量等标量目标，以 nRMSE 与 Spearman 相关系数 rho 为指标。 - \*\*视频-描述对分类（Pair Classification）\*\*：衡量模型在候选集中辨别\*\*正确视频-文本对应\*\*的能力。设置“家族内负例”（测试对物理参数与数值的敏感度）与“跨家族负例”（测试对物理系统的区分度）两种二元分类场景。 --- ### 3. 系统诊断现有表示模型利用上述基准，论文对当前主流预训练全模态嵌入模型（如 Video-CLIP-XL、Qwen3-VL-Embedding、Omni-Embed-Nemotron、LCO-Embedding 等）进行了系统评估，发现： - 现有模型在物理感知的跨模态检索上表现接近随机基线； - 家族内成对分类准确率亦接近随机水平； - 然而，轻量线性探针却能从冻结的视频嵌入中恢复出有用的定量物理信息； - 直接提示的多模态大语言模型（MLLM）在成对分类上显著优于嵌入相似度匹配。这些发现揭示了问题的核心：\*\*物理信息确实存在于视频嵌入中，但未被有效组织以支持跨模态对齐\*\*。 --- ### 4. 物理感知对比适应训练为释放嵌入模型中潜藏的物理能力，论文采用基于 MLLM 的嵌入范式，对 LCO-Embedding 进行\*\*持续对比训练\*\*： - 使用与基准同分布但数值不重叠的物理仿真数据，构建 8,000 条物理视频-文本对； - 对每个锚点样本，从同家族中采样硬负例； - 设计了两种训练设置：\*\*纯物理数据训练\*\*（Physics-only）与\*\*混合通用数据训练\*\*（General + Physics）； - 通过对比学习重新校准嵌入空间，使其更适合物理描述的相似度匹配。结果表明，适应后的模型在检索与成对分类上显著提升，支持了“对比学习主要激活与校准已有能力，而非从头学习物理”的机制假设。 --- ### 5. 揭示对齐与可恢复性的权衡论文进一步发现，物理适应并非无代价： - 对比适应在改善检索和成对分类的同时，\*\*降低了物理属性回归性能\*\*； - 这说明将嵌入空间重新组织以服务于跨模态对齐，会损害定量物理信息的线性可及性； - 由此揭示了\*\*物理对齐与定量信息可恢复性之间的内在权衡\*\*，强调二者需联合评估。 --- ### 6. 下游应用：检索增强视频生成为验证物理表示的实际效用，论文将优化后的嵌入模型用作\*\*物理感知检索器\*\*，为 MiniMax-H3 视频生成模型提供检索增强生成（RAG）： - 利用全模态嵌入检索与生成提示物理相关的参考视频； - 实验显示，引入物理相关参考视频可提升生成内容的物理保真度； - 检索性能更强的嵌入模型带来了更大的生成质量增益，建立了“表示能力—生成质量”的直接联系。 --- 综上，论文的解决路径是从\*\*基准建设\*\*到\*\*任务设计\*\*，再到\*\*模型诊断\*\*、\*\*表示优化\*\*，最终落地于\*\*下游生成应用\*\*，形成了一套完整的物理视频表示评估与增强方案。 Q4: 论文做了哪些实验？论文围绕三个核心研究问题，设计并执行了四类主要实验，涵盖\*\*基准评测\*\*、\*\*表示适应\*\*、\*\*下游生成验证\*\*及\*\*补充分析\*\*。 --- ### 1. 主实验：预训练全模态模型的物理基准评测该实验系统评估了当前主流预训练模型在 World Embedding Benchmark 三个任务上的性能。 #### 1.1 评测模型论文评估了三大范式下的代表性模型： - \*\*嵌入模型（Embedding Models）\*\*：提供联合视频-文本嵌入空间，参与全部三项任务。 - Video-CLIP-XL - Qwen3-VL-Embedding (2B / 8B) - Omni-Embed-Nemotron-3B - LCO-Embedding-Omni (3B / 7B / 3B-2605) - \*\*JEPA 模型\*\*：仅提供视频表示，仅用于物理属性回归。 - V-JEPA2 (ViT-L / ViT-g) - \*\*多模态大语言模型（MLLMs）\*\*：通过直接提示参与成对分类，不提取嵌入。 - Qwen3.5 (27B / 35B-A3B) - Qwen3.6 (27B / 35B-A3B) #### 1.2 评测任务与设置 - \*\*文本-视频检索\*\*：在每个物理分支（流体、固体、动力学、光学与电磁）内执行全局双向检索，报告 Recall@10。 - \*\*物理属性回归\*\*：在 10 个家族上执行独立的线性探针回归（详见表 5），视频编码器冻结，报告归一化均方根误差（nRMSE）与 Spearman 秩相关系数 rho 。 - \*\*成对分类\*\*：对每个家族采样 10 个锚点，分别构造\*\*家族内负例\*\*（测试对参数与数值的敏感度）与\*\*跨家族负例\*\*（测试系统级辨别力），报告二分类准确率。 #### 1.3 关键结果 - 预训练嵌入模型的物理检索性能接近随机基线；家族内成对分类准确率同样接近随机水平（约 46%–53%）。 - 然而，线性探针从冻结的视频嵌入中恢复出了有用的定量物理信息（如 V-JEPA2 的 nRMSE 为 0.94–1.02）。 - 直接提示的 MLLMs 在成对分类上显著优于嵌入相似度匹配（跨家族 90%–92%，家族内约 59%–61%）。 --- ### 2. 物理感知对比适应实验为回答“对比适应能否改善物理对齐”，论文对 LCO-Embedding-Omni 进行了持续对比训练。 #### 2.1 训练设置 - \*\*训练数据\*\*：使用与基准同分布但数值不重叠的仿真数据，构造 8,000 条物理视频-文本对（80 个家族 × 100 实例）。对每个锚点从同家族采样 1 个硬负例。 - \*\*数据配比\*\*： - \*\*Physics-only\*\*：仅使用物理对，规模分别为 {2k, 4k, 8k}。 - \*\*General + Physics\*\*：将上述物理子集与 271k 通用视频-文本对混合，总规模约 {273k, 275k, 279k}。 - \*\*初始化\*\*：从 LCO-Embedding-Omni-3B 与 7B 检查点初始化（避免直接从生成模型初始化时的损失尖峰）。 - \*\*超参数\*\*：Physics-only 设置 batch size 为 64，训练 {16, 8, 4} epoch；General 设置 batch size 为 512，统一训练 2 epoch。 #### 2.2 检索性能分析 - \*\*训练动态\*\*（图 3）：物理检索的 Recall@10 随训练步数持续上升，在 1,000 步内未出现收敛迹象；混合通用数据反而延缓了物理检索的提升速度。 - \*\*骨干扩展性\*\*（图 4）：7B 骨干在相同对比训练后，检索性能系统性地优于 3B 骨干，验证了“生成-表示缩放律”在物理表示学习中的适用性。 #### 2.3 回归与分类性能分析 - \*\*回归性能下降\*\*（图 6）：经过物理对比适应的模型，在 10 个物理属性回归任务上的 nRMSE 多数劣于未适应的基线。这表明对比适应虽然改善了对齐，却\*\*损害了定量物理信息的线性可恢复性\*\*。 - \*\*成对分类提升\*\*（图 7）：家族内准确率从约 50% 提升至 53%–55%，跨家族准确率提升至接近 98%–100%。 --- ### 3. 检索增强视频生成实验为验证物理表示的下游效用，论文将嵌入模型作为物理感知检索器，用于增强 MiniMax-H3 的视频生成。 #### 3.1 实验设置 - \*\*生成模型\*\*：MiniMax-H3（ref2va 版本，具备外部上下文 grounding 能力）。 - \*\*检索器配置\*\*： - 无 RAG 基线（No RAG） - VideoCLIP-XL（弱物理检索器） - LCO-Embedding-Omni-3B（未适应） - LCO-Embedding-Omni-3B + Ft. (general + physics) - LCO-Embedding-Omni-3B + Ft. (physics-only) - \*\*测试基准\*\*：PhyGenBench，重点关注光学（Optics）与热力学（Thermal）两个分支。 - \*\*协议\*\*：对每个生成提示，检索 top-1 参考视频注入生成模型。 #### 3.2 关键结果（表 3） - 无 RAG 基线平均得分为 0.60。 - 使用 VideoCLIP-XL 检索时，性能轻微下降至 0.59（因检索质量差，引入次优参考）。 - 使用未适应的 LCO-Omni-3B 提升至 0.63。 - \*\*LCO-Omni-3B + Ft. (general + physics)\*\* 达到最佳平均 0.66； - \*\*LCO-Omni-3B + Ft. (physics-only)\*\* 达到 0.65。结果证明：\*\*更强的物理检索性能直接转化为更高的生成物理保真度\*\*。 --- ### 4. 补充分析实验论文在附录中提供了额外的消融与动态分析： - \*\*回归与成对分类的训练动态\*\*（附录 D，图 6 与图 7）：展示了不同检查点在 10 个回归任务上的 nRMSE 曲线，以及家族内/跨家族/三路分类准确率随训练步数的变化。 - \*\*7B 模型的检索训练动态\*\*（附录 E，图 8）：复现了 3B 模型的观察——7B 骨干在 physics-only 与 general 设置下的物理检索 Recall@10 同样持续上升，且 physics-only 收敛更快。 Q5: 有什么可以进一步探索的点？基于论文的发现与局限，以下几个方向值得进一步探索： ### 1. 调和跨模态对齐与定量可恢复性的权衡论文揭示了对比学习在提升物理检索与分类的同时，会\*\*损害\*\*线性探针对连续物理量的回归性能。未来的工作可探索： - \*\*多任务联合优化\*\*：在对比损失之外，显式引入物理属性的回归损失或排名损失，迫使嵌入空间同时保留判别性和定量可及性。 - \*\*解耦表示学习\*\*：将对齐所需的语义信息与回归所需的定量信息分离到嵌入空间的不同子空间或不同层级，避免单一相似度度量带来的信号淹没。 - \*\*非线性探针与结构化解码\*\*：若线性可恢复性下降源于信息的非线性编码，则可设计结构化解码器（如带有物理约束的 MLP 或图神经网络）来恢复物理量，而非仅依赖线性探针。 ### 2. 超越对比学习的物理表示目标论文指出对比学习可能主要起到“激活与校准”而非“增强”底层能力的作用。可探索替代性的预训练或适应目标： - \*\*预测性目标\*\*：借鉴 V-JEPA 的自监督视频预测框架，在嵌入层面显式编码物理演化的时序一致性，如要求模型预测未来帧的嵌入或物理参数变化。 - \*\*生成-表示联合优化\*\*：将扩散模型或流模型的中间表示作为物理嵌入，利用其对连续数据的精细建模能力来保留数值敏感信息。 - \*\*物理约束正则化\*\*：在训练损失中引入守恒律、对称性或控制方程的软约束（如 PDE residual），直接塑造嵌入的物理结构。 ### 3. 更复杂的物理推理任务当前基准聚焦检索、标量回归与二分类。可向更高阶的物理认知扩展： - \*\*物理参数联合反演\*\*：同时从视频中推断多个耦合参数（如同时估计粘度与密度），测试嵌入对\*\*病态反问题\*\*的支撑能力。 - \*\*因果与反事实推理\*\*：评估嵌入是否支持“若改变某参数，系统将如何演化”的推理，例如通过嵌入空间中的向量算术实现物理干预模拟。 - \*\*过程分类与阶段分割\*\*：不仅识别整体物理系统，还需对视频中的\*\*瞬态阶段\*\*（如层流到湍流的转捩、弹性到塑性的屈服）进行时间定位与分类。 ### 4. 从仿真到真实世界的泛化（Sim-to-Real Transfer）论文的 8,000 个案例均来自受控数值仿真。下一步可研究： - \*\*域自适应\*\*：如何将仅在仿真视频上训练或校准的物理嵌入，迁移到真实世界拍摄的物理现象（如实验室流场、材料测试录像）而不退化。 - \*\*物理先验的注入\*\*：利用仿真基准中显式的控制方程和边界条件，构建\*\*物理信息神经网络（PINN）\*\*风格的嵌入，增强对真实噪声和未观测变量的鲁棒性。 - \*\*混合数据训练\*\*：将仿真视频与真实视频联合训练，探索仿真数据的比例与真实数据稀疏性之间的最佳平衡。 ### 5. 深度融合物理表示与视频生成论文初步验证了检索增强生成（RAG）的效用，但物理嵌入与生成模型的结合可进一步深化： - \*\*多参考视频的条件生成\*\*：当前仅使用 top-1 检索视频，未来可探索基于\*\*多视频嵌入聚合\*\*（如加权平均、注意力融合）为生成模型提供更丰富的物理上下文。 - \*\*嵌入作为直接条件\*\*：不经过检索，而是将物理嵌入直接注入视频扩散模型的交叉注意力层或作为时间步条件，实现端到端的物理 grounded 生成。 - \*\*迭代物理修正\*\*：利用嵌入空间中的物理距离度量，在生成过程中进行\*\*物理一致性反馈循环\*\*——若生成视频的嵌入与目标物理描述的嵌入不匹配，则通过梯度更新修正潜在表示。 ### 6. 细粒度与层次化的跨模态对齐机制论文发现 MLLM 的直接提示性能远优于嵌入相似度，说明语言模型内部蕴含了丰富的物理知识。可探索： - \*\*知识蒸馏\*\*：将 MLLM 在物理问题上的推理轨迹或注意力模式蒸馏到专门的嵌入模型中，弥合生成能力与表示能力之间的鸿沟。 - \*\*细粒度 token 级对齐\*\*：当前的全局嵌入匹配可能过于粗糙，可尝试视频 patch token 与文本 token 之间的\*\*细粒度对比对齐\*\*，保留局部物理细节的对应关系。 - \*\*物理描述的组合性\*\*：探索嵌入是否支持组合泛化，例如对训练时未见过的参数组合（如“高雷诺数且低普朗特数”），嵌入空间能否通过组合已有概念实现正确检索。 ### 7. 动态与矢量物理量的嵌入编码目前的回归任务主要针对标量属性（如 Re , E , g ）。物理系统往往涉及矢量场和张量场： - \*\*场量嵌入\*\*：评估视频嵌入对速度场 u(x,y,t) 、应力张量 σ 、或电磁场 E, H 的编码能力。 - \*\*时空解算器接口\*\*：将嵌入与神经算子（Neural Operator）结合，测试视频嵌入是否能作为初始条件或边界条件的紧凑表示，直接驱动下游的物理场预测。 Q6: 总结一下论文的主要内容这篇论文围绕\*\*视频表示中的物理信息编码与评估\*\*展开，系统探究了预训练多模态嵌入模型对物理世界的理解程度，并构建了专用基准进行量化分析。主要内容可概括如下： --- ### 1. 研究背景与核心问题物理保真度对世界模型与视频生成至关重要，但视频嵌入空间在多大程度上保留了物理信息、又如何与语言描述对齐，此前缺乏系统研究。该工作指出，必须区分两种独立能力： - \*\*物理信息的可编码性\*\*：连续的物理量（如雷诺数 Re 、杨氏模量 E 、重力加速度 g ）是否保留在视频嵌入中； - \*\*物理信息的跨模态对齐\*\*：这些信号能否通过嵌入相似度与自然语言描述匹配。 --- ### 2. World Embedding Benchmark 论文提出了 \*\*World Embedding Benchmark\*\*，包含： - \*\*8,000 个受控仿真案例\*\*，来自 \*\*80 个物理家族\*\*； - 覆盖四大分支：\*\*流体力学\*\*、\*\*固体力学\*\*、\*\*动力学\*\*、\*\*光学与电磁学\*\*； - 每个家族 100 个实例，共享同一物理系统但参数不同； - 每个案例提供渲染视频、生成参数及计算得到的物理量。该基准支持三个互补任务： | 任务 | 目的 | 核心指标 | |:---|:---|:---| | \*\*文本-视频检索\*\* | 评估语言与视频的跨模态物理对齐 | Recall@K | | \*\*物理属性回归\*\* | 评估冻结视频嵌入中定量信息的可恢复性 | nRMSE, Spearman rho | | \*\*视频-描述对分类\*\* | 评估对物理参数与物理系统的细粒度辨别力 | 准确率 | --- ### 3. 核心研究发现针对三个研究问题，论文得出以下关键结论： #### RQ1：预训练模型是否编码了物理信息？ - 现有全模态嵌入模型（如 Video-CLIP-XL、Qwen3-VL-Embedding、LCO-Embedding）在物理检索与家族内成对分类上表现\*\*接近随机水平\*\*，说明\*\*跨模态物理对齐极弱\*\*。 - 然而，轻量级线性探针却能从冻结的视频嵌入中恢复出有用的连续物理量（如 V-JEPA2 的 nRMSE 低至 0.94）。 - 直接提示的多模态大语言模型（MLLM）在成对分类上显著优于嵌入相似度匹配（跨家族准确率达 90% 以上）。 - \*\*结论\*\*：物理信号确实存在于视频嵌入中，但当前的嵌入空间并未将其有效组织以支持跨模态匹配。 #### RQ2：物理感知的对比适应能否改善对齐？ - 论文对 LCO-Embedding-Omni（3B 与 7B）进行持续的物理感知对比训练，使用同分布仿真数据构造视频-文本对。 - 适应后的模型在物理检索与成对分类上\*\*显著提升\*\*（如固体分支 Recall@10 从约 1.5% 提升至 9.4%）。 - 但\*\*物理属性回归性能出现系统性下降\*\*，揭示出\*\*对齐与定量信息可恢复性之间的权衡（trade-off）\*\*。 - 此外，7B 骨干在对比训练后系统性地优于 3B，验证了“生成-表示缩放律”在物理表示中的适用性。 - \*\*结论\*\*：对比学习主要起到\*\*激活与校准\*\*已有物理信号的作用，而非显著增强底层物理能力；优化对齐可能以牺牲线性可及的数量信息为代价。 #### RQ3：物理表示能否提升视频生成？ - 论文将优化后的嵌入模型作为\*\*物理感知检索器\*\*，为 MiniMax-H3 视频生成模型提供检索增强生成（RAG）。 - 在 PhyGenBench 上的实验表明，引入物理相关的参考视频可提升生成内容的物理保真度。 - 具体而言，无 RAG 基线平均分为 0.60；使用未适应嵌入提升至 0.63；使用 \*\*general + physics 适应模型\*\*达到最佳 \*\*0.66\*\*。 - \*\*结论\*\*：更强的物理检索模型能够直接转化为更高保真度的物理视频生成，证明了物理嵌入的下游实用价值。 --- ### 4. 主要贡献 - \*\*基准层面\*\*：提出了 World Embedding Benchmark，为评估视频嵌入中的物理信息提供了受控、可量化的测试平台。 - \*\*认知层面\*\*：揭示了当前多模态模型中物理信息编码与跨模态对齐之间的显著鸿沟，以及对比适应在对齐与定量可恢复性之间引入的权衡。 - \*\*应用层面\*\*：验证了物理嵌入在检索增强视频生成中的有效性，建立了更强的物理表示与更高生成质量之间的正向关联。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是World%20Embedding%20Benchmark，链接是https://arxiv.org/pdf/2610.03632，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.03632。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yiqi Liu,Ruifeng Yuan,Yang Wang,Long Li,Fengyu Cai,Hou Pong Chan,Jialin Yu,Hao Zhang,Chenghua Lin,Chenghao Xiao

Categories:

PDF URL: https://arxiv.org/pdf/2610.03632.pdf

Arxiv URL: https://arxiv.org/abs/2610.03632

Arxiv ID: 2610.03632

CoolPaper URL: https://papers.cool/arxiv/2610.03632

Published: 2026-10-05T02:23:36.284Z

Updated: 2026-10-05T02:23:36.284Z

2. Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

Abstract:Successful trajectories on difficult tasks provide valuable supervision for model improvement, but specialized harnesses introduce interventions that may be unavailable during deployment. We propose Recursive Self-Rewrite (RSR), a framework that uses one base model, Qwen-3.8-27B, to discover successful solutions under diverse harnesses and reconstruct them as training trajectories under a general harness. A planner extracts procedures into runbooks, a critic screens for verifier and solution leakage and guides recursive revision, and an executor follows qualified runbooks in fresh sandboxes. Across approximately 3K self-curated terminal tasks, three harnesses jointly solve 759 tasks, 34.3% more than the strongest individual harness in the recorded pool. RSR expands 2,001 successful source trajectories into 11,094 rewritten trajectories for supervised finetuning. Training on these trajectories outperforms both the base model and direct trajectory SFT. Compared with the base model, pass@3 increases from 57.0% to 74.2% on Terminal-Bench 2, from 1.5% to 9.1% on Terminal-Bench 4, from 39.0% to 63.0% on our self-curated Terminal-Bench Hard, and from 3.0% to 6.0% on our Software Terminal-Bench. Process reward on Long-Horizon Terminal-Bench rises from 0.21 to 0.29. These results show how diverse harness-assisted experiences can be reconstructed into reusable capabilities for a model operating under a general harness.

中文摘要

摘要：在困难任务上的成功轨迹为模型改进提供了宝贵的监督，但专门的辅助工具会引入在部署过程中可能无法获得的干预。我们提出了递归自我重写（RSR）框架，该框架使用一个基础模型 Qwen-3.8-27B，在多样的辅助条件下发现成功的解决方案，并将其重构为在通用辅助条件下的训练轨迹。规划器将步骤提取为操作手册，评审器筛选验证器和解决方案泄露，并指导递归修改，执行器则在全新的沙箱中执行合格的操作手册。在大约 3,000 个自我策划的终端任务中，三种辅助条件联合解决了 759 个任务，比记录池中最强的单一辅助条件多 34.3%。RSR 将 2,001 条成功的源轨迹扩展为 11,094 条重写轨迹用于监督微调。在这些轨迹上训练结果优于基础模型和直接轨迹 SFT。与基础模型相比，在 Terminal-Bench 2 上，pass@3 从 57.0% 提升至 74.2%；在 Terminal-Bench 4 上从 1.5% 提升至 9.1%；在我们自我策划的 Terminal-Bench Hard 上从 39.0% 提升至 63.0%；在我们的软件终端测试基准上从 3.0% 提升至 6.0%。在长周期任务终端测试基准上的过程奖励从 0.21 提升至 0.29。这些结果展示了多样的辅助条件经验如何被重构为可复用的能力，使模型能够在通用辅助条件下运行。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02826

Authors: Zongxia Li,Yucheng Shi,Zhongzhi Li,Junyao Yang,Ruhan Wang,Chengsong Huang,Fuxiao Liu,Haitao Mi,Jordan Boyd-Graber,LeoweiLiang

Categories:

PDF URL: https://arxiv.org/pdf/2610.02826.pdf

Arxiv URL: https://arxiv.org/abs/2610.02826

Arxiv ID: 2610.02826

CoolPaper URL: https://papers.cool/arxiv/2610.02826

Published: 2026-10-05T02:23:36.308Z

Updated: 2026-10-05T02:23:36.308Z

3. GTR: Gated Token Recurrence for Efficient Dense Prediction

Abstract:Self-attention-based vision backbones perform well on dense prediction, but the quadratic computational cost of global softmax attention limits their efficiency as image resolution increases. We introduce Gated Token Recurrence (GTR), a softmax-free recurrent vision backbone that combines gated linear attention, alternating spatial scan directions, and spatially enhanced SwiGLU blocks. GTR is distilled from a detection-specialized DINOv3 teacher using only final-layer patch-token alignment through a linear projection and squared $\ell_2$ loss, without masked-token prediction or intermediate-layer supervision. With Objects365 detector pre-training, GTR-L achieves 58.9 box AP on COCO \texttt{val2017} with 1.908\,ms median batch-one latency under compiled FP16 execution on an RTX~4090. The same backbone also transfers to instance segmentation, pose estimation, oriented detection, semantic segmentation, and monocular depth estimation. In an isolated kernel benchmark, our specialized chunkwise CUDA operator is $4.0\times$ faster than FLA v0.5.0 at 1.6K tokens on RTX~4090. TensorRT deployment on DRIVE AGX Thor achieves 2.282—8.769\,ms median batch-one latency across the evaluated models. These results show that recurrent token mixing can provide an efficient alternative to global softmax attention for high-resolution dense prediction and edge deployment. Project page: this https URL

中文摘要

摘要：基于自我注意力的视觉骨干在密集预测方面表现良好，但全局软极大注意力的二次计算成本随着图像分辨率提升限制了其效率。我们介绍了门控令牌递归（GTR），这是一种无软极大限制的循环视觉骨干，结合了门控线性注意力、交替空间扫描方向和空间增强的SwiGLU块。GTR源自一位专门检测的DINOv3教师，仅通过线性投影实现最后层补丁-令牌对齐，平方$\ell_2$损失，无需掩蔽令牌预测或中间层监督。通过Objects365检测器预训练，GTR-L在COCO \texttt{val2017}上实现58.9个盒接点，在RTX~4090编译FP16执行下，中位批次延迟为1.908毫秒。同一骨干还可用于实例分割、姿态估计、定向检测、语义分割和单眼深度估计。在一个孤立的核基准测试中，我们专门的分块CUDA操作子在RTX~4090上以1.6K令牌比FLA v0.5.0快4.0+倍倍。DRIVE AGX上的TensorRT部署Thor在评估模型中实现了2.282-8.769毫秒的批次-1中位延迟。这些结果表明，循环令牌混合可以为高分辨率密集预测和边缘部署提供全球软极大注意力的高效替代方案。项目页面：此 https URL

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决基于自注意力的视觉骨干网络在密集预测（dense prediction）任务中面临的核心效率瓶颈，以及线性注意力（linear attention）在通用性和实际硬件部署中的局限性。具体而言，论文针对以下问题展开： 1. \*\*全局Softmax注意力的二次复杂度限制高分辨率推理效率\*\* 现有的视觉骨干网络依赖全局Softmax注意力机制，其计算复杂度随图像Token数量 L 呈二次增长，即 O(L^2) 。随着输入分辨率的增加，计算量和内存占用急剧上升，这在资源受限的边缘设备上尤为突出，严重制约了高分辨率密集预测任务（如目标检测、实例分割、姿态估计等）的实际应用。 2. \*\*缺乏面向多样密集预测任务的通用线性注意力骨干网络\*\* 尽管线性注意力通过核化或循环形式将复杂度降至 O(L) ，提供了一种有前景的替代方案，但现有方法尚未充分验证其在多种密集预测任务（包括目标检测、实例分割、人体姿态估计、语义分割、深度估计等）上的通用性与一致性表现。如何在统一的骨干设计下兼顾全局上下文建模与局部空间交互，同时满足不同任务对精度与效率的苛刻要求，仍是一个开放挑战。 3. \*\*理论效率向边缘硬件实际性能转化的鸿沟\*\* 线性注意力在理论上具有线性复杂度优势，但要在真实边缘硬件（如自动驾驶芯片）上实现低延迟、高吞吐的部署，需要专门的系统级优化（如定制CUDA算子、内存访问优化和推理引擎融合）。现有工作大多缺乏从架构设计到硬件部署的端到端优化，导致理论收益难以转化为实际的推理加速。围绕上述问题，论文提出了一种名为 \*\*Gated Token Recurrence (GTR)\*\* 的Softmax-free循环视觉骨干网络，通过结合门控线性注意力（GLA）、四方向交替空间扫描以及空间增强的SwiGLU模块，探索线性注意力是否能够支撑一个既在多样密集预测任务上保持高精度、又能在边缘硬件上实现高效推理的通用视觉骨干。 Q2: 有哪些相关研究？根据论文内容，相关研究主要围绕以下三个方向展开： ### 1. 基于Transformer的密集预测与目标检测 DETR（Carion et al., 2020）将目标检测建模为集合预测问题，消除了对非极大值抑制（NMS）的依赖。后续研究致力于解决其收敛慢、计算成本高的问题，包括： - \*\*可变形与轻量化DETR变体\*\*：Deformable DETR（Zhu et al., 2021）、RT-DETR（Lv et al., 2024）、D-FINE（Peng et al., 2025）等，通过改进编码器或标签分配策略加速训练与推理。 - \*\*视觉基础模型结合\*\*：LW-DETR（Chen et al., 2024）采用自监督预训练的ViT作为骨干；RF-DETR（Robinson et al., 2026）结合神经架构搜索与DINOv2（Oquab et al., 2024）增强特征表示；EdgeCrafter（Liu et al., 2026）则通过面向检测任务的DINOv3蒸馏改进紧凑型ViT骨干。 ### 2. 线性复杂度注意力机制为规避Softmax注意力的 O(L^2) 复杂度，研究者们探索了线性复杂度的替代方案： - \*\*线性注意力与循环序列建模\*\*：Katharopoulos et al.（2020）通过核化与结合律将注意力复杂度降至 O(L) 。后续工作进一步丰富了循环状态的设计，包括RetNet（Sun et al., 2023）、RWKV（Peng et al., 2023a）、Mamba（Gu & Dao, 2024）、DeltaNet（Yang et al., 2024c）以及\*\*门控线性注意力（GLA）\*\*（Yang et al., 2024b）。 - \*\*视觉领域的线性注意力应用\*\*：EfficientViT（Cai et al., 2023）展示了线性注意力在语义分割中的高效性；ViG（Liao et al., 2025）是与GTR最接近的架构先例，它将GLA适配到视觉领域，采用块内双向建模、方向门控和局部二维交互，并设计了融合双向内核以提升实际效率。 - \*\*混合注意力架构\*\*：MambaVision（Hatamizadeh & Kautz, 2025）与SoLA-Vision（Li et al., 2026a）等研究尝试将循环/线性混合器与Softmax注意力结合，在部分层中保留全局Softmax注意力以补偿建模能力。 - \*\*核方法替代\*\*：LaplacianFormer（Feng et al., 2026）探索了低秩Laplacian注意力作为另一种核化视觉替代方案。 ### 3. 跨架构知识蒸馏为实现从Softmax注意力教师网络（如ViT）向线性/循环结构学生网络的知识迁移，现有研究多采用多阶段或多目标蒸馏策略： - \*\*ViT-Linearizer\*\*（Wei & Chellappa, 2025）：结合多深度中间Token亲和力匹配与 masked 最终特征Smooth- ell_1 预测。 - \*\*ViT-AdaLA\*\*（Li et al., 2026b）：分阶段对齐每对Softmax与线性注意力模块输出，再对齐完整模型的最终表示，最后进行有监督微调。 - \*\*Attention to Mamba\*\*（Moudgil et al., 2026）及其他Transformer-to-SSM研究（Bick et al., 2024; 2025; Wang et al., 2024c）：通常采用逐层余弦匹配、分阶段转换或架构特定的辅助目标来弥合不同Token混合器之间的表示差异。与上述方法不同，GTR提出了一种仅通过\*\*单阶段最终输出对齐\*\*（final-output alignment）即可将检测专用的DINOv3教师知识蒸馏给线性注意力学生的简化方案，无需中间层监督或掩码Token预测。 Q3: 论文如何解决这个问题？针对自注意力二次复杂度限制高分辨率密集预测效率、线性注意力通用性不足以及理论效率难以转化为实际硬件性能这三个核心挑战，论文提出了 \*\*Gated Token Recurrence (GTR)\*\*，其解决方案可从架构设计、知识蒸馏与系统优化三个层面展开： ### 1. 线性复杂度的单尺度循环骨干架构 GTR构建了一个无Softmax、单尺度、全循环的视觉骨干，核心组件包括： - \*\*Key-only门控线性注意力（GLA）\*\*。采用GLA（Yang et al., 2024b）的key-only变体实现线性复杂度Token混合。对于输入序列 X ∈ R^(L × d) ，计算投影 Q = XW_Q , K = XW_K , V = XW_V 。每个时刻 t 的隐状态更新为：

St = Diag(γ_t) S(t-1) + kt^top v_t, quad o_t = d_k^(-1/2) q_t S_t
其中 γ_t = σ(x_t Wα^((1)) Wα^((2)) + bα)^(1/τ) ∈ (0,1)^(1 × dk) 为可学习的数据依赖门控， S_0 = 0 。该机制以 O(L d_k d_v) 的线性复杂度聚合全局上下文，且状态尺寸与序列长度无关。 - **四方向交替空间扫描**。由于单一扫描方向仅能捕获因果上下文，GTR在12个骨干块中依次循环四种扫描方向：左到右、右到左、上到下、下到上。每块执行一次方向扫描后恢复原始空间顺序，使Token在深度方向上逐步接收互补的二维空间上下文，无需显式位置编码。 - **Spatial SwiGLU局部空间建模**。为弥补方向性循环对局部空间交互的依赖，论文在通道混合器中引入Spatial SwiGLU：
Y = (SiLU(XW_g) odot DWConv(3×3)(XW_v)) W_o
其中Value分支被重塑为二维Patch网格，经 3×3 深度可分离卷积处理后再恢复序列顺序，提供非因果的局部邻域交互，与全局循环形成互补。整个骨干保持固定Patch网格（stride-16），计算量与内存均随Token数线性增长。 ### 2. 简化的最终输出知识蒸馏为将检测专用的DINOv3教师网络（基于Softmax注意力）的知识迁移给线性复杂度的GTR学生，论文提出了一种极简的单阶段蒸馏策略： - **仅对齐最终Patch Token**。不同于ViT-Linearizer或ViT-AdaLA等方法采用的多阶段中间层匹配或Masked Token预测，GTR仅监督教师与学生网络在相同全图输入下的**最终层Patch Token表示**。设教师与学生最终表示分别为 Y^(tea) ∈ R^(L × d_t) 与 Y^(stu) ∈ R^(L × d_s) ，通过可学习线性投影 φ: R^(d_s) to R^(d_t) 后，采用平方 ell_2 损失：

L(align) = (1) / (L) ∑(i=1)^L |φ(Y_i^(stu)) - Y_i^(tea)|_2^2

**无需中间监督或掩码**。该目标仅优化GTR骨干与投影层，允许学生网络内部计算方式与教师不同，简化了跨架构迁移流程。蒸馏后的权重作为骨干初始化，随后进行探测器预训练与任务特定微调。 ### 3. 硬件感知的Chunkwise推理优化为将线性复杂度的理论优势转化为边缘硬件上的实际低延迟，论文开发了专用推理内核与部署流水线： - **专用Chunkwise CUDA算子**。基于GLA的chunkwise形式，设计针对GTR推理场景（FP16输入、batch size 1、chunk size C=64 、 d_k=32 、 d_v=64 、零初始状态）优化的三阶段CUDA算子： 1. 并行计算所有chunk的摘要：

k(c,r) = k(c,r) odot exp(A(c,C_c-1) - A(c,r)), quad Uc = ∑(r=0)^(Cc-1) k(c,r)^top v(c,r), quad d_c = exp(A(c,C_c-1))

轻量顺序扫描传递边界状态 $S^{
c+1
} = Diag(d_c) S^{
c
} + U_c ； 3. 各chunk独立计算最终输出，内核融合边界状态读取与块内计算，避免中间张量全局内存读写。该算子在RTX 4090上于1.6K Token长度处相较FLA v0.5.0实现 4.0× 加速。 - TensorRT图-内核协同优化。针对NVIDIA DRIVE AGX Thor平台，将标准TensorRT算子与融合后的GLA及Spatial SwiGLU CUDA内核集成，通过消除多余内核启动与全局内存流量，在保持与PyTorch FP32参考输出余弦相似度不低于 0.9989 的前提下，实现全任务、全尺度 median batch-one 延迟低至 2.282 – 8.769 ms（FP16）。 ### 4. 统一的任务迁移框架 GTR以同一骨干设计（配合任务特定Head与训练配方）覆盖六种密集预测任务：目标检测、实例分割、人体姿态估计、有向目标检测、语义分割与单目深度估计。通过Objects365检测预训练与任务特定微调，证明了线性注意力骨干在对象级与像素级任务上的通用性与可扩展性，无需为不同任务重新设计骨干架构。 Q4: 论文做了哪些实验？论文围绕GTR在精度、效率、泛化性与部署可行性等方面开展了系统性实验，涵盖主检测任务、多任务迁移、消融分析、算子级基准测试及边缘硬件部署验证。具体实验内容如下： ### 1. 实时目标检测（COCO） - 设置：在COCO train2017上训练，val2017上评估。所有GTR检测器均经过DINOv3蒸馏初始化，随后进行36 epoch Objects365预训练与30 epoch COCO微调；同时报告了直接仅在COCO上训练的变体（无Objects365）。输入分辨率为 640 × 640 ，RTX 4090上测量FP16 batch-one median延迟。 - 对比基线：YOLO26、RF-DETR、ECDet（EdgeCrafter检测器）等近期实时检测器，覆盖S/M/L/X四个尺度。 - 关键结果： - 经Objects365预训练后，GTR-S/M/L/X分别达到53.6/57.3/58.9/59.4 box AP，在同尺度中精度最优。 - GTR-L以1.908 ms延迟取得58.9 AP，同尺度基线中延迟最低且精度最高；GTR-X以2.115 ms取得59.4 AP，对比RF-DETR-X的3.243 ms/58.6 AP，延迟降低约35%。 - 无Objects365预训练时，GTR各尺度延迟均低于对应ECDet模型。 ### 2. 向其他密集预测任务的迁移在统一骨干设计下，为每项任务配备专用Head与训练配方，评估GTR的通用性： | 任务 | 数据集 | 关键指标 | 主要发现 | |———|————|—————|—————| | 实例分割 | COCO val2017 | mask AP | GTR-S/X达45.0/49.8 mask AP；GTR-X延迟比RF-DETR-Seg-X低25.3%（2.472 ms vs. 3.311 ms），且未使用SAM2伪标签 | | 人体姿态估计 | COCO val2017 | keypoint AP | GTR-S/X达70.1/75.5 AP，优于ECPose；GTR-X延迟2.590 ms，低于ECPose-X的3.281 ms | | 有向目标检测 | DOTA-v1.0 test | AP50 | GTR-X达81.3 AP50，参数量比RTMDet-R-l少6.0M，延迟低于YOLO26x-obb | | 语义分割 | Cityscapes val | mIoU | GTR-S/X达81.5/83.6 mIoU；GTR-X与YOLO26x-sem持平（83.6），但延迟低19.5%（3.482 ms vs. 4.325 ms） | | 单目深度估计 | NYU Depth V2 | δ_1 , AbsRel, RMSE | 在八源混合数据上训练、无NYU微调，GTR-S/X的 δ_1 达0.946/0.954，优于YOLO26对应变体；延迟与FLOPs更低 | ### 3. 消融实验 - 蒸馏策略对比（GTR-S，无Objects365预训练）： - 对比方法：从头训练、ViT-AdaLA（适配后）、ViT-Linearizer（适配后）。 - 结果：仅使用最终层Patch Token的平方 ell_2 对齐（GTR方法）取得50.7 AP，优于ViT-Linearizer（50.0）与ViT-AdaLA（48.2），显著高于从头训练（31.1）。 - 空间建模机制（GTR-S/L）： - 在GTR-S上，以Spatial SwiGLU（S-SwiGLU）替代可学习位置编码，在 768^2 和 1024^2 分辨率下分别提升1.2与1.3 AP，FLOPs增加可忽略（47.6→47.8 / 83.2→83.7）。 - 在GTR-L上，四方向扫描（55.5 AP）优于水平双向（55.1）、垂直双向（55.0）及单方向（54.4）。若单方向下再移除S-SwiGLU改回位置编码，AP骤降至45.6，验证了局部空间混合的关键作用。 - GLA vs. 混合注意力（GTR-L）： - 将12个块中的3个替换为Softmax注意力（分别置于前3块、均匀分布、后3块）。 - 结果：AP与纯GLA相当（55.4–55.6 vs. 55.5），但延迟从1.908 ms增至2.094–2.117 ms，FLOPs从106升至119。表明在GTR中引入Softmax注意力无精度收益，却增加计算与延迟。 - 分辨率缩放（GTR-S）： - 输入从 640^2 增至 1280^2 （Token数增4×），AP从53.6提升至57.0（小物体AP提升6.0），median延迟仅从1.225 ms增至2.529 ms（约2.06×），峰值内存从0.096 GB增至0.249 GB，展示了线性复杂度的 favorable scaling。 ### 4. 算子级与系统级效率实验 - 定制Chunkwise CUDA算子基准（RTX 4090）： - 对比对象：FLA v0.5.0（通用Triton实现）。 - 在256 / 1.6K / 16.4K Token长度下，GTR专用推理算子分别实现2.6×、4.0×、6.4×加速（FP16 + CUDA Graph）。 - DRIVE AGX Thor边缘部署： - 将融合内核与图优化集成至TensorRT，进行Roofline分析，验证所有任务与尺度下内存带宽受限特性。 - Batch-one FP16延迟：在六任务四尺度下，median延迟为2.282–8.769 ms。例如检测任务GTR-S为2.282 ms，语义分割GTR-X为7.916 ms。 - Batch-eight吞吐：GTR-S检测达571 images/s。 - 数值一致性：所有48个任务-尺度-批次配置下，TensorRT FP16输出与PyTorch FP32参考的余弦相似度不低于0.9989。 ### 5. 完整对比与定性结果（附录） - 扩展检测对比：附录表7补充了与YOLOv9/10/11/12、RT-DETRv2/v4、DEIM/DEIMv2、D-FINE、LW-DETR等更全面的基线比较。 - 完整任务指标：附录提供了实例分割、姿态估计、有向检测、语义分割、深度估计的完整尺度对比与细分类别指标（如DOTA-v1.0的16类AP50）。 - 定性可视化：展示了COCO上的检测/分割/姿态结果、Cityscapes语义分割、DTU与nuScenes上的零样本深度预测及重建、DOTA有向检测等场景下的可视化效果。 Q5: 有什么可以进一步探索的点？基于论文内容，以下是可以进一步探索的研究方向： ### 1. 骨干架构的空间-计算权衡深化 - 分层多尺度骨干设计。GTR采用固定stride-16的单尺度网格，依赖颈部构建多尺度特征。未来可探索分层的GTR变体（类似ViG的hierarchical设计），在骨干早期引入下采样，以降低高分辨率输入下的整体计算 footprint，同时保留小目标检测所需的细粒度特征。 - 自适应与可学习扫描机制。当前四方向扫描是固定的循环顺序。可研究数据依赖的扫描路径选择，或从二维循环网格（如2D-SSM）直接建模空间结构，避免将图像展平为一维序列导致的空间邻域断裂，从而更自然地捕获二维上下文。 - 动态局部感受野。Spatial SwiGLU目前采用固定的 3×3 depthwise卷积。引入可学习的局部核大小或动态稀疏采样（如Deformable Convolution），可使局部空间混合根据内容自适应调整，在纹理丰富区域扩大感受野，在均匀区域收缩以减少冗余计算。 ### 2. 知识蒸馏与预训练范式的扩展 - 选择性中间层蒸馏。虽然论文验证了仅最终层 ell_2 对齐的有效性，但在极轻量级模型（如GTR-S以下尺度）上，探索稀疏的中间特征匹配（如每隔若干块对齐一次）可能进一步压缩与Softmax教师之间的表示差距，而不显著增加训练复杂度。 - 自监督与生成式预训练。当前GTR依赖强检测教师DINOv3进行蒸馏。可探索结合掩码图像建模（MIM）或自回归Token预测的自监督预训练，减少对标注教师网络的依赖；或从多模态模型（如CLIP）蒸馏，以提升开放词汇检测等泛化能力。 - 更大规模与多样化数据预训练。论文使用了ImageNet-1K与COCO进行蒸馏，Objects365进行 detector 预训练。在更大规模无标签数据（如LAION-5B、专用自动驾驶数据）上延长预训练，可能进一步释放线性注意力骨干的表征潜力。 ### 3. 任务与模态的拓展 - 视频理解与长时序建模。GTR的循环状态更新机制天然适合时序数据。将其扩展至视频目标检测、实例分割或动作识别，利用帧间状态传递替代昂贵的帧级全局注意力，有望在保持时序一致性的同时显著降低视频推理的二次复杂度。 - 3D感知与多模态融合。向三维目标检测、占用网格预测（occupancy prediction）或深度补全等任务迁移。此外，结合语言模态（如视觉-语言对齐）探索GTR在开放词汇检测或指代分割中的应用，是验证其通用性的重要方向。 - 高分辨率生成任务。探索GTR作为扩散模型或自回归图像生成器的骨干网络，利用其 O(L) 复杂度处理高分辨率生成场景中的长序列Token，缓解全局注意力在生成高分辨率图像时的内存瓶颈。 ### 4. 系统优化与边缘部署 - 跨平台硬件适配。当前系统优化主要针对NVIDIA GPU（RTX 4090与DRIVE AGX Thor）。向其他推理平台（如Qualcomm Hexagon NPU、Apple Neural Engine、AMD RDNA GPU或专用AI加速器）移植时，需重新设计内存访问模式、kernel融合策略及状态管理的片上内存布局。 - 低精度量化与压缩。论文部署采用FP16。探索INT8权重量化、激活量化以及针对循环状态（recurrent state）的量化感知训练（QAT），对于进一步降低边缘设备的内存占用与带宽压力至关重要。特别是门控状态 S_t 与对数衰减率 γ_t 的动态范围特性，需要专门的量化方案。 - 动态分辨率与输入自适应计算。利用GTR线性复杂度的优势，设计输入分辨率自适应或早期退出（early exiting）机制：对于简单场景降低分辨率或提前截断深度扫描，在保持精度的前提下最小化平均推理延迟。 ### 5. 理论基础与可解释性 - 线性注意力的视觉上下文极限。从理论上刻画GLA在密集预测任务中的上下文聚合能力与全局Softmax注意力的表达差距，特别是在需要精细长程依赖（如密集小目标交互）的场景下，分析状态维度 d_k × d_v 对信息容量的约束。 - 多方向扫描的频谱与覆盖性质。数学分析四方向扫描对二维空间频谱的覆盖完备性，探讨其与标准卷积、傅里叶变换在特征提取上的等价性与互补性，为扫描策略的设计提供更坚实的理论依据。 - 状态压缩与低秩近似。研究对隐状态 S_t 进行低秩近似或结构化压缩（如张量分解、哈希记忆）的可行性，在保持线性复杂度的同时进一步减小状态内存，这对超长序列（如高分辨率全景图像）尤为关键。 Q6: 总结一下论文的主要内容该论文提出了 Gated Token Recurrence (GTR)，一种面向高效密集预测的线性复杂度视觉骨干网络。以下是论文主要内容的结构化总结： ### 1. 研究动机与问题全局Softmax自注意力的计算复杂度与图像Token数量 L 呈二次关系 O(L^2) ，导致在高分辨率密集预测任务（如目标检测、分割、深度估计）中计算与内存开销急剧增长，严重制约了在边缘设备上的实际应用。尽管线性注意力提供 O(L) 的理论优势，但如何构建一个通用、高精度且可实际部署的线性注意力视觉骨干仍具挑战。 ### 2. 核心方法：GTR 骨干架构 GTR 是一个无Softmax、单尺度、全循环的12层视觉骨干，通过三项关键设计实现高效的全局-局部空间建模： - Key-only 门控线性注意力（GLA）。采用GLA（Yang et al., 2024b）的key-only变体进行Token混合。对输入 X ∈ R^(L × d) ，计算投影 Q, K, V 后，通过循环状态 S_t ∈ R^(d_k × d_v)$ 聚合上下文：

St = Diag(γ_t) S(t-1) + kt^top v_t, quad o_t = d_k^(-1/2) q_t S_t
其中 γ_t = σ(x_t Wα^((1)) Wα^((2)) + bα)^(1/τ) 为数据依赖的key-wise保留门控。该机制复杂度为 O(L dk d_v) ，且状态尺寸与序列长度无关。 - **四方向交替空间扫描**。为建模二维空间上下文，GTR在12个块中依次循环四种扫描方向：左到右、右到左、上到下、下到上。每块执行一次方向扫描后恢复原始空间顺序，无需显式位置编码。 - **Spatial SwiGLU**。在通道混合器中引入显式局部空间交互：
Y = (SiLU(XW_g) odot DWConv(3×3)(XW_v)) W_o
其中Value分支经 3×3 depthwise卷积处理二维Patch网格，与全局循环形成互补。 ### 3. 训练策略：极简最终层蒸馏 GTR 采用一种简化的单阶段知识蒸馏，将检测专用的冻结DINOv3教师网络迁移至线性注意力学生网络： - **仅对齐最终Patch Token**：对教师与学生网络的最终层Patch表示 Y^(tea), Y^(stu) ，通过可学习投影 φ 后最小化平方 ell_2 损失：

L(align) = (1) / (L) ∑(i=1)^L |φ(Y_i^(stu)) - Y_i^(tea)|_2^2

**无需掩码或中间层监督**。蒸馏后的权重作为骨干初始化，随后进行Objects365检测预训练与任务特定微调。 ### 4. 系统优化与推理加速 - **专用Chunkwise CUDA算子**。针对GTR推理配置（FP16、 C=64 、 d_k=32 、 d_v=64 ）优化了三阶段计算：并行chunk摘要 arrow 轻量边界状态扫描 arrow 独立chunk输出计算。在RTX 4090上，该算子相比FLA v0.5.0在1.6K Token时实现 ** 4.0× ** 加速。 - **TensorRT边缘部署**。通过图-内核协同优化（融合GLA与Spatial SwiGLU内核、消除冗余内存流量），在NVIDIA DRIVE AGX Thor上实现全任务、全尺度的低延迟FP16推理，median batch-one延迟为 **2.282–8.769 ms**。 ### 5. 实验结果 - **实时目标检测（COCO val2017）**。GTR-L达到 **58.9 box AP**，median延迟仅 **1.908 ms**；GTR-X达到 **59.4 AP / 2.115 ms**，显著优于同尺度基线。 - **多任务迁移**。同一骨干设计迁移至： - 实例分割（COCO）：GTR-X达 **49.8 mask AP** - 人体姿态估计（COCO）：GTR-X达 **75.5 keypoint AP** - 有向目标检测（DOTA-v1.0）：GTR-X达 **81.3 AP50** - 语义分割（Cityscapes）：GTR-X达 **83.6 mIoU** - 单目深度估计（NYU Depth V2）：GTR-X δ_1 达 **0.954** - **关键消融**： - 最终层蒸馏（50.7 AP）优于ViT-Linearizer（50.0）和ViT-AdaLA（48.2）。 - 四方向扫描+Spatial SwiGLU显著优于单方向或纯位置编码。 - 在GTR中引入Softmax注意力（混合设计）无精度收益，反而增加延迟。 - 分辨率从 640^2 增至 1280^2 （Token增4倍），延迟仅增约2.06倍，验证线性复杂度的良好扩展性。 ### 6. 主要贡献 - 提出了GTR，一个结合门控Token循环、四方向深度扫描与Spatial SwiGLU的线性复杂度密集预测骨干。 - 证明了GTR在六种密集预测任务与四种模型尺度上的通用性与可扩展性。 - 通过专用CUDA算子与TensorRT集成，将线性注意力的理论效率转化为边缘硬件上的实际低延迟部署。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhe Feng,Longfei Liu,Wei Liu,Kai Chen,Jiangang Kong,Wei Zhou,Yifeng Qian,Dexiong Chen,Xuanlong Yu,Xi Shen

Categories:

PDF URL: https://arxiv.org/pdf/2609.26590.pdf

Arxiv URL: https://arxiv.org/abs/2609.26590

Arxiv ID: 2609.26590

CoolPaper URL: https://papers.cool/arxiv/2609.26590

Published: 2026-10-05T02:23:36.293Z

Updated: 2026-10-05T02:23:36.293Z

4. EditHero: A Benchmark for Long-Horizon Part-Level 3D Editing and Vibe Modeling

Abstract:3D editing methods are usually tested on a single edit, yet an asset is built through a long sequence of revisions, each of which must implement the requested change while leaving everything else unchanged. We introduce EditHero, to our knowledge the first benchmark for long-horizon, part-level 3D editing, with natural-language instructions and target images for both geometry and texture. A deterministic assembly engine produces the exact target after every edit, and every sequence is reviewed by hand. We use EditHero to compare 2 opposite approaches to 3D editing. Non-agentic methods operate top down, regenerating the object from a learned 3D representation and inferring what to keep. In contrast, LLM/VLM agents operate bottom up, editing through code that inspects the mesh and rewrites only the parts required by instructions. The non-agentic methods often miss the requested change and disturb regions that should stay fixed. Most LLMs follow instructions more closely, and all of them preserve the unedited parts better, but each of their edits takes minutes. We will release the engine and the edit sequences to support research on reliable iterative 3D editing.

中文摘要

摘要：3D 编辑方法通常只在单次编辑上进行测试，但一个资产是通过一长串修订构建的，每次修订都必须实现所请求的更改，同时保持其他部分不变。我们介绍 EditHero，据我们所知，这是第一个用于长周期、部分级 3D 编辑的基准，提供几何和纹理的自然语言指令以及目标图像。一个确定性的装配引擎在每次编辑后生成确切的目标，每个序列都经过人工审查。我们使用 EditHero 对两种截然不同的 3D 编辑方法进行比较。非智能方法从上而下操作，从学习到的 3D 表示中重新生成对象并推断需要保留的部分。相比之下，LLM/VLM 代理从下而上操作，通过检查网格并仅重写指令要求修改的部分来进行编辑。非智能方法经常错过请求的更改，并扰乱应保持固定的区域。大多数 LLM 更严格地遵循指令，并且所有 LLM 都更好地保留未编辑的部分，但它们每次编辑都需要几分钟。我们将发布引擎和编辑序列，以支持可靠的迭代 3D 编辑研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02298

Authors: Ruihan Yu,Yu-Ju Tsai,Muyao Niu,Runyi Li,Lian Fu,Hanqing Liu,Zheng-Hui Huang,Yonghao Yu,Sho Kuno,Ming-Hsuan Yang,Kaipeng Zhang,Zhixiang Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.02298.pdf

Arxiv URL: https://arxiv.org/abs/2610.02298

Arxiv ID: 2610.02298

CoolPaper URL: https://papers.cool/arxiv/2610.02298

Published: 2026-10-05T02:23:36.298Z

Updated: 2026-10-05T02:23:36.298Z

5. Diptych: Scoped, AI-Interpreted Comparison for Reference Listening in Music Production

Abstract:Reference listening is a common strategy in music production, but current comparison tools often obscure a key human judgment: deciding what should be compared. We present Diptych, an AI-assisted system that lets users define comparison scope across whole tracks or independently selected segments, while inspecting structured audio features and scope-specific AI interpretations. We evaluated Diptych in a within-participants study with 12 musicians, complemented by source-blinded ratings from four expert listeners. Participants used the system to surface additional differences, nine of ten of which received at least partial expert support, and reported good usability and greater clarity about possible next steps. These findings suggest that AI support for creative comparison should prioritize user-defined scope, inspectable evidence, and actionable guidance, while avoiding authoritative judgments that exceed what the evidence can support.

中文摘要

摘要：参考听音是音乐制作中常用的策略，但现有的比较工具常常模糊了一个关键的人类判断：决定应该比较什么。我们提出了 Diptych，这是一个 AI 辅助系统，允许用户定义整个曲目或独立选择片段的比较范围，同时检查结构化的音频特征和特定范围的 AI 解读。我们在一个包含 12 名音乐家的参与者内部研究中评估了 Diptych，并辅以四位专家听众的源盲评分。参与者使用该系统发现了额外的差异，其中十个差异中的九个至少部分得到了专家支持，并报告了良好的可用性以及对可能下一步操作的更清晰理解。这些发现表明，创意比较的 AI 支持应优先考虑用户定义的范围、可检查的证据和可行的指导，同时避免超出证据可支持范围的权威性判断。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.39963 (HTTP 429)

Authors: Chongjun Zhong,Abhinaba Roy,Archishman Ghosh,Kejun Zhang,Dorien Herremans

Categories:

PDF URL: https://arxiv.org/pdf/2609.39963.pdf

Arxiv URL: https://arxiv.org/abs/2609.39963

Arxiv ID: 2609.39963

CoolPaper URL: https://papers.cool/arxiv/2609.39963

Published: 2026-10-05T02:23:36.303Z

Updated: 2026-10-05T02:23:36.303Z

6. Octrees as an Explicit 3D Language

Abstract:Existing 3D large language models (LLMs) compromise on two fronts: they compress shapes into latent codebook indices or coordinate text, which removes spatial structure from what the model observes, and they acquire the 3D modality by fine-tuning the backbone, which overwrites its general language ability. We present OctLLM, which addresses both limitations. Geometry enters as an explicit 3D sequence of octree occupancy tokens. However, full octree sequences grow rapidly with depth; OctLLM therefore randomly empties penultimate-level nodes and omits descendants while preserving shape, yielding a shorter coordinate- and depth-anchored Sparse Octree (S-Octree) for position-aware mask-modeling generation and 3D understanding. On the other front, existing methods introduce a new modality with full fine-tuning or LoRA, but full fine-tuning is costly, LoRA limits 3D capacity, and both modify the language pathway. OctLLM instead adds 3D capacity in parameters separate from the pretrained ones: mesh tokens are routed through independent trainable branches in a subset of blocks while text and image tokens retain the frozen vision-language pathway, and the two streams interact through shared self-attention. It trains far fewer parameters than full fine-tuning, yet sets a new state of the art among unified multimodal LLMs, lowering image-to-3D FID by $17.4\%$ and raising render-grounded captioning by $28.7$ points over ShapeLLM-Omni, while matching the backbone on general language benchmarks.

中文摘要

摘要：现有的 3D 大型语言模型（LLMs）在两个方面存在妥协：它们将形状压缩为潜在码本索引或坐标文本，这会移除模型观察到的空间结构；并且它们通过微调骨干网络来获取 3D 模态，这会覆盖其通用语言能力。我们提出了 OctLLM，解决了这两个限制。几何信息以八叉树占据标记的显式 3D 序列形式输入。然而，完整的八叉树序列会随着深度迅速增长；因此，OctLLM 随机清空倒数第二层节点并省略子节点，同时保留形状，从而生成更短的、具有坐标和深度锚定的稀疏八叉树（S-Octree），用于位置感知的掩码建模生成和 3D 理解。在另一方面，现有方法通过完全微调或 LoRA 引入新模态，但完全微调成本高昂，LoRA 限制了 3D 能力，并且两者都会修改语言路径。OctLLM 则在与预训练参数分离的参数中增加 3D 能力：网格标记通过部分块中的独立可训练分支路由，而文本和图像标记保留冻结的视觉-语言路径，两条流通过共享自注意力进行交互。它训练的参数远少于完全微调，但在统一多模态 LLM 中创造了新的最先进水平，使图像到 3D 的 FID 降低了 17.4%，并将基于渲染的图像描述提升了 28.7 分，超过 ShapeLLM-Omni，同时在通用语言基准上与骨干网络匹配。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02388

Authors: Ran Dan,Si-Tong Wei,Pengfei Xiong,Wei Zhang,Yadong Mu,Peng-Shuai Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.02388.pdf

Arxiv URL: https://arxiv.org/abs/2610.02388

Arxiv ID: 2610.02388

CoolPaper URL: https://papers.cool/arxiv/2610.02388

Published: 2026-10-05T02:23:40.257Z

Updated: 2026-10-05T02:23:40.257Z

7. Skill2Real: Agentic Skill Learning for Zero-Shot Sim-to-Real Robot Manipulation

Abstract:Transferring robotic skills from simulation to reality requires task knowledge that remains usable across differences in perception, dynamics, and embodiment. We introduce Skill2Real, an agentic policy framework that learns executable skills through a shared application programming interface (API). A Proposer-Verifier-Governor (PVG) loop uses privileged simulation evidence to diagnose outcomes and validate updates, while keeping learned skills grounded in public observations and API semantics. The Cerebellum first acquires local manipulation skills; the Brain then learns task-level composition with the Cerebellum frozen. Both memories transfer to the real robot without task-policy fine-tuning or skill-memory updates. As GPT-5.6 Sol learns skills on LIBERO-90, evaluating each frozen checkpoint with GPT-6 Astra raises LIBERO-Pro Long success from 2.0% to 56.3%, without training on Pro Long. Independent Robosuite training reaches 85.1% and 89.4% mean success with Sol and Opus 5 across seven tasks, respectively. Frozen Sol-trained LIBERO-90 skills achieve 78.75% mean completion across four real-world manipulation tasks with Astra. Removing the Verifier or Governor during LIBERO-90 training lowers final Pro Long success by 17.3 and 13.3 percentage points, respectively. These results support learning and transferring a hierarchy of executable skills through a common robot interface.

中文摘要

摘要：将机器人技能从模拟转移到现实需要任务知识，这些知识在感知、动力学和实体差异之间仍然可用。我们引入了 Skill2Real，一种通过共享应用程序接口（API）学习可执行技能的主体策略框架。提议者-验证者-管理者（PVG）循环利用特权模拟证据来诊断结果并验证更新，同时保持学习的技能基于公共观察和 API 语义。小脑首先获取局部操作技能；随后大脑在小脑冻结的情况下学习任务级组合。两个记忆都无需任务策略微调或技能记忆更新即可转移到实际机器人上。当 GPT-5.6 Sol 在 LIBERO-90 上学习技能，并使用 GPT-6 Astra 评估每个冻结的检查点时，LIBERO-Pro Long 的成功率从 2.0% 提升到 56.3%，而无需对 Pro Long 进行训练。在七个任务中，独立的 Robosuite 训练分别使 Sol 和 Opus 5 达到 85.1% 和 89.4% 的平均成功率。冻结的 Sol 训练的 LIBERO-90 技能在四个现实世界操作任务中使用 Astra 实现 78.75% 的平均完成率。在 LIBERO-90 训练过程中移除验证者或管理者，会使最终 Pro Long 的成功率分别下降 17.3 和 13.3 个百分点。这些结果支持通过通用机器人接口学习和转移可执行技能的层级结构。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02788

Authors: Xincheng He,Siyu Ma,Chang Yu,Yunuo Chen,Yanjia Huang,Ying Nian Wu,Yin Yang,Chenfanfu Jiang

Categories:

PDF URL: https://arxiv.org/pdf/2610.02788.pdf

Arxiv URL: https://arxiv.org/abs/2610.02788

Arxiv ID: 2610.02788

CoolPaper URL: https://papers.cool/arxiv/2610.02788

Published: 2026-10-05T02:23:40.702Z

Updated: 2026-10-05T02:23:40.702Z