HuggingFace Papers 2026-10-23

数据来源：HuggingFace Papers

Latest Papers

1. StreamEval: Evaluating Interactive Streaming Video Generation Models

Abstract:As streaming video generation advances, enabling real-time interaction with generated video is becoming increasingly important. We introduce StreamEval, a unified benchmark for interactive streaming video generation spanning five tasks: avatar dialogue, avatar performance, world generation, instruction editing, and reference editing. StreamEval comprises 300 scripted test cases lasting 15-300s, each specifying initial assets, incrementally arriving multimodal requests, and explicit requirements for state changes and content preservation. Performance is assessed along four evaluation dimensions: task execution, state consistency, visual fidelity, and audiovisual coordination, instantiated through ten task-specific metrics on a 0-100 scale. Evaluating 37 distinct models across 300 test cases, we find that high visual quality and identity retention do not necessarily coincide with reliable request execution or sustained state consistency. In particular, request execution remains challenging: the highest task-specific scores are 36.90 for Following among seven avatar-performance models, 25.93 for Following in text-conditioned world generation, and 15.00 for Edit Success among three reported reference-editing models. These findings identify reliable request execution under timing and preservation constraints as a central challenge for advancing omni-modal real-time interactive systems. The leaderboard is available at this https URL

中文摘要

摘要：随着流媒体视频生成技术的发展，使生成视频实现实时交互变得越来越重要。我们提出了 StreamEval，这是一个统一的交互式流媒体视频生成基准测试，涵盖五项任务：头像对话、头像表演、世界生成、指令编辑和参考编辑。StreamEval 包含 300 个脚本化测试用例，时长为 15-300 秒，每个用例指定初始资产、逐步到来的多模态请求，以及状态变化和内容保留的明确要求。性能评估围绕四个维度进行：任务执行、状态一致性、视觉保真度和视听协调，通过十个任务特定指标，在 0-100 分制上进行量化。我们对 37 种不同模型在 300 个测试用例上的表现进行评估，发现高视觉质量和身份保留并不必然与可靠的请求执行或持续的状态一致性相匹配。特别是，请求执行仍然具有挑战性：七个头像表演模型中“跟随”任务的最高任务特定得分为 36.90，文本条件下的世界生成中“跟随”任务为 25.93，而三个已报告的参考编辑模型中“编辑成功”任务得分为 15.00。这些发现表明，在时间和保留约束下实现可靠的请求执行，是推进全模态实时交互系统的核心挑战。排行榜可通过此 https URL 查看。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28402 (HTTP 429)

Authors: StreamEval Team

Categories:

PDF URL: https://arxiv.org/pdf/2610.28402.pdf

Arxiv URL: https://arxiv.org/abs/2610.28402

Arxiv ID: 2610.28402

CoolPaper URL: https://papers.cool/arxiv/2610.28402

Published: 2026-10-23T01:56:33.888Z

Updated: 2026-10-23T01:56:33.888Z

2. SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?

Abstract:Spatial intelligence requires agents to actively acquire visual evidence and integrate observations into a coherent representation of the three-dimensional world. Yet spatial question answering offers limited evidence of whether models can construct accurate metric maps through autonomous exploration. We introduce SpatialScout, a benchmark for evaluating vision-language model (VLM) agents on active object-level 3D mapping. SpatialScout comprises 80 diverse indoor scenes containing 3,140 target objects. Given an object inventory, RGB observations, camera calibration, and camera poses, agents control a camera to explore each scene and estimate object centers in a shared coordinate frame. The task requires coordinating viewpoint selection, cross-view association, geometric estimation, and map revision under bounded interaction budgets. Evaluation jointly measures localization accuracy and target coverage through object-scale overlap scores that penalize missing predictions. Experiments with frontier VLMs reveal substantial limitations: the strongest evaluated model, Claude Opus 5.5, achieves a mean overlap score of 41.71%, with 47.23% of targets exceeding an intersection-over-union (IoU) threshold of 0.5 and only 3.25% exceeding 0.9. These results reveal a substantial gap between recovering coarse object layouts and constructing complete, precise metric maps. SpatialScout provides a quantitative testbed for developing agents that build reliable 3D spatial representations through active perception. Code is available at this https URL.

中文摘要

摘要：空间智能要求智能体主动获取视觉证据，并将观察结果整合为对三维世界的连贯表征。然而，空间问答仅提供有限的证据，无法说明模型是否能够通过自主探索构建准确的度量地图。我们引入了 SpatialScout，这是一个用于评估视觉-语言模型（VLM）智能体在主动物体级三维建图任务中的基准。SpatialScout 包含 80 个多样化的室内场景，共有 3,140 个目标物体。给定物体清单、RGB 观测、相机校准和相机位姿，智能体控制相机探索每个场景，并在共享坐标系中估计物体中心。该任务要求在有限的交互预算下协调视点选择、跨视图关联、几何估计和地图修订。评估通过物体尺度重叠分数联合衡量定位精度和目标覆盖率，对缺失预测进行惩罚。对前沿 VLM 的实验揭示了显著的局限性：表现最强的模型 Claude Opus 5.5 的平均重叠分数为 41.71%，其中 47.23% 的目标超过 0.5 的交并比（IoU）阈值，而只有 3.25% 超过 0.9。这些结果显示，从恢复粗略物体布局到构建完整、精确的度量地图之间存在显著差距。SpatialScout 提供了一个定量测试平台，用于开发通过主动感知构建可靠三维空间表征的智能体。代码可在此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*现有空间智能评估基准对视觉语言模型（VLM）智能体空间理解能力约束不足\*\*的问题，具体表现为以下几个方面： ### 1. 空间问答（QA）基准的局限性现有广泛采用的空间智能基准（如VSR、VSI-Bench、OpenEQA等）主要依赖图像或视频问答来评估计数、方向、距离和空间关系。然而，这类任务存在根本性缺陷： - \*\*有限约束\*\*：选择题或有限答案集允许模型通过猜测、排除法或语言先验得出正确答案，而非基于真正的空间理解。 - \*\*非空间线索干扰\*\*：答案分布偏差和语言先验可能使模型在不依赖视觉空间信息的情况下作答。 - \*\*缺乏闭环能力评估\*\*：空间QA未能涵盖现实世界的核心需求——智能体必须\*\*主动收集视觉证据\*\*、\*\*持续更新空间表征\*\*，并\*\*利用表征指导后续行动\*\*。 ### 2. 缺乏对主动度量地图构建的直接评估尽管部分近期工作（如ESI-Bench、Theory of Space）引入了主动交互或离散认知地图，但现有基准仍未将\*\*在连续三维空间中通过主动交互构建对象级度量地图\*\*作为直接的评估目标。论文指出，真正的空间智能要求智能体协调以下能力： - \*\*视点选择\*\*（active viewpoint selection） - \*\*跨视角对象关联\*\*（cross-view association） - \*\*几何估计与三角测量\*\*（geometric estimation） - \*\*地图迭代修正\*\*（map revision）这些能力需在有限的交互预算内持续协调，形成“观察—推理—决策”的闭环。 ### 3. 提出的解决方案：SpatialScout 为弥补上述鸿沟，论文提出了\*\*SpatialScout\*\*基准测试，其核心任务定义为： > 给定一个对象清单、初始RGB观测、相机内参和位姿，智能体自主控制相机探索场景，并在共享坐标系中估计所有目标对象的3D中心位置。该基准通过以下三个核心特征直接评估空间智能： - \*\*显式空间构建\*\*：要求模型输出精确的3D坐标，而非选择答案，从而通过定位精度和目标覆盖率定量评估空间表征质量。 - \*\*闭环主动探索\*\*：智能体基于当前地图和观测历史选择后续视点，并利用新证据更新位置估计，形成感知证据获取与空间理解之间的反馈循环。 - \*\*长程端到端能力评估\*\*：在多次交互中协调观测规划、对象识别、跨视角关联和地图更新，整体性能由最终地图质量衡量。 ### 4. 实验揭示的核心问题论文通过评估前沿VLM（如Claude Opus 5.5、GPT-6 Astra）发现，即使是最强模型（Claude Opus 5.5）在80个多样化室内场景中仅达到\*\*41.71%的平均IoU\*\*，且仅有\*\*3.25%\*\*的目标对象达到严格IoU阈值（>0.9）。这表明： - 当前VLM智能体虽能恢复粗略的对象布局，但在\*\*全面覆盖\*\*和\*\*精确度量定位\*\*方面存在显著差距。 - 识别对象或做出粗略空间判断的能力，\*\*并不等同于\*\*构建可靠、精确的度量地图的能力。综上，该论文试图建立一个新的定量测试平台，以严格评估VLM智能体是否能通过主动感知构建准确、完整的3D空间表征，从而推动空间智能研究从“问答正确率”向“度量地图构建质量”转变。 Q2: 有哪些相关研究？论文在第6节“Related Work”及相关图表中系统梳理了与SpatialScout相关的研究方向，主要涵盖以下五个领域： ## 1. 空间智能与场景理解基准 ### 被动式空间问答基准此类基准主要通过图像或视频问答评估空间推理，但通常缺乏主动探索和显式的三维坐标输出约束： - \*\*VSR\*\* (Visual Spatial Reasoning)：聚焦视觉空间关系判断，采用真/假输出格式。 - \*\*BLINK\*\*：通过多选题评估多模态大语言模型的细粒度视觉感知能力。 - \*\*VSI-Bench / SITE\*\*：评估模型在空间推理任务（如计数、方向、距离）上的表现。 - \*\*OpenEQA\*\*：涵盖情景记忆与主动探索两种设置的具身问答基准。 ### 主动交互式空间基准此类工作引入了主动观察或环境交互，但评估目标仍侧重于答案正确性，而非在连续三维空间中显式构建度量地图： - \*\*E3VS-Bench\*\*：评估基于三维高斯溅射场景的视角依赖型主动感知，通过相机控制获取证据。 - \*\*ESI-Bench\*\*：要求主动观察与交互以闭合感知-动作循环，但仍以问答为最终评估形式。 - \*\*S3-Bench\*\*：结合流式空间问题、记忆机制与额外探索。 - \*\*Theory of Space\*\*：研究基础模型能否通过主动探索构建离散空间信念（认知地图），但不输出连续3D坐标。 ### 场景级布局与参数重建 - \*\*IR3D-Bench\*\*：通过智能体化逆向渲染从给定图像中恢复3D场景参数与布局关系，但不涉及对隐藏环境的自主探索。 - \*\*EmbodiedBench\*\*：在多个环境和动作层级上综合评估视觉驱动的具身智能体能力。 ## 2. 主动重建与下一最佳视角规划此类研究关注如何选择信息丰富的观测视点以优化三维重建，为SpatialScout中的主动探索环节提供技术背景： - \*\*SCONE\*\*：通过体积积分优化未知环境的表面覆盖。 - \*\*MACARONS\*\*：结合RGB在线自监督进行建图与覆盖预期。 - \*\*GenNBV\*\*：学习可泛化的下一最佳视角策略用于主动三维重建。 - \*\*NARUTO / ActiveSplat / ActiveGAMER\*\*：将主动探索与神经场景表示（如Gaussian Splatting）相结合。 - \*\*FisherRF\*\*：基于Fisher信息量化辐射场的不确定性以进行主动视角选择。 - \*\*AIR-Embodied\*\*：利用多模态推理规划重建动作。 - \*\*AREA3D\*\*：结合几何感知与视觉 Q3: 论文如何解决这个问题？论文通过提出 \*\*SpatialScout\*\* 这一新型基准测试来解决现有空间智能评估的局限性。该方案将评估重心从“问答正确率”转移至“主动构建对象级度量三维地图”的能力，具体解决路径如下： --- ### 1. 重新定义评估任务：主动对象级 3D 映射论文将空间智能的评估目标设定为\*\*在连续三维空间中显式重建目标对象的几何中心\*\*，而非选择或生成文本答案。具体任务定义为： > 给定一个包含 N 个目标的对象清单 E = (i, c_i, g_i)_(i=1)^N （含实例标识 i 、类别 c_i 和等价组 g_i ）、初始 RGB 观测、相机内参及位姿，智能体需自主控制相机探索场景，并在共享坐标系中估计所有目标对象的 3D 中心位置 P = p_i : i ∈ S ，其中 S ⊂eq 1, dots, N 为已提交标识符集合。此定义强制要求智能体将局部视觉观测转换为精确的度量坐标，从而避免了传统问答中猜测或依赖语言先验的漏洞。 --- ### 2. 构建闭环主动探索环境论文设计了一个\*\*受预算约束的闭环交互协议\*\*，使评估能够捕捉“观察—推理—行动”的完整链条： - \*\*交互预算\*\*：每个回合允许最多 B = 100 次模型调用和 V = 100 张图像采集（含初始图像）。 - \*\*工具接口\*\*：提供 10 个统一工具（如表 2 所示），涵盖： - \*\*感知\*\*：\`capture\_image\` 获取 RGB 帧 - \*\*运动控制\*\*：\`set\_camera\_position\`、\`move\_camera\`、\`rotate\_camera\` 改变视点 - \*\*几何推理\*\*：\`triangulate\_observations\` 基于多视角像素对应进行三角测量 - \*\*地图维护\*\*：\`submit\_positions\` 批量提交或更新对象中心估计，\`finish\_mapping\` 结束回合智能体必须基于当前地图和观测历史选择后续视点，新获取的证据再用于更新空间估计，形成\*\*主动感知与空间理解之间的反馈循环\*\*。 --- ### 3. 建立严格的度量评估体系为定量衡量地图的准确性与完整性，论文设计了\*\*对象级重叠分数\*\*，从三个维度约束模型输出： - \*\*定位精度\*\*：通过最小距离一对一匹配后，计算 3D IoU。具体地，将候选目标的参考世界轴对齐边界框（AABB）平移至预测中心，计算重叠程度。设参考框角点为 b_i^-, b_i^+ ，则参考中心为：

p_i = R_0^top ( (b_i^- + b_i^+) / (2) - o_0 )
其中 o_0, R_0 为初始相机的世界位置和旋转。 - **覆盖率惩罚**：评估同时考察**目标覆盖率**（是否遗漏对象）和**定位误差**。遗漏目标在 IoU 计算中直接计为 0，从而强制智能体在有限预算下平衡探索广度与估计精度。 - **多阈值判定**：在严格阈值 τ ∈ 0, 0.5, 0.9 下分别计算 IoU 命中率和召回率，区分“粗略布局恢复”与“精确度量对齐”。 —- ### 4. 提供标准化场景与协议论文构建了包含 **80 个多样化室内场景**、**3,140 个目标对象**的数据集，覆盖： - 多源场景：iTHOR、RoboTHOR、ArchitecTHOR、ReplicaCAD、ProcTHOR - 复杂因素：等价组内多实例（43.3% 的目标存在同类重复实例）、不同空间布局和对象尺度所有场景通过 SAPIEN 渲染，使用固定右手坐标系（原点位于初始相机位置， +x 为初始光轴前方， +y 为左侧， +z 为上方向），确保评估的几何一致性和可重复性。 —- ### 5. 通过实验暴露当前方法瓶颈论文对前沿 VLM（如 Claude Opus 5.5、GPT-6 Astra 等）进行统一评估，揭示： - 即使是最强模型（Claude Opus 5.5），其全目标平均 IoU 也仅为 **41.71%**； - 仅 **3.25%** 的目标达到 IoU > 0.9 的严格精度； - 不同模型在工具使用模式（如三角测量调用率、观察频率）上存在显著差异，低效的几何工具使用直接导致定位失败。这些量化结果不仅验证了 SpatialScout 作为“硬性测试平台”的有效性，也明确指出了当前 VLM 在**跨视角关联、度量几何估计和持久空间记忆**方面的不足，为后续研究提供了可追踪的改进方向。 Q4: 论文做了哪些实验？论文围绕 **SpatialScout** 基准开展了一系列实验，从定量性能、定性可视化、行为模式、失败诊断、轨迹对比及成本效益六个维度，系统评估了前沿视觉语言模型（VLM）智能体的主动三维空间构建能力。具体实验内容如下： —- ### 1. 基准任务与实验设置 **评估协议** - **场景与目标**：在 80 个多样化的室内场景中进行测试，共包含 3,140 个目标对象，每场景 30–40 个目标。 - **交互预算**：每回合限制最多 B = 100 次模型调用和 V = 100 张 RGB 图像采集（含初始图像）。 - **统一接口**：所有模型共享相同的 10 个工具接口（如 `capture_image`、`move_camera`、`triangulate_observations`、`submit_positions` 等），不提供地面真值位置或评估分数的反馈。 - **终止条件**：智能体调用 `finish_mapping`、不再调用工具或耗尽模型调用次数时，回合结束。 **被测模型** 共评估 7 个前沿 VLM，涵盖闭源与开源模型： - **闭源**：GPT-6 Astra、GPT-6 Sol、Claude Opus 5.5、Claude Sonnet 5.5、Kimi-K3、Qwen3.8-Max - **开源**：DeepSeek-V4.1-Flash 其中 GPT-6 Astra 额外测试了 `medium` 与 `xhigh` 两种推理强度配置，其余模型主要使用 `xhigh` 配置。 —- ### 2. 定量定位与完整性评估（表 3）核心实验测量了各模型在 80 个共享场景上的**对象级微观定位指标**，同时惩罚遗漏目标。报告指标包括： - **Mean IoU**：全目标与已提交目标的平均 3D IoU - **> 0% / > 50% / > 90%**：在严格 IoU 阈值下的命中率/召回率 **主要结果**： - **Claude Opus 5.5** 表现最优：全目标平均 IoU 为 **41.71%**，提交目标平均 IoU 达 **46.69%**；仅 **47.23%** 的目标 IoU 超过 0.5，**3.25%** 超过 0.9。 - **GPT-6 Astra** 位列第二：全目标平均 IoU 为 **33.16%**。 - 其余模型（如 GPT-6 Sol、Kimi-K3、Qwen3.8-Max、DeepSeek-V4.1-Flash）性能显著更低，部分模型全目标平均 IoU 不足 7%。 - 对比“全目标”与“已提交目标”指标可看出，**遗漏目标**显著拉低了整体得分。 —- ### 3. 定性可视化分析（图 4）通过三维重建视图对比了不同性能模式下的地图质量，将预测网格置于估计中心并与参考场景对齐： - **准确完整（A）**：Claude Opus 5.5 提交全部 35 个目标，中心误差仅 0.073 m，重建视图与参考高度一致。 - **不完整（B）**：GPT-6 Astra 在两个场景中仅提交 65/80 个目标，中心误差 0.141 m，可视化清晰展示了遗漏对象。 - **严重误定位（C）**：DeepSeek-V4.1-Flash 虽提交全部 40 个目标，但中心误差高达 1.000 m，平均 IoU 仅 0.034，重建场景与参考严重错位。该实验直观验证了**覆盖率与定位精度必须联合评估**——仅提交所有目标或仅看中心误差均不足以反映地图质量。 —- ### 4. 工具调用与行为模式分析（图 5、图 6）通过记录各模型的工具使用轨迹，分析了其探索与建图策略差异： - **Claude Opus 5.5** 工具调用总量最高（达到 100 回合上限），且在观察、相机运动和建图之间保持相对均衡。 - **GPT-6 Astra** 以更少的工具调用取得了次优性能，效率较高。 - **DeepSeek-V4.1-Flash 与 Qwen3.8-Max** 呈现“高移动、低观察、低建图”模式：大量回合用于移动相机，但捕获图像和提交/修正位置的频率显著偏低。这暗示其难以从视觉观测中提取有效几何信息并维持一致的空间表征。 —- ### 5. 失败模式诊断（表 4）对 GPT-6 Astra、Claude Opus 5.5、DeepSeek-V4.1-Flash 和 Qwen3.8-Max 的 **40 条轨迹**（10 个共享任务 × 4 模型）进行了人工因素分析。成功标准设定为：**覆盖率 ≥ 90% 且已提交目标平均中心误差 ≤ 0.2 m**。 - **成功案例（6/40）**：均表现出充足的多视图几何基础、增量式提交以持续扩展覆盖范围、以及对已提交位置的后续精细化修正。 - **主要失败模式**： - **不完整覆盖**（26/34）：遗漏大量目标，是最普遍的失败。 - **疑似对应错误**（21/34）：尽管三角测量残差较低，但提交的 3D 位置仍显著偏离真值，说明像素对应或对象中心推断出错。 - **几何测量不一致未解决**（13/34）。 - **提前终止**（13/34）：尚余 10 次以上模型调用即结束探索。 - **缺乏三角测量支持的位置估计**（6/34）：仅凭单视图或推测提交坐标。 —- ### 6. 几何基础与轨迹对比（表 5）选取工具调用量相近但性能差异显著的 **GPT-6 Astra** 与 **DeepSeek-V4.1-Flash**，对其在 80 个任务上的轨迹进行自动化分析： | 指标 | GPT-6 Astra | DeepSeek-V4.1-Flash | |———|——————-|——————————-| | 已提交对象中具有先前成功三角测量的比例 | **99.33%** | 63.48% | | 触发几何警告的三角测量调用比例 | **2.69%** | 38.65% | | 每任务平均图像采集数 | **32.41** | 39.63 | | 已提交对象中位中心误差 | **7.08 cm** | 68.17 cm | 实验表明，GPT-6 Astra 虽然采集图像更少，却能更有效地利用三角测量工具建立几何基础，而 DeepSeek 的高图像采集量并未转化为可靠的几何估计，反映出**跨视角特征关联与工具使用能力**是决定定位精度的关键因素。 —- ### 7. 成本-效益分析（图 7）将全目标平均 IoU 与平均每任务推理成本（USD，对数坐标）绘制散点图，并标识帕累托前沿： - **Claude Opus 5.5** 位于性能最前沿，但成本最高（**28.85 USD/任务**）。 - **开源模型**（DeepSeek、Qwen、Kimi）在成本上并未展现出相对于闭源模型的显著优势；DeepSeek-V4.1-Flash 虽成本略低于 GPT-6 Sol，但性能差距巨大。 - 整体而言，当前模型在**精度-成本权衡**上仍存在明显瓶颈，高性能必然伴随高推理开销。 —- ### 8. 地图更新过程分析（第 3.1 节提及）实验记录了每次成功提交时的完整地图快照，支持离线重放分析。通过重放可追踪： - 随着模型调用和图像采集量增加，**中心误差与覆盖率如何演变**； - 智能体在探索早期、中期和晚期的建图策略变化。这一机制使评估不仅关注最终状态，还能分析空间表征的动态涌现过程。 Q5: 有什么可以进一步探索的点？基于论文的实验发现、局限性讨论与结论，可从以下方向开展进一步探索： —- ### 1. 从仿真到真实世界场景的迁移论文在 Limitations 中明确指出，当前基准完全基于物理仿真引擎（SAPIEN/ManiSkill3）渲染。尽管仿真环境支持可控、可重复的评估，但真实世界的光照变化、材质反射、遮挡复杂性和语义歧义未被充分捕捉。**即将发布的真实场景数据集**将检验现有结论在物理世界中的鲁棒性，并推动解决仿真到现实的域迁移问题。 —- ### 2. 突破高精度度量定位瓶颈实验结果显示，最强模型（Claude Opus 5.5）的 IoU > 0.9 命中率仅为 **3.25%**，表明从视觉观测到亚物体级精确定位仍存在巨大鸿沟。未来研究可探索： - 将显式三角测量工具与模型内在的**几何先验**或**单目深度估计能力**深度融合； - 引入迭代式光束法平差（bundle adjustment）或图优化机制，在长时间交互中持续精化地图； - 针对世界轴对齐边界框（AABB）中心的推断策略优化，区分表面特征点与真实几何中心。 —- ### 3. 解决覆盖率不足与过早终止问题失败分析（Table 4）表明，**不完整对象覆盖**是最主要的失败模式（34 条失败轨迹中出现 26 次），且有 13 条轨迹在尚余充足模型调用时提前结束。后续工作可关注： - **探索终止条件**的自适应学习：模型需学会判断“何时已充分探索”而非过早收敛； - 结合**主动目标搜索**与**空间覆盖规划**，在相机控制中显式权衡“验证已知对象”与“发现新对象”。 —- ### 4. 增强跨视角数据关联与对应点选择在 21 条失败轨迹中，出现了“尽管三角测量残差较低，但预测位置仍显著偏离”的现象，说明**像素级对应错误**和**对象中心推断错误**难以被现有几何一致性检查捕获。可进一步研究： - 利用对象级特征（如语义分割掩码、纹理特征）而非单点对应来约束三角测量； - 为 VLM 提供**对应点验证**工具，使其能够主动检测并拒绝错误的跨视图匹配； - 针对重复类别实例（占目标总数的 43.3%）开发更强的**实例级重识别（Re-ID）**机制。 —- ### 5. 持久空间记忆与动态地图更新论文结论指出需发展**持久的空间记忆**。当前模型在长达 100 步的交互中难以维持一致的空间表征，表现为： - 后期阶段修正现有估计却无法恢复早期遗漏对象； - 对历史观测的利用效率随上下文长度增长而下降。未来可探索： - 显式的 3D 场景图或神经场景表示（如 Gaussian Splatting）作为智能体外部的记忆模块； - 分层记忆架构：将原始图像、提取的特征和度量估计分离存储，降低上下文负担。 —- ### 6. 高效主动感知与视点规划工具使用分析（Figure 5、6）揭示，部分模型存在“高移动、低观察、低效建图”的行为模式。研究方向包括： - **下一最佳视角（Next-Best-View）策略学习**：结合信息增益、不确定性和目标分布，减少冗余观测； - 在有限交互预算（ B=100, V=100 ）下优化**观测-推理-行动**的调度策略，降低单次任务成本（当前 Claude Opus 5.5 高达 28.85 USD/任务）； - 探索模型自主决定“何时采集新图像” vs. “何时基于已有图像推理”的元策略。 —- ### 7. 工具接口与反馈机制的设计空间当前基准提供固定的相机控制和三角测量工具，但未揭示不同工具设计对性能的影响。可进一步探索： - 是否提供**深度图像**、**语义掩码**或**边界框检测**等辅助感知工具会改变模型表现； - 将三角测量工具替换为更高级的 3D 重建后端（如 DUSt3R、VGGT 或 MVSNet），评估模型作为“前端规划器”与不同“后端几何引擎”的组合效应； - 引入**中间反馈**：例如实时返回当前地图的局部 IoU 或覆盖热图，帮助模型诊断自身状态。 —- ### 8. 多智能体与多模态协作虽然 SpatialScout 当前设定为单智能体任务，但其框架可自然扩展： - **多智能体协同建图**：多个 VLM 智能体从不同初始位置出发，通过通信融合局部地图，检验分布式空间智能； - **跨模态主动感知**：除 RGB 外，引入触觉、语言描述或人类指令，评估多模态信息对几何估计的增强作用。 —- ### 9. 成本效益与开源模型追赶成本分析（Figure 7）显示闭源模型在性能-成本帕累托前沿上占据主导，而开源模型性价比有限。未来工作可聚焦于： - 开发轻量化的专用空间推理架构，替代通用 VLM 的重量级推理； - 利用蒸馏或强化学习将高性能闭源模型的探索策略迁移至开源模型，降低部署成本。 —- ### 10. 更细粒度的诊断与过程评估当前评估主要基于最终地图质量。结合论文已有的 map-trace replay 机制，可进一步构建： - **过程级基准**：在交互的每一步评估瞬时定位误差和覆盖增长曲线，诊断模型在“哪一步”开始累积错误； - **认知诊断分类器**：自动识别轨迹中的对应错误、尺度误判、方向混淆等具体错误类型，而非仅依赖最终 IoU。 Q6: 总结一下论文的主要内容该论文围绕视觉语言模型（VLM）智能体的空间智能评估，提出了主动对象级三维映射基准 **SpatialScout**。以下是论文主要内容的结构化总结： ### 1. 研究背景与动机空间智能要求智能体主动采集视觉证据，并将多视角观测整合为一致的度量三维表征。现有空间智能基准主要依赖图像或视频问答（QA），但其有限的答案选项允许模型通过猜测、排除法或语言先验作答，难以约束模型真正进行空间推理。更重要的是，这类基准无法评估智能体在真实世界中所必需的**主动证据采集**、**度量地图构建**与**闭环决策**能力。因此，亟需一个能够端到端考察“观察—推理—行动”完整链条的评估框架。 ### 2. SpatialScout 基准概述论文提出 **SpatialScout**，包含 **80 个** 多样化的室内场景与 **3,140 个** 目标对象（每场景 30–40 个）。任务要求 VLM 智能体在给定对象清单、相机内参和位姿的条件下，自主控制相机探索场景，并输出所有目标对象中心在共享坐标系中的 3D 坐标。该基准不依赖问答，而是以最终构建的**对象级度量地图质量**作为直接评估目标。 ### 3. 核心设计特征 - **显式空间构建**：模型必须输出连续的 3D 坐标，从而允许通过定位精度（如 3D IoU）和目标覆盖率对空间表征进行定量度量。 - **闭环主动探索**：智能体基于已有观测和当前地图估计选择下一视点，获取新图像后更新对象位置，形成“主动感知—空间理解—决策”的反馈循环。 - **长程端到端评估**：在受限制的交互预算（最多 B=100 次模型调用与 V=100 张图像采集）内，模型需持续协调观测规划、对象识别、跨视角关联、几何估计与地图修正。 ### 4. 场景构造与坐标定义场景源自 iTHOR、RoboTHOR、ArchitecTHOR、ReplicaCAD 与 ProcTHOR，通过 SAPIEN/ManiSkill3 渲染。其中 **43.3%** 的目标属于含多实例的等价组，增加了关联难度。目标中心定义为世界坐标系中渲染几何的紧密轴对齐边界框（AABB）的中点，再转换到任务坐标系：

p_i = R_0^top ( (b_i^- + b_i^+) / (2) - o_0 )
其中 b_i^-, b_i^+ 为框角点， o_0 与 R_0 分别为初始相机的世界位置与相机到世界的旋转矩阵。任务坐标系以初始相机位置为原点， +x 为其初始光轴前向， +y 为左， +z 为上。 ### 5. 评估协议与指标论文提供统一的工具接口（包括 `capture_image`、`move_camera`、`triangulate_observations`、`submit_positions` 等），不透露真值位置或评估分数。评估采用等价组内的最小距离一对一匹配，主要指标包括： - **中心误差**（米）：匹配后的平均/中位欧氏距离。 - **3D IoU**：将参考 AABB 平移至预测中心后计算重叠。报告全目标与已提交目标的平均 IoU。 - **严格阈值命中率/召回率**：在 τ ∈ 0, 0.5, 0.9 下计算 IoU 超过阈值的比率。全目标评估中，遗漏对象直接计为 0，从而联合惩罚不完整性和不精确性。 - 此外定义辅助场景级损失：

L(scene) = ∑(i=1)^(M) e_i + λ(N-M)N
其中 e_i 为匹配中心误差， N 为总目标数， M 为提交目标数， λ=5,m 为遗漏惩罚。 ### 6. 实验结果论文评估了 GPT-6 Astra、GPT-6 Sol、Claude Opus 5.5、Claude Sonnet 5.5、Kimi-K3、Qwen3.8-Max 与 DeepSeek-V4.1-Flash。核心发现如下： - **Claude Opus 5.5** 表现最优，全目标平均 IoU 为 **41.71%**，已提交目标平均 IoU 为 **46.69%**；但仅 **47.23%** 的目标 IoU 超过 0.5，仅 **3.25%** 超过 0.9。 - **GPT-6 Astra** 位列第二，全目标平均 IoU 为 **33.16%**。 - 其余模型（尤其是开源模型）显著落后，部分模型全目标平均 IoU 不足 7%。这些结果表明，前沿 VLM 虽能恢复粗略的对象布局，但在**全面覆盖**与**精确度量定位**方面仍存在巨大差距。 ### 7. Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhaoxi Zhang,Hao Liang,Linxuan Wu,Yiming Xu,Yifu Yuan,Kun Liang,Chenming Tang,Meiyi Qiang,Wentao Zhang,Weikang Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.26659.pdf

Arxiv URL: https://arxiv.org/abs/2610.26659

Arxiv ID: 2610.26659

CoolPaper URL: https://papers.cool/arxiv/2610.26659

Published: 2026-10-23T01:56:33.876Z

Updated: 2026-10-23T01:56:33.876Z

3. DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

Abstract:Despite recent progress in dexterous reference tracking, existing models focus primarily on single-hand manipulation and a limited range of interactions, leaving the bimanual dexterous behaviors common in real life unaddressed. The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging. Therefore, we present 1) DONIC, the first generalist bimanual tracker jointly trained across operation categories and human-motion sources, together with 2) BiHOI, a multi-view dataset of 1,575 sequences spanning 229 objects and emphasizing sustained bimanual interaction, where reconstructed interactions are retargeted into robot references. DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations. An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role. Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences. Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references. Without finetuning, a single checkpoint achieves 86.79% success on unseen trajectories of training objects and 57.32% on held-out objects, surpassing the state-of-the-art bimanual tracking baselines by 77.36 and 45.73 percentage points.

中文摘要

摘要：尽管在灵巧的参考跟踪方面取得了最近的进展，但现有模型主要集中在单手操作和有限范围的交互，未能解决现实生活中常见的双手灵巧行为。接触丰富的双手操作数据的稀缺性以及协调接触的复杂性增加，使得开发通用双手跟踪器特别具有挑战性。因此，我们提出了：1）DONIC，这是第一个在操作类别和人类动作来源上联合训练的通用双手跟踪器；以及2）BiHOI，一个涵盖229种物体的1,575条序列的多视角数据集，强调持续的双手交互，其中重建的交互被重新定向到机器人参考。DONIC在一个反馈循环中结合近端策略优化和行为克隆，将已验证的成功执行回收为训练示范。以物体为中心的每手奖励在监督每只手按照其参考接触角色的同时，保持物体运动的反馈。以剪辑为中心的优势去除了依赖参考的优势偏移，同时保留轨迹内的差异。这些设计使得单一策略能够学习跨异构参考的协调操作。在不进行微调的情况下，单个检查点在训练物体的未见轨迹上取得86.79%的成功率，在保留物体上达到57.32%，分别超过最先进的双手跟踪基线77.36和45.73个百分点。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.29997 (HTTP 429)

Authors: Mingze Sun,Ziang Cao,Yuan Fei,Qiankuan Tao,Zihan Wang,Tianqi Liu,Junhao Chen,Haiwen Diao,Fangzhou Hong,Zhaoxi Chen,Ziwei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.29997.pdf

Arxiv URL: https://arxiv.org/abs/2610.29997

Arxiv ID: 2610.29997

CoolPaper URL: https://papers.cool/arxiv/2610.29997

Published: 2026-10-23T01:56:33.893Z

Updated: 2026-10-23T01:56:33.893Z

4. Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation

Abstract:Autoregressive video diffusion models generate videos chunk by chunk, yet producing plausible continuations does not guarantee that they capture how scenes evolve. Under teacher forcing, strong temporal redundancy may allow local visual continuity to serve as a shortcut for current-chunk denoising, reducing the pressure to model visual evolution. We introduce Future Chunk Prediction (FCP), an auxiliary objective jointly optimized with teacher-forced denoising that predicts temporally separated chunks without access to the intervening visual context. Drawing supervision directly from training videos, FCP requires no additional pretrained visual encoder and leaves autoregressive inference unchanged. Our method achieves superior physical plausibility over standard teacher-forced autoregressive training with a lower overall training compute budget, highlighting the effectiveness and efficiency of future-chunk supervision for modeling visual evolution. Intriguingly, our visualizations suggest that FCP fosters a more structured representation space, which may be valuable for building autoregressive world models.

中文摘要

摘要：自回归视频扩散模型通过逐块生成视频，然而生成合理的延续内容并不能保证它们能捕捉场景的演变。在教师强制（teacher forcing）下，强烈的时间冗余可能使局部视觉连续性成为当前块去噪的捷径，从而降低了建模视觉演变的压力。我们引入了未来块预测（Future Chunk Prediction, FCP），这是一个与教师强制去噪联合优化的辅助目标，它可以在无法访问中间视觉上下文的情况下预测时间上分离的块。FCP直接从训练视频中获取监督信号，不需要额外的预训练视觉编码器，并且不改变自回归推理。我们的方法在总体训练计算开销较低的情况下，实现了比标准教师强制自回归训练更高的物理合理性，这凸显了未来块监督在建模视觉演变方面的有效性和高效性。有趣的是，我们的可视化结果表明，FCP促进了更结构化的表示空间，这对于构建自回归世界模型可能具有价值。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决自回归视频扩散模型在\*\*建模视觉场景时间演化\*\*方面的不足。具体而言，核心问题可归纳为以下几点： - \*\*Teacher Forcing 的局限性\*\*：现有自回归视频生成模型通常采用 teacher forcing 训练，即基于 ground-truth 的历史上下文对当前视频块进行去噪。由于视频具有\*\*强时间冗余性\*\*（strong temporal redundancy），相邻块在表观与运动模式上往往高度相似，模型可轻易依赖\*\*局部视觉连续性\*\*（local visual continuity）作为"捷径"来恢复当前块。 - \*\*演化建模不足\*\*：这种捷径降低了对底层动态与场景演化进行显式建模的压力。结果是，模型虽能生成看似合理的视频延续，却未必真正理解了场景\*\*应当如何随时间演化\*\*，导致生成内容在物理合理性（physical plausibility）等方面存在缺陷。 - \*\*监督信号的缺失\*\*：标准训练目标未能提供足够的压力，迫使模型的中间表示去编码与未来视觉演化相关的信息。为解决上述问题，论文提出 \*\*Future Chunk Prediction (FCP)\*\*，其关键思路是：在保留原有 teacher forcing 去噪目标的同时，引入一个辅助目标，要求模型仅基于当前块的中间表示去预测\*\*时间间隔更远的未来块\*\*，且不允许接触中间 intervening chunks 的 ground-truth 视觉上下文。该辅助任务由于无法直接依赖局部连续性，从而迫使模型学习能够支撑\*\*长程视觉演化预测\*\*的表示，进而提升自回归视频生成中对物理规律与动态演化的建模能力。 Q2: 有哪些相关研究？该论文的相关研究主要分布在以下两个方向： ### 1. 自回归视频扩散（Autoregressive Video Diffusion） \*\*基础范式\*\* - \*\*固定长度视频扩散\*\*：传统方法（如 Ho et al., 2022; Blattmann et al., 2023; Team, 2025; Wang et al., 2025a）通过单次去噪过程合成固定时长的片段。 - \*\*自回归/流式生成\*\*：将视频分解为多个块（chunk），逐块顺序生成，每块以前续视觉上下文为条件（Voleti et al., 2022; Chen et al., 2024; Teng et al., 2025）。该范式被用于交互式视觉模拟与生成式世界模型（Bruce et al., 2024; He et al., 2025; Yang et al., 2025; Valevski et al., 2025）。 \*\*提升Rollout质量的方法\*\* - \*\*双向模型适配\*\*：通过分布匹配或对抗训练将双向模型改造为因果少步生成器（Yin et al., 2025; Lin et al., 2025）。 - \*\*暴露于自生成历史\*\*：让模型在训练时接触自生成的历史上下文或扩展的学生Rollout（Huang et al., 2025; Cui et al., 2025; Liu et al., 2025）。 - \*\*因果兼容性研究\*\*：探讨教师监督（teacher supervision）与学生自回归生成之间的因果兼容性（Zhu et al., 2026; Zheng et al., 2026）。 \*\*历史上下文管理\*\* - 通过活动窗口、缓存状态或全局锚点管理长程上下文（Gao et al., 2025; Yang et al., 2025; Liu et al., 2025）。 - 利用选择性检索与缓存压缩在长程一致性与计算/内存成本之间取得平衡（Cai et al., 2025; Samuel et al., 2026; Ji et al., 2026）。 ### 2. 用于生成的表示对齐（Representation Alignment for Generation） \*\*基于外部预训练编码器的对齐\*\* - 将中间扩散特征与视觉基础模型对齐，以加速训练并提升生成质量（Yu et al., 2025）。 - 视频扩展任务中的跨帧与多特征对齐（Hwang et al., 2025; Lee et al., 2025）。 - 针对物理合理性的关系监督（Zhang et al., 2025a）。 - 上述方法通常依赖外部预训练视觉编码器（如 Oquab et al., 2024; Wang et al., 2023），可能增加扩展至大规模视频语料库的复杂度。 \*\*同期最相关工作：Next Forcing\*\* - \*\*Next Forcing\*\*（Xu et al., 2026）是与该工作独立且同期开展的最相关研究。两者均探索了未来预测在自回归视频生成中的应用，但在任务侧重、条件上下文选择（完整历史 h_(≤ k) vs. 当前块 h_k ）、架构设计（链式 vs. 并行预测）及评估维度上存在差异。论文在实验与附录中提供了针对性的对比与讨论。 Q3: 论文如何解决这个问题？论文通过引入 \*\*Future Chunk Prediction (FCP)\*\* 这一辅助训练目标来解决自回归视频扩散中场景演化建模不足的问题。其核心思想是在保留标准 teacher-forced 去噪的同时，迫使模型从当前块的中间表示中预测\*\*更远的未来块\*\*，且不得接触中间 ground-truth 视觉上下文，从而打破对局部连续性的依赖。具体解决方法可分为以下几个方面： ### 1. 辅助未来块预测目标在标准自回归训练（teacher forcing）中，模型学习的是 p(x_(k+1) mid x_(≤ k), c) 。FCP 引入了一个互补的辅助任务：

p(FCP)(x(k+Delta) mid x(≤ k), c), quad Delta > 1, k+Delta ≤ K
其中 Delta 为块级别的整数时间偏移。该公式化的关键之处在于**排除中间块** x(k+1:k+Delta-1) 的条件作用，使得模型无法通过局部视觉连续性来简单“外推”目标，而必须在其内部表示中编码与长程视觉演化相关的信息。 ### 2. 基于生成器中间表示的条件预测为了让辅助目标真正反作用于主生成器，FCP 不使用独立的预测网络，而是以主生成器处理第 k 块时的**中间隐藏状态** h_k 作为条件：

p(FCP)(x(k+Delta) mid hk)
这里有两个重要设计选择： - **仅使用 h_k 而非 h(≤ k) **：鼓励源块表示自身紧凑地编码对未来演化的预测信息，同时显著降低计算成本。实验表明，这种设计在达到相同性能时可节省约 40–50% 的训练计算量。 - **不使用显式文本条件**：防止文本提示泄露关于未来事件的信息，强制预测器依赖视觉表示本身。 ### 3. 并行偏移特定预测架构论文采用**并行**而非**链式**的辅助预测结构（如图 2b 所示）： - 每个未来偏移 Delta 拥有**独立参数化**的轻量级辅助分支（由少量 DiT 块构成）。 - 各分支直接从源表示 h_k 出发，彼此之间无信息流动。这避免了链式设计中（如图 2a）中间未来块噪声信息向后传递造成的“邻居泄漏”（neighbor leakage）问题——在视频的高时间冗余下，这种泄漏会成为新的捷径，削弱对未来演化的建模压力。 ### 4. 多层级特征条件与不对称设计 - **源表示提取**：同时利用第 k 块的**干净历史表示** h_k^(clean) 和**噪声目标表示** h_k^(noisy) ，因为两者在自回归生成中分别承担历史预测与当前去噪的功能。 - **特征融合**：从主生成器多个层提取特征，沿通道维度拼接后通过 MLP 融合，并以 **token-wise AdaLN** 方式注入到辅助 DiT 块的每一层，实现细粒度条件调制。 - **非对称文本条件**：辅助预测器移除了文本交叉注意力，进一步确保其只能依赖视觉表示推断未来。 ### 5. 联合训练与无损推理训练时，总损失函数为：

L(total) = L(TF) + ∑(Delta ∈ D) w_Delta L(Delta)^(clean) + L(Delta)^(noisy)2
其中 L(TF) 为标准 teacher-forced 流匹配损失， L(Delta)^(clean) 和 L(Delta)^(noisy) 分别为基于干净与噪声源表示的未来预测流匹配损失。辅助损失的梯度通过 hk 回传至主生成器，正则化其表示空间。 **推理阶段**，所有 FCP 专用模块被直接丢弃，完全保留原始的 autoregressive 生成流程与模型结构，不引入任何额外开销。 Q4: 论文做了哪些实验？论文在实验部分开展了系统性评估，涵盖**基准测试对比、消融研究、表示空间分析及训练效率分析**。具体内容如下： ### 1. 实验设置 - **模型基础**：基于 Wan（Wang et al., 2025a）官方检查点初始化，采用图像到视频（image-to-video）设定，以首帧为固定干净上下文，后续每块生成 3 个潜帧。 - **训练数据**：混合内部来源视频与 WISA-80K（Wang et al., 2025b），选用超过 5 秒的真实世界视频，未使用物理模拟器数据。 - **训练配置**： - **1.3B 模型**：8 张 GPU，20,000 步，768×432 分辨率，16 FPS，全局 batch size 为 8。 - **5B 模型**：32 张 GPU，25,000 步，1024×576 分辨率，24 FPS，全局 batch size 为 32。 ### 2. 基准测试与主要结果 #### 2.1 Physics-IQ Verified（主要基准）该基准提供基于参考视频的数值指标，无需依赖 VLM 判断，用于评估生成延续的物理合理性。 - **跨模型对比（表 1）**：在 1.3B 与 5B 参数量下，FCP 均显著优于标准 teacher forcing。具体而言： - 1.3B 模型 IQ 分数从 27.6 提升至 30.9； - 5B 模型在 I2V 与 V2V 设定下，IQ 分数分别从 30.4/40.6 提升至 33.8/44.4。 - 5B FCP 模型甚至超过参数量更大的双向模型（如 Wan2.2-14B、HunyuanVideo-1.5 等）及同规模自回归模型（如 MAGI-1-4.5B）。 - **控制对比（表 2）**：在 Wan2.2-TI2V-5B 上保持数据与训练设置一致： - 使用 3 个偏移时，I2V IQ 从 30.4 提升至 32.1，V2V IQ 从 40.6 提升至 43.0； - 使用 5 个偏移时，I2V IQ 进一步提升至 33.8，V2V IQ 提升至 44.4； - 非连续偏移（1, 3, 5）同样有效（I2V IQ 33.1）。 #### 2.2 其他物理相关基准（表 3）在与 teacher forcing 对照的相同训练设置下，于 5B 模型上评估： - **WorldModelBench**：总分从 7.22 提升至 7.64，尤其在 Physical Laws（+0.19）与 Common Sense（+0.19）上提升明显。 - **PAI-Bench-G**：Domain Score 从 81.13 提升至 82.38，Robot 类别提升最大（+2.39）。 - **PhyGround**：Physics 分数从 2.75 提升至 2.80。 #### 2.3 定性分析（图 3）通过可视化对比展示物理动态： - **多米诺骨牌**：FCP 保持预期的倾倒方向，而 teacher forcing 出现中心异常坍塌。 - **冰融化**：FCP 捕捉到水位随冰融化而上升的细微变化，teacher forcing 则未能呈现。 ### 3. 消融研究 #### 3.1 核心组件消融（表 4 与附录表 6）在 Wan2.1-1.3B 上系统验证各设计选择： - **源表示类型**：仅使用 clean source（IQ 28.8）、仅使用 noisy source（IQ 29.9）均优于基线（27.6），两者结合达 30.9。 - **无文本条件**：向辅助预测器添加文本条件会使 IQ 下降 1.1 分（从 30.9 降至 29.8），证实文本泄露会削弱视觉表示的学习压力。 - **链式 vs. 并行**：链式预测（chained）在 1.3B 上 IQ 为 30.1，低于并行预测的 30.9；在 5B 模型上（表 2），链式设计几乎无法带来 V2V 提升，验证了信息泄漏在大模型上更严重。 #### 3.2 特征注入策略消融（附录表 7）比较将源特征注入辅助分支的不同方式： - Token 拼接（concatenate in self-attention）：IQ 28.8 - 通道拼接 + 线性融合：IQ 29.5 - **Token-wise AdaLN（默认）**：IQ 30.9，表现最优。 #### 3.3 训练效率分析（图 4）对比 teacher forcing、full-context FCP（条件于 h(≤ k) ）与默认 FCP（条件于 hk ）： - 默认 FCP 在相同训练计算量下 IQ 分数更高； - 达到 IQ=29 与 IQ=30 时，默认 FCP 分别比 full-context 变体节省 **42.6%** 与 **50.7%** 的训练 FLOPs。 ### 4. 表示空间分析为验证 FCP 是否真正重塑了中间表示，论文对生成器隐藏状态进行了可视化： - **空间特征相似性（图 5 与附录图 7）**：FCP 训练的模型对查询 token 的响应更集中于查询对象及其语义相关实例；teacher forcing 的响应则更弥散，蔓延至无关区域。 - **时空特征相似性（图 6 与附录图 8、9）**：FCP 的高相似度区域能随时间推移持续跟踪对应视觉内容，teacher forcing 则易丢失定位。在小目标场景（附录图 9）中，FCP 依然保持对特定车辆的局部化响应，而 teacher forcing 的响应与背景及其他物体混淆。 ### 5. 辅助预测器可视化（附录图 10）通过从真实视频的源表示 h_k 独立采样各偏移分支的输出，验证辅助预测器确实捕捉到了合理的未来演化趋势。尽管随着偏移增大视觉保真度下降，但预测结果在宏观运动趋势上仍与 ground truth 保持一致，表明 h_k 蕴含了可用的未来演化信息。 Q5: 有什么可以进一步探索的点？基于论文的讨论与局限性部分，以下方向值得进一步探索： ### 1. 辅助预测器的推理时应用当前 FCP 在推理阶段完全丢弃辅助分支。然而，定性可视化（附录图 10）表明，这些分支虽视觉保真度有限，却能捕捉合理的未来动态演化。可探索： - **采样加速**：在 early-stage、高噪声阶段使用轻量级辅助预测器替代主生成器进行初步去噪，随后交由主生成器精修，以降低整体推理成本。 - **预测集成**：将辅助分支的多偏移预测与主生成器输出进行融合，提升未来演化的一致性与可靠性。 ### 2. 大规模从零预训练（From-Scratch Pretraining）现有实验均基于预训练的双向视频扩散检查点进行微调。作者推测，双向与自回归模型可能具有不同的表示组织方式，这种初始化或限制了 FCP 潜在收益的充分释放。未来可在**大规模从头预训练**中，将 FCP 作为自回归世界模型的原生目标进行设计，并配合专为该设定筛选的多样化高质量数据。 ### 3. 更长时程与更大模型的扩展受计算资源限制，论文未在更大参数量或显著更长视频上进行训练。探索方向包括： - **更长视频与更大偏移**：当前偏移 Delta 局限于数秒级别，将其扩展至更长时程（如数十秒或分钟级）可检验 FCP 对长程物理一致性的作用。 - **模型规模扩展**：验证 FCP 在十亿至百亿参数规模上的有效性，以及表示空间结构化趋势是否随规模持续增强。 ### 4. 数据构成的精细化训练数据目前以通用真实世界视频为主，未引入物理模拟器数据。正如作者所指，**融合物理仿真数据**（如合成物理场景）可能在物理合理性方面带来进一步提升，尤其是在需要精确刚体动力学、流体模拟等场景下。 ### 5. 结构化表示空间的下游利用论文观察到 FCP 诱导出具有更清晰时空组织与语义对应的表示空间。可进一步探索： - **自回归世界模型构建**：利用这种结构化表示作为世界状态编码，支持交互式环境中的动作预测与状态推演。 - **开环与闭环规划**：将 FCP 学习到的演化表示用于机器人操作或游戏智能体的未来状态预测与决策。 ### 6. 与同期工作的深度对比与融合论文与 Next Forcing（Xu et al., 2026）在条件上下文长度（ h(≤ k) vs. hk ）和架构范式（链式 vs. 并行）上存在分歧。未来可系统性研究： - **条件上下文的最优长度**：是否存在随任务或视频复杂度变化的动态最优上下文窗口。 - **混合架构**：在特定偏移范围内采用链式预测以利用局部连贯性，对更远偏移采用并行预测以防止信息泄漏，实现两者优势互补。 ### 7. 更全面的评估维度当前评估以物理合理性为主，未来可扩展至： - **语义一致性**：长期保持对象身份、属性与因果关系的准确性。 - **时间动态丰富度**：评估生成视频在细粒度运动、材质变化、光影演化等方面的真实程度。 - **人机对齐的开放域评估**：结合 WorldReasonBench 等压力测试，检验模型作为未来世界状态预测器的鲁棒性。 Q6: 总结一下论文的主要内容该工作针对自回归视频扩散模型在标准 **teacher forcing** 训练下难以有效建模场景时间演化的问题，提出了 **Future Chunk Prediction (FCP)**，并通过系统实验验证了其有效性与效率。 ### 核心问题 - **局部连续性捷径**：视频具有强时间冗余性。在 teacher forcing 中，当前块去噪以紧邻的 ground-truth 历史为条件，模型可轻易依赖局部视觉连续性作为“捷径”，缺乏捕获底层动态与场景演化的学习压力。 - **演化建模缺失**：模型虽能生成看似合理的视频延续，却未必真正理解场景应如何随时间演化，导致物理合理性等方面的缺陷。 ### 方法：Future Chunk Prediction (FCP) - **辅助预测目标**：在保留标准 teacher-forced 去噪的同时，引入辅助任务，要求仅基于当前块的中间隐藏状态 h_k ，预测**时间间隔更远的未来块** x(k+Delta) （ Delta > 1 ），且**不可接触中间 ground-truth 块**。这打破了局部连续性的依赖，迫使表示编码长程视觉演化信息。 - **并行偏移架构**：每个未来偏移 Delta 拥有独立的轻量级预测分支，直接从 hk 并行运作，避免链式设计中中间块噪声信息泄漏造成的监督弱化。 - **多源特征与不对称设计**：同时正则化干净历史表示与噪声目标表示；通过多层级特征融合及 token-wise AdaLN 注入；辅助预测器**不使用文本条件**，防止文本泄露未来信息。 - **训练与推理**：联合优化主生成器与辅助分支，辅助损失梯度通过 h_k 回传至主网络；**推理时完全丢弃 FCP 模块**，不增加任何计算开销。 ### 主要实验与发现 - **物理合理性提升**：在 Physics-IQ Verified、WorldModelBench、PAI-Bench-G 与 PhyGround 上，FCP 在 1.3B 与 5B 模型上均一致优于标准 teacher forcing。例如，Wan2.2-5B 的 I2V IQ 分数从 30.4 提升至 33.8，且超过部分更大参数量的双向模型。 - **消融验证**： clean/noisy 双源表示、无文本条件、并行预测与 AdaLN 特征注入均为有效设计；其中并行预测在大模型上显著优于链式预测。 - **训练效率**：相比条件于完整历史 h(≤ k) 的变体，基于 h_k 的默认 FCP 在达到相同 IQ 分数时可节省约 **40–50%** 的训练计算量。 - **表示空间结构化**：可视化显示，FCP 训练的中间表示具有更清晰的空间选择性与时空对应关系，高相似度区域能持续跟踪移动内容，暗示其学习到了更具语义结构的表示，对构建自回归世界模型具有潜在价值。 ### 局限与未来方向 - 当前实验基于预训练双向检查点微调，**大规模从零预训练**可能进一步释放 FCP 潜力。 - 辅助预测器目前仅在训练时使用，未来可探索其用于**推理加速**（如早期去噪）或**预测集成**。 - 尚未在更大模型、更长视频或融合物理仿真数据的设置下进行验证。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ruopeng Gao,Yukun Huang,Jiarui Hu,Shuai Wang,Wenbo Hu,Ying Shan,Limin Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.29989.pdf

Arxiv URL: https://arxiv.org/abs/2610.29989

Arxiv ID: 2610.29989

CoolPaper URL: https://papers.cool/arxiv/2610.29989

Published: 2026-10-23T01:56:33.865Z

Updated: 2026-10-23T01:56:33.865Z

5. Cache Engineering for Agents

Abstract:Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM’s maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little context is retained to limit re-prefill costs. We propose cache engineering as a new scheme. It allows agents to directly control their active KV cache without modifying the trajectory or re-prefilling retained context. Specifically, agents can proactively use drop to exclude selected cache from future attention and repos to adjust retained keys’ position encodings. We formalize these cache operations and identify history dependence as a serving challenge: identical token sequences can yield different cache states under different cache operation sequences, making prefix matching insufficient for correct cache reuse. Thus, we co-design the AKV serving engine. It provides a stateless interface compatible with existing serving APIs, while internally managing stateful cache reuse, eviction, and restoration. Experiments show that a tool-response rolling-drop cache policy improves average benchmark scores by 1.7 points and reduces average cost by 27.7%, compared with conventional threshold-triggered summarization. With AKV, it achieves up to 1.2x the output throughput and a 1.5x speedup in P95 request latency. Recursive self-improvement of cache policies further reduces cost by 7.1% over expert design. Our code is at this https URL.

中文摘要

摘要：大型语言模型（LLM）代理可以处理越来越复杂的任务，能够导航长时间的观察和动作轨迹。随着这些轨迹的增长，键值（KV）缓存的输入输出和存储成为主要成本。轨迹也可能超过LLM的最大上下文长度，因此需要控制活跃缓存的增长。先前的工作使用上下文工程通过修剪或总结历史来减少缓存大小。然而，修改轨迹前缀会使后续缓存状态失效，并触发昂贵的已保留上下文的重新填充。当保留的上下文过少以限制重新填充成本时，任务的准确性也可能下降。我们提出了缓存工程作为一种新方案。它允许代理直接控制其活跃KV缓存，而无需修改轨迹或重新填充保留的上下文。具体来说，代理可以主动使用drop排除未来注意力中的选定缓存，并使用repos调整保留键的位置编码。我们形式化了这些缓存操作，并将历史依赖识别为服务中的挑战：在不同的缓存操作序列下，相同的令牌序列可能产生不同的缓存状态，使前缀匹配不足以实现正确的缓存重用。因此，我们共同设计了AKV服务引擎。它提供了与现有服务API兼容的无状态接口，同时在内部管理状态缓存的重用、驱逐和恢复。实验表明，与传统的阈值触发总结方法相比，工具-响应滚动丢弃缓存策略将平均基准分数提高了1.7分，并将平均成本降低了27.7%。使用AKV，它实现了高达1.2倍的输出吞吐量和P95请求延迟的1.5倍加速。缓存策略的递归自我改进进一步将成本比专家设计降低了7.1%。我们的代码可在此https URL获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决大型语言模型（LLM）智能体在长程任务执行中面临的\*\*键值（KV）缓存爆炸与高效推理\*\*问题，具体涵盖以下四个层面： ### 1. 推理成本与任务准确率的两难困境随着智能体轨迹（trajectory）不断增长，KV 缓存的存储与 I/O 开销成为推理成本的主导因素（占 API 成本 82.4% 以上）。现有基于\*\*上下文工程（context engineering）\*\*的方法通过修剪或总结历史消息来缩减缓存，但编辑轨迹前缀会导致后续已缓存状态失效，触发代价高昂的\*\*重新预填充（re-prefill）\*\*。为控制重计算开销，现有系统通常推迟缩减直至达到上下文长度阈值，再激进地总结历史、仅保留少量近期轮次，这又会造成关键信息丢失，显著降低任务准确率。因此，现有方案陷入\*\*重预填充成本\*\*与\*\*上下文信息保留\*\*之间的根本冲突。 ### 2. 直接控制活跃 KV 缓存的算法缺失论文提出需要一种\*\*缓存工程（cache engineering）\*\*的新范式，使智能体能够在\*\*不修改文本轨迹\*\*、\*\*不对保留上下文进行重计算\*\*的前提下，直接控制参与后续注意力的活跃 KV 缓存。这要求形式化新的缓存操作（如 \`drop\` 排除选定缓存条目、\`repos\` 调整保留键的位置编码），并确保这些操作在自回归生成中的语义正确性。 ### 3. 历史依赖性带来的服务层挑战缓存工程引入了一个关键的系统级难题：\*\*历史依赖性（history dependence）\*\*。在标准 KV 缓存中，令牌前缀完全决定缓存状态；但在缓存工程中，相同的令牌前缀与保留位置在不同缓存操作历史下（例如先追加后删除 vs. 先删除后追加）会产生不同的缓存状态。这使得传统基于前缀匹配的缓存复用机制不再充分，需要重新设计 Serving 系统以正确跟踪、复用、驱逐和恢复这些状态，同时保证请求隔离。 ### 4. 高效 Serving 系统的落地为将缓存工程的理论效率转化为实际的墙钟延迟和吞吐提升，论文需要解决如何在兼容现有 API 的前提下，为智能体提供\*\*无状态接口（stateless interface）\*\*，同时在服务端内部高效管理有状态的缓存复用、逐出与恢复机制，避免多轮交互中的物理缓存管理复杂性暴露给智能体或调用方。简言之，该工作通过提出\*\*缓存工程\*\*及其配套 Serving 系统 \*\*AKV\*\*，试图系统性解决长程智能体执行中 KV 缓存成本过高、上下文窗口受限、以及现有文本级上下文编辑方法导致的重计算开销与信息丢失问题。 Q2: 有哪些相关研究？根据论文第 2 节“Related Work”及附录 A.5，相关研究可归纳为以下四个方向： ### 1. 智能体上下文工程（Agent Context Engineering）这类研究在\*\*文本层面\*\*通过总结或修剪交互历史来控制上下文长度，使智能体能够处理超出模型上下文窗口的长程任务。 - \*\*基于总结的缩减\*\*：通过启发式规则（Wu et al., 2025）或智能体自主决策（Ye et al., 2025; Sun et al., 2025）触发历史总结。后续工作进一步利用强化学习（Lu et al., 2025）或优化压缩指南（Kang et al., 2025）提升总结质量。 - \*\*基于修剪的缩减\*\*：直接移除相关性较低的历史上下文（Lindenbauer et al., 2025; Zhang et al., 2026），避免总结带来的成本与复杂性。 - \*\*核心困境\*\*：编辑较早的文本前缀会改变轨迹，导致后续已缓存的 KV 状态失效，必须对保留的后缀进行\*\*重新预填充（re-prefill）\*\*，从而在重计算成本与信息保留之间形成两难。 ### 2. KV 缓存压缩、驱逐与复用（KV Cache Compression, Eviction, and Reuse）这类研究在\*\*缓存层面\*\*直接降低存储与计算开销，可分为三类： - \*\*压缩方法\*\*：利用低秩表示（Liu et al., 2024a; Wang et al., 2024a）、量化（Liu et al., 2024b; 2026b）或聚合（Fu et al., 2025b; Wang et al., 2024b）更紧凑地表示缓存条目。 - \*\*驱逐方法\*\*：基于 token 位置（Xiao et al., 2024）或注意力重要性分数（Zhang et al., 2023; Li et al., 2024; Fu et al., 2025a; Yang et al., 2026）识别并移除低价值缓存条目。 - \*\*复用方法\*\*：通过调整位置编码（Gao et al., 2024; Ma et al., 2026; Ordonez & Parnell, 2026）或部分重计算（Wang et al., 2025），使已有缓存状态适应不同的上下文前缀或位置偏移。 ### 3. 服务系统中的 KV 缓存管理（KV Cache Management in Serving Systems）这类研究关注推理引擎层面的系统级优化： - \*\*前缀缓存（Prefix Caching）\*\*：在具有共同前缀的请求之间共享 KV 状态，同时保证与完整预填充的等价性（Zheng et al., 2024; Ye et al., 2024）。 - \*\*面向智能体负载的优化\*\*：通过批量处理上下文编辑以减少缓存失效（Xu et al., 2026），或将重预填充与正在进行的执行重叠以隐藏延迟（Pan et al., 2026）。 - \*\*本文差异\*\*：缓存工程要求服务系统额外跟踪\*\*缓存操作历史\*\*，因为相同的 token 前缀在不同操作序列下会产生不同的缓存状态，传统前缀匹配不再充分。 ### 4. 同期工作（Concurrent Works）附录 A.5 补充了与本文并行的几项研究： - \*\*AgentKV\*\*（Liu et al., 2026a）：利用不同执行阶段的查询缓冲区对 KV 条目进行阶段感知打分，避免纯基于最近性的驱逐策略丢失关键信息。 - \*\*IntentKV\*\*（Li et al., 2026）：结合跨轮次查询记忆与学得的重要性估计，在有限缓存预算下保留有价值的历史。 - \*\*SideQuest\*\*（Kariyappa & Suh, 2026）：引入辅助推理分支来识别陈旧的工具结果并发出缓存删除指令，但其策略目前局限于工具响应，且服务集成针对特定驱逐工作流定制。 - \*\*Context Language Models (CLMs)\*\*（Shao et al., 2026）：将实时上下文视为可编辑文件并学习如何维护，同时提出 Suffix Cache Reuse 以在文本编辑后保留未改变的下游 KV 状态；但其服务支持主要局限于会话本地复用，缺乏对历史依赖状态的统一索引、管理与恢复机制。 Q3: 论文如何解决这个问题？论文通过提出\*\*缓存工程（Cache Engineering）\*\*及其配套推理引擎 \*\*AKV\*\*，从算法抽象、服务系统实现及策略优化三个层面系统性地解决了长程智能体执行中的 KV 缓存困境。 --- ## 一、核心思想：直接操控活跃 KV 缓存与\*\*上下文工程（Context Engineering）\*\*通过修改文本历史（修剪或总结）来间接触发缓存重建不同，缓存工程让智能体直接控制\*\*活跃 KV 缓存（active KV cache）\*\*： - \*\*不修改逻辑轨迹\*\*：保留完整的文本消息历史，仅将选定的 KV 条目排除在未来注意力计算之外； - \*\*避免重预填充（re-prefill）\*\*：保留的 KV 状态直接复用，无需因前缀编辑而重新计算； - \*\*增量式精细控制\*\*：智能体可以在每一轮交互后逐步丢弃旧的缓存，而非等到触发阈值后一次性激进总结。 --- ## 二、形式化的缓存操作原语论文定义了三种确定性操作，将缓存状态的变化显式化： ### 1. 追加（Append）标准的新 token 处理操作：

append(x(t+1)) : C arrow [C; C(t+1)]
其中 C 为当前活跃缓存， C_(t+1) 为新 token 的 KV 状态。 ### 2. 丢弃（Drop）将指定逻辑位置的 KV 条目从未来注意力中移除，但**不改变**保留条目的位置编码，也不改变逻辑 token 序列：

drop(P) : C arrow C setminus C_i : i ∈ P
P 为待丢弃的活跃逻辑索引集合。 ### 3. 重定位（Repos）调整保留缓存键（Key）的位置编码，并重置后续追加 token 的位置索引。对于 RoPE（Rotary Position Embedding），将位置 p 的键 K 移动到位置 q ：

K arrow R(q) R(p)^(-1) K
其中 R(·) 为旋转矩阵。值（Value）保持不变。 —- ## 三、处理历史依赖性（History Dependence）缓存工程引入了一个关键算法性质：**相同的 token 前缀和保留位置，在不同操作历史下会产生不同的缓存状态。** 例如，轨迹 ① 先追加 C 再丢弃 A ，与轨迹 ② 先丢弃 A 再追加 C ，虽然最终都保留了 B 和 C ，但 C 的 KV 状态在 ① 中计算时注意力可见 A ，而在 ② 中不可见。因此：

pθ(x(t+1) mid xt, C(1:t-1)^((1))) ≠ pθ(x(t+1) mid xt, C(1:t-1)^((2)))
论文将完整的操作历史显式编码为**缓存操作序列（cache operation sequence）**：
o(1:m) = (o_1, dots, o_m), quad o_j ∈ append(x), drop(P), repos
这一形式化为后续服务系统的正确复用与恢复奠定了理论基础。 —- ## 四、AKV 服务系统：无状态接口，有状态内部管理 AKV 遵循“**无状态接口，有状态服务**”的原则，兼容现有 API，同时内部处理复杂的历史依赖。 ### 1. 无状态接口（Stateless Interface）智能体在请求中通过 `messages` 提供完整逻辑 token 序列，并通过新增的 `cache` 字段声明 `drop` 与 `repos` 操作（采用 “operate-after” 语法）。智能体无需追踪服务器上哪些 KV 物理驻留，也无需关心其他请求的缓存状态。 ### 2. 扩展基数树（Extended Radix Tree）为解决历史依赖导致的前缀匹配失效问题，AKV 在传统基数树中引入两类特殊节点： - **Drop 节点（ Delta ）**：记录在何时丢弃了哪些逻辑索引，使得相同 token 前缀但不同丢弃时机的轨迹分叉为不同分支； - **Repos 节点（ R ）**：记录重定位操作，区分同一 token 在不同位置编码下的缓存版本。前缀匹配时，系统同时比对 token 序列与操作历史，确保复用的缓存状态在计算历史上完全等价。 ### 3. 丢弃感知驱逐（Drop-Aware Eviction） AKV 利用 drop 信息提前回收物理内存： - 某条 KV 缓存仅当**没有任何正在进行的计算或恢复需要它**时才可被驱逐； - 被 drop 的缓存优先于已完成请求但可能被下轮复用的缓存进行驱逐； - 驱逐仅释放物理存储，保留树节点作为空占位，使下游缓存仍可通过前缀匹配访问。 ### 4. 分段批量注意力（Segment-Batch Attention）当物理缓存缺失或需要恢复时，AKV 在**单次前向传播（single prefill pass）**内重建所有所需状态，而非逐段重放操作历史。具体地： - 查询（Queries）在 `drop` 和 `repos` 的触发点被切分为多个段； - 每段仅对其可见的 token 和活跃缓存执行标准因果注意力； - 注意力计算按段区分，但 FFN 层对整个序列统一处理，避免重复读取权重。 —- ## 五、缓存策略与自优化 ### 1. 工具响应滚动丢弃（Tool-Response Rolling Drop）基于注意力分析（旧工具响应获得的注意力显著低于推理文本和近期历史），论文提出保留所有推理（assistant）KV 与最新 K 轮工具响应 KV，滚动丢弃更早的工具响应。该策略在四项基准上平均降低 27.7% 成本，同时提升 1.7 分任务准确率。 ### 2. 递归自我改进（Recursive Self-Improvement, RSI）将缓存工程策略视为可搜索空间，利用智能体自身迭代优化丢弃与重定位规则。实验表明，RSI 在保持基线准确率的前提下，相较专家设计进一步降低 7.1% 成本。 ### 3. 缓存即工具（Cache-As-Tool）将缓存管理暴露为智能体可调用的工具，由模型自主决定何时缩减缓存及保留内容，在部分基准上取得了最高的任务通过率。 —- ## 六、总结论文的解决方案可概括为：**通过显式的缓存操作原语（append / drop / repos）使智能体直接操控活跃 KV 状态，利用形式化的操作序列刻画历史依赖性，并协同设计 AKV 服务系统（扩展基数树、丢弃感知驱逐、分段批量注意力）以在兼容现有 API 的前提下实现高效的缓存复用、驱逐与恢复。** 最终，这一方案在多项智能体基准上同时实现了更低的推理成本和更高的任务成功率，并在真实服务场景中带来最高 1.2× 的吞吐提升与 1.5× 的 P95 延迟加速。 Q4: 论文做了哪些实验？论文的实验围绕**任务性能**、**服务效率**、**机制消融**与**策略优化**四个维度展开，涵盖三个模型、四项智能体基准测试及多项系统级指标。具体实验内容如下： —- ### 1. 实验设置 **对比方法** - **Standard**：采用模型特定的上下文总结阈值（GPT-OSS-120B 与 MiniMax-M2.7 为 96K；MiroThinker-1.7-Mini 为 192K）。 - **Text Engineering**：采用更低的 48K 统一总结阈值。 - **AKV**：采用**工具响应滚动丢弃（tool-response rolling-drop）**策略，保留最新 12 轮工具响应的 KV 状态；`repos` 阈值与 Standard 相同。 **模型** - MiniMax-M2.7（230B 总参，10B 活跃） - GPT-OSS-120B（5.1B 活跃） - MiroThinker-1.7-Mini（30B 总参，3B 活跃） **基准测试** - **BrowseComp-Plus (BCP)**：深度研究型浏览任务 - **xbench-DeepSearch-2510 (xbench-DS)**：深度搜索任务 - **GAIA-Text**：103 任务的文本验证子集 - **SWE-bench Verified**：软件工程任务 **评估指标** - 任务成功率 / 通过率（pass rate） - 平均任务 API 等效成本（美分），按 cache-miss / cache-hit / output 分档计费 - 服务指标：请求延迟（mean / P95）、首 token 时间 TTFT（mean / P95）、每输出 token 时间 TPOT（mean / P95）、输入/输出吞吐（tokens/s） **服务配置** - 8 × NVIDIA A800-80GB GPU，BF16 精度 - 预填充（prefill）与解码（decode）各 4 卡，张量并行 TP=4 - 基线与 AKV 均基于 SGLang v0.5.20 —- ### 2. 任务性能实验 **跨模型基准结果（Table 1）** 在四项基准上，AKV 相较于两种上下文工程基线： - 平均成功率提升 **1.3–2.1%**（相对 Standard）与 **0.9–8.7%**（相对 Text Engineering） - 平均推理成本降低 **27.7%**（相对 Standard）与 **21.9%**（相对 Text Engineering）其中，GPT-OSS-120B 在 BCP 上从 Standard 的 57.5% 提升至 61.9%，成本从 13.1 美分降至 11.4 美分；MiroThinker-1.7-Mini 在 BCP 上从 Standard 的 60.0% 提升至 63.5%，成本从 25.2 美分降至 15.3 美分。 **按上下文长度的准确率分解（Figure 7）** 在 GPT-OSS-120B 的 BCP 任务中： - 当逻辑序列长度低于 48K 时，三种方法准确率相近； - 在 48–96K 区间，Text Engineering 因激进总结准确率最低； - 超过 96K 后，Standard 因触发总结而准确率显著下降，AKV 则保持相对稳定。 —- ### 3. 服务效率实验 **不同并发下的延迟与吞吐（Table 2）** 在 SWE-bench Verified 的 Top-80 长上下文任务上，对比了并发度 C ∈ 8, 10, 12, 14, 16 ： - AKV 在各并发下均实现更低的请求延迟和更高的输入吞吐。 - 在峰值吞吐配置（AKV at C=14 vs. Standard at C=12 ）： - 平均请求延迟降低至 **7.79 s**（Standard 为 12.39 s），加速 **1.36×** - P95 请求延迟降低至 **25.93 s**（Standard 为 43.16 s），加速 **1.51×** - 输入吞吐提升 **1.53×**，输出吞吐提升 **1.18×** **在线评估与吞吐曲线（Figure 9）** - **(a)** 累积通过率 vs. GPU 小时：AKV 以最少的 GPU 时间达到最高的最终通过率。 - **(b)** 累积通过率 vs. 累积逻辑输入 token：AKV 随输入增加持续提升通过率，最终超越基线。 - **(c)** 服务吞吐 vs. 并发：AKV 的峰值输出吞吐更高。 **延迟与成本分解（Appendix Figure 12, 13）** - AKV 单步解码的全注意力时间较 Standard 减少 **59.8%**，主要来自短化的活跃上下文。 - 成本分解显示：AKV 通过减少 cache 读取量降低约 17% 成本，通过避免 re-prefill 降低约 48% 的 cache-miss 输入成本。 —- ### 4. 消融实验 **丢弃目标与重定位策略（Table 3）** 在 GPT-OSS-120B 的 BCP 与 SWE 子集上： - **Tool drop + repos**：BCP 62.0% / SWE 41.0%，表现最优。 - **Tool drop 无 repos**：BCP 55.0%，说明超出位置限制后 `repos` 对性能至关重要。 - **Reasoning drop（无论是否联合 tool drop）**：均低于仅丢弃工具响应，证实旧工具响应是更安全的丢弃目标。 —- ### 5. 缓存策略优化实验 **递归自我改进（RSI）（Figure 4）** 使用 MiniMax-M2.7 在 20 个 BCP 任务上迭代优化缓存策略，在 100 个保留任务上评估： - 第 3 轮策略较 Standard 成本降低 **15.6%** - 第 6 轮策略成本降低 **17.8%**，同时保持基线准确率 **缓存即工具（Cache-As-Tool）（Table 4）** 将 `drop` / `repos` 暴露为智能体可调用的工具，在 100 任务 BCP 子集上： - GPT-OSS-120B：通过率 **61.0%**（Standard 52.1%），成本降至 12.1 美分 - MiniMax-M2.7：通过率 **64.0%**（Standard 56.0%） —- ### 6. 附加模型与机制验证 **附加模型（Appendix Table 7）** 在 GPT-OSS-20B 上的四项基准平均： - AKV 通过率 **45.2%**，高于 Standard（44.0%）与 Text Engineering（38.2%） - 平均成本 4.8 美分，与 Text Engineering（4.6 美分）相当 **注意力密度分析（Appendix Figure 15）** 对 10 条 BCP 轨迹的逐层注意力可视化表明： - 旧工具响应在多数层中获得的注意力密度低于旧推理文本； - 近期历史普遍获得更高注意力。该观察为“优先丢弃旧工具响应”的滚动丢弃策略提供了实证依据。 **与现有 Harness 的兼容性（Appendix A.4.3）** 将 AKV 集成到 Pi agent harness 后，在 BCP 上： - GPT-OSS-120B 与 GPT-OSS-20B 的准确率均比原生 Pi（无压缩）提升 3%，比 Pi（有压缩）提升 4%。 Q5: 有什么可以进一步探索的点？基于论文结论中的局限性讨论及全文技术脉络，以下方向具有进一步探索价值： —- ### 1. 自适应与学习型缓存策略论文展示了递归自我改进（RSI）在策略优化上的潜力，但当前策略空间仍相对有限。未来可探索： - **强化学习驱动的策略搜索**：将缓存预算、任务进度、历史注意力分布作为状态空间，以推理成本与任务收益构建奖励函数，学习何时执行 drop(P) 或 repos 的最优决策序列。 - **动态预算分配**：论文采用固定保留轮数（如 K=12 ），而任务复杂度在不同阶段差异显著。可引入在线启发式或元学习机制，根据当前轨迹长度、工具调用频率与注意力熵动态调整活跃缓存容量。 —- ### 2. 面向缓存工程的模型训练与微调论文明确提及 “training agents under this scheme” 为未来工作。现有智能体通常在完整上下文条件下训练，并未适应 KV 被部分丢弃或位置重编码后的分布偏移。潜在路径包括： - **训练时注入缓存操作**：在预训练或后训练阶段随机施加 drop 与 repos 操作，使模型学会在受限的历史依赖条件下进行推理，降低对绝对位置索引的敏感性。 - **指令微调（SFT）与偏好对齐（RLHF）**：构造包含显式缓存控制指令的数据集，教会模型主动发出缓存管理请求（如 “当前工具结果无需长期保留”），实现更高层次的智能体自主性。 —- ### 3. 新型注意力架构的适配论文主要面向基于 softmax 的 Transformer 与 RoPE 位置编码，并在 Limitations 中指出需扩展至线性注意力模型。进一步的方向包括： - **线性注意力与状态空间模型（SSM）**：此类模型的缓存形式并非标准 KV 张量，而是固定大小的状态向量或门控记忆。需重新形式化 drop 与 repos 的语义，例如通过状态掩码或时间维度上的状态重置。 - **MLA（Multi-head Latent Attention）与压缩表示**：若缓存以低维潜变量形式存储，需研究如何在潜空间中执行选择性丢弃与位置调整，避免显式解码带来的开销。 —- ### 4. 系统安全与多租户隔离 AKV 当前的扩展基数树与缓存复用机制主要针对单智能体轨迹优化。在开放服务场景中： - **请求隔离与侧信道防护**：共享前缀缓存若结合缓存操作历史，可能泄露其他用户的执行路径（例如通过 Delta 节点推断前序操作）。需要设计加密或访问控制机制，确保不同智能体间的缓存状态不可互相推断。 - **有状态服务的容错与检查点**：AKV 内部维护有状态缓存图，在分布式扩容、故障恢复或迁移场景中，如何保证操作历史与物理缓存的一致性仍待探索。 —- ### 5. 与压缩技术的联合优化论文将缓存工程（操作层面）与缓存压缩（表示层面）视为正交方向，但二者联合可产生更大收益： - **混合精度与稀疏化保留**：对经 drop 筛选后保留的高价值 KV 条目采用 4-bit 或 2-bit 量化（如 Kivi、SpinQuant），而对被丢弃条目直接释放，形成 “选择性精确保留 + 全局紧凑存储” 的分层方案。 - **低秩近似与 repos 的协同**：在执行位置重编码时，若保留的键张量具有低秩结构，可同步进行低秩投影以减少旋转计算的 FLOPs。 —- ### 6. 多模态与多智能体场景的扩展 - **跨模态缓存控制**：视觉-语言智能体中，图像 patch 的 KV 缓存通常远超文本 token。可探索针对视觉缓存的 drop 策略（如丢弃早期浏览页面的图像特征，保留当前截图）。 - **多智能体缓存迁移与共享**：在多智能体协作任务中（如论文引用的 latent collaboration），一个智能体丢弃的缓存可能恰好是另一智能体所需的历史上下文。设计智能体间的缓存迁移协议，可避免重复预填充并提升群体推理效率。 —- ### 7. 更细粒度的操作原语与理论分析 - **子 token 级与头级操作**：当前 drop(P) 按逻辑 token 索引移除。未来可研究 head-level 掩码，即在不同注意力头中保留不同历史子集，以更细粒度匹配多头注意力的专业化模式。 - **位置重编码的理论边界**： repos 通过 R(q)R(p)^(-1) 旋转键向量，但大规模位置跳跃可能对模型的长程依赖与上下文学习（in-context learning）能力产生非线性影响。建立位置调整与输出分布变化之间的形式化误差界，可为策略设计提供理论保证。 Q6: 总结一下论文的主要内容这篇论文针对大型语言模型（LLM）智能体在长程任务执行中面临的键值（KV）缓存爆炸问题，提出了**缓存工程（Cache Engineering）**的新范式，并协同设计了服务系统 **AKV**，实现了在不修改文本轨迹、不重新预填充保留上下文的前提下，直接、高效地控制活跃 KV 缓存。 ### 1. 研究背景与核心问题随着智能体任务轨迹增长，KV 缓存的存储与 I/O 开销成为推理成本的主导因素（占 API 成本 82.4% 以上），且可能超出模型的最大上下文长度。现有方法主要依赖**上下文工程（Context Engineering）**，通过修剪或总结历史消息来缩减上下文。然而，编辑文本前缀会改变轨迹，导致后续已缓存的 KV 状态失效，触发代价高昂的**重新预填充（re-prefill）**。为控制重计算开销，现有系统往往推迟缩减直至达到阈值，再激进地总结历史、仅保留少量近期轮次，这又会造成关键信息丢失，形成**重预填充成本**与**任务准确率**之间的根本冲突。 ### 2. 缓存工程：核心思想与操作原语缓存工程的核心思想是：**直接操控活跃 KV 缓存，而非修改逻辑 token 序列**。智能体可以通过显式的缓存操作原语，在不重写轨迹、不复用保留缓存的情况下，精确控制哪些 KV 参与未来注意力。论文形式化了三种确定性操作： - **追加（Append）**：标准操作，处理新 token x(t+1) 并追加其 KV 状态：

append(x(t+1)) : C arrow [C; C(t+1)]

**丢弃（Drop）**：将指定逻辑索引集合 P 的 KV 条目从未来注意力中移除，保留条目的位置编码与逻辑序列均不变：
drop(P) : C arrow C setminus C_i : i ∈ P
**重定位（Repos）**：调整保留键（Key）的位置编码，并重置后续追加 token 的位置索引。对于 RoPE，将位置 p 的键 K 移动到 q ：
K arrow R(q) R(p)^(-1) K
其中 R(·) 为旋转矩阵，值（Value）保持不变。 ### 3. 历史依赖性挑战缓存工程引入了一个关键的算法性质——**历史依赖性（history dependence）**：相同的 token 前缀与保留位置，在不同缓存操作历史下（如先追加后丢弃 vs. 先丢弃后追加）会产生不同的 KV 状态。例如，轨迹 ① 先追加 C 再丢弃 A ，与轨迹 ② 先丢弃 A 再追加 C ，虽然最终都保留 B 和 C ，但 C 的 KV 在 ① 中计算时注意力可见 A ，在 ② 中不可见。因此，完整的**缓存操作序列**：

o_(1:m) = (o_1, dots, o_m), quad o_j ∈ append(x), drop(P), repos
与 token 序列共同决定了模型的输出分布，传统仅基于 token 前缀的缓存复用机制不再充分。 ### 4. AKV 服务系统为支撑缓存工程的落地，论文协同设计了 **AKV** 推理引擎，遵循“**无状态接口，有状态服务**”原则： - **无状态接口**：兼容现有 API，智能体在请求中通过 `messages` 提供完整逻辑序列，通过 `cache` 字段声明 `drop` 与 `repos` 操作，无需追踪服务器物理缓存状态。 - **扩展基数树（Extended Radix Tree）**：引入 **Drop 节点（ Delta ）** 记录丢弃时机与索引，引入 **Repos 节点（ R ）** 记录位置重编码历史，使得前缀匹配同时校验 token 序列与操作历史，确保正确复用。 - **丢弃感知驱逐（Drop-Aware Eviction）**：被丢弃的 KV 若不再被任何计算或恢复依赖，可优先回收物理存储，但保留树节点占位，维持下游缓存的可访问性。 - **分段批量注意力（Segment-Batch Attention）**：在单次前向传播内恢复缺失的缓存状态。查询在 `drop` 与 `repos` 触发点切分为多段，每段独立执行因果注意力，FFN 层则统一处理，避免重复权重读取。 ### 5. 实验结果论文在 **MiniMax-M2.7、GPT-OSS-120B、MiroThinker-1.7-Mini** 三个模型，以及 **BrowseComp-Plus、GAIA-Text、SWE-bench Verified、xbench-DeepSearch-2510** 四项长程智能体基准上进行了评估： - **任务性能**：采用**工具响应滚动丢弃（tool-response rolling-drop）**策略（保留最新 12 轮工具响应 KV，丢弃更早的工具响应），平均成功率较 Standard 提升 **1.3%**，较 Text Engineering 提升 **0.9–8.7%**；平均推理成本较 Standard 降低 **27.7%**，较 Text Engineering 降低 **21.9%**。 - **服务效率**：AKV 在 8×A800 GPU 上，于峰值吞吐配置下实现 **1.36×** 的平均请求延迟加速与 **1.51×** 的 P95 延迟加速，输出吞吐提升 **1.18×**，输入吞吐提升 **1.53×**。 - **策略优化**：通过**递归自我改进（RSI）**自动搜索缓存策略，在保持准确率的同时进一步降低成本 **7.1%**；将缓存管理暴露为智能体可调用的工具（Cache-As-Tool），在部分基准上取得了最高的任务通过率。 ### 6. 结论缓存工程通过将 KV 缓存的控制权从系统隐式管理提升为智能体的显式可编程接口，突破了传统上下文工程在成本与准确率之间的权衡瓶颈。AKV 系统通过扩展基数树与分段批量注意力等机制，解决了历史依赖性带来的服务层挑战，将算法层面的效率增益转化为实际的低延迟与高吞吐。论文指出，未来工作可进一步探索面向缓存工程的模型训练、更复杂的策略学习，以及向线性注意力等新型架构的扩展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tianyu Fu,Ruoxi Wang,Zihan Min,Zhongqi Ren,Zhihao Li,Tengxuan Liu,Shengxu Mu,Hanling Zhang,Yu Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.28577.pdf

Arxiv URL: https://arxiv.org/abs/2610.28577

Arxiv ID: 2610.28577

CoolPaper URL: https://papers.cool/arxiv/2610.28577

Published: 2026-10-23T01:56:33.881Z

Updated: 2026-10-23T01:56:33.881Z

6. Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

Abstract:A login screen that appears after a tap on Sign in is expected; the same screen after a tap on View order is an attack. For GUI agents, safety is therefore a property of the transition rather than of the screen, and a monitor that inspects only screens can be defeated by reusing a legitimate one. Judging a transition requires an expectation of what should have followed the action. Existing GUI world models provide one, but they output it as text, code, or images, so checking it against the observed screen requires a second model to judge the two. We argue that a world model meant for verification should instead predict in the space in which observations are encoded, and present LGWM, a decoder-free, action-conditioned world model that predicts the representation of the next screen directly, trained without semantic annotation on 1.85M real GUI transitions. Verification reduces to a vector comparison, and the same signal reveals whether a mismatch is harmful. We evaluate on RSWT-BENCH, a diagnostic where each credential screen appears under both a legitimate and a hijacked transition, so detectors that see only the screen are at chance by construction. The training-free score reaches 0.987 AUC at 17 ms per decision, on par with the strongest closed-source VLMs and about ten AUC points above generative GUI world models at over three orders of magnitude lower latency. The residual direction reaches 0.953 AUC at separating harmful from benign violations, where prompted VLMs are near chance. Further analyses show that the prediction is a usable future state rather than an anomaly score. World models have mostly served as simulators or planners; our results point to a third role, verification, for which predicting in representation space is the natural design.

中文摘要

摘要：期望在点击“登录”后出现登录界面；而在点击“查看订单”后出现同样的界面则是一次攻击。因此，对于 GUI 代理而言，安全性是过渡行为的属性，而不是界面的属性，而仅检查界面的监控器可以通过重用合法界面来被规避。判断一次过渡需要对动作之后应出现的内容有预期。现有的 GUI 世界模型提供了这种预期，但它们以文本、代码或图像形式输出，因此将其与观察到的界面对比需要第二个模型来判断两者。我们主张，用于验证的世界模型应在观察被编码的空间中进行预测，并提出 LGWM，一种无需解码器、以动作为条件的世界模型，能够直接预测下一界面的表示，训练时无需语义注释，基于 185 万条真实 GUI 过渡数据。验证简化为向量比较，相同的信号也可以揭示不匹配是否有害。我们在 RSWT-BENCH 上进行了评估，这是一个诊断性测试，其中每个凭证界面在合法和被劫持的过渡下都会出现，因此仅看界面的检测器本质上是随机的。无训练分数在每次 17 毫秒的决策中达到 0.987 AUC，性能与最强的封闭源 VLM 相当，并且比生成式 GUI 世界模型高约十个 AUC 点，延迟降低超过三个数量级。残差方向在区分有害与正常违规行为时达到 0.953 AUC，而提示式 VLM 几乎处于随机水平。进一步分析表明，该预测是一种可用的未来状态，而非异常分数。世界模型大多用作模拟器或规划器；我们的结果表明了第三种用途——验证，对于这种用途，在表示空间中进行预测是自然的设计。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.11942 (HTTP 429)

Authors: Jiaming Zhang,Xuan Wang,Fuyao Zhang,Yang Cao,Lingjuan Lyu,Wei Yang Bryan Lim

Categories:

PDF URL: https://arxiv.org/pdf/2610.11942.pdf

Arxiv URL: https://arxiv.org/abs/2610.11942

Arxiv ID: 2610.11942

CoolPaper URL: https://papers.cool/arxiv/2610.11942

Published: 2026-10-23T01:56:37.975Z

Updated: 2026-10-23T01:56:37.975Z

7. Spectral-Spatial Interpretation

Abstract:Post-hoc image explanations usually show where a model looks using spatial heatmaps or indicate which channels matter using global channel scores. These separate views are limiting for multispectral data because channel relevance is often spatially localized and physically meaningful. We introduce Spectral-Spatial Interpretation (SSI), a full-grid attribution method over position-channel players (g,c). For each spatial position, SSI fixes the observed surrounding context, defines a conditional game over the channels at that position, and applies the Shapley value to this local game. The result is a full spectral-spatial attribution matrix rather than a single heatmap or a global channel ranking. SSI has a clear local interpretation. It satisfies Shapley fairness within each position, and aggregating its channel attributions exactly recovers the position-level contextual contrast obtained by replacing that position with the baseline. SSI also differs from context-averaged Owen-style hierarchical accounting, which uses the same position-channel grouping but averages over external spatial coalitions. On HLS Burn Scar, SSI outperforms an MC-Owen estimator across retained attribution metrics while using only about 6% of its evaluation budget. Across CUB-200, EuroSAT, and HLS Burn Scar under both per-channel mean and zero baselines, SSI achieves the best joint deletion and insertion AUC over dense, flat, and rank-1 baselines, yields the strongest spectral hit rates and channel deletion, and leads spatial localization on both annotated datasets. Code is available at this https URL.

中文摘要

摘要：事后图像解释通常使用空间热图显示模型观察的位置，或者使用全局通道分数指示哪些通道重要。这些独立视图对多光谱数据有一定局限性，因为通道的重要性往往在空间上具有局部性，并具有物理意义。我们引入了光谱-空间解释（Spectral-Spatial Interpretation，SSI），这是一种针对位置-通道（g,c）参与者的全网格归因方法。对于每个空间位置，SSI固定观测到的周围上下文，在该位置的通道上定义条件博弈，并将Shapley值应用于此局部博弈。结果是一个完整的光谱-空间归因矩阵，而不是单一热图或全局通道排名。SSI具有明确的局部解释性。它在每个位置内满足Shapley公平性，并且聚合其通道归因可精确恢复通过将该位置替换为基线获得的位置信息级上下文对比。SSI还不同于上下文平均的Owen型分层核算，该方法使用相同的位置-通道分组，但对外部空间联盟进行平均。在HLS烧痕数据集上，SSI在保留的归因指标上优于MC-Owen估计器，同时仅使用其评估预算的大约6%。在CUB-200、EuroSAT和HLS烧痕数据集上，无论是按通道均值还是零基线，SSI在密集、平面和秩-1基线上都实现了最佳的联合删除和插入AUC，产生最强的光谱命中率和通道删除效果，并在两个带注释的数据集上实现了空间定位。代码可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.21114 (HTTP 429)

Authors: Haotian Ma,Ruqi Yang,Philip Townsend

Categories:

PDF URL: https://arxiv.org/pdf/2610.21114.pdf

Arxiv URL: https://arxiv.org/abs/2610.21114

Arxiv ID: 2610.21114

CoolPaper URL: https://papers.cool/arxiv/2610.21114

Published: 2026-10-23T01:56:38.468Z

Updated: 2026-10-23T01:56:38.468Z

8. Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

Abstract:Agent learning is shifting from learning from human data toward learning through interaction with the world. However, scaling such learning directly in real-world computer systems is challenging and can introduce substantial security risks. We therefore propose Agent World Model in the Wild (WildAWM), a scalable pipeline for synthesizing controllable environments and tasks for training general computer-use agents (CUAs). Whereas existing approaches typically specialize in a single agent interaction interface, we construct executable environments that jointly support graphical user interfaces, model context protocol services, and command-line interfaces, allowing agents to flexibly combine visual interaction, tool use, and code execution. WildAWM is entirely powered by open-source models, demonstrating that high-quality computer-use environments can be generated without proprietary frontier models. Beyond environments, we address three recurring challenges in task synthesis: ensuring solvability, maintaining sufficient difficulty, and producing reliable verifiers, by introducing execution-based quality gates that combine heterogeneous agent rollouts, cross-judge consistency checks, and counterfactual probes of judgment robustness. The resulting pipeline synthesizes 341 long-horizon environment-task pairs that can require over 100 agent steps to solve and remain challenging even for frontier models, with GPT-6-Astra solving only 60% of them. We train two Qwen models of different sizes exclusively in these synthetic worlds. Both models achieve substantial gains across 8 out-of-distribution benchmarks spanning web, claw, and computer-use agents, demonstrating that learning in WildAWM’s synthesized worlds generalizes broadly to unseen computer-use tasks. The code is publicly available at this https URL.

中文摘要

摘要：智能体学习正从从人类数据中学习转向通过与世界互动进行学习。然而，直接在现实世界的计算机系统中扩展这种学习具有挑战性，并且可能引入大量安全风险。因此，我们提出了“野外智能体世界模型”（WildAWM），这是一个可扩展的流水线，用于合成可控的环境和任务，以训练通用计算机使用智能体（CUA）。现有方法通常专注于单一的智能体交互接口，而我们构建的可执行环境同时支持图形用户界面、模型上下文协议服务和命令行界面，使智能体能够灵活地结合视觉交互、工具使用和代码执行。WildAWM 完全依赖开源模型，证明了无需专有前沿模型即可生成高质量的计算机使用环境。除了环境，我们还解决了任务合成中的三大常见挑战：确保可解性、保持足够的难度和生成可靠的验证器，通过引入基于执行的质量门控，结合异构智能体尝试、跨评审一致性检查以及判断稳健性反事实探测。最终，该流水线合成了 341 个需要超过 100 个智能体步骤才能解决的长周期环境-任务对，即使对于前沿模型仍具有挑战性，GPT-6-Astra 仅解决了其中的 60%。我们在这些合成世界中专门训练了两个不同规模的 Qwen 模型。两者在涵盖网页、抓取器和计算机使用智能体的 8 个分布外基准上都取得了显著提升，表明在 WildAWM 合成世界中的学习能够广泛泛化到未见过的计算机使用任务。代码已公开，可通过此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*如何为通用计算机使用智能体（Computer-Use Agents, CUAs）可扩展地合成高质量、可执行的交互环境与任务\*\*，以支持智能体从"学习人类数据"向"通过与世界的交互学习"转变，同时规避在真实计算机系统中直接进行强化学习（RL）训练所带来的安全风险和成本障碍。具体而言，论文针对以下三个层面的核心挑战展开： ### 1. 真实世界训练的可扩展性与安全性瓶颈 - \*\*状态难以重置\*\*：在线服务随时间动态变化，探索性行动可能产生不可逆的意外后果（如误操作真实账户、修改生产环境数据）。 - \*\*环境供给不足\*\*：手动构建的虚拟环境虽然可控且可验证，但成本高昂、难以大规模扩展。 ### 2. 现有合成环境的方法论局限 - \*\*交互界面单一化\*\*：既有工作通常只针对单一模态（如仅浏览器GUI、仅命令行CLI、仅模型上下文协议MCP），而真实的个人计算机任务要求智能体\*\*灵活组合\*\*视觉交互、工具调用与代码执行。 - \*\*对专有模型的依赖\*\*：现有高质量合成方案普遍依赖闭源前沿模型（如GPT-4/Gemini/Claude），限制了可复现性与社区可及性。 ### 3. 合成任务的质量与验证难题论文指出，合成任务若直接用于RL训练，必须同时满足三项常被忽视的要求： - \*\*可解性（Solvability）\*\*：任务必须在当前环境状态下确实存在可执行的成功路径； - \*\*足够难度（Sufficient Difficulty）\*\*：任务不能过于简单以至于无法提供有效的学习信号； - \*\*可靠的验证器（Reliable Verifiers）\*\*：需要自动化的、程序化的奖励/验证机制来区分成功完成与错误结果，而不能默认"前沿模型的判断必然正确"。为此，论文提出 \*\*WildAWM\*\* 这一完全由开源模型驱动的可扩展合成管线。该管线不仅构建同时支持 \*\*GUI + MCP + CLI\*\* 的可执行个人计算机环境，还通过\*\*基于执行的多智能体验证门控\*\*（execution-based quality gates）—— 包括异构智能体 rollout、交叉裁判一致性检验与反事实探测 —— 来系统性地筛选和修正任务，最终生成 341 个长程（可超过 100 步）、跨界面且附带可靠验证器的环境-任务对，以支撑通用 CUA 的在线强化学习训练。 Q2: 有哪些相关研究？根据论文第2节（Related Work）的内容，相关研究可归纳为以下三个主要方向： ### 1. 计算机使用智能体（Computer-Use Agents, CUAs）这类研究关注智能体如何通过不同接口与个人计算机交互： - \*\*图形用户界面（GUI）智能体\*\*：早期工作聚焦于通过视觉感知与网页或桌面应用交互，如基于HTML和可访问性树（accessibility tree）的Web导航智能体（He et al., 2024; Zheng et al., 2024; Zhou et al., 2024），以及面向桌面自动化的多应用工作流系统（Tan et al., 2024; Qin et al., 2025; Zhang et al., 2024; 2025a; Agashe et al., 2025）。 - \*\*扩展动作空间\*\*：近期研究逐步扩展了智能体的能力边界，引入命令行接口（CLI）操作（Zhou et al., 2026）、代码执行（Song et al., 2026）以及模型上下文协议（MCP）工具调用（Jia et al., 2025）。 - \*\*统一框架\*\*：一些工作尝试通过编程框架（如Claw-Agent）将异构工具统一暴露给智能体，包括OpenClaw（OpenClaw contributors, 2026）、Anthropic的Claude Code（Anthropic, 2025）、以及OpenCode（anomalyco, 2025）等。 ### 2. 环境合成（Environment Synthesis）随着交互式智能体训练需求增长，自动构建可执行环境成为研究热点： - \*\*专项交互环境\*\*：针对特定接口的合成环境包括Web交互（Zhou, 2026; Wu et al., 2026）、工具调用（Wang et al., 2026d; Du et al., 2026; Dong et al., 2026）、终端交互（Zhu et al., 2026; Ivison et al., 2026; Li et al., 2026）以及软件工程场景（Jain et al., 2025; Yang et al., 2025; Chen et al., 2026）。 - \*\*CUA专用环境合成\*\*： - \*\*GUI-GENESIS\*\*（Cao et al., 2026）：重建轻量级的Web应用程序； - \*\*WebArena-Infinity\*\*（Zhou, 2026）与\*\*CUA-Gym\*\*（Wang et al., 2026a）：分别合成浏览器环境和可验证的桌面/浏览器任务； - \*\*Gym-Anything\*\*（Aggarwal et al., 2026）：将现有软件直接转换为智能体环境，而非从零构建； - \*\*CUA-Universe\*\*（Shi et al., 2026）：为桌面应用增加CLI访问能力； - \*\*Synthetic Computers\*\*（Ge et al., 2026）：合成带有生产力工件的、用户特定的计算机环境。 ### 3. 任务合成（Task Synthesis）任务生成方法经历了从独立指令合成到与可执行环境深度耦合的发展： - \*\*早期方法\*\*：主要关注独立指令的合成，如Self-Instruct（Wang et al., 2023）、WizardLM（Xu et al., 2023）和Stanford Alpaca（Taori et al., 2023）。 - \*\*基于环境的任务合成\*\*：后续工作将任务锚定在可执行环境上，通过观察人类交互（Sun et al., 2024; Su et al., 2025）、环境探索（Pahuja et al., 2025; Wang et al., 2026c）或程序化生成（Yang et al., 2025）来产生任务。 - \*\*与可执行验证耦合的合成\*\*：近期方法强调任务与验证器的共同生成： - \*\*WebArena-Infinity\*\*（Zhou, 2026）：合成带有程序化验证器的、难度分级的浏览器任务； - \*\*Agent World Model (AWM)\*\*（Wang et al., 2026d）：利用可执行环境状态构建可靠的奖励函数； - \*\*CUA-Gym\*\*（Wang et al., 2026a）：将任务、环境状态和奖励作为可验证三元组共同生成。相比之下，WildAWM的差异化在于：构建\*\*统一\*\*的个人计算机世界（同时暴露GUI、MCP和CLI接口），并且整个合成与验证流程\*\*完全基于开源模型\*\*，而非依赖专有前沿模型。 Q3: 论文如何解决这个问题？论文通过提出 \*\*WildAWM\*\*（Agent World Model in the Wild）这一完全由开源模型驱动的可扩展合成管线来解决上述问题。该方案包含两个核心阶段：\*\*世界合成\*\*（World Synthesis）与 \*\*XAI 任务合成\*\*（XAI Task Synthesis），并配合针对性的强化学习（RL）训练策略。具体机制如下： --- ### 1. 世界合成：构建多接口可执行的个人计算机环境不同于针对单一应用或单一接口的合成方式，WildAWM 构建了一个\*\*统一的、可执行的个人计算机世界\*\*，同时支持三种交互接口： - \*\*图形用户界面（GUI）\*\*：集成 WebHarbor 提供的 15 个真实镜像网站（如 Amazon、Coursera、GitHub 等），提供丰富的视觉内容； - \*\*模型上下文协议服务（MCP）\*\*：合成电子邮件、日历、即时通讯、工单等后端服务及数据库； - \*\*命令行接口（CLI）\*\*：维护本地文件系统与脚本执行环境。合成过程采用\*\*角色驱动（Persona-Driven）\*\*的增量式构建： 1. \*\*角色与日程规划\*\*：首先使用开源模型（GLM-5.2）合成具有职业、社交关系和正在进行活动的虚拟角色（persona），并将其活动展开为跨越多天的日程计划（day plan）。 2. \*\*状态逐日物化\*\*：一个编程智能体（coding agent）按天逐步物化这些计划。第 d 天的世界状态 W(c, d) 基于前一天的状态 W(c, d-1) 扩展而来，确保活动连续性。每天的状态变更通过确定性的、可重放的脚本（如数据库写入、文件更新）实现。 3. \*\*技能增强复用\*\*：建立共享的\*\*事件技能库\*\*（event skill library）和\*\*应用实现库\*\*。例如，“学生注册 Coursera 课程并完成作业”被编码为一个技能，规定涉及的接口、状态变更和一致性约束。新角色或新日程优先匹配已有技能，缺失时才合成新的，从而提升规模化和一致性。最终，每个世界状态 W_0 = W(c, d) 都是一个包含网站数据、MCP 服务记录和本地文件的、可重置的完整个人计算机快照。 --- ### 2. XAI 任务合成：生成本质上需要跨接口协作的任务在世界状态的基础上，WildAWM 合成\*\*跨智能体接口（Cross-Agent Interface, XAI）任务\*\*。每个任务要求智能体必须\*\* indispensably 使用 GUI、MCP 和 CLI 三种接口\*\*，不能仅通过单一接口完成。每个任务包含： - \*\*任务描述\*\* τ ：以第一人称自然语言呈现的用户请求； - \*\*验证器\*\* V ：由多个确定性检查脚本组成的清单（checklist），每项检查 v_i(W_0, W, a) ∈ 0, 1 ； - \*\*评分标准\*\*：任务成功要求所有检查通过，即

V(W0, W, a) = prod(i=1)^(N) v_i(W_0, W, a)
—- ### 3. 基于执行的五重质量门控为确保任务具备**可解性**、**足够难度**和**验证器可靠性**，WildAWM 引入了基于异构智能体 rollout 的五重质量门控（Quality Gates）。对于每个候选任务，系统会收集来自 18 种不同模型-框架配置（3 个开源模型 × 6 个框架）的 6 条执行轨迹（rollouts），其中一半提供提示（hint），一半不提供。 #### 门控 1：裁判一致性（Judge Consistency）要求三个独立裁判对每个 rollout 给出完全一致的判断：

V(W0, W_j, a_j) = V(LLM)^((j)) = V(agent)^((j)), quad ∀ j ∈ 1, dots, 6
其中 V 为合成验证器， V(LLM) 为 LLM 裁判， V_(agent) 为可主动探查环境的 Agent 裁判。任何分歧都会触发对验证脚本和评分标准 R 的修订。 #### 门控 2：初始未满足性（Initial Unsatisfaction）要求任务在初始状态下**不应**被视为已完成：

V(W_0, W_0, ∅) = 0
这排除了那些在环境初始化时就已经满足条件的虚假任务。 #### 门控 3：任务可解性（Task Solvability）要求至少有一条 rollout 成功完成任务：

∑(j=1)^(6) V(W_0, W_j, a_j) ≥ 1
且成功轨迹必须实际使用任务声明的所有三种接口，确保跨接口流程的可执行性。 #### 门控 4：任务难度（Task Difficulty）基于**无提示** rollout 的成功次数 k = ∑(j ∈ U) V(W_0, W_j, a_j) 进行分级： - k ≤ 1 ：困难（hard） - k = 2 ：中等（medium） - k = 3 ：过于简单（too easy，退回修改）在论文的实践中，80.1% 的已接受任务被标记为困难。 #### 门控 5：反事实探测（Counterfactual Probe）针对 LLM 的**谄媚倾向**（sycophancy），系统向 Agent 裁判提供与原始判断相反的虚假结论（例如，若原始为成功，则声称“独立审计认为失败”），要求其重新调查。裁判必须通过引用证据**捍卫**原判才算通过：

V_(probe) = V(W_0, W, a)
若裁判在压力下屈服并修改验证器脚本，则任务被拒绝。这确保了验证器不会因外部压力而产生系统性偏差。任何未通过门控的候选任务会被退回生成器，附带诊断证据进行最多两轮修订，再重新接受全部门控检验。 —- ### 4. 针对长程跨接口任务的 RL 训练合成出的任务, 环境, 验证器三元组用于训练通用 CUA。论文采用 **GRPO**（Group Relative Policy Optimization）进行在线 RL，并针对长程任务的特点进行了多项改进： #### 奖励设计对于 rollout j ，令 e_j ∈ 0, 1 表示策略格式错误（如无效工具调用），则奖励 r_j 定义为：

rj = -1, & e_j = 1 min(1, V(W_0, W_j, a_j) + 0.1 · (1) / (N)∑(i=1)^(N) vi(W_0, W_j, a_j)), & e_j = 0
成功任务获得满分 1，未完成但满足部分检查清单项的任务获得部分信用（dense reward），以改善长程学习的信用分配。 #### 自适应 Rollout 乘数为避免小模型在训练初期产生零方差奖励组（所有 rollout 均失败且得分相同），论文引入自适应 rollout 乘数。每个任务维护一个指数移动平均的乘数 lceil K/G rceil （上限为 3），动态扩展 rollout 池大小 K ，确保组内奖励多样性。 #### 优势估计设 μτ 和 σ_τ 为任务 τ 在当前 rollout 池中的奖励均值与标准差，则轨迹优势 A_j 为：

Aj = (r_j - μτ) / στ, & στ > 0 -K^(-1/2), & σ_τ = 0 且所有 rollout 均为格式错误 0, & 否则
第二种情况确保即使在所有 rollout 都因格式错误而获得相同负奖励时，仍能为策略提供学习信号。 #### 跨上下文压缩的分段训练（Segment-wise Training）由于 OpenCode 在长程交互中会进行自动上下文压缩（compaction），轨迹被划分为若干因果段（segment）。训练时，同一段内的步骤共享前缀上下文，以分段而非单步为单位计算策略损失，既减少了冗余前向传播，又保持了与推理时一致的自回归依赖关系。 —- ### 总结 WildAWM 的解决方案可概括为：**以开源模型为唯一驱动力**，通过**角色驱动的增量世界合成**构建覆盖 GUI/MCP/CLI 的统一可执行环境，再通过**异构智能体验证与五重质量门控**筛选出长程、跨接口、难度适中且验证可靠的任务，最终利用**改进的 GRPO 算法**在这些合成世界中进行训练，实现了对真实世界计算机使用任务的广泛泛化。 Q4: 论文做了哪些实验？论文中的实验围绕**合成环境质量验证**、**训练效果评估**与**训练策略消融**三个层面展开，具体包括以下五类： —- ### 1. 主实验：跨领域泛化性能评估 #### 实验设置 - **训练数据**：将 341 个合成 XAI 任务划分为 100 个用于监督微调（SFT）、208 个用于强化学习（RL）、33 个用于域内验证。 - **基座模型**：两个不同规模的 Qwen 模型——Qwen3.6-35B-A3B 与 Qwen3.5-4B。 - **对比基线**： - 前沿闭源模型：GPT-6-Astra、GPT-5.6-Sol、GPT-5.5、Claude Opus 5、Claude Opus 4.8、GLM-5.2； - 相关开源/已有工作：CUA-Gym（R-GUI 框架）、OpenForgeRL（OpenClaw 框架）； - 未经训练的基座模型（Qwen3.6 / Qwen3.5）。 - **评估基准**：共 8 个分布外（OOD）基准，涵盖三类智能体任务： - **Web 智能体**：Online-Mind2Web（O2W）、WebArena（WA）； - **Claw 智能体**：QwenClawBench（QCB）、ClawEval（CLE）； - **计算机使用智能体**：CUA-Gym（CUG）、OSWorld-Verified（OSV）、OSWorld 2.0（OS-2）、Agents’ Last Exam（ALE）。 - **训练配置**：基于 GRPO 进行 RL 训练，最多 64 步，任务批次大小为 8，每组 4 条 rollout；使用 OpenCode CLI 框架，配备 GUI 与 MCP 工具。 #### 主要发现 - **广泛泛化**：仅在 WildAWM 合成世界中训练的模型，在全部 8 个 OOD 基准上均获得提升。35B-A3B 与 4B 模型平均分别提升 **+10.58** 与 **+8.21** 分。 - **大模型获益更多**：35B-A3B 在 CLE（+16.67）、OSV（+16.06）、WA（+13.72）和 CUG（+12.22）上提升尤为显著。 - **缩小与前沿模型差距**：35B-A3B 经训练后平均分从 42.84 提升至 53.42，在 WebArena 上追平 GLM-5.2（67.26），在 Online-Mind2Web 上超过 GPT-5.5（80.77 vs. 72.22）。 —- ### 2. 合成质量分析论文对合成的环境、任务与验证器进行了系统性诊断实验： #### (1) 环境多样性与规模 - **度量**：使用 Qwen3-Embedding-8B 编码环境产物，计算 Vendi 分数与最近邻余弦距离。 - **结果**：WildAWM 的环境状态规模中位数为 **52.4K tokens**（CUA-Gym 仅 1.1K），且在全部采样规模下 Vendi 分数均高于 CUA-Gym；最近邻余弦距离为 **0.25**（对比 0.20），表明冗余更低、多样性更高。 #### (2) 任务可解性 - **方法**：使用 24 种异构模型-框架配置（含 3 个开源模型与 6 个框架，另加 Opus-4.8）在带提示与不带提示条件下执行每个任务。 - **结果**： - 每个任务至少被一个智能体成功解决； - 三个开源模型在无提示条件下已能解决 **>95%** 的任务； - 提供提示后，**51.5%** 的任务被三个开源模型全部解决，进一步确认可解性。 #### (3) 任务难度 - **方法**：在合成任务上评估前沿模型与开源模型。 - **结果**：GPT-6-Astra 的 pass@1 仅约 **60%**；即使允许 8 次尝试（test-time scaling），仍有 **27.3%** 的任务失败，表明开源模型合成的任务对前沿模型仍具挑战性。 #### (4) 验证器可靠性 - **方法**：在 100 条随机采样的 rollout 上，将合成验证器与多个“智能体作为裁判”（Agent-as-a-Judge）模型进行比对。 - **结果**：合成验证器与多数裁判的一致性达 **95%**，Cohen’s κ = **0.90**，接近 GLM-5.2 与 Claude-Opus-5 之间的裁判一致性（κ = 0.94）。 #### (5) 可扩展性 - **方法**：分析 341 个已接受任务的类型与领域覆盖随合成尝试次数的增长情况。 - **结果**：任务覆盖 **134 个领域**与 **91 种任务类型**，接受率保持在 **53%** 左右且无饱和迹象；随着池子扩大，平均成对余弦距离稳定，说明新增任务并非冗余重复。 —- ### 3. 质量门控消融实验为检验五个质量门控各自对数据质量与模型性能的贡献，论文在**移除单一门控**的条件下重新合成 SFT 数据，并在相同设置下训练 Qwen3.5-4B。 | 消融设置 | 平均 OOD 性能 | 域内验证集性能 | 关键结论 | |—-|—-|—-|—-| | 完整 WildAWM | 31.86 | 21.59 | 基准 | | 无初始未满足性（Initial Unsat.） | 24.08 | **3.05** | 导致大量虚假正例，严重损害训练 | | 无裁判一致性（Judge Cons.） | 22.56 | **3.79** | 验证器噪声大幅降低学习效率 | | 无任务难度（Task Diff.） | 26.37 | 7.58 | 简单任务无法提供有效学习信号 | | 无反事实探测（CF Probe） | 27.91 | 13.64 | 验证器易受谄媚偏差影响 | | 无任务可解性（Task Solv.） | 29.26 | 15.91 | 不可解任务浪费训练预算 | **结论**：五个门控互补协作，移除任一门控均导致性能下降（平均降低 2.60–9.30 分），其中裁判一致性与初始未满足性对域内与域外性能影响最为剧烈。 —- ### 4. RL 训练消融实验以 Qwen3.6-35B-A3B 为基座，论文对 RL 配方中的关键组件进行消融： | 消融设置 | 平均性能 | 变化 | 关键观察 | |—-|—-|—-|—-| | 完整 WildAWM | 53.42 | — | 基准 | | 无格式惩罚（w/o Format Reward） | 52.18 | −1.24 | 移除后 WA 与 OSV 显著下降；CLE 通过率虚高但均分未升 | | 无检查清单奖励（w/o Checklist Reward） | 51.17 | −2.25 | 部分信用缺失损害长程信用分配 | | 无 SFT 热启动（w/o SFT Warm Start） | 48.11 | **−5.31** | 损伤最大，表明小/中规模模型直接进行长程 RL 难以启动 | —- ### 5. 策略行为分析论文深入分析了训练过程中模型行为的演变（对比基座模型、SFT、RFT、直接 RL 与完整 WildAWM）： #### (1) 任务难度上的增益分布 - 将 OOD 任务按“前沿模型解决比例”分为四个难度四分位。 - WildAWM 的增益主要集中在**第二、第三四分位**（中等难度任务，分别 +19.9 与 +12.3 分）；在最难四分位上，所有变体均无显著提升。 #### (2) 跨接口交互行为 - **接口切换率**（consecutive tool calls 跨 GUI/CLI/MCP 的比例）： - 基座模型：18.4% - SFT 后：24.7% - RL 后：25.5%（接近 GLM-5.2 的 26.3%） - 对比：RFT 与直接 RL（无 SFT）分别降至 15.8% 与 15.7%。 - **结论**：跨接口行为主要通过**教师轨迹的 SFT 传递**；直接 RL 反而可能退化此能力。 #### (3) 长程能力演进 - 在 40 步以内，SFT 与完整 WildAWM 的解决率相近（34.9% vs. 36.8%）； - 在 40–120 步区间，SFT 仅提升 9.7 个百分点，而 WildAWM（SFT+RL）提升 **17.0** 个百分点，接近教师水平； - **结论**：SFT 赋予跨接口行为先验，RL 在此基础上有效扩展了**长程问题解决能力**。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与讨论，以下方向值得进一步探索： ### 1. 攻克超长程与超高难度任务论文发现，当前训练对**最难四分位**的任务（主要为 OSWorld 2.0 与 Agents’ Last Exam）几乎无增益，且 GPT-6-Astra 在这些任务上的解决率也有限。未来可探索： - 设计**更长视界**（远超 100 步）的环境与任务； - 引入**分层任务分解**或**子目标生成机制**，降低长程 RL 的信用分配难度； - 研究更大基座模型是否能更好地利用 WildAWM 的合成数据突破这一瓶颈。 ### 2. 向更大规模模型与前沿模型扩展论文仅训练了 4B 与 35B-A3B 级别的模型，且观察到**更大模型获益更多**。一个直接的问题在于： - 当基座模型扩展至 100B+ 或前沿级别时，在 WildAWM 中训练能否进一步缩小甚至消除与 GPT-6-Astra 等模型的差距； - 由于合成任务对 GPT-6-Astra 仍具挑战性（pass@1 ≈ 60%），这些开源模型合成的数据**本身就可用于前沿模型的持续训练**。 ### 3. 动态与开放式世界合成当前 WildAWM 的世界状态是**静态快照**（day-by-day deterministic delta）。未来可研究： - 引入**时变环境**（如实时新闻流、动态股票价格、其他自主智能体并行活动），测试智能体对开放世界变化的适应能力； - 构建**多智能体共享世界**，其中多个智能体同时读写同一 MCP 服务或文件系统，考察协调与并发控制。 ### 4. 验证器与奖励函数的自动化强化尽管论文提出了反事实探测等机制，验证器的合成仍依赖多轮修订。可进一步探索： - 利用**程序合成**或**形式化方法**自动生成无可辩驳的验证器，减少对 LLM-as-a-Judge 的依赖； - 设计**可学习奖励模型**（Learned Reward Models），在保持可解释性的同时处理验证器难以穷举的模糊成功边界。 ### 5. 多模态 GUI 交互的深度挖掘 WildAWM 已包含视觉决策任务（如根据产品图片选择设备），但当前训练主要基于文本接口（CLI/MCP）与高层 GUI 工具调用。未来可： - 增加**细粒度视觉操作**（如精确坐标点击、拖放、绘制）的合成与训练； - 探索**原生多模态策略**（Native Multimodal Policy）在合成世界中的训练，而非通过外挂视觉工具进行文本化描述。 ### 6. 跨界面行为泛化的机制研究实验显示 SFT 能有效传递跨界面切换行为，而 RL 在此基础上增强长程能力。尚不清楚的是： - 这种跨界面泛化能力**具体编码在模型的哪些层次**； - 是否存在**最小 sufficient 技能集**，使得模型只需少量合成数据即可掌握广泛的计算机使用能力； - GUI、CLI、MCP 三种接口的知识是**独立习得**还是**共享表征**，可通过干预实验进一步解析。 ### 7. 合成管线效率与规模化的极限论文使用 GLM-5.2 完成全部合成，但每个任务平均消耗约 70M tokens 输入与 1.1M tokens 输出。未来可： - 开发**更轻量化的专用合成模型**（如针对世界状态增量更新的 coding 小模型），在保持质量的同时降低成本； - 引入**课程式合成**（Curriculum Synthesis），从简单世界与任务开始，逐步提升复杂度，减少无效探索。 Q6: 总结一下论文的主要内容这篇论文提出了 **WildAWM**（Agent World Model in the Wild），一个完全由开源模型驱动的可扩展合成管线，旨在为通用计算机使用智能体（Computer-Use Agents, CUAs）构建高质量的可执行训练环境与任务，以支持基于强化学习（RL）的智能体能力发展。以下是论文核心内容的系统总结： —- ### 1. 研究背景与问题当前 LLM 智能体正从“学习人类标注数据”转向“通过与世界的交互学习”。然而，直接在真实计算机系统中进行大规模在线 RL 训练面临严峻挑战： - **安全与成本**：状态难以重置，探索性操作可能引发不可逆后果（如误操作真实账户、修改生产数据）； - **环境供给瓶颈**：手动构建的虚拟环境可控但难以规模化； - **现有合成方案的局限**：已有工作多针对单一交互接口（仅 GUI、仅 CLI 或仅 MCP），且普遍依赖专有前沿模型（如 GPT-4/Gemini/Claude），缺乏透明度和可复现性。 —- ### 2. 核心方法：WildAWM 合成管线 WildAWM 包含两个紧密耦合的阶段，全部基于开源模型（如 GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3）完成。 #### 2.1 世界合成（World Synthesis）构建可执行的个人计算机环境，其状态由多日活动累积而成，同时暴露三种接口： - **GUI**：集成 15 个 WebHarbor 镜像网站（如 Amazon、Coursera、GitHub），提供真实视觉内容； - **MCP**：合成邮件、日历、即时通讯、工单等后端服务及数据库； - **CLI**：维护本地文件系统与脚本执行环境。采用**角色驱动（Persona-Driven）**的增量式构建：为每个虚拟角色（具有职业、社交关系和多日故事线）逐日物化其数字活动。第 d 天的世界状态 W(c, d) 基于前一天状态扩展，通过确定性、可重放的脚本更新数据库与文件，确保连续性与可复现性。系统维护共享的**事件技能库**，复用常见活动模板以提升效率。 #### 2.2 XAI 任务合成（Cross-Agent Interface Task Synthesis）在每个世界状态上生成**本质上需要跨接口协作**的任务：每个任务要求智能体 indispensably 使用 GUI、MCP 和 CLI 三种接口完成，无法通过单一接口解决。每个任务包含： - 自然语言任务描述 τ ； - 由 N 个二进制检查项组成的程序化验证器 V ，任务成功要求全部通过：

V(W0, W, a) = prod(i=1)^(N) v_i(W_0, W, a)

2.3 五重执行质量门控（Execution-Based Quality Gates）为确保任务的可解性、难度与验证器可靠性，论文引入基于异构智能体 rollout 的验证循环（18 种模型-框架配置，每任务 6 条轨迹），并设立五道门控： 1. 裁判一致性：合成验证器、LLM 裁判与 Agent 裁判（主动探查环境）三者须对所有 rollout 判断一致； 2. 初始未满足性：任务在初始状态下须未完成， V(W_0, W_0, ∅) = 0 ； 3. 任务可解性：至少有一条 rollout 成功完成，且实际使用全部三种接口； 4. 任务难度：基于无提示 rollout 的成功率分级（ k ≤ 1 为困难， k=3 则退回修改），确保提供有效学习信号； 5. 反事实探测：向 Agent 裁判灌输与事实相反的结论，测试其是否受 LLM 谄媚倾向影响而屈从；若裁判能基于证据捍卫原判，则通过。未通过门控的任务将退回生成器，附带诊断证据进行最多两轮修订。 —- ### 3. RL 训练策略针对长程跨接口任务的特点，论文对 GRPO 进行了针对性改进： - 混合奖励：成功得 1 分，未完成但满足部分检查清单项时给予部分信用（dense reward）：

rj = min(1, V(W_0, W_j, a_j) + 0.1 · (1) / (N)∑(i=1)^(N) v_i(W_0, W_j, a_j))

**自适应 Rollout 乘数**：动态扩展困难任务的 rollout 池，避免零方差奖励组导致无梯度信号； - **分段训练（Segment-wise Training）**：应对长程交互中的上下文压缩，以因果段而非单步为单位计算策略损失，减少冗余计算并保持训练-推理一致性。 —- ### 4. 实验结果 #### 4.1 合成成果 - 合成 **341** 个可执行的环境-任务对，平均需跨 **3.1** 次接口切换，长程任务可超过 **100** 步； - 任务难度高：即使前沿模型 GPT-6-Astra 的 pass@1 也仅约 **60%**；8 次尝试后仍有 **27.3%** 失败； - 环境规模中位数 **52.4K tokens**，Vendi 分数与多样性均优于现有工作。 #### 4.2 训练性能与泛化在 341 个合成任务上训练两个 Qwen 模型，并在 8 个分布外（OOD）基准上评估（涵盖 Web、Claw 与计算机使用智能体）： | 模型 | 平均增益 | 关键表现 | |—-|—-|—-| | Qwen3.6-35B-A3B | **+10.58** | 在 WebArena 追平 GLM-5.2（67.26），在 Online-Mind2Web 超过 GPT-5.5（80.77 vs 72.22） | | Qwen3.5-4B | **+8.21** | 全面提升，验证小规模模型亦可受益 | #### 4.3 消融与诊断 - **质量门控消融**：移除任一门控均导致性能下降（平均降低 2.60–9.30 分），其中裁判一致性与初始未满足性最为关键； - **RL 消融**：移除 SFT 热启动损伤最大（−5.31 分），移除格式惩罚与检查清单奖励也显著降低性能； - **行为分析**：SFT 有效传递了跨接口切换行为（接口切换率从 18.4% 提升至 24.7%），而 RL 在此基础上显著增强了 40–120 步区间的长程问题解决能力。 —- ### 5. 主要贡献 1. **开源可扩展的 CUA 环境合成管线**：首次证明完全基于开源模型即可合成高质量、高难度的通用计算机使用环境与任务，无需专有前沿模型； 2. **统一的多接口可执行世界**：构建联合支持 GUI、MCP 与 CLI 的个人计算机环境，打破现有工作单一接口的局限； 3. **执行验证的质量控制机制**：通过异构智能体 rollout、交叉裁判一致性与反事实探测，系统性地保证任务可解性、难度与验证器可靠性； 4. **广泛的跨领域泛化验证**：证明仅在 WildAWM 合成世界中训练，即可有效迁移至真实 Web、Claw 与桌面智能体任务，为“开源模型构建世界、在世界中学习、成为通用计算机使用智能体”提供了可行路径。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhaoyang Wang,Qianhui Wu,Haorui Wang,Simon Yu,Baolin Peng,Canwen Xu,Hao Cheng,Wenlin Yao,Boyi Liu,Yite Wang,Jianfeng Gao,Huaxiu Yao

Categories:

PDF URL: https://arxiv.org/pdf/2610.26828.pdf

Arxiv URL: https://arxiv.org/abs/2610.26828

Arxiv ID: 2610.26828

CoolPaper URL: https://papers.cool/arxiv/2610.26828

Published: 2026-10-23T01:56:38.879Z

Updated: 2026-10-23T01:56:38.879Z

9. PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis

Abstract:Multimodal code intelligence connects the symbolic world of programs with the visual world their execution creates. Interest in this capability is burgeoning, as models are increasingly asked to produce charts, webpages, animations, and semi-structured documents. Recently, proprietary models have pushed far ahead, producing interactive artifacts even from a text description or a screenshot alone. Yet their data and training remain closed, and open progress is held back by the quantity and quality of available data and by the pipelines and methods for producing it. Quality is the harder of the two, since a sample must be correct as a program, well built, and above all visually right once rendered. No existing signal covers all three. Execution often returns just a pass or fail, code similarity does not map to the visual output, and task-specific verifiers do not generalize. To push open progress further, we start from the data side with PrismaForge, a hierarchical data pipeline centered on a synthesized rubric that decomposes these factors into checkable criteria. The same rubric serves as both filter and reward: it curates the supervised corpus, then drives reinforcement learning on visual-coding tasks. Leveraging PrismaForge for data synthesis and filtering, we build PrismaCoder-2M, the most diverse open dataset for multimodal code intelligence and the largest to date. On the model side, we train PrismaCoder-9B and PrismaCoder-35B on this data and release both. They lead the open state of the art by a wide margin and rival leading proprietary systems. Our analyses further show that the proposed rubric-based pipeline improves multimodal coding performance across model backbones. We release our code and data at this https URL.

中文摘要

摘要：多模态代码智能将程序的符号世界与其执行所创建的视觉世界连接起来。随着模型越来越多地被要求生成图表、网页、动画和半结构化文档，人们对这种能力的兴趣正在迅速增长。最近，专有模型已经大幅领先，即便仅从文本描述或截图也能生成交互式产物。然而，它们的数据和训练仍然封闭，开源进展受限于可用数据的数量和质量以及生成这些数据的流程和方法。质量是两者中更难的，因为样本必须作为程序是正确的、构建良好的，并且最重要的是渲染后视觉上正确。现有的信号没有覆盖这三个方面。执行结果通常仅返回通过或失败，代码相似性并不映射到视觉输出，且任务特定的验证器无法泛化。为了进一步推动开源进展，我们从数据端入手，构建了PrismaForge，这是一个层级数据管道，以合成的评分标准为中心，将这些因素分解为可检查的标准。相同的评分标准既作为筛选工具又作为奖励机制：它策划监督数据集，然后在视觉编码任务上驱动强化学习。利用PrismaForge进行数据合成和筛选，我们构建了PrismaCoder-2M，这是最具多样性的多模态代码智能开放数据集，也是迄今为止最大的。模型方面，我们在此数据上训练了PrismaCoder-9B和PrismaCoder-35B，并发布了这两个模型。它们在开源领域遥遥领先，并可与领先的专有系统媲美。我们的分析进一步显示，所提出的基于评分标准的管道可提升跨模型骨干的多模态编码性能。我们在此https URL发布了我们的代码和数据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20538 (HTTP 429)

Authors: Qiushi Sun,Jingyang Gong,Yang Liu,Qiaosheng Chen,Zhangyue Yin,Zixian Huang,Hanxu Hu,Jing Xiong,Fangzhi Xu,Haochen Tan,Haoli Bai,Lifeng Shang,Xiaoguang Li,Ben Kao,Qipeng Guo,Lingpeng Kong,Jiahui Gao

Categories:

PDF URL: https://arxiv.org/pdf/2610.20538.pdf

Arxiv URL: https://arxiv.org/abs/2610.20538

Arxiv ID: 2610.20538

CoolPaper URL: https://papers.cool/arxiv/2610.20538

Published: 2026-10-23T01:56:42.885Z

Updated: 2026-10-23T01:56:42.885Z

10. Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

Abstract:Scaling data, diversity and model capacity has improved embodied learning in physical environments, where diverse experiences remain grounded in shared physical laws. Whether these gains extend to virtual worlds with different visual styles, dynamics, controls, and objectives remains unclear. We investigate this question through a controlled study of continued pre-training (CPT) across three axes: data volume, diversity, and model size. Our 120 training configurations span four model sizes from 0.8B to 27B, six data budgets from 50 to 1,600 hours, and five mixtures ranging from Minecraft-only data to diverse multi-world corpora. We assess performance and generalization using three-level validation losses and gameplay benchmarks from in-corpus worlds to unseen worlds. Our results show: (1) more data improves in-corpus performance, diversity improves transfer to related worlds with limited gains in distant worlds, and model size improves data efficiency but generalizes worse to distant worlds under single-world training; (2) we observe an early interface phase with broad cross-world benefits and a later world phase with gains narrowed to in-corpus and related worlds, and fit an empirical scaling law relating validation loss to data volume, diversity and model size; and (3) our models are competitive with Minecraft specialists and frontier models in 3D worlds, and perform best in real-time settings. However, the limits of imitation and persistent gaps in distant worlds suggest that building generalist embodied agents requires richer training stages beyond continued pre-training.

中文摘要

摘要：在物理环境中，数据规模、多样性和模型容量的增加提升了具身学习，因为多样化的经验仍然基于共同的物理规律。是否这些收益可以扩展到具有不同视觉风格、动力学、控制方式和目标的虚拟世界仍不清楚。我们通过一个受控研究来探讨这一问题，对三条轴线上的持续预训练（CPT）进行了研究：数据量、多样性和模型规模。我们的 120 个训练配置涵盖了四种模型规模，从 0.8B 到 27B，六个数据预算，从 50 到 1600 小时，以及五种数据组合，从仅 Minecraft 数据到多世界多样化语料。我们使用三级验证损失和游戏基准评估表现和泛化性，从语料库内世界到未见世界。我们的结果显示：（1）更多数据提升语料库内的性能，多样性改善了对相关世界的迁移，但对远距离世界的提升有限，模型规模提高了数据效率，但在单世界训练下对远距离世界的泛化更差；（2）我们观察到一个早期界面阶段，带来广泛的跨世界收益，以及一个后期世界阶段，收益局限于语料库内和相关世界，并拟合了一个经验尺度法则，将验证损失与数据量、多样性和模型规模联系起来；（3）我们的模型在 3D 世界中与 Minecraft 专家模型和前沿模型具有竞争力，并在实时环境中表现最佳。然而，模仿的局限性和远距离世界中的持续差距表明，构建通用具身智能体需要在持续预训练之外更丰富的训练阶段。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决**异构虚拟世界中具身智能体的持续预训练（Continued Pre-Training, CPT）扩展规律与泛化机制**问题。具体而言，研究围绕以下核心问题展开： - **物理世界与虚拟世界的扩展差异** - 物理环境共享一致的动力学规律（如重力、接触、物体恒存），因此跨场景经验具有可复用性； - 虚拟世界（如电子游戏）在视觉风格、物理规则、控制接口与任务目标上同时存在剧烈差异，现有工作尚不清楚物理环境中的扩展收益（数据量、多样性、模型容量）是否同样适用于此类异构环境。 - **持续预训练中的因素解耦** - 现有研究在扩展虚拟具身智能体时，通常同时改变数据量、数据多样性与模型规模，导致各因素的独立效应无法辨识； - 论文通过控制实验（4种模型尺寸 × 6种数据预算 × 5种数据混合策略，共120组配置），首次系统分离了这三个轴对性能与泛化的影响。 - **异质经验的互补性 vs. 干扰性** - 核心争议在于：在差异巨大的虚拟世界中进行联合训练，异质经验是会互补以提升跨世界泛化，还是会产生干扰而破坏对任一世界的学习； - 论文通过从同分布世界（Minecraft、DOOM）到相关未见过世界（OmniGameArena）再到遥远未见过世界（GameWorld）的三级评估体系，量化了异质性对泛化的真实作用。 - **扩展规律的建模与预测** - 论文进一步探究是否能够建立经验性的扩展定律（Scaling Law），将验证损失与数据量、世界混合比例及模型参数关联，以预测在虚拟世界持续预训练中的性能演化。 Q2: 有哪些相关研究？根据论文第3页及参考文献，相关研究可分为以下三个主要方向： ### 1. 虚拟具身模型（Virtual Embodied Models）早期研究聚焦于环境特定的专家系统，依赖深度强化学习在单一固定环境中取得超人类表现： - **经典游戏智能体**：在 Atari（Mnih et al., 2015）、Go（Silver et al., 2016）、StarCraft II（Vinyals et al., 2019）和 Dota 2（OpenAI et al., 2019）等环境中，通过固定环境、目标和动作接口实现专家级性能。近期研究转向大型基础模型，追求跨游戏的通用性： - **视频预训练**：VPT（Baker et al., 2022）从互联网无标注视频学习 Minecraft 控制先验。 - **跨游戏像素-动作学习**：NitroGen（Magne et al., 2026）与 OpenP2P（Yue et al., 2026）将像素到动作的学习扩展到更广泛的游戏语料库。 - **大语言/视觉语言模型智能体**：利用预训练的语言和视觉知识进行指令跟随、规划与控制，代表性工作包括 SIMA（Abi Raad et al., 2024; SIMA Team, 2025）、Game-TARS（Wang et al., 2025a）、Lumine（Tan et al., 2025）以及 CombatVLA（Chen et al., 2025）。 ### 2. 虚拟世界作为测试环境（Virtual Worlds as Test Environments）游戏提供了可控的虚拟世界子集，用于在多样化规则和动态下评估感知、推理与动作能力： - **同分布（In-corpus）评估**：Minecraft 基准（Zheng et al., 2025）和 ViZDoom（Wydmuch et al., 2019）用于衡量模型在训练语料覆盖世界内的能力。 - **相关未见过世界（Unseen related worlds）**：OmniGameArena（Lin et al., 2026）包含 7 个未见过但动作原语（导航、瞄准、射击等）与训练语料有语义对应关系的 3D 世界。 - **遥远未见过世界（Unseen distant worlds）**：GameWorld（Ouyang et al., 2026）覆盖 2D、2.5D 和少量 3D 游戏，在视觉风格、物理、控制和目标上与训练数据有显著差异。 ### 3. 持续预训练的可扩展性（Scalability of Continued Pre-training） - **经典扩展定律**：Kaplan et al.（2020）与 Hoffmann et al.（2022）建立了模型性能与参数量、数据量及计算量之间的幂律关系。 - **领域自适应与混合比例**：D-CPT Law（Que et al., 2024）和 CMR Scaling Law（Gu et al., 2024）研究表明，源数据组成会改变自适应与知识保留；Wu et al.（2026）探讨了数据稀缺情境下的重复训练。 - **计算机使用与 GUI 智能体**：ScaleCUA（Liu et al., 2026）、GUIMid（Zhang et al., 2025）和 OpenThoughtsAgent（Raoof et al., 2026）发现任务组成与样本数量同等重要。 - **机器人模仿学习**：Lin et al.（2025）、Wang et al.（2026a）和 Abe et al.（2026）报告了数据多样性扩展、负迁移以及模型容量依赖的干扰现象，为虚拟世界中的异构训练提供了类比。现有虚拟世界 CPT 研究通常同时改变模型规模、训练数据和时长，缺乏对这三个轴的系统隔离，也缺乏在 varying distances from training 的评估体系下测量泛化能力的 controlled study。该工作填补了这一空白。 Q3: 论文如何解决这个问题？论文通过**控制实验网格**系统性地分离并量化了数据量、数据多样性与模型容量三个轴对虚拟世界持续预训练（CPT）的影响，并建立了从训练分布到遥远未见世界的三级评估体系。具体方法如下： ### 1. 构建 120 组条件的阶乘实验网格研究设计了 4 × 6 × 5 = 120 组训练配置，覆盖： - **模型规模**：基于 Qwen3.5 的 0.8B、2B、9B、27B 四种参数量； - **数据预算**：50、100、200、400、800、1,600 小时游戏时长； - **数据混合物**：S1–S5 五种多样性设置，通过调整 Minecraft 轨迹在游戏数据中的占比（100%、51.4%、27.1%、2.8%、0%）实现，其余为固定的 79 个异构游戏世界。该网格总计消耗 3.5 × 10^(11) 训练 token 与 2.2 × 10^(22) FLOPs，确保在统一协议下比较三个轴的独立效应与交互作用。 ### 2. 统一的数据格式与动作空间为消除跨游戏接口差异带来的混淆，研究将游戏玩法形式化为统一的视觉决策过程： - **输入**：提示上下文 c 、当前观测 o_t 与交互历史 H_t ； - **输出**：推理轨迹 r_t 与结构化动作 a_t ，其中 a_t 以 200 ms 为周期，编码鼠标位移 $(Delta x_t, Delta y_t) ∈

-1000, 1000
^2 、滚轮增量 Delta z_t ∈
-5, 5
及每 33 ms 的按键状态。所有配置共享相同的训练目标（对助手响应的因果 next-token 预测）、优化器（AdamW）与学习率调度（Warmup–Stable–Decay），且视觉编码器参数完全可更新，仅变化模型大小、数据量与混合物。 ### 3. 三级评估体系研究从损失与游戏能力两个维度，构建了由近及远的三级评估： - 同分布（In-corpus）：Minecraft 验证损失、MCU 基准（30 项长程任务）与 ViZDoom（射击任务）； - 相关未见过世界（Unseen related）：OmniGameArena（OGA），包含 7 个未见但动作原语（导航、瞄准、射击）与训练语料语义对应的 3D 世界； - 遥远未见过世界（Unseen distant）：GameWorld（GW），以 2D/2.5D 游戏为主，在视觉、物理与控制逻辑上与训练分布显著不同。此外，所有基准均在时间暂停（time-paused）与实时（real-time）两种交互设置下测试，以隔离纯推理能力与推理延迟的联合效应。 ### 4. 识别两阶段学习动态通过分析训练曲线与验证损失演化，论文观察到： - 早期界面阶段（Interface Phase）：前数十小时内，按键、鼠标与格式损失迅速下降，跨所有验证集（包括未见世界）均出现性能提升，表明模型正在习得跨世界共享的控制格式与动作原语； - 后期世界阶段（World Phase）：进一步训练带来的增益高度依赖于训练分布中是否包含对应世界，异构数据在相关世界中产生迁移，但在遥远世界中收益有限甚至下降。 ### 5. 建立三因素经验扩展定律基于上述动态，论文将 Chinchilla 扩展定律推广至异构虚拟世界 CPT，引入混合物比例 rho$ 刻画世界多样性，并增加非零 floor 项以捕捉跨混合物迁移：

L(N, T, rho) = E + (A) / (N^α) + (B rho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为游戏时长， rho 为评估目标世界在训练混合物中的轨迹占比。该定律在训练损失、Minecraft 验证损失与 in-corpus 验证损失上分别取得 R^2 = 0.980 、 0.982 、 0.995 的拟合优度，且能外推至未参与拟合的模型规模、数据预算与混合物配置。 ### 6. 系统对比与瓶颈定位研究将实验导出的 GameScaling 模型与两类基线进行严格对比： - **Minecraft 专家模型**：如 VPT、ROCKET-1、MAIN-VLA 等，证明 CPT 后的通用骨干可在专用任务上超越专门设计的系统； - **前沿基础模型**：包括 GPT-5.6、Gemini-3.8、Claude-Opus-5.0、Qwen3.5 等，在统一的动作接口与提示下评估，发现： - 在时间暂停设置中，CPT 将 27B 骨干的 MCU 与 OGA 分数分别提升约 6 倍与 2.6 倍； - 在实时设置中，由于前沿模型输出长度（123–1,027 token/步）导致的高延迟（4.0–23.7 秒/步），其性能下降约 90%，而 GameScaling 模型（0.13–0.69 秒/步）在动态环境中可保持时间暂停下 88% 的表现，实现最高达 5 倍的实时性能优势。综上，论文通过**控制网格分离变量、统一动作接口、三级由近及远评估、两阶段动态刻画、扩展定律拟合以及跨类别基线对比**，系统回答了虚拟世界 CPT 的扩展规律与泛化边界问题。 Q4: 论文做了哪些实验？该论文围绕**持续预训练（CPT）在异构虚拟世界中的扩展规律与泛化机制**展开了一系列实验，涵盖训练配置网格、多层级验证、游戏基准评估、与前沿模型的对比以及扩展定律拟合等方面。具体实验内容如下： —- ### 1. 120 组条件的阶乘训练网格研究构建了 4 × 6 × 5 = 120 组 CPT 配置，系统分离模型规模、数据量与数据多样性三个轴的独立效应与交互作用： - **模型规模（Model Size）**：基于 Qwen3.5 的 0.8B、2B、9B、27B 四种参数量； - **数据预算（Data Budget）**：50、100、200、400、800、1,600 小时游戏时长，覆盖总计 3.5 × 10^(11) 训练 token； - **数据混合物（Data Mixture）**：S1–S5 五种设置，通过控制 Minecraft 轨迹在游戏数据中的占比实现： - S1：100% Minecraft - S2：51.4% Minecraft - S3：27.1% Minecraft - S4：2.8% Minecraft - S5：0% Minecraft（完全移除 Minecraft）所有配置采用统一的下一个 token 预测目标、AdamW 优化器与 Warmup–Stable–Decay 学习率调度，视觉编码器参数完全可更新。 —- ### 2. 动作界面适应与训练动态监控在 CPT 过程中，论文监控了模型对统一键盘-鼠标动作格式的适应过程： - **动作组件损失**：记录 key token、mouse token 与 format token 的训练损失； - **鼠标方向预测准确率**：跟踪八方向鼠标位移预测的精度； - **两阶段学习动态观察**： - **早期界面阶段（Interface Phase）**：前数十小时内，动作格式与控制原语损失快速下降，跨所有验证集（含未见世界）均出现泛化提升； - **后期世界阶段（World Phase）**：后续增益高度依赖训练分布中是否包含对应游戏世界。 —- ### 3. 三级验证损失评估对每组配置，研究测量了四个层级的损失，以量化从同分布到远分布世界的泛化： - **训练损失（Training Loss）**：100 步 EMA 平滑； - **Minecraft 验证损失**：仅含 Minecraft 的 held-out 轨迹； - **同分布（In-corpus）验证损失**：来自 D2E、OpenP2P 及匹配规模的 Minecraft 测试集，覆盖训练语料中的 80 个游戏世界； - **分布外（OOD）验证损失**：完全来自训练混合物中未出现的 28 个游戏（如 Palworld、Assassin’s Creed、Dota 2 等），涵盖 2D、2.5D 与 3D 环境。 —- ### 4. 四级游戏玩法基准测试在 120 个检查点及基线模型上，研究执行了从同分布到远分布世界的四级能力评估（均在**时间暂停**与**实时**两种交互协议下测试）： | 层级 | 基准 | 环境特征 | 评估内容 | |———|———|—————|—————| | 同分布 | **MCU** | Minecraft | 30 项长程任务（导航、生存、GUI、战斗、合成） | | 同分布 | **ViZDoom** | DOOM | 4 张射击地图的击杀与生存表现 | | 相关未见 | **OmniGameArena (OGA)** | 7 个 UE5 游戏 | 第三人称探索、战术战斗、平台跳跃等 | | 遥远未见 | **GameWorld (GW)** | 34 个环境/170 任务 | 2D/2.5D 街机、解谜、文字游戏等 | 所有基准使用统一的动作解析适配器，将模型的 <|action_start|> dots <|action_end|> 输出转译为各环境原生的键盘-鼠标事件，确保评估仅反映模型能力差异。 —- ### 5. 与前沿模型的系统对比实验研究将 CPT 后的 GameScaling 模型与两类基线进行了受控对比： - **Minecraft 专家模型**：包括 VPT、STEVE-1、ROCKET-1、JARVIS-VLA、OpenHA、MAIN-VLA、GameWAM 等，比较在 MCU 上的任务完成率与步数； - **通用前沿模型**：包括 GPT-5.6-Sol/Luna、Gemini-3.8-Flash、Claude-Opus-5.0、GLM-5.3-Flash、DeepSeek-V4-Flash-Vision 及未训练的 Qwen3.5 骨干，在统一接口与提示下评估。实验特别比较了： - **时间暂停（Time-Paused）**：环境在模型推理时冻结，仅测纯决策能力； - **实时（Real-Time）**：环境持续运行，推理延迟计入总分。 —- ### 6. 测试时扩展（Test-Time Scaling）实验在 MCU 基准上，论文测试了增加交互步数预算对任务成功率的影响： - 将默认 600 步上限提升至 3,000 步； - 对比 GameScaling-0.8B-S1、GameScaling-9B-S1 与未训练的 Qwen3.5 骨干； - 发现 CPT 模型的成功率随步数对数线性增长（从约 42%/51% 升至 59.3%/69.3%），而未训练骨干几乎无法通过增加步数获益，表明 CPT 同时提升了基础能力与测试时扩展效率。 —- ### 7. 稀疏回顾推理标注实验为保留骨干模型的原生推理能力而不改变动作监督，研究进行了稀疏推理注入： - 使用 GPT-5.6-Luna 为部分训练窗口生成回顾性推理（retrospective reasoning），解释观测、意图与动作选择； - 在 S1–S5 中保持约 5.4%–6.0% 的助手轮次携带非空标注，平均每 20 帧样本含 1.08–1.19 条推理、约 70–78 个推理 token； - 验证该标注密度在不同混合物间差异极小，排除了推理密度作为混淆变量的可能。 —- ### 8. 三因素扩展定律拟合与验证实验基于 120 组损失数据，论文拟合并验证了 CPT 的扩展定律： - **定律形式**：将 Chinchilla 定律推广为

L(N, T, rho) = E + (A) / (N^α) + (B rho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为时长， rho 为目标世界轨迹占比。 - **拟合性能**：在训练损失、Minecraft 验证损失、In-corpus 验证损失上分别达到 R^2 = 0.980 、 0.982 、 0.995 ； - **留一法验证**：对 27B 模型、1,600 小时检查点、50 小时检查点及单个混合物进行留块外推，RMSE 保持在 0.0016–0.0027； - **负控制**：OOD 损失因单调性假设失效，拟合显示 β ≈ 0 ，证实 CPT 对遥远未见世界的收益在 50 小时后即停滞。 —- ### 9. 推理延迟与输出长度分析实验为解释实时交互下的性能反转，论文测量了各模型的： - **每步推理延迟**：GameScaling（0.13–0.69 秒/步）vs. 前沿模型（4.0–23.7 秒/步）； - **输出长度**：GameScaling 每步 35–39 token（含稀疏推理）vs. 前沿模型 123–1,027 token； - **部署配置**：GameScaling 在 1–4 张 H200 GPU 上通过 vLLM 本地部署，前沿模型通过服务商 API 调用， latency 差异直接体现在实时游戏分数中。 Q5: 有什么可以进一步探索的点？基于论文的发现与讨论，以下方向值得进一步探索： —- ### 1. 超越模仿学习的训练范式当前 CPT 仅依赖行为克隆（behavior cloning），缺乏来自环境成败的直接反馈。未来可探索： - **整合在线环境反馈**：将 CPT 与强化学习（RL）或来自实际游戏过程的反馈相结合，检验是否能突破在遥远世界（如 GameWorld）中的泛化瓶颈； - **混合范式**：同时扩展世界多样性与引入在线交互，验证两者在跨世界迁移中的协同或独立效应。 —- ### 2. 世界多样性与迁移机制的精细化控制论文中 S2–S5 共享固定的 79 个非 Minecraft 游戏池，仅改变采样比例。后续研究可： - **变世界数量而非仅比例**：系统增加训练池中不重复世界的数量，分离“世界丰富度”与“采样分布”对泛化的独立贡献； - **量化世界相似度与迁移的关系**：建立从视觉风格、物理规则到控制接口的相似度度量，预测向相关/遥远世界的迁移幅度； - **纳入更多模态**：引入音频信号、游戏内文本教程或 UI 说明，检验多模态输入对异构世界理解的增益。 —- ### 3. 模型架构与推理机制的优化论文保留了 Qwen3.5 的稀疏推理结构，但固定了推理标注密度。未来可研究： - **推理密度的自适应调整**：探索不同比例或动态推理深度对动作精度与实时延迟的权衡； - **缓解大模型的跨世界干扰**：针对 27B 模型在单世界训练中出现的显著负迁移，设计模块化或混合专家（MoE）架构，隔离不同世界的动力学知识； - **长程记忆与世界模型**：为长周期任务（如 Minecraft）引入显式记忆或世界状态预测模块，检验其是否扩展测试时有效步数（test-time scaling）的收益。 —- ### 4. OOD 损失动态与扩展定律的修正论文发现分布外（OOD）验证损失在 50 小时后即停止下降甚至回升，不满足幂律单调递减假设。后续可： - **建立非单调扩展模型**：为描述遥远世界损失的“漂移”现象（drift），引入含 log T 或饱和-上升项的经验公式，而非经典幂律； - **多种子验证定律稳定性**：当前 grid 基于单一训练种子，重复实验可量化 scaling law 参数（如 α, β ）的统计不确定性，并检验外推至更大模型（如 100B+）的可靠性。 —- ### 5. 实时交互与部署优化论文揭示实时性能高度依赖推理延迟。进一步探索包括： - **透明化部署基准**：在对比前沿模型与专用智能体时，统一报告任务分数、单步延迟与硬件配置，建立实时游戏智能体的标准化评估协议； - **极短延迟下的模型压缩**：研究在保持 CPT 收益的前提下，通过量化或蒸馏将 27B 模型压缩至单卡甚至边缘设备可承载的规模，同时维持 <200,ms 的响应时间。 —- ### 6. 从界面阶段到世界阶段的转换机制论文观察到 CPT 存在清晰的**界面阶段**（interface phase）与**世界阶段**（world phase），但其转换边界与内在机制尚不明确： - **识别转换临界点**：通过探测任务（probing tasks）确定模型何时从学习通用控制原语转向过拟合特定世界动力学； - **干预分析**：在界面阶段冻结部分动作头参数，检验是否能强制保留跨世界泛化能力，延缓后期阶段的世界特异性过拟合。 Q6: 总结一下论文的主要内容该论文系统研究了**异构虚拟世界中持续预训练（CPT）的扩展规律与泛化机制**，核心内容可概括如下： —- ### 1. 研究背景与问题 - 物理世界中的具身智能受益于共享的物理定律（重力、接触等），数据扩展与多样性通常带来跨场景泛化增益。 - 虚拟世界（电子游戏等）在**视觉风格、物理规则、控制接口与任务目标**上同时存在剧烈差异，现有工作不清楚物理环境中的扩展收益是否同样适用。 - 关键问题：异构虚拟世界经验是**互补**还是**相互干扰**？数据量、多样性、模型容量各自如何影响性能与泛化？ —- ### 2. 实验方法：120组控制网格研究构建了**4 × 6 × 5 = 120 组** CPT 配置，系统分离三个轴的独立效应： - **模型规模**：0.8B、2B、9B、27B（基于 Qwen3.5）； - **数据预算**：50、100、200、400、800、1,600 小时； - **数据混合物（S1–S5）**：通过调整 Minecraft 轨迹在游戏数据中的占比实现——100%、51.4%、27.1%、2.8%、0%，其余为固定的 79 个异构游戏。所有配置采用统一的**键盘-鼠标动作接口**与下一个 token 预测目标，动作统一编码为包含鼠标位移与按键状态的文本块。 —- ### 3. 三级评估体系从训练分布到未见世界建立三级评估： - **同分布（In-corpus）**：Minecraft（MCU 基准）与 ViZDoom； - **相关未见（Unseen related）**：OmniGameArena（OGA），7 个 UE5 游戏，动作原语与训练语料有语义对应； - **遥远未见（Unseen distant）**：GameWorld（GW），以 2D/2.5D 游戏为主，与训练数据差异显著。同时采用**时间暂停**与**实时**两种交互协议，区分纯推理能力与推理延迟的联合效应。 —- ### 4. 核心发现 #### （1）两阶段学习动态 - **早期界面阶段（Interface Phase）**：前数十小时内，动作格式与控制原语损失快速下降，**跨所有验证集（含未见世界）均出现泛化提升**，模型习得共享的控制表示； - **后期世界阶段（World Phase）**：后续增益高度依赖训练分布中是否包含对应世界，性能提升收窄至同分布与相关世界。 #### （2）三轴扩展效应 - **数据量**：更多数据持续改善同分布性能，但对遥远世界（GameWorld）的增益有限甚至停滞； - **多样性**：多游戏训练显著提升相关未见世界表现（1,600 小时下 OGA 均分约为 Minecraft-only 的 **2.8 倍**），但对遥远世界提升不一致； - **模型规模**：更大的模型数据效率更高，但在**单世界训练下对遥远世界的泛化更差**（27B-S1 在 GameWorld 上较基线下降约 17 分），表现出容量依赖的干扰效应。 #### （3）经验三因素扩展定律论文拟合了统一损失公式：

L(N, T, rho) = E + (A) / (N^α) + (Brho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为数据时长， rho 为目标世界轨迹占比。该定律在训练损失、Minecraft 损失、In-corpus 损失上分别达到 R^2 = 0.980 、 0.982 、 0.995 。然而，OOD（遥远世界）损失不满足单调递减假设， β ≈ 0 ，表明 CPT 对遥远世界的收益在 50 小时后即停滞。 #### （4）与前沿模型的对比 - **时间暂停**：CPT 将 27B 骨干的 MCU 与 OGA 分数分别提升约 **6 倍**与**2.6 倍**，9B 与 27B 模型可匹敌约 300B 参数的前沿模型； - **实时交互**：前沿模型因推理延迟过高（4.0–23.7 秒/步）导致性能下降约 90%，而 GameScaling 模型延迟仅为 0.13–0.69 秒/步，在实时设置下平均分超越最佳前沿模型（25.3 vs 19.2），**最高达 5 倍优势**。 —- ### 5. 结论与贡献 - **控制研究**：首次系统量化了数据量、混合物多样性与模型容量对虚拟世界 CPT 的影响； - **两阶段动态与扩展定律**：揭示了界面阶段与世界阶段的分化，并建立了可预测同分布损失的扩展定律； - **性能参考**：在四级基准与两种交互设置下锚定了模型表现，证明 CPT 后的中小模型可在实时动态环境中超越前沿大模型； - **局限与方向**：指出仅靠行为克隆式的 CPT 难以突破遥远世界的泛化瓶颈，构建通用虚拟具身智能体需要**超越 CPT 的更丰富训练阶段**（如在线环境反馈、世界覆盖扩展、新架构设计等）。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Kuan Zhang,Yukun Chen,Zhihao Yang,Yue Su,Xiangnan Wu,Zirong Chen,Run Luo,Jinkun Hou,Tao Tan,Yinhe Zheng,Yiming Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.28698.pdf

Arxiv URL: https://arxiv.org/abs/2610.28698

Arxiv ID: 2610.28698

CoolPaper URL: https://papers.cool/arxiv/2610.28698

Published: 2026-10-23T01:56:44.444Z

Updated: 2026-10-23T01:56:44.444Z

11. Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills

Abstract:Agent Skills improve LLM agents by making task knowledge reusable across sessions. Learning transferable Skills requires evidence about a procedure and its conditions of use, which a successful task attempt can leave untested. We introduce Socratic Skill Learning (SSL), which interleaves expert teaching with Student practice. An Educator guides investigation while the Student remains the sole environment operator and Skill author, able to question, test, and adapt advice. To test reuse beyond the learning task, we construct SkillTransferBench, with 35 task families and 408 executable cases, pairing public variation specifications with held-out evaluation in fresh solver sessions. On the main 22-family, 155-case cohort, Fixed-Window SSL reaches 0.801 utility, versus 0.723 without a Skill, 0.761 for adapted Trace2Skill (trajectory distillation), and 0.751 for adapted SKILL-KD (contrastive distillation). Across three model pairs on shared families, interleaved guidance outperforms expert authoring and post-hoc teaching. Process analysis links guidance to Student writing and package revision; a case study shows the Student testing and refining a proposed procedure for later reuse. As demand for new lessons falls, the cost of fixed-window review grows. Issue-Guided SSL tracks unresolved questions across Skill revisions to select and focus review, reaching 0.805 utility with 61.7% fewer Educator tokens and 16.9% fewer total acquisition tokens than Fixed-Window SSL on the main cohort.

中文摘要

摘要：代理技能通过使任务知识可在不同会话中重复利用来提升大语言模型（LLM）代理的能力。学习可转移的技能需要关于某一程序及其使用条件的证据，而一次成功的任务尝试可能无法检验这些条件。我们引入了苏格拉底技能学习（Socratic Skill Learning，SSL），该方法将专家指导与学生练习交错进行。教育者引导调查，而学生则保持唯一的环境操作员和技能作者身份，能够质询、测试并调整建议。为了测试技能在学习任务之外的复用能力，我们构建了SkillTransferBench，包括35个任务类型和408个可执行案例，将公共变化规格与在新解算器会话中保留的评估相结合。在主要的22个任务类型、155个案例的组合中，固定窗口SSL达到0.801的效用，相较之下，不使用技能为0.723，经适配的Trace2Skill（轨迹蒸馏）为0.761，经适配的SKILL-KD（对比蒸馏）为0.751。在三个模型对共享任务类型的对比中，交错指导优于专家创作和事后教学。过程分析将指导与学生的写作和包修订联系起来；一项案例研究显示学生对提出的程序进行了测试和优化，以便后续复用。随着新课程需求下降，固定窗口复习的成本增加。问题引导的SSL（Issue-Guided SSL）在技能修订过程中跟踪未解决的问题，以选择和聚焦复习，相较于主要组合中的固定窗口SSL，效用达0.805，同时使用的教育者标记减少61.7%，总获取标记减少16.9%.

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*LLM智能体如何获得可跨任务、可会话复用的 transferable Skills（可迁移技能）\*\*这一核心问题，具体包括以下几个层面： ### 1. 技能的可迁移性不足现有方法多从单次或少量任务执行轨迹中提炼 Skill，但一次成功的任务尝试往往未能充分检验程序的适用边界与条件，导致提炼出的 Skill 在未见过的任务变体上迁移能力有限。论文指出，学习可迁移的 Skill 需要关于\*\*程序本身及其使用条件的证据\*\*，而这在单一任务实践中可能被遗漏。 ### 2. 外部专家指导的有效融入论文提出，仅在任务失败后才提供反馈（post-hoc teaching）或由专家直接代写 Skill（expert authoring）并非最优： - \*\*事后教学（Post-hoc Teaching）\*\* 错过了在学习者收集证据的过程中及时纠偏的机会； - \*\*专家代写（Expert Authoring）\*\* 则剥夺了学习者亲自探索、验证和调适程序的机会。因此，论文探索\*\*如何在持续的实践过程中交错地引入专家指导\*\*，使学习者能够在调查尚未关闭时测试建议、收集证据并修订 Skill。 ### 3. 教学成本与效果的权衡随着 Skill 逐步完善，对外部指导的需求下降，但固定频率的审查仍会带来不断累积的上下文成本。论文进一步研究\*\*如何选择性地聚焦审查\*\*，在保持迁移性能的同时减少专家监督开销。 ### 4. 评估基准的缺失为测试 Skill 在“学习所用任务”之外的迁移能力，论文构建了 \*\*SKILLTRANSFERBENCH\*\*，包含 35 个任务族、408 个可执行案例，通过公开的任务族规范引导学习，并在全新的求解会话中评估冻结后的 Skill，以衡量真正的跨变体迁移性能。 Q2: 有哪些相关研究？根据论文第2节及相关章节的综述，相关研究主要围绕\*\*技能构建\*\*、\*\*开发过程中的反馈\*\*与\*\*技能评估\*\*三个方向展开。附录A的表4进一步对比了代表性Skill学习协议在反馈来源与包更新机制上的差异。 ### 1. 从执行证据中构建Skills 该方向关注如何将智能体的执行任务经验转化为可复用的指令或资源： - \*\*经验保留与代码化\*\*：Zhao et al. (2024) 与 Wang et al. (2023) 将执行经验保留为指导性知识或可执行代码。 - \*\*轨迹蒸馏\*\*：Ni et al. (2026) 提出 Trace2Skill，从局部轨迹中提炼经验并合并为可迁移Skill。 - \*\*验证驱动的合成\*\*：Ma et al. (2026) 的 SkillGen 与 Liu et al. (2026b) 的 SkillRevise 强调通过执行验证与轨迹条件化修订来生成并改进Skill包。 - \*\*对比蒸馏\*\*：Shi et al. (2026) 的 SKILL-KD 利用教师–学生轨迹对比，由整合智能体（consolidation agent）推导规则补丁，并通过学生重运行验证后方可采纳。 ### 2. Skill开发过程中的反馈机制该方向研究在Skill形成期间如何利用反馈进行诊断与修正： - \*\*自我反思\*\*：Madaan et al. (2023) 的 Self-Refine 与 Shinn et al. (2023) 的 Reflexion 利用自我反馈迭代优化输出或重试策略。 - \*\*故障诊断\*\*：Zhao et al. (2026) 关注智能体失败解剖；Li et al. (2026a) 的 CodeTracer 通过重建状态转换定位故障。 - \*\*事后教师反馈\*\*：Zhong et al. (2026) 的 SkillLearnBench 在尝试失败后引入参考Skill指导修订；Jiang and Huang (2026) 的 AgentBrew 让教师编写修正并由学生重试验证。 - \*\*人机协作审查\*\*：Liu et al. (2026a) 的 HASP 引入教师对学生提议Skill程序的审查；Li and Hu (2026) 的 SkillHone 保留修订过程中的证据与决策历史。 ### 3. Skill评估的范围与迁移该方向关注如何衡量Skill的效用及其跨任务复用能力： - \*\*效用基准\*\*：Li et al. (2026b) 的 SkillsBench 测量Skill在多样任务上的效用。 - \*\*参数化复用\*\*：Zhong et al. (2026) 的 SkillLearnBench 与 Quan and Liu (2026) 的 EconSkills 评估Skill在参数化实例间的复用。 - \*\*跨族迁移\*\*：Ni et al. (2026) 的 Trace2Skill 测试对 held-out 任务族的迁移；Guan et al. (2026) 的 ContinualSkillBench 关注有序任务流中的持续学习。 ### 4. 与本文方法的对比定位 SSL（Socratic Skill Learning）与上述工作的核心区别在于：\*\*将外部专家指导交错嵌入学生正在进行的调查与验证过程中\*\*，而非仅在失败后提供事后建议，或完全由外部模型代写Skill。学生保留环境操作与Skill包的唯一作者权限，能够在对话中质疑、测试并调适建议；Issue-Guided SSL 进一步通过持续跟踪未解决的认知问题（learning issues）来选择并聚焦审查时机，从而在降低专家监督成本的同时维持迁移性能。 Q3: 论文如何解决这个问题？论文通过\*\*苏格拉底式技能学习（Socratic Skill Learning, SSL）\*\*框架解决可迁移智能体技能的获取问题，核心在于将专家指导交错嵌入学生的实时实践与验证过程中，并配套构建了专门评估跨任务迁移的基准。具体方法可归纳为以下五个方面： --- ### 1. 核心范式：学生主导的实践与苏格拉底式对话 SSL 采用“学生主导、教育者引导”的双角色结构（图 3A）： - \*\*学生（Student）\*\*：作为\*\*唯一的环境操作者与 Skill 包作者\*\*。其基于任务族的公开规范 s_f ，在锚点任务 x_(f,0) 上自主探索、测试候选程序，并决定将哪些证据固化为可复用知识。学生通过环境实验、对话质疑和包修订来检验外部建议。 - \*\*教育者（Educator）\*\*：仅具有\*\*只读权限\*\*，可访问学生近期工作轨迹与实时 Skill 包，但不能执行环境操作或修改文件。教育者通过解释、挑战假设、诊断瓶颈或保持沉默来介入；学生可对其建议进行追问、适配或拒绝。该设计确保 Skill 包 K=(M,R) （含指令 M 即 SKILL.md，及可选脚本与资源 R ）由亲自验证过程序的学生撰写，从而降低未经检验的假设被固化为规则的风险。 --- ### 2. 迁移评估基准：SKILLTRANSFERBENCH 为严格测试“超越学习任务的复用”，论文构建了 SKILLTRANSFERBENCH： - 包含 \*\*35 个任务族、408 个可执行案例\*\*，覆盖 6 个领域（系统、服务、数据处理、科学计算、金融、办公自动化）。 - 每个任务族提供一个\*\*公开规范\*\* s_f ，阐明不变目标与允许的变体维度（如 WAL 编码格式、恢复深度等），引导学生在锚点之外探索边界。 - 评估时，冻结的 Skill 包被送入\*\*全新的求解会话（fresh solver）\*\*，在 held-out 案例上测试迁移效用：

Uf(K; π_S) = E(x sim D_f)[r_f(π_S(x, K))]
其中 D_f 为任务族案例分布， r_f 为验证器评分。 —- ### 3. 固定窗口式指导：Fixed-Window SSL 这是 SSL 的第一种实例化（图 3B），强调**定时介入**： - 学生每完成 g 个工具调用（如主实验取 g=10 ），教育者即审查近期推理、工具返回结果与当前 Skill 包，并结合任务族规范、先前教训及锚点测试反馈生成课程（lesson）。 - 学生可回应（澄清或反驳），随后恢复探索与修订。沉默则允许实践直接继续。 - 多轮（通常 3 轮）迭代：每轮结束时，用 fresh solver 在重置的锚点上测试 Skill 包，验证器反馈导入下一轮。该机制的关键价值在于：当调查尚未关闭时，教育者即可质疑假设或建议补充检查，从而在证据被写入 Skill 前完成纠偏。 —- ### 4. 问题驱动的选择性指导：Issue-Guided SSL 针对固定窗口在后期指导需求下降时仍产生高昂上下文成本的问题，论文提出第二种实例化（图 3B 与图 5），核心为**持久化的学习问题（Learning Issue）**： - **问题定义**：每个学习问题包含探究焦点与可观察的接受标准（即“需调查什么”及“何种证据可解决它”）。问题以**学习问题树（Learning Issue Tree）**形式持久化：子问题在父问题下展开，解决后回到最近的未解决祖先。 - **触发机制**：首轮审查在首次修订或热身窗口后触发；此后，**仅在未解决问题被打开、变更或重新打开时才请求审查**。教育者仅接收活跃问题路径、最新修订与局部近期工作，而非完整上下文。 - **关闭与验证**：学生提交修订时需声明处理了哪个问题。验证性关闭（verified closure）要求课后检查成功；若 fresh solver 的锚点反馈与已关闭问题矛盾，该问题可在下一轮被重新打开，而已解决的兄弟节点不受影响。 - **成本与效用**：在 Qwen 主实验组上，Issue-Guided SSL 达到 **0.805** 的效用（对比 Fixed-Window SSL 的 0.801），但减少 **61.7%** 的教育者 token 与 **16.9%** 的总获取 token，每百万教育者 token 带来的迁移增益提升至 **2.75 倍**。 —- ### 5. 端到端学习流程两种实例化共享以下学习循环（附录 C.2）： 1. **初始化**：创建学生与教育者会话，初始化 Skill 包。 2. **多轮探索（通常 3 轮）**： - 学生接收公开规范与干净锚点，结合上一轮 fresh solver 的反馈进行推理与工具调用。 - 依 Fixed-Window 或 Issue-Guided 规则触发审查；若教育者授课，学生回应后可有一次后续对话（Fixed-Window 允许一次跟进回复）。 - 学生自主决定何时结束当前探索与修订。 3. **冻结与锚点验证**：冻结当前 Skill 包，用 fresh target model 在重置锚点上测试，记录轨迹与验证分数。 4. **最终迁移评估**：将最终冻结的 Skill 包分发给 fresh solver，在所有 held-out 案例上计算族宏平均效用（family-macro Avg@3）。 —- 简言之，论文的解决方案并非简单地让学生模仿专家轨迹或事后接收反馈，而是通过**交错式苏格拉底对话**让学生在执行中验证知识，并进一步通过**未解决问题的选择性审查**将专家注意力聚焦于真正需要指导的认知瓶颈，从而在保持高迁移率的同时显著降低监督成本。 Q4: 论文做了哪些实验？论文围绕 **SKILLTRANSFERBENCH** 基准展开系统实验，从迁移性能、指导协议比较、过程机制到成本效率四个层面进行验证。实验设计可归纳如下： —- ### 1. 基准与实验设置 - **基准**：SKILLTRANSFERBENCH，包含 35 个任务族、408 个可执行案例，覆盖 6 个领域（系统、服务、数据处理、科学计算、金融、办公自动化）。 - **评估队列**： - **主队列（Main cohort）**：22 个任务族、155 个 held-out 案例，用于 Qwen 模型对的主要实验。 - **轻量子集（Lite subset）**：10 个任务族、77 个案例，用于 Qwen、DeepSeek、Kimi 三个模型对的跨模型比较。 - **评估方式**：每个任务族使用 1 个固定锚点进行 Skill 获取；获取的 Skill 包被冻结后，在**全新求解会话（fresh solver）**中评估 held-out 案例。 - **指标**： - **族宏平均效用（Family-macro Avg@3）**：

U = (1) / (3|F|) ∑(r=1)^(3) ∑(f ∈ F) (1) / (|Vf|) ∑(v ∈ Vf) R(f,v,r)
其中 F 为任务族集合， Vf 为 held-out 案例， R(f,v,r) 为第 r 次重复中案例 v 的通过率。 - **全过率（Full-pass rate）**：要求所有私有检查均通过。 - **获取成本**：学生作者、教育者和锚点评估的 token 消耗；**教学效率**定义为每百万教育者 token 带来的迁移增益。 —- ### 2. 对比方法实验比较了以下 7 种条件： | 条件 | 说明 | |—-|—-| | **No Skill** | 无 Skill，每个案例独立求解 | | **Expert Authoring** | 外部专家模型直接编写 Skill 包 | | **Post-hoc Teaching** | 学生编写，每轮轨迹结束后专家给予一次反馈 | | **Trace2Skill** | 从执行轨迹中蒸馏并合并局部经验（Ni et al., 2026） | | **SKILL-KD** | 基于教师–学生轨迹对比的对比蒸馏（Shi et al., 2026） | | **Fixed-Window SSL** | 每完成 g 个工具调用（主实验 g=10 ）进行一次专家审查 | | **Issue-Guided SSL** | 基于未解决学习问题的状态转换触发审查 | —- ### 3. 核心实验与结果（按研究问题组织） #### RQ1：Skill 是否能迁移到未见任务族成员？在主队列（Qwen，22 族，155 案例，3 次重复）上评估各方法的 held-out 迁移性能。 - **结果**：Fixed-Window SSL 达到 **0.801** 效用，Issue-Guided SSL 达到 **0.805**。 - **对比**：No Skill 为 0.723，Expert Authoring 为 0.728，Post-hoc Teaching 为 0.748，Trace2Skill 为 0.761，SKILL-KD 为 0.751。 - **全过率**：从 No Skill 的 32.5% 提升至 Fixed-Window SSL 的 49.5% 和 Issue-Guided SSL 的 50.8%。 - **结论**：交错式教学显著优于无 Skill、专家代写、事后教学及现有蒸馏方法。 #### RQ2：如何组织专家指导以优化获取效果？在三个模型对（Qwen、DeepSeek、Kimi）的共享轻量子集（10 族，77 案例）上比较四种获取协议。 - **结果**： - Qwen：Fixed-Window SSL（+4.1 pp）与 Issue-Guided SSL（+4.5 pp）优于 Expert Authoring（+1.1 pp）和 Post-hoc Teaching（-0.7 pp）。 - DeepSeek 与 Kimi 呈现相同排序：交错式协议 > Expert Authoring > Post-hoc Teaching。 - **结论**：将学生作者身份与**实践中的实时指导**相结合，优于单纯事后反馈或专家代写。 #### RQ3：教学如何进入 Skill 发展过程？对 Qwen Fixed-Window SSL 的 66 轮获取运行、630 次审查进行过程分析。 - **教学需求变化**：第一轮 73.0% 的常规审查产生课程，第三轮降至 16.1%。 - **学生行为关联**：与沉默审查相比，接受课程后，学生在下一次调用中进行文件写入/编辑的概率高 **23.9** 个百分点；未来 10 次调用内修改 Skill 包的概率高 **38.6** 个百分点。 - **案例研究**：HTML-finance 族中，学生执行教育者提议的“从其他条目推导报告值”策略，发现仅标记 4 处矛盾却未命中真实错误（第 210 行），随后将通用算术替换为财务关系与反向推导，最终形成可复用程序。 - **结论**：教育者建议提供调查方向，而学生通过执行证据决定如何将建议转化为可保留知识。 #### RQ4：能否通过选择性审查减少监督成本并保持迁移？在主队列上比较固定窗口（ g=5, 10, 20 ）与 Issue-Guided SSL。 - **结果**： - Issue-Guided SSL 达到 **0.805** 效用（与 g=10 的 0.801 持平）。 - 教育者 token 减少 **61.7%**（从 2.40M 降至 0.92M）。 - 总获取 token 减少 **16.9%**。 - 教学效率提升为 **2.75 倍**（每百万教育者 token 的增益）。 - **跨模型验证**：DeepSeek 教育者 token 减少 63.8%，Kimi 减少 77.4%，效用差异保持在 1 个百分点以内。 - **机制**：审查次数减少 47.8%，每次审查 token 减少 26.7%，因为上下文聚焦于未解决的局部问题而非完整历史。 —- ### 4. 补充实验与分析 - **重复变异性**：3 次独立重复显示，SSL 的族宏效用在各次重复中均优于对应 No Skill 重复（表 11）。 - **案例级迁移方向**：在 130 个非天花板案例中，Fixed-Window SSL 对 55.4% 的案例带来提升，Issue-Guided SSL 对 54.6% 带来提升（表 10）。 - **Issue 生命周期分析**：177 个持久问题节点中，13.0% 至少被重新打开一次；28 次重新打开事件均随后产生新课程；运行时结束时 175 个节点已关闭（表 20）。 - **成本分解**：对比了学生作者、教育者和锚点评估三部分的 token 分配（图 7 与表 17、18、19）。 —- ### 5. 实验复现支持论文提供了完整的复现路径： - 代码与基准发布于 GitHub 仓库。 - 主队列与轻量子集的配置文件（`configs/scopes/main.yaml` 与 `lite.yaml`）。 - 模型对配置（Qwen、DeepSeek、Kimi）及精确的获取与评估命令。 - 所有会话日志、Skill 包快照与评估记录均按实验结构归档。 Q5: 有什么可以进一步探索的点？基于论文的实验设计与局限性声明，以下几方面值得进一步探索： —- ### 1. 协议组件的受控消融与机制解耦论文明确指出现有评估在**完整协议层面**进行，未来可通过**控制性比较**分离以下三者的独立贡献： - **Educator 模型的能力边界**：弱化 Educator（如使用更小模型或限制其访问上下文）如何影响迁移效用与教学成本之间的权衡； - **审查时机（review timing）**：除固定窗口与问题触发外，基于不确定性估计、信息增益或学生困惑度动态决定审查频率； - **问题结构（issue structure）**：Learning Issue Tree 的深度、分支策略以及接受准则的形式化程度对收敛速度的影响。 —- ### 2. 超越单锚点的多案例与主动学习当前设定每个任务族仅使用**单一锚点** x_(f,0) 进行 Skill 获取。可探索： - **多锚点学习**：在获取阶段顺序或并行使用多个家族成员，观察 Skill 包是否能更快收敛到更鲁棒的族级抽象； - **主动案例选择**：让 Educator 或 Student 主动挑选“最具信息量”的变体进行探索，而非依赖固定的 held-out 分布，从而优化样本效率； - **课程式锚点排序**：由简到繁地呈现锚点，检验是否能减少早期错误假设的固化。 —- ### 3. 教育者的轻量化与自动化 Issue-Guided SSL 虽已显著降低 Educator token，但外部专家仍是强模型（如 Qwen3.7 Max、DeepSeek-V4-Pro）。未来可研究： - **教育者策略蒸馏**：将强 Educator 的审查决策蒸馏为轻量级分类器，用于预测“是否需要介入”及“介入焦点”； - **检索增强式指导（RAG for Teaching）**：从过往成功的 Skill 修订库中检索类似问题，减少每次审查时完整上下文的依赖； - **学生自教育（Self-Socratic）**：随着任务族积累，学生模型能否内化生成交替式自我质疑的“内部 Educator”机制。 —- ### 4. 跨族迁移与更泛化的可迁移性当前评估聚焦于**同一家族内的 held-out 案例**。可进一步检验： - **跨任务族迁移**：将某一领域（如系统管理）学到的元程序或调试策略，迁移到结构相似但目标不同的家族（如服务部署）； - **跨领域 Skill 组合**：多个 Skill 包在求解时如何动态组合、避免冲突，以及在组合场景下的获取协议设计； - **元 Skill（Meta-Skills）学习**：学习“如何学习 Skill”的高阶策略，使面对全新领域时减少对外部 Educator 的依赖。 —- ### 5. 持续学习与 Skill 版本演化论文引用了 ContinualSkillBench（Guan et al., 2026）相关工作，但未在持续流任务上验证 SSL。可探索： - **任务流中的增量获取**：当新任务族陆续到达时，SSL 如何避免对已冻结 Skill 的灾难性遗忘，或如何触发 Skill 的版本更新； - **Skill 仓库的长期维护**：建立一个随时间演化的 Skill 注册表，结合使用频率、失败信号与 Educator 审查决定 Skill 的退役、合并或重构。 —- ### 6. 理论分析与收敛保证现有研究以实证为主，未来可从理论角度分析： - **苏格拉底式对话的收敛性**：在何种条件下，交错式指导能保证 Student 的 Skill 包收敛到真实任务族规范 s_f ； - **样本复杂度与查询复杂度**：达到目标迁移效用所需的环境交互步数、Educator 调用次数的下界或上界； - **错误传播界限**：当 Educator 提供次优或部分错误建议时，Student 的验证机制能否限定最终 Skill 的性能损失。 —- ### 7. 向多模态与开放环境的扩展 SKILLTRANSFERBENCH 主要覆盖代码、系统与办公自动化任务。可拓展至： - **网页与 GUI 智能体**：在视觉-语言-动作循环中，Skill 包如何包含界面模式、操作流程与失败恢复策略； - **机器人与具身智能**：将 SSL 中的“工具调用”扩展为物理动作序列，Educator 通过观察状态-动作历史提供安全与效率指导； - **科学实验与假设验证**：在需要昂贵实验成本的领域，利用 Issue-Guided SSL 的“聚焦审查”机制，减少专家监督下的试错开销。 —- ### 8. 与模型参数更新的协同当前 Skill 以外部包形式存在，不涉及模型权重更新。可探索： - **Skill 记忆与参数记忆的混合架构**：将高频复用的 Skill 知识通过 LoRA 或记忆写入固化到模型参数中，同时保留外部包用于低频或快速演化的程序； - **获取过程中的在线微调**：在 SSL 的多轮交互中，是否可通过少步梯度更新让学生模型更快习得族级先验，减少对详细文本指令的依赖。 Q6: 总结一下论文的主要内容该论文研究如何使大型语言模型（LLM）智能体获得**可跨会话、跨任务变体复用的可迁移技能（Skills）**，并提出**苏格拉底式技能学习（Socratic Skill Learning, SSL）**框架及配套评估基准。 ### 1. 研究动机与核心问题现有从执行轨迹中提炼技能的方法往往依赖单次或少量任务尝试的成功经验，但一次成功的尝试通常未能充分检验**程序的适用条件与边界**，导致所学技能在未见过的任务变体上迁移性差。此外，简单的专家代写（Expert Authoring）或事后反馈（Post-hoc Teaching）难以让学生在探索过程中及时验证和修正假设。因此，论文核心关注：**外部专家应如何在学生持续收集证据的过程中介入，以支持可迁移技能的形成？** ### 2. 苏格拉底式技能学习（SSL） SSL 采用双角色交互范式：**学生（Student）**作为唯一的环境操作者与技能包作者，**教育者（Educator）**仅拥有只读权限，通过解释、挑战、诊断或保持沉默来引导。学生可以质疑、测试并自主决定是否采纳建议，确保技能包由亲身验证过程序的学习者撰写。论文提出两种实例化： - **Fixed-Window SSL**：学生每完成 g 个工具调用，教育者即审查近期工作与实时技能包，及时纠偏。主实验采用 g=10 ，进行多轮（3 轮）迭代，每轮通过全新求解器（fresh solver）在重置的锚点上验证技能包。 - **Issue-Guided SSL**：引入持久化的**学习问题（Learning Issues）**树结构，每个问题包含探究焦点与可观察的接受标准。审查仅在未解决问题被打开、变更或重新打开时触发，教育者接收聚焦的局部上下文而非完整历史。学生通过提交修订声明并附带证据来推动问题关闭。 ### 3. 评估基准：SKILLTRANSFERBENCH 为测试技能在“学习任务之外”的迁移能力，论文构建 SKILLTRANSFERBENCH，包含： - **35 个任务族**，**408 个可执行案例**，覆盖系统、服务、数据处理、科学计算、金融、办公自动化 6 个领域。 - 每个任务族提供**公开规范**，定义不变目标与允许的变体维度（如 WAL 编码、恢复深度等）。 - 采用固定锚点进行技能获取，在**全新求解会话**中评估冻结后的技能包对 held-out 案例的迁移效用：

Uf(K; π_S) = E(x sim D_f)[r_f(π_S(x, K))]
其中 D_f 为案例分布， r_f 为验证器评分。评估指标包括族宏平均效用（Avg@3）与全过率。 ### 4. 实验结果 #### 迁移性能（RQ1）在 Qwen 主队列（22 族，155 案例）上： - **Fixed-Window SSL** 达到 **0.801** 的效用，**Issue-Guided SSL** 达到 **0.805**。 - 显著优于无技能（0.723）、专家代写（0.728）、事后教学（0.748）、Trace2Skill（0.761）与 SKILL-KD（0.751）。 - 全过率从 32.5%（无技能）提升至 49.5% 与 50.8%。 #### 指导协议比较（RQ2）在 Qwen、DeepSeek、Kimi 三个模型对的共享轻量子集（10 族，77 案例）上，两种 SSL 协议 consistently 优于专家代写与事后教学，验证了**将学生作者身份与实践中的实时指导相结合**的优势。 #### 过程机制分析（RQ3）对 630 次审查的过程分析表明： - 教学需求随技能完善而下降：第一轮 73.0% 的审查产生课程，第三轮降至 16.1%。 - 与沉默审查相比，接受课程后学生在下次调用中进行文件写入/编辑的概率高 **23.9** 个百分点，未来 10 次调用内修改技能包的概率高 **38.6** 个百分点。 - 案例研究显示，学生通过执行验证教育者提议的程序，发现其缺陷并精炼为可复用规则。 #### 成本效率（RQ4） Issue-Guided SSL 在保持迁移效用的同时显著降低成本： - 教育者 token 减少 **61.7%**，总获取 token 减少 **16.9%**。 - 每百万教育者 token 带来的迁移增益提升至 Fixed-Window SSL（ g=10 ）的 **2.75 倍**。 - 在 DeepSeek 与 Kimi 上同样大幅减少教育者 token（分别为 63.8% 与 77.4%）。 ### 5. 主要贡献 - **SKILLTRANSFERBENCH**：一个包含 35 个任务族、408 个案例的基准，通过公开规范引导获取，并在全新会话中评估冻结技能的 held-out 迁移。 - **Socratic Skill Learning**：一种将专家指导交错嵌入学生实时实践与验证的学习框架，学生保留操作与作者权限；Issue-Guided SSL 通过持久化学习问题选择并聚焦审查。 - **系统评估与机制分析**：在三个模型对上验证了交错指导的优越性，并通过过程分析与案例研究揭示了指导如何进入技能发展，以及选择性审查如何在降低监督成本的同时维持迁移性能。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Letian Zhu,Han Li,Yifan Yao,Xinping Lei,Xinyu Che,Jiahao Wang,Dianyi Wang,Yucheng Fu,Jiakai Wang,Zhiqi Bai,Wenbo Su,Jiaheng Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.17860.pdf

Arxiv URL: https://arxiv.org/abs/2610.17860

Arxiv ID: 2610.17860

CoolPaper URL: https://papers.cool/arxiv/2610.17860

Published: 2026-10-23T01:56:44.933Z

Updated: 2026-10-23T01:56:44.933Z

12. Retrieval Augmented Generation Compositionality

Abstract:Retrieval Augmented Generation (RAG) grounds large language models in external knowledge. Modern pipelines combine embedding, chunking, retrieval, reranking, query augmentation, context compression, and agentic verification, yet these techniques are typically evaluated one at a time. It remains unclear whether their isolated gains survive composition, whether retrieval quality and answer faithfulness favor the same design choices, and whether conclusions from small corpora hold at large scale. We pre-declare three hypotheses and introduce LASAGNA, an open-source framework for controlled RAG evaluation. We test 450 configurations across eight benchmarks and corpora ranging from 5K to 200K documents. Three findings emerge. First, individually strong techniques from different phases of a RAG pipeline do not necessarily compose: three retrieval techniques predict a +47% combined improvement but deliver only +17% when used together. Second, component gains stack differently for retrieval and faithfulness, and optimizing one can hurt the other. Third, the best composition changes as the corpus grows: the combination that wins on a small corpus may not remain best at large scale. These findings show that gains measured in isolation are not reliable predictors of realistic performance, and that new RAG techniques should be tested with the full surrounding stack. We call on researchers to do so and supply LASAGNA to simplify these experiments.

中文摘要

摘要：增强检索生成（RAG）将大型语言模型与外部知识相结合。现代流程结合了嵌入、分块、检索、重排、查询增强、上下文压缩和自主验证，但这些技术通常是单独评估的。目前尚不清楚它们的单独收益在组合时是否仍然存在，检索质量与答案可靠性是否支持相同的设计选择，以及从小型语料库得出的结论是否在大规模语料库中依然适用。我们预先声明了三个假设，并介绍了 LASAGNA，一个用于受控 RAG 评估的开源框架。我们测试了 450 种配置，跨越八个基准和从 5K 到 200K 文档的语料库。得出三点发现。首先，来自 RAG 流程不同阶段的单独强大技术并不一定能组合使用：三种检索技术预测组合提升 +47%，但同时使用时仅提供 +17%。其次，组件的增益在检索和可靠性方面累积方式不同，优化其中一个可能会损害另一个。第三，最佳组合会随着语料库的增长而变化：在小型语料库中获胜的组合，在大规模时可能不再最佳。这些发现表明，单独衡量的增益不能可靠地预测实际性能，新 RAG 技术应在完整的上下文堆栈中进行测试。我们呼吁研究人员这样做，并提供 LASAGNA 以简化这些实验。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图系统性地解决\*\*检索增强生成（RAG）系统中组件组合性评估不足\*\*的问题。具体而言，论文针对以下三个核心研究空白展开： ### 1. 孤立增益在完整管道中的可迁移性现有RAG技术（如嵌入模型、分块策略、重排序器、查询增强、上下文压缩、代理式质量门控等）通常在单组件消融实验中被验证，但论文指出，\*\*单独有效的技术未必在组合后保留其增益\*\*。例如，三种检索技术单独测试时预测 +47% 的 NDCG@10 提升，但实际组合后仅实现 +17% ，存在显著的\*\*组合性短损\*\*（composition penalty）。 ### 2. 检索质量与答案忠实度的目标冲突 RAG系统通常被同时评估于两个不同目标： - \*\*检索质量\*\*（如 NDCG@10）：是否正确检索到相关文档； - \*\*答案忠实度\*\*（如 RAGAS）：生成答案是否忠实于检索到的上下文。论文揭示，\*\*优化检索质量的设计选择与优化忠实度的选择并不一致\*\*——例如，嵌入模型和索引时富集主导检索质量，而查询增强和代理式门控主导忠实度。这导致实践中基于单一指标优化管道可能损害另一指标。 ### 3. 小语料库结论在大规模场景下的失效风险现有文献多在 5K sim 50K 文档规模下进行消融实验，但生产环境往往面对更大语料库（如 200K ）。论文验证发现，\*\*不同RAG配置的组合排名随语料库规模发生显著迁移\*\*：在小语料库上领先的配置（STANDARD）在 200K 规模下被另一配置（BALANCED）以 13.7% 的相对优势超越。 --- 为检验上述问题，论文预声明了三项假设（H1–H3），并构建了开源框架 \*\*LASAGNA\*\*，在 450 余种配置、 8 个基准测试及 5K 至 200K 文档规模的统一多领域语料库上进行了控制实验。最终结论强调：\*\*新RAG技术应在代表性完整管道中、同时评估检索与忠实度双指标、并在目标部署规模下进行验证\*\*，而非依赖孤立单组件消融。 Q2: 有哪些相关研究？根据论文第2节（Related Work）及全文引用，相关研究可按以下主题归类： ## 1. RAG 各阶段的基础技术 ### 检索（Retrieval） - \*\*稀疏检索\*\*：BM25（Robertson & Zaragoza, 2009） - \*\*密集检索\*\*：BGE-M3（Chen et al., 2024a）、E5（Wang et al., 2022） - \*\*学习稀疏表示\*\*：SPLADE（Formal et al., 2021; 2022） - \*\*晚期交互模型\*\*：ColBERT / ColBERT-v2（Khattab & Zaharia, 2020; Santhanam et al., 2022） - \*\*混合融合策略\*\*：倒数排序融合 RRF（Cormack et al., 2009）、Bruch et al. (2023) 对混合检索融合函数的分析 ### 重排序（Reranking） - \*\*交叉编码器\*\*：基于 MS-MARCO 训练的交叉编码器（Nogueira & Cho, 2019） - \*\*多样性排序\*\*：MMR（Maximal Marginal Relevance; Carbonell & Goldstein, 1998） - \*\*集成重排序\*\*：多模型评分融合 ### 上下文压缩与查询增强 - \*\*上下文压缩\*\*：LLMLingua（Jiang et al., 2023a）、基于"中间丢失"的位置感知选择（Liu et al., 2024） - \*\*查询增强\*\*：HyDE（Gao et al., 2023a）、RAG-Fusion（Rackauckas, 2024）、查询分解（Press et al., 2023; Khattab et al., 2024）、Step-back prompting（Zheng et al., 2024） ### 索引时富集与生成时控制 - \*\*索引时富集\*\*：RAPTOR（Sarthi et al., 2024）、上下文检索前缀（Anthropic, 2024）、GraphRAG（Edge et al., 2024） - \*\*生成时代理控制\*\*：CRAG（Yan et al., 2024）、Self-RAG（Asai et al., 2024）、Speculative-RAG（Wang et al., 2025） ## 2. RAG 组合与配置优化研究 - \*\*Wang et al. (2024)\*\*：通过启发式搜索寻找 RAG 最佳实践，但未估计交互效应 - \*\*Barnett et al. (2024)\*\*：梳理 RAG 系统的七个工程失败点 - \*\*Kim et al. (2024) / AutoRAG\*\*：自动化配置搜索，但仅报告最优设置而非交互结构 - \*\*Fu et al. (2024) / AutoRAG-HP\*\*：RAG 超参数在线自动调优 - \*\*Chen et al. (2026)\*\*：通过多智能体强化学习联合优化 RAG 组件 - \*\*Li et al. (2025)\*\*：RAG 最佳实践增强研究 ## 3. RAG 评估框架与基准 - \*\*RAGAS\*\*（Es et al., 2024）：自动化评估检索增强生成的忠实度与答案相关性 - \*\*ARES\*\*（Saad-Falcon et al., 2024）：RAG 系统自动评估框架 - \*\*RAGBench / TRACe\*\*（Friel et al., 2024）：可解释的 RAG 系统基准 - \*\*BERGEN\*\*（Rau et al., 2024）：RAG 基准测试库，支持组合但缺乏阶段隔离 - \*\*FlashRAG\*\*（Jin et al., 2025）：高效 RAG 研究模块化工具包 - \*\*BEIR\*\*（Thakur et al., 2021）：异构基准，用于零样本信息检索评估 - \*\*Xiong et al. (2024)\*\*：医学领域 RAG 基准测试 - \*\*Krishna et al. (2025)\*\*：事实、检索与推理的统一评估 ## 4. 实验设计与预注册方法论 - \*\*预注册实践\*\*：van Miltenburg et al. (2021) 提倡在 NLP 研究中预注册假设 - \*\*实验报告改进\*\*：Dodge et al. (2019) 呼吁改进实验结果报告；Bouthillier et al. (2021) 分析机器学习基准中的方差 - \*\*实验设计理论\*\*：Fedorov et al. (1972)、Atkinson et al. (2007) 的 D-最优设计；Montgomery (2021) 的实验设计与分析 ## 5. RAG 综述与基础工作 - \*\*RAG 综述\*\*：Gao et al. (2023b)、Fan et al. (2024) - \*\*原始 RAG 架构\*\*：Lewis et al. (2020) - \*\*Scaling Laws\*\*：Kaplan et al. (2020) 的语言模型缩放律（被 H3 假设引用） Q3: 论文如何解决这个问题？论文通过以下多层次方法系统性地解决了RAG组件组合性评估不足的问题： --- ### 1. 预声明可证伪的假设框架论文并未进行无方向的数据探索，而是\*\*预先声明了三项假设\*\*（H1–H3），将"组件是否可加性组合""单一配置能否跨目标通用""排名是否随语料库规模迁移"这三个方法论问题转化为可检验的统计命题。这避免了事后假设挖掘（hypothesis mining），使结论具备确证性推断效力。 --- ### 2. 构建阶段隔离的评估框架 LASAGNA 现有工具库（如 BERGEN、FlashRAG）虽支持组合，但缺乏\*\*阶段隔离\*\*（stage isolation），导致切换一个组件时可能静默改变其他阶段的实现。LASAGNA 通过以下设计解决此问题： - \*\*固定接口的抽象基类\*\*：将管道划分为嵌入、分块、索引时富集、检索、查询增强、重排序、上下文压缩、代理式生成等八个阶段，每阶段通过类型化的数据类契约交互； - \*\*注册器模式\*\*：新组件仅需一个装饰器 \`@registry.register\` 即可插入完整现代管道，无需重新实现周边栈； - \*\*自动化隔离测试\*\*：五项行为测试验证切换某一组件不会泄漏到相邻阶段的状态。这使得研究者可以在控制周边栈恒定的条件下，精确归因单一组件或交互效应。 --- ### 3. 采用 D-最优部分因子设计控制组合爆炸完整因子空间为 4 × 4 × 4 × 3 × 5 × 4 × 2 × 4 = 30,720 种配置，远超预算。论文采用 \*\*Fedorov 坐标交换算法\*\* 抽取 242 运行的 D-最优子集（实际执行 167 个配置），在保持全部 22 个主效应与 28 个二维交互项可估计的前提下，将实验规模压缩约 99.5% 。 --- ### 4. 统一跨领域语料库与双轨评估 - \*\*语料库构建\*\*：将五个 BEIR 检索集（NFCorpus、FiQA、SciFact、ArguAna、HotpotQA）与三个 QA 集（SQuAD v2、MuSiQue、HotpotQA）统一为单一多领域语料库（ 5K sim 200K 文档），并注入受控干扰文档，模拟真实部署中的跨领域干扰压力； - \*\*双轨指标\*\*： - \*\*检索轨\*\*：NDCG@10（衡量是否检索到正确文档）； - \*\*端到端轨\*\*：RAGAS faithfulness（衡量生成答案是否忠实于检索上下文）。这种设计允许独立观察检索质量与忠实度的解耦现象。 --- ### 5. 大规模消融与缩放实验互补因子设计除 167 个因子配置外，论文额外执行了： - \*\* 138 个非因子消融配置\*\*，覆盖 24 个针对性实验（重排序器族、嵌入维度、分块策略、代理迭代次数等）； - \*\*语料库缩放扫描\*\*：在 5K, 15K, 25K, 50K, 100K, 200K 六个规模上重复评估，检验规模不变性。 --- ### 6. 提炼可操作的 Pareto 前沿配置基于实验结果，论文从庞大配置空间中提炼出四个\*\*操作配置文件\*\*（operational profiles），对应检索–忠实度–延迟 Pareto 前沿的不同极点： | 配置 | 定位 | 核心特征 | |------|------|----------| | \*\*SPEED\*\* | 延迟优先 | MiniLM-L6、纯密集检索、无 LLM 查询时组件， sim 0.8 s | | \*\*STANDARD\*\* | 检索质量优先 | BGE-M3、混合检索、HyDE、重排序，小语料库 NDCG@10 最高 | | \*\*BALANCED\*\* | 联合最优（大规模） | 在 STANDARD 基础上增加层次检索、提取式压缩、文档感知前缀、代理式门控， >25K 时超越 STANDARD | | \*\*MAX-RELIABLE\*\* | 忠实度地板优先 | 更宽检索 envelope、上下文检索、激进质量门控，延迟最高 | 这些配置提供了从实验到工程部署的直接映射。 --- ### 7. 严格的统计与稳健性检验 - 使用 eta^2 （方差解释率）量化主效应与交互效应； - 对假定的交互效应进行\*\*确认性追踪实验\*\*（E1，预分析计划锁定后执行）； - 跨法官模型（GPT-5.1 vs. Claude Sonnet 4.5 vs. Claude Opus 4.7）与人评估者进行\*\*三方校准\*\*，验证排名的法官不变性； - 报告长度控制后的忠实度残差，排除答案长度对 RAGAS 评分的机械性干扰。 --- 通过上述方法，论文将"RAG组件如何组合"这一原本只能依赖经验直觉的问题，转化为可在控制条件下复现、归因和量化的实验科学问题，并提供了开源工具链以降低后续研究的实施门槛。 Q4: 论文做了哪些实验？论文围绕 RAG 管道组合性、交互效应与规模迁移三大核心问题，执行了 \*\*约 450 个独立配置运行\*\* 的系统性实验矩阵，可分为以下六大类： --- ### 1. 核心因子设计实验（D-optimal Factorial）这是论文的主干实验，用于估计 8 个管道维度之间的主效应与二维交互效应。 - \*\*设计\*\*：从 4 × 4 × 4 × 3 × 5 × 4 × 2 × 4 = 30,720 的完整因子空间中，通过 Fedorov 坐标交换算法抽取 \*\*D-最优 242 配置子集\*\*。 - \*\*执行\*\*：实际完成 \*\*167 个配置\*\*（检索轨）与 \*\*122 个配置\*\*（端到端生成轨），覆盖 8 个维度、30 个技术层级。 - \*\*指标\*\*：检索轨测量 NDCG@10；生成轨测量 RAGAS Faithfulness、Exact Match、Token F1 与延迟。 \*\*八个实验维度\*\*（D1–D8）： | 维度 | 阶段 | 水平数 | 测试水平 | |------|------|--------|----------| | D1 | Embedding | 4 | MiniLM-L6, BGE-M3, E5-large, BGE-large | | D2 | Chunking | 4 | Fixed, Semantic, Sentence-window, Hierarchical | | D3 | Enrichment | 4 | None, Contextual-retrieval, RAPTOR, GraphRAG\* | | D4 | Retrieval | 3 | Dense, Hybrid-BM25, Hybrid-SPLADE | | D5 | Query Aug. | 5 | None, HyDE, RAG-Fusion, Decomposition, Step-back | | D6 | Reranking | 4 | None, Single-CE, Ensemble, MMR | | D7 | Compression | 2 | None, LLMLingua | | D8 | Agentic Gate | 4 | None, CRAG, Self-RAG, Speculative-RAG | \*GraphRAG 经独立消融后从因子设计中剔除（见第 2 类实验）。 --- ### 2. 针对性非因子消融实验（24 组，共 138 配置）在因子设计之外，论文执行了 24 组独立消融实验，对特定组件进行更细粒度的探针。主要包括： \*\*检索侧消融（9 组，51 配置）\*\* - \*\*混合搜索消融\*\*：Dense-only vs. Hybrid-α 在 0.3/0.5/0.7/0.9 的扫描 - \*\*HyDE 消融\*\*：1/3/5 个假设文档、平均 vs. MaxSim 聚合策略 - \*\*MMR 与重排序消融\*\*：MMR 开关 × 重排序开关的 2×2 探针 - \*\*查询增强消融\*\*：Expansion (n=2,4)、Decomposition、RAG-Fusion (n=3,5) 及其组合 - \*\*相似度阈值扫描\*\*：多种阈值与 MMR 归一化策略 - \*\*稀疏方法比较\*\*：BM25 vs. SPLADE - \*\*上下文检索消融\*\*：开启/关闭 100-token 文档前缀 - \*\*重排序器开关\*\*：Top-3/5/10/20 与无重排序对比 - \*\*清洁 HyDE 重跑\*\*：修正早期污染后的独立验证 \*\*模型比较实验（5 组，25 配置）\*\* - \*\*重排序器族谱\*\*：20 种重排序器，包括 ms-marco-MiniLM-L6、ColBERT-v2、mxbai-rerank-large、BGE-reranker-v2、Jina-v2、LLM Listwise（window=5/10）及集成策略 - \*\*嵌入模型族谱\*\*：15 种配置，包括 BGE-M3 全维、Matryoshka 截断（128/256/512/768/1024）、Late Chunking、SOTA 2025–26 模型（Stella-1.5B、Snowflake-Arctic、GTE-large） - \*\*ColBERT vs. 交叉编码器\*\*：多向量晚期交互 vs. 传统交叉编码器 \*\*生成侧消融（4 组，28 配置）\*\* - \*\*Agentic RAG 深度扫描\*\*：17 个配置，迭代次数（1–5）、幻觉检查门、答案质量门、覆盖检查策略的组合 - \*\*CRAG 消融\*\*：检索轨与生成轨双轨测试，含/不含 Web 搜索触发 - \*\*上下文压缩消融\*\*：Extractive 30%/50% vs. Abstractive 30% \*\*其他校准实验\*\* - \*\*分块策略扫描（Exp. 17）\*\*：20 种配置，涵盖固定长度、语义阈值、句子窗口、Docling 层次结构等多参数组合 - \*\*法官模型比较（Exp. 06）\*\*：GPT-5.1 vs. Claude Sonnet 4.5 对 RAGAS 评分的交叉验证 --- ### 3. 语料库规模缩放实验（H3，18 个单元 × 多种子）检验 "小语料库最优配置是否在大规模下保持最优"。 - \*\*规模梯度\*\*：5K（基线）→ 15K → 25K → 50K → 100K → 200K 文档 - \*\*执行\*\*：在 25K–200K 规模执行 3 个随机种子（5K/15K 为单种子点估计） - \*\*方法\*\*：从五个 BEIR 域的保留子集中按比例注入受控干扰文档，确保与评估查询无重叠 - \*\*指标\*\*：检索 NDCG@10、RAGAS Faithfulness、Exact Match、延迟 --- ### 4. 确认性追踪实验（E1）：Query Augmentation × Agentic Gate 因子分析发现 D5×D8 交互是唯一通过 Bonferroni 校正的大效应信号。论文对此进行了预锁定的确认性复现。 - \*\*设计\*\*：5（查询增强水平）× 4（代理门控水平）= \*\*20 个配置\*\* - \*\*固定\*\*：其余 6 个维度锁定为 STANDARD 配置默认值 - \*\*样本\*\*：43 个独特查询 × 3 种子 ≈ 2,550 次观测（因 API 速率限制，低于预注册的 200 查询 × 3 种子） - \*\*统计\*\*：混合效应似然比检验（查询级随机截距），验证交互效应的存在与量级 --- ### 5. 评估协议验证实验为确保 RAGAS 自动评估与人类判断的一致性，论文执行了三重验证： - \*\*人类双评估者研究\*\*：2 名领域专家对 50 个 QA 三元组进行独立忠实度评分，与 GPT-5.1 RAGAS 评分对比（Pearson r = 0.83 ；评估者间 r = 0.96 ） - \*\*跨 LLM 法官稳健性\*\*：GPT-5.1 vs. Claude Sonnet 4.5， n=80 （Kendall τ_b = 0.38 ，66% 样本差异 ≤ 0.1 ） - \*\*第三法官扩展\*\*：Claude Opus 4.7 对 220 个样本进行评分（Pearson r = 0.44 ，Cohen's kappa = 0.35 ），验证排名趋势的法官不变性 - \*\*长度控制忠实度重跑\*\*：50 查询 × 3 种提示长度（简洁/中性/详细），排除答案长度对 RAGAS 的机械干扰 --- ### 6. 生成器替换敏感性实验（F.9）检验结论是否依赖于特定生成模型。 - \*\*设计\*\*：4 个 SOTA 配置 × 43 查询 × 3 种子，固定检索结果与 RAGAS 法官，仅替换答案生成模型（GPT-5.1 vs. Claude Sonnet 4.5） - \*\*发现\*\*：绝对忠实度随生成器变化，但配置间排名趋势稳定；强生成器对轻量管道的提升更大，证实"管道机械与生成器能力存在替代关系" --- ### 实验总览统计 | 类别 | 配置数 | 主要目的 | |------|--------|----------| | D-最优因子设计 | 167（检索）/ 122（生成） | 主效应与交互效应估计 | | 非因子消融与模型比较 | 138 | 组件细粒度诊断与模型选型 | | 规模缩放 | 18 单元 × 1–3 种子 | H3 规模迁移验证 | | 确认性实验 E1 | 20 | D5×D8 交互的锁定复现 | | 评估验证 | — | RAGAS、跨法官、长度控制 | | 生成器替换 | 4 × 2 | 结论的模型无关性 | | \*\*合计\*\* | \*\*~450 配置运行\*\* | — | 所有实验均通过统一的 YAML 声明式配置在 LASAGNA 框架中执行，支持端到端复现、成本追踪与配对统计检验。 Q5: 有什么可以进一步探索的点？基于论文的局限性（第15页 Limitations 节）及核心发现，以下方向具有进一步探索价值： --- ### 1. 跨语言与真实场景验证论文的评估完全基于\*\*英文公开基准\*\*与构造的多领域语料库。后续工作可沿两条路径扩展： - \*\*多语言 RAG\*\*：测试 LASAGNA 框架在中文、多语言混合或低资源语言语料中的组合性规律，验证嵌入模型（如 BGE-M3 的多语言能力）与组件交互是否存在语言依赖性； - \*\*真实企业/私有数据\*\*：在内部知识库、医疗病历或法律合同等私有语料上复现 5K to 200K 的规模实验，检验小语料库结论（如 STANDARD 领先）向真实高频更新文档流的迁移性。 --- ### 2. 开源生成器与本地部署闭环当前所有主要结果均基于\*\*专有 API\*\*（GPT-5.1）。探索以下变体可显著提升可复现性与成本可控性： - \*\*开源权重模型\*\*：使用 Llama-3-70B、Qwen-2.5 或 Mistral-Large 替代 GPT-5.1 作为生成器与 RAGAS 法官，检验"管道机械与生成器能力存在替代关系"（Section F.9）是否对较弱开源模型更强； - \*\*端侧/混合部署\*\*：在资源受限场景（Apple Silicon、边缘设备）中验证 SPEED 与 STANDARD 配置是否仍保持 Pareto 最优。 --- ### 3. 超大规模语料与更长文档论文的 H3 验证止于 \*\* 200K 文档\*\*，但生产系统常面对 1M 以上量级： - \*\*百万级语料验证\*\*：直接检验 Table 23 中 BALANCED 与 STANDARD 的 1M 投影（ BALANCED 点估计 +0.077 但预测区间重叠），明确排名反转是否在大规模下消失或放大； - \*\*长文档与层次结构\*\*：结合 TreeRAG（Tao et al., 2025）或 HippoRAG（Gutiérrez et al., 2024）等层次/图索引方法，检验其在 >200K 长文档池中的组合性是否改变 D1 × D3 （Embedding × Enrichment）交互的方向。 --- ### 4. 被剔除高成本组件的组合性再评估 - \*\*GraphRAG\*\*：因单次实体抽取成本 sim 14 小时而被剔除（Section A.4）。随着基础设施成本下降，可在完整 8 维因子设计中重新引入 GraphRAG，验证其"可能提升忠实度但稀释 NDCG@10"的假设（Table 11）； - \*\*结构化检索\*\*：将 KAG（Liang et al., 2024）、多模态 RAG（图像/表格嵌入）作为新的维度接入 LASAGNA，测试其与现有代理门控（D8）的跨阶段协同（如 I3 交互是否增强）。 --- ### 5. 从实验设计到自动化组合优化论文采用 \*\*D-最优设计\*\* 在离线状态下估计交互，但未解决在线部署中的动态配置问题： - \*\*自适应管道选择\*\*：基于查询特征（单跳 vs. 多跳、实体密度）动态路由至 SPEED/STANDARD/BALANCED 配置，而非静态选择； - \*\*贝叶斯优化 / 多臂老虎机\*\*：在 8 维空间中以延迟约束为惩罚项，在线学习最优配置组合，替代预声明的因子网格。 --- ### 6. 交互效应的因果机制解耦论文发现部分交互（如 D5 × D8 ）存在但效应量小（ eta^2 = 0.033 ），而检索侧存在严重的\*\*功能重叠\*\*（C1）： - \*\*功能重叠量化\*\*：建立检索组件的"能力重叠矩阵"，用表示学习或信息论方法量化 HyDE、重排序、混合检索在特征空间中的冗余度，从而预测组合短损； - \*\*错误传播链建模\*\*：将 C2（错误传播）形式化为概率图模型，量化 HyDE 噪声经混合融合 → 重排序后的生存概率，指导去噪环节的插入位置。 --- ### 7. 评估协议本身的深化 - \*\*长度控制忠实度\*\*：论文发现简洁提示的 RAGAS 优势在长度残差化后逆转（Section C.3）。未来需开发\*\*对答案长度不敏感\*\*的忠实度指标，或采用基于信息覆盖率的度量替代逐声明验证； - \*\*人类评估的规模化\*\*：当前人类评估仅 n=50 ，不足以验证 122 配置的排名级相关性（Section C.4）。可引入众包平台对 D5×D8 的 20 个单元进行完整排名验证； - \*\* pairwise 与点评估的协议统一\*\*：Section C.5 显示 Bradley–Terry 与 RAGAS 配置级排名仅 Spearman rho = -0.36 ，需开发融合两种协议的元评估框架。 --- ### 8. 成本–延迟–质量的三维联合优化论文定义了联合超体积：

HV(L(ref)) = NDCG@10 × Faith × max(0, 1 - latency/L(ref))
但当前分析以固定 L_(ref) = 30,s 为参考。可进一步： - 引入**每查询美元成本**作为第四目标，检验 SPEED（低 API 调用）与 BALANCED（高 Agentic 调用）在成本敏感场景下的 Pareto 前沿是否发生质变； - 探索**投机式 RAG**（Speculative-RAG）与级联推理（cascading）在成本约束下的最优预算分配。 —- ### 9. 时间动态与概念漂移当前实验假设语料库静态。后续可探索： - **增量索引下的组合稳定性**：当语料库持续 grows 时， BALANCED 的层次分块与文档感知前缀是否保持规模稳健性； - **概念漂移检测**：在 CRAG/Self-RAG 的迭代循环中嵌入时效性门控，检验 Agentic 层对过时文档的鲁棒性是否改变 D5×D8 交互模式。 —- ### 10. 理论化组合性定律论文的经验发现呼唤更底层的理论： - **RAG 组合性定理**：类似神经缩放律（Kaplan et al., 2020），建立管道组件增益的”对数可加性边界”：

Delta(composed) ≤ ∑_i Delta_i - λ ∑(i<j) Overlap(i,j)
其中 λ 为功能重叠系数，可用实验标定； - **阶段边界信息论**：用互信息量化检索输出 I(context; query) 与生成输入之间的信息瓶颈，解释为何检索侧子加性而忠实度侧近似可加（忠实度受下游门控保护，信息瓶颈位于不同阶段）。这些方向既可利用 LASAGNA 的模块化架构快速切入，又能回应论文核心论断——**RAG 组件必须在完整管道、双指标、目标规模下联合评估**。 Q6: 总结一下论文的主要内容这篇论文系统研究了现代检索增强生成（RAG）系统中多种技术组件在组合时的交互效应、评估指标间的偏好差异，以及语料库规模对配置排名的影响。以下是主要内容总结： —- ### 1. 研究背景与问题现代 RAG 管道涉及嵌入、分块、检索、重排序、查询增强、上下文压缩、代理式验证等八个以上阶段。现有研究通常**孤立地**评估单一组件的改进，却隐含假设这些增益在完整管道中会简单叠加。论文指出三个未被充分验证的核心问题： - **组件是否可加性组合**？ - **检索质量**（如 NDCG@10 ）与**答案忠实度**（如 RAGAS ）是否由相同设计选择优化？ - **小语料库**（ 5K sim 50K 文档）上的最优配置，在**生产规模**（ 200K 以上）是否仍然最优？ —- ### 2. 预声明假设研究在实验前预先登记了三项假设： - **H1（非加性）**：组件的两两交互解释了显著的忠实度方差，孤立消融不可信。 - **H2（无普适配置）**：不存在单一配置在所有指标上同时最优，需在检索质量、忠实度与延迟的 Pareto 前沿上权衡。 - **H3（规模依赖）**：不同配置的相对排名随语料库规模发生迁移，小语料库结论不具备规模外推性。 —- ### 3. 方法论：LASAGNA 框架与实验设计论文发布了开源框架 **LASAGNA**，其关键设计是**阶段隔离**（stage isolation）：每个管道阶段通过固定接口与类型化数据类契约交互，切换单一组件不会静默改变其他阶段的实现。这保证了实验差异可被精确归因。实验规模包括： - **167 个配置**的 D-最优部分因子设计（覆盖 8 个维度、30 个技术层级），用于估计主效应与 28 个两两交互； - **138 个非因子消融配置**（24 组针对性实验），覆盖重排序器族、嵌入模型、分块策略、代理迭代深度等； - **语料库缩放扫描**：在统一多领域语料（5 个 BEIR 检索集 + 3 个 QA 集）上，从 5K 到 200K 文档重复评估。 —- ### 4. 核心发现 #### （1）检索增益组合时严重子加性三个单独最强的检索改进技术（交叉编码器重排序、禁用 MMR、文档感知前缀）在孤立测试中预测 NDCG@10 提升 +47% ，但当它们被组合进同一管道时，实际仅实现 +17% 。在测试的 17 种组合中，**组合短损**（composition penalty）中位数为 41% ，最高达 72% 。这是因为功能重叠（如重排序与禁用 MMR 都提供过滤作用）导致边际收益递减。相比之下，忠实度增益的组合更接近加性：预测 +28% ，实际实现 +32% 。论文假设这是因为忠实度相关技术作用于互补阶段（查询增强改变检索输入，代理门控过滤生成输入），功能重叠较少。 #### （2）检索质量与忠实度由不同管道阶段主导，且几乎无关 - **检索质量**（ NDCG@10 ） strongest drivers：嵌入模型（ eta^2 = 0.164 ）、索引时富集（ eta^2 = 0.144 ）、重排序（ eta^2 = 0.090 ）； - **忠实度**（ RAGAS ） strongest drivers：查询增强（ eta^2 = 0.224 ）、代理门控（ eta^2 = 0.217 ）。两者在 113 个共享配置上呈近乎零相关（Pearson r = -0.01 ）： 5% 的配置检索强但忠实度弱， 6% 的配置反之。这意味着**仅优化检索指标可能得到不忠实答案，反之亦然**。 #### （3）配置排名随语料库规模显著迁移 - **小规模**（ 5K sim 15K ）： SOTA_STANDARD 领先； - **大规模**（ ge 25K ）： SOTA_BALANCED 反超，在 200K 时以 13.7% 相对优势显著领先（ p = 0.003 ）。 STANDARD 的检索质量随规模对数线性衰减（斜率 -0.055/decade ），而 BALANCED 因具备上下文压缩与文档感知前缀等生成侧防御，衰减近乎平坦（斜率 -0.015 ，统计上与零无显著差异）。 #### （4）四个操作配置文件构成 Pareto 前沿从实验结果中提炼出四个实用配置，无一是全局最优： | 配置 | 核心特征 | 优势 | 典型延迟 | |———|—————|———|—————| | **SPEED** | MiniLM-L6，纯密集检索，无 LLM 查询组件 | 延迟最低（ sim 0.8 s） | 速度优先场景 | | **STANDARD** | BGE-M3，混合检索，HyDE，重排序 | 小语料库 NDCG@10 最高 | sim 5.3 s | | **BALANCED** | STANDARD + 层次检索 + 提取式压缩 + 文档前缀 + 代理门控 | 大规模最稳健，忠实度最高（0.911） | sim 12.3 s | | **MAX-RELIABLE** | BALANCED + 上下文检索 + 更宽 chunk 预算 | 忠实度地板最高（min 0.812） | sim 14.2 s | 在固定 30,s 参考延迟的联合超体积指标下：

HV(L(ref)) = NDCG@10 × Faith × max(0, 1 - latency/L(ref))
STANDARD 以 0.523 领先；但当参考延迟放宽至 sim 46,s 以上时， BALANCED 成为联合最优。 —- ### 5. 实践启示论文呼吁研究社区改变评估范式： - **新 RAG 技术应在完整现代管道中测试**，而非孤立消融； - **必须同时报告检索与忠实度双指标**； - **必须在目标部署语料库规模上重新验证**小语料库得出的排名。 —- ### 6. 贡献 1. **组合性实证**：首次在控制条件下量化了 8 个 RAG 阶段、450 余种配置、 5K sim 200K 规模下的组件交互与规模迁移规律。 2. **LASAGNA 框架**：开源的阶段隔离 RAG 评估平台，支持研究者通过单一装饰器注册新组件，并在完整管道中进行配对统计检验。 3. **操作配置文件**：四个经校准的 Pareto 最优配置（SPEED、STANDARD、BALANCED、MAX-RELIABLE），为不同延迟-质量-成本约束下的部署提供可直接参考的起点。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ido Levy,Segev Shlomov,Leshem Choshen

Categories:

PDF URL: https://arxiv.org/pdf/2610.29722.pdf

Arxiv URL: https://arxiv.org/abs/2610.29722

Arxiv ID: 2610.29722

CoolPaper URL: https://papers.cool/arxiv/2610.29722

Published: 2026-10-23T01:56:47.452Z

Updated: 2026-10-23T01:56:47.452Z

13. AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

Abstract:Agentic robotics systems combine planners with robot harnesses to perform complex manipulation tasks. Recent work improves these systems through better harnesses and external memory, but relies on powerful closed-source models as planners and does not improve the planners’ own capabilities. In contrast, coding agents have improved substantially by post-training the model itself. We therefore investigate whether post-training can also improve robot planners. However, applying it across robot harnesses requires accommodating different execution mechanisms, including VLA skill invocation and control-code generation. To this end, we introduce AgenticRoboRL, a framework for post-training robot planners across different harnesses. The training recipe combines supervised fine-tuning with multi-turn reinforcement learning. To accommodate different execution mechanisms, harness-specific adapters connect recorded planner interactions with task outcomes, enabling a common RL training pipeline while keeping execution components fixed. On LIBERO-PRO, AgenticRoboRL raises the success rate of a 9B-parameter planner from 18.1% to 71.0% without external memory, approaching the 72.1% achieved by Codex (GPT-5.5) with external memory. These results demonstrate post-training as an effective approach for improving robot planners. We will release the framework and trained planner checkpoints.

中文摘要

摘要：自主机器人系统将规划器与机器人装备结合，以执行复杂的操作任务。近期的研究通过改进装备和外部记忆提升了这些系统，但依赖强大的闭源模型作为规划器，并且未提升规划器自身的能力。相比之下，通过对模型本身进行后训练，编码代理的能力有了显著提升。因此，我们研究后训练是否也能改进机器人规划器。然而，将其应用于不同的机器人装备需要适应不同的执行机制，包括 VLA 技能调用和控制代码生成。为此，我们提出了 AgenticRoboRL，一个可跨不同装备进行后训练机器人规划器的框架。训练方案结合了监督微调和多轮强化学习。为了适应不同的执行机制，装备特定的适配器将记录的规划器交互与任务结果连接起来，从而实现统一的强化学习训练流程，同时保持执行组件不变。在 LIBERO-PRO 上，AgenticRoboRL 将一个 9B 参数规划器的成功率从 18.1% 提升至 71.0%，无需外部记忆，接近 Codex（GPT-5.5）使用外部记忆达到的 72.1%。这些结果表明，后训练是提升机器人规划器的一种有效方法。我们将发布该框架及训练好的规划器检查点。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决的核心问题为：\*\*如何将 coding agents 中行之有效的 post-training（后训练）方法应用于 agentic robotics 系统，以提升 robot planner 自身的能力，而非仅仅依赖更强大的闭源模型或改进外部执行组件。\*\* 围绕这一核心问题，论文具体针对以下三方面展开： - \*\*现有方法的局限\*\*：当前 agentic robotics 系统主要通过优化 robot harness（如 VLA 技能执行、控制代码接口）和引入外部记忆（external memory）来提升任务成功率，但这些方法通常将闭源大模型（如 Codex、Claude Code）作为固定 planner 使用，并未增强 planner 本身的能力。 - \*\*跨 harness 训练的兼容性挑战\*\*：不同的 robot harness 具有截然不同的执行机制——例如，有的 harness 要求 planner 调用预训练的 VLA 技能，有的则要求生成可执行的控制代码。这些差异体现在动作表示、反馈形式和成功判定逻辑上，导致难以用统一的训练 pipeline 对 planner 进行 post-training。 - \*\*训练目标\*\*：验证是否可以通过监督微调（SFT）与多轮强化学习（RL）的结合，在\*\*保持底层执行组件（VLA、运动控制器等）完全固定\*\*的前提下，仅通过优化 planner 的参数，就显著提升其在多轮交互中的任务规划与决策能力。为此，论文提出了 \*\*AgenticRoboRL\*\* 框架，通过 harness-specific adapter 将记录的 planner 交互与最终任务结果关联，从而兼容 VLA 技能调用和代码生成等多种执行机制，实现统一的 SFT + 多轮 RL 训练流程。实验表明，该方法可将 9B 参数 planner 在 LIBERO-PRO 上的成功率从 18.1% 提升至 71.0%（无需外部记忆），接近 GPT-5.5 级闭源模型借助外部记忆达到的 72.1%。 Q2: 有哪些相关研究？论文在第2节（Related Work）中将相关研究归纳为以下三个方向： ### 1. Robot Harness Agents（机器人 Harness 智能体）该方向关注通过语言模型调用预定义技能或生成控制程序来指导机器人行为，通常采用“高层规划器 + 底层执行器”的层次化架构。 - \*\*早期工作\*\*：Ahn 等（2022）提出利用语言模型选择可执行技能；Liang 等（2023）与 Singh 等（2022）探索将高层指令落地为控制代码或任务规划；Huang 等（2023）与 Mu 等（2024）则通过 3D 价值图或多模态代码生成实现行为合成。 - \*\*多轮交互与层次化系统\*\*：Huang 等（2022）与 Wang 等（2023）引入执行反馈与可复用技能库，支持多轮交互；Belkhale 等（2024）与 Shi 等（2025）在语言推理模型之下叠加学习型底层策略，形成层次化控制。 - \*\*面向 Coding Agent 的 Harness\*\*：Zhang 等（2026c）提出 Harness VLA，将冻结的 VLA 策略与分析基元及任务记忆相结合；Fu 等（2026）提出 CaP-X，为生成可执行控制代码提供接口。此外，Kumar（2026）与 Jia 等（2026b）尝试将通用 Coding Agent 直接应用于机器人操作，而无需机器人专属训练。 - \*\*周边系统优化\*\*：Li 等（2026）、Xu 等（2026b）、Deng 等（2026）、Kagaya 等（2025）以及 Woods 与 Seifi（2026）致力于在规划器周围改进感知、记忆、安全机制或技能库。Bao 等（2026）提出 RV-ICL，通过演示视频关键帧的层次化检索实现免训练增强。 \*\*与本文的区别\*\*：上述工作大多将规划器视为固定组件，通过改进 harness 或外部记忆提升系统性能；而 AgenticRoboRL 聚焦于\*\*后训练规划器本身\*\*，同时复用并固定现有 harness 的执行组件。 --- ### 2. Training Planners for Embodied Agents（具身智能体规划器的训练）该方向探讨如何通过强化学习或监督学习直接提升语言/视觉-语言规划器在具身环境中的决策能力。 - \*\*单轮与多轮 RL\*\*：Fei 等（2025b）、Chen 等（2025）、Liu 等（2025）、Wu 等（2025）以及 Jia 等（2026a）利用 RL 改进语言或视觉-语言规划器；Fu 等（2026）的 CaP-RL 针对单轮生成完整控制代码的代码模型进行 RL 训练。 - \*\*基于教师轨迹的蒸馏\*\*：Li 等（2026）的 Robo-Harness K1 与 Zhang 等（2026b）的 World Action Agent 在各自 harness 内收集教师轨迹，监督训练 9B 学生模型，以迁移更强智能体的能力。 - \*\*SFT 与在线 RL 结合\*\*：Mi 等（2026）的 REAL 针对移动操作任务，结合规则规划器监督与塑形奖励进行 SFT 和在线 RL。 \*\*与本文的区别\*\*：CaP-RL 仅适用于单轮代码生成；Robo-Harness K1 与 World Action Agent 专注于监督蒸馏；REAL 依赖规则规划器和塑形奖励。AgenticRoboRL 则支持\*\*多轮交互\*\*，以\*\*最终任务成功\*\*作为唯一奖励，并适用于 VLA 技能调用与代码生成两种 harness，且在教师与学生配置（提示词、工具、记忆访问）不同时仍能适配。 --- ### 3. Post-Training of Tool-Using Agents（工具使用智能体的后训练）该方向源自 Coding Agent 领域，研究如何通过监督微调（SFT）与强化学习（RL）提升模型在工具调用与多轮交互中的自主能力。 - \*\*教师监督与多轮 RL\*\*：Pan 等（2024）、Yang 等（2026）与 Jain 等（2025）利用成功轨迹进行监督训练；Cao 等（2025）在可验证结果上执行多轮 RL。 - \*\*扩展至搜索与计算机使用\*\*：Jin 等（2025）、Chen 等（2026）、Wang 等（2025）与 Lai 等（2026）将类似方法推广到搜索引擎代理与计算机使用代理。 - \*\*执行与优化分离的框架\*\*：Luo 等（2025）的 Agent Lightning、He 等（2026）以及 Du 等（2026）的 LEGO-RL 将智能体执行与模型优化解耦，通过记录交互构建训练数据。 \*\*与本文的关系\*\*：AgenticRoboRL 借鉴了上述“记录交互—关联结果—优化模型”的范式，但将其首次系统性地应用于\*\*机器人 harness\*\*。通过引入轻量级的 harness-specific adapter，将规划器的模型调用记录与回合结果关联，从而在不修改底层执行接口的前提下，支持 VLA 技能调用与控制代码生成等不同执行机制。 Q3: 论文如何解决这个问题？论文通过提出 \*\*AgenticRoboRL\*\* 框架解决该问题。该框架的核心思路是：在\*\*完全复用并固定现有 robot harness 底层执行组件\*\*（如 VLA 策略、运动控制器）的前提下，仅对 planner 本身进行后训练，使其学会更好地利用 harness 的能力完成多轮交互任务。具体解决方案可分为以下几个层面： --- ### 1. 统一不同 Harness 执行机制的训练接口不同 harness 的执行机制差异显著：有的要求 planner 调用 VLA 技能（如 RPent），有的要求生成可执行控制代码（如 CaP-X）。AgenticRoboRL 不在底层动作表示层面强求统一，而是将共享的训练接口上移至\*\*模型调用边界（model-call boundary）\*\*。 - \*\*Model-call Proxy\*\*：在 planner 与 harness 之间部署一个记录代理，捕获每次 planner 请求的实际上下文、生成的 token IDs 以及 rollout 阶段的 log-probabilities。由于 harness 可能在多轮交互中裁剪图像、省略历史推理或变换历史记录，使用实际记录的请求输入而非事后重构的转录本，可确保训练时使用的 prompt 与推理时完全一致。 - \*\*Harness-specific Adapter\*\*：为每种 harness 配备轻量级的适配器（无可学习参数），将记录的模型调用与回合（episode）结果关联。每个 episode 报告五个字段：任务标识（task）、初始状态标识（init）、尝试索引（attempt）、最终奖励（reward）以及有效性标志（valid）。其中 valid 字段用于区分任务失败（奖励为零，保留用于训练）与基础设施故障（排除在优化外）。这使得相同的 RL 训练 pipeline 无需修改底层执行接口即可支持 VLA 调用或代码生成。 --- ### 2. 两阶段后训练流程框架采用\*\*监督微调（SFT）+ 多轮强化学习（RL）\*\*的两阶段策略，且仅更新 planner 参数。 #### 2.1 监督微调（SFT）：利用教师轨迹初始化教师轨迹提供使用 harness 的初始策略。关键难点在于教师与学生的观察上下文可能不同（例如教师拥有外部记忆而学生没有）。论文根据 harness 类型分别处理： - \*\*RPent\*\*：教师配备外部记忆模块，学生无记忆。框架离线重构每个 turn 下学生应有的上下文，移除记忆访问调用及其结果。若教师响应依赖被移除的记忆内容，则利用 judge 模型对推理文本进行重写过滤，仅保留被判定为合理的响应作为训练目标；不依赖记忆的响应与工具调用参数直接保留。 - \*\*CaP-X\*\*：师生共享相同 harness 配置，无需重构。直接取成功回合中记录的教师调用，用学生的 chat template 重新渲染 prompt，以教师输出的 token 序列作为监督目标。 SFT 损失对接受的响应 token（包括推理过程、文本、序列化工具调用或代码及结束符）进行监督，上下文 token 被掩码。损失函数为：

L(SFT) = -∑(s ∈ B)(SFT) ∑(j=1)^(Ls) log πθ(y(s,j) mid c_s, y(s,<j))∑(s ∈ B)(SFT) Ls
其中 c_s 为实际学生上下文， y(s,j) 为教师响应的第 j 个 token， L_s 为响应长度。 #### 2.2 多轮强化学习（RL）：通过交互优化 SFT 后的 planner 通过 harness 收集多轮交互轨迹。对于共享同一任务与初始状态配置的有效尝试组 V_g （组大小 G_g = |V_g| ≥ 2 ），采用 leave-one-out 优势估计：

Ai = R_i - (1) / (G_g - 1) ∑(k ∈ V)g setminus i R_k
该估计无需学习额外的价值网络，也不对奖励标准差进行归一化。若组内所有尝试奖励相同，则该组不产生策略梯度。为控制训练成本，每回合最多选取 16 个 eligible 响应。对选中的响应 s ，设其所在回合为 i(s) ，该回合共选中 K(i(s)) 个响应，则响应权重 us = 1 / K(i(s)) 。RL 更新采用 dual-clipped PPO 损失 ell(DC) ，整体目标为：
L(RL) = ∑(s ∈ B)(RL) us L_s ∑(j=1)^(Ls) w(s,j) , ell(DC)(rho(s,j), A(i(s)))∑(s ∈ B)(RL) u_s
其中： - rho(s,j) 为当前策略与旧策略在 token j 上的概率比率； - w_(s,j) 为用于缓解 rollout 后端与训练后端概率不一致性的重要性采样权重； - L_s 为响应长度。优化仅在策略版本固定的回合之间进行：每轮先以固定权重收集 episode，记录调用并匹配结果，构建训练样本后执行若干 optimizer steps，再进入下一轮采集。 —- ### 3. 问题形式化与训练目标整个框架的优化目标可形式化为最大化以下期望回报：

maxθ J(θ) = E(xi sim D), τ sim P_(θ,H)(· mid xi) [R(τ)], quad R(τ) = 1[task success]
其中 xi_i = (x_i, s_i^0) 指定任务与初始状态， H 为 harness， τ 为多轮交互轨迹，奖励仅取决于最终任务是否成功，不引入中间奖励或长度惩罚。 —- ### 4. 关键设计带来的能力 - 执行组件固定：VLA 策略、运动规划器、感知模块等执行部分完全冻结，确保后训练带来的提升纯粹源于 planner 决策能力的增强。 - 跨 harness 泛化：通过 adapter 机制，同一套 RL 训练代码可无缝接入 RPent（VLA 技能调用）与 CaP-X（控制代码生成），无需统一低层动作表示。 - 实际输入一致性：训练时利用 proxy 记录的真实模型输入进行优化，避免因 harness 历史裁剪或模板差异导致的训练-推理不匹配。简言之，AgenticRoboRL 通过在模型调用层统一接口、SFT 初始化多轮交互策略、RL 以最终成功为唯一奖励进行优化，实现了对 robot planner 的直接能力增强，而不依赖更强大的闭源模型或修改底层执行系统。 Q4: 论文做了哪些实验？论文在第4节（Experiments）中开展了系统性实验，涵盖主基准性能、跨基准鲁棒性、跨 harness 泛化及消融分析四个层面。具体内容如下： ### 1. 实验设置 - 环境与 Harness：主实验基于 RPent（Harness VLA 配套的 VLA 技能调用 harness），在 LIBERO-PRO 上评估；为验证通用性，同时在 CaP-X（控制代码生成 harness）上开展实验。底层 VLA 与执行组件全程冻结。 - 模型：学生模型为 Qwen3.5-9B，教师模型为 Qwen3.8-27B。对比基线包括原始 9B 检查点、SFT 后检查点、RL 后检查点，以及 27B 教师、Codex (GPT-5.5)、Claude Code 等闭源 planner。 - 记忆设置：27B 教师训练时使用 Harness VLA 发布的外部记忆；9B 学生在 RL rollout 与评估阶段不使用外部记忆。 - 数据划分：每个 LIBERO 任务含 50 个固定初始状态。状态 0 用于探索构建记忆，状态 1–10 用于最终评估，状态 11–44 用于教师轨迹收集与 RL rollout，状态 45–49 用于验证集（检查点选择）。LIBERO-Plus 在训练设置固定后执行，用于测试未见过扰动的泛化性。 ### 2. LIBERO-PRO 主基准结果 LIBERO-PRO 包含 8 个评估套件（4 个 LIBERO 套件分别施加位置交换 S 与任务扰动 T），共 800 个 episode。 - 性能提升：原始 9B planner 成功率仅 18.1%；经 SFT 提升至 65.1%；再经多轮 RL 进一步提升至 71.0%（无外部记忆）。其中 SFT 贡献主要增益，RL 额外带来 5.9 个百分点。 - 跨尺寸对比：后训练后的 9B planner 超过同尺寸带记忆版本（18.9%）与 27B 无记忆版本（57.9%），并逼近 27B 带记忆教师（74.0%）及 Codex (GPT-5.5) 带记忆系统（72.1%）。 - 相对独立 VLA：后训练 planner（71.0%）超过独立运行的冻结 VLA（50.0%），在 8 个套件中 7 个套件表现更优。 - 统计显著性：在 800 个成对 episode 上，RL planner 在 121 个 SFT 失败的 episode 上成功，而在 74 个 SFT 成功的 episode 上失败（精确符号检验， p = 0.001 ）。 ### 3. LIBERO-Plus 鲁棒性测试为检验训练成果在未见过扰动上的泛化能力，论文将同一组检查点直接在 LIBERO-Plus 上评估，未针对该基准做额外训练。LIBERO-Plus 包含 10,030 个评估实例，覆盖 7 类扰动：物体布局、相机视角、机器人初始状态、语言指令、光照、背景纹理、传感器噪声。 - 整体结果：原始 9B 为 19.2%，SFT 提升至 66.7%，RL 进一步提升至 72.2%。 - 逐类提升：两阶段训练在每类扰动上均有提升。RL 相对于 SFT 的提升幅度在不同类别介于 2.2（物体布局）至 7.0（光照）个百分点之间。 - 净增益：RL 在 1,547 个 SFT 失败的实例上成功，在 999 个 SFT 成功的实例上失败，净增 548 个成功 episode。在未使用 LIBERO-Plus 训练的方法中，RL planner 的总体成功率最高；尤其在机器人初始状态扰动类别上，达到 75.2%，显著高于对比基线。 ### 4. 跨 Harness 泛化实验（CaP-X）为验证框架对不同执行机制的适用性，论文将 AgenticRoboRL 接入 CaP-X harness，其中 planner 生成可执行 Python 控制代码而非调用 VLA 技能。实验选取 LIBERO-PRO 中 Object、Goal、Spatial 三个套件的 60 个任务（施加位置与任务扰动）。 - 训练流程：在 CaP-X 上独立执行 SFT + RL，不迁移 RPent 训练得到的检查点。27B 教师仅覆盖其中 26 个任务（主要集中于 Object 套件），提供 979 条成功 episode。 - 结果：原始 9B planner 成功率 2.7%；SFT 提升至 18.7%；RL 进一步达到 28.5%，超过 27B 教师的 20.3%。 - 分布特点：提升集中于 Object 套件（SFT 的 39–49% 提升至 RL 的 67–72%）。Goal 与 Spatial 套件绝对性能仍低，原因在于教师本身在这些任务上成功率极低，导致 SFT 数据稀缺。该实验表明，同一套后训练流程可直接应用于控制代码生成式 harness。 ### 5. 消融实验：SFT 监督配方针对 RPent harness，论文比较了处理教师记忆依赖响应的两种策略： - Mask-only：将依赖外部记忆的教师响应直接排除在监督之外，得到 27,110 个目标 turns。 - Rewrite-and-filter：离线重构学生上下文，移除记忆调用；对依赖记忆的教师推理文本由 judge 模型重写并过滤，保留被判定合理的响应作为训练目标，得到 40,047 个目标 turns。 结果对比： | 监督配方 | 目标 Turns | 优化步数 | LIBERO-PRO 成功率 | |————-|—————-|————-|—————————| | 无 SFT | — | — | 18.1% | | Mask-only | 27,110 | 424 | 55.2% | | Rewrite-and-filter | 40,047 | 438 | 60.2% | | Rewrite-and-filter | 40,047 | 626 | 64.6% | 在相近更新量下（约 430 步），rewrite-and-filter（60.2%）显著优于 mask-only（55.2%）。最终选用的 SFT 检查点（step 563）在验证集上达到 65.1%，并作为 RL 的初始化点。该消融表明，通过重写与过滤保留记忆相关的教师知识，能更有效地初始化学生 planner。 Q5: 有什么可以进一步探索的点？基于论文内容，以下是可以进一步探索的研究方向： —- ### 1. 将外部记忆整合进学生模型论文中 9B 学生模型在 RL 与评估阶段不依赖外部记忆，仍能逼近使用记忆的 GPT-5.5 级规划器。一个直接的问题是：若允许学生模型在测试时访问记忆，或更进一步，训练学生自主构建并维护记忆（如成功轨迹、失败案例、任务规则），其性能上限能否显著超越当前结果？这涉及如何将记忆读写操作融入多轮 RL 的训练目标中。 —- ### 2. 扩展至更多样的 Harness 与真实世界任务 AgenticRoboRL 在 RPent（VLA 技能调用）与 CaP-X（控制代码生成）上验证了通用性，但仍局限于单臂桌面操作仿真环境。未来可探索： - 更复杂的执行接口：如全身运动控制（whole-body control）、多机器人协作、移动操作（mobile manipulation）等具有截然不同动作空间与反馈结构的 harness； - 真实机器人部署：当前实验均在 LIBERO 仿真中完成，sim-to-real 迁移、真实世界中的感知噪声与物理不确定性对 planner 鲁棒性的挑战亟待验证； - 高频低层控制：若 harness 要求 planner 直接输出高频关节力矩或末端执行器位姿，当前的模型调用级接口是否仍适用，或需更细粒度的训练抽象。 —- ### 3. 应对教师覆盖不足与弱监督场景在 CaP-X 实验中，27B 教师在 Goal 与 Spatial 套件上成功率极低，导致 SFT 数据稀缺，学生模型在这些任务上表现同样受限。这提示需要探索： - 无教师或弱教师启动：当强教师轨迹不可用或覆盖不均时，能否通过自举（bootstrapping）、课程学习（curriculum learning）或在线探索直接初始化 RL？ - 迭代自我提升：借鉴 coding agent 中的 self-play 与 iterative distillation，让 planner 通过自主交互与验证器反馈生成新的训练信号，逐步减少对强外部教师的依赖。 —- ### 4. 奖励函数与 RL 算法的深化设计论文采用稀疏的终端成功奖励 $R(τ) = 1

task success
$，且不引入长度惩罚或中间奖励。未来可研究： - **子任务或过程奖励**：在不依赖大量人工标注的前提下，利用 harness 提供的执行反馈（如对象检测状态、代码执行异常）自动构建**密集化、可验证的中间奖励**，以加速长程任务学习； - **高级 RL 变体**：当前使用 leave-one-out 优势估计与 dual-clipped PPO。可尝试引入学习价值网络（critic）、组相对策略优化（GRPO），或结合离线 RL 以提升样本效率； - **长度与效率优化**：当前未对交互轮次或执行时间施加惩罚，若将任务完成效率纳入优化目标，可能训练出更快速、更经济的规划器。 —- ### 5. 感知-规划联合优化与视觉鲁棒性论文中**视觉编码器保持冻结**，仅训练语言模型与视觉合并层。尽管 LIBERO-Plus 上已展现一定视觉鲁棒性，但： - 若放开视觉编码器的梯度更新，使 planner 能够适应特定任务的视觉特征，可能进一步提升在相机视角、光照、纹理等扰动下的性能； - 可探索在 planner 后训练的同时，对视觉表示进行轻量级适配（如 LoRA），实现感知与决策的协同优化。 —- ### 6. 提升样本效率与利用世界模型当前 RL 训练需要大量环境交互（如 RPent 上 6 轮 × 64 组 × 6 次尝试 = 2304 个 episode 方取得显著效果）。对于真实机器人系统，此类交互成本极高。值得探索： - **基于世界模型的 RL**：利用视频生成模型或神经辐射场构建环境的近似动力学模型，使 planner 在内部世界模型中进行大量低成本推演，仅将少量真实交互用于策略校正； - **离线 RL 与轨迹重用**：除了成功的教师轨迹，失败或不完整的轨迹也蕴含丰富信息，如何安全地将其纳入离线数据以提升样本效率，是一个重要方向。 —- ### 7. 长程任务中的信用分配与推理深度当前实验限制每回合最多 100 轮 planner 调用。对于需要数百轮、跨越多子任务的长程操作（如复杂装配、厨房准备）， - 如何在极长的上下文窗口中进行**信用分配**（credit assignment），将最终稀疏奖励准确归因于 distant past 的关键决策？ - 是否需要显式的层次化规划（hierarchical planning），让高层 planner 生成子目标，低层 planner 执行具体技能？AgenticRoboRL 的框架可扩展至这种双层结构，但具体训练机制仍需研究。 —- ### 8. 失败恢复与安全性约束论文以任务成功率为唯一指标，但机器人系统在实际部署中必须考虑： - **失败检测与恢复**：训练 planner 在检测到执行偏离预期时（如对象滑落、碰撞风险）主动调用恢复技能或重新规划，而非继续执行错误策略； - **安全 RL**：在优化成功率的同时，引入硬约束（如避免碰撞、关节限位）或软约束（如动作平滑性），确保后训练不会为了提升成功率而牺牲安全性。 —- ### 9. Harness Adapter 的标准化与开源生态论文通过轻量级 adapter 实现了跨 harness 训练，但每种 harness 仍需人工编写适配代码。未来可推动： - **标准化接口协议**：定义统一的 episode 描述格式、反馈模式与成功判定 API，降低新 harness 的接入门槛； - **即插即用的训练框架**：将 AgenticRoboRL 扩展为通用库，使研究者只需实现标准 adapter 即可对任何遵循该协议的机器人系统进行 planner 后训练，促进社区复用与基准对比。 Q6: 总结一下论文的主要内容该论文提出了 **AgenticRoboRL**，一个用于后训练（post-training）机器人规划器（robot planner）的通用框架，旨在将编码智能体（coding agents）中成熟的监督微调与强化学习技术迁移到具有主体性的机器人系统（agentic robotics）中，从而在固定底层执行组件的前提下，仅通过提升规划器自身的决策能力来增强任务表现。 ### 1. 研究背景与核心问题现有的具有主体性的机器人系统通常由高层规划器与机器人执行层（harness）组成，规划器负责调用视觉-语言-动作（VLA）技能或生成控制代码， harness 负责执行并返回观测反馈。当前研究主要依赖强大的闭源模型（如 Codex、Claude Code）作为固定规划器，或致力于改进 harness 和外部记忆，但并未针对规划器本身进行能力增强。论文探讨的核心问题为：能否将编码智能体中行之有效的后训练方法（监督微调 + 多轮强化学习）应用于机器人规划器？这一迁移面临的主要挑战在于不同 harness 的执行机制差异显著——有的通过调用 VLA 技能执行，有的通过生成控制代码执行——它们具有不同的动作表示、反馈形式和成功判定逻辑，因而难以用单一训练 pipeline 兼容。 ### 2. AgenticRoboRL 框架为解决上述问题，论文提出了 AgenticRoboRL，其核心设计包含以下方面： #### 2.1 统一的模型调用级训练接口框架将训练接口置于**模型调用边界（model-call boundary）**，而非底层动作层面。通过一个记录代理（proxy）捕获每次规划器请求的实际上下文、生成的 token IDs 以及 rollout 阶段的 log-probabilities，确保训练时使用的输入与推理时完全一致。同时，轻量级的** harness-specific adapter**（无可学习参数）将记录的模型调用与回合结果关联，为每个 episode 提供任务标识、初始状态标识、尝试索引、终端奖励及有效性标志等统一字段。这使得同一套 RL 训练代码无需修改底层执行接口，即可同时支持 VLA 技能调用（如 RPent）与控制代码生成（如 CaP-X）。 #### 2.2 两阶段后训练流程框架采用**仅更新规划器、固定执行组件**的策略，分为两个阶段： - **监督微调（SFT）**：利用成功的教师轨迹初始化规划器。针对教师与学生配置不同的情况（如教师拥有外部记忆而学生没有），框架离线重构学生上下文，对依赖记忆的教师响应进行重写与过滤，仅保留合理的部分作为监督目标。SFT 损失为：

L(SFT) = -∑(s ∈ B)(SFT) ∑(j=1)^(Ls) log πθ(y(s,j) mid c_s, y(s,<j))∑(s ∈ B)(SFT) Ls
其中 c_s 为学生的实际上下文， y(s,j) 为教师响应的第 j 个 token。 - **多轮强化学习（RL）**：SFT 初始化后的规划器通过 harness 与环境进行多轮交互收集轨迹。对于共享同一任务与初始状态配置的有效尝试组，采用 leave-one-out 方法估计优势：
Ai = R_i - (1) / (G_g - 1) ∑(k ∈ V)g setminus i R_k
最终奖励为稀疏的二元任务成功信号 $R(τ) = 1
task success
$。RL 更新采用 dual-clipped PPO，整体目标为：
L(RL) = ∑(s ∈ B)(RL) us L_s ∑(j=1)^(Ls) w(s,j) , ell(DC)(rho(s,j), A(i(s)))∑(s ∈ B)(RL) u_s
其中 rho(s,j) 为新旧策略概率比， w(s,j) 为缓解后端概率不匹配的重要性采样权重， u_s 为回合内逆选中次数权重。整体优化目标为最大化以下期望回报：
maxθ J(θ) = E(xi sim D), τ sim P(θ,H)(· mid xi) [R(τ)]

3. 实验结果论文在仿真机器人操作基准上进行了系统评估： - LIBERO-PRO（RPent harness，VLA 技能调用）：9B 参数规划器的成功率从原始检查点的 18.1% 提升至 SFT 后的 65.1%，再经 RL 提升至 71.0%，且全程不使用外部记忆。这一结果逼近使用外部记忆的 Codex (GPT-5.5) 所取得的 72.1%，并显著超过同尺寸的 27B 无记忆教师（57.9%）以及独立运行的冻结 VLA（50.0%）。 - LIBERO-Plus（跨基准鲁棒性）：将同一 RL 检查点直接在包含 10,030 个实例的 LIBERO-Plus 上评估（未针对该基准训练），成功率达到 72.2%，在物体布局、相机视角、机器人初始状态、语言指令、光照、背景纹理和传感器噪声等全部七类扰动上均较基线有显著提升。在未使用该基准训练的方法中表现最优。 - CaP-X（跨 harness 泛化）：将同一框架应用于控制代码生成 harness，9B 规划器成功率从 2.7% 提升至 SFT 后的 18.7%，再经 RL 达到 28.5%，超过提供教师轨迹的 27B 教师（20.3%），验证了框架对不同执行机制的通用性。 - 消融实验：比较了处理教师记忆依赖响应的两种策略。结果表明，采用重写并过滤（rewrite-and-filter）的策略（64.6%）显著优于直接掩码排除（mask-only，55.2%），验证了从带记忆教师向无记忆学生迁移知识的有效性。 ### 4. 主要贡献 - 首个通用后训练框架：AgenticRoboRL 是首个面向具有主体性的机器人系统的通用后训练框架，将编码智能体的 SFT 与多轮 RL 范式系统性地引入机器人 harness。 - 执行组件复用与跨 harness 兼容：仅优化规划器，保持 VLA、运动控制器等执行组件固定不变；通过 harness-specific adapter 实现对 VLA 技能调用与控制代码生成等不同机制的统一支持，无需共享低层动作表示。 - 强实证性能与开放资源：在 LIBERO-PRO 上将 9B 规划器提升至 71.0%（无记忆），接近 GPT-5.5 级闭源模型水平；论文承诺开源框架、教师轨迹及训练后的规划器检查点。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xinxin Liu,Bingxin Xu,Wenrui Bao,Ming Li,Wentao Bao,Chen Chen,Yuzhang Shang

Categories:

PDF URL: https://arxiv.org/pdf/2610.28589.pdf

Arxiv URL: https://arxiv.org/abs/2610.28589

Arxiv ID: 2610.28589

CoolPaper URL: https://papers.cool/arxiv/2610.28589

Published: 2026-10-23T01:56:47.735Z

Updated: 2026-10-23T01:56:47.735Z

14. PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

Abstract:Linear-attention language models keep their context in a recurrent state of fixed size, where an inference system stores one copy of this state for every sequence it decodes at the same time. Storing the state at lower precision therefore lets more sequences share an accelerator. Existing state quantizers round the state after every generated token and report that four bits lose accuracy unless the bit width is raised or the model is fine-tuned.\par We introduce PACE, a post-hoc four-bit state quantizer. PACE rounds the state only once every few generated tokens, as chunked kernels already do once per chunk during prefill, and keeps the tokens generated in between in a small buffer. Rounding less often reduces the error that accumulates in the state. Additionally, we find that the large entries of the gated-delta state gather in columns, because some channels of the update written at each token remain large across many tokens. PACE therefore shares each quantization scale within one column. It also keeps the heads that retain rounding error longest at eight bits. On four hybrid models from 4B to 35B parameters, PACE with mixed four- and eight-bit heads is competitive with eight-bit DAMP on the three larger models at about two thirds of its memory, PACE with four-bit heads throughout scores higher than Q-Mamba at equal memory, and rounding every few tokens preserves the decoding speedup of the buffer.

中文摘要

摘要：线性注意力语言模型将其上下文保持在固定大小的循环状态中，其中推理系统为每个同时解码的序列存储该状态的一个副本。因此，以较低精度存储状态可以让更多序列共享加速器。现有的状态量化器会在生成每个令牌后对状态进行四舍五入，并报告四位会损失精度，除非增加比特宽度或对模型进行微调。

我们提出了PACE，一种后置四位状态量化器。PACE只在每生成几个令牌后对状态进行四舍五入，就像分块内核在预填充期间每个块只做一次一样，并将中间生成的令牌保存在一个小缓冲区中。较少的四舍五入可以减少状态中累积的误差。此外，我们发现门控增量状态的大条目会聚集在列中，因为每个令牌写入的更新的一些通道在多个令牌之间保持较大。因此，PACE在一列中共享每个量化尺度。它还将保留四舍五入误差时间最长的头保持在八位。在参数从4B到35B的四个混合模型上，PACE在混合四位和八位头时，在三种较大模型上与八位DAMP具有竞争力，并且只使用其大约三分之二的内存；在整个模型中全采用四位头时，PACE在相同内存下得分高于Q-Mamba；每隔几个令牌进行一次四舍五入可以保持缓冲区的解码加速效果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.29545 (HTTP 429)

Authors: Patrick Haller,Filipe Laitenberger,Alan Akbik

Categories:

PDF URL: https://arxiv.org/pdf/2610.29545.pdf

Arxiv URL: https://arxiv.org/abs/2610.29545

Arxiv ID: 2610.29545

CoolPaper URL: https://papers.cool/arxiv/2610.29545

Published: 2026-10-23T01:56:49.259Z

Updated: 2026-10-23T01:56:49.259Z

15. TraceForge: Distilling with Your Own Thinking

Abstract:Using an LLM to generate training data for another is among the most general ways to train one, and it remains common practice. Some frontier teams have closed that route for their own models: what comes back is an answer, or a short summary, without the detailed reasoning trace behind it. That is a little ironic: they were themselves built on distilling human knowledge, and distilling an open-source model is still entirely routine; the restriction applies to their own outputs alone. Recent work recovers the hidden reasoning by replaying encrypted blocks across models. It somehow works, but it breaks the providers’ terms of service, so it is not something a product can be built on long-term. We built the alternative. We take the context and the teacher’s answer as input, and generate the reasoning trace ourselves, in the style of the student’s own model family. Training is two-stage, supervised and then adversarial: a generator learns to regenerate the family’s own reasoning traces from their context and answer, and a critic learns how real a reasoning trace looks. Applied to a teacher’s answer, the generator writes one in the family’s style. An independent judge rates how likely traces are to be genuine on a scale from 0 to 1: ours average 0.68, real traces 0.66, and traces selected by the critic from four candidates 0.82. These are authenticity scores, not correctness rates. We test the idea on five benchmarks with everything else held fixed. On general tasks the five training corpora are about the same; on coding, the generated reasoning beats Fable 5’s own thinking content. With the same 5,000 questions and the same teacher answers, HumanEval+ improves by 3.7 points and MBPP+ by 7.1 at the final checkpoint, and the MBPP+ lead holds at every checkpoint. We suspect that reasoning written in the student’s family style is easier for it to learn from.

中文摘要

摘要：使用大语言模型（LLM）为另一模型生成训练数据，是训练模型的最通用方法之一，并且仍然是常见做法。一些前沿团队对他们自己的模型封闭了这种路径：返回的只是答案或简短总结，而没有背后的详细推理轨迹。这有点讽刺：他们自己也建立在提炼人类知识的基础上，而提炼开源模型仍然完全常规；限制仅适用于他们自己的输出。最近的工作通过在模型间重放加密区块来恢复隐藏的推理。它在某种程度上有效，但违反了提供商的服务条款，因此不是可以长期建立产品的方法。我们构建了替代方案。我们将上下文和教师的答案作为输入，并以学生自身模型家族的风格生成推理轨迹。训练分两阶段：先监督再对抗——生成器学习从上下文和答案重生成该家族自己的推理轨迹，评论器学习判定推理轨迹真实性的能力。应用于教师答案时，生成器会以家族风格写出一条推理轨迹。独立评审员以0到1分的尺度评估轨迹可能为真实的程度：我们的平均为0.68，真实轨迹为0.66，而从四个候选中由评论器选出的轨迹为0.82。这些是真实性评分，而非正确率。我们在五个基准测试中验证该方法，其余条件保持不变。在通用任务上，这五个训练语料库大致相同；在编码方面，生成的推理内容超过了Fable 5自身的思维内容。使用相同的5000个问题和相同的教师答案，HumanEval+在最终检查点提高3.7分，MBPP+提高7.1分，并且MBPP+的领先优势在每个检查点都保持。我们怀疑，以学生家族风格书写的推理更容易被模型学习。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.29680 (HTTP 429)

Authors: Yan Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.29680.pdf

Arxiv URL: https://arxiv.org/abs/2610.29680

Arxiv ID: 2610.29680

CoolPaper URL: https://papers.cool/arxiv/2610.29680

Published: 2026-10-23T01:56:49.735Z

Updated: 2026-10-23T01:56:49.735Z

16. Memory-Centric Continual Learning for AI Agents

Abstract:Autonomous agents powered by foundation models can reason, plan, and use tools, but their fixed weights and context limits hinder sustained learning from experience over long-term deployment. While external memory systems attempt to bridge this gap, they mostly act as passive retrieval caches, evaluated primarily by whether they can recall stored facts or past interactions. Whether memory can drive genuine continual learning remains an open question. In this paper, we introduce Memory-Centric Continual Learning (MCCL), arguing that memory should be judged by whether it improves future actions, not merely what it retrieves. MCCL has three main parts. First, a three-axis taxonomy organizes memory by where state is stored (substrates), what form it takes (assets), and how it is managed (policies). This defines a two-loop lifecycle that updates memory state in an inner loop while refining management policies in an outer loop based on task feedback. Second, an evaluation protocol measures retention under interference, adaptation to change, and task transfer to isolate genuine behavioral gains from simple context expansion. Third, a memory scaling framework models how agent performance scales with experience, storage capacity, and compute budgets across non-parametric and parametric memory. Together, these components reframe agent memory from passive lookup to continuous learning, offering a principled route toward self-improving autonomous agents.

中文摘要

摘要：由基础模型驱动的自主代理能够进行推理、规划和使用工具，但它们固定的权重和上下文限制阻碍了在长期部署中从经验中持续学习。虽然外部记忆系统试图弥补这一差距，但它们大多充当被动的检索缓存，主要通过是否能够回忆存储的事实或过去的交互来评价。记忆是否能够驱动真正的持续学习仍然是一个未解的问题。在本文中，我们提出了以记忆为中心的持续学习（Memory-Centric Continual Learning, MCCL），主张应通过记忆是否改善未来行为来评判，而不仅仅是它检索了什么。MCCL有三个主要部分。首先，一个三轴分类法通过状态存储的位置（底层）、形式（资产）以及管理方式（策略）来组织记忆。这定义了一个双循环生命周期，在内循环中更新记忆状态，在外循环中根据任务反馈优化管理策略。其次，一个评估协议用于衡量干扰下的保持能力、对变化的适应能力以及任务迁移能力，从而将真正的行为提升与简单的上下文扩展区分开。第三，一个记忆扩展框架模拟了代理性能如何随经验、存储容量和计算预算，在非参数和参数记忆中扩展。综合这些组件，MCCL将代理记忆从被动查找重新定义为持续学习，为实现自我改进的自主代理提供了一个有原则的路径。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*现有基础模型智能体在长期部署中无法可靠地从经验中持续学习\*\*的核心问题，以及\*\*当前记忆系统缺乏支撑真正持续学习的系统性框架与评估标准\*\*的问题。具体而言，其试图解决以下几个层面的关键缺口： ### 1. 智能体长期学习的结构性瓶颈现有自主智能体虽具备推理、规划与工具使用能力，但受限于\*\*固定权重\*\*与\*\*有限上下文窗口\*\*，难以在跨会话的长期部署中累积经验并持续改进行为。传统方法面临根本性权衡： - \*\*扩展上下文窗口\*\*：受会话边界限制，且长序列导致注意力退化与推理延迟剧增； - \*\*持续微调（Continual Fine-Tuning）\*\*：计算开销大，存在灾难性遗忘风险，且缺乏对错误更新的可靠回滚机制。这导致智能体重复犯错、难以处理冲突或过时的信息，也无法在序列任务中实现能力递进。 ### 2. 记忆系统的“被动检索”局限当前外部记忆系统（如RAG缓存、日志数据库）大多充当\*\*被动检索缓存（passive retrieval caches）\*\*，其评估标准聚焦于能否召回存储的事实或历史交互（retrieval-level correctness），而非记忆是否真正\*\*驱动了未来行为的改进\*\*。论文指出，简单将原始文本塞回提示词并不能保证行为提升；随着交互轨迹增长，未加管理的上下文会稀释关键信号、增加噪声，甚至产生负面迁移（negative transfer）。 ### 3. 缺乏统一的设计与分类框架现有文献在记忆架构的分类上存在混淆，常将\*\*物理存储位置（where）\*\*、\*\*知识表示形式（what）\*\*与\*\*控制策略（how）\*\*混为一谈。这导致： - 无法清晰诊断系统在非平稳任务流中的失效环节； - 难以组合构建具备递归自改进（RSI）能力的混合记忆系统。 ### 4. 行为评估标准的缺失现有基准测试主要检验智能体对\*\*静态历史\*\*的问答能力（如长对话事实回忆），而非经验积累在\*\*干扰、延迟与环境漂移\*\*下是否带来了持续的行为收益。论文强调，需要区分： - \*\*保留（Retention）\*\*：经验是否在后续任务中仍产生净收益； - \*\*适应（Adaptation）\*\*：当事实、偏好或工具规则变化时，智能体能否修正行为而不破坏仍有用的能力； - \*\*迁移（Transfer）\*\*：习得的知识是否能超越原始片段，泛化到未见任务。 ### 5. 记忆扩展与资源分配的理论空白领域缺乏关于智能体性能如何随\*\*经验量、存储容量与计算预算\*\*协同扩展的原则性模型。论文提出需要回答：在给定总预算下，存储与读取资源应如何联合分配？参数化记忆与非参数化记忆在负载干扰（load-induced interference）下的扩展规律有何不同？ --- ### 核心解决路径：记忆中心持续学习（MCCL）为应对上述问题，论文提出 \*\*Memory-Centric Continual Learning (MCCL)\*\* 框架，其本质是将记忆从“被动查找表”重新定义为\*\*主动演化的学习基础设施\*\*。该框架通过两个耦合的动态循环实现： - \*\*内循环（记忆状态循环）\*\*：通过状态转移函数更新持久记忆：

M(t+1) = Tl(M_t, e_t; π_t^(mem)r)
控制经验如何被选择性写入、组织压缩、检索利用以及修订遗忘。 - **外循环（策略进化循环）**：基于任务反馈优化记忆管理策略本身：
π(t+1)^(mem) = Ul(πt^(mem), F(t:t+H)r)
使智能体不仅积累内容，还持续改进“如何管理记忆”的元能力。通过统一的**三轴分类法（基质-资产-策略）**、**行为评估协议**与**记忆扩展定律**，MCCL 为构建具备长期稳定性与可塑性的自改进智能体提供了系统化路径。 Q2: 有哪些相关研究？该论文涉及的相关研究可沿其提出的三轴分类体系（记忆基质、记忆资产、记忆策略）及评估、扩展、应用等维度进行梳理。主要相关工作如下： —- ### 一、记忆基质（Memory Substrates）：物理存储与访问机制 | 子类 | 代表性研究 | 核心特征 | |———|—————-|—————| | **上下文记忆（Contextual）** | ReAct

133
、Generative Agents
87
、RAG
61
、MemoryBank
167
、RMM
103
、MemGPT
86
| 基于固定规则、启发式或预定义阈值（如FIFO、LRU、Top- k 、重要性-时效性评分）管理记忆的写入、淘汰与检索 | | **审议型（Deliberative）** | MemGPT
86
、A-MEM
136
、Mem0
19
、Reflexion
95
、ReasoningBank
85
、WebCoach
67
、EvoMem
30
、Nemori
82
、ACON
55
| 利用LLM在运行时针对具体情境决策是否存储、检索、解决冲突或重写记忆，以自然语言实现灵活的个案控制 | | **学习型（Learned）** | Memory-R1
139
、MemAct
161
、AgeMem
149
、MemRL
160
、Retroformer
145
、MemSearcher
151
、LycheeMemory
18
| 将记忆操作（写、删、检索、压缩）建模为可训练动作，通过强化学习或反馈驱动的方式优化长期效用 | —- ### 四、评估基准与协议论文引用了大量用于检验记忆与持续学习能力的基准，按其支持的评估深度可分为： - **静态历史召回**：LoCoMo

75
、LongMemEval
125
、PerLTQA
29
、MemoryBank
167

**检索与访问效率**：MemBench
101
**动态知识同化与冲突解决**：MemoryAgentBench
48
**序列交互与行为保持**：LifelongAgentBench
165
、CL-Bench
6
、AgentCL
96
、Evo-Memory
122
、EvoMemBench
120
、MemoryBench
3
—- ### 五、记忆扩展与参数化记忆研究 - **非参数化扩展**：探讨存储容量与读取预算的联合分配，以及经验结构（独立事实 vs. 共享规则）对容量需求的影响，涉及 Mem0

19
、ReasoningBank
85
、Experience Scaling
146
等系统的实证观察。 - **参数化扩展**：Memory Layers at Scale
9
验证记忆参数规模扩展的性能曲线；LoRA 记忆研究
138
提出参数记忆容量与负载的幂律关系；GradMem
58
研究写入步数对固定容量记忆的替代作用；序列编辑方法如 ROME/MEMIT
79, 80, 41
、WISE
113
、Larimar
24
、MEMORYLLM
117
提供了负载比（load ratio）与灾难性遗忘阈值的经验证据。 —- ### 六、理论基础与跨领域应用 - **认知科学启发的记忆架构**：借鉴互补学习系统理论（CLS）

57, 77
、突触标记-捕获（synaptic tagging-and-capture）
33
、记忆再巩固（reconsolidation）
81
，用于解释情景记忆与参数知识之间的双向交互。 - **应用领域**： - **个性化与陪伴**：ScaffoldLM
63
、CareCall
51
、Replika 相关研究
97, 98
、Mem2ActBench
93

**数字环境长程任务**：AWM
121
、OS-Copilot
131
、Trace2Skill
83
、OpenHands
115
、SWE-Exp
16
**具身与开放世界探索**：Voyager
111
、RememBR
5
、EmbodiedVideoAgent
31
、RoboCat
11
、CLIN
76
**多智能体协作**：G-Memory
154
、LegoMem
43
、LLMA-Mem
126
、VirtualLab
100
、Co-Scientist
38
、Robin
37
—- ### 七、安全与治理 - **记忆生命周期安全**：AgentPoison

17
、InjecMEM
104
、Memory control flow attacks
137
、cross-user contamination
141
、Agentic unlearning
109

**治理框架**：Always-on agents 综述
26
、SSGM 框架
60
、可验证记忆（VerMem）
99
、长期记忆安全综述
66
Q3: 论文如何解决这个问题？论文通过提出 **Memory-Centric Continual Learning (MCCL)** 框架，将记忆从“被动查找表”重构为“主动演化的学习基础设施”，从架构设计、动力学机制、评估标准与资源扩展四个层面系统性地解决前述问题。 —- ### 1. 建立统一的三轴分类架构，澄清记忆系统设计空间现有文献常将存储位置、知识形式与控制机制混为一谈。为消除这种混淆，论文提出一个正交的三轴分类法： - **记忆基质（Substrates, WHERE）**：界定经验物理上存储于何处（上下文、激活状态、外部可寻址存储、自适应参数），明确各类介质在写入延迟、易失性、容量与持久性上的权衡。 - **记忆资产（Assets, WHAT）**：界定经验被编码为何种可复用表征（情景、语义、程序），区分原始轨迹保留与抽象知识提取。 - **记忆策略（Policies, HOW）**：界定记忆操作由何种机制控制（规定型规则、审议型LLM推理、学习型反馈驱动策略）。通过将这三个维度解耦，该分类法使研究者能够精确诊断现有系统在何处失效（例如，拥有外部基质不等于具备可迁移能力），并为构建混合架构（如外部存储+参数化技能+学习策略）提供组合基础。 —- ### 2. 形式化双循环记忆生命周期，将记忆积累转化为持续学习 MCCL 的核心创新在于将记忆管理形式化为**两个耦合的动态循环**，把“存储历史”升级为“通过记忆改进行为”。 #### 2.1 内循环：记忆状态演化（Memory-State Loop）经验通过受控的状态转移函数更新持久记忆：

M(t+1) = Tl(M_t, e_t; π_t^(mem)r)
其中 M_t 为持久记忆状态， e_t 为当前交互经验， π_t^(mem) 为记忆策略。该循环涵盖五个阶段，确保经验从原始输入转化为可靠能力： - **选择与写入（Formation & Selective Writing）**：通过准入决策控制可塑性边界，避免将偶然、冗余或错误观察持久化；同时记录来源、时效范围与置信度，防止记忆污染。 - **组织与巩固（Organization & Consolidation）**：决定经验单元如何分组、何时抽象化、何时保留原始情景。巩固将重复出现的规律转化为语义或程序资产，但保留与原始证据的链接，防止“上下文崩塌”。 - **检索与利用（Retrieval & Utilization）**：不仅恢复相关记录，还需恢复足够的支持上下文，并将证据与当前决策状态匹配。论文强调“访问不等于使用”，必须验证记忆是否真正被纳入推理。 - **修订与遗忘（Revision & Forgetting）**：通过冲突解决、时效失效标记、优先级抑制或硬删除，在环境变化时更新知识，同时区分“事实过期”与“检索不可用”，避免灾难性遗忘。 - **行为利用**：记忆必须产生下游行为效应 Delta B(t+k) ，仅有状态更新而无行为改进不构成学习。 #### 2.2 外循环：策略进化（Policy-Adaptation Loop）更关键的是，任务反馈不仅改变记忆内容，还可改变记忆管理规则本身：

π(t+1)^(mem) = Ul(π_t^(mem), F(t:t+H)r)
其中 F_(t:t+H) 为后续观察到的反馈信号。这实现了递归自改进（RSI）：智能体不仅积累“知道什么”，还持续优化“如何记忆”。论文区分了三个适应层级： - 状态级：将反馈作为新经验写入（固定策略）； - 离线训练：在部署前优化控制器（如 AgeMem、UMA）； - 在线策略进化：在部署期间根据环境反馈持续更新 π_t^(mem) 。通过将记忆操作（写、读、压、删）的控制权本身 opened to adaptation，MCCL 解决了现有系统中“控制规则静态僵化”的瓶颈。 —- ### 3. 提出行为评估协议，隔离真正的持续学习信号为解决“检索正确不等于学习发生”的评估缺陷，论文建立了一套严格的实证协议： #### 3.1 四闸门保留级联（Retention Cascade）将“记忆”分解为四个可诊断的连续条件： 1. **保留（Preservation）**：记录是否仍在存储中； 2. **访问（Access）**：是否能被检索到； 3. **利用（Utilization）**：是否被纳入推理； 4. **效应（Effect）**：是否产生净任务改进。根据最弱闸门假说，最终行为保持受最不可靠步骤瓶颈。此框架可定位失效环节（例如容量扩大提升了保留却降低了访问，因检索竞争加剧）。 #### 3.2 匹配比较框架（Matched Comparison）通过对比**有状态（stateful）**与**重置（reset）**条件，隔离记忆的净贡献：

Delta Pt = P(stateful)(t) - P(reset)(t)
进一步引入一系列基线排除替代解释： - 无记忆基线：排除模型先验能力； - 完整历史上下文基线：排除单纯上下文扩展效应； - 静态RAG基线：排除动态累积的价值； - 匹配计算基线：排除额外推理开销。 #### 3.3 三维行为评估标准定义持续学习必须满足的三种行为结果： - **保持（Retention）**：经验增益在经历延迟与后续任务干扰后仍然存在； - **适应（Adaptation）**：当事实、偏好或工具规则变化时，智能体能检测变化、修订记忆并恢复正确行为，同时保护未改变的能力； - **迁移（Transfer）**：习得资产支持超出原始片段的泛化，包括同任务家族变体与跨任务结构共享。此外，论文提出评估矩阵 R(t,i) ，在不同检查点复评能力 i ，以系统观察获取、保持、后向影响与迁移。 —- ### 4. 建立记忆扩展定律，指导资源最优分配论文从理论上模型化智能体性能如何随经验、存储与计算预算扩展，填补“记忆越大是否越好”的直觉空白。 #### 4.1 非参数记忆扩展假设在稳定的经验质量与任务结构下，超额任务误差满足：

ε^* - ε∞ asymp max(j ∈ A) a_j x_j^(-α_j)
其中 x = (E/E_0, B/B_0, R/R_0, U/U_0) 为无量纲资源向量。该公式预测： - 性能随相关经验累积而提升； - 当容量 B 、读取预算 R 或维护预算 U 成为瓶颈时进入饱和； - 在联合预算约束 C 下，存在最优资源配置路径：
B/B_0 propto (E/E_0)^(α_E/α_B), quad R/R_0 propto (E/E_0)^(α_E/α_R)

4.2 参数记忆扩展参数化记忆因写入共享权重而产生特有的负载干扰（load-induced interference）。其扩展关系引入负载比 rho_t = I(E_t)/(kappa M) ：

ε^ - ε∞ asymp max(j ∈ A) aj x_j^(-α_j) + I(s,π)(rho_t)
当 rho_t 超过临界值 rho^_(s,π) 时，新写入开始覆盖旧内容，误差上升。该定律产生三个可检验预测： 1. 固定经验与写入预算时，扩大容量初期受干扰主导，之后进入幂律区； 2. 固定容量时，经验增长至 rho^ 后性能下降； 3. 不同容量下的负载曲线应对 rho 近似坍缩。此框架将注意力从“是否增加记忆”转向“经验、容量与计算应如何协同扩展”，并揭示参数与非参数记忆在读取开销、写入可逆性与干扰机制上的本质差异，为混合系统（快速变化经验存外部，稳定高频技能存参数）提供理论依据。 —- ### 总结通过上述四个相互支撑的组件——\*统一架构分类**、**双循环生命周期动力学**、**行为证据评估协议**与**资源扩展定律**——MCCL 将记忆系统的设计从工程启发式提升为原理性持续学习框架，使自主智能体能够在长期部署中实现经验的稳定保持、动态适应与跨任务迁移。 Q4: 论文做了哪些实验？论文的实验工作主要集中于第4.3节，围绕**非参数化记忆的容量、读取与计算资源联合扩展规律**展开，同时对**参数化记忆**的扩展行为进行了基于已有文献数据的系统性再分析与验证。具体实验内容如下： —- ### 一、非参数化记忆实验设置实验采用以下统一配置： - **基础模型**：Qwen3-30B-A3B-Instruct-2507（用于构建、回答与基于本地模型的评分） - **嵌入模型**：qwen3-embedding-0.6b（1,024维） - **对比系统**：Mem0 0.1.94

19
与**原始历史检索（Raw RAG）** - **文本编码**：o200k_base 进行 token 计数 - **统计方法**：宏平均 + 聚类自助法（cluster-bootstrap）95% 置信区间 —- ### 二、非参数化记忆的四项实证研究 #### 1. LoCoMo 容量与读取预算扫描（Capacity Sweep） - **协议**：在 10 个长对话、1,540 个问题上，构建 4 × 4 的存储容量 × 读取容量网格。 - **变量**：存储容量（实际保留的历史比例）与每查询读取预算 R （512/2,048 tokens 等）。 - **指标**：词汇 F1 分数。 - **关键发现**（图 8a, 8c）： - 读取预算从 512 增至 2,048 tokens 时，Raw RAG 的 F1 在 1/8 历史保留率下提升 0.89 个百分点，在完整保留率下提升 3.82 个百分点。 - 配对差异为 **2.93 个百分点**（95% CI:

2.06, 4.02
），证实**存储与读取具有互补性**：读取预算的回报依赖于可用存储量。 #### 2. LongMemEval 容量与读取预算扫描 - **协议**：在 100 个选定样本上，同样进行存储-读取容量网格扫描。 - **指标**：本地语义准确率（local semantic accuracy）。 - **关键发现**（图 8b）：完整历史 Raw RAG 的准确率从 35.00%（ R=512 ）提升至 44.00%（ R=2,048 ），进一步验证存储-读取联合效应。 #### 3. IdeaBench 顺序部署下的有状态 vs. 重置对比（Sequential Deployment） - **协议**：在 50 个固定目标查询上，沿顺序训练对话的检查点（checkpoints）评估 Mem0 的**有状态（stateful）**与**重置（reset）**条件之差 Delta P_t 。实验在 3 种随机任务排序下重复。 - **条件**：Mem0 以默认在线模式运行（评估过程中也持续写入）；容量上限分别设为 8K 与 32K tokens；无定期巩固（consolidation）。 - **关键发现**（图 8d）： - 在 8,192-token 容量限制与 R=1,024 下，有状态-重置增益从 64 个训练对话后的 **+7.10 个百分点**，变为 128 个对话后的 **-10.43 个百分点**，以及 256 个对话后的 **-13.93 个百分点**。 - 由于无约束占用量在 3,858 tokens 处饱和，容量上限在此场景中并未成为瓶颈；性能下降表明**持续累积未经管理的经验可导致负向迁移**。 - 即使引入每 16 或 64 个训练对话的定期巩固，最终占用降至约 1,800 tokens，最终增益仍为负值。 #### 4. LoCoMo 查询经济学（Query Economics） - **协议**：在 9 个对话、180 个问题的队列上，比较三种读取策略： 1. **Read all**：直接读取全部记忆库； 2. **Search**：检索相关片段； 3. **Search + summarize**：检索后进行查询时摘要。 - **指标**：F1 分数、序列化记忆输入 tokens、端到端查询延迟（中位数，含检索、摘要与回答，不含离线构建）。 - **关键发现**（表 4）： | Reader | F1 (%) | 95% CI | Input (tokens) | Latency (s) | |————|————|————|————————|——————-| | Read all | 4.63 |

3.28, 6.02
| 729.78 | 0.154 | | Search | 4.29 |
3.15, 5.50
| 225.68 | 0.154 | | Search + summarize | 3.91 |
2.81, 5.15
| 43.52 | 0.367 | - **Search + summarize** 虽将输入 tokens 降至最低（43.52），但延迟最高（0.367s），且 F1 比 Read all 低 **0.72 个百分点**（95% CI:
-1.14, -0.27
）。 - 结果表明：**token 节省与延迟节省并非同向**，策略选择取决于实际受约束的资源类型（上下文长度 vs. 响应时间）。 —- ### 三、参数化记忆的再分析与验证针对参数化记忆，论文未进行从头训练的新实验，而是**对已有研究的报告数据进行了系统性收集、可视化与理论拟合**，以验证提出的负载干扰扩展定律（Equation 4.7–4.9）。主要分析包括： #### 1. 容量扩展验证（图 12a） - **数据来源**：Memory Layers at Scale

**内容**：在 1.3B 配置下，将 Memory+ 的 value count 从 1M 扩展至 64M。 - **结果**：NaturalQuestions 准确率从 13.68 升至 20.78，TriviaQA F1 从 42.89 升至 62.14；但在 16M 至 64M 区间，NaturalQuestions 仅增 0.64，显示**不同任务处于同一容量范围的不同幂律位置**。 #### 2. 写入方法对容量效率的影响（图 12b） - **数据来源**：LoRA 记忆研究

138

**内容**：在 Qwen3-8B 上，以 LoRA rank 作为容量探针，比较 SFT、MemFT-OT、MemFT-SW 三种写入方法。 - **结果**：在 rank 128 时，SFT 记忆准确率 40.0%，MemFT-OT 达 100.0%，MemFT-SW 达 94.4%。验证**写入策略改变扩展前沿的系数与指数**。 #### 3. 固定容量下的负载效应（图 12c） - **数据来源**：GradMem

**内容**：固定 8 个记忆向量，变化存储的 key–value 对数量（4 至 96），并变化写入步数（1/2/5 步）。 - **结果**：1 步写入时，exact match 从 100%（4 对）降至 32.6%（96 对）；5 步写入时，64 对仍保持 99.1%。验证**写入预算可部分替代容量**，提高临界负载比。 #### 4. 不同基质的临界负载比比较（图 12d） - **数据来源**：综合多项研究

24, 41, 79, 80, 113, 117

**内容**：比较不同参数化基质与策略的序列更新上限： - 直接主干编辑（ROME）：约 10^2 – 10^3 次编辑后失效 - MEMIT（顺序）：约 1,400 次 - MEMIT（批次）：10,000 事实 - Larimar：1,000 次范围写入 - WISE：3,000 次编辑 - MEMORYLLM：650,000 次上下文更新（专用记忆池+随机替换） - **结论**：验证了参数化记忆存在**基质与策略依赖的临界负载比 rho^ \*，专用模块可比主干编辑高 1–2 个数量级。 #### 5. 基础模型与写入阈值效应（图 13） - **数据来源**：Memory Decoder

12
与 TMEM
89

**关键发现**： - 将相同 0.5B Memory Decoder 附加于 0.5B 至 72B 的 Qwen2.5 模型，大模型本身记忆能力强，导致记忆模块的边际收益递减（0.5B 模型 perplexity 降低 10.24，72B 仅降低 2.39）。 - TMEM 的上下文写入阈值存在任务依赖的最优点：LoCoMo 上 4K-token 阈值 F1 最高（25.72），LongMemEval-S 上 12K-token 最高（41.24）；过小或过大的阈值均导致性能下降。 —- ### 四、实验总结 | 研究对象 | 实验类型 | 核心变量 | 关键结论 | |—————|—————|—————|—————| | **非参数化记忆** | 容量-读取网格扫描 | 存储比例、读取预算 | 存储与读取互补，联合分配决定性能前沿 | | **非参数化记忆** | 顺序部署追踪 | 经验累积量、有状态/重置 | 无管理的持续累积可导致负迁移 | | **非参数化记忆** | 查询经济学 | 读取策略、延迟、token | Token 节省与延迟节省存在权衡 | | **参数化记忆** | 文献数据再分析 | 容量、负载比、写入策略、模型规模 | 验证负载干扰项与临界比 rho^ ；写入方法与时机显著影响扩展效率 | 这些实验共同支撑了论文提出的记忆扩展定律，将“更大记忆更好”的直觉，转化为\*经验、容量与计算在最优分配下的联合扩展规律**。 Q5: 有什么可以进一步探索的点？基于论文提出的框架与论证，以下八个方向构成了记忆中心持续学习（MCCL）值得进一步深入探索的前沿： —- ### 1. 长期信用分配与经验价值预测当前记忆策略大多依赖启发式规则或即时反馈，难以应对**延迟信用分配**问题：一次写入操作的真实价值可能在数十步乃至数个会话后才显现，且最终任务结果由形成、巩固、检索、利用等多环节共同决定，信用高度纠缠。值得探索的具体问题包括： - **前瞻性价值模型**：在写入时刻基于局部线索预测经验的长期边际回报，建立类似于 V^(write)(et | M_t) 的价值函数，以替代固定的时效性-重要性评分。 - **反事实与消融评估**：通过从相同记忆检查点分支（branching rollouts）并执行策略干预，反事实地评估“若未写入该经验”的下游差异，从而隔离单条记忆的因果效应。 - **分层信用分配**：将最终任务反馈逐层分解至生命周期各阶段（写入、压缩、检索），解决“是记忆内容错误还是检索时机错误”的诊断模糊性。 —- ### 2. 记忆管理策略的在线进化与元控制论文区分了三个适应层级，但现有系统大多停留在状态级或离线训练，**在线策略进化**（ π_t^(mem) to π(t+1)^(mem) ）仍不成熟。关键探索点包括： - **运行时策略更新**：如何在部署期间根据环境反馈持续优化记忆准入、检索与遗忘规则，同时抑制策略自身的灾难性遗忘（policy-level stability-plasticity）。 - **元认知门控**：赋予智能体对“自身记忆是否可靠”的监控能力，例如动态评估检索结果与当前任务决策的适配度，并触发外显的再搜索或知识修正。 - **延迟反馈下的策略稳定性**：在反馈稀疏且路径依赖的场景中，设计具备方差缩减机制的策略梯度估计器，避免因单次任务成败导致记忆管理规则的剧烈震荡。 —- ### 3. 经验记忆与参数化学习的协同架构当前外部记忆与参数更新被视为割裂的系统：外部记忆支持快速显式写入，参数记忆支持缓慢稳定的泛化，但**双向知识流动**机制严重缺失。可沿以下方向推进： - **互补学习系统（CLS）的神经计算实现**：建立类似海马体-新皮层的双系统架构，其中外部经验存储扮演“快速学习”角色，参数化模块（如LoRA、侧网络）通过**重演（replay）**与**巩固**机制实现慢速整合。 - **选择性内化与回滚**：开发算法以判定“何种经验已充分验证、值得写入参数”，以及当参数化知识与新证据冲突时，如何将其重新外化为可显式编辑的文本或图结构（类比生物记忆的再巩固）。 - **动态模块路由与合并**：在多任务持续学习中，研究如何根据经验分布动态增删参数模块，并解决模块间的路由失败与合并冲突。 —- ### 4. 动态非平稳环境中的稳定性-可塑性权衡外部记忆并未消除稳定性-可塑性困境，而是将其转移至**检索与提示构造**阶段。随着记忆库增长，检索噪声、冲突条目与冗余记录导致的干扰日益严重。需要深入探索： - **检索层面的干扰量化**：建立记忆库规模与检索信噪比之间的定量关系，识别“功能型遗忘”（记录存在但检索排名下降）的临界点。 - **自适应写入边界**：在高度动态的环境中，如何根据当前记忆负载与任务漂移速率，动态调整写入激进程度，避免过早固化尚未验证的经验。 - **负迁移检测与抑制**：设计运行时机制，识别检索到的程序或语义资产在当前任务中的适用性，主动抑制可能导致负迁移的激活。 —- ### 5. 记忆生命周期的安全治理与可信机制现有研究重功能轻安全，而长期部署中的攻击面覆盖记忆全生命周期：恶意写入、上下文崩塌、检索劫持与遗忘残留。亟待建立的可信机制包括： - **来源验证与写入授权**：在形成阶段引入来源密码学验证与角色权限控制，防止提示注入或污染数据被持久化为可信事实。 - **可审计删除与衍生残留清除**：当执行遗忘操作时，不仅删除原始记录，还需追踪并清理由其衍生的摘要、知识图节点及参数化痕迹，确保“遗忘”在行为层面可验证。 - **检索沙箱与隐私隔离**：在多用户或多智能体共享记忆场景中，实施检索时的角色隔离与隐私预算约束，防止跨用户数据污染或敏感信息泄露。 —- ### 6. 记忆扩展定律的精细化与跨基质验证论文提出的非参数与参数扩展定律（Equations 4.2–4.9）仍为理论假说，其经验充分性有待系统检验。关键研究缺口包括： - **指数估计与任务依赖性**：在不同任务结构（独立事实 vs. 共享规则 vs. 层级技能）下，精确估计容量指数 αB 、经验指数 α_E 及负载比临界值 rho^*(s,π) 。 - **最优资源分配算法**：针对联合预算约束 C ，开发在线算法以动态平衡存储、读取与维护预算，而非依赖预设比例。 - **混合基质的统一扩展模型**：当系统同时利用外部可寻址记忆与参数化记忆时，两者之间的经验迁移与冗余如何影响总体扩展曲线，尚缺乏理论刻画。 —- ### 7. 多智能体共享记忆的协调与演化多智能体场景引入了超越单智能体的记忆治理问题：选择性广播、角色专长建模与共享库的版本控制。可拓展方向包括： - **跨智能体信用分配**：当多个智能体写入共享记忆库时，如何追溯特定记录对团队任务成功的边际贡献，并据此调整写入权限。 - **共享记忆的冲突解决**：在分布式写入导致语义冲突或逻辑矛盾时，设计群体级别的共识机制或信念修正协议。 - **社会性记忆与组织知识**：研究共享程序资产如何在多智能体组织中演化，包括技能的标准化、过时技能的淘汰以及跨团队最佳实践的涌现。 —- ### 8. 特定域应用中的记忆机制适配论文涵盖的四大应用领域（个性化陪伴、数字长程任务、具身探索、多智能体协作）各具独特的记忆需求，当前通用架构难以直接适配。值得深耕的域特定问题包括： - **具身智能中的时空记忆**：如何在三维动态场景中维护可更新的空间记忆与物体持久性表征，支持跨视角、跨时间的场景推理。 - **个性化陪伴中的情感与关系记忆**：超越事实性用户画像，建模情感互动历史、关系发展阶段与隐性需求，避免机械式事实复述。 - **科学发现中的假设-证据链**：在迭代式科研流程中，维护假设、实验证据、失败记录与同行评审意见之间的精细关联，支持长期研究方向的动态调整。 —- 综上，MCCL 的未来研究需同时推进**算法层面**的信用分配与策略学习、**架构层面**的多基质协同、**理论层面**的扩展定律验证，以及**系统层面**的安全治理与域适配，方能实现从“记忆增强”到“自主持续进化”的跨越。 Q6: 总结一下论文的主要内容该论文针对基础模型驱动的自主智能体在长期部署中**无法可靠地从经验中持续学习**这一核心问题，提出 **Memory-Centric Continual Learning (MCCL)** 框架，将记忆从被动检索缓存重构为主动演化的学习基础设施。以下为主要内容概述： —- ### 1. 核心问题与动机 - **长期学习瓶颈**：现有智能体受限于固定权重与有限上下文窗口，无法跨会话累积经验；扩展上下文导致注意力退化，持续微调则引发灾难性遗忘。 - **记忆系统的被动性**：当前外部记忆多充当信息检索缓存（如 RAG），评估标准停留在“能否召回事实”，而非“记忆是否改进了未来行为”。 - **架构混淆与评估缺失**：现有分类常将物理存储、知识表示与控制机制混为一谈；缺乏衡量在干扰、延迟与分布漂移下行为持续改进的严格协议。 —- ### 2. 统一的三轴记忆分类架构为澄清设计空间，论文提出正交的三轴分类法： - **记忆基质（Substrates, WHERE）**：经验物理存储的位置，包括上下文记忆、激活记忆、外部可寻址记忆、自适应参数记忆。 - **记忆资产（Assets, WHAT）**：经验的知识表示形式，包括情景资产（原始轨迹）、语义资产（抽象事实与关系）、程序资产（可执行工作流与技能）。 - **记忆策略（Policies, HOW）**：记忆生命周期的控制机制，包括规定型（固定规则）、审议型（运行时 LLM 推理）与学习型（反馈驱动优化）。 —- ### 3. 双循环记忆生命周期 MCCL 将记忆管理形式化为两个耦合的动态循环，把经验积累转化为行为改进： - **内循环：记忆状态演化**

M(t+1) = Tl(M_t, e_t; π_t^(mem)r)
涵盖五个核心阶段： - **选择与写入**：控制可塑性边界，防止污染性经验持久化； - **组织与巩固**：将情景经验转化为可复用的语义或程序资产，同时保留溯源链接以防“上下文崩塌”； - **检索与利用**：不仅恢复记录，还需匹配当前决策需求并验证证据是否被真正使用； - **修订与遗忘**：通过冲突解决、时效失效标记或选择性抑制，更新过时知识； - **行为效应**：记忆必须产生下游行为改进 Delta B(t+k) ，仅有状态更新不等于学习。 - **外循环：策略进化**
π(t+1)^(mem) = Ul(π_t^(mem), F(t:t+H)r)
任务反馈不仅更新记忆内容，还持续优化记忆管理策略本身，实现递归自改进（RSI）。 —- ### 4. 行为中心的评估协议为隔离真正的持续学习信号，论文提出： - **四闸门保留级联**：保留（Preservation）→ 访问（Access）→ 利用（Utilization）→ 效应（Effect），定位最弱瓶颈环节； - **匹配比较框架**：通过有状态（stateful）与重置（reset）条件的性能差 Delta Pt = P(stateful)(t) - P_(reset)(t) ，排除上下文扩展与计算开销等混淆因素； - **三维行为评估**： - **保持（Retention）**：经验增益在延迟与干扰后是否持续； - **适应（Adaptation）**：环境变化时能否修订行为而不破坏未改变的能力； - **迁移（Transfer）**：习得资产是否支持超出原始片段的跨任务泛化。 —- ### 5. 记忆扩展定律论文提出记忆性能随资源扩展的理论模型： - **非参数记忆**：

ε^ - ε∞ asymp max(j ∈ A) a_j x_j^(-α_j)
其中 x 包含经验 E 、容量 B 、读取预算 R 与维护预算 U 。性能在主导资源受限时饱和，存在最优联合分配路径。 - \*参数记忆**：
ε^ - ε∞ asymp max(j ∈ A) aj x_j^(-α_j) + I(s,π)(rho_t)
引入\*负载比** rhot = I(E_t)/(kappa M) 与**负载干扰项** I(s,π)(rhot) 。当 rho_t 超过临界值 rho^*(s,π) 时，新写入覆盖旧内容，性能下降。该定律解释了为何参数记忆的扩展不仅取决于容量 M ，还受写入策略与基质的深刻影响。 —- ### 6. 实验验证 - **非参数记忆**：在 LoCoMo、LongMemEval 与 IdeaBench 上，验证存储-读取预算的互补性、顺序部署中无管理累积导致的负迁移，以及查询时摘要带来的 token-延迟权衡。 - **参数记忆**：通过对 Memory Layers、LoRA 记忆、GradMem、MEMORYLLM 等已有研究的系统性再分析，验证容量幂律、写入方法对前沿的位移效应，以及不同基质间 1–2 个数量级的临界负载比差异。 —- ### 7. 应用与开放挑战 - **四大应用领域**：终身个性化与陪伴、长程数字环境问题求解、具身与开放世界持续探索、多智能体协作演化。 - **四个开放挑战**：延迟信用分配与经验价值预测、动态环境中的稳定性-可塑性困境、经验记忆与参数化学习的协同、可信赖的记忆全生命周期治理。 —- ### 结论 MCCL 将智能体记忆研究的核心问题从“能否记住”转向“能否持续学习”，通过架构分类、动力学机制、行为评估与资源扩展定律的系统整合，为构建具备长期保持、动态适应与跨任务迁移能力的自改进自主智能体提供了原理性路径。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Dongfang Li,Zhuoen Chen,Bonian Jia,Zixuan Liu,Zhengxuan Lu,Can Deng,Yukun Shi,Yuhang Meng,Xin Zhang,Jiahe Huang,Fuhao Li,Junmai Wang,Shunyao Wen,Jingjun Sun,Jiaxu Tian,Jiangling Zhang,Zihan Wang,Liangyou Li,Yitong Yao,Shuangyong Song,Beilun Wang,Pengxu Wei,Hanlin Xu,Chang Liu,Yongxiang Li,Baotian Hu,Xiangyang Ji,Min Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.29357.pdf

Arxiv URL: https://arxiv.org/abs/2610.29357

Arxiv ID: 2610.29357

CoolPaper URL: https://papers.cool/arxiv/2610.29357

Published: 2026-10-23T01:56:50.961Z

Updated: 2026-10-23T01:56:50.961Z

17. Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use

Abstract:Multimodal agents (MMAs) sustain interaction through reasoning, memory, tools, and feedback, most visibly as computer-use agents, while robotic systems (RSs) couple sensing and actuation under physical dynamics. We define multimodal embodied agents (MMEAs) as goal-directed systems that couple multimodal task reasoning with physical action and revise decisions from the resulting feedback. This raises a central question: what changes when a multimodal agent moves from computer-use to robot-use? We introduce PAPAV, a unified capability-centric framework of five recurring functions: Perceive the current state, Anticipate action effects, Plan a feasible course, Act through an interface or body, and Verify the outcome. Defined by function rather than architecture, these capabilities let PAPAV identify what all three share and then compare MMEAs with MMAs and with RSs. Five physical constraints, from partial observability to unverifiable outcomes, leave fewer choices fixed in advance and less room to reverse errors. Across 64 benchmarks, explicit evaluation centers on Act; only 5 assess Anticipate and 3 assess Verify, leaving both largely hidden behind task success. These constraints also frame the open challenges we identify. PAPAV therefore provides a common basis for designing reliable physical agents and measuring progress across all five capabilities rather than task success alone.

中文摘要

摘要：多模态代理（MMAs）通过推理、记忆、工具和反馈维持交互，最明显地表现为计算机使用代理，而机器人系统（RSs）则在物理动力学下结合感知与执行。我们将多模态具身代理（MMEAs）定义为目标导向的系统，它将多模态任务推理与物理动作结合，并根据产生的反馈修正决策。这提出了一个核心问题：当多模态代理从计算机使用转向机器人使用时会发生什么变化？我们介绍了PAPAV，一个统一的以能力为中心的框架，包括五个循环功能：感知当前状态、预期动作效果、规划可行路径、通过界面或躯体执行、以及验证结果。PAPAV以功能而非架构定义这些能力，使其能够识别三者共有的特性，然后将MMEAs与MMAs及RSs进行比较。五个物理约束，从部分可观测性到不可验证的结果，使预先固定的选择更少，并减少纠正错误的余地。在64个基准测试中，明确评估主要集中在“执行”，只有5个评估“预期”，3个评估“验证”，使两者在任务成功背后大体上处于隐藏状态。这些约束也构成了我们识别的开放挑战。因此，PAPAV为设计可靠的物理代理以及衡量所有五种能力的进展提供了一个共同的基础，而不仅仅依赖于任务成功。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.30108 (HTTP 429)

Authors: Yanzhe Chen,Ziyi Yang,Jifeng Zhu,Qiming Huang,Ruihe An,Peiyao Xu,Hesen Yang,Runda Liu,Chang Gong,Zhijun Cao,Zechen Bai,Wenzheng Zeng,Yiqi Lin,Guoqiang Liang,Kevin Yuchen Ma,Kevin Qinghong Lin,Mike Zheng Shou

Categories:

PDF URL: https://arxiv.org/pdf/2610.30108.pdf

Arxiv URL: https://arxiv.org/abs/2610.30108

Arxiv ID: 2610.30108

CoolPaper URL: https://papers.cool/arxiv/2610.30108

Published: 2026-10-23T01:56:51.650Z

Updated: 2026-10-23T01:56:51.650Z

18. ALPS: Visual State Encoders for World Models

Abstract:World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction, and spatial correspondence objectives, and then refine it via cross-view self-distillation. In a unified evaluation across fifteen public encoders, ALPS achieves the lowest aggregate LIBERO state-probe error among ViT-B models (matching the 3.5x larger V-JEPA 2-L) while maintaining strong language alignment and accurate pixel reconstruction. Downstream, frozen ALPS tokens reach the highest mean policy success on LIBERO (85.5%) when paired with our native text tower, match or exceed leading encoders on world-model planning across PushT, Wall, and Granular, and allow predicted future tokens to be decoded directly into pixels for visual inspection. We hope this work helps establish visual pretraining as a shared foundation for understanding, prediction, and action in world models.

中文摘要

摘要：世界模型将视觉表征转化为预测和动作。我们认为，它们的视觉基础应结合物理状态信息、本地语言对齐和像素重建，以便单一表征能够支持预测、指令和检查。然而，现有的编码器通常只专注于其中一项或两项能力；因此，我们提出了 ALPS，一种预训练的视觉状态编码器，将这三者统一到一组 patch 令牌中。我们仅使用静态图像和文本，从零开始预训练 ViT-B/16，并使用语言、重建和空间对应目标进行训练，然后通过跨视角自蒸馏进行优化。在对十五个公共编码器的统一评估中，ALPS 在 ViT-B 模型中实现了最低的综合 LIBERO 状态探测误差（匹配 3.5 倍更大的 V-JEPA 2-L），同时保持较强的语言对齐和准确的像素重建。在下游任务中，当与我们的本地文本塔配对时，冻结的 ALPS 令牌在 LIBERO 上达到了最高的平均策略成功率（85.5%），在 PushT、Wall 和 Granular 的世界模型规划中匹配或超过领先编码器，并允许预测的未来令牌直接解码为像素以进行视觉检查。我们希望这项工作有助于将视觉预训练建立为世界模型中理解、预测和行动的共享基础。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*世界模型（world models）中视觉基础编码器的能力碎片化问题\*\*，具体而言： - \*\*核心问题：如何预训练一个单一的视觉编码器，使其同时具备三种关键能力\*\* - \*\*物理状态信息（physical-state information）\*\*：编码器输出的表征能够精确反映场景中物体的位置、姿态和状态，使下游世界模型能够从有限的交互数据中学习状态转移。 - \*\*原生语言对齐（native language alignment）\*\*：视觉表征能够与语言直接对齐，从而无需额外的视觉编码器即可理解自然语言指令和目标。 - \*\*像素重建（pixel reconstruction）\*\*：表征能够被解码回像素空间，使观测场景和想象的未来状态都可以被渲染和检查。 - \*\*现有方法的局限\*\* - 当前的公开编码器通常只在上述一到两种能力上表现突出，无法同时兼顾三者。例如： - 自监督模型（如 DINOv2、DINOv3、C-RADIOv3）擅长空间特征迁移； - 图文对比模型（如 CLIP、SigLIP 2、PE-Core）擅长语言对齐； - 重建模型（如 MAE、VC-1、OpenVision 3）擅长保留视觉细节。 - 直接在图文编码器上增强状态信息会显著损害其语言对齐性能。论文实验表明，对 SigLIP 2 和 CLIP 应用相同的跨视图精炼（cross-view refinement）后，它们的 ImageNet 零样本准确率和图文检索指标会大幅下降（下降 4–12 个百分点）。 - \*\*论文提出的解决路径\*\* - 为此，论文引入 \*\*ALPS（A Language-aligned, Pixel-renderable State encoder）\*\*，通过\*\*两阶段预训练策略\*\*在静态图像和文本上从零开始训练一个 ViT-B/16： 1. \*\*第一阶段\*\*：联合优化对比对齐、图像描述、像素重建和密集对应（dense correspondence）四种目标，在共享的 patch token 上同时建立语言、像素和空间基础。 2. \*\*第二阶段\*\*：通过\*\*跨视图自蒸馏（cross-view self-distillation）\*\*进一步精炼状态表征——学生网络从增强视图中预测冻结的第一阶段教师网络在干净视图中的 token，从而在不依赖视频或交互数据的情况下提升物理状态信息的鲁棒性。最终目标是证明：\*\*一个冻结的单一表征可以同时支持机器人策略控制、世界模型规划与预测，以及预测未来 token 的直接像素解码\*\*，从而成为理解和行动共享的视觉基础。 Q2: 有哪些相关研究？根据论文第2节（Related Work），相关研究主要分布在以下四个方向： ### 1. 图像-文本预训练与统一视觉表征这类工作致力于建立视觉与语言之间的对齐，或统一理解与生成能力： - \*\*对比式图像-文本预训练\*\*：如 \*\*CLIP\*\*、Sigmoid Loss（SigLIP）等，通过对比学习将视觉表征与语言关联。 - \*\*引入更多监督信号的方法\*\*：包括结合图像标题生成（如 \*\*CoCa\*\*）、自蒸馏与掩码预测、空间感知目标、图像重建，以及自回归 patch 预测等。 - \*\*统一 tokenizer 与多模态模型\*\*：如 \*\*Unitok\*\*、VILA-U、QLIP 等，试图将视觉理解与生成耦合到同一框架中。 - \*\*对冻结骨干的后适配\*\*：如 \*\*dino.txt\*\* 将冻结的 DINOv2 骨干适配到语言；\*\*OpenVision 3\*\* 则编码生成式自编码器的潜变量而非原始像素。与上述工作不同，ALPS 的第一阶段\*\*从零开始联合训练\*\* unnormalized patch token，使其同时承担语言对齐、像素重建和密集空间对应三种功能，而非先训练生成模型再编码其潜变量，或对冻结骨干进行后验语言适配。 --- ### 2. 自监督与聚合式视觉表征这类方法侧重于学习可迁移的局部或全局视觉特征： - \*\*自蒸馏方法\*\*：如 DINO、\*\*DINOv2\*\*、\*\*DINOv3\*\*、iBOT 等，通过教师-学生框架学习鲁棒的 patch 表征。 - \*\*潜变量预测\*\*：如 I-JEPA、\*\*V-JEPA 2\*\* 等，通过预测 masked 潜 patch 学习时空表征。 - \*\*多教师蒸馏\*\*：如 RADIO、\*\*C-RADIOv3\*\* 等，将多个异构教师模型的知识聚合到单一学生网络。 - \*\*增强密集空间特征的技术\*\*：包括对齐区域特征与裁剪嵌入、匹配跨视图 patch 邻域顺序、局部性对齐（locality alignment）、感知编码器（\*\*Perception Encoder\*\*）中的空间精炼，以及在多深度进行预测监督等。 ALPS 的第二阶段属于\*\*无外部教师的跨视图自蒸馏\*\*：利用冻结的第一阶段编码器作为教师，通过几何查询（geometry queries）条件化的 MSE 损失，精炼学生在不同裁剪、尺度和外观下的局部 token 一致性，从而增强物理状态信息。 --- ### 3. 面向机器人学习的视觉表征研究如何将预训练视觉表征迁移到机器人策略中： - \*\*数据来源多样性\*\*：从自我中心视频（如 \*\*R3M\*\*）、掩码自编码（如 \*\*VC-1\*\* / MVP）、语言监督（如 LOREL）、基础模型蒸馏（如 \*\*Theia\*\*），到神经渲染（如 \*\*SPA\*\*）等。 - \*\*关键发现\*\*：比较研究表明，\*\*没有单一表征在所有机器人任务中占主导\*\*；通用视觉预训练数据集有时可匹配甚至超越机器人专用视频数据；且特定领域预训练并不保证对视觉变化的鲁棒性。 ALPS 属于在通用域图像与文本上预训练，其冻结 token 和原生文本塔可直接迁移到语言条件的操作任务中。 --- ### 4. 面向世界模型的视觉表征世界模型需要视觉表征来支持状态预测与规划，现有范式包括： - \*\*先训练视觉自编码器，再学习潜动态\*\*。 - \*\*联合学习表征与动态模型\*\*（如 Dreamer 系列、LeWorldModel 等）。 - \*\*基于冻结预训练特征\*\*：如 \*\*DINO-WM\*\* 直接在冻结 DINOv2 token 上规划；\*\*V-JEPA 2\*\* 将视频预训练连接到动作条件规划；另有工作利用冻结特征进行语言条件规划。 - \*\*从机器人数据端到端学习 tokenizers\*\*：如 RepWAM 直接学习视觉与动作 tokenizer。 - \*\*生成式世界模型\*\*：使用离散或连续 tokenizer 配合自回归/扩散动态（如 Genie、DIAMOND 等），或直接在像素空间进行扩散。此外，近期批判性研究指出：\*\*现成的预训练视觉特征并不自动提升模型强化学习的样本效率\*\*；像素重建保真度本身不足以保证从潜状态转移中恢复动作；且根据下游协议不同，静态图像编码器有时可以优于视频编码器。ALPS 聚焦于为下游世界模型提供\*\*冻结的状态 token\*\*，使其在无需视频或交互数据预训练的情况下，即可支持规划、预测与像素级可视化。 Q3: 论文如何解决这个问题？论文通过引入 \*\*ALPS\*\*（A Language-aligned, Pixel-renderable State encoder）并设计一种\*\*两阶段预训练策略\*\*，在仅使用静态图像与文本的条件下，从零开始训练一个统一的 ViT-B/16 编码器。该策略的核心是将物理状态信息、语言对齐与像素重建整合到\*\*同一组 patch token\*\* 中，并通过特定的架构与优化设计避免不同目标之间的冲突。以下是具体解决路径的分点阐述： --- ### 1. 第一阶段（Stage 1）：建立共享的多能力表征基础第一阶段的目标是在同一组 patch token 上同时建立三种基础能力。编码器 E 将图像 x 映射为 patch token z = E(x) ∈ R^(N × d) ，并采用\*\*无最终归一化层\*\*的 ViT-B/16 架构输出原始 token。该阶段通过\*\*四种互补目标函数\*\*进行联合监督：

L1 = L(itc) + L(cap) + w(rec) L(rec) + 0.25 L(dense)

**对比对齐（ L(itc) ）**：采用 InfoNCE 损失，将平均池化后的图像 token（经线性投影 W(img) 与 ell2 归一化）与文本编码器 E(text) 输出的文本嵌入对齐。每张图像配对一个网页标题和一个合成标题，二者互不视为负样本。 - **图像描述（ L(cap) ）**：使用与编码器同宽同深的自回归解码器，以图像 token 为条件生成完整的合成标题，增强视觉-语言细粒度关联。 - **像素重建（ L(rec) ）**：通过轻量级卷积解码器 D 从 patch token 重建输入图像 x ，结合 ell1 损失、结构相似性损失与图像梯度损失，保留视觉细节。 - **密集对应（ L(dense) ）**：对同一图像的两种随机裁剪/翻转视图，通过投影头将 patch token 映射为对比特征，利用 InfoNCE 强制对应位置的局部特征一致。该损失显式地监督跨视图的空间关系，补充全局语言对齐与单视图重建。此阶段在 DataComp-1B 上训练，使用 128×128 与 224×224 两种分辨率的课程。训练完成后，保留图像编码器、文本编码器与图像投影，丢弃描述解码器、对应投影头与重建解码器。 —- ### 2. 第二阶段（Stage 2）：跨视图自蒸馏精炼状态信息第二阶段在不引入视频或交互数据的前提下，通过**跨视图自蒸馏**强化编码器对物理状态的敏感度。其关键设计如下： - **教师-学生结构**：学生编码器与预测器可训练，教师编码器为冻结的第一阶段模型。对学生输入的增强裁剪 A ，预测器需回归教师在干净裁剪 B 中对应位置的标准化 token。 - **几何查询（Geometry Queries）**：预测器 P 为教师视图 B 中的每个 patch 生成一个查询 q_i ，编码该 patch 中心在学生视图 A 中的坐标位置（正弦-余弦位置编码）以及 B 与 A 的相对尺度（对数边长比的学习嵌入）。这些查询提供了显式的几何对应关系，使学生网络在视觉内容基础上进行空间条件化预测。 - **损失设计**：仅对教师视图中中心落在学生视图 A 内的 patch 计算 MSE 损失：

L2 = (1) / (|V| d) ∑(i ∈ V) | P(E(A), qi) - z_i^(teacher)(B) |^2
其中 z_i^(teacher)(B) 为固定通道标准化后的教师 token。该损失训练局部 patch token 在裁剪、尺度与外观变化下保持一致，同时与冻结教师的语言/重建兼容表征对齐。训练完成后丢弃预测器，精炼后的学生编码器即为 **ALPS**。 —- ### 3. 关键架构与接口设计：保持三者的兼容性论文发现，简单地增强状态信息通常会破坏语言对齐。ALPS 通过以下结构选择缓解这一张力： - **Unnormalized Patch Token + 线性语言读出**：第一阶段输出无最终归一化的原始 patch token；语言对齐通过**线性投影** W(img) 加**平均池化**实现：

v = norm( (1) / (N) ∑(i=1)^N W(img) z_i )
这一设计在第二阶段至关重要：由于线性投影与平均池化可交换，局部 patch token 的零均值更新在全局图像嵌入中可能相互抵消，从而在无需显式语言约束的情况下自然保持语言接口稳定。相比之下，SigLIP 2 的非线性注意力池化与 CLIP 的 class token 结构在相同精炼下会遭受严重的语言性能衰减。 - **固定通道标准化**：第二阶段在训练前预计算教师 token 的逐通道均值与标准差，并在整个阶段固定使用，避免动态统计导致的目标漂移。 —- ### 4. 统一评估与下游验证为验证该解决方案的有效性，论文建立了一套统一评估协议，在**冻结编码器**的条件下测试： - **物理状态信息**：在 LIBERO 上使用轻量级探针读取 16 帧历史 token，估计当前或可预测未来 3 秒的物体 3D 位姿； - **语言对齐**：使用编码器自身的原生文本塔进行 ImageNet 零样本分类与 Flickr30k/COCO 图文检索； - **像素重建**：训练轻量级卷积适配器将冻结 token 映射到 SDXL 自编码器潜空间进行解码； - **下游控制与规划**：在 LIBERO 策略学习、PushT/Wall/Granular 世界模型规划与开环预测中直接利用冻结 token。实验表明，ALPS 是 ViT-B 级别编码器中唯一在**状态探针误差**（达到 V-JEPA 2-L 水平）、**语言检索**（与最强图文模型差距在 2 个百分点内）和**像素重建**（显著优于所有非重建专用模型）三项指标上同时表现领先的模型。 Q4: 论文做了哪些实验？论文建立了一套统一的评估协议，从**物理状态信息**、**语言对齐**、**像素重建**三大核心能力，到**下游控制、规划与世界模型预测**进行全面评测。所有对比的公开编码器与 ALPS 均保持权重冻结（frozen），遵循相同的评估流程。具体实验内容如下： —- ### 1. 统一对比评估（核心能力基准）论文将 ALPS 与 **15 个公开视觉编码器**进行系统对比，涵盖四大类方法： - **空间与自监督编码器**：TIPSv2、DINOv2、PE-Spatial、DINOv3、C-RADIOv3 - **图文编码器**：CLIP、SigLIP 2、PE-Core、OpenVision - **像素与潜变量重建编码器**：MAE、VC-1、OpenVision 3 - **ViT-L 参考模型**：OpenVision 2-L、V-JEPA 2-L、dino.txt-L 在三个核心能力上的统一评测（Table 1、Figure 1b）： - **状态探针（State Probe）**：在 LIBERO-Object 与 LIBERO-Spatial 上，使用 2.5M 参数的两层注意力探针读取最近 16 帧的冻结 token，估计可动物体的 3D 位置、朝向与二元谓词。评测设置包括**当前状态读数（readout）**、**+1 秒预测**、**+3 秒预测**三种，报告相对位置误差。 - **语言对齐**：使用各编码器的**原生文本塔**（native text tower），评测 ImageNet-1k 零样本准确率、Flickr30k 与 COCO 的图文检索 Recall@1。 - **像素重建**：为每个编码器从头训练一个轻量级卷积适配器，将其冻结 token 映射到 SDXL 自编码器的潜空间以解码图像，在 1,000 张 ImageNet 验证图像上评测 ell_1 误差与 LPIPS。 —- ### 2. 跨视图精炼的效果分析（关键机制验证）为验证第二阶段（Stage 2）跨视图自蒸馏的有效性与独特性，论文将相同的精炼流程分别应用于 **ALPS (Stage 1)**、**SigLIP 2-B/16** 和 **CLIP-B/16**（Figure 5、Table S20）： - **状态信息**：三种编码器经 Stage 2 后状态探针误差均显著降低（ALPS 降低 17%，SigLIP 2 降低 23%，CLIP 降低 25%）。 - **语言保留**：仅 ALPS 在状态提升的同时保持语言对齐基本不变（Flickr30k I→T R@1 变化 -0.2 ，COCO I→T R@1 变化 -0.4 ，ImageNet 变化 -1.1 ）；而 SigLIP 2 与 CLIP 的语言指标分别下降 4–12 个百分点。 - **表示漂移分析**：通过计算 COCO 验证集上的 token 余弦相似度与 CKA，证实 ALPS 的 patch token 与全局语言嵌入在精炼过程中的漂移显著小于 SigLIP 2 与 CLIP（Sec. S5）。 —- ### 3. 机器人控制策略实验在 **LIBERO** 的四个任务套件（Long、Goal、Spatial、Object）上，训练基于冻结视觉 token 的 Transformer 策略（Table 2、Table S8、Table S9）： - **BERT 指令嵌入**：ALPS 达到 **83.4%** 的平均成功率，为所有对比编码器最高；Stage 2 精炼将 LIBERO-Spatial 成功率从 76.8% 提升至 86.5%。 - **原生文本塔指令嵌入**：将 BERT 替换为各编码器自身的文本塔后，ALPS 进一步提升至 **85.5%**，验证了联合预训练的语言接口可直接作为策略的指令通道，无需外部语言模型。 —- ### 4. 世界模型规划与预测实验在 **PushT、Wall、PointMaze、Granular、Rope**（DINO-WM 协议）与 **Reacher**（LeWorldModel 协议）上，训练统一的动态预测器，基于冻结 token 进行交叉熵规划（CEM）与开环预测（Table 3、Table 4、Table S11、Table S12）： - **规划成功率**：ALPS 在 PushT（90%）、Wall（92%）与 Granular（Chamfer 距离 .176）上达到或并列最佳。 - **预测准确性**：在 5 步开环预测后，用训练于真实帧的状态探针读取预测 token（Table 4）。Stage 2 将第一阶段的预测误差在 PushT 降低 28%，Reacher 降低 17%，Granular 降低 13%，Rope 降低 11%。 - **像素渲染预测**：将预测的未来 token 通过评估解码器直接渲染为图像（Figure 6、Table S15）。在 PushT 大运动窗口上，ALPS 的 5 步渲染 LPIPS（.020）优于 DINOv3（.024）与 SigLIP 2（.031），仅次于 C-RADIOv3（.018）。 —- ### 5. 第一阶段目标消融实验为分析 Stage 1 各目标函数的作用，论文在 **10% 预训练预算**下从零训练多个变体，并施加相同的 Stage 2 精炼（Table 5、Table S21）： - **重建损失**：对像素接口至关重要；移除后 ell_1 误差上升约 72–78%。 - **密集对应损失**：对全局状态探针影响较小，但直接评测跨视图 patch 匹配时，移除该损失导致 Stage 1 后匹配准确率下降 6.0 个百分点（37.4% → 31.4%）。 - **容量权衡**：移除重建或标题生成可降低状态探针误差，但牺牲了像素或语言接口；完整配方在三种能力间取得平衡。 —- ### 6. 扩展与诊断性实验（补充材料）补充材料中进行了大量控制实验与诊断分析： - **分辨率鲁棒性**：在 256×256 重新渲染的 LIBERO 帧上重复状态探针，ALPS 仍为 ViT-B 中误差最低（Table S6）。 - **中间层探针**：对 SigLIP 2 与 PE-Core 的中间块（block 6/8/10）进行状态探针，其最佳验证层误差（SigLIP 2: 1.147；PE-Core: 0.985）仍高于 ALPS 最后一层（0.829）（Table S7）。 - **时序迁移**：评测 DAVIS-2017 视频目标分割（J&F）与 Something-Something v2 动作识别（Table S19）。Stage 2 将 DAVIS J&F 从 .456 提升至 .533，显示跨视图精炼增强了帧间空间对应能力，但未引入细粒度时序动作特征。 - **解码器容量控制**：使用更大更深的解码器重新评估重建，ALPS 仍保持最低 ell_1 误差（.107），并在 LPIPS 上反超 C-RADIOv3（Table S18）。 - **预测误差分解**：区分真实 token 读数误差、单步预测误差与自回归 rollout 累积误差（Table S16、Table S17），证实 ALPS 的 rollout 累积误差（+3.0 单位）显著低于 Stage 1（+5.7）与 SigLIP 2（+8.9）。 Q5: 有什么可以进一步探索的点？根据论文第6节（Conclusion）中“Limitations and future work”的阐述，以及全文实验设计中隐含的方向，可进一步探索的点主要包括以下几个方面： —- ### 1. 模型规模与真实机器人部署 - **更大规模的模型**：当前工作聚焦于 **ViT-B/16** 骨干网络，以实现对15个公开编码器的受控比较。扩展到更大的模型规模（如 ViT-L 或更高参数量级）是一个直接的未来方向。 - **真实机器人验证**：所有下游控制与规划实验目前均在 **仿真环境**（LIBERO、PushT、Wall、Granular 等）中进行。将 ALPS 迁移到真实机器人平台，验证其在物理世界中的部署效果，仍需后续研究。 —- ### 2. 训练流程的简化与统一 - **单阶段训练**：当前的配方依赖**两阶段课程**（Stage 1 的多目标联合预训练 + Stage 2 的跨视图自蒸馏）来平衡重建、语言和空间状态信息。**将跨视图精炼折叠到单一训练阶段**仍然是一个尚未解决的开放问题。 —- ### 3. 引入视频与交互数据 - **视频扩展**：ALPS 目前仅在**静态图像与文本**上预训练。尽管 Stage 2 的跨视图精炼改善了跨帧空间对应关系（如 DAVIS 视频对象分割性能提升），但它对**细粒度时间动作**的敏感度仍然不足。将 Stage 2 扩展到**视频片段**以及**机器人交互轨迹**，有望进一步提炼时序物理动态。 - **动作条件预训练**：当前训练完全不依赖动作标签或交互监督。探索如何利用廉价的视频-动作对或机器人操作数据来增强状态表征的物理预测能力，是潜在的改进路径。 —- ### 4. 统一的状态-语言-像素规划框架 - **可验证的闭环规划器**：论文当前的下游评估将**语言条件控制**（策略学习）与**世界模型规划**作为两个独立设置进行测试。一个自然的下一步是**将状态表征、语言对齐和像素解码集成到单一框架中**——即构建一个由语言引导、且能够通过像素渲染直接验证预测结果的世界模型规划器，实现“理解-预测-行动-检查”的闭环。 —- ### 5. 其他可延伸的技术方向从全文实验与设计中还可衍生出以下探索点： - **更强的生成解码器接口**：当前像素重建依赖轻量级适配器。探索与更强大的生成模型（如扩散模型或自回归 tokenizer）的深度耦合，可进一步提升世界模型“想象未来”的视觉保真度。 - **跨本体（cross-embodiment）迁移**：验证冻结的 ALPS token 是否能在不同机器人本体（不同臂型、末端执行器或视角）之间通用，而无需重新预训练。 - **细粒度物理属性推理**：当前状态探针主要关注物体位置、朝向和简单谓词。未来可探索编码器是否支持质量、材质、 affordance 等更丰富的物理属性推断。 Q6: 总结一下论文的主要内容这篇论文围绕世界模型（world models）中视觉编码器的基础能力展开，提出了一种统一的状态-语言-像素表征学习方法。以下是论文的主要内容总结： —- ### 1. 研究背景与核心问题世界模型依赖冻结的预训练视觉编码器将观测转化为潜状态，进而进行预测与规划。一个理想的视觉基础编码器应同时满足三种能力： - **物理状态信息（physical-state information）**：精确编码物体的位置、姿态与场景状态，使下游模型能从有限交互数据中学习状态转移； - **原生语言对齐（native language alignment）**：视觉 token 可直接与语言关联，无需额外视觉编码器即可理解文本指令与目标； - **像素重建（pixel reconstruction）**：表征可解码回像素空间，使观测与想象的未来均可被渲染和检查。然而，现有公开编码器通常只擅长其中一到两种能力。例如，DINOv2/DINOv3 等自监督模型空间特征强但无文本塔；CLIP/SigLIP 2 等图文模型语言对齐好但状态信息弱；MAE/VC-1 等重建模型像素保真度高但缺乏语言接口。更关键的是，**直接在图文编码器上增强状态信息会显著损害其语言对齐**（实验显示 SigLIP 2 与 CLIP 经类似精炼后语言指标下降 4–12 个百分点）。 —- ### 2. 方法：ALPS 两阶段预训练为解决上述张力，论文提出 **ALPS**（A Language-aligned, Pixel-renderable State encoder），一种基于 ViT-B/16 的视觉状态编码器，仅使用静态图像与文本，通过两阶段策略从零预训练。 #### Stage 1：建立共享的多能力表征编码器 E 将图像 x 映射为无最终归一化的 patch token z = E(x) ∈ R^(N × d) 。同一组 token 同时受四种目标监督：

L1 = L(itc) + L(cap) + w(rec) L(rec) + 0.25 L(dense)

**对比对齐 L(itc) **：对平均池化并经线性投影的图像 token 与文本编码器输出计算 InfoNCE 损失，建立全局视觉-语言关联； - **图像描述 L(cap) **：自回归解码器以图像 token 为条件生成合成标题，增强细粒度语言对齐； - **像素重建 L(rec) **：轻量级卷积解码器从 token 重建原图，采用 ell_1 、结构相似性与图像梯度损失组合； - **密集对应 L(dense) **：对随机裁剪/翻转的两视图，在对应空间位置施加 patch 级 InfoNCE 损失，显式监督局部空间关系。该阶段在 DataComp-1B 上训练，完成后保留图像编码器、文本编码器与图像投影。 #### Stage 2：跨视图自蒸馏精炼状态信息以 Stage 1 的冻结编码器为教师，可训练的学生编码器与预测器从增强视图 A （随机裁剪、光度变换）预测干净视图 B 中的标准化教师 token。 - **几何查询（Geometry Queries）**：预测器 P 为 B 中每个 patch 生成查询 q_i ，编码其在 A 中的坐标位置（正弦-余弦位置编码）以及 B 与 A 的相对尺度：

q_i = m + PE(p_i) + W_r [ ln r, (ln r)^2 ]

**损失**：仅对教师视图中中心落在学生视图 A 内的 patch 计算 MSE：
L2 = (1) / (|V| d) ∑(i ∈ V) | P(E(A), q_i) - z_i^(teacher)(B) |^2
训练完成后丢弃预测器，精炼的学生编码器即为 **ALPS**。 #### 关键架构设计：稳定的语言接口 ALPS 采用**线性投影 + 平均池化**的语言读出方式：

v = norm( (1) / (N) ∑(i=1)^N W(img) z_i )
由于线性投影与平均池化可交换，局部 patch token 的零均值更新在全局图像嵌入中可能相互抵消。这一结构使得 Stage 2 的局部空间精炼几乎不破坏语言对齐（Flickr30k I→T R@1 仅降 0.2），而 SigLIP 2（非线性注意力池化）和 CLIP（class token）在同等精炼下语言性能显著退化。 —- ### 3. 实验验证论文建立了统一评估协议，在**冻结编码器**条件下与 15 个公开模型进行系统对比： #### 核心能力评估 - **物理状态（LIBERO 状态探针）**：ALPS 的聚合相对位置误差为 **0.829**，为所有 ViT-B 编码器最低，匹配参数量 3.5 倍的 V-JEPA 2-L（0.829），且在 readout、+1s、+3s 三种设置上均为 ViT-B 最优。 - **语言对齐**：使用原生文本塔，ALPS 在 Flickr30k I→T/T→I 上达到 93.2/78.9，COCO I→T/T→I 达到 70.2/51.9，与最强图文模型差距在 2 个百分点内；ImageNet 零样本准确率 73.4。 - **像素重建**：在轻量级解码器下 ell_1 误差为 **0.120**，显著优于所有非重建专用模型（C-RADIOv3 为 0.161，SigLIP 2 为 0.264）。 #### 下游任务 - **机器人控制（LIBERO）**：冻结 ALPS token 配合原生文本塔达到 **85.5%** 平均策略成功率，为所有对比编码器最高；Stage 2 精炼将 LIBERO-Spatial 成功率从 76.8% 提升至 86.5%。 - **世界模型规划**：在 PushT（90% 成功率）、Wall（92%）与 Granular（Chamfer 距离 0.176）上达到或并列最佳。 - **状态预测**：5 步开环预测后，Stage 2 相对 Stage 1 将 PushT 预测误差降低 28%，Reacher 降低 17%，Granular 降低 13%。 - **像素渲染**：预测的未来 token 可直接解码为图像。在 PushT 大运动窗口上，ALPS 的 5 步渲染 LPIPS（0.020）优于 DINOv3（0.024）与 SigLIP 2（0.031），可直接用于视觉检查世界模型的“想象未来”。 —- ### 4. 主要贡献 - **问题形式化与统一评估**：首次将世界模型的视觉预训练定义为同时满足物理状态、语言对齐与像素重建三项能力的任务，并建立覆盖 15 个编码器的统一评测协议。 - **ALPS 预训练框架**：通过联合语言、重建、空间对应目标与跨视图自蒸馏，在静态图像与文本上预训练出统一的视觉状态编码器。 - **单一冻结表征的可行性**：证明同一组 patch token 可同时支撑状态理解、语言条件控制和像素级视觉检查，为机器人策略与世界模型提供了一个共享的视觉基础。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yanqing Liu,Letian Zhang,Chengzhi Liu,Zijun Wang,Jieru Mei,Hongliang Fei,Yuyin Zhou,Cihang Xie

Categories:

PDF URL: https://arxiv.org/pdf/2610.30120.pdf

Arxiv URL: https://arxiv.org/abs/2610.30120

Arxiv ID: 2610.30120

CoolPaper URL: https://papers.cool/arxiv/2610.30120

Published: 2026-10-23T01:56:52.429Z

Updated: 2026-10-23T01:56:52.429Z

19. DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents

Abstract:Language-model agents that run long tasks often redo work they have already done: they re-issue a tool call they made earlier and get back exactly the same observation, a step that adds no new information. We identify this failure as a loop. Loops appear natively in Qwen, Llama, and Gemini agents and become far more common once the agent’s history is compressed to fit its context window. To reduce these loops, we propose DeLoop, a self-supervised training method. DeLoop builds on a simple observation: the agent’s own rollout can provide the supervision needed to learn from its loops. We use a looping action as a negative example and the first later non-looping action in the same rollout as a positive example. DeLoop learns from these pairs through direct preference optimization and does not require task rewards, gold answers, or LLM judges. On CodeGym under compression, DeLoop reduces the share of Qwen3-8B tasks containing loops from 57.3% to 6.1%. It also uses about one third as many steps per task, with similar task success. On Qwen3-32B, DeLoop reduces loops and steps while raising task success from 37.7% to 44.8%.

中文摘要

摘要：运行长任务的语言模型代理经常会重复之前已经完成的工作：它们会重新发出之前调用过的工具请求，并得到完全相同的观察结果，这一步并未提供新的信息。我们将这种失败称为循环。循环自然出现在 Qwen、Llama 和 Gemini 代理中，一旦将代理的历史压缩以适应其上下文窗口，循环就会变得更常见。为了减少这些循环，我们提出了 DeLoop，一种自监督训练方法。DeLoop 基于一个简单的观察：代理自身的展开可以提供学习循环所需的监督。我们将循环动作作为负样本，并将同一次展开中之后的第一个非循环动作作为正样本。DeLoop 通过直接偏好优化从这些样本对中学习，不需要任务奖励、标准答案或大型语言模型评判。在 CodeGym 压缩环境下，DeLoop 将 Qwen3-8B 任务中包含循环的比例从 57.3% 降低到 6.1%。它每个任务使用的步骤约为原来的三分之一，同时保持类似的任务成功率。在 Qwen3-32B 上，DeLoop 减少了循环和步骤量，同时将任务成功率从 37.7% 提高到 44.8%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.19376 (HTTP 429)

Authors: Tianle Chen,Pushkar Singh,Ketan Todi,Biswajit Paria,Qijia He,Wenqi Wang,Yuwen Tan,Jike Zhong,Sugato Basu,Deepti Ghadiyaram,Arjun Akula

Categories:

PDF URL: https://arxiv.org/pdf/2610.19376.pdf

Arxiv URL: https://arxiv.org/abs/2610.19376

Arxiv ID: 2610.19376

CoolPaper URL: https://papers.cool/arxiv/2610.19376

Published: 2026-10-23T01:56:56.391Z

Updated: 2026-10-23T01:56:56.391Z

20. CulturalRiddles: A Multicultural Benchmark of Riddles

Abstract:As LLMs expand their language coverage, evaluating how well they understand and represent diverse cultures becomes increasingly important. However, many benchmarks remain English-centric, with limited cultural coverage and a focus on factual knowledge over its application in real-world cultural contexts. We propose CulturalRiddles, a benchmark of original, culturally grounded riddles created entirely by humans through a participatory community effort, spanning 62 cultures (45 countries, 51 languages). These riddles are deeply rooted in their respective cultures and require abductive and compositional reasoning, alongside detailed factual and social knowledge, language skills, and an understanding of culturally specific associations. We benchmark 28 LLM configurations using both automatic and large-scale human evaluation. Even frontier models achieve at most 22% accuracy in some communities. We publicly release all artifacts alongside an open contribution process to expand the benchmark’s linguistic and cultural coverage.

中文摘要

摘要：随着大型语言模型（LLM）覆盖的语言种类不断扩大，评估它们理解和呈现多样文化的能力变得越来越重要。然而，许多基准测试仍以英语为中心，文化覆盖有限，并且更注重事实知识而非其在现实文化背景中的应用。我们提出了CulturalRiddles，这是一个由人类通过社区参与式努力完全原创、具有文化根基的谜语基准，涵盖62种文化（45个国家，51种语言）。这些谜语深深植根于各自文化中，需要进行溯因和组合推理，同时还需要详细的事实和社会知识、语言能力以及对特定文化关联的理解。我们使用自动评测和大规模人工评估测试了28种LLM配置。即使是顶尖模型，在某些社区中的准确率也最多只有22%。我们公开发布了所有材料，并提供开放贡献流程，以扩展该基准的语言和文化覆盖范围。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.29968 (HTTP 429)

Authors: My Chiffon Nguyen,Tianyi Hu,Vinod Anbalagan,Henry Gagnier,Pouya Sadeghi,Farah Abdou,Tidor-Vlad Pricope,Diego MMS Oliveira,Jocelyn K D’Arcy,Madeline Smith,Oluwaseun A Ajayi,Yusser Al Ghussin,Zena Al-Khalili,Micol Altomare,Shayan Amir,Ahanaf Aziz,Bryan Chen,Ruchira Dhar,Abdellah El Mekki,Rawan Mohammed Elframawy,Akhil Eppa,Silvia Fernandez,Alex Gimei,Arya Hariharan,Christian Hoang,RamMohanRao Kadiyala,Diana Kozachek,Peerat Limkonchotiwat,Ankita Maity,Di Mo,Ayush Munot,Aylin Naebzadeh,Anastasiia Nikitina,Dina Pisarevskaya,Divas Poudel,Jebish Purbey,Md Rabius Sany Apu,Ahmad Mufli Ramadhan,Ralitza Nikolova Rizova,Diogo M. Serrano-Miranda,Vivek Gopalkrishna Silimkhan,Luis Fernando Solis Navarro,Kaiser Sun,Arya Suneesh,Manaswitha Sunkara,Tejaswi Sunkara,Jonathan E Swindell,Hanna Yukhymenko,Jingyi Zheng,Esther Adenuga,Ilia Afanasev,Wafa Aissa,Lisa Alazraki,Lauren C Altomare,Priscilla Amondi Amuok,Emile Anand,Gabriel Assis,José Matías Avalos,Silvia Lorena Avila,Zakaria Baannou,Niyati Bafna,Yash Bagla,Sarah Bahrami,Bontu F Balcha,Vanya Bannihatti Kumar,Irene Baucells,Abdumutalib Begmuratov,Naman Bhatia,Souvik Bhattacharyya,Isabel Blanco Ferreiro,Felipe Bochini,Sayuru Bopitiya,Angana Borah,Tulika Bose,Olena Bugaiova,Juliana Carvalho,Nancy F Chen,Stephy Chen,Rochelle Choenni,Jayanth Krishna Chundru,Leandro A Cossio,Nebojša Damnjanović,Ona de Gibert,Marco De Santis,Pedro Delgado,Kaustubh Dholé,Adnan El Assadi,Wesam El-Sayed,Nadine M Elframawy,Oumayma Essarhi,Naome A Etori,Reuben Chagas Fernandes,Saanidhi Pravin Gade,Javier García Gilabert,Álvaro González-Escapa,Bin Hu,Kaiyu Huang,Abderrahmane Issam,Danka Jokić,Ulugbek Khalilov,Dominik Krzemiński,Roy Ka-Wei Lee,Haichang Li,Chen Cecilia Liu,Zhengyuan Liu,Cedric Lothritz,Houman Mehrafarin,Antonio Miranda-Escalada,Fengran Mo,Mehrnaz Mofakhami,Wafaa Mohammed,Felipe Moreno-Vera,Prahitha Movva,Jannatul Nayem,Van Ngo,Joy Olusanya,Marc Pàmies,Avinash Kuney Pandey,Yurii Paniv,Fred Philippy,Vladislav Poritski,Dikshya Poudel,Joanna Radoła,Sara Rajaee,Swati Rajwal,Prerana Rane,Muhammad Ravi Shulthan Habibi,Lucas Resck,Shubhashis Roy Dipta,Ananya Sahu,Eduardo Sánchez,Borja Sánchez Clemente,Aleix Sant,Nobin Sarwar,Istiak Shihab,Santhoshini Pranathi Singaraju,Jane Smith,David Stap,Emily Z Su,Ananth K Suresh,Sajag Swami,Ruiyang Tan,Nazia Tasnim,Khalid Tounoussi,Patteera Triamamornwooth,Muhammad Saad Umar,Shankar Venkitachalam,Oksana Volchek,Lingbo Wang,Debela Desalegn Yadeta,Rushikesh Zawar,Jinghan Zhang,Mike Zhang,Weihua Zheng,Marzieh Fadaee,Akhil Arora,Károly Boczka,Julia Kreutzer,et al. (58 additional authors not shown)

Categories:

PDF URL: https://arxiv.org/pdf/2610.29968.pdf

Arxiv URL: https://arxiv.org/abs/2610.29968

Arxiv ID: 2610.29968

CoolPaper URL: https://papers.cool/arxiv/2610.29968

Published: 2026-10-23T01:56:56.926Z

Updated: 2026-10-23T01:56:56.926Z

HuggingFace Papers 2026-10-23

Latest Papers

1. StreamEval: Evaluating Interactive Streaming Video Generation Models

2. SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?

3. DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

4. Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation

5. Cache Engineering for Agents

6. Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

7. Spectral-Spatial Interpretation

8. Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

9. PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis

10. Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

11. Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills

12. Retrieval Augmented Generation Compositionality

13. AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

14. PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

15. TraceForge: Distilling with Your Own Thinking

16. Memory-Centric Continual Learning for AI Agents

4.2 参数记忆扩展 参数化记忆因写入共享权重而产生特有的**负载干扰（load-induced interference）**。其扩展关系引入负载比 rho_t = I(E_t)/(kappa M) ：

17. Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use

18. ALPS: Visual State Encoders for World Models

19. DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents

20. CulturalRiddles: A Multicultural Benchmark of Riddles

4.2 参数记忆扩展参数化记忆因写入共享权重而产生特有的负载干扰（load-induced interference）。其扩展关系引入负载比 rho_t = I(E_t)/(kappa M) ：