HuggingFace Papers 2026-10-17

数据来源：HuggingFace Papers

Latest Papers

Abstract:With the rapid development of multimodal large language models (MLLMs), evaluating their video understanding capabilities has become increasingly important. Existing video understanding benchmarks cover only part of the evaluation dimensions, limiting systematic diagnosis of omni-modal video understanding. We introduce OmniCompass, a holistic benchmark for omni-modal video grounding and understanding. OmniCompass defines two evaluation tracks: OmniCompass-VL assesses vision-language models on tasks requiring visual evidence, while OmniCompass-AV assesses omni-modal models on tasks requiring joint audio-visual evidence. Each track includes three complementary tasks: temporal grounding (TG), spatial grounding (SG), and question answering (QA), assessing when a referenced target appears, where it is, and what happens. QA covers five perception and three reasoning categories in OmniCompass-VL, and three perception and two reasoning categories in OmniCompass-AV. OmniCompass-VL contains 820 videos and 2,460 instances across domains and three duration types: short, medium, and long. A narrative- and audio-rich subset forms OmniCompass-AV with 240 videos and 720 instances. Each instance is evaluated under two paired settings: text-only and text+image, specifying the same target through text and visual-language guidance. All instances are manually annotated with multi-round quality verification. Evaluations of 50 MLLMs show that open-source models still lag behind proprietary counterparts, particularly in audio-visual understanding. Precise temporal and spatial grounding remains challenging even for leading models, and their predictions still exhibit inconsistencies across the paired target specifications.

中文摘要

摘要：随着多模态大型语言模型（MLLMs）的快速发展，评估其视频理解能力变得越来越重要。现有的视频理解基准仅涵盖部分评估维度，限制了对全模态视频理解的系统诊断。我们提出了 OmniCompass，这是一种针对全模态视频定位与理解的整体性基准。OmniCompass 定义了两个评估轨道：OmniCompass-VL 用于评估基于视觉-语言模型在需要视觉证据的任务表现，而 OmniCompass-AV 用于评估全模态模型在需要联合音视频证据的任务表现。每个轨道包括三个互补任务：时间定位（TG）、空间定位（SG）和问答（QA），分别用于评估参考目标何时出现、在哪里以及发生了什么。QA 在 OmniCompass-VL 中涵盖五类感知和三类推理，在 OmniCompass-AV 中涵盖三类感知和两类推理。OmniCompass-VL 包含 820 个视频和 2,460 个实例，覆盖不同领域和三种时长类型：短时、中时和长时。一个叙事性和音频丰富的子集形成了 OmniCompass-AV，包含 240 个视频和 720 个实例。每个实例在两种配对设置下进行评估：仅文本与文本+图像，通过文本和视觉-语言指导指定相同目标。所有实例均经过多轮人工质量验证。对 50 个 MLLM 进行评估显示，开源模型在性能上仍落后于专有模型，尤其在音视频理解方面。即便是领先模型，在精确的时间和空间定位仍然是一大挑战，其预测结果在配对目标规格之间仍存在不一致性。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决现有视频理解基准测试在系统评估多模态大语言模型（MLLMs）全模态视频定位与理解能力方面的不足。具体而言，现有基准存在以下三个核心局限： - \*\*视频证据覆盖有限\*\* 现有基准通常仅评估基于视觉内容的理解（如外观、运动、时间关系），或仅评估需要同步原生音视频证据的任务，缺乏一个统一框架来同时覆盖纯视觉证据与联合音视频证据两种设置，无法全面诊断模型在不同证据条件下的表现。 - \*\*目标规范方式不灵活且不可比\*\* 大多数基准仅使用文本查询来指定目标，而少量结合图像的基准（如IV-Bench）并未在\*\*同一目标\*\*下成对评估"纯文本（Text）"与"文本+图像（Text+Image）"两种规范方式，因此无法衡量模型在不同指代模态下对同一目标的理解一致性。 - \*\*任务覆盖碎片化\*\* 现有基准大多只关注问答（QA）或 grounding 任务中的某一类，且音视频基准很少涵盖时空定位任务。这导致无法联合评估模型在\*\*时间定位（TG）\*\*、\*\*空间定位（SG）\*\*和\*\*问答（QA）\*\*上的综合能力，难以区分模型在时间检索、空间定位和语义理解上的具体失效模式。为应对上述问题，论文提出了 \*\*OmniCompass\*\*，一个整体性的全模态视频定位与理解基准。该基准通过以下设计实现对MLLMs的系统诊断： 1. \*\*双轨评估\*\*：OmniCompass-VL（视觉证据）与 OmniCompass-AV（联合音视频证据）； 2. \*\*成对目标规范\*\*：每个实例均在Text与Text+Image两种设置下评估同一目标； 3. \*\*统一任务覆盖\*\*：每个视频均包含TG、SG、QA三类互补任务； 4. \*\*跨规范一致性度量\*\*：引入Cross-Specification Consistency Scores（CS），联合评估任务正确性与跨设置预测一致性。 Q2: 有哪些相关研究？相关研究可分为\*\*多模态大语言模型（MLLMs）的视频理解能力发展\*\*与\*\*视频理解基准测试\*\*两大主线。 ### 1. 多模态大语言模型用于视频理解现有MLLMs通过连接多模态编码器与语言模型，实现跨模态感知与推理，主要技术路线包括： - \*\*统一图像-视频建模与指令微调\*\* - \*\*LLaVA系列\*\*（LLaVA-OneVision、LLaVA-Video、LLaVA-OneVision-2）通过统一架构处理图像与视频，利用合成字幕与问答数据进行视频指令微调，并引入原生分辨率视觉编码与codec-aware token压缩以支持长视频。 - \*\*VideoLLaMA3\*\*与\*\*InternVL3.5\*\*则通过强化视频训练与推理能力提升整体表现。 - \*\*长上下文与全模态处理\*\* - \*\*Qwen3-VL\*\*通过时间对齐机制改进长上下文视频理解。 - \*\*Qwen3-Omni\*\*进一步联合处理视觉、音频与语言模态，实现原生全模态输入。 - \*\*Keye-VL-2.0\*\*采用DSA机制进行高效长上下文处理，并通过跨模态MOPD整合任务专用能力。 - \*\*时间定位专门化\*\* - \*\*TimeLens\*\*与\*\*TimeLens2\*\*通过交错时间戳与强化学习改进时序定位，并扩展至多区间监督与Wasserstein时间奖励，以提升细粒度时间推理。 - \*\*智能体与工具增强推理\*\* - 近期工作探索基于工具调用的视频推理框架（如\*\*LongVT\*\*、\*\*ParaVT\*\*、\*\*OmniReasoner\*\*、\*\*Open-o3-Video\*\*），使模型能够选择性获取任务相关的视觉与音频证据。 ### 2. 视频理解基准测试现有基准按四个设计维度各有侧重，但均未能系统覆盖全模态视频定位与理解： - \*\*目标规范（Target Specification）\*\* - 绝大多数基准仅使用文本查询指定目标（如\*\*Video-MME\*\*、\*\*TempCompass\*\*、\*\*MVBench\*\*、\*\*LongVideoBench\*\*）。 - \*\*IV-Bench\*\*首次引入"文本+参考图像"的联合规范，但未在同一目标下成对评估两种设置。 - \*\*视频证据（Video Evidence）\*\* - \*\*纯视觉证据\*\*：\*\*Charades-STA\*\*、\*\*VidSTG\*\*、\*\*HC-STVG\*\*、\*\*QVHighlights\*\*、\*\*EgoSchema\*\*、\*\*MLVU\*\*、\*\*CG-Bench\*\*等侧重于视觉内容（外观、运动、时间关系）的理解。 - \*\*音视频联合证据\*\*：\*\*WorldSense\*\*、\*\*JointAVBench\*\*、\*\*Video-MME-v2\*\*、\*\*Daily-Omni\*\*、\*\*AVUT\*\*等要求模型利用同步的原生音频与视觉内容。 - \*\*任务覆盖（Task Coverage）\*\* - \*\*问答（QA）为主\*\*：\*\*TVQA\*\*、\*\*NExT-QA\*\*、\*\*ActivityNetQA\*\*、\*\*Video-MME\*\*等侧重于语义回答。 - \*\*定位（Grounding）为主\*\*：\*\*Charades-STA\*\*（时序定位）、\*\*HC-STVG\*\*（时空联合定位）、\*\*OmniGround\*\*（时空联合）等要求显式证据定位。 - \*\*统一任务\*\*：\*\*V-STaR\*\*同时评估TG、SG与QA，但仅覆盖视觉模态且未引入成对目标规范。 - \*\*视频时长（Video Duration）\*\* - \*\*短视频基准\*\*（如\*\*MVBench\*\*、\*\*TempCompass\*\*、\*\*MotionBench\*\*）强调局部动作与细粒度时序动态。 - \*\*长视频基准\*\*（如\*\*LongVideoBench\*\*、\*\*MLVU\*\*、\*\*LVBench\*\*）侧重长程依赖与跨时间 distant 事件的信息整合。 ### 3. 现有局限与 OmniCompass 的定位现有工作的核心不足在于：各基准仅覆盖上述维度中的部分组合，缺乏一个统一框架来\*\*在同一样本、同一目标下\*\*，系统评估模型在\*\*文本/图文目标规范\*\*、\*\*视觉/音视频证据\*\*、\*\*时序定位/空间定位/问答任务\*\*以及\*\*不同视频时长\*\*上的联合表现。OmniCompass 通过引入成对（Text vs. Text+Image）设置、双证据轨道（VL/AV）与跨规范一致性度量（CS），填补了上述碎片化评估的空白。 Q3: 论文如何解决这个问题？论文通过提出 \*\*OmniCompass\*\* 这一整体性基准测试框架，从以下四个维度系统性地解决了现有基准的局限性： ### 1. 互补的视频证据覆盖：建立双轨评估体系为突破现有基准仅评估单一证据模态的限制，OmniCompass 定义了两个评估轨道： - \*\*OmniCompass-VL\*\*：评估视觉-语言模型，任务仅依赖\*\*视觉证据\*\*即可解答； - \*\*OmniCompass-AV\*\*：评估全模态模型，任务需要\*\*联合音视频证据\*\*（原生音频与同步视觉内容）才能解答。两个轨道共享同一组目标规范与任务契约，但通过控制输入模态（是否包含音频）来分别诊断模型的视觉理解与全模态音视频整合能力。 ### 2. 灵活且可比的目标规范：成对的 Text 与 Text+Image 设置针对现有基准目标规范方式单一或无法直接比较的问题，OmniCompass 对\*\*每一个评估实例\*\*均构造了成对的两种设置： - \*\*Text\*\*：仅使用文本描述指定目标（例如："穿着33号球衣的美国队球员何时完成扣篮？"）； - \*\*Text+Image\*\*：使用简化文本配合参考图像共同指定同一目标（例如："参考图像中的球员何时完成扣篮？"，其中图像用于解析指代对象）。两种设置共享相同的视频、目标实体、任务语义与 Ground Truth，从而实现了对同一目标的跨模态规范进行严格对照。为量化模型在此条件下的表现，论文引入了\*\*跨规范一致性分数（Cross-Specification Consistency Scores, CS）\*\*，联合度量任务正确性与跨设置预测的一致性。 ### 3. 统一的任务覆盖：整合 TG、SG 与 QA 为解决任务覆盖碎片化的问题，OmniCompass 在每个轨道中对每个视频均统一提供三类互补任务： - \*\*时间定位（Temporal Grounding, TG）\*\*：回答目标\*\*何时\*\*出现，预测时间区间； - \*\*空间定位（Spatial Grounding, SG）\*\*：回答目标\*\*在何处\*\*，在区间起止边界框定目标位置； - \*\*问答（Question Answering, QA）\*\*：回答\*\*发生了什么\*\*，覆盖感知类（如事实识别、动作识别、属性感知等）与推理类（如时序推理、因果推理等）问题。这种设计使得能够联合诊断模型在时间检索、空间定位与语义理解上的具体失效模式，而非被单一任务的高分所掩盖。 ### 4. 严谨的多样化数据构建与诊断协议 - \*\*多轮质量验证的标注流程\*\*：整个构建过程耗费约 1,800 人工小时，包括专家指导的标注员培训、试点校准、独立成对标注、交叉验证、专家仲裁与最终审核，确保 TG/SG 标签的精确性与 QA 的证据 grounded 性。 - \*\*丰富的内容与时域分布\*\*：OmniCompass-VL 包含 820 段视频（覆盖 7 个领域、52 个子类别），总时长 80.6 小时，涵盖短（< 90s）、中（90–300s）、长（≥ 300s）三种时长；其中 240 段叙事与音频丰富的视频构成 OmniCompass-AV。 - \*\*系统性的模型诊断\*\*：通过对 50 个 MLLMs 的评估，OmniCompass 不仅揭示了开源模型在音视频理解上与闭源模型的显著差距，还精确识别出：即使领先的模型在 TG 和 SG 任务上表现仍然薄弱；Text+Image 参考并非对所有模型都有增益；以及时间戳提示与音频模态对特定任务的差异化影响。这些发现为后续模型在跨模态对齐与音频感知定位方面的改进指明了方向。 Q4: 论文做了哪些实验？论文围绕提出的 OmniCompass 基准开展了一系列系统性实验，涵盖主性能对比、细粒度分析、消融实验与定性验证。以下按实验模块梳理： --- ### 1. 主实验：大规模模型评估在 \*\*OmniCompass-VL\*\* 与 \*\*OmniCompass-AV\*\* 两个轨道上，共评估了 \*\*50 个 MLLMs\*\*（含闭源与开源模型），每个模型均在 \*\*Text\*\* 与 \*\*Text+Image\*\* 两种目标规范设置下测试 \*\*TG（时序定位）、SG（空间定位）、QA（问答）\*\* 三项任务。 - \*\*OmniCompass-VL（视觉证据轨道）\*\*（Table 2）评估 36 个视觉-语言模型。以 CSAvg = (1) / (3)(CS_(TG) + CS_(SG) + CS_(QA)) 综合评价，\*\*Gemini-3.8-Flash\*\* 达到最高的 42.8% ，开源最优为 \*\*Kimi-K3\*\* 的 39.6% 。关键发现： - 定位与细粒度感知显著落后于推理： 29/36 的模型 CS_(QA) > 50% ，但最佳 CS_(TG) 仅 27.1% ，最佳 CS_(SG) 仅 34.9% ； - 视觉参考图像仅对 11/36 个模型带来平均性能增益，且主要集中在闭源模型与定位任务； - 跨规范一致性差距普遍： CS 平均比较低单设置分数低 4.3% – 6.4% 。 - \*\*OmniCompass-AV（音视频证据轨道）\*\*（Table 3）评估 17 个全模态模型。\*\*Gemini-3.8-Flash\*\* 以 CSAvg=57.4% 领先，开源最优 \*\*MiMo-V2.5\*\* 仅 24.6% 。关键发现： - 时序定位与推理仍是瓶颈：例如 \*\*Qwen3.8-Omni-Flash\*\* 的 CS_(QA) 达 73.2% ，但 CS_(TG) 仅 21.8% ； - 开源模型在\*\*音视频事件绑定\*\*（Event Understanding）上差距最大，达 38.9% ； - 加入参考图像对 12/17 个模型提升 SG 与 QA，但对 TG 仅 5/17 有效。 - \*\*细粒度 QA 类别分析\*\*（Figure 5）按感知类（事实识别、动作识别、属性感知等）与推理类（时序推理、因果推理等）拆解 CS_(QA) 。 VL 上，Visual Counting 对所有模型均为最弱类别（ 26.4% – 48.1% ）；AV 上，Temporal Reasoning 对多数模型最难，而 Causal Reasoning 表现最优（ 74.3% – 94.3% ）。 --- ### 2. 核心机制分析实验 #### 2.1 帧级时间戳的影响在 VL 与 AV 轨道上选取 5 个模型-轨道组合，比较\*\*带时间戳\*\*与\*\*不带时间戳\*\*的输入（Figure 6）。 - 时间戳在 14/15 个任务级比较中带来提升；VL 上平均 CSAvg 提升 6.5% （TG 获益最大，如 Gemini-3.8-Flash 的 CS_(TG) 提升 18.3% ）；AV 上平均提升 4.9% ，QA universally 提升 0.7% – 5.9% 。 - 结论：时间戳有助于模型将采样帧与时间位置对齐，尤其改善时序定位。 #### 2.2 输入模态的影响（AV 轨道）对 4 个全模态模型，在匹配样本上比较三种输入：\*\*Text-only\*\*（仅文本，无媒体）、\*\*Vision\*\*（视频帧+文本）、\*\*Vision+Audio\*\*（视频帧+音频+文本）（Figure 7）。 - \*\*Vision+Audio\*\* 相比 \*\*Vision\*\*： CS_(QA) 提升 18.6% – 28.1% （平均 22.9% ）； CS_(TG) 因模型而异（Gemini-3.8-Flash 提升 29.4% ，MiMo-V2.5 下降 1.5% ）； CS_(SG) 变化有限（ -0.4% 至 +1.8% ）。 - 结论：音频对问答任务 consistently 有益，但对时序定位的增益具有模型依赖性。 --- ### 3. 附加诊断实验（Appendix） #### 3.1 视频时长的影响（Figure A1）在 VL 上对比 10 个模型在短（<90s）、中（90–300s）、长（≥300s）视频的表现。 - 所有模型在长视频上的 CS_(TG) 均低于短视频；SG 与 QA 的时长趋势则不一致。 #### 3.2 目标粒度的影响（Figure A2）按目标持续时间与边界框面积的四分位数分析定位性能。 - TG：所有模型随目标相对时长增加而单调提升； - SG：VL 模型在大目标组表现最佳，AV 模型则在第三四分位最佳，暗示音频-视觉空间定位的粒度敏感性与纯视觉不同。 #### 3.3 视频领域的影响（Figure A3）在 VL 的 7 个领域上比较 10 个模型。 - Traffic 领域的 CS_(SG) （平均 7.8% ）与 CS_(QA) （平均 37.3% ）均为最低；Variety 的 CS_(TG) 最低但 CS_(SG) 最高。 #### 3.4 帧数缩放的影响（Figure B1）在 8/16/32/64/128 帧条件下测试 3 个模型。 - VL 上，三任务均随帧数显著增加（如 Gemini-3.8-Flash 的 CS_(TG) 从 8 帧的 12.8% 提升至 128 帧的 35.0% ）； - AV 上，SG 与 QA 仍显著受益，但 TG 几乎不变，推测音频已提供充分时序线索。 #### 3.5 参考规范类型的影响（Figure B2）按参考图像类型（Entity / Action / Attribute / Scene）拆解 Text+Image 相对 Text 的差异。 - Action 条件下，多数模型的 TG 与 SG 受益于图像，但 QA 准确率常下降；Entity 与 Attribute 的影响则因模型与任务而异。 #### 3.6 跨规范一致性分析（Figure B3）量化 TG、SG 的 CS 与单设置最低分的差距，以及 QA 中“仅单设置正确”的比例。 - TG 与 SG 的 CS 分别平均低于单设置最低分 5.0% 与 5.7% ； - QA 中 10.5% – 25.1% Q5: 有什么可以进一步探索的点？基于论文的实验发现与基准设计，以下从\*\*模型能力增强、评估体系扩展、数据构建与应用落地\*\*三个层面，梳理可进一步探索的研究方向。 --- ### 一、模型架构与训练策略的改进 1. \*\*音频-视觉事件绑定机制\*\* 论文指出开源模型在 OmniCompass-AV 的 Event Understanding 上较闭源模型差距达 38.9% ，且音频对 TG 的增益具有模型依赖性。未来可探索： - 针对原生音频流的\*\*预对齐表征学习\*\*，强化音视频中实体、动作与语义的细粒度关联； - 设计\*\*音频感知的时序定位头\*\*，利用声学事件（如击球声、爆炸声）辅助时间边界预测，弥补纯视觉采样的时序模糊性。 2. \*\*跨模态指代消解与一致性学习\*\* 实验表明 Text+Image 仅对 11/36 个 VL 模型带来平均增益，且跨规范一致性（CS）普遍低于单设置最优分数。可探索： - \*\*多规范联合训练\*\*：在训练阶段即引入同一目标的文本与图像指代，通过对比损失强制模型在不同模态规范下输出一致； - \*\*指代强化微调\*\*：利用 OmniCompass 的成对数据，显式优化模型将参考图像中的视觉特征与视频时空 evidence 对齐的能力。 3. \*\*长视频精细时空定位\*\* 长视频（ ge 300s ）的 TG 性能普遍下降，而现有模型多依赖均匀帧采样。可研究： - \*\*稀疏-密集混合采样策略\*\*：结合全局关键帧与局部高帧率片段，平衡长程上下文与细粒度动作捕捉； - \*\*事件驱动的动态记忆机制\*\*：针对长视频中远距依赖的时序推理，设计基于外部记忆或层级时间编码的架构。 --- ### 二、评估体系与诊断方法的深化 4. \*\*更细粒度的错误归因分析\*\* 当前 CS 指标揭示了不一致现象，但未深入诊断其根源。可进一步： - 建立\*\*错误模式分类体系\*\*（如目标识别错误、时间边界漂移、空间框目标漂移、幻觉等），量化各类错误在 Text vs. Text+Image 下的分布差异； - 开发\*\*自动化诊断工具\*\*，通过介入式探测（如遮罩参考图像的局部区域、替换音频轨道）定位模型的脆弱模态。 5. \*\*扩展目标规范与任务复杂度\*\* OmniCompass 目前使用静态参考图像与文本。可探索更复杂的指代形式： - \*\*多图指代\*\*或\*\*视频片段指代\*\*（video snippet reference），评估模型对动态外观与上下文的学习能力； - \*\*草图、点、mask 等弱监督指代\*\*，降低人工图像收集成本并测试模型的泛化性； - \*\*开放式生成任务\*\*：在 TG/SG/QA 之外加入视频描述生成或证据链生成，评估模型的可解释性。 6. \*\*引入额外模态与证据源\*\* 当前 AV 轨道聚焦原生音频与视觉。可引入： - \*\*字幕与 OCR\*\*：评估文本线索与音视频 evidence 的冲突消解能力； - \*\*深度、光流、多视角\*\*：构建更全面的全模态（omni-modal）理解基准，测试模型对物理空间与运动几何的感知。 --- ### 三、数据构建与领域迁移 7. \*\*半自动化数据扩展管线\*\* 论文标注耗费约 1,800 人工小时，限制了规模扩展。可探索： - \*\*强模型辅助生成 + 专家校准\*\*：利用当前最优闭源模型自动生成候选 TG/SG/QA 标签与 distractors，再通过人机协同验证降低标注成本； - \*\*动态基准（living benchmark）\*\*：建立持续更新机制，防止模型过拟合与数据泄漏。 8. \*\*领域专用子基准与下游应用\*\* OmniCompass 覆盖体育、交通、新闻等 7 大领域，但各领域内可进一步深挖： - \*\*体育战术分析\*\*：要求模型基于 TG/SG 输出进行多步因果推理； - \*\*新闻事实核查\*\*：利用 AV 轨道中的语音与画面一致性，检测篡改或断章取义； - \*\*自主监控与机器人导航\*\*：将空间定位任务从 2D 框扩展到 3D 占据或 egocentric 坐标系。 9. \*\*面向高效部署的轻量级模型研究\*\* 论文显示大量开源小模型（如 7B–8B）在 grounding 任务上接近失效（部分 SG 的 CSSG 低于 5% ）。可研究： - \*\*面向边缘设备的模态选择策略\*\*：根据任务类型（TG vs. SG vs. QA）动态启用/禁用音频或高分辨率视觉编码； - \*\*蒸馏与适配器设计\*\*：将闭源大模型的音视频对齐能力蒸馏到轻量级开源架构中，缩小 CSAvg 上 32.8% 的 AV 轨道差距。 Q6: 总结一下论文的主要内容论文介绍了 \*\*OmniCompass\*\*，一个面向全模态视频定位与理解的整体性基准测试框架。以下从研究背景、核心问题、基准设计、实验发现与结论五个方面进行总结。 --- ### 1. 研究背景与动机随着多模态大语言模型（MLLMs）的快速发展，对视频理解能力的系统评估变得日益重要。现有基准测试大多仅在部分评估维度上进行覆盖，难以对模型的\*\*全模态视频定位与理解\*\*能力进行统一诊断。具体而言，人类在感知过程中会综合利用语言或视觉线索来识别目标，并在时空维度上整合视觉与听觉证据以形成判断，而现有基准无法系统评估MLLMs在这一完整流程中的表现。 --- ### 2. 现有基准的三大局限论文首先剖析了当前视频理解基准的不足： - \*\*视频证据覆盖有限\*\*：现有基准通常仅评估基于纯视觉内容的理解，或仅评估需要同步原生音视频的任务，缺乏在同一框架下对两种证据条件的联合覆盖。 - \*\*目标规范方式不灵活且不可比\*\*：多数基准仅使用文本指定目标；少数结合图像的基准也未在\*\*同一目标\*\*下成对评估“纯文本（Text）”与“文本+图像（Text+Image）”两种规范，无法衡量模型在不同指代模态下的一致性。 - \*\*任务覆盖碎片化\*\*：现有基准往往只聚焦于问答（QA）或时空定位（Grounding）中的某一类任务，且音视频基准极少涵盖显式的时序定位（TG）与空间定位（SG），导致无法区分模型在时间检索、空间定位与语义理解上的具体失效模式。 --- ### 3. OmniCompass 基准设计为应对上述局限，论文提出了 OmniCompass，其核心设计围绕四个维度展开： #### （1）双轨评估体系 - \*\*OmniCompass-VL\*\*：评估视觉-语言模型，任务仅依赖视觉证据即可解答。 - \*\*OmniCompass-AV\*\*：评估全模态模型，任务需要联合视觉与\*\*原生音频\*\*证据才能解答。 #### （2）成对目标规范设置每个评估实例均包含两种设置，针对\*\*同一目标\*\*： - \*\*Text\*\*：仅通过文本描述指定目标（如“穿着33号球衣的美国队球员何时完成扣篮？”）。 - \*\*Text+Image\*\*：通过简化文本配合参考图像共同指定同一目标（如“参考图像中的球员何时完成扣篮？”）。两种设置共享相同的视频、目标实体、任务语义与真实标注（Ground Truth）。 #### （3）统一任务覆盖每个视频均统一提供三类互补任务： - \*\*时序定位（Temporal Grounding, TG）\*\*：预测目标事件发生的时间区间； - \*\*空间定位（Spatial Grounding, SG）\*\*：在指定时间区间的起止边界框定目标位置； - \*\*问答（Question Answering, QA）\*\*：回答与目标相关的感知类或推理类问题。其中，VL 轨道覆盖 5 类感知与 3 类推理任务；AV 轨道覆盖 3 类感知与 2 类推理任务。 #### （4）跨规范一致性度量论文引入了\*\*跨规范一致性分数（Cross-Specification Consistency Scores, CS）\*\*，联合度量模型在成对设置下的任务正确性与预测一致性： - 对于 TG：

CS(TG) = (1) / (N(textTG)) ∑(i=1)^(N(TG)) mingi^(T), g_i^(TI), a_i
其中 g_i^(T) 、 g_i^(TI) 分别为 Text 与 Text+Image 设置下预测区间与真实区间的 tIoU， a_i 为两种设置预测区间的 tIoU。 - 对于 SG：
CS(SG) = (1) / (2N(textSG)) ∑(i=1)^(N(SG)) ∑(k ∈ s,e) ming(i,k)^(T), g(i,k)^(TI), a_(i,k)

对于 QA：
CS(QA) = (1) / (N(textQA)) ∑(i=1)^(N(QA)) 1y_i^(T) = y_i^(TI) = y_i
（5）数据规模与质量 - **OmniCompass-VL**：820 段视频，2,460 个任务实例，覆盖 7 个领域、52 个子类别，总时长 80.6 小时，涵盖短（< 90s）、中（90–300s）、长（ ge 300s）三种时长。 - **OmniCompass-AV**：从上述视频中选取 240 段音视频丰富的视频，构成 720 个任务实例。 - 全部数据经过约 **1,800 人工小时**的标注员培训、试点校准、独立成对标注、交叉验证、专家仲裁与多轮质量审核。 —- ### 4. 主要实验发现论文对 **50 个 MLLMs**（包括闭源与开源模型）进行了系统评估，核心发现如下： - **闭源模型显著领先，尤其在音视频理解**： - VL 轨道上，**Gemini-3.8-Flash** 的 CSAvg 达到 42.8% ，开源最优 **Kimi-K3** 为 39.6% 。 - AV 轨道上，**Gemini-3.8-Flash** 以 57.4% 领先，而开源最优 **MiMo-V2.5** 仅为 24.6% ，差距高达 32.8% 。 - **定位任务显著难于问答**： - 36 个 VL 模型中 29 个的 CS(QA) > 50% （最高 69.1% ），但最佳 CS(TG) 仅 27.1% ，最佳 CS_(SG) 仅 34.9% 。 - 精细感知（如 Visual Counting）与音频-视觉事件绑定（Event Understanding）对多数模型仍极具挑战性。 - **视觉参考图像的增益具有任务与模型依赖性**： - Text+Image 仅对 36 个 VL 模型中的 11 个带来平均性能提升，且主要集中在闭源模型与定位任务；部分模型在 QA 上甚至出现下降。 - **跨规范一致性差距普遍存在**： - 模型的 CS 分数普遍低于其在单一设置下的最优分数（TG 平均低 4.3% ，SG 低 4.6% ，QA 低 6.4% ），表明即使单设置准确率相近，模型在不同指代模态下对同一实例的预测仍缺乏稳定性。 - **时间戳与音频模态具有显著影响**： - 在视频帧前附加时间戳可在 14/15 个任务级比较中提升性能，VL 上 CSAvg 平均提升 6.5% ； - 在 AV 轨道上，加入原生音频使 QA 的 CS 平均提升 22.9% ，但对 SG 的增益有限，对 TG 的增益因模型而异。 —- ### 5. 结论与展望 OmniCompass 通过统一的双轨、成对目标规范与三类互补任务，为 MLLMs 的全模态视频定位与理解提供了系统性的诊断框架。评估结果表明，当前模型在**精细时空定位、跨模态指代一致性、音频-视觉事件绑定**等方面仍存在显著不足。未来研究需在跨模态对齐、音频感知的时空定位以及长视频推理机制等方面进行加强，以推动更可靠的 omni-modal video understanding 发展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xuyang Liu,Shihao Wang,Xinyu Wei,Minghan Li,Zeqing Wang,Zuhao Yang,Zichen Wen,Lei Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.18829.pdf

Arxiv URL: https://arxiv.org/abs/2610.18829

Arxiv ID: 2610.18829

CoolPaper URL: https://papers.cool/arxiv/2610.18829

Published: 2026-10-17T01:32:07.789Z

Updated: 2026-10-17T01:32:07.789Z

2. Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

Abstract:Policy-shift distillation reuses the difference between a teacher’s log probabilities before and after reinforcement learning (RL) as supervision on student-generated trajectories. However, this endpoint policy shift cannot reveal whether local action preferences evolved consistently during teacher training. The same endpoint shift can result from early and late shifts that reinforce or partially cancel each other. We investigate whether agreement between early and late teacher policy shifts can guide selective transfer. We introduce Waypoint-guided On-Policy Distillation (Waypoint-OPD), which uses an intermediate teacher checkpoint from the same RL run to compare early and late shifts in relative action preferences at student-visited prefixes. We gate the endpoint shift according to the directional agreement between the early and late shifts, suppressing it when they point in opposing directions. Compared with endpoint-only transfer, our method requires only one additional frozen-teacher scoring pass. Using RL-trained Qwen3-4B teachers, we evaluate our method with Qwen3-8B, Qwen3-14B, and Qwen3-30B-A3B as student models in mathematical and code reasoning. In all six domain—student settings, Waypoint-OPD achieves the highest domain-average score among the compared distillation methods. Ablations with the Qwen3-8B student show that removing or shuffling gates reduces mathematical reasoning performance. These results support the use of directional agreement between early and late teacher policy shifts to weight the endpoint shift during student training.

中文摘要

摘要：策略迁移蒸馏利用教师在强化学习（RL）前后日志概率的差异，作为对学生生成轨迹的监督。然而，这种终点策略变化无法揭示在教师训练过程中局部动作偏好是否一致地演变。相同的终点变化可能源自早期和晚期的变化，这些变化相互增强或部分抵消。我们研究早期和晚期教师策略变化之间的一致性是否可以指导选择性迁移。我们提出了基于路径点的在策略蒸馏（Waypoint-guided On-Policy Distillation, Waypoint-OPD），它使用来自同一次RL训练的中间教师检查点，在学生访问的前缀上比较早期和晚期动作偏好的变化。我们根据早期和晚期变化的方向一致性来调节终点变化，在它们指向相反方向时进行抑制。与仅使用终点迁移相比，我们的方法只需额外一个冻结教师评分步骤。使用RL训练的Qwen3-4B教师，我们在数学和代码推理任务中将Qwen3-8B、Qwen3-14B和Qwen3-30B-A3B作为学生模型评估我们的方法。在所有六个领域-学生设置中，Waypoint-OPD在比较的蒸馏方法中均实现了最高的领域平均分。使用Qwen3-8B学生进行的消融实验表明，移除或打乱门控会降低数学推理性能。这些结果支持在学生训练中利用早期和晚期教师策略变化的方向一致性来加权终点变化。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*端点策略偏移蒸馏（endpoint policy-shift distillation）中局部演化信息缺失\*\*的问题。具体而言： - \*\*现有方法的局限\*\*：诸如 Direct-OPD 等方法仅使用教师模型在强化学习（RL）前后的两个端点检查点（Initial 与 Final）计算对数概率差异，以此作为学生模型生成轨迹上的监督信号。然而，这种端点偏移无法揭示教师策略在 RL 训练过程中局部动作偏好的演化是否一致。相同的端点差异可能源于早期与晚期变化相互强化，也可能源于二者部分抵消，端点信号本身无法区分这两种情形。 - \*\*核心假设\*\*：论文假设，教师 RL 轨迹中\*\*早期偏移与晚期偏移之间的方向一致性\*\*可作为选择性迁移的依据——当连续阶段的相对偏好变化方向一致时，端点信号更可靠；当二者方向相悖时，则应抑制该信号。 - \*\*提出的方案\*\*：为此，论文引入 \*\*Waypoint-guided On-Policy Distillation（Waypoint-OPD）\*\*，利用同一 RL 运行中的中间检查点（Waypoint）比较学生访问前缀上早期（Initial→Waypoint）与晚期（Waypoint→Final）的相对动作偏好变化。通过计算两段偏移的加权方向一致性（余弦相似度）来门控端点信号：对齐时保留，反向时抑制。该方法仅需一次额外的冻结教师评分前向传播，无需额外的教师训练或验证器调用。简言之，论文旨在通过\*\*中间检查点提供的时序一致性证据\*\*，解决端点偏移蒸馏中因忽略局部策略演化方向而导致的监督信号质量不佳问题，从而提升 RL 诱导策略偏移向更大规模学生模型迁移的效果。 Q2: 有哪些相关研究？根据论文第6节及相关章节，与该研究直接相关的文献可归纳为以下三个方向： ### 1. 在线策略蒸馏与策略偏移迁移（On-policy distillation and policy-shift transfer） - \*\*标准在线策略蒸馏（OPD）\*\*：Agarwal 等人（2024）提出在学生生成的轨迹上对齐学生与教师的下一词分布，使用逆向 KL 散度。其监督信号绑定于教师的绝对策略，受限于教师自身能力上限。 - \*\*Direct-OPD\*\*：Feng 等人（2026）专注于迁移 RL 诱导的策略改进，利用 RL 前后教师检查点的对数概率比（ log π_1 - log π_0 ）作为学生生成状态上的隐式稠密奖励，无需匹配教师的绝对分布。 - \*\*W2S-OPD\*\*：Yu 等人（2026）通过向学生基础对数几率添加弱模型的对数几率对比来构建代理教师，然后在学生轨迹上最小化逆向 KL。其对比可跨越 RL 检查点、模型规模以及正确/错误提示。 - \*\*OPRD\*\*：Park 等人（2026）利用以参考模型为中心的教师偏移来放大验证器驱动梯度中沿该方向的分量。 - \*\*OPD2（On-Policy Delta Distillation）\*\*：Heo 等人（2026）使用推理微调教师与基础模型之间的变化，并在中心化的变化信号与中心化标准蒸馏信号符号一致时保留词元级信号。与上述工作的区别：Waypoint-OPD 构建于 Direct-OPD 之上，不直接以中间检查点为模仿目标，而是利用\*\*教师自身 RL 轨迹中连续偏移的方向一致性\*\*来加权端点信号，且迁移过程中无需验证器反馈。 ### 2. 蒸馏中的选择性监督（Selective supervision in distillation） - \*\*教师–学生兼容性研究\*\*：Li 等人（2026）探讨了教师与学生兼容性如何影响在线监督的效用。 - \*\*Prune-OPD\*\*：Yang 等人（2026）基于支撑集重叠对后缀进行衰减。 - \*\*EOPD\*\*：Jin 等人（2026）利用教师的不确定性设计基于熵的逆向 KL。 - \*\*PW-OPSD\*\*：Liu 等人（2026）利用词元位置信息在参考条件自蒸馏中进行加权。 - \*\*OPD2\*\*（Heo 等人，2026）：以中心化教师–基础优势与教师–学生优势的符号一致性作为门控。 - \*\*RG-OPD\*\*：Akhondzadeh 等人（2026）利用验证器派生优势与教师–学生序列对数似然差异之间的一致性来门控轨迹。与上述工作的区别：Waypoint-OPD 使用的证据来源不同——它衡量的是\*\*教师 RL 轨迹上连续两段偏移在学生支持集动作上的加权方向一致性\*\*（余弦相似度），以此产生前缀级门控，且迁移阶段不依赖验证器。 ### 3. 检查点选择与渐进式蒸馏（Checkpoint selection and progressive distillation） - \*\*早期停止与中间检查点\*\*：Cho & Hariharan（2019）与 Wang 等人（2022）发现教师的最终性能未必决定其教学效用，早期停止和中间检查点选择可改善蒸馏效果。 - \*\*Pro-KD\*\*：Rezagholizadeh 等人（2022）使用连续的教师检查点作为目标进行渐进式蒸馏。 - \*\*渐进式蒸馏（Progressive distillation）\*\*：Panigrahi 等人（2025）利用多个教师检查点构建隐式课程。与上述工作的区别：对于固定的 Initial 与 Final 端点，Waypoint-OPD 中的中间检查点\*\*不充当模仿目标或课程\*\*，而是作为“探针”来评估早期与晚期策略偏移的一致性。被迁移的对象始终是中心化的 Initial-to-Final 偏移，中间检查点仅提供用于加权的时序一致性证据。 Q3: 论文如何解决这个问题？论文通过 \*\*Waypoint-guided On-Policy Distillation（Waypoint-OPD）\*\* 解决端点偏移无法反映局部演化一致性的问题。其核心是引入同一强化学习运行中的中间检查点（Waypoint），将端点偏移分解为两段连续的教师策略偏移，并以它们在学生局部动作空间上的方向一致性来动态加权端点信号。具体方法步骤如下： ### 1. 学生局部动作支持集与权重对于学生策略 π_θ 在生成轨迹上访问的每个前缀 s_t ，选取其概率最高的 k 个候选动作：

Kt = TopK(πθ(· mid st), k)
并在该支持集上构造归一化权重，使更高概率的候选获得更大关注：
q_t(a) = (πθ(a mid st)) / (∑(b ∈ Kt) πθ(b mid s_t)), quad a ∈ K_t

2. 两段连续教师偏移的计算利用三个冻结教师——RL 前的 Initial（ π_0 ）、中间 Waypoint（ π_m ）与 RL 后的 Final（ π_1 ）——分别对 K_t 中候选评分，得到两段连续偏移：

δ_t^((1))(a) = log π_m(a mid s_t) - log π_0(a mid s_t)

δ_t^((2))(a) = log π_1(a mid s_t) - log π_m(a mid s_t)
二者望远镜求和即为端点偏移： δ_t(a) = δ_t^((1))(a) + δ_t^((2))(a) 。 ### 3. q_t 中心化以隔离相对偏好变化为消除动作无关的绝对概率平移对方向判断的干扰，定义中心化算子：

C(q_t)z = z(a) - E(b sim qt)[z(b)]
应用后得到：
u_t = C(qt)[δ_t^((1))], quad v_t = C(qt)[δ_t^((2))], quad d_t = C(q_t)[δ_t] = u_t + v_t
其中 u_t 与 v_t 分别刻画早期与晚期教师**相对偏好**的变化， d_t 为被迁移的端点信号。 ### 4. 方向一致性门控计算两段偏移在 q_t 加权下的内积与余弦相似度：

langle ut, v_t rangle(qt) = ∑(a ∈ K_t) q_t(a) u_t(a) v_t(a)

ct = langle u_t, v_t rangle(qt)|u_t|(qt) |v_t|(q_t)
正余弦门控定义为：
g_t = max(0, c_t)
当早期与晚期偏移方向一致（ c_t > 0 ）时， g_t ∈ (0, 1] 按比例保留端点信号；当二者方向相反（ c_t ≤ 0 ）时， g_t = 0 ，完全抑制该前缀处的端点信号。若任一段中心化范数低于阈值 varepsilon ，则退化为 g_t = 1 以避免不可靠的方向估计。 ### 5. 批次尺度归一化为稳定不同训练批次间门控的平均规模，引入共享正乘子：

kappaB = clip( (τ) / (max( |B(text{pref))|^(-1) ∑(t ∈ B_pref) g_t, ε(num) )}, kappa(min), kappa(max) )
其中 τ 为目标均值。该乘子保持批次内相对门控权重与零门控不变，仅调整整体信号幅度。 ### 6. 稠密候选目标与策略更新每个候选动作的最终系数为：

At(a) = sg[ kappa_B , q_t(a) , g_t , d_t(a) ]
其中 $sg
·
$ 为停止梯度算子。学生通过最大化以下代理目标进行更新：
J(WP)(θ) = E(x sim D) [ E(y sim πθ(· mid x)) [ ∑(t=1)^T ∑(a ∈ K_t) A_t(a) log πθ(a mid st) ] - β D(KL)(πθ(· mid x) | π_S(· mid x)) ]
实现上采用双裁剪 PPO 代理，并辅以向学生初始化 π_S 的 KL 惩罚。 ### 与端点-only 方法的计算对比相对于 Direct-OPD，Waypoint-OPD 仅增加了一个冻结的 Waypoint 检查点及一次前向评分传播，**不引入额外可训练参数、不增加学生 rollout 次数，也无需调用验证器**。端点信号 d_t 本身保持不变，Waypoint 仅提供用于选择性加权的时序一致性证据。 Q4: 论文做了哪些实验？论文围绕数学推理与代码推理两个领域，在三种不同规模的学生模型上开展了系统实验，具体包括以下内容： ### 1. 实验配置与模型设置 - **教师模型**：采用经过 RL 训练的 Qwen3-4B，从同一次 RL 运行中保存三个冻结检查点： - **Initial**：RL 训练前 - **Waypoint**：RL 第 600 步（中间点） - **Final**：RL 第 1200 步（终点） - **学生模型**：Qwen3-8B、Qwen3-14B、Qwen3-30B-A3B（覆盖稠密与 MoE 架构，且与教师共享 tokenizer）。 - **训练数据**： - 数学：DAPO-Math-17K 提示 - 代码：Codeforces 衍生提示集 - **评估基准**： - 数学（7 个）：AIME 2024、AIME 2025、AIME 2026、HMMT February 2025、HMMT November 2025、HMMT February 2026、AMC 2023；指标为 **mean@32** - 代码（5 个）：MBPP、MBPP+、LiveCodeBench v4/v5/v6；指标为 **mean@8** - **检查点选择**：以 AIME 2024 作为验证集，选取训练过程中验证准确率最高的学生检查点进行最终评估。 ### 2. 对比基线实验对比了以下方法： - **Base**：未蒸馏的学生模型 - **OPD**：标准在线策略蒸馏（模仿 Final 教师分布） - **OPD2**：基于符号一致性的选择性蒸馏（Heo et al., 2026） - **Direct-OPD**：仅使用端点（Initial→Final）对数概率比进行蒸馏（Feng et al., 2026） - **Waypoint-OPD**：本文提出的方法 ### 3. 主实验结果（跨领域与规模） - **数学推理**：在全部 3 个学生规模下，Waypoint-OPD 的七基准平均分均高于所有对比基线。相较于最强的端点基线 Direct-OPD，分别提升 **2.18**（8B）、**1.59**（14B）与 **1.89**（30B-A3B）个百分点。14B 与 30B-A3B 学生甚至超过了 Final 教师的平均分。 - **代码推理**：同样在全部 3 个学生规模下取得最高平均分。相较于 Direct-OPD，分别提升 **2.66**（8B）、**1.52**（14B）与 **1.19**（30B-A3B）个百分点，且 14B 与 30B-A3B 学生也超过了 Final 教师。 ### 4. 学习动态分析（Qwen3-8B 数学）在训练过程中每 20 步进行一次评估，对比 Waypoint-OPD 与 Direct-OPD： - 从第 60 步起，Waypoint-OPD 在所有三个被监控的基准（AIME 2025、AIME 2026、HMMT Nov 2025）上**持续领先**。 - Waypoint-OPD 在部分基准（如 HMMT Nov 2025）上能够在训练中期就**超过 Final 教师**的得分，说明其不仅优于端点迁移，还能借助教师的策略偏移实现超越教师绝对水平的性能。 ### 5. 消融实验（Qwen3-8B 数学）为验证各组件作用，设计了三个控制实验： - **No gate**：移除一致性门控（设 g_t = 1 ），保留中心化与批次归一化。平均分从 **56.14** 降至 **53.50**，说明时序一致性加权本身至关重要。 - **Shuffled gate**：保留 gate 分布，但在 batch 内随机打乱 gate 与对应前缀的关联。平均分进一步降至 **51.20**，表明**将 gate 绑定到产生它的具体前缀**比单纯保留 gate 分布更重要。 - **No normalization**：保留正余弦门控，但移除批次尺度归一化（固定 kappa_B = 1 ）。平均分降至 **55.22**，说明归一化能带来额外但相对温和的提升。 ### 6. 附加分析实验 - **Waypoint 位置敏感性（附录 F）**：在 Qwen3-8B 数学上测试将 Waypoint 分别设在教师 RL 第 500、600、700 步。三种选择下平均分差异仅为 **0.05** 个百分点（56.18 vs 56.14 vs 56.13），均显著优于 Direct-OPD，表明方法对邻近中间检查点的位置不敏感。 - **Gate 诊断（附录 G）**：追踪了 100 个训练步内 gate 的均值、零 gate 比例、归一化乘子 kappa_B 与每前缀奖励 L2 范数。结果显示：随着训练进行，平均 gate 下降、零 gate 比例上升，表明 Waypoint-OPD 在后期批次中对端点信号的衰减更强；批次归一化稳定了平均 gate 尺度。 - **训练时间与响应长度（附录 H）**：在 Qwen3-8B 数学上，Waypoint-OPD 的总训练时间（100 步）比 Direct-OPD 减少约 **3.73%**（8 小时 2 分 vs 8 小时 21 分），且平均响应截断率更低（11.97% vs 14.83%），说明增加 Waypoint 评分并未带来额外开销，反而因更稳定的信号提升了效率。 Q5: 有什么可以进一步探索的点？基于论文的核心思想与实验设定，以下几个方向值得进一步探索： ### 1. 多检查点（Multi-Waypoint）与轨迹级一致性论文目前仅使用**单个**中间检查点将 RL 轨迹划分为两段。可进一步探索： - **多段分解**：使用 N 个 Waypoint 将 RL 轨迹划分为 N+1 段，通过整条链上的方向一致性（如相邻段余弦相似度的累积或最小值）来门控端点信号，可能更精细地捕捉策略演化的稳定性。 - **轨迹曲率估计**：利用多个检查点估计教师策略空间中的演化曲率，将高曲率区域（策略剧烈震荡）的信号视为低置信度而加以抑制。 - **动态 Waypoint 选择**：当前 Waypoint 位置固定（如第 600 步），可探索基于教师训练曲线（如奖励变化率、KL 散度）自动选择最具信息量的中间检查点，甚至为不同 prompt 或不同层选择不同 Waypoint。 ### 2. 一致性度量的多样化论文采用 q_t 加权余弦相似度作为方向一致性度量。其他度量方式可能提供互补信息： - **秩相关性**：使用 Spearman 或 Kendall τ 衡量早期与晚期偏移在候选动作排序上的一致性，而非仅关注幅值与方向的线性对齐。 - **支撑集重叠**：考察两段偏移中“正偏移”与“负偏移”动作集合的 Jaccard 相似度，可能更鲁棒地应对幅度差异。 - **信息论度量**：利用两段偏移分布之间的互信息或 KL 对称化版本，量化它们携带的关于彼此的信息量。 ### 3. 与验证器/过程奖励信号的融合论文刻意在迁移阶段避免使用验证器，以保持蒸馏的稠密性与低开销。但在实际应用中，可探索： - **双门控机制**：将 Waypoint 时序一致性与验证器（或过程奖励模型）的信号进行融合。例如，仅当 Waypoint gate 与 verifier-based advantage 同时支持某前缀时才高权重更新，可能进一步过滤噪声。 - **选择性查询**：利用 Waypoint gate 识别方向不一致的高不确定性前缀，仅对这些前缀调用验证器进行稀疏但精准的监督，实现计算量与性能的平衡。 ### 4. 理论分析：方向一致性的优化本质论文主要基于假设与实验验证，缺乏对以下问题的深入理论刻画： - **优化景观视角**：为什么早期与晚期偏移方向一致的前缀更适合迁移？这是否意味着这些前缀处的策略梯度在教师优化路径上具有单调性，从而向学生传递的梯度方向更稳定？ - **学生–教师能力差距的影响**：当学生规模远大于教师（非论文中的设置）或远小于教师时，Waypoint gate 的最优阈值或一致性度量是否应自适应调整？理论上，能力差距可能影响学生对方向不一致信号的敏感度。 - **与课程学习（Curriculum Learning）的联系**：Waypoint-OPD 隐式地根据教师内部一致性选择性地向学生暴露信号，这与基于难度的课程学习有何形式化关联？ ### 5. 跨领域与跨架构验证 - **更广泛的推理领域**：论文聚焦数学与代码，但 RL 诱导的策略偏移同样出现在工具使用、多步决策、科学推理等领域。Waypoint-OPD 在这些需要长程规划的任务上是否依然有效？ - **不同架构**：在纯解码器、编码器–解码器、或状态空间模型（SSM）上验证方法的通用性，尤其是在非 Qwen tokenizer 兼容的设置下，如何处理跨架构的 logit 对齐问题。 - **多模态场景**：当教师为视觉–语言模型（VLM）时，RL 训练可能同时改变视觉编码与语言生成的策略偏移，中间检查点的一致性门控可能需要分离模态或设计多模态加权方案。 ### 6. 计算效率与工程化改进 - **检查点压缩**：存储多个冻结教师检查点带来显存开销。可探索将 Waypoint 与 Final 教师之间的偏移用低秩分解（LoRA）或线性子空间近似压缩，减少推理时的模型加载量。 - **在线/持续蒸馏**：论文采用静态教师检查点进行批量蒸馏。若教师持续在线更新（如在线 RL），能否维护一个滑动窗口的中间检查点，实时估计轨迹一致性并动态调整 gate？ - **自适应批次归一化**：当前 kappa_B 基于全局 batch 的 gate 均值进行缩放。可尝试基于前缀难度或训练阶段动态调整目标均值 τ ，例如早期训练保留更多信号（高 τ ），后期收紧过滤（低 τ ）。 ### 7. 可解释性与失败模式分析 - **方向不一致的前缀特征**：深入分析在哪些类型的推理步骤（如问题理解、公式选择、数值计算、代码边界条件处理）中，早期与晚期教师偏移更容易出现冲突？这有助于理解 RL 训练的不稳定性来源。 - **教师 RL 轨迹的反转模式**：什么导致教师策略在 Waypoint 前后发生反转？是奖励稀疏导致的探索–利用震荡，还是 KL 约束与任务奖励之间的权衡？理解这一点可帮助设计更稳定的教师 RL 算法，从而从根本上提升蒸馏信号质量。 Q6: 总结一下论文的主要内容该论文围绕**强化学习（RL）诱导的策略偏移蒸馏**展开，核心贡献在于利用教师模型训练轨迹中的**时序一致性**来优化知识迁移。以下是论文主要内容的系统总结： —- ### 1. 研究背景与动机 - **端点偏移的局限**：现有方法（如 Direct-OPD）仅使用教师模型 RL 训练前后的两个端点检查点（Initial 与 Final）计算对数概率差，将其作为学生生成轨迹上的稠密监督信号。然而，这种端点偏移无法反映教师策略在训练过程中局部动作偏好的演化细节。 - **关键问题**：相同的端点偏移可能由“早期与晚期变化相互强化”或“二者部分抵消”产生。端点信号本身无法区分这两种情形，可能导致将内部不一致的偏移传递给学生。 - **核心假设**：教师 RL 轨迹中**早期偏移与晚期偏移的方向一致性**可作为选择性迁移的可靠依据——方向一致时端点信号更值得信任，方向相悖时应予以抑制。 —- ### 2. 核心思想：时序一致性感知的门控蒸馏论文提出 **Waypoint-guided On-Policy Distillation（Waypoint-OPD）**，其核心思想是： - 从同一次教师 RL 运行中保留三个冻结检查点：**Initial**（训练前）、**Waypoint**（中间步骤）、**Final**（训练后）。 - 将端点偏移分解为两段连续偏移： Initial to Waypoint （早期）与 Waypoint to Final （晚期）。 - 在学生生成的每个前缀处，比较这两段偏移在**学生最可能的 Top-k 候选动作**上的相对偏好变化方向。 - 以两段偏移的**加权方向一致性**（余弦相似度）作为门控，动态加权端点信号：对齐时保留，反向时抑制。 —- ### 3. 方法框架 #### 3.1 局部轨迹一致性度量对于学生策略 πθ 访问的前缀 s_t ，选取其 Top-k 候选动作集 K_t ，并构造归一化权重 q_t(a) 。利用三个冻结教师分别评分，得到两段连续偏移：

δ_t^((1))(a) = log π_m(a mid s_t) - log π_0(a mid s_t)

δt^((2))(a) = log π_1(a mid s_t) - log π_m(a mid s_t)
通过 q_t 中心化算子 $C(q_t)
·
去除动作无关的绝对概率平移，得到相对偏好变化向量 u_t （早期）与 v_t （晚期），以及端点信号 d_t = u_t + v_t 。 #### 3.2 方向一致性门控与归一化计算 q_t$ 加权余弦相似度：

ct = langle u_t, v_t rangle(qt)|u_t|(qt) |v_t|(q_t)
正余弦门控定义为：
g_t = max(0, c_t)
若两段偏移方向一致（ c_t > 0 ），则 g_t ∈ (0,1] 按比例保留端点信号；若方向相反（ c_t ≤ 0 ），则 g_t = 0 完全抑制该前缀处的信号。此外，引入批次尺度归一化乘子 kappa_B 以稳定不同训练批次间的平均门控幅度。 #### 3.3 学生更新目标最终候选动作系数为：

At(a) = sg[ kappa_B , q_t(a) , g_t , d_t(a) ]
学生通过最大化带 KL 正则的 PPO 代理目标进行更新：
J(WP)(θ) = E(x,y) [ ∑(t=1)^T ∑(a ∈ K_t) A_t(a) log πθ(a mid st) ] - β D(KL)(π_θ | π_S)
**计算开销**：相对于 Direct-OPD，仅增加一次冻结 Waypoint 教师的前向评分，无额外可训练参数、无额外 rollout、无需验证器调用。 —- ### 4. 实验验证 #### 4.1 设置 - **教师**：RL 训练的 Qwen3-4B（三个检查点：Initial、Waypoint@step600、Final@step1200）。 - **学生**：Qwen3-8B、Qwen3-14B、Qwen3-30B-A3B（覆盖稠密与 MoE 架构）。 - **领域**： - **数学**：DAPO-Math-17K 训练，评估于 AIME 2024/2025/2026、HMMT 2025/2026、AMC 2023（mean@32）。 - **代码**：Codeforces 衍生训练集，评估于 MBPP、MBPP+、LiveCodeBench v4/v5/v6（mean@8）。 #### 4.2 主要结果 - **跨规模与跨领域最优**：在全部 **6 个设置**（3 个学生 × 2 个领域）中，Waypoint-OPD 均取得最高领域平均分。 - **数学**：相较 Direct-OPD，分别提升 **2.18**（8B）、**1.59**（14B）、**1.89**（30B-A3B）个百分点；14B 与 30B-A3B 学生超越 Final 教师。 - **代码**：相较 Direct-OPD，分别提升 **2.66**（8B）、**1.52**（14B）、**1.19**（30B-A3B）个百分点。 - **持续优势**：训练动态追踪显示，从第 60 步起 Waypoint-OPD 在所有监控基准上持续领先 Direct-OPD。 #### 4.3 消融实验（Qwen3-8B 数学） - **移除门控**（ g_t=1 ）：平均分从 56.14 降至 53.50，验证了时序一致性加权的必要性。 - **打乱门控–前缀关联**：平均分降至 51.20，表明将 gate 绑定到其对应前缀至关重要。 - **移除批次归一化**：平均分降至 55.22，说明归一化提供额外但适度的增益。 #### 4.4 附加分析 - **Waypoint 位置敏感性**：将中间检查点从 step 600 改为 step 500 或 700，平均分差异仅 0.05 个百分点，方法对邻近 Waypoint 选择稳定。 - **训练效率**：Qwen3-8B 数学训练 100 步，Waypoint-OPD 总耗时比 Direct-OPD 减少约 **3.73%**，且平均响应截断率更低（11.97% vs 14.83%）。 —- ### 5. 结论论文提出利用教师 RL 轨迹中的**中间检查点**来评估早期与晚期策略偏移的方向一致性，以此作为门控证据来加权端点蒸馏信号。实验表明，这种基于时序一致性的选择性迁移能够在数学与代码推理任务上，跨不同学生规模与架构稳定提升性能，且仅需极低的额外计算开销。该工作揭示了教师训练轨迹内部结构对于高效知识迁移的重要价值。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Bingxi Hou,Guochao Jiang,Guofeng Quan,Weiqing Li,Wenfeng Feng,Guohua Liu,Yuewei Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.21601.pdf

Arxiv URL: https://arxiv.org/abs/2610.21601

Arxiv ID: 2610.21601

CoolPaper URL: https://papers.cool/arxiv/2610.21601

Published: 2026-10-17T01:32:07.774Z

Updated: 2026-10-17T01:32:07.774Z

3. OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

Abstract:Computer use has reached a turning point: the focus is expanding from GUI-only interaction to systems that complete tasks on users’ computers through visual and programmatic interfaces. We define a generalist computer-use agent (GCUA) as a system in which the model chooses how to observe, act, and organize its work across visual and programmatic interfaces. Yet frontier implementations, such as GPT-6 Astra’s computer-use system, remain largely closed, limiting systematic study of their design. We introduce Open Generalist CUA (OpenGCUA), an ongoing project to develop and open the full stack for GCUAs with the community. This report presents the first release of OpenGCUA. Code execution is a key feature of our agent design: it lets intermediate results determine subsequent operations and enables models to apply their existing programming capabilities directly to computer interaction. We also propose harness-to-model decision transfer, moving selected observations and task-state decisions from fixed harness rules to the model. On OSWorld-v2, our full configuration improves task scores across all eight evaluated models, including GPT-6 Astra and Claude Opus 5, raising mean partial score by +19.6 points and reducing reported steps per task by an average of 53.0% relative to batched GUI-only execution. We release our implementation and prompts, evaluation trajectories from all eight models, and preliminary versions of a real-device harness and a cross-device SDK. The harness addresses real-device challenges not fully captured by benchmarks, while the SDK provides a common programming interface across computers, mobiles and browsers. Across four real macOS tasks under our real-device harness, selected Qwen3.8-Max runs use 19.4 times as many reported reasoning tokens as GPT-6 Astra, highlighting substantial differences between models in real-device execution efficiency.

中文摘要

摘要：计算机使用已经到了一个转折点：焦点正从仅限GUI交互扩展到能够通过视觉和程序接口在用户计算机上完成任务的系统。我们将通用计算机使用代理（GCUA）定义为一种系统，其中模型选择如何观察、行动以及在视觉和程序接口之间组织其工作。然而，前沿实现，例如GPT-6 Astra的计算机使用系统，仍然大多是封闭的，限制了对其设计的系统研究。我们介绍了开放通用CUA（OpenGCUA），这是一个正在进行的项目，旨在开发并与社区开放GCUA的完整技术栈。本报告展示了OpenGCUA的首次发布。代码执行是我们代理设计的一个关键特性：它允许中间结果决定后续操作，并使模型能够将其现有的编程能力直接应用于计算机交互。我们还提出了从固定工具规则向模型转移决策（harness-to-model decision transfer），将选定的观察和任务状态决策从固定工具规则转移到模型。在OSWorld-v2上，我们的完整配置在所有八个评估模型中提升了任务得分，包括GPT-6 Astra和Claude Opus 5，使平均部分得分提高了19.6分，并相对于批处理GUI-only执行将每任务报告步骤平均减少了53.0%。我们发布了我们的实现和提示、来自所有八个模型的评估轨迹，以及实设备工具和跨设备SDK的初始版本。该工具解决了基准未充分涵盖的实际设备挑战，而SDK提供了跨计算机、移动设备和浏览器的通用编程接口。在我们的实设备工具下的四个macOS实际任务中，选定的Qwen3.8-Max运行使用的报告推理Token数量是GPT-6 Astra的19.4倍，突显了模型在实设备执行效率上的显著差异。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22200 (HTTP 429)

Authors: Hanzhang Zhou,Long Li,Quyu Kong,Lei Wang,Panrong Tong,Long Chen,Tianyu Xia,Gongjie Zhang,Xu Zhang,Chen Liu,Jianan Zhang,Chenglin Cai,Zhengwen Zeng,Steven Hoi,Yue Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.22200.pdf

Arxiv URL: https://arxiv.org/abs/2610.22200

Arxiv ID: 2610.22200

CoolPaper URL: https://papers.cool/arxiv/2610.22200

Published: 2026-10-17T01:32:07.748Z

Updated: 2026-10-17T01:32:07.748Z

4. FDE-Gym: The Last Mile of AI Delivery

Abstract:Existing agent benchmarks typically evaluate agents on well-specified tasks defined by issue reports, specifications, or task tickets. Real-world customer delivery is different: forward-deployed engineers (FDEs) must clarify ambiguous requirements, work in live systems, and uncover unstated constraints. We introduce FDE-Gym, a benchmark of 95 end-to-end delivery tasks from 20 customer scenarios across 18 sectors, each adapted by industry experts from real-world delivery projects. In simulated customer environments with scripted stakeholders and modifiable customer systems, agents interact with stakeholders and operate on production-like systems to deliver working solutions. FDE-Gym scores a delivery by how much it improves the customer’s own success metric, normalized between 0 (unchanged system) and 1 (reference solution), with penalties for stakeholder interactions (messages, trial runs, and waiting time). An online platform lets humans practice FDE skills under the same grading criteria. We evaluate 13 model configurations from seven providers. In the realistic setting, where unstated constraints must be discovered, the best configuration achieves a mean FDE-Gym score of 0.56 and resolves only 14 of the 95 tasks (a score of at least 0.8 with no incident). Discovering unstated constraints is the primary bottleneck: performance drops sharply when models must uncover them without explicit guidance. Yet information discovery alone does not account for the gap: even on the 23 tasks where the best configuration obtains every key fact from stakeholders, it reaches a normalized business uplift of 0.8 or above on only 10. These results reveal a substantial gap between solving well-specified tasks and delivering effective AI systems for real customers.

中文摘要

摘要：现有的代理基准通常通过问题报告、规范或任务单定义的明确任务来评估代理。现实世界的客户交付情况则不同：前线部署工程师（FDEs）必须澄清模糊的需求，在实时系统中工作，并发现未明示的约束条件。我们推出了FDE-Gym，这是一个包含20个客户场景中95个端到端交付任务的基准，涉及18个行业，每个任务由行业专家根据真实交付项目改编。在带有脚本化利益相关者和可修改客户系统的模拟客户环境中，代理与利益相关者互动，并在类似生产的系统上操作以交付可工作的解决方案。FDE-Gym通过衡量对客户自身成功指标的改进程度来评分，标准化在0（系统未改变）到1（参考解）之间，并对利益相关者互动（消息、试运行和等待时间）进行惩罚。一个在线平台允许人类在相同评分标准下练习FDE技能。我们评估了来自七个供应商的13种模型配置。在现实环境中，必须发现未明示约束的情况下，最佳配置的FDE-Gym平均得分为0.56，只完成了95个任务中的14个（得分至少为0.8且无事故）。发现未明示约束是主要瓶颈：当模型必须在没有明确指导的情况下发现这些约束时，性能会急剧下降。然而，仅仅是信息发现并不能完全解释这一差距：即使在最佳配置从利益相关者那里获得所有关键信息的23个任务中，它也仅在10个任务上达到0.8或以上的标准化业务提升。这些结果揭示了解决明确任务与为真实客户交付有效AI系统之间存在显著差距。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*现有AI智能体（agent）基准测试与现实世界企业级AI交付之间的根本性脱节\*\*。具体而言，其核心针对以下问题： ### 1. 现有基准对“任务已明确”的隐含假设当前主流基准（如SWE-bench、Terminal-Bench等）通常在问题已被精确定义的前提下评估智能体，例如通过漏洞报告、技术规格或任务工单来设定目标。然而，在真实的客户交付场景中，初始需求往往是\*\*模糊的、不完整的，甚至是指向错误问题的\*\*。论文指出，严格按 sponsor（客户方发起人）的字面要求构建系统，即使功能全部通过，也可能完全无法改善客户的实际业务指标。 ### 2. 缺乏对“最后一公里交付”的端到端评估现有工作多孤立地评估单一环节（如代码实现、部署配置、需求澄清或信息检索），但未能将这些环节串联成一条\*\*因果链\*\*：对问题的误判会使高质量的代码失去价值，且这种损失必须体现在业务结果上。论文强调，需要一种机制来评估智能体是否能够： - 识别 sponsor 的请求是否偏离了根本问题； - 通过与利益相关者（stakeholder）交互发现\*\*未陈述的约束（unstated constraints）\*\*； - 在可修改的、类生产环境（production-like systems）中交付可运行的解决方案； - 最终对客户自身的成功指标产生可量化的提升。 ### 3. 未陈述约束的发现与业务成果度量论文通过实验表明，\*\*发现未陈述约束是当前领先模型的主要瓶颈\*\*。当必须自行挖掘隐藏规则时，模型表现显著下降。此外，现有基准多以二元任务完成度（pass/fail）或隐藏测试通过率作为标准，而缺乏以\*\*客户业务指标\*\*为核心的评分体系。论文提出的评分框架将交付结果归一化到“什么都不做”（0分）与专家参考方案（1分）之间，并额外扣除与利益相关者交互产生的“联系成本”，从而更真实地反映交付价值。 ### 4. 提供可复现、可实践的评估基础设施为解决上述评估缺口，论文构建了 \*\*FDE-Gym\*\*，一个包含95个端到端交付任务的基准，覆盖18个行业的20个真实客户场景。该基准不仅用于评估模型，还提供在线平台供人类在相同评分标准下练习前向部署工程师（FDE）技能，以衡量并缩小AI在真实商业交付中的能力差距。简言之，该论文试图将AI智能体的评估焦点从“能否解决给定的技术问题”转移到“能否在复杂的组织环境中识别正确的问题、发现隐藏约束并交付可产生实际业务改进的解决方案”。 Q2: 有哪些相关研究？论文在第6节“Related Work”中系统梳理了相关研究，并按照所衡量的\*\*交付能力\*\*将其分为七个类别；同时，也指出了与端到端交付最直接相关的近期工作，以及直接影响FDE-Gym设计的方法论基础。以下是主要相关研究的梳理。 --- ### 一、按交付能力分类的现有基准论文通过Table 4将现有基准按其所隔离的交付环节进行归纳，并说明FDE-Gym在各环节基础上新增的内容： \*\*1. 问题框架（Framing）\*\* - \*\*代表工作\*\*：Ambig-SWE

7
、LHAW
8
、SWE-RPG
17
、UserBench
18
、ReqElicitGym
19
、XYEval
11
。 - **衡量目标**：智能体是否在信息缺失时主动询问、引出用户未明说的需求，或抵抗误导性建议。 - **FDE-Gym的扩展**：在完整的客户交付场景中嵌入可能被误导的请求，并将框架错误直接关联到可量化的业务结果损失。 **2. 信息发现（Discovery）** - **代表工作**：TheAgentCompany
5
、Workspace-Bench
20
、RUBICON
21
、DRBench
22
、Implicit Intelligence
23
。 - **衡量目标**：跨系统、文件和模拟同事寻找信息及未陈述约束的能力。 - **FDE-Gym的扩展**：引入相互矛盾、过时或代表特定立场的信息源，并为询问利益相关者设置明确的联系成本。 **3. 解决方案设计（Solution design）** - **代表工作**：WorkArena++
24
、CRMArena-Pro
6
、EnterpriseBench
25
、APEX-Agents
26
。 - **衡量目标**：在企业系统中完成知识工作和运营操作的能力。 - **FDE-Gym的扩展**：不仅评估任务是否完成，还评估解决方案是否契合客户的组织环境与真实约束。 **4. 实现（Implementation）** - **代表工作**：SWE-bench
1
、SWE-Bench Pro
27
、Terminal-Bench
2
、SWE-Lancer
3
。 - **衡量目标**：编写代码并通过隐藏测试的能力。 - **FDE-Gym的扩展**：评估所实现的代码是否是“正确的事情”（the right thing to write），即是否真正改善客户的业务指标。 **5. 部署与运维（Deployment and operations）** - **代表工作**：FDE-Bench
4
、ITBench
28
、AIOpsLab
29
。 - **衡量目标**：构建可部署产物、通过门控检查以及诊断和缓解事故的能力。 - **FDE-Gym的扩展**：加入客户交互、需求发现环节，并以业务成果作为最终评判标准。 **6. 交付（Delivery）** - **代表工作**：ττ-bench
9
、Trains but Doesn’t Learn
10
。 - **衡量目标**：为客户构建智能体或微调模型，并在部署后评判交付效果。 - **FDE-Gym的扩展**：任务指令从完整规则陈述到可能被误导的请求之间变化；以业务指标提升减去利益相关者联系成本作为度量；覆盖18个行业及多种交付物形式。 **7. 结果（Outcome）** - **代表工作**：Vending-Bench
30
、E-Commerce Bench
31 Q3: 论文如何解决这个问题？该论文通过构建 FDE-Gym 基准及其配套评估方法论来解决现有基准与现实世界AI交付脱节的问题。具体解决路径涵盖任务构造、评分体系、环境模拟和验证机制四个维度，以下是系统性的展开： —- ### 1. 构建端到端的真实交付任务集论文联合行业专家，将2024年以来在中国、新加坡和美国完成的实际客户交付项目改编为 20个客户场景，覆盖 18个行业（能源、医疗、金融、物流等）。每个场景包含1个原始任务和2至7个变体（variant），共 95个任务。这些任务要求智能体交付一个可在客户环境中运行的智能体、工作流或服务，而非仅完成孤立的技术环节。为降低模型依赖记忆或固定模式的风险，变体系统性地改变关键事实： - 哪条规则已过时； - 谁持有关键信息； - 发起人的请求是否指向了根本问题。由此确保智能体必须基于每个任务的实际证据进行推理，而非套用预设解法。 —- ### 2. 设计四级任务指令以隔离瓶颈论文将同一任务的环境、利益相关者和评分标准固定，仅通过 L0–L3 四级任务指令来逐步减少提供的信息，从而精确量化“信息缺失”对交付效果的影响： | 层级 | 提供的信息 | 智能体必须自行确定的内容 | |———|—————-|————————————| | L0 | 根本问题、适用规则与约束、评分方式 | 如何设计与实现有效方案 | | L1 | 根本问题的清晰陈述 | 适用规则与约束，以及如何设计方案 | | L2 | 模糊但方向正确的请求 | 待解决的问题、适用约束、设计方案 | | L3 | 发起人的原始请求（可能指向错误问题） | 请求是否解决根本问题、适用约束、设计方案 | L3 被设定为主要评估场景，因其最贴近真实交付的起点。通过对比L0与L1的表现差异，可分离出“约束发现”带来的性能损失；通过L2与L3的对比，可评估“问题澄清”的难度。 —- ### 3. 建立以客户业务指标为核心的评分体系论文摒弃了传统的二元通过/失败指标，提出了一套将交付效果映射到客户业务成果的量化框架： 归一化业务提升（Normalized Business Uplift, U ） U = KPI(delivered) - KPI(baseline)KPI(reference) - KPI(baseline) 其中， KPI(baseline) 、 KPI(delivered) 、 KPI(reference) 分别代表未改动系统、交付系统和专家参考方案在相同留存生产数据上的业务指标。 U=0 表示毫无改进， U=1 达到参考解水平， U<0 表示交付结果劣于不做任何改动。 **事故调整（Incident Adjustment, U(adj) ） 若发生预定义的操作事故（如未授权行为），正提升将被归零，而负提升保留： U_(adj) = U, & if no incident occurs min(U, 0), & otherwise 利益相关者联系成本（Stakeholder Contact Cost, C ） 与客户的交互并非无成本。每次可计费的联系（消息、试运行、等待天数）均按该任务预设的定价规则计费： C = ∑_(k ∈ K) c_k FDE-Gym 总分（ S ） 单次评估运行的最终得分为事故调整后的业务提升减去联系成本： S = U_(adj) - C 任务被判定为“已解决”（resolved）当且仅当 S ≥ 0.8 且无事故发生。 聚合平均分为防止极端业务损失主导平均值，论文在跨任务和多次运行聚合时，先将事故调整后的提升下限截断至 -1 ，再扣除完整的联系成本： S = (1) / (N) ∑(i=1)^(N) (1) / (R) ∑(r=1)^(R) [ max(U(adj,i,r), -1) - C(i,r) ] 该体系直接将“交付了一个系统”转化为“客户的业务指标改进了多少”，并将过度或草率的利益相关者交互作为显式惩罚项。 —- ### 4. 脚本化、可复现的利益相关者模拟现实世界中的客户人员具有有限耐心、信息依赖关系和联系限制。论文模拟了超过130名客户利益相关者，其响应完全由脚本驱动（而非由LLM实时扮演），以确保评估的可复现性。脚本化的机制包括： - 每位利益相关者有隐藏的每条消息费率； - 超出耐心或违反联系限制时收费更高； - 信息披露依赖于前期对话、证据支持或特定解锁条件； - 部分人员临时不可用或根本不应被联系。智能体必须从客户文档、历史数据和员工目录中推断角色与沟通约束，而非依赖外部先验知识。 —- ### 5. 准入锚点（Admission Anchors）与反捷径验证为确保每个任务都能有效区分“真交付”与“伪交付”，论文设定了四项预设的评分锚点，作为任务被纳入基准的必要条件： 1. 参考解 必须得分不低于 0.95 ； 2. 不做任何事基线 必须恰好得 0 分； 3. 字面遵循方案（仅按任务指令字面意思实现，不探索进一步约束）必须得分不高于 0.2 ；若发起人的请求恰好完全正确且完整，则此上限可豁免，但要求该方案得分不低于 0.95 ——以确保“不信任发起人”不会成为 universally rewarded 的策略； 4. 捷径策略（如对历史数据过拟合、猜测整数阈值、将所有不确定决策推给人工）必须得分不高于 0.8 。评估器（grader）已针对 超过270种捷径和绕过策略进行测试。任何试图绕过客户控制或操纵评分器的行为都会导致分数被压低至接近零。 —- ### 6. 提供在线平台与开源基础设施论文配套开发了在线平台（fde-gym.com），使人类行业专家与智能体在完全相同的任务空间、利益相关者和评分标准下进行练习与评估。人类基线数据正在该平台收集，用于未来与智能体进行同口径对比。同时，任务工作空间的生成、利益相关者模拟和交付评分的全套框架，以及实验运行器，均已开源（GitHub, version 1.1.0），以支持社区的复现与扩展。 —- 综上，该论文并非仅提出一个新的数据集，而是通过任务变体设计、四级信息隔离、业务指标导向的评分公式、脚本化利益相关者模拟及严格的反游戏化验证，建立了一套可量化、可复现的“AI交付最后一公里”评估范式。 Q4: 论文做了哪些实验？论文在第4节（Experimental Setup）和第5节（Results）中报告了系统的实验设计。实验围绕 13个模型配置、四级任务指令（L0–L3）、95个交付任务 展开，并通过多次独立运行评估模型在端到端客户交付中的表现。以下是实验的具体内容： —- ### 1. 实验配置与评估协议 被测模型实验评估了来自7个提供商的13个模型配置（12个模型，其中一个附加了扩展思考模式）： Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、GLM-5.3 Flash、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Qwen 3.8 Flash、GPT-5.5、GPT-6 Luna、Mistral Small 4、Claude Haiku 4.5，以及 Claude Haiku 4.5 (thinking)。所有模型使用统一的极简智能体框架，配备5个工具（执行命令、读文件、写文件、编辑文件、列出目录），无针对特定模型的定制优化。任务与层级 - L0–L2：在20个原始任务上评估，用于隔离信息缺失对性能的影响。 - L3：在所有95个任务（20个原始任务 + 75个变体）上评估，作为主要实验场景。 - 由于3个场景的L2与L3指令完全相同，实际L2评估覆盖17个任务。 - 每个模型需完成 152个任务–指令层级组合，13个配置共计 1,976个组合。运行协议 - 每个组合独立运行 3次，结果取平均。 - 单次运行终止条件：达到200轮交互、150分钟运行时间，或模型使用成本达到8美元（以先到者为准）。 - 系统以运行结束时的状态直接部署并接受评分。报告指标 - FDE-Gym Score ( S )：事故调整后的归一化业务提升减去利益相关者联系成本。 - 归一化业务提升 ( U )：交付系统相对于“什么都不做”基线和专家参考解的业务改进程度。 - 利益相关者联系成本 ( C )：因与利益相关者交互产生的归一化成本。 - 已解决任务数：单次运行中 S ≥ 0.8 且无事故的计数。 - 低于基线任务数： S < 0 的计数（即交付结果劣于不做任何改动）。 —- ### 2. 核心实验发现与结果实验围绕五个核心发现展开，以下是各发现对应的实验证据： #### 发现1：即使最优模型也远未达到参考解水平 - 实验：在L3（95个任务）上测试所有13个配置。 - 结果**：Claude Opus 5.5 取得最高平均分 0.56 （95%置信区间 $[0.50, 0.62

），但仅解决 14/95 个任务；5个配置未解决任何任务。 - 扩展实验：若对每个任务选取13个配置中的最佳表现者（oracle选择），平均分仅为 0.70 ，解决30个任务；仍有16个任务无任何配置达到 0.5 。 - 对照实验：在L0（完全指定规则）下，三个领先模型可达 0.73 – 0.82 ，证明参考解水平在技术上是可实现的。 #### 发现2：隐藏约束的发现是主要瓶颈，而非问题框架本身 - 实验：对比同一20个原始任务在L0、L1、L2、L3下的表现。 - 结果： - 从L0到L1（规则被隐藏），三个领先模型的平均分下降 0.28（95% CI:

0.17, 0.39
）。 - 从L1到L3（请求变模糊乃至被误导），仅再下降 0.04（95% CI:
-0.03, 0.14
）。 - 证据：Claude Opus 5.5在L0、L1、L2、L3的得分分别为 0.82 、 0.62 、 0.54 、 0.55 ；约束发现导致系统提升从 0.81 – 0.90 降至 0.63 – 0.80 ，且利益相关者联系成本从 0.07 – 0.10 增至 0.18 – 0.24 。 #### 发现3：获取关键事实不等于有效交付 - 实验：通过评分器记录智能体从利益相关者处获得的关键事实比例，并与业务提升关联。 - 结果： - 三个领先模型在L3下获得 72%–85% 的关键事实，但归一化业务提升仅达 0.60–0.70。 - 在73个“领先模型获取全部关键事实”的案例中，平均业务提升为 0.66 ，仅37%的案例达到 0.8 以上。 - 以Claude Opus 5.5为例，其交付的系统在40个任务上提升达 0.8 ，但扣除联系成本后仅14个任务被“解决”；GPT-6 Astra的对应数字为36和9。 - 成本分析：利益相关者联系成本使Claude Opus 5.5的最终得分减少了 0.14 ，使GPT-6 Astra减少了 0.22 。 #### 发现4：弱模型经常使客户状况劣于基线 - 实验：统计所有模型在95个L3任务中得分低于0的任务比例。 - 结果： - Claude Haiku 4.5在 79/95 个任务上得分低于0；GPT-6 Luna在 63/95 个任务上低于0。 - 即使在扣除联系成本之前，Mistral Small 4在 51个任务 上的系统表现已低于“什么都不做”基线；Claude Haiku 4.5 (thinking) 在55个任务上如此。 - 在23个任务上，Mistral Small 4造成的损害甚至超过了参考解带来的收益。 #### 发现5：模型性能在不同场景和变体间差异显著 - 实验：按20个场景分解Claude Opus 5.5等模型的表现，并分析同一场景内不同变体的分数分布。 - 结果： - 在 5个场景 中，没有任何模型平均分达到 0.5 ；最难场景（news_incident、revenue_dispute）的最佳得分仅 0.18 和 0.27 。 - 领先模型在单一场景内不同变体任务中的得分中位数跨度为 0.34–0.44，在6–8个场景中跨度超过 0.5 。 - Claude Opus 5.5在11个场景中表现最优，但没有任何单一模型能在所有场景中领先。 —- ### 3. 跨基准对比实验 对比对象：将FDE-Gym结果与三个公开基准并置比较——Terminal-Bench 2.1（终端工程任务）、Vibe Code Bench（端到端Web应用开发）、Finance Agent（金融研究任务）。数据均来自同一独立第三方评估源（Vals AI）。 实验处理方式： - 外部基准以任务成功率（百分比）报告；FDE-Gym以归一化业务提升报告。 - 为便于并列展示，将FDE-Gym分数乘以100，与成功率在各自坐标轴上对比，但不将两者等同。结果： - 在Terminal-Bench上解决率高达 88%、Vibe Code Bench上达 90%、Finance Agent上达 61% 的模型，在FDE-Gym上仅得 0.19–0.56。 - FDE-Gym中最接近“成功率”的指标是任务解决率（resolved tasks）：最优模型Claude Opus 5.5仅解决 15%（14/95）的任务。 - 实验结论：模型在组件化工程/编码基准上的优异表现，对预测其真实客户交付价值仅为弱指示。 —- ### 4. 成本与效率分析实验 - 模型使用成本 vs. 得分：实验记录了每次运行的模型调用成本（图5b）。例如，GPT-6.1 Sol每次运行花费约 0.24，得分 0.37 ；而Gemini 3.8 Flash花费 1.54 ，得分仅 0.19 。Qwen 3.8 Flash虽平均运行169轮、110分钟，但仅提交11/152个组合，得分 0.07 。 - **提交率**：三个领先模型在所有152个组合中均成功提交，用时26–60轮；GLM-5.3 Flash提交95个组合； weaker models频繁超时或未能提交。这证明“识别工作何时完成”本身是待评估技能的一部分。 —- ### 5. 人类基线实验（进行中）论文提及已在在线平台（fde-gym.com）启动人类专家基线实验。行业专家在记录条件下执行L3任务，使用与智能体完全一致的工作空间、利益相关者和评分器。该实验结果计划在后续版本中报告，当前论文仅报告模型实验。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与自陈局限，以下几个方向具有进一步探索的价值： —- ### 1. 从脚本化到拟真化：提升利益相关者模拟的真实性论文明确指出，当前利益相关者为脚本化模拟，而真人具有不可预测性（改变主意、答非所问、受历史交互影响）。未来工作可探索： - **基于有限策略的混合模拟**：在脚本基础上引入轻量级LLM作为“响应风格层”，在保持知识库一致的前提下模拟情绪化、偏见或上下文依赖的行为。 - **动态关系演化**：建模利益相关者对智能体信任度的动态变化，使得过度联系或错误提问不仅产生即时成本，还会永久性关闭后续信息渠道。 —- ### 2. 扩大任务指令层级的样本量与跨场景泛化分析当前L0–L2仅在20个原始任务上评估，且其中3个场景的L2与L3指令相同。这限制了对“问题框架误差”与“约束发现”瓶颈的统计置信度。后续可： - **在所有95个变体任务上系统运行L0–L2**，以验证领先模型在L1→L3阶段表现平坦的反直觉结论是否具备统计稳健性。 - **构建跨场景的迁移学习实验**，检验智能体能否将在某一场景（如银行反欺诈）中习得的“约束发现模式”迁移至新场景（如保险预授权），从而量化FDE技能的领域特异性。 —- ### 3. 建立人类专家基线并进行认知过程对比论文已启动在线平台收集人类专家基线，但尚未报告结果。更深层的探索包括： - **过程层面（process-level）对比**：不仅比较最终得分，还对比人类与领先模型在信息搜索路径、利益相关者选择顺序、假设验证策略上的差异。例如，人类专家是否更早识别出“不应联系的人”，或更快放弃错误的问题框架。 - **认知偏差分析**：检验领先模型在L3下表现未显著低于L2是否源于“过度轻信”或“文档驱动的自我纠正”，以及人类是否表现出类似的偏差模式。 —- ### 4. 发展成本感知的信息获取策略实验显示，智能体因未被明确告知联系成本而“视提问为免费”，导致大量分数被利益相关者成本侵蚀（Claude Opus 5.5损失0.14，GPT-6 Astra损失0.22）。未来可探索： - **隐式成本推理**：在任务指令中不明确告知成本，但观察智能体能否从员工目录、组织文化文档中推断出“高管时间昂贵”或“试运行需预约”等隐含成本信号。 - **主动学习与最优停止**：研究智能体如何在信息增益与联系成本之间进行权衡，例如采用贝叶斯最优停止策略来决定何时停止询问并开始实现。 —- ### 5. 缩小“知晓约束”与“有效交付”之间的工程鸿沟论文发现，即使获取全部关键事实，领先模型的业务提升也仅为0.66，仅37%达到0.8。这说明**知道做什么不等于能做好**。后续研究可针对： - **约束到代码的精确映射**：在L0（完全给定规则）条件下，领先模型也仅达到0.73–0.82。需诊断剩余差距来源——是代码集成失误、对生产入口点的误解、还是对时序/并发等业务逻辑的忽视。 - **长程规划与依赖管理**：真实交付涉及多文件修改、外部API集成与数据迁移。可引入程序分析或形式化验证工具，检验智能体是否在“理解约束”后产生了内部一致的执行计划。 —- ### 6. 构建自适应元认知与“拒绝交付”能力弱模型在60–83%的任务中使客户状况劣于基线，这提示： - **负价值预警机制**：训练或提示智能体评估“当前方案是否可能有害”，并赋予其**拒绝交付或请求延期**的选项。可引入“元认知工具”，要求智能体在提交前显式输出对业务指标的预期影响区间。 - **安全撤回与回滚策略**：在检测到潜在事故（incident）时，智能体能否自动回滚至基线系统，而非保留有害变更。 —- ### 7. 多智能体协作与模型路由论文使用单一极简框架，未探索多模型协作。可探索： - **专家路由（Expert Routing）**：将需求澄清、利益相关者沟通、代码实现、系统测试分配给不同特化模型，通过中央编排器协调。 - **人机混合交付**：在关键决策点（如发现问题框架错误、触及高成本利益相关者前）引入人类监督，量化人机协同相对于纯自主智能体的边际收益。 —- ### 8. 扩展至动态与开放环境当前环境在运行时禁止安装额外包与访问公网，生产数据亦为静态留存。下一步可： - **引入时间动态性**：让生产系统在评估期间继续演化（如新数据流入、业务规则季节性调整），测试交付系统的持续有效性。 - **工具使用泛化**：允许智能体在受控沙箱中评估并安装第三方库，考察其在真实开放生态中整合外部工具的能力与引入的供应链风险。 —- ### 9. 真实世界现场验证与持续学习 - **影子模式部署（Shadow Deployment）**：将FDE-Gym中表现优异的智能体以影子模式部署至真实企业交付流程，对比其预测的业务提升与实际A/B测试结果，校准模拟器与现实的差距。 - **从交付失败中学习**：建立“失败任务”的持续学习机制，利用专家事后评审（post-mortem）更新评分锚点或生成反事实训练数据，迭代提升智能体在特定行业的交付成功率。 —- ### 10. 评估指标的社会技术扩展当前评分聚焦于单一客户业务指标。未来可探索： - **多目标帕累托前沿**：同时优化业务提升、利益相关者满意度、系统可维护性与合规风险，检验智能体是否倾向于牺牲长期可维护性换取短期指标增益。 - **组织外部性度量**：评估交付对非直接利益相关者（如最终用户隐私、下游部门工作负荷）的影响，引入更全面的社会责任维度。 Q6: 总结一下论文的主要内容该论文针对现有AI智能体基准测试与现实世界企业交付之间的脱节，提出了端到端的评估框架 **FDE-Gym**，并围绕其开展系统性实验。主要内容可概括如下： —- ### 1. 研究背景与核心问题现有基准（如SWE-bench、Terminal-Bench等）普遍假设任务已被精确定义，智能体只需按给定要求实现功能即可。然而，真实的前向部署工程师（Forward-Deployed Engineer, FDE）面对的是**模糊、不完整甚至误导性的客户需求**，必须在类生产环境中发现**未陈述的约束**，与利益相关者交互，并交付能切实改善客户业务指标的系统。论文指出，严格按发起人字面要求交付的系统可能功能完备，却对客户业务毫无提升，现有基准无法捕捉这一“最后一公里”差距。 —- ### 2. FDE-Gym基准设计论文构建了 **FDE-Gym v1.0**，包含从20个真实世界交付项目（覆盖18个行业）改编而来的 **95个端到端任务**。每个任务要求智能体在模拟客户环境中交付可运行的智能体、工作流或服务，核心设计包括： - **场景变体**：每个场景含1个原始任务与2–7个变体，通过改变关键事实（如过时规则、信息持有者、请求是否误导）防止模型依赖记忆或固定套路。 - **脚本化利益相关者**：模拟超过130名客户人员，具备有限耐心、信息依赖关系、联系限制与临时不可用性，且响应完全脚本化以保证可复现性。 - **四级任务指令（L0–L3）**：在同一环境和评分标准下，仅通过任务指令逐步减少信息，以隔离不同瓶颈： - **L0**：完全指定根本问题、规则约束与评分方式； - **L1**：明确陈述问题，但隐藏规则约束； - **L2**：给出模糊但方向正确的请求； - **L3**：提供发起人的原始请求（可能指向错误问题），作为反映真实交付起点的主要评估设置。 —- ### 3. 业务指标导向的评分体系论文摒弃二元完成度指标，提出以客户业务成果为核心的量化公式： - **归一化业务提升**：

U = KPI(delivered) - KPI(baseline)KPI(reference) - KPI(baseline)
其中 KPI(baseline) 、 KPI(delivered) 、 KPI(reference) 分别对应未改动系统、交付系统与专家参考解在留存数据上的业务指标。 U=0 表示无改进， U=1 达到参考水平， U<0 表示劣于基线。 - **事故调整**：
U(adj) = U, & if no incident occurs min(U, 0), & otherwise

**利益相关者联系成本**：
C = ∑_(k ∈ K) c_k
**FDE-Gym得分**：
S = U_(adj) - C
此外，**准入锚点**机制确保每个任务满足：参考解 ≥ 0.95 、基线 =0 、字面遵循解 ≤ 0.2 、捷径策略 ≤ 0.8 ，从而防止对字面合规或绕过策略的奖励。 —- ### 4. 实验与主要发现论文评估了来自7家提供商的 **13个模型配置**，每个任务–指令组合运行3次。在主要评估场景L3（95个任务）中，实验得出五大核心发现： - **发现1：最优模型仍远未达到参考解。** Claude Opus 5.5 取得最高平均分 0.56 （95%置信区间 $

0.50, 0.62
），但仅解决 14/95 个任务；5个配置未解决任何任务。即便按任务选取最优模型的oracle组合，平均分也仅为 0.70 。 - 发现2：发现未陈述约束是主要瓶颈。 当规则完全给出（L0）时，领先模型可达 0.73 – 0.82 ；要求自行发现约束（L1）后，分数骤降至 0.39 – 0.62 （平均下降 0.28 ）。而进一步将请求变为模糊或误导（L2–L3），分数仅再降 0.04 ，表明问题框架本身并非领先模型的主要障碍。 - 发现3：获取信息不等于有效交付。 领先模型在L3下获取了 72%–85% 的关键事实，但归一化业务提升仅达 0.60–0.70；加之利益相关者联系成本（侵蚀 0.14 – 0.22 ），最终得分进一步降低。在73个获取全部关键事实的案例中，仅37%的业务提升达到 0.8 。 - 发现4：弱模型频繁使客户状况恶化。 Claude Haiku 4.5 在 79/95 个任务上得分低于0；Mistral Small 4 在扣除联系成本前，其系统本身已在 51个任务 上劣于“什么都不做”基线。 - 发现5：性能跨场景与变体差异显著。 在 5个场景 中，没有任何模型平均分达到 0.5 ；同一场景内不同变体任务的中位分数跨度可达 0.34 – 0.44$，无单一模型能全场景领先。 —- ### 5. 结论 FDE-Gym的实验结果表明，当前AI智能体在真实客户交付中仍存在**显著的能力缺口**：它们难以将发现的约束转化为有效的工程交付，且在利益相关者交互成本控制上表现不佳。论文主张，评估AI交付能力应将重心从“是否解决了给定的技术问题”转移到“是否通过识别正确问题、发现隐藏约束并交付可运行系统，从而切实改善客户的业务指标”。FDE-Gym通过可复现的端到端任务、业务指标导向的评分公式以及在线实践平台，为衡量并缩小这一“最后一公里”差距提供了基础设施。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Dongxu Yang,Hongda Yan,Renxin Wang,Baoli Zhang,Haojia Zuo,Ying Zhao,Youmin Chen,Xiaojian Liao,Congming Gao,Tianyang Jiang,Yixiao Chen,Qing Wang,Zhiguo Yu,Xiaqing Li,Yuhao Zhang,Jiawen Sun,Renzhe Xu,De Mi,Tiancheng Wu,Xianya Fu,Xuanlu Zhao,Bo Feng,Meixuan Ren,Guanming Lin,Ziheng Zhou,Xinhua Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.22350.pdf

Arxiv URL: https://arxiv.org/abs/2610.22350

Arxiv ID: 2610.22350

CoolPaper URL: https://papers.cool/arxiv/2610.22350

Published: 2026-10-17T01:32:07.803Z

Updated: 2026-10-17T01:32:07.803Z

5. RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

Abstract:Can vision-language models turn 2D observations into 3D understanding that supports precise action? This requires inferring object geometry, anticipating the effects of rotation, and refining actions through visual feedback. We introduce RoTA-Bench to evaluate these abilities through interactive 3D-to-2D projection alignment. Given a target silhouette, a model observes a rotated object and chooses successive rotations to recover the target projection within a limited action budget. Our automated pipeline constructs silhouette-preserving 3D objects from 2D icons and uses reversible initialization to guarantee solvability, yielding 674 tasks and a stratified 100-task test set. Empirically, we find that (i) a substantial human-model gap persists: GPT-5.6-Sol succeeds on only 17% of tasks, whereas 20 undergraduate participants collectively complete the test set four times with a 100% success rate; (ii) image-space and pose-space progress can diverge: at matched states, the model more often improves silhouette overlap while worsening pose alignment than humans (19.4% vs. 10.9%); and (iii) fine-grained control is sensitive to interaction history: removing it leaves 96.8% of the model’s actions at a coarse 30-degree step size and sharply reduces observed task success. These findings highlight the challenge of converting visual evidence into precise 3D control, beyond recognizing or matching individual images.

中文摘要

摘要：视觉-语言模型能否将二维观测转化为支持精确操作的三维理解？这需要推断物体几何形状、预测旋转的效果，并通过视觉反馈优化动作。我们引入 RoTA-Bench，通过交互式的三维到二维投影对齐来评估这些能力。给定目标轮廓，模型观察旋转后的物体，并选择连续旋转以在有限动作预算内恢复目标投影。我们的自动化流程从二维图标构建保持轮廓的三维物体，并使用可逆初始化保证问题可解，生成674个任务及分层的100任务测试集。实证研究发现：(i) 人类与模型之间仍存在显著差距：GPT-5.6-Sol仅能成功完成17%的任务，而20名本科生参与者集体在测试集中完成四次，实现100%成功率；(ii) 图像空间和姿态空间的进展可能存在偏离：在匹配状态下，模型更频繁地在改善轮廓重叠的同时恶化姿态对齐，而人类则较少发生这种情况（19.4% 对比 10.9%）；(iii) 精细控制对交互历史敏感：移除交互历史后，96.8%的模型动作退化到粗略的30度步长，并显著降低任务成功率。这些发现强调了将视觉证据转化为精确三维控制的挑战，这一挑战超越了单纯识别或匹配单张图像的能力。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*视觉语言模型（Vision-Language Models, VLMs）在将二维视觉观察转化为支持精确动作的三维空间理解方面的评估缺失问题\*\*。具体而言，论文指出现有基准测试体系存在以下关键局限： - \*\*静态基准缺乏动作执行与闭环反馈\*\*：现有视觉与空间推理基准多依赖固定图像上的被动式问答，完全缺少动作执行能力和多轮视觉反馈闭环，无法检验模型是否能在动态交互中基于观测 refine 动作。 - \*\*交互基准偏离核心三维方向推理\*\*：现有的交互式基准（如软件界面操作、视觉迷宫、滑块拼图等）主要关注高层任务规划、工具调用或离散空间寻路，其对象通常为轴对齐的网格实体而无旋转姿态变化，未能真正考察模型从二维投影中推断三维朝向并将其转化为精确旋转控制的能力。 - \*\*3D 精确动作控制的评估空白\*\*：当前工作尚未系统评估 VLMs 是否具备从二维投影推断三维几何、预判旋转对轮廓的非线性变形效应，并基于视觉反馈迭代修正姿态以达成精确对齐的能力。为填补上述空白，论文提出了 \*\*RoTA-Bench\*\*，一个自动构建的交互式 3D-to-2D 投影对齐基准。该基准要求模型在仅给定目标轮廓与当前视觉观测（含辅助深度视图）的条件下，从 24 个离散旋转动作中选择连续的旋转操作，在有限的动作预算内将三维对象的二维投影与目标轮廓对齐（要求 IoU ≥ 0.90 ）。通过这一任务，论文系统地评估了 VLMs 的\*\*三维空间推理、几何推断、旋转效应预判以及基于视觉反馈的精细动作控制\*\*能力。实证结果表明，人类在此任务上达到 100% 成功率，而表现最优的模型 GPT-5.6-Sol 成功率仅为 17% ，揭示了当前 VLMs 在将视觉证据转化为精确三维控制方面仍存在显著差距。 Q2: 有哪些相关研究？该论文的相关工作围绕\*\*多模态大语言模型的空间推理能力\*\*、\*\*静态视觉与空间推理基准\*\*以及\*\*交互式视觉与空间推理基准\*\*三个维度展开，具体可归纳如下： ### 1. 多模态大语言模型与空间推理 - \*\*早期视觉–语言对齐与生成架构\*\*：对比式图像–文本对齐方法（如 CLIP）奠定了早期基础；后续架构将视觉编码器与大语言模型结合，实现了开放式生成与视觉指令跟随。 - \*\*前沿视觉推理模型\*\*：近期前沿模型进一步提升了复杂视觉推理能力。 - \*\*显式三维表征与空间理解\*\*：部分专门架构通过注入显式三维表示以捕获几何信息；空间视觉语言模型则尝试融入坐标参考框架、度量关系、三维物体朝向及物理空间智能。 - \*\*具身与视觉–语言–动作（VLA）架构\*\*：将视觉推理连接至物理规划与机器人执行，强调宏观任务执行。 \*\*当前局限\*\*：尽管上述模型在通用视觉任务上取得进展，但在相机位姿估计、正交投影推理和形状识别等细粒度三维感知任务上仍表现不佳。与这些工作不同，RoTA-Bench 关注的是模型能否\*\*仅通过二维观察推断三维朝向并输出精确旋转动作\*\*，而非依赖显式三维输入或高层语义规划。 ### 2. 静态视觉与空间推理基准 - \*\*基础诊断数据集\*\*：涵盖合成三维场景中的空间关系查询、自然场景图理解、多学科视觉图表推理以及几何问题求解。 - \*\*专项诊断基准\*\*：针对六自由度物体姿态估计、复杂室内场景下的多步动作前提条件等进行评估。 - \*\*程序生成抽象推理\*\*：有工作提出可形式验证的多维抽象推理任务生成范式，但其核心在于符号规则而非基于视觉的三维空间感知。 - \*\*离线空间分析\*\*：近期分析表明，模型在静态视觉迷宫上的高精度往往源于在 token 空间中进行序列搜索，而非真正的视觉规划。 \*\*核心局限\*\*：上述基准均为\*\*严格非交互式\*\*评估，即在单轮固定输入下完成问答，完全不涉及动作执行与视觉反馈闭环。 ### 3. 交互式视觉与空间推理基准 - \*\*具身智能体基准\*\*：通过具身导航、长程日常任务执行与场景探索评估空间推理；然而，这些工作主要聚焦于\*\*宏观智能体移动\*\*与\*\*高层语义规划\*\*，而非精细的三维朝向控制。 - \*\*数字环境交互基准\*\*：在网页浏览与操作系统控制等场景中测试二维界面解析与布局定位，但操作空间严格限制在\*\*二维平面图形显示\*\*内。 - \*\*几何推理类交互基准\*\*： - 基于文本坐标的空间搜索； - 开放世界三维迷宫导航与 Sokoban 风格推箱子谜题； - 视觉滑块拼图。 \*\*核心局限\*\*：上述几何类交互任务中的对象多为\*\*轴对齐的网格实体，不具备旋转姿态变化\*\*，导致空间推理被简化为离散状态空间上的组合寻路，而非基于视觉反馈连续推断和修正三维朝向。 ### 与现有工作的区别 RoTA-Bench 旨在填补上述空白：它通过\*\*闭环的交互式三维旋转–二维投影对齐任务\*\*，要求模型从视觉轮廓和深度辅助观察中推断三维几何、预判旋转引起的非线性轮廓变形，并在有限动作预算内迭代选择离散旋转动作以达成精确对齐。该任务剥离了平移、抓取 affordance、接触摩擦等额外物理动力学因素，\*\*纯粹考察二维到三维的空间理解如何转化为精确动作控制\*\*。 Q3: 论文如何解决这个问题？论文通过\*\*构建专门的交互式基准测试 RoTA-Bench\*\*并开展系统性的模型与人类对比评估，来解决视觉语言模型能否将二维观察转化为支持精确动作的三维理解这一问题。具体方法涵盖任务形式化设计、自动化数据构建、多维诊断指标与大规模实证分析四个层面： --- ### 一、交互式投影对齐任务的形式化设计论文将三维朝向对齐任务定义为\*\*投影匹配问题\*\*：给定一个目标二维轮廓，智能体需通过离散的旋转动作调整三维物体的姿态，使其当前二维投影与目标轮廓重合。 - \*\*状态与观测\*\*：每个任务实例包含一个刚体三维对象 G ⊂ R^3 、初始姿态 R_0 ∈ SO(3) 与规范目标姿态 R^star = I_3 。在每一步 t ，环境提供观测三元组：

Ot = (I^star, V_t, I_t)
其中 I^star 为不变的目标轮廓， I_t 为当前投影轮廓， V_t 为与当前投影同视角渲染的**深度辅助视图**，用于补充二值掩码缺失的深度与遮挡线索。 - **动作空间**：智能体从包含 24 个离散旋转动作及一个 STOP 指令的词汇表 A 中选择动作。24 个动作跨越三个相机固定轴（俯仰、偏航、滚转）、两个方向与四种步长 Deltaθ ∈ 1^circ, 5^circ, 10^circ, 30^circ ，以支持从粗调到精修的控制：
R(t+1) = Q(a_t) R_t

**成功标准**：通过投影交并比（IoU）评估对齐程度：
s_t = IoU(I_t, I^star) = (|I_t ∩ I^star|) / (|I_t ∪ I^star|)
当 s_t ≥ τ = 0.90 时任务成功。该阈值在要求高度视觉对齐保真度的同时，为离散动作空间提供了必要的容错边界。 —- ### 二、自动化任务构建与可解性保证为排除语义捷径并聚焦视觉–空间推理，论文设计了一套全自动化的任务生成流程： 1. **从二维图标生成三维对象**：从开源图标库中筛选二维矢量图标，经光栅化与几何过滤后，将平面点集 P ⊂ R^2 在球面约束下对称拉伸为三维体积：

h(x, y) = √max(r^2 - x^2 - y^2, 0), quad z ∈ [-h(x, y), h(x, y)]
该构造保证规范正面视图严格复现原始图标的精细轮廓，且任意旋转下均不会发生视口裁剪。 2. **可逆初始化保证 100% 可解性**：初始姿态通过 L sim Uniform6, dots, 16 步 30^circ 离散旋转序列生成。由于 SO(3) 中每个旋转均可逆，执行逆序列 Q(b_1)^(-1) ·s Q(b_L)^(-1) 必能恢复目标姿态，从而**按构造确保每个任务均可解**。 3. **参考路径搜索与测试集分层抽样**：通过姿态引导的束搜索与限制 30^circ 的广度优先搜索生成比原始逆序列更短的参考路径。随后按参考路径长度进行比例分层抽样，从 674 个规范任务中选出 100 个测试任务，确保任务难度分布的代表性。 —- ### 三、多维诊断评估框架论文不仅衡量任务成功率，更设计了一套**动作分解与几何诊断指标**，以精确锁定模型失败的具体环节： - **任务级指标**：任务成功率、平均最终 IoU、平均旋转步数、表面覆盖率。 - **姿态误差**：利用对象对称性集合 G 计算对称调整后的三维姿态误差：

et = min(S ∈ G) d(SO(3))(R_t, R^star S) = min(S ∈ G) arccos(Tr(R_t (R^star S)^top) - 12)

**方向与角度诊断**： - **有效方向率**（Effective Direction Rate）：所选旋转方向中至少存在一个合法角度可降低姿态误差的比例。 - **最优合法角度率**（Best Legal Angle Rate）：在有效方向上，所选角度恰好为最优合法角度的比例。 - **角度差距**（Angle Gap）与**角度损失**（Angle Loss）：量化所选角度与最优角度之间的偏差及其导致的几何代价。 —- ### 四、系统性实证评估与关键发现论文对九种视觉语言模型、两种智能体框架与 20 名人类参与者进行了标准化对比评估（相同任务协议、动作空间与终止规则），并基于上述框架揭示了问题的核心症结： - **发现一：显著的人–模型能力差距**：人类在 400 次任务运行中达到 100% 成功率（最终 IoU 均值 0.923 ），而表现最优的 GPT-5.6-Sol 成功率仅为 17% ，且多数前沿模型成功率低于 10% 甚至完全失败。 - **发现二：图像空间与姿态空间进展的分离**：在完全相同的姿态状态下，模型更倾向于选择能提升二维轮廓重叠度却恶化底层三维姿态误差的动作（“UF”类动作占 19.4% ），而人类在此类冲突状态下的表现更为均衡（仅 10.9% ）。这表明模型**依赖投影重叠而非真正的三维姿态理解**来选择动作。 - **发现三：细粒度控制对交互历史的敏感性**：当移除多轮交互历史后，GPT-5.6-Sol 的 30^circ 粗调动作占比从 62.75% 激增至 96.76% ，而 1^circ 精修动作几乎消失（从 12.18% 降至 0.16% ），成功率与最终 IoU 也急剧下降至接近随机水平。这说明模型**必须依赖历史视觉反馈才能实现由粗到精的控制**，单次观察不足以支撑精细三维动作规划。综上，论文通过**可控的交互环境设计、自动化的几何任务生成与细粒度的动作诊断指标**，系统性地量化了当前视觉语言模型在“将二维视觉证据转化为精确三维控制”方面的核心瓶颈。 Q4: 论文做了哪些实验？论文开展了**多层次的系统性实验**，涵盖主性能对比、失败诊断、输入消融、动作关联分析、Oracle分解及跨几何验证六大类。所有实验均在相同的 100-task 测试集（消融实验使用其中分层对齐的 30-task 子集）与统一交互协议下进行。 —- ### 1. 主性能对比实验（Main Results）在 100-task 测试集上评估了以下方法： - **九种视觉语言模型**：GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna、GPT-6-Astra、Gemini 3.6 Flash、Claude Opus 5、Claude Sonnet 5、Qwen 3.7 Plus、SpatioLM-Understanding-InternVL3.5 - **两种 Agent 框架**：基于 GPT-5.6-Sol 的 ReAct 与 Magentic - **人类参与者**：20 名本科生，每人完成 20 个连续任务，共四轮覆盖全部 100 个任务，产生 400 次任务运行 - **基线方法**： - 随机策略（Uniform random、Random with IoU rollback） - IoU 贪婪基线（每步枚举 24 个合法动作，选择投影 IoU 最大的后继） - Pose 贪婪基线（每步枚举 24 个合法动作，选择真实三维姿态误差最小的后继） **观测指标**：任务成功率（Succ. %）、平均最终 IoU、平均执行步数、表面覆盖率（Cov. %）。 —- ### 2. 失败诊断实验（Diagnosing Model Failures）为定位模型失效的具体环节，论文对动作进行**方向–角度解耦分析**： - **有效方向率（Effective Direction Rate）**：所选旋转方向中至少存在一个合法角度可降低姿态误差的比例。 - **最优合法角度率（Best Legal Angle Rate）**：在有效方向上，所选角度恰好为最优合法角度的比例。 - **角度差距（Angle Gap）**：所选角度与最优合法角度之间的绝对偏差。 - **角度损失（Angle Loss）**：所选角度相对于最优角度导致的额外姿态误差。此外，论文统计了各模型的**表面覆盖率**（Surface Coverage），以检验失败是否源于视觉探索不足。 —- ### 3. 输入消融实验（Ablation: Auxiliary Views and Interaction History）以 GPT-5.6-Sol 为对象，在分层对齐的 **30-task 子集**上实施四种输入条件的对照： | 条件 | 说明 | |———|———| | A: Full input | 完整输入（目标轮廓 + 辅助深度视图 + 交互历史） | | B: No aux. view | 移除辅助深度视图，保留历史 | | C: No history | 移除交互历史（含过往观测与动作），保留当前视图与辅助视图 | | D: Neither input | 同时移除辅助深度视图与交互历史 | **观测指标**：任务成功率、最终 IoU、有效方向率、四种旋转角度（ 1^circ, 5^circ, 10^circ, 30^circ ）的分布占比，以及所选角度与前动作 IoU 的 Spearman 相关系数。 —- ### 4. 动作与投影/姿态偏差关联实验（Action Association with Projection and Pose Discrepancies） - **相关性分析**：计算所选旋转角度与**前动作投影 IoU**、**前动作三维姿态误差**之间的 Spearman 秩相关系数 rho ，比较模型与人类在依赖图像空间重叠 versus 三维姿态偏差上的差异。 - **匹配状态动作后果对比**：筛选出 **211 个精确匹配状态对**（Human 与 GPT-5.6-Sol 访问过相同姿态），在近似相等的先验覆盖率（42.01% vs. 46.21%）下，比较两类智能体动作的四类后果分布： - **UC**：IoU 提升且姿态误差减小 - **DC**：IoU 下降但姿态误差减小 - **UF**：IoU 提升但姿态误差增大 - **DF**：IoU 下降且姿态误差增大 —- ### 5. Oracle 动作分解实验（Oracle Action Decomposition）在 GPT-5.6-Sol 于 100-task 测试集上访问的 **2,366 个状态**中，枚举全部 24 个合法后继动作并计算其对称调整后的姿态误差，实施三种 Oracle 策略以分离方向与角度的独立贡献： - **方向 Oracle（Oracle direction）**：保留模型所选角度，但选择最优的旋转轴与方向。 - **角度 Oracle（Oracle angle）**：保留模型所选方向，但选择该方向下的最优合法角度。 - **联合 Oracle（Joint oracle）**：无约束地选择全局最优动作。通过与实际动作及均匀随机策略的对比，量化方向和角度选择各自的一步改进空间。 —- ### 6. 跨几何形态对比实验（Cross-Geometry Comparison）为检验任务对象来源（抽象图标 vs. 真实世界网格）对模型性能的影响，构建了与原始 30-task 图标集**参考路径长度分布完全匹配**的 30-task 对比集，该对比集使用 Poly Haven CC0 库中的真实世界多边形网格。在相同渲染器、辅助视图、动作空间与终止规则下，对比 GPT-5.6-Sol 在两组任务上的成功率与最终 IoU。 —- ### 7. 人类评估实验（Human Evaluation） - **参与者**：20 名本科生，无预训练练习。 - **协议**：与模型完全一致的观测内容（目标轮廓、辅助视图、当前投影、历史时序信息）、动作空间（24 个离散旋转 + STOP）、成功阈值（IoU ≥ 0.90 ）与终止规则（最大 48 步或 12 步无新最佳 IoU 停滞）。 - **记录**：成功率、最终 IoU、旋转步数、任务完成时间（99% 任务在 278.12 秒内完成）。 Q5: 有什么可以进一步探索的点？基于论文的结论与局限性讨论，可从以下维度展开进一步探索： —- ### 1. 任务与几何复杂度的扩展 - **丰富三维几何多样性**：当前任务对象由二维矢量图标经球面约束拉伸生成，形状空间受限。未来可利用生成模型合成更丰富的二维图标，或直接构建更具表达力的三维网格与 CAD 模型，以检验模型对复杂曲面和拓扑结构的推理能力。 - **连续控制与物理真实环境**：现有动作空间为离散的 24 个旋转指令。引入**连续旋转控制**可考察模型在高维精细动作空间中的规划能力。进一步地，可加入平移漂移、接触摩擦、外部遮挡与多物体交互，将任务从纯旋转对齐扩展至**多对象装配、堆叠与遮挡推理**等更具物理真实感的场景。 —- ### 2. 交互机制与表征学习 - **历史信息的结构化利用**：消融实验表明，移除交互历史后模型 96.8% 的动作退化为粗粒度的 30^circ 步长。未来可研究如何设计**显式的三维记忆或姿态估计模块**，使模型从时序观测中累积并显式维护对自身朝向与目标姿态的信念状态，而非仅仅依赖原始图像序列的隐性上下文。 - **辅助视图的有效融合**：辅助深度视图对成功率有显著贡献，但模型对其利用效率仍远低于人类。可探索**显式深度表征注入**或**跨视图注意力机制**，帮助模型将深度阴影线索转化为可操作的朝向梯度。 - **图像空间与姿态空间的对齐**：实验发现模型倾向于优化二维投影重叠（IoU）而牺牲底层三维姿态精度。未来工作可引入**显式的三维正则化损失**或**姿态一致性奖励**，促使模型在交互过程中同时维护图像空间与三维姿态空间的一致性，避免二者脱耦。 —- ### 3. 训练范式与数据 Scaling - **基于 RoTA-Bench 的强化学习微调**：论文指出自动生成的任务可为强化学习提供可扩展的训练环境。未来可研究**在线或离线强化学习**（如 PPO、DT、Q-learning）以及**模仿学习**（以人类或 Pose Oracle 轨迹为专家示范），检验交互式训练是否能显著提升模型利用视觉反馈进行精确三维控制的能力。 - **课程学习与难度自适应**：参考路径长度从 4 步到 16 步不等，可设计**由简至难的课程策略**（如先学习单轴粗调，再引入多轴耦合与精修），研究模型是否可通过结构化课程逐步掌握三维心理旋转与动作规划。 —- ### 4. 认知与算法诊断 - **内部三维表征的可解释性**：当前模型表现与人类存在本质差异（人类同时依赖 IoU 与姿态误差，模型主要依赖 IoU）。未来可通过**探测分类器、因果干预或激活修补**等方法，检验视觉语言模型是否真正在内部构建了**三维心理旋转表征**，抑或仅执行二维轮廓模板匹配与启发式搜索。 - **策略崩溃的机制分析**：SpatioLM 出现 91.12% 动作退化为单一旋转指令的现象。深入研究此类**策略崩溃**的触发条件（如训练数据偏差、奖励黑客或价值函数退化），对提升具身智能体的鲁棒性具有普遍意义。 —- ### 5. 更广泛的智能体与机器人应用 - **从投影对齐到真实机器人操作**：将 RoTA-Bench 中的三维旋转推理能力迁移至真实机器人抓取、姿态调整与装配任务，验证所学空间推理技能在**带有噪声传感和物理约束的开放世界环境**中的可迁移性。 - **多模态传感器融合**：除了视觉反馈，未来可引入**力觉、触觉或本体感受信号**，探索多模态闭环控制在三维空间精细操作中的作用与必要性。 —- ### 6. 人类基准的深化 - **超越本科生群体**：当前人类实验仅覆盖 20 名本科生。未来应在更广泛人群（如不同年龄、文化背景、空间能力水平）中采集数据，建立更具代表性的人类基线，并分析个体差异与策略多样性。 - **眼动追踪与过程记录**：当前仅记录动作选择而未捕获人类推理过程。结合**眼动追踪或口头报告协议**，可揭示人类如何从二维投影中推断三维朝向、如何规划由粗到精的动作序列，为模型设计提供认知启发。 Q6: 总结一下论文的主要内容该论文围绕**视觉语言模型（VLMs）能否将二维视觉观察转化为支持精确动作的三维空间理解**这一核心问题，提出了交互式基准测试 RoTA-Bench，并通过系统实验揭示了当前模型在三维空间推理与精细动作控制方面的显著瓶颈。 —- ### 1. 研究动机与问题现有基准测试存在明显缺口： - **静态基准**（如视觉问答、场景图推理）仅评估固定图像上的被动推理，缺乏动作执行与视觉反馈闭环。 - **现有交互基准**（如网页导航、迷宫、滑块拼图）侧重高层规划、工具调用或二维离散寻路，不涉及从二维投影推断三维朝向并输出精确旋转动作。因此，亟需一个专门评估**闭环三维空间推理与精细动作控制**的交互式环境。 —- ### 2. RoTA-Bench 基准设计 #### 2.1 任务形式化每个任务实例包含一个刚体三维对象 G ⊂ R^3 、初始姿态 R_0 ∈ SO(3) 与目标姿态 R^star = I_3 。在每一步 t ，智能体接收观测三元组：

Ot = (I^star, V_t, I_t)
其中 I^star ∈ 0, 1^(H × W) 为目标轮廓， I_t 为当前投影轮廓， V_t 为同视角渲染的**深度辅助视图**，用于补充深度与遮挡线索。智能体从 24 个离散旋转动作中选择： - 3 个相机固定轴（俯仰、偏航、滚转） × 2 个方向 × 4 种步长 Deltaθ ∈ 1^circ, 5^circ, 10^circ, 30^circ 姿态更新遵循：
R(t+1) = Q(a_t) R_t
任务成功条件为投影交并比达到阈值：
s_t = IoU(I_t, I^star) = (|I_t ∩ I^star|) / (|I_t ∪ I^star|) ≥ 0.90

2.2 自动化任务构建 - 三维对象生成：从开源二维矢量图标出发，将平面点集在球面约束下对称拉伸为三维体积：

h(x, y) = √max(r^2 - x^2 - y^2, 0), quad z ∈ [-h(x, y), h(x, y)]
该构造确保规范正面视图严格保留原始图标细节，且任意旋转不会导致视口裁剪。 - **可逆初始化保证可解性**：初始姿态由 L sim Uniform6, dots, 16 步 30^circ 离散旋转序列生成。由于 SO(3) 的旋转可逆性，执行逆序列必能恢复目标姿态，从而**按构造确保 100% 可解**。 - **数据集规模**：通过姿态引导搜索与分层抽样，构建 674 个规范任务，其中 100 个任务构成代表性测试集。 #### 2.3 诊断评估指标除任务成功率与最终 IoU 外，论文设计了细粒度动作诊断指标： - **有效方向率**：所选方向是否存在可降低姿态误差的合法角度。 - **最优合法角度率**：在有效方向上，所选角度是否为最优。 - **角度差距**与**角度损失**：量化角度选择偏差及其几何代价。 - **三维姿态误差**：

et = min(S ∈ G) arccos(Tr(R_t (R^star S)^top) - 12)
—- ### 3. 实验设置在统一协议下评估： - **9 个前沿视觉语言模型**（含 GPT-5.6 系列、Gemini、Claude、Qwen、SpatioLM 等） - **2 个智能体框架**（ReAct、Magentic） - **20 名人类参与者**（完成 400 次任务运行） - **基线策略**（随机、IoU 贪婪、Pose 贪婪） —- ### 4. 核心发现 #### 发现一：显著的人–模型能力差距人类在 100-task 测试集上达到 **100% 成功率**（最终 IoU 均值 0.923 ），而表现最优的 GPT-5.6-Sol 成功率仅为 **17%**。多数前沿模型成功率低于 10% 甚至完全失败（如 Claude Sonnet 5、Claude Opus 5、Qwen 3.7 Plus 为 0% ）。 #### 发现二：图像空间与姿态空间进展的分离在 211 个精确匹配的相同状态下，模型比人类更频繁地执行 **UF 类动作**（提升 IoU 但恶化三维姿态误差）：GPT-5.6-Sol 为 19.4% ，人类仅 10.9% 。这表明模型主要依赖二维轮廓重叠而非真正的三维姿态理解来选择动作。 #### 发现三：细粒度控制对交互历史高度敏感对 GPT-5.6-Sol 的消融实验显示，移除交互历史后： - 30^circ 粗调动作占比从 62.75% 激增至 ** 96.76% ** - 1^circ 精修动作从 12.18% 降至 ** 0.16% ** - 成功率与最终 IoU 跌至接近随机水平这说明模型**必须依赖多轮视觉反馈历史才能实现由粗到精的控制**，单次观察不足以支撑精细三维动作规划。 —- ### 5. 结论与未来方向论文揭示了当前视觉语言模型在**将二维视觉证据转化为精确三维控制**方面的根本性困难。局限性与未来工作包括： - **扩展几何多样性**：利用生成模型合成更丰富的二维图标或直接构建复杂三维网格。 - **连续控制与物理真实环境**：引入连续旋转、外部遮挡、多物体对齐与装配任务。 - **训练范式探索**：利用自动生成的可解任务开展强化学习或模仿学习微调，研究交互式训练能否改善视觉反馈利用能力。 - **认知机制解析**：深入探究模型内部是否真正形成了三维心理旋转表征，抑或仅依赖二维模板匹配。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qingchuan Ma,Yuexiao Ma,Xiang Meng,Yixuan Zou,Tianyu Xie,Wang Chen,Yuhui Zeng,Yuhang Wu,Xiawu Zheng,Rongrong Ji

Categories:

PDF URL: https://arxiv.org/pdf/2610.17665.pdf

Arxiv URL: https://arxiv.org/abs/2610.17665

Arxiv ID: 2610.17665

CoolPaper URL: https://papers.cool/arxiv/2610.17665

Published: 2026-10-17T01:32:07.764Z

Updated: 2026-10-17T01:32:07.764Z

6. Self-Evolving Agent Harness

Abstract:Harness self-evolution revises an agent’s software scaffolding, including prompts, memory, workflows, and executable components, while keeping model weights fixed. We formalize a feedback-driven process in which accepted revisions persist across runs. The framework separates update targets from proposal and admission mechanisms. It distinguishes changes to interpreted state from revisions to tools and code, repository-level control logic, and plugin composition. We characterize search through evolutionary optimization and examine its reliability through continual PAC-learning. Under explicit assumptions, the analysis yields an expected generalization bound, a retention bound conditional on historical regression budgets, and a high-probability admission rule using fresh, independent validation data. We examine how persistent harness revisions affect knowledge sharing and organizational workflows, with implications for scientific reliability, physical safety, and institutional accountability. Cases from prior work illustrate model—harness co-design, distributed execution, and plugin reuse. Reliable deployment requires continual validation as task distributions and evaluators change, with independent safeguards for learning, runtime privileges, and consequential actions. We provide a comprehensive 66-page discussion of related work, theory, algorithms, evaluation, applications, and the broader impact of Harness RSI, together with continuously updated code and supplementary materials, at this https URL.

中文摘要

摘要：自我进化的 Harness 修订代理的软件框架，包括提示、记忆、工作流程和可执行组件，同时保持模型权重固定。我们形式化了一个基于反馈的过程，其中被接受的修订在多次运行中持续存在。该框架将更新目标与提议和批准机制分开。它区分了解释状态的变化与工具和代码、存储库级控制逻辑以及插件组合的修订。我们通过进化优化来表征搜索，并通过持续的 PAC 学习来检验其可靠性。在明确假设下，该分析产生了预期的泛化界限、基于历史回归预算的保留界限，以及使用新的独立验证数据的高概率批准规则。我们研究了持续的 Harness 修订如何影响知识共享和组织工作流程，并探讨了对科学可靠性、物理安全和机构问责制的影响。来自以往工作的案例展示了模型－Harness 协同设计、分布式执行和插件重用。可靠部署需要随着任务分布和评估者的变化进行持续验证，并对学习、运行时权限和后续操作设置独立的保障措施。我们提供了一份涵盖相关工作、理论、算法、评估、应用及 Harness RSI 更广泛影响的 66 页全面讨论，并附有不断更新的代码和补充材料，链接见此 https URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*智能体（agent）在部署后如何持续适应动态变化的任务与环境，而无需重新训练或修改底层模型权重\*\*的问题。具体而言，论文围绕以下核心议题展开： \*\*1. 核心问题：部署后的持续自适应\*\* 传统上，模型能力的提升主要依赖权重再训练或微调，但这在成本、可解释性和部署灵活性上存在局限。论文提出，智能体的软件脚手架（harness）——包括提示词、记忆、工作流、可执行组件及其控制逻辑——应成为自适应的主要载体，通过执行反馈不断自我修订，从而使固定权重的模型获得持续演化的行为能力。 \*\*2. 形式化定义与分类框架\*\* 论文试图为这一领域建立严格的理论基础与术语体系： - 将 harness 自进化形式化为一个\*\*反馈驱动的持久化生命周期\*\*：

Hk = Update(H(k-1), B_k)
，其中被接受的修订会在后续运行中加载并继承。 - 区分两类更新目标： - **解释状态更新（interpreted-state updates）**：如指令、提示词、持久记忆、任务级协调流程的修订； - **可执行修订（executable revisions）**：如工具/代码补丁、仓库级运行时控制逻辑、插件组合与替换。 - 将更新目标（what is modified）与候选提案机制（proposal）及准入机制（admission）解耦，以便独立分析各组件。 **3. 进化搜索与可靠性理论** 论文试图为 harness 自进化提供可证明的可靠性保证，而非仅依赖经验性选择： - 将 harness 搜索映射到**进化算法结构**（如 (1+1) -ES、档案搜索、多目标选择、质量多样性方法等），分析其变异、评估与选择机制。 - 从**持续 PAC 学习**视角，在显式采样与稳定性假设下，推导： - **期望泛化界**（expected generalization bound）：控制经验收益在新任务上的期望 gap； - **保持界**（retention bound）：在回归预算约束下，限定历史能力的累积遗忘； - **高概率准入规则**：要求基于新鲜、独立验证数据的比较，以控制过拟合与虚假改进。 **4. 系统影响、知识传播与安全边界** 论文进一步探讨持久化修订带来的系统性后果： - 分析修订状态在**个人工作空间、企业自动化、科学发现、机器人交互、公共服务与临床系统**中的传播方式与修复负担； - 强调**分布漂移与评估器漂移**下的持续验证需求； - 提出独立的安全控制建议：将紧急停止、力/速度限制、授权检查等置于不可编辑的表面之外，并记录决策版本与准入历史以支持问责。简言之，该论文试图建立一个**固定模型权重下，以软件 harness 为对象的自进化理论与工程框架**，涵盖其形式定义、分类学、进化优化与统计学习理论、以及广泛的社会技术影响。 Q2: 有哪些相关研究？根据论文内容，相关研究可按照**理论基础**、**解释状态更新**、**可执行组件修订**、**插件与运行时架构**、**进化搜索范式**、**可靠性理论**、**垂直应用**以及**安全与评估**等维度梳理如下。 —- ### 1. 递归自我改进的经典基础这些工作奠定了“固定推理核心、可变控制程序”的思想源头： - **Good (1965)**：提出首个超智能机器的推测，涉及递归自我改进（RSI）的原始概念。 - **Lenat (1983)**：EURISKO 通过启发式规则修订实现领域概念的自主学习，属于早期 harness 自进化的先例。 - **Schmidhuber (2003)**：Gödel Machine 以证明驱动的自我重写为目标，是形式化自指涉自我改进的重要框架。 —- ### 2. 解释状态更新（Interpreted-State Updates）聚焦于提示词、上下文、记忆与工作流等“被解释状态”的修订与重用： - **Fernando et al. (2024)**：PromptBreeder，通过自我指涉的提示进化实现自我改进。 - **Agrawal et al. (2026)**：GEPA，利用反射式提示进化优化智能体表现。 - **Zhao et al. (2024)**：ExPEL，经验驱动的智能体学习，将历史交互转化为可复用经验。 - **Wang et al. (2025b)**：Agent Workflow Memory，针对工作流的记忆与复用。 - **Zhang et al. (2025b)**：AFlow，自动化生成智能体工作流。 - **Zhang et al. (2025a)**：MemEvolve，对智能体记忆系统进行元进化。 —- ### 3. 可执行组件与代码级修订（Executable Revisions）研究如何修改工具实现、代码补丁及仓库级运行时逻辑： - **Wang et al. (2024)**：Voyager，开放式具身智能体，通过技能库（skill library）存储可执行函数。 - **Yu et al. (2025)**：Polyskill，通过多态抽象学习可泛化技能。 - **Zhang et al. (2026a)**：Self-Harness，基于轨迹引导的 harness 自我改进。 - **Zhang et al. (2026d)**：HarnessCompass，引导自动 harness 进化以获得泛化性与有效性。 - **Lin et al. (2026)**：Agentic Harness Engineering，以可观测性驱动的编码智能体 harness 自动进化。 - **Hu et al. (2025)**：Automated Design of Agentic Systems，搜索完整智能体控制程序。 - **Robeyns et al. (2025)**：A self-improving coding agent，自改进编程智能体。 - **Lee et al. (2026b)**：Meta-Harness，端到端优化模型 harness。 - **Shen et al. (2026a)**：HarnessOpt / SkillOpt-Lite，将技能编辑扩展至运行时修订（如表格预览、输出检查与故障恢复）。 —- ### 4. 插件架构与“一切皆插件”（Everything Is a Plugin）关注通过接口、依赖约束与生命周期操作来组织组件替换： - **DeepSeek-AI (2026)**：DeepSeek Harness，定义内核级基板（substrate）与服务连接、挂载、替换机制。 - **Shen (2026)**：DSH Everything / EIP，在运行时生成、验证并挂载插件，支持工具的持续创建与复用。 - **Chen et al. (2026b)**：HarnessX，可组合、自适应且可进化的智能体 harness 工厂。 - **Li et al. (2026a)**：Argus，通用智能体推理运行时。 - **Zhang et al. (2026f)**：Autogenesis，自进化智能体协议。 - **Wu et al. (2026a)**：ModularRSI，模块化且可泛化的递归 harness 自我改进。 —- ### 5. 进化搜索与优化算法的对应论文将现有方法的搜索结构映射到进化算法（EA）家族： - ** (1+1) 精英搜索**：MCE（Ye et al., 2026）、SkillOpt（Yang et al., 2026）、SkillOpt-Lite（Shen et al., 2026a）、SkillClaw（Ma et al., 2026）。 - ** (1+λ) 精英搜索**：Self-Harness（Zhang et al., 2026a）。 - **基于档案的搜索**：DGM、DarwinX（Zhang et al., 2026b; 2026g）、HGM（Wang et al., 2025a）。 - **重组/交叉**：HarnessCompass、Self-Harness、MCE、Trace2Skill（Ni et al., 2026）。 - **质量-多样性（MAP-Elites）**：HarnessBank（Luo et al., 2026）。 - **合作协同进化**：HarnessCompass。 - **帕累托选择**：Meta-Harness（Lee et al., 2026b）、Self-Harness、SkillMOO（Gong et al., 2026）。 - ** bandit 引导的预算分配**：HGM（Wang et al., 2025a）。 —- ### 6. 可靠性、泛化与持续学习理论为 harness 自进化提供统计学习理论支持的研究： - **Chen et al. (2022)**：持续学习的记忆边界（Memory bounds for continual learning）。 - **Shalev-Shwartz et al. (2010)**：算法稳定性与一致收敛，用于链接任务敏感度与泛化。 - **Hoeffding (1963)**：有界随机变量的集中不等式，用于推导高概率准入规则。 - **Dwork et al. (2015a; 2015b)**：自适应数据分析中的泛化与可重用 holdout，防止候选构造与验证数据之间的自适应依赖。 - **Gan et al. (2026)**：Harness Evolution as Learning，分析自改进个人智能体的近似、泛化与优化极限。 - **Cai et al. (2026b)**：A Theory of Reliable Self-Evolution for Agent Harnesses。 —- ### 7. 垂直领域应用论文引用了 harness 自进化在多个高风险或高价值场景中的探索： - **个人与开发者工作空间**：Anthropic (2025; 2026) 的 Agent Skills 与 Claude Memory；GitHub (2026) 的 Copilot Memory。 - **企业自动化**：Skillforge（Liu et al., 2026）在云技术支持中构建领域特定自进化技能。 - **科学发现**：Coral（Qu et al., 2026）面向开放式多智能体自主发现；Fei et al. (2026) 对 AutoResearch 进行端到端诊断评估。 - **机器人与具身交互**：EMHO（Lee et al., 2026a）、RoboRSI（Wen et al., 2026）、Memory Transfer Planning（Kagaya et al., 2025）、EmbodiedSWE（Shen et al., 2026b）。 - **公共服务与临床系统**：MedAgentBench（Jiang et al., 2025）、AgentClinic（Schmidgall et al., 2024）、MCE（Ye et al., 2026）。 —- ### 8. 安全、评估与社会影响关注自进化系统的风险、评测方法与治理： - **奖励篡改与规范博弈**：Skalse et al. (2022) 定义奖励游戏（reward gaming）；Pan et al. (2024) 分析迭代自我优化中的自发奖励篡改；Baker et al. (2025) 监测推理模型的不当行为。 - **算法单一文化与系统性风险**：Kleinberg & Raghavan (2021)；Bommasani et al. (2022)。 - **记忆与提示注入风险**：Gadgil et al. (2026)；Zhang et al. (2026c)（SkillPoison）。 - **智能体误进化**：Shao et al. (2026)。 - **工具使用安全**：Doshi et al. (2026) 探讨 LLM 智能体工具使用的可验证安全性。 - **动态与纵向评估**：LiveBench（White et al., 2024）、LiveCodeBench（Jain et al., 2024）、Holistic Agent Leaderboard（Kapoor et al., 2026）、StressEval（Chen et al., 2026c）、LiveMedBench（Yan et al., 2026）。 —- ### 9. 模型–Harness 协同设计探讨 Q3: 论文如何解决这个问题？论文通过以下五个相互关联的层面解决智能体部署后的持续自适应问题，核心思路是**保持模型权重固定，将软件脚手架（harness）作为演化的首要对象**，并为其建立形式定义、分类学、优化理论与可靠性保证。 —- ### 1. 形式化定义：反馈驱动的持久化生命周期论文首先将 harness 定义为控制模型 M 在任务环境 E 中执行的全部软件与配置（提示词、记忆、工作流、工具、运行时控制等），并形式化其自进化生命周期：

τ(k,i) sim Run(M, H(k-1), E(k,i)), quad H_k = Update(H(k-1), Bk)
其中 B_k 为第 k 轮执行产生的轨迹、结果与反馈批次。该框架要求三个关键机制： - **操作反馈与更新连续性**：系统必须基于自身执行反馈算法式地构造或选择修订，并保留后续更新的能力； - **跨运行持久化**：被接受的修订必须被存储并在后续运行中加载，使早期经验影响后期行为； - **评估器不可编辑**：最终评估 J 必须位于 harness 的可编辑表面之外，防止规格操纵（specification gaming）。 —- ### 2. 操作分类学：按突变边界组织更新目标为澄清不同方法的修改范围，论文提出将更新目标按**突变边界**划分为两大类，而非按实现语言区分： - **解释状态更新（Interpreted-State Updates）**：修订被运行时解释的状态，包括系统指令、提示词、对话上下文、持久记忆记录、任务级工作流与拓扑。这类更新改变模型“看到”的内容，但不改变底层可执行能力。 - **可执行修订（Executable Revisions）**：改变实际运行的代码与逻辑，进一步细分为三类： 1. **组件实现（Tools and Code Patches）**：在固定接口下替换或新增可调用过程、技能库、代码补丁； 2. **仓库级与运行时逻辑（Repository and Runtime Logic）**：修改编排循环、上下文构建、调度、恢复、终止等控制逻辑； 3. **插件组合（Plugin Composition）**：通过声明式接口与生命周期操作挂载、替换或组合服务，涵盖内核定义的基板（substrate）与运行时生成的能力。这一分类将**更新目标**与**候选提案/准入机制**解耦，使得搜索策略和可靠性分析可以独立于具体被修改的工件进行。 —- ### 3. 进化搜索映射：将 Harness 优化表征为进化算法面对离散、不可微的指令与代码空间，论文将 harness 搜索映射到**进化算法（EA）**的四要素（表示、变异、评估、选择），并总结出八种算法对应结构及其代表性方法： - **精英 (1+1) 搜索**：MCE、SkillOpt、SkillClaw 等，通过历史信息指导单步变异； - ** (1+λ) 搜索**：Self-Harness 同时评估多个编辑； - **基于档案的搜索**：DarwinX、DGM、HGM 保留程序谱系用于后续父代选择与代码变异； - **重组/交叉**：DarwinX、HarnessCompass、MCE 等组合先前候选的互补材料； - **质量-多样性（MAP-Elites）**：HarnessBank 在语义档案格中保留局部精英； - **帕累托选择**：Meta-Harness、SkillMOO 在成本-性能前沿或多准则下进行准入； - **Bandit 引导预算分配**：HGM 使用汤普森采样分配搜索与评估预算。该映射揭示了现有方法的共同结构：它们均依赖经验适应度进行选择，因此必然面临**过拟合**与**遗忘**风险，从而需要下面的统计可靠性分析。 —- ### 4. 统计可靠性保证：持续 PAC 学习视角论文从算法稳定性与集中不等式出发，在显式采样假设下推导了三项核心保证： #### （a）期望泛化界假设每轮任务独立采样，利用 replace-one 稳定性定义敏感度系数 β(s,k) ，得到第 s 轮分布上期望风险的控制：

| E[Rs(H_k)] - E[R_s(H_k)] | ≤ β(s,k)
该界量化了完整更新过程（包括反馈、档案与选择）对任务替换的敏感程度。 #### （b）保持界（Retention Bound）记 F(s,k) = R_s(H_k) - R_s(H_s) 为遗忘量。若在历史回归预算 varepsilon(s,u) 约束下，每一后续转移满足 Rs(H_u) - R_s(H(u-1)) ≤ varepsilon_(s,u) ，则通过伸缩求和得到：

E[Rs(H_k)] ≤ E[R_s(H_s)] + β(s,s) + ∑(u=s+1)^(k) varepsilon(s,u)
该式表明：历史能力的保持取决于**单轮更新的稳定性**（ β_(s,s) ）与**各轮回归预算的累积**；后者需要独立的组级不确定性控制。 #### （c）高概率准入规则针对候选准入，论文要求在每轮基于**新鲜、独立的验证集** V_k （从历史任务混合分布中采样 m 个任务）进行成对比较。对最多 KT 个候选应用条件 Hoeffding 界与联合界，以至少 1-δ 的概率同时成立：

Delta_k(H’) ≤ Delta_k(H’) + √(2ln(KT/δ)) / (m)
其中 Delta_k(H’) 为真实风险差， Delta_k(H’) 为验证集上的经验差。**仅当该上界为负时才准入候选**，以此控制自适应选择带来的过拟合。若评估器与真实目标风险存在最大偏差 eta ，则目标风险改进的充分条件为：
Delta_k(H’) + √(2ln(KT/δ)) / (m) + 2eta < 0
—- ### 5. 系统设计与安全约束：持续验证与独立安全边界理论保证之外，论文针对持久化修订的传播特性提出系统级设计原则： - **持续验证**：由于任务分布与评估器会随时间漂移，必须建立时间戳任务、版本固定环境与难度校准机制，并在漂移后重新校准 eta 。 - **最小权限与隔离**：创建能力不应自动授予权威；运行时权限应时间受限、范围隔离。 - **不可编辑的安全边界**：将紧急停止、力/速度限制、授权检查、财务/物理上限等**置于 harness 可编辑表面之外**，作为独立的安全层。 - **版本关联与可问责性**：记录每条决策的规则版本、证据与准入历史，支持审查、回滚与补救。回滚仅能恢复软件状态，无法逆转物理伤害或已造成的权益损害，因此需配套组织级补救流程。简言之，该论文的解决方案是：**以形式化的 harness 生命周期为骨架，以解释/可执行分类为血肉，以进化算法与持续 PAC 学习理论为可靠性引擎，以独立安全控制与持续验证为社会技术防线**，从而在固定模型权重的前提下实现可控、可解释、可问责的智能体自我进化。 Q4: 论文做了哪些实验？论文中报告的实证研究主要集中在**模型–harness 配对效应**、**插件生成与复用的成本轨迹**以及**分布式执行的延迟权衡**三个方面，用以阐释 harness 自进化的实际表现与系统设计含义。需要说明的是，该工作以理论框架和系统分类为主，实验部分主要用于说明概念与权衡，而非建立大规模基准测试的绝对优势。 —- ### 1. HarnessOpt 在 SpreadsheetBench 上的准确性比较该实验将运行时修订（runtime revision）与技能编辑（skill editing）结合，检验 harness 进化能否让较小模型超越更大基线： - **设置**：在 SpreadsheetBench 上对比四种模型（GPT-5.4-nano、GPT-5.4-mini、GPT-5.4、GPT-5.5）在五种配置下的准确率（%）： - Initial（初始 harness） - SkillOpt（技能优化） - SkillOpt-Lite（轻量技能优化） - HO only（仅 HarnessOpt 运行时修订） - HO + skill（HarnessOpt 结合技能） - **关键结果**（Table 2）： - GPT-5.4-nano 配合 HarnessOpt + skill 达到 **77.58%**，超过 GPT-5.5 配合 SkillOpt 的 **76.20%**。 - 在所有四个模型上，HarnessOpt with skill 相比 SkillOpt-Lite 提升 **5.69–11.39** 个百分点。 - **解释边界**：论文明确指出，这种“交叉”（crossover）仅说明**模型–harness 配对**的现象，**并未在匹配成本条件下确立 harness 的优越性**。 —- ### 2. DSH Everything / EIP 在模拟办公工作负载中的工具生成与复用该实验展示“一切皆插件”（Everything Is a Plugin）架构下，智能体在运行时生成工具并在后续任务中复用的效果： - **任务**：模拟办公场景，不同地区电子表格语言和内容各异，但计算逻辑相似。Codex 插件在首次执行时生成批处理查找（batch-lookup）与汇总（summarization）工具。 - **首次任务成本**（Table 3a）： - 工具调用次数：从基线的 13 次降至 3 次。 - Token 消耗：从 41,119 增至 47,572（增加约 15.7%）。 - wall time：从 15.49 秒增至 24.00 秒（增加约 54.9%）。 - **累积节省轨迹**（Table 3b）： - 从第 2 个任务开始显现节省，至第 5 个任务累计节省 **110,351 tokens** 与 **22.97 秒**。 - 论文特别指出，首次任务的两种报告方式（first-task totals vs. cumulative row 1）存在未解释的差异（6,453 vs. 4,895 tokens；8.51 vs. 6.74 秒），因此**不能将两者简单拼接为单一成本轨迹**。 - **LiveBrowseComp 评估**（Table 4）： - XYZ + dsh-everything 得分 **51.39**，在 <40B 参数区间的 6 个条目中排名第一，在全部 11 个条目中排名第二。 - 论文再次强调，这些数字仅用于**说明潜在的复用节省与模型–harness 配对**，需要重复运行、匹配预算与匹配任务质量才能确立因果性的插件收益。 —- ### 3. 分布式客户端–边缘–云协同推理的延迟权衡（引用研究）为说明运行时修订对部署位置与通信成本的影响，论文引用了 Shen et al. (2023) 的固定部署研究： - **设置**：比较三种部署方式在混合负载（10% 分类、40% 图像描述、50% 视觉问答）下的系统延迟： - 仅客户端推理 + 云端规划（client-only inference with cloud planning） - 纯云端推理（cloud-only inference） - 纯边缘推理（edge-only inference），输入图像经无损压缩传输 - 客户端–边缘协同推理（client–edge co-inference），对专家网络进行划分并压缩任务相关特征 - **关键结果**（Figure 3）： - 在 **100–500 KB/s** 的网络速率范围内，**客户端–边缘协同推理（绿色曲线）的延迟最低**。 - 论文指出，未来研究应在匹配质量与隐私约束下，将 **harness 合成、验证与分发成本**纳入部署选择的比较中。 —- ### 4. 其他提及的验证性实践除上述直接报告的结果外，论文在分类与理论部分还引用了若干相关工作的实验设定作为佐证（如 Self-Harness、HarnessBank、MCE 等），但这些属于对已有文献的综述，而非本文新做的实验。更全面的评估讨论（包括纵向评估、动态基准与失败案例分析）被归入随附的 66 页技术报告中。 Q5: 有什么可以进一步探索的点？基于论文第6节及全文的讨论，以下从**理论扩展**、**算法设计**、**系统架构**、**评估验证**、**安全治理**与**社会技术影响**六个维度梳理可进一步探索的研究方向。 —- ### 1. 模型与脚手架的联合优化（Model–Harness Co-Design） - **预算匹配的跨维度比较**：在固定总成本下，系统比较模型选择、技能优化、运行时修订与权重更新的边际收益，区分哪些增益来自模型容量、哪些来自脚手架适配。 - **跨检查点的可迁移性**：测试冻结、迁移与重新进化的脚手架在不同模型检查点上的表现，以识别可迁移的 harness 增益与需要重新协同进化的部分。 - **更新顺序与能力保持**：研究权重更新与 harness 修订的交错顺序如何影响先前能力的保留（catastrophic forgetting in coupled systems）。 —- ### 2. 异构搜索空间的优化算法 - **离散-连续混合搜索**：当前 harness 搜索涉及离散代码编辑与连续参数（如温度、阈值）的混合空间，需要专门的进化或组合优化策略，而非直接套用标准遗传算法。 - **编辑约束下的结构化突变**：在仓库级逻辑修订中，如何设计满足语法、接口与依赖约束的变异算子，避免破坏共享状态或协调假设。 - **多目标与约束处理**：将延迟、成本、准确率、可解释性等多目标纳入 harness 进化，发展适用于智能体场景的约束满足与帕累托前沿维护方法。 —- ### 3. 插件全生命周期管理与复用经济学 - **复用盈亏平衡点**：精确测量在何种任务相似度、复用频率与接口稳定性条件下，插件生成与验证成本可被后续节省覆盖，包括维护与依赖更新成本。 - **组合行为验证**：局部有效的插件可能在组合后改变共享状态或触发非预期交互。需要发展针对插件组合的全局行为验证方法，而非仅测试单个组件。 - **接口演化与版本控制**：当插件接口随时间演化时，如何自动检测不兼容性、触发重验证或优雅退役（retirement）。 —- ### 4. 分布漂移与评估器漂移下的持续验证 - **非平稳环境的统计控制**：论文的准入规则依赖独立同分布假设。当任务分布 D_k 随时间漂移时，需要发展依赖感知的集中不等式或分组检验方法，处理相关会话（correlated sessions）与非可加性指标。 - **自适应验证的预算分配**：在以下三者之间分配有限验证预算—— - 校准漂移的参考任务集； - 候选准入的新鲜验证样本 V_k ； - 回归检查的保留任务集。这是一个开放的最优实验设计问题。 - **评估器偏差校准**：当外部评估器 J 发生变化时，需独立重新校准公式 (9) 中的最大偏差 eta ：

Deltak(H’) + √(2ln(KT/δ)) / (m) + 2eta < 0
防止准入决策因评审标准隐性漂移而失效。 —- ### 5. 安全边界与自修改系统的防御机制 - **有害技能泛化探测**：发展上下文移除测试（context-removal tests）与迁移测试，探测 evolved skills 在脱离原始训练上下文时是否产生有害泛化。 - **运行时强制约束**：将数据流分析与工具序列约束嵌入运行时，确保自修改后的 harness 仍满足预设的安全不变式（safety invariants）。 - **隔离、权限与时效控制**：遵循最小权限原则，研究能力创建与权限授予的分离机制，以及时性撤销（time-limited grants）在依赖关系变化时的自动传播。 - **防御评估指标**：建立攻击成功率、隔离时间、合法工作开销（overhead on legitimate work）三维指标，量化自修改系统防御的有效性。 —- ### 6. 分布式执行与边缘基础设施适配 - **端到端成本建模**：在比较客户端、边缘与云端部署时，将 harness 合成、验证、压缩与分发的通信成本纳入总成本函数，而非仅考虑推理延迟。 - **动态拓扑调整**：研究运行时修订如何改变最优的执行拓扑（如某组件应上移至边缘或下沉至客户端），并在网络条件变化时自适应调整。 —- ### 7. 理论扩展：稳定性、保持与泛化 - **稳定性系数 β(s,k) 的实例化**：论文给出了期望泛化界，但具体 harness 更新操作（如代码补丁、提示词重写）的稳定性系数如何估计或上界如何紧化，仍缺乏系统方法。 - **历史回归预算的自动监测**：当前保持界假设人为给定的回归预算 varepsilon_(s,u) 。需要在线监测机制以自动检测并约束单步转移中的能力退化。 - **非可加性度量**：当前理论假设损失在任务间可加。对于需要跨任务一致性或公平性约束的度量，需要独立的集中论证。 —- ### 8. 记忆、遗忘与知识传播 - **精确记忆编辑**：如何在持久记忆中定向擦除特定任务知识（unlearning）或更新过时事实，而不触发连锁遗忘。 - **多智能体与组织级 harness 传播**：研究共享技能库在企业或科学协作中的扩散动力学，以及局部工作异常如何演变为系统性算法单一文化（algorithmic monoculture）。 —- ### 9. 社会技术系统与治理框架 - **溯源与问责基础设施**：建立版本关联的决策日志系统，记录每条规则的准入历史、证据与修改者，支持事后审查与组织级补救（remediation）。 - **人类监督的经济学与界面设计**：在公共服务与临床场景中，如何设计专业人员验证修订的认知负荷最小化界面，并量化不同审查粒度下的错误拦截率。 - **物理后果不可逆性的法律与伦理框架**：针对机器人与临床系统，研究软件回滚无法逆转的物理伤害或权益损害的法律责任分配与保险机制。 Q6: 总结一下论文的主要内容该论文围绕**固定模型权重下的智能体软件脚手架（harness）自我进化**展开，提出形式定义、分类框架、统计可靠性理论及系统部署原则。主要内容可概括如下： —- ### 1. 核心问题与定义论文旨在解决智能体部署后如何持续适应变化的任务与环境，同时避免重新训练模型权重的问题。为此，论文定义 **Harness 自进化**为一个反馈驱动的持久化生命周期：

τ(k,i) sim Run(M, H(k-1), E(k,i)), quad H_k = Update(H(k-1), B_k)
其中，模型 M 固定， harness H 涵盖提示词、记忆、工作流、工具及运行时控制逻辑；被接受的修订持久保存并在后续运行中加载。 —- ### 2. 操作分类学：按突变边界划分更新目标论文将 harness 更新目标分为两大类，以厘清不同方法的修改范围： - **解释状态更新**：修订被运行时解释的状态，如系统指令、提示词、对话上下文、持久记忆、任务级工作流与拓扑。 - **可执行修订**：改变实际运行的代码与逻辑，进一步细分为： 1. **组件实现**（工具与代码补丁，在固定接口内替换模块）； 2. **仓库级与运行时逻辑**（编排循环、调度、恢复、终止等控制逻辑）； 3. **插件组合**（通过声明式接口挂载、替换或组合服务，运行时生成与验证新能力）。 —- ### 3. 进化搜索与可靠性理论论文将 harness 搜索映射到**进化算法**结构（如 (1+1) -ES、档案搜索、质量-多样性、帕累托选择等），并指出经验适应度选择必然面临过拟合与遗忘风险。为应对此问题，论文从**持续 PAC 学习**视角推导三项核心保证： - **期望泛化界**：利用算法稳定性，控制第 s 轮分布风险与经验风险之差的期望：

| E[Rs(H_k)] - E[R_s(H_k)] | ≤ β(s,k)

**保持界**：在历史回归预算 varepsilon(s,u) 约束下，限定后续轮次对第 s 轮能力的累积遗忘：
E[R_s(H_k)] ≤ E[R_s(H_s)] + β(s,s) + ∑(u=s+1)^(k) varepsilon(s,u)
**高概率准入规则**：要求基于新鲜独立验证集 V_k 进行成对比较，利用 Hoeffding 界与联合界，以至少 1-δ 概率保证：
Delta_k(H’) ≤ Delta_k(H’) + √(2ln(KT/δ)) / (m)
仅当该上界为负时准入候选。若评估器与目标风险存在最大偏差 eta ，则目标改进的充分条件为：
Delta_k(H’) + √(2ln(KT/δ)) / (m) + 2eta < 0
—- ### 4. 关键实证观察论文通过若干案例说明 harness 进化的实际效应，同时明确其说明性而非决定性： - **模型–harness 交叉**：在 SpreadsheetBench 上，GPT-5.4-nano 配合 HarnessOpt 与技能优化达到 **77.58%** 准确率，超过 GPT-5.5 配合 SkillOpt 的 **76.20%**，显示 harness 进化可弥补模型规模差距（但未在匹配成本下确立绝对优势）。 - **插件复用经济学**：在“一切皆插件”架构的模拟办公负载中，首次任务生成工具增加约 **15.7%** token 与 **54.9%** 耗时，但从第二个任务起开始节省，第五个任务累计节省 **110,351 tokens** 与 **22.97 秒**。 - **分布式延迟权衡**：引用客户端–边缘–云协同推理研究，说明 harness 配置变化需纳入部署位置与通信成本的综合考量。 —- ### 5. 系统影响、应用与安全边界论文分析持久化修订在五种场景中的传播与修复负担： - **个人工作空间**：便利与偏好持久化 vs. 临时变通成为持久规则的风险； - **企业自动化**：共享技能库的复用 vs. 算法单一文化与系统性相关错误； - **科学发现**：试验复用 vs. 规格操纵（specification gaming）在独立测量前的传播； - **机器人与具身交互**：技能复用 vs. 物理后果不可逆性； - **公共服务与临床系统**：可审查的规程更新 vs. 错误偏好固化为持久歧视规则。为此，论文提出设计原则： - **持续验证**：应对任务分布与评估器的漂移，拒绝复用已用于候选构造的数据进行准入检验； - **独立安全边界**：将紧急停止、力/速度限制、授权检查、财务/物理上限置于 harness **不可编辑表面**之外； - **可问责性**：记录决策版本、证据与准入历史，支持审查、回滚与组织级补救。 —- ### 6. 主要贡献论文的核心贡献可归纳为三点： 1. **定义与操作分类学**：建立 harness 自进化的形式化生命周期，并按突变边界系统分类解释状态与可执行更新目标。 2. **条件理论分析**：将 harness 搜索映射到进化结构，从稳定性与集中结果推导出期望泛化、有界累积回归及高概率准入的显式条件。 3. **系统含义与设计权衡**：分析修订传播与修复负担，连接案例至模型–harness 配对、部署与复用决策，强调持续验证与独立安全约束的必要性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Chuyang Wei,Haoxiang Guan,Minghang Zhu,Kexin Zhou,Jiyan He,Xiren Zhou,Huanhuan Chen,Yifei Shen

Categories:

PDF URL: https://arxiv.org/pdf/2610.18813.pdf

Arxiv URL: https://arxiv.org/abs/2610.18813

Arxiv ID: 2610.18813

CoolPaper URL: https://papers.cool/arxiv/2610.18813

Published: 2026-10-17T01:32:11.997Z

Updated: 2026-10-17T01:32:11.997Z

7. MJev-Spatial: System One Spatial Intelligence via Native Attention Matching

Abstract:Spatial intelligence lets an agent perceive and act in the physical world, and many of its judgments must be made at interaction rates: which spatial relation holds, how far an object is, or where to place it. Vision-language models (VLMs) produce these answers by free-form text generation, paying for autoregressive decoding and answer parsing even though the output space is compact: one of a few options, a scalar, or a 2D point. In light of this, we introduce MJev-Spatial, a System 1 multimodal decision model that tackles all three types of spatial understanding tasks within a unified classification framework. Specifically, MJev-Spatial treats each candidate as a class and scores it using the backbone’s pretrained query and key projections, without adding parameters. The candidates are the given options for choice tasks, or value bins and image regions refined through coarse-to-fine classification for numerical and point prediction, respectively. At inference, each classification decision takes a single forward pass and generates no answer tokens. To train on heterogeneous spatial data efficiently, we supervise all coarse-to-fine stages jointly with teacher forcing in one forward pass, and combine this with length-aware global batching and cross-GPU load balancing, raising training throughput by 30.8% over the original batching strategy. Built on Qwen3.5-4B and trained on 12.3M question-answer pairs converted from existing spatial datasets, MJev-Spatial achieves the highest overall score (65.64%) among eight tested models, ranks first on seven of twelve benchmarks, and outperforms its unmodified autoregressive base model on all twelve, while running 2.5 times faster than the fastest autoregressive baseline and 5.6 times faster than the base model.

中文摘要

摘要：空间智能使智能体能够感知和在物理世界中行动，并且其许多判断必须在交互速率下完成：例如，哪个空间关系成立、物体有多远，或者将其放置在哪里。视觉-语言模型（VLMs）通过自由形式的文本生成来产生这些答案，但即使输出空间很紧凑（几个选项中的一个、一个标量或一个二维点），也需要付出自回归解码和答案解析的代价。有鉴于此，我们提出了 MJev-Spatial，这是一种 System 1 多模态决策模型，可以在统一的分类框架内处理所有三类空间理解任务。具体来说，MJev-Spatial 将每个候选项视为一个类别，并使用主干网络的预训练查询和键投影对其进行评分，而无需增加参数。候选项可以是选择任务给定的选项，或者通过粗到细分类细化的数值和图像区域，用于数值预测和点预测。推理时，每个分类决策只需一次前向传播，并且不生成答案标记。为了高效地在异构空间数据上训练，我们在一次前向传播中通过教师强制联合监督所有粗到细阶段，并结合考虑长度的全局批处理和跨 GPU 负载平衡，使训练吞吐量比原始批处理策略提高了 30.8%。基于 Qwen3.5-4B 并在从现有空间数据集转换的 1230 万问答对上训练，MJev-Spatial 在测试的八个模型中获得最高整体得分（65.64%），在十二个基准中七个排名第一，并且在所有十二个基准上都超过了未修改的自回归基础模型，同时运行速度比最快的自回归基线快 2.5 倍，比基础模型快 5.6 倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22276 (HTTP 429)

Authors: Luozheng Qin,Yuhan Zhu,Changhai Zhou,Qian Qiao,Jun Gao,Yuhua Zhou,Harry Zhang,Xiangyu Zeng,Yuxuan Liu,Kaijie Chen,Andrew Chen,Pony Ma

Categories:

PDF URL: https://arxiv.org/pdf/2610.22276.pdf

Arxiv URL: https://arxiv.org/abs/2610.22276

Arxiv ID: 2610.22276

CoolPaper URL: https://papers.cool/arxiv/2610.22276

Published: 2026-10-17T01:32:12.018Z

Updated: 2026-10-17T01:32:12.018Z

8. Learning Where to Split: Dynamic Band Splitting for Audio Source Separation

Abstract:Audio source separation models must preserve fine spectral structure while keeping the cost of the separator tractable. Band-split architectures reduce this cost by manually partitioning the spectrum into predefined frequency bands and encoding each band as a token, but the same boundaries are used for every mixture. Because informative spectral structure varies with source content, fixed boundaries can merge discriminative components or spend tokens where little resolution is needed. We introduce Dynamic Band Splitting (DBS), an end-to-end framework that adapts boundary locations and band widths to each mixture under a fixed band-token budget. DBS predicts content-conditioned boundary scores within frequency blocks, selects a prescribed number of boundaries using hard Top-$K$, and applies content-dependent pooling to obtain compact band tokens. After separation, it smooths and expands these tokens to the original STFT grid, refines them along frequency, and decodes complex masks with a frequency-shared head. DBS improved separation over the corresponding static models on DnR v2, MUSDB18-HQ, and EchoSet, with DBS-BSRNN achieving relative gain of 29.0% in average SI-SDR on DnR v2. These results and boundary analyses on DnR v2 show that content-adaptive frequency partitioning benefits multiple separator backbones under a fixed band-token budget. Code and audio demos are available at this https URL

中文摘要

摘要：音频源分离模型必须在保持分离器成本可控的同时，保留精细的频谱结构。带分割架构通过将频谱手动划分为预定义的频带并将每个频带编码为一个标记，从而降低了成本，但相同的边界用于每个混合信号。由于有信息量的频谱结构随源内容而变化，固定边界可能会合并区分性成分或在不需要高分辨率的地方浪费标记。我们提出了动态带分割（DBS），这是一个端到端框架，可以在固定的带-标记预算下，根据每个混合信号调整边界位置和带宽。DBS在频率块内预测内容条件化边界分数，使用硬Top-$K$选择规定数量的边界，并应用内容依赖的池化以获得紧凑的带标记。分离后，它将这些标记平滑并扩展到原始的STFT网格上，在频率方向上进行精细化，并通过共享频率的头部解码复数掩码。DBS在DnR v2、MUSDB18-HQ和EchoSet上相较于对应的静态模型提高了分离效果，其中DBS-BSRNN在DnR v2上的平均SI-SDR相对提升了29.0%。这些结果以及对DnR v2的边界分析表明，在固定的带-标记预算下，内容自适应频率划分有利于多个分离器骨干网络。代码和音频演示可通过此https URL获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*音频源分离中固定频带划分与输入信号频谱内容不匹配\*\*的问题，核心动机与目标可概括如下： ### 核心问题 - \*\*固定频带划分的局限性\*\*：现有基于频带分割（band-split）的分离模型（如BSRNN、BS-RoFormer等）采用\*\*人工预定义且对所有输入共享\*\*的频率边界。这些静态边界将频谱压缩为固定数量的频带token，以降低后续分离器的计算开销。 - \*\*内容相关的分辨率错配\*\*：然而，不同混合信号（mixture）中信息丰富的频谱结构位置与密度是变化的。固定边界可能导致两种低效情形： 1. \*\*过度压缩\*\*：一个较宽的频带可能将多个具有判别性的频谱成分合并到同一个token中，损失精细结构； 2. \*\*资源浪费\*\*：在信息贫乏的频段使用过多的细粒度频带，消耗了本可用于关键区域的固定token预算。 ### 研究目标在\*\*固定频带token预算\*\*（即不增加分离器序列长度与计算成本）的约束下，使频率边界的\*\*位置与宽度能够根据每个输入混合信号的声学内容自适应调整\*\*，从而优化频谱分辨率的分配，提升分离性能。简言之，论文挑战的是：\*\*如何在计算成本可控的前提下，让模型学会“在哪里分割频谱”，而非依赖人工预设的固定布局\*\*。 Q2: 有哪些相关研究？该论文的相关研究主要集中在以下两个方向： ### 1. 基于频带分割（Band-Split）的音频源分离这类方法通过将频谱划分为子带来降低全频率轴处理的计算开销，并在子带内及子带间建模依赖关系： - \*\*早期时频方法\*\*：如 Open-Unmix 和 TF-GridNet，直接在时频域进行分离，显式利用频谱结构，但对高分辨率频谱进行全频带处理的计算成本较高。 - \*\*BSRNN (Band-Split RNN)\*\*：Luo & Yu (2023) 首次提出将混合信号的非均匀频谱手动划分为若干频带，将每个频带映射为固定维度的 token，再分别建模时序依赖与频带间交互。 - \*\*后续扩展架构\*\*：包括 BS-RoFormer、Mel-Band RoFormer 以及 TIGER 等，它们基于类似的频带分割思想，但采用了不同的子带表示方式与跨频带建模模块（如 RoPE Transformer）。 - \*\*SCNet\*\*：通过分层编解码器整合子带特定的压缩与上采样阶段及跳跃连接。 \*\*共同局限\*\*：上述方法均将频率布局视为模型级的结构性先验——频带边界与宽度在训练前由人工指定，并对所有输入共享，无法根据具体混合信号的频谱内容进行调整。 ### 2. 自适应频谱表示与频率资源分配这类研究致力于放松固定频谱前端的约束，或在模型内部实现输入相关的计算分配： - \*\*可学习滤波器组\*\*：如 Dai et al. (2023) 提出的方法，在训练过程中优化频谱分析前端，替代固定的 STFT 或 Mel 滤波器组。 - \*\*频谱特征压缩 (SFC)\*\*：Saijo & Bando (2026) 利用基于交叉注意力（Cross-Attention）或 Mamba 的共享序列建模模块，取代固定的频带分割编码器，实现输入自适应的频谱特征压缩。 - \*\*稀疏门控混合专家模型 (Sparse MoE)\*\*：Wang et al. (2022) 利用 MoE 在分离质量、语音失真与计算成本之间进行权衡；TF-MoE (Hu et al., 2026) 则进一步沿时间轴与频率轴进行专家路由。 \*\*与本文 DBS 的区别\*\*：上述方法或在特定模型内部调整频谱表示，或调整计算路径。相比之下，\*\*动态频带分割 (DBS)\*\* 的核心差异在于：在保持频带数量（token budget）固定不变的前提下，学习\*\*输入相关的连续频带边界位置\*\*；其边界预测器与分离器进行端到端联合优化，同时在重建阶段保留原始 STFT 网格以保证全分辨率输出。 Q3: 论文如何解决这个问题？论文提出 \*\*Dynamic Band Splitting (DBS)\*\*，一种在固定频带 token 预算下，为每个输入混合信号学习自适应频率划分的端到端框架。其解决思路可分解为以下四个核心阶段： --- ### 1. 固定块约束下的动态边界预测 DBS 首先将 STFT 频谱的频率轴划分为 R 个\*\*固定的、互不重叠的频率块\*\* F_r_(r=1)^R （例如论文采用 4 个块），并为每个块 r 分配固定的频带预算 J_r ，使得总预算 J = ∑_(r=1)^R J_r 对所有输入保持不变。在每个块内部，边界位置是输入相关的： - \*\*特征提取\*\*：对每个块 r 的复数谱图 $X\_r = X

F_r, :
∈ C^(F_r × T) ，预测器通过时序卷积提取谱时特征，并计算每频点的三个幅度统计量（时序均值、峰值均值比、标准差均值比）。 - 上下文聚合：利用 BiLSTM 将融合后的特征汇总为每个频点的上下文向量 h_r(f) ∈ R^d 。 - 边界分数：对每个候选边界位置 f > f_r^(min)$，边界得分由特征差异项和幅度变化项组成：
u_r(f) = u_r^(feat)(f) + 0.15 , u_r^(mag)(f)

**边界概率**：经可学习的尺度 τ_r 与位置偏置 β_r(f) 校准后，输出概率：
p_r(f) = σ!( τ_r ( u_r(f) - 0.5 ) + β_r(f) )
**硬边界选择**：固定每个块的起始频点为边界，并通过 **Hard Top-K** 从内部候选位置中选取概率最高的 Jr - 1 个边界：
B_r = f_r^(min) ∪ TopK!( p_r(f)(f ∈ Fr setminus f_r^(min)), , J_r - 1 )
这确保了每个块恰好产生 J_r 个**连续且宽度可变**的频带，而总 token 数 J 恒定。 —- ### 2. 内容相关的频带 Token 化由于选出的频带宽度各异，需将其池化为固定维度 D 的 token，以供分离器处理： - **频点编码**：将实部与虚部堆叠后，通过编码器 E_r 将每个时频点映射为特征 U_r(f, t) ∈ R^D 。 - **内容加权池化**：对每个频带 S(r,j) = f ∈ Fr : s_r(f) = j ，计算基于时间平均特征的归一化权重 α(r,j)(f) ，并进行加权求和：

Z(r,j)(t) = ∑(f ∈ Sr,j) α(r,j)(f) , Ur(f, t) ∈ R^D
由此，无论频带实际覆盖多少 STFT 频点，每帧均输出一个 D 维 token。将各块 token 按频率顺序拼接后，得到固定长度序列 Z ∈ R^(J × T × D) ，可输入任意频带分割分离骨干（如 BSRNN、TIGER、BS-RoFormer 等）。 —- ### 3. 全分辨率重建：扩展、平滑与细化分离器输出分离后的频带特征 Z^(sep) ∈ R^(J × T × D(sep)) 后，DBS 需将其恢复至原始 STFT 网格以估计复数掩码： - **概率引导平滑**：为避免在频带边界处产生阶跃式突变，利用各频带内平均边界概率 p_(r,j) 对相邻 token 进行递归插值平滑：

Z(r,j)(t) = p(r,j) Z^(sep)(r,j)(t) + (1 - p(r,j)) Z(r,j-1)(t)
较高的边界概率保留更多当前频带信息，较低概率则更多继承前一带信息。 - **硬分配扩展**：依据编码阶段的硬划分 s_r(f) ，将平滑后的 token 复制到对应的所有 STFT 频点：
Z^e_r(f, t) = Z(r, s_r(f))(t)

**频率细化**：由于扩展后的特征在同一带内完全相同，采用残差频率方向模块（depthwise + pointwise 卷积）混合邻频特征，生成 refined 特征 H_r 。 - **频率共享掩码预测**：通过共享的解码器头将 H_r(f,t) 映射为各源的掩码参数，经门控机制与源一致性投影后，得到全分辨率复数掩码 M_k ∈ C^(F × T) ，最终通过逆 STFT 还原波形。 —- ### 4. 端到端训练策略 Hard Top-K 的离散选择会阻断梯度回传，DBS 采用以下策略实现联合优化： - **直通估计器 (Straight-Through Estimator, STE)**：前向传播使用硬划分 Z^e_r(f) ，反向传播则通过局部软分配 Z^(soft)_r(f) 传递梯度：

Z^(STE)r(f) = Z^e_r(f) + Z^(soft)_r(f) - sg!( Z^(soft)_r(f) )
其中 sg(·) 为停梯度算子，使前向值保持硬分配，而梯度流经软分配的局部替代路径。 - **置信度路径 (Confidence Path)**：进一步引入基于边界置信度 c_r(f) 的梯度路径，为边界概率提供直接的训练信号，而不改变前向特征值。 - **边界密度正则化**：为控制软边界概率的整体密度，定义压缩比正则项：
L(ratio) = (1) / (R) ∑(r=1)^R ( (1) / (F_r) ∑(f ∈ Fr) p_r(f) - (1) / (rho_r) )^2
联合损失为 L = L(sep) + λ(ratio) L(ratio) ，其中 L(sep) 为任务相关的分离损失。 —- ### 总结 DBS 的核心创新在于**将频谱分辨率分配与分离器的 token 预算解耦**：通过固定频率块保证计算开销可控，通过内容相关的边界预测与 Hard Top-K 实现“在哪里分割”的自适应学习，再通过内容加权池化与全分辨率重建保持分离与重建质量。这一设计可即插即用地集成到多种现有频带分割骨干网络中。 Q4: 论文做了哪些实验？论文在三个基准数据集上进行了系统评估，涵盖分离性能对比、动态边界效应隔离、设计消融以及边界行为分析。具体实验内容如下： —- ### 1. 实验设置 - **数据集** - **DnR v2**：电影音效分离（音乐、语音、音效三声部），44.1 kHz，0–22.05 kHz 频带。 - **MUSDB18-HQ**：音乐分离（人声、鼓、贝斯、其他），44.1 kHz。 - **EchoSet**：双说话人语音分离（含噪声与混响），16 kHz，0–8 kHz 频带。 - **骨干网络**：BSRNN、TIGER、BS-RoFormer、MelRoFormer。 - **预算控制**：所有 DBS 模型均使用 **4 个固定频率块** 与 **固定频带 token 预算**（DnR v2 和 MUSDB18-HQ 为 128 tokens；EchoSet 为 67 tokens）。 —- ### 2. 分离性能对比（跨数据集与骨干网络） #### (1) DnR v2（表 1）在 128 频带设置下，DBS-BSRNN 与 DBS-TIGER 相较于对应的静态模型全面提升 SI-SDR： - DBS-BSRNN：平均 SI-SDR 从 7.69 dB 提升至 **9.07 dB**（相对增益 29.0%）。 - DBS-TIGER：平均 SI-SDR 从 8.74 dB 提升至 **10.13 dB**。 #### (2) MUSDB18-HQ（表 2）在单模型联合估计四声部的设置下： - DBS-BSRNN：平均 SDR 从 5.09 dB 提升至 **5.43 dB**。 - DBS-BS-RoFormer：平均 SDR 从 4.50 dB 提升至 **6.34 dB**（增益最大）。 - DBS-MelRoFormer：平均 SDR 从 7.25 dB 提升至 **8.07 dB**。 #### (3) EchoSet（附录 H，表 9） - DBS-BSRNN：SDRi 提升 0.46 dB，SI-SDRi 提升 0.43 dB。 - DBS-TIGER：SDRi 提升 0.33 dB，SI-SDRi 提升 0.31 dB。 —- ### 3. 隔离动态边界效应的实验 #### (1) 不同频率划分策略的对比（表 3）在 DnR v2 上使用 BSRNN 分离器与 128 频带预算，对比了： - 静态 BSRNN（128） - **均匀划分**（Uniform） - **Mel 频带**（Mel bands） - **可学习滤波器组**（Learnable filterbank） - **DBS-BSRNN** 结果表明，DBS-BSRNN（9.07 dB）显著优于均匀划分（8.00 dB）与 Mel 频带（5.87 dB），而可学习滤波器组表现极差（-11.72 dB）。 #### (2) 推理时边界替换（附录 I，表 10）将训练好的 DBS-BSRNN 的预测边界替换为： - **均匀边界**：平均 SI-SDR 降至 7.80 dB。 - **BSRNN 静态布局**：平均 SI-SDR 降至 8.62 dB。 - **学习到的 DBS 边界**：保持 9.07 dB。验证了在模型权重固定的情况下，仅边界位置的输入适应性即可影响分离质量。 #### (3) 边界适应性分析（图 5）在 64 个 DnR v2 测试样本上分析了边界的变化性： - **跨混合信号**：所有 64 个中心窗口均产生不同划分。 - **时序适应性**：相邻窗口间的边界发生显著变化（替换率中位数最高达 B4 块的约 46%）。 - **确定性**：对相同输入重复推理产生完全一致的边界，证明变化源于输入条件而非随机性。 —- ### 4. 设计消融实验（DBS-BSRNN on DnR v2） #### (1) 块结构消融（表 4）在总预算 128 不变的情况下，比较频率块数量： - **1Block**：平均 SI-SDR 仅 6.30 dB（边界集中于低频，高频过度稀疏）。 - **2Block**：8.32 dB。 - **4Block（完整 DBS）**：**9.07 dB**。证明按块分配预算对全频谱覆盖至关重要。 #### (2) 边界预测器消融（表 5） - **Magnitude-only predictor**（移除可学习谱特征）：跌至 6.93 dB。 - **w/o explicit energy**（移除显式能量描述符）：跌至 8.50 dB。 - **w/o acoustic transition prior**（移除相邻幅度变化先验）：暴跌至 4.09 dB。 - **w/o confidence path**（移除置信度梯度路径）：跌至 7.53 dB。 #### (3) 频率重建消融（表 5） - **w/o frequency refinement**（移除扩展后的频率细化模块）：从 9.07 dB 暴跌至 **3.92 dB**，其中音乐与音效损失最大。 —- ### 5. 边界行为的深入分析（附录 K） - **跨样本边界分布**（图 8、图 9）：B2 块边界相对稳定（替换率低），而 B4 块边界在不同样本间变化最剧烈。 - **时序边界演化**（图 10）：在单个录音的连续窗口中，边界位置随声学内容变化而重新分配，但每窗口的 token 预算保持不变。 - **频谱上下文中的边界**（图 11）：将预测边界叠加在输入功率谱上，显示边界位置与频谱形状存在输入相关的对应关系，但并非简单的峰值对齐。 —- ### 6. 可学习滤波器组基线的诊断（附录 J）为解释表 3 中可学习滤波器组的失败，论文补充了： - **身份重建测试**（表 11）：该前端的分析-合成路径引入严重失真（SNR = -42.5 dB），而 STFT 对照组接近完美重建。 - **滤波器分布分析**（图 7）：1025 个配对滤波器中 923 个峰值响应低于 1 kHz，高频覆盖不足，且相邻滤波器频率顺序混乱，与频带分割架构假设的频率有序性不兼容。 Q5: 有什么可以进一步探索的点？基于论文的局限性与实验发现，以下几个方向值得进一步探索： —- ### 1. 可变频带预算与自适应计算复杂度论文指出，初步尝试的可变预算变体倾向于选择允许的最大频带数，表明需要显式的复杂度约束。未来可探索： - 引入**显式的计算预算正则化**（如基于 Gumbel-Softmax 或强化学习的成本感知路由），使模型在分离质量与计算量之间进行动态权衡。 - 设计**分层或按需分配**机制，根据输入复杂度（如重叠源数量、信噪比）自动调整总频带数，而非严格固定 J 。 —- ### 2. 窗内细粒度自适应与时序连续性当前 DBS 为每个推理窗口预测**单一**频率划分，且窗口内所有时间帧共享同一边界： - **时间-频率联合自适应**：在窗口内部沿时间轴动态调整边界，以跟踪快速变化的频谱内容（如瞬态打击乐或快速切换的对话场景）。 - **跨窗口边界平滑**：当前相邻窗口的边界可能突变（图 10），可引入时序一致性约束或滑动窗口记忆机制，减少输出在块边界处的潜在不连续性。 —- ### 3. 可微边界选择机制的改进论文采用 Hard Top-K 与 Straight-Through Estimator（STE）处理离散边界选择： - 探索**完全可微的松弛策略**，如连续排序（SoftTopK）、最优传输或概率采样，以替代 STE，可能提升梯度稳定性与边界学习效率。 - 研究**边界分布的结构性先验**（如基于源谐波结构的约束），使学习到的划分不仅依赖数据驱动，也融合声学物理知识。 —- ### 4. 跨任务与多通道扩展 - **其他音频任务**：将动态频带分割迁移至音频超分辨率、语音增强、声学场景识别等任务，验证其作为通用时频表示范式的有效性。 - **多通道/空间音频**：在立体声或多通道设置中，探索联合利用空间线索与频谱内容的边界预测，或设计各通道独立/共享的自适应策略。 —- ### 5. 计算效率与轻量化解耦当前 DBS-BSRNN 的 MACs 高于静态基线（DnR v2 上从 76.6 G/s 增至 124.0 G/s）： - **轻量化边界预测器**：如用 Mamba 或线性注意力替代 BiLSTM，降低预测器的时序建模开销。 - **频率块结构的自动搜索**：通过神经架构搜索（NAS）自动确定块数量与位置，替代人工设定的四块结构，以在特定硬件约束下优化效率。 —- ### 6. 边界可解释性与语义对齐论文观察到边界位置与频谱形状相关，但未建立显式的语义对应： - **量化边界与声源频谱特征的对应关系**：例如，分析边界是否倾向于对齐特定源的基频、谐波或共振峰。 - **可控划分**：引入条件输入（如指定分离目标类型），使模型生成对该目标最优的频率划分，实现任务条件化的频谱分辨率分配。 —- ### 7. 与神经音频编解码器的结合论文指出可学习滤波器组与频带分割架构存在兼容性难题（附录 J）。未来可探索： - 将 DBS 与**神经音频编码器**（如 SoundStream、EnCodec）结合，在潜空间中直接进行动态子带分割与源分离，而非基于 STFT 网格。 - 设计保持频率顺序约束的可学习前端，使频带分割的拓扑假设与数据驱动滤波器协同工作。 Q6: 总结一下论文的主要内容该论文围绕音频源分离中频带分割架构的固定频率划分问题，提出了动态频带分割框架（Dynamic Band Splitting, DBS），并在多数据集与多骨干网络上验证了其有效性。主要内容可概括如下： —- ### 1. 研究动机基于频带分割的源分离模型（如 BSRNN、BS-RoFormer、TIGER 等）通过将 STFT 频谱压缩为固定数量的频带 token 来降低计算成本。然而，现有方法采用**人工预定义且对所有输入共享**的频率边界，导致频谱分辨率的分配与输入内容脱节：在信息丰富的区域可能因频带过宽而损失判别性结构，在信息贫乏的区域则可能浪费有限的 token 预算。论文旨在解决**如何在固定频带 token 预算下，根据每个混合信号的声学内容自适应地分配频率分辨率**的问题。 —- ### 2. 方法：Dynamic Band Splitting (DBS) DBS 是一个端到端框架，可在不改变分离器序列长度（固定 J 个频带 token）的前提下，为每个输入学习混合相关的频率划分。其核心流程包括： - **固定块与动态边界**：将频率轴划分为 R 个固定的频率块（如 4 个），每块分配固定的频带预算 J_r ，满足 J = ∑(r=1)^R J_r 。在每个块内，边界预测器提取谱时特征与幅度统计量，计算每个候选频点的边界概率：

pr(f) = σ!( τ_r ( u_r(f) - 0.5 ) + β_r(f) )
随后通过 **Hard Top-K** 从每块中精确选取 J_r - 1 个内部边界，形成连续且宽度可变的频带：
B_r = f_r^(min) ∪ TopK!( p_r(f)(f ∈ F_r setminus f_r^(min)), , J_r - 1 )

**内容相关的频带 Token 化**：对每块内的可变宽度频带，通过可学习的加权池化将频点特征聚合为固定维度 D 的 token：
Z(r,j)(t) = ∑(f ∈ Sr,j) α(r,j)(f) , Ur(f, t)
由此生成固定长度的 token 序列 Z ∈ R^(J × T × D) ，可输入任意频带分割分离骨干（如 BSRNN、TIGER、BS-RoFormer、MelRoFormer）。 - **全分辨率重建**：分离器输出 Z^(sep) 后，依次经过**概率引导平滑**（利用边界概率软化频带间跳变）、**基于硬划分的 Token 扩展**（恢复至原始 STFT 网格）、**频率方向细化**（残差卷积混合邻频特征），最终由频率共享的解码头预测各源的复数掩码 M_k ，通过逆 STFT 还原目标波形。 - **端到端训练**：由于 Hard Top-K 的离散性，前向传播使用硬划分，反向传播则通过 **Straight-Through Estimator (STE)** 与**置信度路径**将梯度回传至边界预测器。联合优化目标包含分离损失与边界密度正则项：
L = L(sep) + λ(ratio) L(ratio)
—- ### 3. 实验验证论文在三个具有不同频谱特性的基准上进行了评估： - **DnR v2**（电影音效，0–22.05 kHz）：DBS-BSRNN 相比静态 128 频带 BSRNN，平均 SI-SDR 从 7.69 dB 提升至 **9.07 dB**（相对增益 29.0%）；DBS-TIGER 从 8.74 dB 提升至 **10.13 dB**。 - **MUSDB18-HQ**（音乐四声部）：DBS-BSRNN、DBS-BS-RoFormer、DBS-MelRoFormer 均优于对应的静态模型，其中 DBS-BS-RoFormer 的平均 SDR 提升达 **1.84 dB**。 - **EchoSet**（双说话人，0–8 kHz）：DBS-BSRNN 的 SDRi 提升 0.46 dB；DBS-TIGER 的 SDRi 提升 0.33 dB。 —- ### 4. 关键分析与消融 - **动态边界的必要性**：将训练好的 DBS-BSRNN 在推理时替换为均匀边界或静态 BSRNN 布局，性能显著下降（分别从 9.07 dB 降至 7.80 dB 与 8.62 dB），证明边界位置的输入适应性本身即可带来分离增益。 - **块结构**：将四块结构压缩为单块时，平均 SI-SDR 从 9.07 dB 暴跌至 6.30 dB，说明按块分配预算对防止边界聚集于局部频谱至关重要。 - **预测器组件**：移除声学过渡先验或置信度路径均导致性能显著下降；仅使用幅度统计量而无学习特征时，平均 SI-SDR 下降 2.14 dB。 - **频率细化**：移除扩展后的频率细化模块，性能从 9.07 dB 降至 3.92 dB，表明在掩码预测前恢复并细化全分辨率特征不可或缺。 - **边界行为**：在 64 个测试样本上，所有中心窗口均产生不同划分，相邻时窗的边界亦发生变化（替换率最高达 46%），且对相同输入的重复推理完全确定，验证了边界的内容条件性与确定性。 —- ### 5. 结论 DBS 在固定频带 token 预算的硬约束下，通过联合学习输入相关的频率边界与分离模型，实现了频谱分辨率的内容自适应分配。该方法可即插即用地集成于多种频带分割骨干，并在音乐、语音及环境声分离任务上均取得一致且显著的性能提升。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Bingzhe Zhang,Kai Li,Xiaolin Hu

Categories:

PDF URL: https://arxiv.org/pdf/2610.14993.pdf

Arxiv URL: https://arxiv.org/abs/2610.14993

Arxiv ID: 2610.14993

CoolPaper URL: https://papers.cool/arxiv/2610.14993

Published: 2026-10-17T01:32:12.263Z

Updated: 2026-10-17T01:32:12.263Z

9. InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any Views

Abstract:Feed-forward Gaussian reconstruction builds 3D scenes directly from input images for novel view rendering, but learning Gaussian attributes from predicted geometry for high-quality rendering under large viewpoint changes remains challenging. We analyze limitations in Gaussian attribute learning and introduce InfiniSplat v2, which improves rendering quality through architectural and training changes. Our method decouples geometry and attribute prediction with a frozen geometry branch, aligns predicted Gaussians using ground-truth camera poses during training, and adopts large-angle target view supervision. Across six datasets, the feed-forward outputs of the same trained model achieve state-of-the-art mean LPIPS and DISTS among the evaluated methods in both pose-conditioned and pose-free settings. In the pose-conditioned setting, mean LPIPS and DISTS decrease by 25.8% and 32.9%, respectively, compared with the strongest evaluated baselines. We further find that opacity learned with only image reconstruction supervision suppresses geometrically inconsistent points. Project page: this https URL

中文摘要

摘要：前馈高斯重建直接从输入图像构建三维场景以进行新视角渲染，但在大视角变化下，从预测几何体学习高质量渲染的高斯属性仍然具有挑战性。我们分析了高斯属性学习的局限性，并引入了 InfiniSplat v2，该方法通过架构和训练方案的改进提高了渲染质量。我们的方法通过冻结几何分支实现几何和属性预测的解耦，在训练期间利用真实相机位姿对预测的高斯体进行对齐，并采用大角度目标视图监督。在六个数据集上，同一训练模型的前馈输出在姿态条件和非姿态条件设置下都取得了评估方法中的最先进平均 LPIPS 和 DISTS。在姿态条件设置下，与评估的最强基线相比，平均 LPIPS 和 DISTS 分别下降了 25.8% 和 32.9%。我们进一步发现，仅使用图像重建监督学习的不透明度可以抑制几何不一致的点。项目页面：https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20341 (HTTP 429)

Authors: Yongzhen Hu,Hao Yu,Jiawei Wang,Xianming Zeng,Jianyun Xu,Xingliang Liu,Ruizhen Hu,Xiaowei Zhou,Hujun Bao,Sida Peng

Categories:

PDF URL: https://arxiv.org/pdf/2610.20341.pdf

Arxiv URL: https://arxiv.org/abs/2610.20341

Arxiv ID: 2610.20341

CoolPaper URL: https://papers.cool/arxiv/2610.20341

Published: 2026-10-17T01:32:12.270Z

Updated: 2026-10-17T01:32:12.270Z

10. 3DCodeVerse: Exploring 3D Worlds as Code

Abstract:We introduce 3DCodeVerse, a research ecosystem that enables coding agents to create editable and verifiable 3D content at scale. 3DCodeVerse comprises large-scale, high-quality datasets of executable 3D code, a coding harness for spatial reasoning and automated verification, and practical guidance for 3D coding. First, we construct 3DCodeVerse-2M, a large-scale curated dataset of standalone 3D executable code. We build this corpus by collecting open-source data, converting specialized representations, and generating new programs with coding agents. Each program is packaged with the source files and associated assets required for execution in its declared environment, along with available descriptions and verification records. Second, we develop the 3DCodeVerse Harness, a multi-agent directed acyclic graph framework for generating and refining 3D content. It uses execution checks, spatial measurements, and visual feedback to automatically evaluate and revise generated programs without human feedback during generation. Third, we conduct systematic empirical studies of 3D coding, establishing baselines with fine-tuned open models and deriving practical guidance through component-level analyses of our harness. Extensive experiments demonstrate that fine-tuning on our dataset significantly improves the 3D coding capabilities of open-source models. Notably, our 3DCodeVerse harness achieves a 90% win rate against Claude Design (3D Object) in pairwise human evaluations, when both are utilized by Claude Opus 5.5.

中文摘要

摘要：我们介绍了3DCodeVerse，一个研究生态系统，使编码代理能够大规模创建可编辑和可验证的3D内容。3DCodeVerse包括大规模、高质量的可执行3D代码数据集、用于空间推理和自动验证的编码框架，以及3D编码的实用指南。首先，我们构建了3DCodeVerse-2M，这是一个大规模策划的独立3D可执行代码数据集。我们通过收集开源数据、转换专用表示形式以及使用编码代理生成新程序来构建该语料库。每个程序都打包了其声明环境中执行所需的源文件和相关资源，以及可用的描述和验证记录。其次，我们开发了3DCodeVerse Harness，这是一个用于生成和优化3D内容的多代理有向无环图框架。它利用执行检查、空间测量和视觉反馈在生成过程中自动评估和修正生成的程序，而无需人工反馈。第三，我们进行了系统的3D编码实证研究，通过微调的开源模型建立基准，并通过对我们的框架的组件级分析得出实用指导。大量实验表明，在我们的数据集上进行微调显著提高了开源模型的3D编码能力。值得注意的是，在Claude Opus 5.5使用的情况下，我们的3DCodeVerse框架在与Claude Design（3D对象）的成对人工评估中实现了90%的胜率。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决3D内容代码生成领域中\*\*基础设施碎片化、规模化困难及训练评估资源不足\*\*的核心问题。具体而言，其针对以下关键挑战： 1. \*\*跨环境共享基础设施的缺失\*\* 现有3D编码资源（数据集、基准测试与工具框架）分散在不同任务和运行环境中，缺乏统一框架来系统性地开发、评估和扩展3D编码系统。如文中表1所示，现有数据集多局限于静态物体或关节物体等单一类别，而各工具在视觉评估、几何检查与自动化语料库构建方面的支持参差不齐。 2. \*\*大规模可执行3D代码语料库的匮乏\*\* 既有工作分别提供CAD构造序列、Blender脚本或着色器程序等互补性监督，但缺乏横跨CAD、Blender、GLSL、Three.js、OpenSCAD及URDF等多环境的、百万级且独立可执行的3D代码数据集。这种碎片化阻碍了开放模型的训练与跨领域迁移。 3. \*\*迭代生成依赖人工反馈的瓶颈\*\* 高质量3D程序的生成通常需要多轮“执行–评估–修订”循环，但现有人工反馈机制难以支撑大规模数据策展与内容生成，导致推理时扩展（inference-time scaling）至数千行代码的复杂项目变得不可行。 4. \*\*系统性实证研究与开放基线的不足\*\* 该领域缺乏对3D编码能力的系统性实证分析，以及基于高质量数据微调后的开放模型基线与可复现训练方案，从而限制了自动化3D内容创建能力的持续提升与广泛验证。通过构建 \*\*3DCodeVerse\*\* 生态系统——包括大规模可执行3D代码数据集（3DCodeVerse-2M）、多智能体自动化生成与验证框架（3DCodeVerse Harness）以及开放模型基线——论文旨在建立连接\*\*数据构建、程序合成、自动验证、迭代优化与模型改进\*\*的闭环基础设施，使编码代理能够在无人工干预的情况下规模化创建可编辑、可验证的高质量3D内容。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要集中在\*\*3D编码的数据集与基准测试\*\*以及\*\*3D编码的工具框架工程\*\*两大领域： ### 1. 3D编码数据集与基准测试 - \*\*CAD构造序列与监督数据\*\* DeepCAD和Fusion 360 Gallery提供了CAD模型的构造序列；Text2CAD将这些序列与自然语言描述相连接。 - \*\*可执行程序生成与重建\*\* BlendNet、CAD-Recode、CAD-Coder和MeshCoder将监督信号扩展为可执行的CadQuery与Blender程序，分别用于重建任务和语言条件生成。 - \*\*程序化资源与图形合成\*\* Infinigen及其扩展工作生成程序化资产与场景；Shaders21k则提供了用于程序化图像合成的着色器程序。 - \*\*基准测试\*\* 现有基准主要评估代码生成、编辑与物理仿真能力，包括CADCodeVerify、BlenderGym、3DCodeBench、4DCodeBench等。 ### 2. 3D编码工具框架与智能体系统 - \*\*语言驱动的规划与程序生成\*\* 3D-GPT、SceneCraft和LL3M建立了面向3D建模的语言驱动规划与程序生成流程。 - \*\*基于视觉反馈的程序精炼\*\* BlenderAlchemy、CADCodeVerify和VIGA通过执行并渲染生成的程序，利用视觉反馈对结果进行迭代优化。 - \*\*结构化资产验证与智能体工作流\*\* Articraft通过专用SDK实现结构化资产验证；Bioinspired123D结合脚本质量控制和基于图的智能体工作流。 - \*\*观察与工具接口研究\*\* 3DHarnessBench研究了智能体可用的观察与工具接口如何影响3D重建任务。 ### 3. 与3DCodeVerse的关系论文指出，上述资源在\*\*任务类型\*\*（静态物体、关节物体、场景、图形效果）和\*\*运行环境\*\*（CAD、Blender、着色器、浏览器图形等）上高度碎片化。3DCodeVerse旨在整合这些互补方向，提供横跨六种代码类型、覆盖静态物体、关节物体、场景与图形效果的百万级可执行语料库，并构建统一的执行、验证与数据策展框架。 Q3: 论文如何解决这个问题？论文通过构建一个完整的开放生态系统 \*\*3DCodeVerse\*\* 来解决3D代码生成领域的基础设施碎片化、规模化和自动化难题。该解决方案由三个相互支撑的支柱组成：大规模可执行数据集、自动化生成与验证框架，以及系统性实验与开放基线。 ### 1. 构建 3DCodeVerse-2M：大规模可执行3D代码语料库为突破训练数据在任务类型和运行环境上的碎片化限制，论文系统性地构建了一个跨领域、百万级规模的3D代码数据集。 - \*\*多源收集与异构转换\*\* 从Shadertoy、DeepCAD、Thingiverse、Bioinspired3D等公开资源中收集原始数据，并通过确定性脚本或智能体将异构3D表示转换为独立可执行的源代码。例如： - 将DeepCAD的草图–拉伸命令序列编译为\*\*CadQuery\*\*程序 - 将Articraft的几何例程内联为独立脚本，同时保留\*\*URDF\*\*关节规范 - 将ProcTHOR场景规范重建为\*\*Blender/Three.js\*\*代码 - \*\*智能体数据策展\*\* 利用论文提出的Harness框架自动生成新程序，并通过执行检查、空间测量和视觉反馈进行验证。每个程序被打包为包含源文件、关联资产、文本描述（指令、视觉描述、构造过程）以及验证记录的独立单元。 - \*\*覆盖范围\*\* 最终语料库包含 \*\*2.03M\*\* 代码–描述对，横跨\*\*6种代码类型\*\*（Blender Python、CadQuery、OpenSCAD、Three.js、URDF、GLSL），覆盖静态物体、关节物体、场景与图形渲染。 ### 2. 开发 3DCodeVerse Harness：自动化生成、验证与精炼引擎为实现无需人工反馈的推理时扩展（inference-time scaling），论文设计了一个多智能体框架，将复杂3D项目的生成与验证流程自动化。 - \*\*基于DAG的多智能体分解\*\* 给定文本、图像或视频输入，一个LLM规划器首先输出结构化规范 P ，描述目标组件、尺寸、材质与空间关系。Harness将 P 转换为\*\*有向无环图（DAG）\*\* G=(V,E) ，将项目分解为可并发执行的编码与组装子任务。子智能体在明确文件所有权边界下独立开发源文件，随后通过组装任务整合为完整程序 f^((0)) 。 - \*\*三层自动化反馈\*\* 在每一轮迭代 t 中，Harness对当前程序 f^((t)) 执行并收集三类反馈： 1. \*\*执行反馈\*\*：构建与运行时日志 ell^((t)) ；若构建失败，直接返回错误信息。 2. \*\*测量反馈\*\*：空间工具 M_e 对生成的资产 a^((t)) 进行程序化检查，包括部件清单、边界框、接触与碰撞检测（含关节位姿采样）、放置与帧探针等，返回带数值修正提示的部件级违规信息。 3. \*\*视觉反馈\*\*：VLM裁判检查多视角渲染结果 R_e(a^((t))) ，对照输入条件 c 和验收标准输出缺陷证据、准则得分与修订建议 j^((t)) 。 - \*\*闭环精炼与评分\*\* 综合得分 s^((t)) 通过加权准则、缺陷惩罚和确定性门限上限计算：

s^((t)) = min{u^((t)), max0, ∑k w_k s_k^((t)) - ∑_d λ_d d_d^((t))}
其中 u^((t)) 为测量违规触发的硬性上限，确保视觉合理但几何无效的程序无法获得高分。反馈被转换为本地化修复任务 Delta^((t)) ，由修复智能体执行 f^((t+1)) = A(code)(c, P, f^((t)), Delta^((t)); e) ，实现无需人工干预的**执行–评估–修订**循环。 - **对抗性工程优化** 在开发阶段，通过交替优化裁判参数 θJ （证据呈现、评分标准、聚合规则）和Harness工作流参数 θ_H （提示、工具、精炼策略），最小化评分方差与测量证据的矛盾，最大化生成质量与工作流稳定性：
L_J(θ_J) = E((a,o)sim B)[Var_r s^((r))(o;θ_J) + λ rho(j(o;θ_J), M_e(a))]

UH(θ_H;θ_J) = E_c[s(f(c;θ_H);θ_J)] - μ L(fail)(θ_H)

**数据引擎功能** Harness不仅用于推理时生成，还作为数据策展引擎，自动记录成功的程序、失败的尝试、针对性修复和偏好比较，为监督微调和偏好学习提供训练信号。 ### 3. 系统性实验与开放基线论文通过大规模实验验证了数据与框架的有效性，并提供了可复现的开放基线。 - **开源模型微调** 基于3DCodeVerse-2M对Qwen3.5-9B和Qwen3.8-27B进行LoRA微调。在6个测试套件（3DCodeBench、Blender、CadQuery、OpenSCAD、GLSL、Three.js）上，微调显著提升了可执行性： - Qwen3.5-9B在3DCodeBench上的执行率从 **0%** 提升至 **84.9%** - Qwen3.8-27B在相同基准上从 **51.9%** 提升至 **92.9%** - **Harness质量评估** 在100个文本到3D物体提示上，3DCodeVerse Harness驱动的Claude Opus 5.5在与Claude Design的人类评估对比中取得 **90%** 的胜率；在3D物体、关节物体、场景和图形四类任务上，Harness将各基础模型的Judge Score提升了 **11–25分**。 - **训练配方与模型开源** 论文发布了数据集、Harness代码、模型权重及训练配方，支持后续研究在3D代码生成领域的进一步扩展。 ### 4. 下游应用验证论文进一步展示了代码化3D内容在机器人学与视频生成中的应用： - **机器人学**：程序编码的关节资产具有显式几何与物理约束，导入MuJoCo后可通过确定性几何检查，而世界模型（UWM）在相同控制序列下容易出现轮廓退化。 - **视频生成**：利用Harness渲染的3D场景视频为Gemini Omni Flash和Seedance 2.5等视频生成模型提供显式的空间布局、物体运动与相机轨迹条件。 Q4: 论文做了哪些实验？论文开展了覆盖**框架效能验证**、**数据驱动训练**、**定性分析**、**下游应用**及**消融与诊断**五个层面的系统性实验，具体如下： ### 1. 3DCodeVerse Harness 的生成质量评估（§5.1）在**文本到3D**、**关节物体**、**场景**和**图形**四类任务上，对比了3DCodeVerse Harness与各类基线（包括原生Harness、Claude Design等）的生成质量。 - **评估指标**：人类偏好胜率（Human Preference）、VLM偏好胜率（VLM Preference）、Judge Score（0–100的评分体系，结合加权准则、缺陷惩罚与几何硬上限）、SigLIP-2文本–图像余弦相似度。 - **主要发现**： - 在100个文本到3D物体提示上，3DCodeVerse Harness搭配Claude Opus 5.5取得**90%**的人类偏好胜率，对抗同backbone的Claude Design（Judge Score 88 vs. 37）。 - 在3D物体、关节物体、场景和图形任务中，Harness将各基础模型的Judge Score提升了**11–25分**，人类偏好评分达**69%–89%**。 - 轻量级模型（如Gemini 3.8 Flash）在Harness加持下，Judge Score从61提升至87，表明闭环验证能显著弥合模型能力差距。 ### 2. 开源模型的微调与可执行性验证（§5.2 & Appendix C.4）利用3DCodeVerse-2M对开放权重模型进行微调，评估其在六种代码方言上的**执行成功率**与**几何保真度**。 - **模型与配置**：Qwen3.5-9B（LoRA SFT）与Qwen3.8-27B（LoRA SFT + DPO），解码温度 T=0.7 。 - **测试基准**：3DCodeBench（212项）、Blender（103项）、CadQuery（200项）、OpenSCAD（50项）、GLSL（200项）、Three.js（40项）。 - **核心结果**： - **执行率**：Qwen3.5-9B在3DCodeBench上从**0%**提升至**84.9%**；Qwen3.8-27B从**51.9%**提升至**92.9%**。 - **几何保真度**（F@0.05）：Qwen3.5-9B在3DCodeBench上从0.000提升至0.317；Qwen3.8-27B从0.214提升至0.374。 - **跨方言迁移**：多方言联合训练使CadQuery执行率达**98.5%**，显著优于单方言训练。 - **偏好优化（DPO）**：基于执行反馈、几何保真度和序列终止信号构建偏好对，进一步提升了单样本可靠性和多采样覆盖率。例如，执行反馈DPO使9B模型的greedy执行率从75.0%提升至96.2%，pass@4达**99.1%**。 ### 3. 表示尺度与训练动态分析（Appendix C.2）针对Qwen3.8-27B，比较了三种数据表示规模的训练轨迹： - **Arm A**：完整统一导出（199万行，含原生格式、标准化文本导出及分通道着色器视图）。 - **Arm B**：不含文本导出变体（116万行）。 - **Arm C**：每程序仅保留一条指令描述（29万行）。实验显示，Arm A在匹配步数下损失最低（0.275 vs. 0.316），且收敛最平稳（终端损失0.274），验证了**多视图与多表示对齐**对模型训练的价值。 ### 4. 定性分析与案例研究（§5.3）通过可视化对比展示了： - **Harness vs. 原生Harness**：在相同提示和backbone下，3DCodeVerse Harness生成更完整的结构（如凤凰的腿部与巢穴、钢琴内部细节）。 - **多轮自动精炼**：连续精炼轮次逐步修正缺陷，例如凤凰面部羽毛细化、凳子腿与座面连接、霓虹雨着色器块效应消除，Judge Score从0.41逐步提升至0.85。 ### 5. 下游应用验证（§6 & Appendix D） #### 机器人学将Harness验证后的关节资产导入MuJoCo，在12个机器人操作案例（两种资产 × 两种接触状态 × 三种控制序列）中： - 3D代码仿真与通过UWM冻结VAE重建的代码渲染均**100%**通过门把手几何检查。 - 相比之下，UWM动作条件推理在36次推理中仅7次（19.4%）保持可评估的轮廓，29次出现退化。 #### 视频生成利用Harness渲染的3D场景视频作为参考，条件化Gemini Omni Flash 1.1和Seedance 2.5进行视频生成，验证了代码化场景在控制空间布局、物体运动与相机轨迹方面的有效性。 ### 6. 组件级消融与大规模遥测（Appendix C.5）通过事件级遥测（数百至数千次调用）对Harness基础设施进行细粒度诊断： - **规划重采样**：在出现无效运动学层次时重置上下文，将规划阶段失败率降低**85%**（ p=0.0067 ）。 - **裁决与传输解耦**：将语义验证与MCP协议错误分离，减少冗余重试**20倍**，降低每轮中位成本**40%**。 - **作用域会话范围**：通过文件不相交分解，将累积token减少**68%**，API成本降低**55%**。 - **显式耦合模式**：在URDF中显式编码关节耦合（ qj = m_j q_i + b_j ），使有效mimic声明率从30%提升至**100%**。 Q5: 有什么可以进一步探索的点？基于论文内容，以下方向值得进一步探索： —- ### 1. 扩展代码方言与领域覆盖当前 3DCodeVerse-2M 涵盖 Blender Python、CadQuery、OpenSCAD、Three.js、URDF 与 GLSL 六种类型。未来可纳入更多工业与创意环境中广泛使用的编程接口，例如： - **Maya Python/MEL**、**Houdini VEX**、**Unity C#** 及 **Unreal Engine Blueprints** - 面向建筑信息模型（BIM）的 **IFC-OpenShell** 或 **Revit API** - 面向时尚与工业设计的专用参数化建模语言这将检验框架在更复杂宿主环境中的可迁移性，并扩大可训练语料的多样性。 ### 2. 深度物理仿真集成与物理一致性验证现有 Harness 主要依赖几何测量（如碰撞、接触、重叠检测）和视觉反馈。进一步研究可将 3D 代码生成与物理引擎（如 MuJoCo、Isaac Sim、NVIDIA PhysX）深度耦合： - 在生成阶段即验证**刚体动力学稳定性**、**关节驱动可行性**与**布料/流体模拟正确性** - 对场景生成引入**物理支持约束**（如家具重心、结构力学合理性），超越当前基于接触探针的静态检查 ### 3. 多模态条件生成的细粒度控制当前框架支持文本、图像或视频作为输入条件 c 。未来可探索更复杂的组合条件： - **草图 + 文本**：利用手绘草图提供拓扑线索，文本描述材质与风格 - **部分代码 + 编辑指令**：支持对现有程序进行语义化局部编辑（如“将屋顶改为歇山顶并增大出檐”） - **点云 / 网格反推代码**：将 3D 扫描数据作为参考 a^star ，通过逆向工程生成可执行的参数化重建代码 ### 4. 自动裁判模型的专业化与校准 VLM 裁判（Gemini 3.1 Pro）虽已实现较高一致性（标准差 σ(judge) = 0.030 ），但仍存在结构探索方差（ σDelta = 0.202 ）。未来工作可包括： - 训练**专门面向 3D 几何与视觉质量的视觉-语言裁判模型**，替代通用 VLM - 引入**人类反馈强化学习（RLHF）**或**AI 反馈强化学习（RLAIF）**，对裁判的评分标准进行动态校准 - 开发**可解释性更强的缺陷定位机制**，使裁判不仅能识别缺陷，还能精确指向代码中需修改的行号或参数 ### 5. 超大规模与长程程序生成当前 Harness 支持数千行代码的复杂项目，但对于**数万行级别的工业级场景**（如完整城市街区、复杂机械装配体、交互式游戏关卡）仍需突破： - 研究**分层代码仓库管理**，引入模块依赖解析、版本控制与接口契约的形式化验证 - 探索**代码骨架预训练**与**渐进式细节填充**相结合的策略，降低长程生成的错误累积 ### 6. 实时交互式与增量式 3D 编码现有流程为离线生成-验证-精炼。未来可探索**实时交互模式**： - 用户在自然语言或参数滑块上的修改即时触发代码增量更新与局部重渲染 - 结合**神经辐射场（NeRF）**或 **3D Gaussian Splatting** 作为中间表示，在代码编译完成前提供低延迟预览 ### 7. 跨表示自动转换与互操作当前不同方言的程序相对独立。可研究**代码到代码的自动翻译**： - 将 Blender Python 程序翻译为 Three.js 以适配 Web 部署 - 将 CadQuery 参数化模型转换为 URDF 以直接用于机器人仿真 - 保持语义等价性的同时，利用每种运行时的原生优势（如 Blender 的渲染管线 vs. Three.js 的实时管线） ### 8. 专用修复模型与强化学习策略当前精炼循环依赖通用 LLM 作为修复智能体 A(code) 。可进一步训练**专门的代码修复模型**： - 利用 Harness 积累的失败-修复对 (f^((t)), Delta^((t)), f^((t+1))) 训练专用 seq2seq 或扩散模型 - 将迭代精炼建模为**部分可观察马尔可夫决策过程（POMDP）**，通过强化学习（如 PPO）优化修复策略，而非仅依赖上下文学习 ### 9. 艺术风格与美学质量的量化评估现有评判体系侧重结构正确性、几何保真度与功能完成度。对于创意内容（如图形着色器、艺术场景），**美学质量**的自动化评估仍具挑战： - 构建面向 3D 代码生成的美学基准，涵盖风格一致性、色彩和谐度、构图等维度 - 探索将艺术批评文本与多视角渲染结合的多模态审美裁判 ### 10. 更大规模基础模型的全参数微调论文展示了在 Qwen3.5-9B 与 Qwen3.8-27B 上的 LoRA 微调结果。未来可在**百亿甚至千亿参数模型**上进行全参数微调或混合专家（MoE）扩展，检验数据规模与模型容量的联合扩展律（scaling law），并探索模型在少样本或零样本 3D 编码任务上的涌现能力。 Q6: 总结一下论文的主要内容这篇论文介绍了 **3DCodeVerse**，一个用于通过代码创建、验证和扩展3D内容的开放研究生态系统。其核心贡献与内容可概括如下： ### 1. 研究背景与问题 3D编码（通过可执行程序生成3D几何、关节运动、场景和图形效果）具有可编辑、可复用和可组合的优势，但现有基础设施存在三大瓶颈： - **数据集碎片化**：现有资源分散在特定环境（如Blender、CAD、GLSL）和特定任务（静态物体、场景等），缺乏跨环境的大规模可执行语料库。 - **迭代生成依赖人工反馈**：高质量3D程序需要多轮“执行–评估–修订”循环，人工介入难以规模化。 - **缺乏统一评估与开放基线**：系统性实证研究和可复现的开源模型训练方案不足。 ### 2. 3DCodeVerse-2M：大规模可执行3D代码数据集 - **规模与覆盖**：包含 **203万** 代码–描述对，涵盖 **6种代码方言**（Blender Python、CadQuery、OpenSCAD、Three.js、URDF、GLSL），覆盖**静态物体、关节物体、场景与程序化图形**。 - **构建方式**：通过整合公开数据集（如DeepCAD、Shadertoy、Thingiverse）、异构表示转换（如将CAD命令序列编译为CadQuery脚本），以及利用Harness框架自动生成与筛选新程序。 - **数据特性**：每个程序均为独立可执行单元，附带源文件、关联资产、多视角文本描述（指令/视觉描述/构造过程）及可验证的执行与质量记录。 ### 3. 3DCodeVerse Harness：自动化生成与数据引擎一个多智能体框架，支持无需人工反馈的3D代码生成、验证与精炼： - **DAG任务分解**：由LLM规划器将输入（文本/图像/视频）转换为结构化规范，再映射为**有向无环图（DAG）**，支持子智能体并发编码与分阶段组装。 - **三层自动化反馈**： - **执行反馈**：捕获构建与运行时日志。 - **测量反馈**：通过空间工具进行程序化检查（如部件边界框、碰撞/接触检测、关节扫掠验证）。 - **视觉反馈**：VLM裁判对多视角渲染图进行评分，检测缺陷并给出修订建议。 - **闭环精炼**：将反馈转化为局部修复任务，驱动修复智能体迭代更新代码，实现**执行–评估–修订**的自主循环。 - **对抗性工程优化**：通过交替优化裁判参数与生成工作流参数，降低评分方差与测量矛盾，提升系统可靠性。 - **数据引擎功能**：自动记录成功程序、失败尝试、修复过程与偏好对比，为模型训练提供监督信号。 ### 4. 实验验证 - **Harness效能**：在文本到3D物体、关节物体、场景和图形四类任务中，3DCodeVerse Harness将主流模型（Gemini、Claude、GPT）的生成质量显著提升（Judge Score提升11–25分）。在与Claude Design（Claude Opus 5.5）的人类评估中，Harness取得 **90%** 的胜率。 - **开源模型微调**：基于该数据集微调Qwen3.5-9B与Qwen3.8-27B后，可执行率大幅提升： - Qwen3.5-9B在3DCodeBench上从 **0%** 提升至 **84.9%**。 - Qwen3.8-27B从 **51.9%** 提升至 **92.9%**。 - 引入DPO（直接偏好优化）后，pass@4执行率达 **99.1%**。 - **定性分析**：自动化反馈可有效修正结构缺陷（如浮空部件、穿插）与外观细节（如材质、几何倒角）。 ### 5. 应用拓展 - **机器人学**：程序编码的关节资产具有显式几何与物理约束，导入MuJoCo后可通过确定性几何检查，优于纯视频世界模型的预测一致性。 - **视频生成**：利用Harness渲染的3D场景视频为视频生成模型（如Gemini Omni Flash、Seedance 2.5）提供显式的空间布局、运动与相机轨迹条件。 ### 6. 开放资源论文承诺开源数据集、Harness代码、微调模型权重及训练配方，旨在建立连接**数据构建、程序合成、自动验证、迭代优化与模型改进**的闭环基础设施，推动3D编码领域的可复现研究与规模化发展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yipeng Gao,Ziyao Zeng,Jinfa Huang,Yijiang Li,Haolin Xiong,Wang Qin,Xinlei Yu,Youheng Yao,Jie Zhang,Kun-Yu Lin,Rong Liu,Yinyuan Zhao,Yajie Zhao,Meiqi Guo,Jiebo Luo,Lei Shu,Yunhao Ge,Xinyu Hu,Laurent Itti

Categories:

PDF URL: https://arxiv.org/pdf/2610.22341.pdf

Arxiv URL: https://arxiv.org/abs/2610.22341

Arxiv ID: 2610.22341

CoolPaper URL: https://papers.cool/arxiv/2610.22341

Published: 2026-10-17T01:32:16.442Z

Updated: 2026-10-17T01:32:16.442Z

11. MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

Abstract:Online reinforcement learning (RL) with verifiable rewards has driven rapid progress in mathematics, coding, and tool use, but scaling this success to GUI agents remains challenging due to the high cost of interactive environments and the scarcity of realistic training tasks. We introduce MAI-Gym, an open all-in-one platform that unifies GUI agent evaluation, data collection, and online RL training across mobile, computer, and web environments. Through a shared rollout pipeline, MAI-Gym ensures consistent agent behavior across evaluation and training, supports ten established benchmarks, and scales to 20,000 parallel environment instances. Beyond scalable infrastructure, MAI-Gym enables automated synthesis of diverse GUI applications and challenging tasks, including resettable mocked apps and coherent cross-app worlds with execution-validated task verifiers. Using MAI-Gym, we train MAI-Gym-9B, a unified 9B agent for mobile and computer use, achieving state-of-the-art performance among open GUI agents under 10B parameters: 78.4% on MobileWorld and 76.2% on OSWorld-Verified. Importantly, RL in a mocked train-ticketing app transfers to its real-world counterpart, improving task success on a phys- ical phone from 28.8% to 48.1%. We release the framework, synthesis skills, mocked apps, 2,000 verified tasks, and the model checkpoint to support repro- ducible research and further advances in scalable GUI agent training.

中文摘要

摘要：具有可验证奖励的在线强化学习（RL）在数学、编码和工具使用方面推动了快速进展，但将这一成功扩展到图形用户界面（GUI）智能体仍具有挑战性，这主要由于交互环境的高成本和现实训练任务的稀缺。我们介绍了 MAI-Gym，这是一个开放的全合一平台，统一了移动端、电脑端和网页环境下的 GUI 智能体评估、数据收集和在线 RL 训练。通过共享的 rollout 流程，MAI-Gym 保证了评估和训练中智能体行为的一致性，支持十个既有基准，并可扩展到 20,000 个并行环境实例。除了可扩展的基础设施之外，MAI-Gym 还能自动生成多样化的 GUI 应用和具有挑战性的任务，包括可重置的模拟应用和具有执行验证任务验证器的连贯跨应用世界。利用 MAI-Gym，我们训练了 MAI-Gym-9B，这是一个用于移动端和电脑端的统一 9B 智能体，在 10B 参数以下的开放 GUI 智能体中实现了最先进的性能：MobileWorld 上达 78.4%，OSWorld-Verified 上达 76.2%。重要的是，在模拟火车票应用中进行的 RL 可转移到其现实世界对应应用，使实际手机上的任务成功率从 28.8% 提升至 48.1%。我们发布了该框架、综合生成技能、模拟应用、2,000 个已验证任务及模型检查点，以支持可复现研究并推动可扩展 GUI 智能体训练的进一步发展。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决将在线强化学习（RL）从数学、编码和工具使用领域扩展到图形用户界面（GUI）智能体时所面临的核心挑战。具体而言，论文识别并着力解决以下两个根本性问题： \*\*1. GUI 环境的大规模执行与一致性难题\*\* - \*\*高成本与低并发\*\*：GUI 实例无法像代码沙盒那样被并发尝试共享。每次尝试都需要独占的手机、电脑或浏览器实例，并必须重置到精确的初始状态，导致大规模训练需要同时维护成千上万个环境实例，成本高昂。 - \*\*评估与训练的漂移\*\*：不同平台和基准测试通常需要独立的智能体实现（如截图预处理、历史截断、提示模板、动作解析等），导致评估和训练使用的代码路径不一致。这种漂移使得测得的性能可能反映的是工具链差异而非模型本身的能力。 \*\*2. 真实、多样且可验证的训练任务稀缺\*\* - \*\*任务真实性不足\*\*：现实世界中的 GUI 工作流往往依赖于跨多个应用和文件的连贯信息（例如，根据邮件附件中的发票回复邮件）。然而，现有的任务合成方法多依赖孤立的输入文件或共享样本数据，难以生成具有连贯世界状态的真实长程任务。 - \*\*安全性与可重置性\*\*：涉及真实交易（如订票、支付、发帖）的应用不适合直接用于大规模 RL 训练，因为会产生不可撤销的副作用。同时，评估智能体对陌生界面的适应能力也需要全新的、模型未见过应用。 - \*\*验证可靠性\*\*：现有方法要么依赖容易产生假阳性的视觉-语言模型（VLM）评判，要么仅在简化环境中进行代码验证，难以在完整 GUI 环境中提供可靠的奖励信号。为应对上述挑战，论文提出了 \*\*MAI-Gym\*\*，一个开源的一体化平台，旨在通过统一的 rollout 管线、可扩展的环境管理、自动化的应用与任务合成，以及跨移动、电脑和 Web 环境的联合在线 RL 训练，推动可扩展且可复现的 GUI 智能体研究。 Q2: 有哪些相关研究？根据论文第5节及相关章节的综述，现有研究主要分布于以下三个方向： ### 1. GUI 智能体的强化学习（RL for GUI Agents）该方向关注如何在特定平台上通过在线 RL 提升 GUI 智能体能力，但多数工作仅针对单一领域构建训练方案： - \*\*移动端\*\*：DigiRL、DistRL、MobileRL 与 MobileGUI-RL 等研究了奖励设计、异步收集与自适应训练策略。 - \*\*网页端\*\*：WebRL 提出了自进化课程的多轮 RL，WebAgent-R1 则探索端到端多轮强化学习。 - \*\*电脑端\*\*：ComputerRL 通过并行执行规模化了 RL，DART-GUI 将训练与 rollout 解耦，Qwen-CUA 则基于屏幕截图学习原生电脑操作。 - \*\*跨域统一策略\*\*：UI-TARS-2、Qwen-UI-Agent 与 UI-Venus-2 等尝试训练同时覆盖移动、电脑与网页的单一策略。为合并不同领域的能力，常见做法是先在各领域独立训练专家模型，再通过参数平均（如 MergeKit）融合，而非真正的联合训练。 MAI-Gym 与这些工作的关系是互补的：上述研究贡献了模型与训练配方，而 MAI-Gym 提供了一个跨平台的统一开源基础设施，使这些配方能够在同一套 rollout 路径上运行，并支持移动与电脑任务的\*\*单一联合 RL 训练\*\*。 ### 2. GUI Gym 与训练基础设施（GUI Gyms and Training Infrastructure）现有开源 GUI gym 通常只能在“可执行基础设施”与“任务/环境供给”之间二选一： - \*\*基础设施导向\*\*：BrowserGym 统一了网页基准的接口；WebGym、MobileGym 与 SCALECUA 支持数百并行环境的在线 RL；ClawGUI 提供了训练、评估与部署的统一框架。但这些平台往往只覆盖单一平台，且并行规模有限。 - \*\*数据/环境导向\*\*：CUA-Gym、Gym-Anything、GUI-Genesis 与 PhoneWorld 等贡献了大量新环境与任务，但未发布训练代码或现有基准的运行接口。 - \*\*非 GUI 领域\*\*：AgentGym 与 GEM 针对基于文本和工具的 LLM 智能体提供 gym 环境。 - \*\*通用 RL 框架\*\*：verl、OpenRLHF、AReaL 与 slime 等框架专注于语言模型的策略优化规模化，但不包含 GUI 环境的管理能力。此外，已有研究（如 StructAgent）指出：\*\*智能体 harness（截图预处理、历史构造、动作解析等）的变动本身就会改变固定模型的基准分数\*\*。因此，评估与训练代码的分离会导致“评估的对象”与“训练的对象”不一致。MAI-Gym 的独特之处在于同时覆盖移动、电脑与网页三大平台，通过\*\*共享 harness 与统一 rollout 路径\*\*确保评估即训练，并支持多达 20,000 个并行环境实例。 ### 3. 环境与任务合成（Environment and Task Synthesis）为突破手写基准任务数量不足的瓶颈，近年研究在任务合成与环境构建上形成了两条技术路线： - \*\*基于 VLM 评判的方法\*\*：ZeroGUI、AutoPlay 与 OS-Genesis 等利用视觉-语言模型生成任务并提供奖励。此类方法扩展性强，但存在假阳性奖励风险，可能破坏 RL 训练的稳定性。 - \*\*基于代码验证的方法\*\*：GUI-Genesis、AutoWebWorld、InfiniteWeb 与 AutoEval 等将奖励建立在可执行断言上，可靠性更高但适用范围较窄，且多在简化环境中运行。 - \*\*大规模环境构建\*\*：CUA-Gym、MobileGym、PhoneWorld 与 OpenComputer 等构建了面向电脑或移动端的可验证任务池与模拟环境。但多数系统的任务仍基于孤立输入文件或应用内共享样本数据，缺乏跨应用的连贯世界状态。 - \*\*跟随学习者生成（Failure-driven / Co-evolution）\*\*：WebRL 从失败尝试中生成新任务；TRACE 将智能体的反复失败转化为针对特定能力的训练环境；GenEnv 与 Agent-World 则让环境与智能体共同进化。 MAI-Gym 的任务合成 pipeline 整合了上述线索：它先构建\*\*跨应用的连贯世界\*\*（包含相互关联的文件、邮件、日历与数据库记录），再基于智能体失败诊断生成任务；在验证层面，它要求代码验证器必须通过\*\*初始状态-完成状态-重置状态\*\*的执行测试，并支持对真实世界 App 的克隆与全新陌生 App 的生成，以分别研究 sim-to-real 迁移与界面适应能力。 Q3: 论文如何解决这个问题？论文通过提出 \*\*MAI-Gym\*\*，一个开源的一体化平台，从\*\*基础设施架构\*\*、\*\*环境与任务合成\*\*、\*\*训练算法优化\*\*三个层面系统性地解决了上述挑战。具体解决方案如下： --- ### 1. 统一且可扩展的基础设施架构为解决评估与训练代码路径漂移、以及 GUI 环境难以大规模并行的问题，MAI-Gym 采用了\*\*单一的共享 rollout 路径\*\*与\*\*统一的环境管理接口\*\*。 #### 1.1 共享 Rollout 路径与单一 Harness MAI-Gym 为每个环境和智能体配置维护唯一的 \*\*Agent Harness\*\*，涵盖截图预处理、历史构造、策略调用、输出解析与动作分发。评估、数据收集与在线 RL 训练均复用同一条路径： - \*\*消除漂移\*\*：对 harness 的修复会同时作用于评估与训练，确保“训练的对象”与“评估的对象”完全一致。 - \*\*统一动作空间\*\*：支持 GUI 动作（点击、输入、拖拽等）与 CLI 动作（shell 命令）的批量化执行，并允许智能体根据任务自主选择最高效的交互模式。 #### 1.2 环境管理器（Environment Manager）环境管理器向上层暴露五种标准化操作（请求实例、观察、重置、执行步骤、评估），向下通过适配器对接各平台原生 API： - \*\*异步预置与热池\*\*：环境实例的初始化与请求解耦，后台异步启动；热池维持已就绪实例，使 1,000 个移动端环境可在 \*\*328.4 秒\*\*内就绪，电脑端仅需 \*\*88.9 秒\*\*。 - \*\*故障隔离\*\*：通过会话租约、操作幂等标识、超时机制与独立进程组运行验证器，将基础设施故障与智能体失败分离，避免环境错误污染训练信号。 - \*\*大规模验证\*\*：已验证支持多达 \*\*20,000 个并行环境实例\*\*。 --- ### 2. 高效的 Rollout 与推理优化 GUI rollout 的成本远高于文本 rollout，MAI-Gym 从\*\*环境重置\*\*与\*\*多轮推理\*\*两方面进行优化。 #### 2.1 可靠且快速的环境重置 - \*\*移动端\*\*：采用 ReDroid 容器化方案，直接运行在宿主机内核上，避免嵌套虚拟化；重置时恢复快照与对应服务状态，中位耗时 \*\*165 秒\*\*。 - \*\*电脑端\*\*：加强就绪检测、隔离服务端口与制品缓存、处理并发冲突，重置中位耗时 \*\*37 秒\*\*。 - \*\*网页端\*\*：基于无头 Chromium，重置仅需 \*\*6 秒\*\*。 #### 2.2 窗口式历史（Window-Wise History）与 KV 缓存复用传统“保留最近 k 张截图”的策略会在每步丢弃旧截图，导致大模型前缀缓存（KV cache）失效。MAI-Gym 采用\*\*窗口式历史\*\*： - 将交互历史划分为长度为 K （如 10）的窗口，相邻窗口重叠 O （如 2）步。 - \*\*窗口内仅追加\*\*：新截图与文本只追加到历史末尾，前缀缓存完全复用。 - \*\*窗口边界折叠\*\*：跨窗口时，旧截图压缩为占位符，但保留文本历史。该策略使前缀缓存命中率从 \*\*42.5%\*\* 提升至 \*\*85.9%\*\*，每轨迹训练输入 token 量减少 \*\*84.7%\*\*，训练更新耗时降低 \*\*62.6%\*\*。 --- ### 3. 自动化的环境与任务合成为解决真实任务稀缺、环境状态不连贯及验证不可靠的问题，MAI-Gym 构建了一套自动化的合成管线，覆盖环境 E 、初始状态 s_0 、指令 g 与验证器 V 的完整任务四元组 x = (E, s_0, g, V) 。 #### 3.1 Mocked App 的环境合成（ E ）通过编码智能体（如 Claude Code、Codex）自动构建两类应用： - \*\*真实世界克隆（Real-World Clones）\*\*：针对 12306、美团、抖音等涉及真实交易的应用，构建具有可重置后端的克隆版本。这使得智能体可以安全地练习订票、支付等流程数千次，且实验表明在克隆环境中学习的策略可迁移至真实应用（成功率从 \*\*28.8%\*\* 提升至 \*\*48.1%\*\*）。 - \*\*陌生应用（Novel Apps）\*\*：从零生成的全新 HTML5 应用，作为确定性状态机运行在浏览器中，用于测试智能体对完全陌生界面的适应能力。 #### 3.2 跨应用世界构建（ s_0 ）不同于基于孤立文件生成任务，MAI-Gym 首先根据\*\*人物角色（Persona）\*\*与\*\*场景（Scenario）\*\*构建一个\*\*连贯的世界\*\*： - 生成跨应用共享一致事实的文件与应用记录（如项目简报、预算表格、邮件线程、日历事件）。 - 任务基于此世界状态派生，要求智能体跨应用检索、推理并整合信息（例如：“将预算评审移至修订版表格到期日的后一天”）。 #### 3.3 任务与验证器合成（ g 与 V ）采用\*\*执行验证\*\*确保奖励信号的可靠性： - \*\*需求先行\*\*：在编写验证器代码之前，先固定任务规范（指令、成功标准、内部答案上下文）。 - \*\*独立合成\*\*：分别独立生成“黄金代码”（直接设置完成状态）与“验证器代码”（检查文件变更、计算值、应用状态）。 - \*\*执行测试\*\*：验证器必须通过三连击测试——在初始状态得 0 分、黄金代码运行后得 1 分、重置后再得 0 分。 - \*\*失败驱动生成\*\*：利用智能体对失败轨迹的诊断报告，针对性地合成练习薄弱能力的新任务。 --- ### 4. 在线 RL 训练优化 MAI-Gym 在统一的 rollout 路径上支持移动、电脑与网页任务的在线 RL，并针对 GUI 轨迹的特性进行了多项算法与工程优化。 #### 4.1 跨域联合训练（Joint RL）不同于常见的“分域训练专家模型再参数平均融合”的方案，MAI-Gym 支持在单一 RL 运行中\*\*同时采样移动端与电脑端任务\*\*。实验表明，联合训练在 MobileWorld 与 OSWorld-Verified 上均优于最优的融合方案（参数融合最佳结果为 76.4%/74.8%，而联合训练达到 \*\*78.4%/76.2%\*\*）。 #### 4.2 策略自适应任务采样（Policy-Adaptive Task Sampling）基于 GRPO 的组内奖励差异学习特性，MAI-Gym 在每次 rollout 轮次前估计各任务的成功率： - 对\*\*从未解决\*\*或\*\*已精通\*\*（成功率 > eta = 0.8 ）的任务减少采样预算（分别降至 4 和 2 次尝试），避免无效梯度。 - 将 rollout 资源集中于策略\*\*有时能解、有时不能解\*\*的任务前沿，提升样本效率。 #### 4.3 窗口式训练打包（Window-Wise Packing）训练时将 rollout 中的每个窗口直接作为一条因果训练序列： - 损失仅计算窗口内\*\*新步骤\*\*的输出，避免对重叠上下文重复计算。 - 相比逐步骤训练，避免了历史上下文的重复编码；相比整轨迹打包，则避免了超长序列导致的显存溢出。 #### 4.4 训练-Rollout 一致性检查 GUI 训练对多模态输入（截图、文本）的预处理一致性要求极高。MAI-Gym 在训练时比对推理引擎与训练器对同一响应 token 的对数概率，并监控两者的 KL 散度（ k_3 估计量）。若出现突变，则提示生成核损坏、打包历史错位或版本漂移，防止策略在从未见过的输入分布上更新。 --- ### 5. 评估与诊断闭环 MAI-Gym 将评估、诊断与合成整合为持续改进的闭环： - \*\*一键评估\*\*：单条命令即可在 10 个基准上评估本地或 API 模型，自动处理环境故障重跑，并原生保留各基准的验证器与指标。 - \*\*交互式仪表盘\*\*：提供舰队健康监控、任务级结果追溯与逐步轨迹回放（对齐截图、模型输出、执行动作与验证器结果），以区分智能体错误、超时与环境故障。 - \*\*智能体驱动诊断\*\*：编码智能体自动分析失败轨迹与成功轨迹的差异，生成模型在动作、轨迹与知识层面的弱点报告，直接指导下一代任务的合成。通过上述设计，MAI-Gym 实现了从\*\*环境执行\*\*、\*\*任务生成\*\*到\*\*策略训练\*\*的全链路统一与规模化，最终训练出的 \*\*MAI-Gym-9B\*\* 在 MobileWorld 与 OSWorld-Verified 上达到了同规模（<10B）开源 GUI 智能体的最先进水平。 Q4: 论文做了哪些实验？论文在第4节开展了系统的实验验证，涵盖\*\*主基准测试\*\*与\*\*六项深度分析\*\*。以下按实验类别梳理： --- ### 1. 实验设置 - \*\*训练配置\*\*：以 Qwen3.5-9B 为基座，先进行跨移动与桌面环境的监督微调（SFT）预热，再执行单一的联合在线 RL 阶段。RL 阶段在 5,000 条合成任务（MobileWorld 与 OSWorld 混合）上使用 GRPO，部署于 512 块 GPU，峰值并发 20,000 个环境实例，训练时长约 96 小时。 - \*\*评估基准\*\*：共覆盖 7 个基准测试，其中： - \*\*Task OOD\*\*（训练环境、未见过任务）：MobileWorld、OSWorld-Verified； - \*\*Env OOD\*\*（未训练环境）：AndroidWorld、MobileGym、OSWorld 2.0、MacAgentBench、MyPCBench。 - \*\*对比基线\*\*：包括前沿闭源/开放 API 模型（Claude Opus 4.8、GPT-5.5、Qwen3.8-Max、Qwen3.8-27B）、同规模 GUI 专用模型（UI-Venus-2-9B、SCALECUA-Qwen3.5-9B、GUI-Owl 系列等）以及基础模型 Qwen3.5-9B。 --- ### 2. 主基准结果（Main Results） - \*\*Task OOD 性能\*\*：MAI-Gym-9B 在 MobileWorld 达到 \*\*78.4%\*\*，在 OSWorld-Verified 达到 \*\*76.2%\*\*。两项均为 10B 参数以下开源 GUI 智能体的最先进水平，较同规模的 UI-Venus-2-9B 分别领先 3.2 与 5.4 个百分点，并超过更大规模的 GUI-Owl-1.5-32B 与 CUA-GYM 系列。 - \*\*Env OOD 性能\*\*：在未参与训练的环境中，MAI-Gym-9B 取得 AndroidWorld \*\*75.9%\*\*、MobileGym \*\*46.5%\*\*（部分得分）、OSWorld 2.0 \*\*3.7/11.3%\*\*（二元/部分）、MacAgentBench \*\*41.3%\*\*、MyPCBench \*\*15.2%\*\*，在同规模开放权重模型中保持领先。 - \*\*SFT 与 RL 的收益分解\*\*：SFT 预热贡献了大部分绝对提升（Task-OOD 平均从 29.9% 提升至 66.4%，Env-OOD 平均从 18.8% 提升至 32.3%）；联合 RL 在此基础上进一步提高，跨域平均从 44.1% 提升至 \*\*50.5%\*\*，且在全部 5 个 Env OOD 基准上均有提升，表明从合成任务中学到的能力可向外迁移。 - \*\*行为观察\*\*：训练后的模型展现出高效的跨模态行为，包括在电脑任务中调用 \`ffprobe\`/\`ffmpeg\` 等 CLI 工具、在表格交互中使用批量化 GUI 动作、以及在移动端使用原生的双击缩放策略。 --- ### 3. 基础设施规模与效率分析（§4.3.1） - \*\*环境启动与重置\*\*：测量了 1,000 个实例的就绪启动时间与重置耗时。移动、电脑、浏览器环境的 1k 启动时间分别为 \*\*328.4 秒\*\*、\*\*88.9 秒\*\*、\*\*94.2 秒\*\*；重置中位耗时（p50）分别为 \*\*165.0 秒\*\*、\*\*37.2 秒\*\*、\*\*6.0 秒\*\*。未评分的环境故障中止率控制在 \*\*0.0%–1.9%\*\*。 - \*\*窗口式历史的效果\*\*：对比逐步历史（step-wise）与窗口式历史（window-wise, K=10, O=2 ）。后者将前缀缓存命中率从 42.5% 提升至 \*\*85.9%\*\*，每轨迹训练输入 token 从 566,375 降至 \*\*86,855\*\*（减少 84.7%），单次训练更新时间从 2166.4 秒降至 \*\*810.9 秒\*\*（减少 62.6%）。 --- ### 4. 联合 RL 与专家合并的对比（§4.3.2） - \*\*实验设计\*\*：先分别单独训练“移动专家”与“电脑专家”，再通过加权参数平均（merge）融合，权重组合包括 70/30、50/50、30/70；与联合 RL 训练出的单一策略对比。 - \*\*结果\*\*：没有任何一种融合方案在两个领域同时领先。最优移动融合（50/50）在 MobileWorld 为 76.4%，最优电脑融合（30/70）在 OSWorld-Verified 为 74.8%。而联合 RL 同时达到 \*\*78.4%\*\* 与 \*\*76.2%\*\*，在两个领域均优于最佳融合方案。 --- ### 5. 合成任务规模对泛化的影响（§4.3.3） - \*\*实验设计\*\*：从合成任务池中随机抽取 500、1,000、5,000 条任务作为训练集，保持 RL 算法、超参数与 rollout 预算一致。 - \*\*结果\*\*：随着训练任务数量增加，Task OOD 性能单调提升。MobileWorld 从 69.2%（500 条）提升至 \*\*78.4%\*\*（5,000 条）；OSWorld-Verified 从 69.7% 提升至 \*\*76.2%\*\*。表明在固定训练预算下，更丰富多样的合成任务可直接增强策略泛化能力。 --- ### 6. 模拟到真实迁移验证（§4.3.4） - \*\*实验设计\*\*：以 12306（铁路订票应用）的真实克隆为训练环境，在 52 对配对的任务上评估策略在克隆环境与真实物理手机上的表现。 - \*\*结果\*\*： - 克隆环境：RL 前成功率 36.5%，RL 后 \*\*73.1%\*\*（提升 36.5 个百分点）； - 真实应用：RL 前成功率 28.8%，RL 后 \*\*48.1%\*\*（提升 19.2 个百分点）。 - \*\*结论\*\*：仅在克隆环境中进行 RL，即可将部分能力迁移至真实 App，但克隆与真实之间的性能差距从 7.7 个百分点扩大至 25.0 个百分点，说明迁移不完全，仍有提升空间。定性案例显示，策略在两者中均学会了正确的相对日期推理行为。 --- ### 7. 从奖励信号学习陌生应用（§4.3.5） - \*\*实验设计\*\*：在 42 个“陌生应用”（novel apps）中的 252 条任务上训练，评估于 62 条 held-out 任务，每任务 1 次尝试，限制 60 步。训练过程中仅使用验证器奖励，无任何人类演示。 - \*\*结果\*\*：held-out 任务成功率从 25.8% 提升至 \*\*45.2%\*\*；预算耗尽（60 步未终止）的尝试从 27 次降至 5 次；平均轨迹长度从 33.3 步缩短至 16.4 步。定性轨迹显示，训练前智能体在陌生界面中重复无效手势直至耗尽步数；训练后可在 5 步内完成文件移动并正确回答所有检查项。 --- ### 8. GRPO 与 SAO 的算法对比（§4.3.6） - \*\*实验设计\*\*：在 MobileWorld 上对比默认的 GRPO（组大小为 8，使用组内基线）与 SAO（Single-rollout Asynchronous Optimization，基于学习得到的 value model 进行异步单 rollout 更新）。 - \*\*结果\*\*：早期阶段两者任务成功率相近，SAO 在所示区间内终点略低于 GRPO。尽管 SAO 减少了采样等待时间，但其引入的 critic 计算（每 actor 更新需两次 critic 更新）抵消了该收益。在当前配置下，SAO 相较 GRPO 未表现出明确的总体训练时间优势。 --- 综上，实验不仅验证了 MAI-Gym-9B 在 7 个基准上的领先性能，还通过控制变量实验论证了\*\*联合训练优于专家合并\*\*、\*\*合成任务规模促进泛化\*\*、\*\*模拟环境可向真实应用迁移\*\*、\*\*纯奖励足以学习陌生界面\*\*以及\*\*基础设施在大规模下的效率与可靠性\*\*。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与平台设计，以下几个方向具有显著的进一步探索价值： ### 1. 迭代式评估–诊断–合成–再训练闭环论文在 §3.3 中提出了由智能体驱动的诊断（Agent-Driven Diagnosis）与失败驱动的任务合成机制，并明确指出\*\*尚未评估多轮重复循环的效果\*\*（"this paper does not yet evaluate repeated rounds"）。未来的工作可以系统地验证：通过 repeatedly 运行评估→诊断→合成→再训练的闭环，能否持续扩大任务覆盖、逐步消除模型弱点，并避免任务分布坍缩。 ### 2. 缩小模拟到现实的迁移鸿沟 §4.3.4 的实验显示，仅在 12306 克隆环境中进行 RL，虽然将真实物理手机上的任务成功率从 28.8% 提升至 48.1%，但\*\*克隆与真实应用之间的性能差距反而从 7.7 个百分点扩大到了 25.0 个百分点\*\*。这提示需要更深入的研究来缩小 sim-to-real gap，例如： - 提升克隆应用的视觉与交互保真度（如动态网络延迟、真实服务端响应、A/B 测试界面变化）； - 引入域随机化（domain randomization）或风格迁移，增强策略对真实 UI 变动的鲁棒性； - 设计渐进式迁移课程，从克隆环境逐步过渡到真实应用的有限交互。 ### 3. 更大规模与动态化的任务及环境合成 §4.3.3 表明，将合成训练任务从 500 条扩展至 5,000 条可显著提升 Task OOD 性能。进一步探索包括： - \*\*超大规模合成\*\*：在保持验证器可靠性的前提下，将任务池扩展至数万甚至数十万条，检验性能是否继续对数增长或出现饱和； - \*\*动态世界构建\*\*：当前的世界状态 s_0 是静态的。探索时变环境（如实时接收邮件、消息通知、动态库存变化）将使任务更贴近真实的长程工作流； - \*\*跨应用世界深化\*\*：在更复杂的跨应用场景中引入条件分支与多模态数据（如语音、视频附件），测试智能体在高度互联世界中的推理边界。 ### 4. 三域统一策略与跨域知识迁移机制论文的联合 RL 实验主要覆盖了移动端与电脑端（§4.2, §4.3.2），但 MAI-Gym 的平台架构原生支持网页环境（Web）。进一步研究可包括： - \*\*移动–电脑–网页三域联合训练\*\*：验证统一策略在三个域上是否仍优于两两专家合并，并分析不同模态（触摸 vs. 键鼠 vs. DOM 操作）之间的知识共享机制； - \*\*迁移学习的细粒度分析\*\*：识别哪些底层能力（如相对日期推理、滚动与搜索、表单填写）是可跨域迁移的，哪些是域特异性的，从而指导更高效的网络结构或模块化解耦设计。 ### 5. 复杂开放式任务的验证器可靠性论文采用代码验证器与执行测试来确保奖励信号的可靠性（§3.4.3），但对于创意编辑、开放式网页浏览、多轮对话式任务，难以编写精确的代码断言。未来可探索： - \*\*混合验证架构\*\*：将代码验证与经校准的 VLM judge 结合，利用前者保证可自动化的检查项，后者处理语义开放性要求，同时通过对抗性检测防止策略 exploit 奖励； - \*\*可执行规范的自动修复\*\*：当验证器与任务规范出现不一致时，由编码智能体自动迭代修复验证器代码，而非直接丢弃任务。 ### 6. 训练算法与多轮推理效率的深化 §4.3.6 对 GRPO 与 SAO 的初步对比显示，在 GUI 场景中异步单 rollout 优化并未取得明确的训练时间优势。进一步方向包括： - \*\*更高效的基线估计\*\*：针对长程 GUI 轨迹中高方差、稀疏奖励的特点，设计分层（hierarchical）或基于模型的 value 估计，以减少 GRPO 中组内采样的开销； - \*\*自适应窗口策略\*\*：论文采用固定窗口大小 K=10, O=2 进行历史管理。探索基于任务长度或注意力模式动态调整窗口参数，或引入视频压缩/关键帧提取，以进一步降低多模态 token 成本； - \*\*离线–在线混合训练\*\*：将大规模离线演示数据与 MAI-Gym 的在线 RL 结合，利用离线数据预填充热池，加速冷启动。 ### 7. 可解释性与自动化根因诊断 MAI-Gym 的仪表盘（§3.3, Appendix A.1）支持人工检查轨迹，但未来可朝着\*\*自动化诊断\*\*方向发展： - 利用合成环境生成反事实轨迹（counterfactual rollouts），定位失败根因（感知错误 vs. 推理错误 vs. 动作执行错误）； - 将诊断结果结构化地反馈给任务合成器，自动生成针对特定错误类型的"最小可复现任务"（minimal reproducible tasks），实现更精准的弱点修复。 ### 8. 安全性、隐私与鲁棒性 - \*\*安全边界\*\*：Mocked apps 消除了真实交易风险，但策略迁移到真实环境后，如何约束智能体不执行危险操作（如转账、删除数据、公开发帖）仍需系统的安全对齐研究； - \*\*UI 演化的鲁棒性\*\*：真实应用频繁更新界面布局。研究如何利用合成环境主动注入 UI 扰动（如按钮位移、分辨率变化、主题更新），训练出对界面演化具有强鲁棒性的策略。 Q6: 总结一下论文的主要内容该论文介绍了 \*\*MAI-Gym\*\*，一个面向 GUI 智能体的开源一体化评估与在线强化学习训练平台，并基于此训练出当前最强的开源轻量级 GUI 智能体之一。核心内容可概括如下： ### 1. 研究背景与问题在线强化学习（RL）已在数学、代码等领域取得快速进展，但推广到 GUI 智能体时面临两大瓶颈： - \*\*基础设施瓶颈\*\*：GUI 环境（手机、电脑、浏览器）需要独占实例、精确重置与大量多模态交互，导致并行成本高昂；且评估与训练代码路径分离会造成性能漂移。 - \*\*数据瓶颈\*\*：真实 GUI 任务需要连贯的跨应用环境状态，涉及交易的应用不适合直接训练，而现有任务合成方法多依赖孤立文件或不可靠的 VLM 评判，难以支撑大规模 RL。 ### 2. MAI-Gym 平台论文提出一个统一平台，从基础设施、环境合成到训练算法进行系统性设计： - \*\*统一可扩展架构\*\*：通过共享的 rollout 路径与单一 Agent Harness，确保评估、数据采集与在线 RL 训练所见智能体完全一致。环境管理器支持移动、电脑、网页三大域，峰值可并行运行 \*\*20,000\*\* 个环境实例。 - \*\*高效 rollout 机制\*\*：采用容器化快照重置（如 ReDroid）、异步热池预置与故障隔离；并设计\*\*窗口式历史（window-wise history）\*\*，通过前缀缓存复用将训练 token 量减少 \*\*84.7%\*\*，更新耗时降低 \*\*62.6%\*\*。 - \*\*自动化环境与任务合成\*\*： - 构建 \*\*49 个可重置的 Mocked Apps\*\*，包括 7 个真实应用（如 12306、美团、抖音）的安全克隆，以及 42 个全新陌生应用； - 提出\*\*跨应用世界构建\*\*，先根据人物角色与场景生成连贯的多应用文件/记录，再从中派生任务，使任务具备真实的长程推理需求； - 采用\*\*执行验证\*\*流程：需求先行、独立合成验证器与黄金代码、通过“初始–完成–重置”三连击测试，确保奖励信号可靠。 - \*\*在线 RL 训练优化\*\*：支持 GRPO、SAO 等 6 种算法；实现移动与电脑任务的\*\*联合 RL\*\*；引入策略自适应任务采样（将资源集中于策略“有时能解”的任务）与训练–rollout 一致性检查。 ### 3. 主要实验结果基于 MAI-Gym 训练的 \*\*MAI-Gym-9B\*\*（基于 Qwen3.5-9B）在多项基准上取得领先性能： - \*\*Task OOD（训练环境、未见任务）\*\*：MobileWorld \*\*78.4%\*\*、OSWorld-Verified \*\*76.2%\*\*，为 10B 参数以下开源 GUI 智能体的最先进水平。 - \*\*Env OOD（未见环境）\*\*：在 AndroidWorld、MobileGym、OSWorld 2.0、MacAgentBench、MyPCBench 上均优于同规模基线，显示良好的跨环境迁移能力。 - \*\*关键分析发现\*\*： - \*\*联合 RL 优于专家合并\*\*：单一联合训练策略在两个域上同时超越分别训练再参数融合的模型； - \*\*合成任务规模促进泛化\*\*：训练任务从 500 增至 5,000 条，Task OOD 性能持续提升； - \*\*Sim-to-Real 迁移\*\*：仅在 12306 克隆中 RL，即可将真实物理手机上的成功率从 28.8% 提升至 \*\*48.1%\*\*； - \*\*纯奖励学习陌生应用\*\*：在未见过的 HTML5 应用上，仅通过验证器奖励即可将 held-out 任务成功率从 25.8% 提升至 \*\*45.2%\*\*。 ### 4. 开源贡献论文发布了完整的框架代码、任务/环境合成技能、49 个 mocked apps、2,000 条经执行验证的任务以及 MAI-Gym-9B 模型检查点，以支持可复现的 GUI 智能体研究。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是MAI-Gym%3A%20An%20Open%20All-in-One%20Platform%20for%20GUI%20Agent%20Evaluation%20and%20RL%20Training%20across%20Mobile%20and%20Computer%20Environments，链接是https://arxiv.org/pdf/2610.20939，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.20939。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Panrong Tong,Quyu Kong,Pengxiang Li,Tianyu Xia,Hanzhang Zhou,Lei Wang,Chenglin Cai,Long Li,Long Chen,Jianan Zhang,Zhengwen Zeng,Xu Zhang,Gongjie Zhang,Yue Wang,Steven Hoi

Categories:

PDF URL: https://arxiv.org/pdf/2610.20939.pdf

Arxiv URL: https://arxiv.org/abs/2610.20939

Arxiv ID: 2610.20939

CoolPaper URL: https://papers.cool/arxiv/2610.20939

Published: 2026-10-17T01:32:16.796Z

Updated: 2026-10-17T01:32:16.796Z

12. SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation

Abstract:Reinforcement learning (RL) enables language models to improve text-to-image (T2I) generation by rewriting prompts for a frozen image generator. Existing methods typically apply a single signal derived from the image to individual subword tokens, although objects, counts, attributes, and relations form coherent semantic spans. We propose SCOPE, an objective based on Group Relative Policy Optimization (GRPO) that aligns update weighting with this structure. The rewriter jointly generates an enhanced prompt and its semantic partition. SCOPE pools shifts in policy log probabilities within each span to derive a shared coefficient for its token losses while retaining a single advantage for each completion. It requires neither separate span rewards nor additional image renders. Across Qwen-Image, SD3, and FLUX.1-dev, SCOPE achieves average relative gains over vanilla GRPO of 9.48% on GeneVal and 7.62% on T2I-CompBench. Ablation studies show that both semantic boundaries and pooling within spans contribute to these gains, supporting semantic structure as a practical inductive bias for prompt engineering with RL.

中文摘要

摘要：强化学习（RL）使语言模型能够通过为冻结的图像生成器重写提示词来改进文本到图像（T2I）生成。现有方法通常将从图像派生的单一信号应用于各个子词标记，尽管对象、数量、属性和关系构成了连贯的语义跨度。我们提出了SCOPE，一种基于群体相对策略优化（GRPO）的目标，它使更新权重与这一结构对齐。重写器联合生成增强的提示词及其语义划分。SCOPE在每个语义跨度内汇总策略对数概率的变化，以推导其标记损失的共享系数，同时为每个完成保留单一优势。它不需要单独的跨度奖励或额外的图像渲染。在Qwen-Image、SD3和FLUX.1-dev上，SCOPE在GeneVal上相对于普通GRPO实现了平均相对提升9.48%，在T2I-CompBench上实现了7.62%的提升。消融研究表明，语义边界和跨度内池化对这些提升均有贡献，这支持了将语义结构作为RL提示工程的实用归纳偏置的可行性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22264 (HTTP 429)

Authors: Yufei Jiao,Jinfa Huang,Zeyue Xue,Tianyu Xie,Yuexiao Ma,Rongrong Ji,Xiawu Zheng,Jiebo Luo

Categories:

PDF URL: https://arxiv.org/pdf/2610.22264.pdf

Arxiv URL: https://arxiv.org/abs/2610.22264

Arxiv ID: 2610.22264

CoolPaper URL: https://papers.cool/arxiv/2610.22264

Published: 2026-10-17T01:32:18.784Z

Updated: 2026-10-17T01:32:18.784Z

13. Speculative Forcing for Efficient Autoregressive Video Generation

Abstract:Few-step autoregressive video generators enable streaming generation, yet they run every token through the final denoising step, regardless of how much refinement it needs. We find this uniform computation is often unnecessary: many tokens already closely match their eventual full-step outputs in the initial steps, while others require refinement until the end. We introduce Speculative Forcing, a framework that treats intermediate clean estimates as drafts and predicts when individual tokens can be safely accepted early. Once accepted, a token is frozen as its final output and undergoes no further denoising, while its cached keys and values remain available as context for the remaining tokens. We explore two alternative verifier designs: a training-free one based on similarity to clean content and stability across steps, and a learned one that reads the frozen generator’s intermediate features to estimate each token’s remaining gap to its full-step output. Across short-video, long-video, and world generation, Speculative Forcing preserves the quality of full-step sampling while substantially reducing computation. On LongLive, it matches the four-step generator with ~1.7 denoising steps per token, running over 1.5x faster at 41.7 and 37.8 fps. On Lingbot-World 2.0, where camera motion continually changes the visible content, it maintains quality with ~2.5 denoising steps per token and runs 1.35x faster at 24.5 fps.

中文摘要

摘要：少步骤自回归视频生成器支持流式生成，但它们会将每个标记都通过最终的去噪步骤，无论其实际需要多少改进。我们发现这种统一计算往往是不必要的：许多标记在初始步骤中已经与最终完整步骤的输出非常接近，而另一些标记则需要持续改进直到最后。我们引入了“投机性强制”（Speculative Forcing），这是一个将中间干净估计视为草稿的框架，并预测各个标记何时可以安全地提前接受。一旦接受，标记会被冻结为最终输出，不再进行进一步去噪，同时其缓存的键和值依然可作为剩余标记的上下文。我们探索了两种可选的验证器设计：一种无需训练，基于与干净内容的相似度及跨步骤的稳定性；另一种是学习型的，通过读取冻结生成器的中间特征来估计每个标记与其完整步骤输出之间的剩余差距。在短视频、长视频和场景生成中，投机性强制在大幅减少计算量的同时，保持了完整步骤采样的质量。在 LongLive 上，它与四步骤生成器表现相当，每个标记平均约需1.7步去噪，运行速度超过1.5倍，达到41.7和37.8 fps。在 Lingbot-World 2.0 上，由于摄像机运动不断改变可见内容，它仍能在每个标记约需2.5步去噪的情况下保持质量，并以1.35倍速度运行，达到24.5 fps。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*少步自回归（autoregressive, AR）视频生成器中计算资源均匀分配导致的效率低下问题\*\*。在现有的少步自回归视频生成框架中，每个 token（或 latent chunk）通常被强制通过完整的 K 步去噪流程，无论其实际所需的细化程度如何。论文指出，这种\*\* uniform computation \*\*往往是冗余的：许多 token（如背景、历史出现过内容的区域）在最初几步就已经接近其最终的完整步输出；而另一些 token（如新出现的结构、动态变化的区域或相机运动新揭示的内容）则需要持续细化到最后一步。为应对这一矛盾，论文提出了 \*\*Speculative Forcing\*\* 框架，其核心思想包括： - \*\*将中间去噪步骤的干净估计视为 draft\*\*：在生成过程中，每一步产生的中间 clean estimate 被看作最终输出的草稿。 - \*\*token 级别的早期提交（token-wise commitment）\*\*：通过 verifier 预测单个 token 是否已经充分收敛。一旦判定收敛，该 token 即被冻结为最终输出，不再参与后续去噪步骤，但其缓存的 keys 和 values 仍作为上下文供其余未收敛 token 使用。 - \*\*差异化计算分配\*\*：仅对尚未收敛的 token 继续进行去噪，从而在保持生成质量的同时显著减少平均去噪步数。论文进一步探讨了两种 verifier 设计来支撑这一判断： 1. \*\*Training-free verifier\*\*：基于与干净历史/参考内容的相似性（第一步）以及连续 drafts 之间的稳定性（后续步骤）来判断收敛。 2. \*\*Learned verifier\*\*：利用冻结生成器的中间特征，通过轻量级卷积头直接预测每个 token 与其完整步输出之间的剩余差距。通过在短视频生成、长视频流式生成以及交互式世界模型（world generation）上的实验，论文验证了该方法能够在维持与完整 4 步采样相当质量的前提下，将平均去噪步数降至约 1.7–2.5 步，并实现 1.35× 至 1.58× 的推理加速。 Q2: 有哪些相关研究？根据论文第2节及相关引用，该研究的主要相关文献可分为以下四个方向： ### 1. 自回归视频生成与少步蒸馏自回归（AR）视频扩散模型通过将联合分布分解为 p(c_1, c_2, dots) = prod_t p(c_t mid c_(

ct(i) = x_0^((k^(i)))(i)
其中 k^(i) 表示 token i 被接受的步骤。这将以 token 为单位的总去噪次数从 KN 降至 ∑(i=1)^N k^(i) ，平均去噪深度为 k = (1) / (N)∑_(i=1)^N k^(i) 。 —- ### 3. 收敛准则：量化草稿与全步输出的差距为了定义“足够接近”，论文引入基于 oracle 的收敛差距（convergence gap）：

rel_k(i) = |hatx_0^((k))(i) - x_0^((K))(i)|_2σ_t, quad for k < K
其中 σ_t 是该 chunk 完整步输出的 token 范数中位数，用于归一化。当 rel_k(i) ≤ ε 时，认为该 token 已收敛。由于 x_0^((K)) 在推理时不可得，论文设计了两种 verifier 来预测这一条件。 —- ### 4. 两种验证器（Verifier）设计 #### 4.1 Training-free Verifier 利用草稿本身的特性作为收敛代理，无需训练： - **第一步：冗余性（Redundancy）** 仅第一步可用。计算当前草稿与“干净内容库”（已生成历史 chunk 的 latent token 或参考帧）中最近邻的距离：

s(red)(i) = min(h ∈ H) |x0^((1))(i) - h|_2
若经过平滑后的分数 $S
s(red)
(i) ≤ τ(red)$，则接受。其依据是：与历史内容高度相似的区域往往已经收敛。 - 第二步及以后：稳定性（Stability） 利用同一 token 连续两步草稿的变化量：
s(stab)^((k))(i) = |x0^((k))(i) - x_0^((k-1))(i)|_2, quad 2 ≤ k < K
若 $S
s(stab)^((k))
(i) ≤ τ_(stab) ，则接受。变化极小意味着进一步去噪带来的改动有限。 #### 4.2 Learned Verifier 为应对世界模型等更具挑战性的场景，论文提出从生成器内部特征直接预测收敛差距： - 轻量头部网络：在冻结的生成器某一 transformer 层后接入一个由 LayerNorm 与三层 3D 卷积（ 1536 to 96 to 48 to 1 ）组成的浅层 head。 - 训练目标：收集完整 K 步推理中的中间隐状态及其对应的 oracle 收敛差距 rel_k(i)$，以 Huber 损失训练：

L(φ) = (1) / (N(K-1)) ∑(i=1)^N ∑(k=1)^(K-1) smooth_(ell_1)(r_k(i), rel_k(i))

**推理**：head 输出预测差距 r_k(i) ，若 $S
r_k
(i) ≤ ε 则接受。调整 ε 即可在测试时直接控制速度-质量权衡，无需重新训练。 —- ### 5. 时空平滑与系统实现 - Spatiotemporal Smoothing：为避免孤立 token 的接受决策破坏时空一致性，verifier 的原始分数会先经过时空平滑算子 S 处理（空间上 9×9 高斯核，时间上同 chunk 内相邻帧加权平均），再与阈值比较。 - KV Cache 管理：已接受 token 的 KV 状态冻结于接受时刻；活跃 token 继续更新；chunk 组装完成后，对整个 chunk 执行一次 timestep 为 0 的 clean forward pass，刷新所有 token 的 KV 状态，供后续 chunk 使用。 - 执行优化：仅对活跃 token 执行去噪前向传播，通过共享索引、原地 KV 更新以及 clean pass 与下一步去噪的合并，降低实际推理开销。 —- ### 总结 Speculative Forcing 的解决路径可概括为：在保留原始生成器权重不变的前提下，将“全步去噪”重构为“逐 token 草稿-验证-提交”。通过 training-free 或 learned 的 verifier 预测每个 token 的收敛状态，仅对未收敛 token 继续投入计算，从而在保持生成质量的同时，将平均去噪步数从 K 降至约 1.7 – 2.5 ，实现显著的吞吐提升。 Q4: 论文做了哪些实验？论文围绕自回归视频生成与世界建模，在短视频生成、长视频生成和世界模型生成三个任务上展开了系统实验，并辅以多组消融分析。具体实验内容如下： —- ### 1. 实验设置与基准模型 - 基座模型：将方法应用于两个冻结的少步自回归生成器： - LongLive（1.3B，4步去噪）：用于短视频（5秒）与长视频（30秒）生成。 - Lingbot-World 2.0（1.3B Causal-Fast，4步去噪）：用于交互式世界模型 rollout。 - 对比基线：各模型原始的 uniform-step 采样（1-step、2-step、3-step、4-step）。 - 提出的方法变体： - OursTF：Training-free verifier。 - OursH：Learned head verifier。 - 训练数据：Verifier 在 1K VidProM 提示（LongLive）或 1K 独立场景（Lingbot）的完整步 rollout 上训练，生成器权重冻结。 —- ### 2. 主实验：三类生成任务 #### 2.1 短视频生成（5-second videos） - 数据集/协议：使用 VBench 提示集，每提示 5 个随机种子。 - 评估指标：VBench 全部 16 个维度（Total Score、Quality Score、Semantic Score 等），以及平均去噪步数（Mean Steps）和单卡 H100 吞吐（FPS）。 - 结果位置：Table 1。 - 核心发现：OursTF 与 OursH 在平均约 1.65–1.68 步 的条件下，保持了 4-step 采样的 VBench 总分（83.12 vs. 83.08），同时将吞吐从 26.4 fps 提升至 41.7–43.6 fps。 #### 2.2 长视频生成（30-second videos） - 协议：与 LongLive 原始协议一致，使用 VBench-Long 评估 30 秒视频。 - 额外指标：引入 Drift 指标（Reward Forcing），衡量不同时段成像质量的标准差，以评估长时一致性。 - 结果位置：Table 2。 - 核心发现：两种 verifier 在约 1.71–1.72 步 的平均深度下，维持了 4-step 的 Total Score（82.75–82.81 vs. 82.69），且 Drift 低于 4-step 基线（1.685–1.707 vs. 1.722），吞吐达到 37.8–38.8 fps。 #### 2.3 世界模型生成（World Generation） - 协议：在 200 个固定导航场景上评估，每场景 253 帧，包含 5 段随机相机轨迹（平移、旋转、静止）。 - 评估指标： - VBench 质量聚合（6 个维度，不含 Temporal Flicker）。 - 相对相机位姿误差（RPE）：通过 Depth Anything 3 恢复相机位姿并与指令轨迹对比，报告 Trans（相对平移误差）与 Rot（旋转角误差）。 - Drift。 - Mean Steps 与 FPS。 - 结果位置：Table 3。 - 核心发现：由于相机运动导致可见内容持续变化，平均去噪步数增加至约 2.53–2.55 步，但仍维持了 4-step 的 Quality Score（82.58–82.65 vs. 82.62），RPE 与基线持平，Drift 更低；吞吐从 18.1 fps 提升至 24.5–24.7 fps（1.35× 加速）。 - 定性结果：Figure 4 展示了长视频与世界模型 rollout 的视觉对比，验证了早期提交不会在时序上产生明显质量退化。 —- ### 3. 消融实验（Ablation Studies） #### 3.1 验证容差（Tolerance）的影响 - 实验：在 Lingbot 上对学习 verifier 的阈值 ε 进行扫描（0.16, 0.20, 0.24, 0.28, 0.32）。 - 指标：Mean Steps、FPS、Quality Score、Imaging Quality、Drift。 - 结果位置：Table 4。 - 发现： ε ∈

0.20, 0.24
时，质量超过 4-step 基线且 Drift 最低；过大的 ε 会接受未充分细化的 draft，导致质量下降。 #### 3.2 验证信号（Verification Signals）的对比 - 对比方法： - Channel Variance：改编自 RAS 的预测噪声离散度信号。 - Temporal Difference：改编自 MotionCache 的相邻帧 latent 时域差分。 - Chunk-wise Acceptance：使用相同 learned verifier，但整 chunk 统一接受（而非逐 token）。 - Oracle Verifier：计算真实的 rel_k(i) 进行接受，作为性能上界。 - 结果位置：Table 5。 - 发现： - Channel Variance 与 Temporal Difference 在相近 mean steps 下，质量显著低于论文方法（Quality Score 78.23–80.97 vs. 82.58–82.65），且 Drift 更高。 - Chunk-wise Acceptance 虽接近基线质量，但 Drift 更高（3.214 vs. 2.839），说明 token 级粒度对稳定 rollout 至关重要。 - OursH 的质量与 Oracle 相当，表明 head 能有效替代真实收敛差距。 #### 3.3 定性消融 - 结果位置：Figure 5。 - 展示内容：对比了 4-step 基线、OursH、OursTF、Chunk-wise Acceptance 与 Temporal Difference 在世界模型 rollout 中的视觉效果，说明： - Chunk-wise 过早接受会将误差传播到后续 chunk。 - 基于时域运动的验证难以区分相机运动引起的变化与真实失真。 —- ### 4. 附录中的补充分析 #### 4.1 验证准确率分析（Appendix C.1 / Table A） - 在 LongLive 上报告不同 ε 和去噪步骤下，各验证信号识别“需进一步细化 token”的 AUROC。 - 结论：学习 verifier（OursH）在所有步骤和容差下均领先；冗余信号（Redundancy）在第 1 步有效，稳定性信号（Stability）在第 2–3 步有效；运动基信号最弱。 #### 4.2 Head 结构消融（Appendix C.2 / Table B） - 在 Lingbot 上对比： - On-policy training（训练时也使用截断历史）。 - Per-token MLP（替换 3D 卷积头）。 - 去除时空平滑（w/o spatiotemporal smoothing）。 - 结论：各变体质量相近，但带时空平滑的卷积头在 Drift 和 Imaging Quality 上表现最佳，支持更稳定的 rollout。 #### 4.3 完整 VBench 维度结果（Appendix C.3 / Tables C–F） - 补充了 5 秒视频（VBench）与 30 秒视频（VBench-Long）的全部 16 个维度的详细得分，包括与 Surprise Forcing（Shi et al., 2026）的对比。 - 结论：Speculative Forcing 在绝大多数维度上与 4-step 基线持平或更优，且在长视频上 Drift 更低。 #### 4.4 限制与讨论（Appendix D） - 分析了加速比的上界（理想加速比为 5/(k+1) ）以及实际吞吐未完全随 mean steps 线性提升的原因（chunk 内最后活跃 token 决定步数上限）。 - 讨论了该方法在 talking-head 生成、环境锚定世界模型等“大量内容已被条件约束”场景中的潜在应用。 Q5: 有什么可以进一步探索的点？基于论文的方法设计、实验观察与讨论，以下几个方向值得进一步探索： —- ### 1. 跨 Chunk 的全局一致性约束与记忆机制当前 Speculative Forcing 的验证与提交决策基本局限于单个 chunk 内部。在长视频或长程 world model rollout 中，已接受 token 的微小误差可能在自回归传播中累积，尤其当 chunk 边界处的时空相关性较强时。未来可探索： - 跨 chunk 的记忆感知 verifier：在判断是否接受当前 chunk 的 token 时，不仅参考其最终全步输出，还显式建模该决策对后续 chunk 生成质量的影响。 - 可修正的提交机制：允许在后续步骤中对已提交 token 进行“回滚”或微调，而非完全冻结，以抑制长程漂移（Drift）。 —- ### 2. 生成器与 Verifier 的联合优化论文中生成器权重始终保持冻结，verifier 仅为轻量外挂模块。若解除这一限制，可期待更大幅度的效率-质量联合提升： - 可学习的收敛表示：在分布匹配蒸馏阶段即引入收敛预测辅助损失，使生成器的中层特征天然蕴含更清晰的收敛信号，降低 verifier 学习难度。 - 对抗或强化学习训练：将 verifier 的接受策略建模为策略网络，以最终生成视频的 VBench 指标或人工偏好作为奖励，通过策略梯度优化接受阈值与生成器参数的协同。 —- ### 3. 与特征缓存及注意力加速的正交叠加论文提到 Speculative Forcing 与现有缓存方法（如 DeepCache、FORA、MotionCache）作用于不同层面。探索二者的正交组合有望获得接近乘法级别的加速： - 分层缓存 + 分层提交：对已提交 token 冻结其 KV，同时对活跃 token 在去噪步间启用特征缓存，避免冗余的注意力计算。 - 动态稀疏注意力：基于 verifier 的收敛预测，在生成器内部对高置信度 token 执行稀疏或局部注意力，而非仅将其排除在去噪外。 —- ### 4. 超越 Token 粒度的自适应计算当前方法在 latent token 级别做二值化决策（接受/拒绝）。更精细或更粗粝的粒度可能带来额外收益： - Sub-token 或通道级自适应：某些 token 的部分通道（如低频语义信息）先收敛，而高频细节仍需迭代。可探索按通道或按 patch 子区域的部分提交。 - Chunk-group 级策略：在宏观层面为不同 chunk 分配不同的最大去噪预算，再在内部执行 Speculative Forcing，实现宏观-微观两级调度。 —- ### 5. 多步前瞻（Multi-step Lookahead）验证现有 verifier 仅依据当前及历史信息判断收敛。借鉴 LLM 中多 token 推测解码的思想： - 未来步轨迹预测：训练一个轻量网络，基于第 k 步状态预测第 k+1, k+2 步的草案变化，从而更早识别“假收敛”（即当前稳定但即将在后续步骤大幅变化）的 token，减少过早提交带来的质量损失。 —- ### 6. 面向特定领域的高效生成论文 Appendix D.3 已指出，当目标内容受外部条件强约束时（如背景固定、参考图像已知），Speculative Forcing 的潜力更大。值得在以下场景展开系统研究： - Talking-head 与 Avatar 生成：面部动作高度局部化，背景与躯干大量 token 可极早提交，支持更低延迟的实时流式输出。 - 具身智能与机器人操作：结合深度图或点云先验，对静态场景部分冻结计算，仅对交互区域保持全步去噪，提升世界模型在边缘设备上的实时性。 - 3D/4D 一致性生成：将 token 级提交扩展至多视角或体素级生成，利用几何一致性作为额外的 training-free 验证信号。 —- ### 7. 硬件感知的动态调度与计算图优化论文指出实际加速比受限于 chunk 内最晚被接受 token 的步数（ max_i k^(i) ），而非平均步数 k 。为缩小理论与实际吞吐的差距： - 动态 Token 重排与 Batching：在 DiT 前向传播中，将不同 chunk 中仍处于活跃状态的 token 动态拼接成更高效的张量布局，减少稀疏计算开销。 - 提前终止（Early Exit）的流水线设计：在自回归流水线中，一旦某 chunk 的剩余活跃 token 数量低于阈值，即启动下一 chunk 的预取与预处理，隐藏延迟。 —- ### 8. 更鲁棒的零训练验证信号 Training-free verifier 依赖冗余性与稳定性两个代理指标，在世界模型等复杂域中精度有限。可探索利用扩散/流匹配框架的内在统计量： - 基于注意力图的收敛诊断：分析 token 对历史与自身的注意力权重分布，低熵或稳定注意力可能预示收敛。 - 基于流轨迹的曲率估计：在流匹配（flow matching）框架下，token 在速度场中的局部曲率可作为“剩余变化量”的几何代理，无需额外训练即可判断收敛。 Q6: 总结一下论文的主要内容这篇论文提出了 Speculative Forcing，一种面向少步自回归视频生成的高效推理框架，通过 token 级别的自适应去噪，在不牺牲生成质量的前提下显著降低计算开销。 ### 1. 研究动机与问题少步自回归（AR）视频扩散模型通过将去噪过程压缩至 K 步（如 4 步）实现了流式生成。然而，现有方法通常对每个 token 执行全部 K 步去噪，忽略了一个关键现象：不同 token 的收敛速度差异显著。背景或与历史高度相似的区域往往在最初几步即接近其最终输出，而新出现或动态变化的区域则需要持续细化至最后。这种计算资源的均匀分配导致了大量冗余推理。 ### 2. 核心方法论文将每一步产生的中间干净估计 x_0^((k)) 视为草稿（draft），并引入一个验证器（verifier）来判断单个 token 是否已充分收敛。一旦收敛，该 token 即被接受并冻结，不再参与后续去噪步骤，但其缓存的 keys 和 values 仍保留为其余活跃 token 提供上下文。 #### 2.1 Token-wise Commitment 设 chunk 包含 N 个 token，每个 token i 的提交步记为 k^(i)$。最终输出由不同步骤的估计拼接而成：

ct(i) = x_0^((k^*(i)))(i)
总去噪次数从 KN 降至 ∑(i=1)^N k^(i) ，平均去噪深度为 k = (1) / (N)∑_(i=1)^N k^(i) 。 #### 2.2 收敛准则以完整步输出 x_0^((K)) 为参考，定义 token i 在第 k 步的归一化收敛差距为：

rel_k(i) = |hatx_0^((k))(i) - x_0^((K))(i)|_2σ_t
其中 σ_t 为该 chunk 全步输出的 token 范数中位数。当 rel_k(i) ≤ ε 时，认为 token 已收敛。 #### 2.3 两类 Verifier 设计为在推理时预测上述不可直接获得的收敛差距，论文提出了两种验证策略： - **Training-free Verifier**： - **冗余性（Redundancy）**：在第 1 步，衡量草稿与干净历史或参考内容中最近邻的距离，相似度高则接受。 - **稳定性（Stability）**：在第 2 步及以后，衡量连续两步草稿之间的变化 |x_0^((k))(i) - x_0^((k-1))(i)|_2 ，变化小则接受。 - 两种信号分别对应两个经校准的阈值，无需额外训练。 - **Learned Verifier**： - 在冻结的生成器后端接入一个轻量 3D 卷积头（LayerNorm + 三层 3D 卷积，共享于所有步骤）。 - 输入为生成器中间层的隐状态，直接预测收敛差距 r_k(i) 。 - 使用 Huber 损失训练：

L(φ) = (1) / (N(K-1)) ∑(i=1)^N ∑(k=1)^(K-1) smooth_(ell_1)(r_k(i), rel_k(i))

推理时通过调整容差 ε 即可无重训练地控制速度-质量权衡。 #### 2.4 时空平滑为避免孤立的接受决策破坏视觉连贯性，verifier 的分数在阈值判断前经过时空高斯平滑 $S

·
，鼓励相邻 token 在时域和空域上做出一致的提交决策。 ### 3. 实验结果论文在 LongLive（短视频与长视频生成）和 Lingbot-World 2.0（交互式世界模型）上进行了评估，基线均为原始的 4 步 uniform 采样。 - 短视频生成（5 秒）： - OursH 与 OursTF 的平均去噪步数约为 1.7 步/token。 - 吞吐量从 26.4 fps 提升至 41.7 fps（1.58× 加速），同时保持与 4-step 基线相当的 VBench 总分。 - 长视频生成（30 秒）： - 平均去噪步数约为 1.7 步/token，吞吐达到 37.8 fps（1.54× 加速）。 - 质量指标与 4-step 持平，且 Drift（时序质量波动）更低（1.707 vs. 1.722）。 - 世界模型生成（Lingbot-World 2.0）： - 由于相机运动导致可见内容持续变化，平均去噪步数约为 2.5 步/token。 - 吞吐从 18.1 fps 提升至 24.5 fps（1.35× 加速）。 - 在保持 VBench 质量与相机位姿跟随精度的同时，Drift 显著降低（2.839 vs. 3.094）。 - 消融研究： - Token-wise vs. Chunk-wise：逐 token 提交的 Drift 与质量显著优于整 chunk 统一接受。 - Verifier 对比：Learned verifier 优于基于时域差分或通道方差的替代信号，且性能接近使用真实全步输出作为参考的 Oracle verifier。 - 容差 ε 扫描：在

0.20, 0.24
$ 范围内，方法在质量与 Drift 上均达到或超过 4-step 基线。 ### 4. 结论论文证明了在少步自回归视频生成中，**为所有 token 分配相同的去噪深度并非必要**。Speculative Forcing 通过将中间估计视为草稿、基于收敛预测实现 token 级自适应提交，在不修改生成器权重的前提下，于短视频、长视频及世界模型任务中均实现了显著的推理加速与可比较甚至更低的质量波动。该框架支持 training-free 与 learned 两种验证模式，为高效视频生成提供了一条实用的技术路径。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hyunwook Choi,Seungryong Kim,Dongyoon Han,Sangdoo Yun

Categories:

PDF URL: https://arxiv.org/pdf/2610.22347.pdf

Arxiv URL: https://arxiv.org/abs/2610.22347

Arxiv ID: 2610.22347

CoolPaper URL: https://papers.cool/arxiv/2610.22347

Published: 2026-10-17T01:32:19.546Z

Updated: 2026-10-17T01:32:19.546Z

14. VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models

Abstract:Vision-language-action (VLA) models transfer semantic knowledge acquired through vision-language pretraining to robot control, achieving strong performance across various benchmarks. However, most VLAs directly map observations to demonstrated actions without explicit supervision of intermediate physical state changes, making them prone to overfitting observation-action correspondences. Some methods introduce intermediate reasoning or future-state prediction in language, visual, or latent spaces to guide action generation, but do not explicitly supervise the physical state transition itself. We therefore propose VLA-$\Delta$, a general framework that uses physical changes between current and future states as explicit learning targets. To support this objective, we construct a large-scale pretraining dataset and derive physical state-transition annotations covering task-relevant semantics and visual motion changes, providing more direct supervision for continuous action generation. During inference, the model generates actions directly from current observations without additional inference overhead. VLA-$\Delta$ achieves performance competitive with the state of the art on LIBERO and RoboTwin, and outperforms $\pi_{0.5}$ in real-robot experiments. Our code is available at this https URL

中文摘要

摘要：视觉-语言-动作（VLA）模型将通过视觉-语言预训练获得的语义知识转移到机器人控制中，在各种基准测试中取得了优异的表现。然而，大多数VLA模型直接将观察映射到示范动作，而没有对中间物理状态变化进行明确监督，使其容易对观察-动作对应关系产生过拟合。一些方法在语言、视觉或潜在空间中引入中间推理或未来状态预测来指导动作生成，但并未对物理状态过渡本身进行显式监督。因此，我们提出了VLA-$\Delta$，一个使用当前状态与未来状态之间物理变化作为显式学习目标的通用框架。为了支持这一目标，我们构建了大规模的预训练数据集，并衍生了涵盖任务相关语义和视觉运动变化的物理状态转移标注，为连续动作生成提供了更直接的监督。在推理过程中，模型可直接从当前观察生成动作，而无需额外的推理开销。VLA-$\Delta$在LIBERO和RoboTwin上取得了与最先进方法相当的性能，并在真实机器人实验中超过了$\pi_{0.5}$。我们的代码可通过此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.21306 (HTTP 429)

Authors: Qi Lu,Jiarun Li,Ce Zhang,Miao Pan,Yi Pan,Xu Wang,Wenqi Zhang,Xuhong Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.21306.pdf

Arxiv URL: https://arxiv.org/abs/2610.21306

Arxiv ID: 2610.21306

CoolPaper URL: https://papers.cool/arxiv/2610.21306

Published: 2026-10-17T01:32:20.402Z

Updated: 2026-10-17T01:32:20.402Z

15. CommerceGen-Studio: An End-to-End Framework for Commercial-Grade Main-Image Generation

Abstract:We present CommerceGen-Studio, an end-to-end framework for generating commercial-grade main images for e-commerce Stock Keeping Units (SKUs). Our framework is organized along a three-stage pipeline of information extraction, semantic rewriting, and multi-condition generation: Prompt-Eval-Refine-Loop Agent (PERL-Agent) distills heterogeneous SKU metadata into concise selling-point text lists through an iterative closed loop of VLM and LLM roles scored by a reference-free rubric. Layout Thinker Optimization (LTO) aligns the rewriter with both caption and rendered-image quality via alternating domain-specific policy optimization. SKU-DiT, trained under Reinforce-Distill-Reinforce (RDR) progressive training, conditions jointly on the white-background product image, the trademark crop, and the structured layout to hold subject fidelity, trademark integrity, and character-level text accuracy together. The framework runs in production at a scale of millions of main images per day with a latency of a few seconds per image, which we believe makes it among the first systems of this kind to operate at commercial scale. We also release CommerceGen-Bench, a benchmark of hard cases collected from live traffic across all product categories. On it, our framework achieves the highest overall scores among the evaluated open-source baselines on both editing tracks, with and without prompt enhancement. It also matches much larger closed-source models, and beats several of them at Instruction Following and Product Integration - the two properties that determine whether an image can be published.

中文摘要

摘要：我们提出了 CommerceGen-Studio，这是一种端到端框架，用于为电子商务库存单位（SKU）生成商业级主图。我们的框架按信息提取、语义重写和多条件生成三阶段管道组织：Prompt-Eval-Refine-Loop Agent（PERL-Agent）通过 VLM 和 LLM 角色的迭代闭环，并依据无参考评分标准，将异构 SKU 元数据提炼为简明的卖点文本列表。Layout Thinker Optimization（LTO）通过交替的特定领域策略优化，使重写器同时与标题和渲染图像质量保持一致。SKU-DiT 在 Reinforce-Distill-Reinforce（RDR）渐进训练下训练，联合条件于白底产品图、商标裁剪和结构化布局，以同时保持主体忠实、商标完整性和字符级文本准确性。该框架在生产中运行，可每天处理数百万张主图，单张图片处理延迟仅几秒，我们认为这使其成为首批可在商业规模上运行的同类系统之一。我们还发布了 CommerceGen-Bench，这是一套从所有产品类别的实时流量中收集的高难度案例基准。在该基准上，我们的框架在两个编辑任务中——无论是否增强提示——都在所有评估的开源基线中取得最高整体分数。它也能匹配更大规模的封闭源模型，并在指导执行（Instruction Following）和产品整合（Product Integration）——决定图像是否可发布的两个属性——上打败其中的若干模型。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*电商场景下SKU级别商业级主图的自动化生成问题\*\*。具体而言，随着搜索引擎 increasingly 将查询解析到具体SKU而非包含多个SKU的商品，搜索结果页（SRP）需要以精确的SKU粒度渲染展示素材；然而商家很少维护SKU级别的营销图片，现有SKU图片多为纯白底产品照，直接投放会显著降低点击率。因此，将异构SKU元数据自动转化为高质量、可直接发布的商业主图，成为体验优化和供给补全的关键需求。为达成这一目标，论文指出必须同时满足以下四个核心要求，而现有通用文本到图像/图像到图像基础模型并未针对这些要求设计： 1. \*\*异构信息提取与 reconciling\*\*：SKU信息分散在标题、产品图OCR、结构化属性、后台参数等多源数据中，这些来源可能存在重叠、冲突或缺失，且不同类目的关键信息差异显著，需先将其凝练为可靠、简洁的卖点文本列表。 2. \*\*严格的信息一致性\*\*：生成图像中的商品主体、商标及卖点文字必须与源SKU元数据\*\*完全一致\*\*，即使是单个数字的幻觉或属性冲突也可能误导购买决策。 3. \*\*长尾鲁棒性\*\*：线上流量覆盖海量 diverse 商品类目，且商家输入图像质量参差不齐，系统必须在长尾场景下保持稳定。 4. \*\*多条件布局联合控制\*\*：需在同一构图中协调产品主体、商标及卖点文字的位置、层级和样式，实现专业的排版与视觉组合。现有方法仅部分满足上述需求：级联的"先规划后渲染"系统在各阶段累积误差；端到端海报模型则常在文本准确性与主体保真度之间顾此失彼。为此，论文提出了 \*\*CommerceGen-Studio\*\*，一个端到端的三阶段框架（信息提取 → 语义重写 → 多条件生成），通过以下组件系统性地解决上述问题： - \*\*PERL-Agent\*\*：以无参考的六维评分标准，通过VLM与LLM的迭代闭环（生成-评判-归因-修正），从异构元数据中提取准确的卖点文本列表 L 。 - \*\*Layout Thinker Optimization (LTO)\*\*：将文本列表重写为可执行的布局描述 c_(layout) ，并通过双领域（文本质量与渲染图像质量）交替策略优化，显式控制排版语义。 - \*\*SKU-DiT 与 Reinforce-Distill-Reinforce (RDR) 渐进训练\*\*：在一个统一的多图像编辑Diffusion Transformer中，联合条件化白底商品图 I_(prod) 、商标裁切 I_(logo) 及结构化布局 c_(layout) ，通过偏好对齐、动态反向模拟蒸馏与蒸馏后再强化，实现秒级推理延迟下的主体保真、商标完整与字符级文字精度：

klein
**、**Qwen-Image** 等）虽支持多参考编辑，但缺乏将异构SKU元数据转换为已验证卖点、并针对下游生成器训练布局策略的上游能力。在 CommerceGen-Bench 上观察到的现象包括：FLUX.2
klein
频繁在中文卖点文本上失败，FireRed 丢失商标或不可靠地融合多产品条件，Qwen-Image-Edit 偶尔出现产品身份漂移。 ### 2.2 视觉文本渲染扩散模型在精确渲染复杂字形时长期存在缺字、错字与幻觉问题，现有工作的不足如下： - **AnyText / AnyText2** (Tuo et al., 2024b;a)：通过字形感知条件提升多语言文本渲染精度，但将文本视为独立渲染目标，忽略文本、整体布局、主体与商标之间的协调，且无法保证产品主体不被改变。 - **TextDiffuser** (Chen et al., 2023)：引入字符级分割掩码引导逐字符渲染。 - **TextDiffuser-2** (Chen et al., 2024b)：放宽为行级文本区域与基于LLM的布局规划，但仍针对单图像文本渲染，缺乏与产品主体和商标的多条件联合建模。 - **FLUX-Text** (Lan et al., 2025)：使用扩散Transformer改进场景文本编辑，但仅支持单图像文本编辑，不支持多条件（白底图像 + 商标图像 + 文本布局）联合生成。 - **EasyText** (Lu et al., 2026)：提升多语言渲染可控性，但非为电商场景的信息一致性需求设计，缺乏商标保真度与产品主体约束。 ### 2.3 扩散模型的强化学习与蒸馏由于像素级重建损失无法直接优化文本可读性或构图美观度，强化学习与蒸馏技术被引入扩散后训练： - **DDPO** (Black et al., 2024)：将去噪视为马尔可夫决策过程应用策略梯度，但需每步策略概率计算，且针对随机扩散采样设计，不直接适用于流匹配的确定性ODE。 - **GRPO** (Shao et al., 2024)：以组内相对优势替代PPO的学习价值函数，但为语言模型设计，不直接迁移至扩散与流匹配的连续时间设定。 - **Flow-GRPO** (Liu et al., 2025)：将GRPO适配到流匹配模型，但需将确定性ODE转为随机SDE以注入探索，引入额外近似误差，且缺乏KL正则化时易产生奖励黑客。 - **DanceGRPO** (Xue et al., 2025)：适配到统一视觉生成框架，但多任务混合训练中存在任务干扰与跷跷板效应。 - **DiffusionNFT** (Zheng et al., 2025)：提出与流匹配兼容的在线强化算法，直接通过扩散前向过程进行在线奖励优化，无需离线轨迹收集且训练稳定；本文采用其作为策略优化框架。 - **DiffusionOPD** (Li et al., 2026)：提供扩散特定的在线策略能力集成框架，任务专业教师独立训练，学生生成自身轨迹并向对应教师蒸馏，分离能力特定探索与联合集成，减少异构目标间干扰。 - **DMD** (Yin et al., 2024b)：通过分布匹配蒸馏将多步采样压缩至单步，但单步蒸馏在复杂场景中生成质量有限。 - **DMD2** (Yin et al., 2024a)：通过细化分布匹配策略与添加反向模拟提升少步质量，但未显式保护结构完整性。本文在 DMD2 基础上提出 **Dynamic Backward Simulation Distillation**，增加了在接近干净图像端点处停止采样的概率以保护结构完整性，并引入基于判别器的对抗训练强化商标生成，从而在质量与延迟之间取得平衡。 Q3: 论文如何解决这个问题？ CommerceGen-Studio 通过**三阶段端到端流水线**解决电商 SKU 级商业主图生成问题，涵盖从异构元数据提取到最终图像渲染的全链路。整体框架分为训练流水线与推理流水线（见图 2），核心思路是将信息提取、语义重写与多条件生成分解为相互衔接的专用模块，并通过渐进式训练对齐各阶段语义。 —- ### 1. 推理流水线概览给定一个产品 ID，系统依次执行： 1. **PERL-Agent** 从多源异构元数据中提取结构化的卖点文本列表（TextList） L ； 2. **Layout Thinker** 将 L 连同白底商品图 I(prod) 与商标图 I(logo) 重写为可执行的布局描述 c(layout) ； 3. **SKU-DiT** 在单轮多图像编辑中联合条件化 I(prod) 、 I(logo) 与 c(layout) ，生成可直接发布的商业主图：

I(out) = fθ(I(prod), I(logo), c_(layout))
—- ### 2. 训练流水线：三阶段级联训练基于内部 Swift-Image 6B 统一多图像编辑 DiT 主干，分三个阶段逐步注入领域能力与推理效率。 #### Stage I：预训练与持续训练将通用视觉生成主干迁移到电商 SKU 分布。训练数据包括： - 约 407 万条文本到图像三元组（白底图、提示词、成品图） - 约 267 万条单图像编辑对 - 约 27.4 万条多图像编辑对数据经过美学模型与高饱和度检测双重过滤，并在**叶子类目、背景场景类型、图中文字长度**三个维度上进行平衡采样，以确保对稀疏与稠密文本布局的充分覆盖。 #### Stage II：RDR（Reinforce-Distill-Reinforce）渐进训练 Stage I 的重建目标无法直接优化文本精度、卖点完整度或视觉质量，因此 Stage II 通过“强化 → 蒸馏 → 再强化”三段式策略对齐人类偏好并压缩推理步数。 **Phase I：专家对齐与能力整合** 定义基于 VLM 评判的三维奖励： - S_1 （指令跟随）：文本准确性、卖点完整性、商标还原、外画合规性 - S_2 （内容保真）：商品颜色、纹理、数量、视角是否保持不变 - S_3 （美学合理性）：阴影接地、光照一致性、边缘清晰度、排版质量引入 OCR 惩罚项（由 PP-OCRv6 检测非产品区域的 OCR 错误），总奖励为：

R = √[3]S1 · S_2 · S_3 - w · penalty(OCR)
其中 w 控制惩罚强度。基于 DiffusionNFT 框架独立训练两位专家教师： - **复杂布局教师**：专注于排版、空间组织与多元素协调； - **主体保持教师**：专注于产品身份、结构、颜色、纹理与商标细节的保留。随后利用 DiffusionOPD 进行在线策略蒸馏：学生模型生成自身扩散轨迹，由对应领域的教师分别监督，从而将两种互补能力整合到单一模型，避免异构目标间的参数干扰。 **Phase II：动态反向模拟蒸馏（Dynamic Backward Simulation Distillation）** 在整合后的学生模型上进行少步蒸馏，以将推理延迟降至秒级。该方法基于 DMD2 并做出三项关键改进： - **数据混合**：通用编辑数据与商标域编辑数据按 3:1 混合，防止域过拟合或字体欠拟合； - **Late-Biased Random Stop**：提高采样轨迹在接近干净图像端点（clean-image endpoint）处终止的概率，从而保护结构完整性； - **判别器对抗训练**：针对高质量真实图像训练判别器，对商标笔画进行对抗监督，而非仅依赖期望损失； - **商标上采样**：对往往仅有数十像素宽的商标参考图进行上采样，以保留细笔画细节。结合分类器自由引导（CFG）的蒸馏，单图延迟降至约 5 秒。 **Phase III：蒸馏后强化** 蒸馏带来的分布偏移主要损害高频细节（字体笔画钝化、商标边缘软化）。因此，直接在少步学生模型上执行第二轮强化学习（LoRA，rank 32， α=64 ），在 8 步采样约束下恢复主体保真与文本精度。此阶段使用约 2500 组轨迹，数据筛选阈值比持续训练更严格。 #### Stage III：Layout Thinker Optimization（LTO）直接将 TextList 输入生成器会迫使模型隐式推断布局，导致构图不稳定。LTO 在 TextList 与生成器之间插入显式的重写层，由 VLM 将结构化卖点重写为包含主体位置/朝向、背景风格/光照、文本层级/颜色、商标位置/大小的布局描述。训练分为： - **SFT 阶段**：最大化真实布局标题的似然：

L(SFT) = -E((L, I, c^) ∈ D)(SFT) [ (1) / (T) ∑(t=1)^(T) log p_φ(c^t mid c^*(<t), L, I(prod), I(logo)) ]
其中 φ 为 VLM 可训练的上层参数，下层冻结以保留通用视觉-语言基础。 - **RFT 阶段**：使用 GRPO 对齐双领域奖励。为避免文本质量与渲染图像质量的梯度冲突，引入**双域随机交替机制**：文本域损失：
L(text) = -E(Gtext) [ (1) / (N(texttext)) ∑(i=1)^(N(text)) min( r(text),i(φ) A(text),i, clip(r(text),i(φ), 1-ε, 1+ε) A(text),i ) ] + β(text) D(KL)(πφ | π(ref))
图像域损失：
L(img) = -E(Gimg) [ (1) / (N(textimg)) ∑(i=1)^(N(img)) min( r(img),i(φ) A(img),i, clip(r(img),i(φ), 1-ε, 1+ε) A(img),i ) ] + β(img) D(KL)(πφ | π(ref))
每个优化步按均匀概率随机选择单一域进行反向传播：
u sim U[0,1], quad L(RFT)(u) = L(text), & u < p(text) L(img), & u ≥ p(text)
其中 A(d,i) 为域内组相对优势，SKU-DiT 在 RFT 期间保持冻结，仅作为图像域的渲染器，从而显式关闭重写器与固定生成器之间的语义鸿沟。 —- ### 3. PERL-Agent：异构元数据提取在流水线的最上游，PERL-Agent 通过**提示-评估-精炼-循环**解决异构、冲突、不完整 SKU 元数据的提取问题。四个角色分工如下： - **Generator（VLM）**：基于当前提示生成卖点候选； - **Judge（LLM）**：根据六维无参考标准（Source Compliance, Expression Quality, Category Fitness, Red-line Check, Structure Compliance, Business Value）评分； - **Analyzer（LLM）**：将低分样本归因到主导失败维度； - **Refiner（LLM）**：选取 Top-1 失败模式，对提示执行最小单点修改（minimal-diff merging）。优化目标关注最坏维度而非平均分：

π^ = argmaxπ E(x sim D)(cat) [ min(d ∈ R)6 S_d(Gπ(x), x) ]
循环最多运行 10 轮，若连续三轮聚合分数无提升则提前终止，并保留历史最高分的提示版本。该机制允许系统通过归因直接回滚到特定弱点，而非盲目重启。 —- ### 4. 关键设计原则总结 | 问题 | 对应模块 | 核心机制 | |———|————-|————-| | 异构信息冲突与缺失 | PERL-Agent | 迭代闭环 + 六维无参考评分 + 最小差分提示优化 | | 布局隐式推断不稳定 | Layout Thinker (LTO) | 显式布局重写 + SFT/双域 GRPO 交替训练 | | 主体/商标/文本难以兼顾 | SKU-DiT (RDR) | 多条件联合生成 + DiffusionNFT 专家对齐 + DiffusionOPD 能力整合 | | 推理成本高 | RDR Phase II/III | Dynamic Backward Simulation Distillation + 少步学生再强化 | | 文本字符级精度不足 | OCR 惩罚 + 商标判别器 | 奖励函数中的显式 Q4: 论文做了哪些实验？论文的实验部分围绕 \*CommerceGen-Bench** 基准测试展开，涵盖训练配置、定量对比、定性可视化与消融研究四个方面。 —- ### 1. 训练配置实验详细说明了各模块的实现细节： - **分割与检测**：使用微调后的 **Mask2Former** 进行白底图分割；使用微调后的 **Ultralytics YOLO26** 进行商标检测与裁切；使用 **PP-OCRv6** 验证渲染文本并计算 OCR 惩罚。 - **PERL-Agent**：四个角色均基于 **Qwen3.8-27B** 实例化，Generator 使用多模态输入，Judge/Analyzer/Refiner 使用纯文本模式。循环最多 10 轮，若连续 3 轮聚合分数未提升则早停，保留历史最高分提示。 - **生成器（SKU-DiT）**：以 **Swift-Image 6B** 为骨干。 - 持续训练阶段更新**全部参数**； - RDR Phase I 的两位专家教师（复杂布局 / 主体保持）采用 **LoRA**（rank 32， α=64 ），每组 8 个 rollout，16 步推理，guidance scale 4.0； - Phase II 全参数少步蒸馏，将 CFG 与采样器折叠进学生网络； - Phase III 对学生再次施加 **LoRA**（相同 rank），8 步推理，guidance scale 1.0，约 2.5K 组轨迹。 - **Layout Rewriter（LTO）**：基于 **Qwen3.8-27B**，SFT 与 RFT 阶段均**全参数微调上层 Transformer**，下层冻结。RFT 中双域（文本域 / 图像域）按均匀概率随机激活（ p_(text) = 0.5 ），每步仅反向传播一个域的损失。 —- ### 2. 定量比较（Quantitative Comparison）在 **CommerceGen-Bench**（400 个真实线上困难样本，200 单图编辑 + 200 多图编辑）上，使用 **Gemini 3 Flash** 作为多模态评判模型，按五个维度评分（Product Fidelity, Instruction Following, Product Integration, Naturalness Detection, Artifacts Detection），Overall 为五维算术平均。实验对比了 **无提示增强（without PE）** 与 **有提示增强（with PE）** 两种设置： #### 无提示增强（Table 1） - **开源基线**：包括 Qwen-Image-2.1、FireRed-Image-Edit-1.0、Qwen-Image-Edit、FLUX.2

klein
（4B/9B）、JoyAI-Image-Edit-Plus。 - **闭源基线**：包括 GPT-Image-2、GPT-Image-2.5、Seedream 5.0 Pro、Nano Banana Pro、Qwen-Image-2.0-Pro、Seedream 4.5。 - **结果**：CommerceGen-Studio（6B）在单图与多图编辑轨道上分别取得 **Overall 9.40** 与 **9.44**，为所有**开源模型中最高**；在 **Instruction Following** 与 **Product Integration** 两个决定图像能否直接发布的核心维度上，优于部分规模更大的闭源模型。 #### 有提示增强（Table 2） - 所有系统共享由 Qwen3.8-27B 生成的同一增强提示，包含显式位置、层级与风格约束。 - **结果**：CommerceGen-Studio 达到单图 **9.43**、多图 **9.45** 的 Overall。提示增强显著提升了多数基线的 IF 分数，但领域特定的产品保真与整合错误仍未消除。 —- ### 3. 定性示例（Qualitative Examples） - **图 6**：展示了 6 组代表性案例（3 组单图编辑、3 组多图编辑）的可视化对比。输入为包含精确布局、字体、颜色、光照与装饰细节的长文本指令。结果显示，CommerceGen-Studio 在**产品外观保持**、**商标准确再现**、**中文卖点文本字符级精度**以及**多参考融合稳定性**上优于通用编辑器。 - **图 7**：展示了**无提示增强**设置下的定性结果。通用模型的常见失效模式包括：产品身份漂移、中文文本遗漏或损坏、多参考构图不稳定。这些观察与定量表格中的低 IF/AD 分数一致。 —- ### 4. 消融研究（Ablation Study）通过逐步叠加各训练阶段，评估对 CommerceGen-Bench（with PE）的贡献： | Layout Model | Generation Model | Score | |——————-|—————————|———-| | VLM base | SKU-DiT (50 steps) | 6.509 | | VLM base + SFT | SKU-DiT (50 steps) | 7.832 | | VLM base + SFT | RD + SKU-DiT (50 steps) | 8.296 | | VLM base + SFT | RD + SKU-DiT (8 steps) | 8.253 | | VLM base + SFT | RDR + SKU-DiT (8 steps) | 8.271 | | **LTO** | **RDR + SKU-DiT (8 steps)** | **9.440** | 关键发现： - **SFT** 带来最大早期增益（+1.323），使布局重写器适应电商领域； - **蒸馏（RD）** 将步数从 50 压缩至 8，分数仅微降（8.296 → 8.253）； - **蒸馏后再强化（RDR）** 部分恢复细节损失（8.253 → 8.271）； - **LTO** 带来最显著的后期提升（8.271 → 9.440），验证了显式布局层对关闭语义鸿沟的关键作用。各阶段训练数据规模见 Table 4： | Stage | Data Type | Scale | |———-|—————-|———-| | CT | Product T2I triplets | ~4.07 M | | CT | Single-image I2I pairs | ~2.67 M | | CT | Multi-image I2I pairs | ~274 K | | LTO: SFT | Layout captions | ~20 K | | LTO: RFT | Prompt groups | ~5 K | | RDR I | RL Group trajectories | ~5 K | | RDR II | Distillation mixed data | ~200 K | | RDR III | RL Group trajectories | ~2.5 K | | PERL-Agent | Cold start / scale-up | 100 / 1K | —- ### 5. 附加实验与数据集细节 - **PERL-Agent 校准**：冷启动阶段使用 100 条异构 SKU 记录，要求 LLM Judge 与领域专家的 Spearman 秩相关系数 rho > 0.7 方可进入闭环；扩展阶段覆盖约 1000 条全类目记录。 - **数据平衡**：训练数据在叶子类目、50 个预定义背景类别、卖点数量三个维度独立平衡采样，并通过美学模型与高饱和度检测过滤低质量商户图像。 Q5: 有什么可以进一步探索的点？基于论文第 6 节的讨论及全文的系统设计，可进一步探索的方向包括但不限于以下几个方面： —- ### 1. 引入真实用户行为信号作为隐式奖励当前系统的奖励函数由可显式书写的评分标准（rubric）定义，只能优化那些可被语言精确描述的属性。然而，商业美学中的诸多偏好（如“高级感”“促销氛围”）难以通过规则完整刻画。未来可探索将**点击通过率（CTR）、转化率（CVR）或用户停留时长**等真实行为数据纳入强化学习循环，构建隐式反馈驱动的偏好模型，使系统能够学习那些“只可意会”的商业视觉偏好。 ### 2. 面向受众细分与风格的条件化生成现有框架针对单个 SKU 输出单一质量最优图像。实际上，同一商品面向不同人群（如 Z 世代 vs. 银发族）或不同运营渠道（搜索页 vs. 推荐信息流）时，最优视觉策略可能截然不同。未来可探索将**受众画像、风格标签或渠道类型**作为额外条件注入 Layout Thinker 与 SKU-DiT，实现“千人千面”的 SKU 主图动态生成，而非仅输出一张标准模板。 ### 3. 更细粒度的实时在线学习与 A/B 测试闭环虽然论文提及 AutoPP 利用在线点击反馈优化设计，但 CommerceGen-Studio 目前仍为离线训练后部署模式。未来可建立**轻量级在线学习机制**：将生产环境埋点数据实时回流，通过对比不同生成策略的点击表现，持续微调 Layout Thinker 的布局策略或 SKU-DiT 的美学偏好，形成“生成 → 投放 → 反馈 → 迭代”的闭环。 ### 4. 从文本布局描述到结构化布局表示的升级 LTO 当前将 TextList 重写为自然语言形式的布局标题（layout caption），再由生成器解析执行。这一间接表示在极端复杂排版场景下仍可能产生歧义。未来可探索输出**结构化布局表示**（如 JSON/HTML 坐标、边界框、可读掩码序列）作为 SKU-DiT 的显式条件，或直接引入可微分布局模块，将空间坐标与文本内容同时作为 Transformer 的显式输入，进一步提升复杂版面的几何精度。 ### 5. 跨语言与全球化商业适配论文实验主要针对中文电商场景，而不同语种的字形复杂度、阅读顺序与文化审美差异显著。未来可扩展 PERL-Agent 的多语言提取能力与 SKU-DiT 的多语言文本渲染能力，并引入**地域风格适配**（如中东市场的金色繁复风格、北欧市场的极简冷淡风格），以支持跨境电商的本地化主图生成。 ### 6. 结合 3D 产品资产的多模态生成当前系统以 2D 白底产品图与商标裁切为输入。随着电商 3D 资产库的建设，未来可探索将**3D 商品模型**（如 NeRF/3DGS 表示）作为 SKU-DiT 的额外条件，使系统能够自由控制产品视角、光影与空间关系，从根本上缓解 2D 编辑中因视角固定或遮挡导致的主体保真难题。 ### 7. 推理延迟的进一步压缩与端侧部署尽管 RDR 已将延迟降至“秒级”，但对于高并发大促场景或移动端实时预览，亚秒级甚至端侧本地推理仍有价值。未来可探索： - 更激进的蒸馏策略（如单步或两步生成）； - 针对电商排版任务的专用轻量级骨干网络； - 或结合投机解码、级联生成等技术，在保持主体与文本精度的前提下进一步压缩算力成本。 ### 8. 异构信息冲突的细粒度动态消解 PERL-Agent 通过迭代闭环解决标题、OCR、属性间的冲突，但其冲突检测仍基于规则与评分覆盖差。未来可引入**细粒度的证据溯源机制**（如每条卖点标注信息来源及置信度），或利用多模态联合推理让 VLM 直接对比商品图与 SKU 图的视觉差异，从而更精准地过滤 item-level 与 SKU-level 的不一致信息（例如 item 图写“iPhone 17”而 SKU 实为 iPhone 18 的情况）。 Q6: 总结一下论文的主要内容该论文提出了 **CommerceGen-Studio**，一个面向电商场景的端到端 SKU 级商业主图自动生成框架，旨在将异构商品元数据转化为可直接发布的高质量营销图像。 ### 研究背景与核心问题在电商搜索结果页中，消费者主要通过商品主图和标题判断相关性。随着搜索精度从商品（item）粒度下沉到库存单元（SKU）粒度，平台需要为每个具体 SKU 生成定制化主图。然而商家通常仅维护白底产品图，直接投放会显著降低点击率。通用文生图/图生图模型在此场景面临四项关键挑战： - **异构信息提取**：SKU 信息分散在标题、OCR、属性、后台参数等多源数据中，存在冲突与缺失； - **信息一致性**：主体、商标、卖点文字必须与源数据完全一致； - **长尾鲁棒性**：需覆盖海量类目与质量参差不齐的商家素材； - **多条件布局控制**：需联合编排产品、商标与卖点文字的空间关系。 ### 三阶段框架 CommerceGen-Studio 通过推理与训练两条流水线解决上述问题。推理时依次执行： 1. **Prompt-Eval-Refine-Loop Agent (PERL-Agent)** 将多源异构元数据 M = T(item_ocr), T(skuocr), P(properties), T(title), C(category) 提炼为简洁的卖点文本列表 L 。该模块由 VLM 生成器与三个 LLM 角色（评判器、归因器、精炼器）构成闭环，基于六维无参考评分标准（Source Compliance, Expression Quality, Category Fitness, Red-line Check, Structure Compliance, Business Value）迭代优化，目标为最大化最差维度得分：

π^* = argmaxπ E(x sim D)(cat) [ min(d ∈ R)6 S_d(Gπ(x), x) ]

**Layout Thinker Optimization (LTO)** 将文本列表 L 重写为可执行的布局描述 c(layout) 。训练分为监督微调（SFT）与强化微调（RFT）。RFT 采用双域 GRPO：文本域直接评价布局描述质量，图像域通过冻结的 SKU-DiT 渲染后评价生成效果。两域奖励在各自组内归一化，并按概率随机交替激活，避免梯度冲突：
L(RFT)(u) = L(text), & u < p(text) L(img), & u ≥ p(text)
**SKU-DiT 多条件生成** 基于 Swift-Image 6B 的统一多图像编辑 Diffusion Transformer，联合条件化白底产品图 I(prod) 、商标图 I(logo) 与布局描述 c(layout) ，生成最终图像：
I(out) = fθ(I(prod), I(logo), c(layout))
渐进式训练策略（RDR）生成模型采用 **Reinforce-Distill-Reinforce (RDR)** 三阶段渐进训练： - **Phase I：专家对齐与能力整合** 基于 DiffusionNFT 训练两位 LoRA 专家教师（复杂布局 / 主体保持），奖励为三维指标的几何均值减去 OCR 惩罚：

R = √[3]S1 · S_2 · S_3 - w · penalty(OCR)
随后通过 DiffusionOPD 在线蒸馏将双专家能力整合至单一学生模型。 - **Phase II：动态反向模拟蒸馏** 基于 DMD2 改进的少步蒸馏，通过 Late-Biased Random Stop（偏向在干净图像端点附近终止）保护结构完整性，并引入判别器对抗训练强化商标生成，将推理压缩至约 8 步。 - **Phase III：蒸馏后再强化** 直接在少步学生模型上执行第二轮 RL（LoRA），恢复蒸馏损失的高频细节与文本精度。 ### 实验与结果论文发布了困难样本基准 **CommerceGen-Bench**（400 个真实线上案例，覆盖 6 大一级类目与 15 个二级类目）。在单图与多图编辑两条赛道上，使用 Gemini 3 Flash 作为评判，从 Product Fidelity、Instruction Following、Product Integration、Naturalness Detection、Artifacts Detection 五维评分。 - **定量结果**：在无提示增强与有提示增强设置下，CommerceGen-Studio（6B）均取得所有**开源基线中的最高 Overall 分数**（无 PE：9.40 / 9.44；有 PE：9.43 / 9.45），并在 Instruction Following 与 Product Integration 两个决定图像能否发布的核心维度上**超过部分更大规模的闭源模型**。 - **消融研究**：逐步添加 SFT、RDR 与 LTO 的实验显示，LTO 带来最显著的后期提升（从 8.271 提升至 9.440），验证了显式布局层的关键作用。 - **定性对比**：相比 FireRed、FLUX.2、Qwen-Image 等基线，CommerceGen-Studio 在主体保真、中文字符精度、商标稳定性与多参考融合方面表现更优。 ### 主要贡献 1. 提出了首个在生产环境以**每日数百万张**规模运行的端到端 SKU 级主图生成系统； 2. 设计了基于迭代闭环与无参考评分的 PERL-Agent，实现跨类目自适应的卖点提取； 3. 提出了 LTO 双域交替强化策略，显式对齐文本布局与下游生成器语义； 4. 提出了 RDR 渐进训练框架，在将推理延迟降至秒级的同时保持字符级文本精度与主体保真； 5. 开源了 CommerceGen-Bench 困难样本基准，支持跨系统的可复现评估。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaoli Xu,Zhengtao Wu,Zhengze Xu,Tao Liu,Yongchao Du,Zuan Gao,Xingjian Wang,Hao Yan,Mengting Chen,Wei Li,Bo Zheng

Categories:

PDF URL: https://arxiv.org/pdf/2610.20603.pdf

Arxiv URL: https://arxiv.org/abs/2610.20603

Arxiv ID: 2610.20603

CoolPaper URL: https://papers.cool/arxiv/2610.20603

Published: 2026-10-17T01:32:20.722Z

Updated: 2026-10-17T01:32:20.722Z

16. Mosaic: Multi-Session Agentic Reinforcement Learning

Abstract:Most existing agentic reinforcement learning methods assume single-session trajectories, where interaction proceeds within one continuously accumulated context. However, agentic techniques such as context compaction and subagent forking may produce trajectories spanning multiple sessions, creating a mismatch between the single-session training assumption and inference-time execution. Therefore, we introduce Multi-Session Agentic Reinforcement Learning, a more general setting that supports an arbitrary number of sessions within a trajectory. Under this setting, a widely adopted method is to broadcast trajectory-level advantages to all sessions, but this does not distinguish contributions from various sessions or guide session allocation within trajectories. To address this issue, we propose Mosaic, a multi-session agentic RL method with critic-free hierarchical optimization. At the trajectory level, it incorporates session-usage signals into advantage estimation. At the session level, it shapes each session’s advantage according to the estimated marginal contribution. Experiments on BrowseComp with Qwen3.5-4B show that Mosaic outperforms broadcasting in both context compaction and subagent forking scenarios while using fewer sessions on average. Further analyses show that our method achieves improvements in session utility and allocation, which we suggested is a promising target for future advances in multi-session agentic RL.

中文摘要

摘要：大多数现有的主动强化学习方法假设单次会话的轨迹，其中交互在一个连续累积的上下文中进行。然而，诸如上下文压缩和子代理分叉等主动技术可能会产生跨多个会话的轨迹，从而导致单次会话训练假设与推理时执行之间的不匹配。因此，我们引入了多会话主动强化学习（Multi-Session Agentic Reinforcement Learning），这是一种更通用的设置，支持轨迹中任意数量的会话。在这种设置下，一种广泛采用的方法是将轨迹级优势广播到所有会话，但这并未区分各个会话的贡献，也未指导轨迹内的会话分配。为了解决这一问题，我们提出了Mosaic，一种具有无评估器分层优化的多会话主动强化学习方法。在轨迹级，它将会话使用信号融入优势估计。在会话级，它根据估计的边际贡献来塑造每个会话的优势。在BrowseComp上使用Qwen3.5-4B进行的实验表明，在上下文压缩和子代理分叉场景下，Mosaic优于广播方法，同时平均使用的会话更少。进一步分析显示，我们的方法在会话效用和分配上均取得了改进，这表明这是未来多会话主动强化学习发展的一个有前景的目标。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*多会话（multi-session）场景下智能体强化学习（Agentic RL）的训练与推理不匹配问题\*\*，具体可归纳为以下几个方面： --- ### 1. 单会话假设与多会话推理之间的根本性失配现有主流的 Agentic RL 方法（如基于 GRPO 的变体）普遍假设：每条 rollout 轨迹都是一个\*\*单一会话（single-session）\*\*，即代理在一个连续累积、线性扩展的上下文中完成全部交互，并产生唯一的训练片段。然而，现代 LLM 智能体的推理工作流广泛采用两类先进机制，天然地打破了该假设： - \*\*上下文压缩（Context Compaction）\*\*：当上下文窗口接近上限时，智能体将历史交互压缩为简短摘要，并以新的前缀启动后续会话，从而在物理上形成多个会话边界。 - \*\*子代理分叉（Subagent Forking）\*\*：主代理将子任务委派给独立的子代理执行，每个子代理在独立的会话中运行，再将结果返回给主代理。这些机制导致\*\*推理时的轨迹由多个离散会话组成\*\*，而传统训练流程仍将其视为单一线性片段，造成训练信号与推理执行之间的一致性断裂，限制了优化潜力。 --- ### 2. 现有广播式（Broadcasting）方法的监督粒度不足为了兼容多会话轨迹，当前广泛采用的朴素做法是将\*\*整条轨迹的 outcome reward 或优势函数广播到所有会话及所有 token\*\*。形式化地，对轨迹 τ_i 的每个会话 s_(i,j) 及其每个可训练 token，均赋予相同的轨迹级优势：

A^(token)(i,j,t) = A^(session)(i,j) = A^(traj)_i
这种广播机制虽使训练在工程上可行，但存在本质缺陷： - **无法区分不同会话的边际贡献**：一个提供关键证据的会话与一个引入噪声的会话获得完全相同的优化信号。 - **缺乏对会话数量与分配的显式引导**：轨迹中会话越多/越少仅被同等对待，无法鼓励“以更少会话成功”或“以更多会话探索失败”等精细化行为。 - **随着轨迹跨会话数量增加，学习信号越来越粗糙**，导致优化目标不明确。 —- ### 3. 多会话场景下的信用分配与效率优化难题在多会话设置中，优化目标不仅包括最终任务成败，还应涉及**会话使用效率**和**跨会话信息传递质量**： - 对于成功轨迹，应鼓励**减少不必要的会话**，提升执行效率； - 对于失败轨迹，应允许**通过更多会话进行充分探索**，而非过早终止； - 不同**类型**的会话（普通推理、压缩、子代理）具有不同的边际信息增益分布，需要差异化的信用分配。现有方法缺乏对会话数量、会话类型以及会话边际贡献的显式建模，难以实现上述层次化的优化目标。 —- ### 4. 论文提出的解决方向针对上述问题，论文首先形式化地引入了**Multi-Session Agentic Reinforcement Learning** 这一更一般的设定，允许轨迹内包含任意数量的会话；随后提出 **Mosaic** 方法，通过**无 Critic 的分层优势估计**来精细化监督信号： - **轨迹级（Trajectory-level）**：引入基于会话数量的相对排序调制因子，使成功轨迹中会话少者获得更高优势、失败轨迹中会话多者获得相对更高（但仍为负）优势，从而兼顾任务成败与执行效率。 - **会话级（Session-level）**：通过衡量状态转移前后的**边际信息增益（marginal information gain）**为每个会话计算即时奖励，并按会话类型分别归一化，实现细粒度的局部信用分配。综上，论文的核心动机是：**将 Agentic RL 从单会话的简化假设推广到更普遍的多会话设定，并解决该设定下粗粒度广播信号导致的信用分配与优化效率问题**。 Q2: 有哪些相关研究？根据论文第6节（Related Work）及全文的引用脉络，相关研究主要分布在以下三个层面： —- ### 1. LLM Agents 与多会话推理机制该领域关注如何扩展基础智能体循环以处理复杂、长程任务，构成了多会话轨迹产生的工程背景。 - **基础智能体架构**：ReAct（Yao et al., 2022）构建了“推理-行动-观察”的标准循环；Reflexion（Shinn et al., 2023）在此基础上引入言语化强化学习进行自我反思。 - **上下文管理与压缩**：随着任务复杂度提升，上下文窗口管理成为关键。相关研究包括基于总结压缩上下文的方法（Wu et al., 2025; Nguyen et al., 2025）、上下文工程综述（Mei et al., 2025）以及可重访记忆机制（Shi et al., 2026）。 - **智能体支架与多智能体系统**：现代 Agent Harnesses（如 OpenClaw, 2026; Works, 2026）超越了基础 ReAct 循环，集成了工作流管理、子代理分叉（Song et al., 2025; Team et al., 2026; Xu et al., 2026d）和并行代理循环（Xu et al., 2026d）。Zhang et al.（2026a）与 Zhou et al.（2026）则从上下文工程与外部化视角系统梳理了这些进展。 —- ### 2. Agentic Reinforcement Learning 及其单会话局限该领域研究如何将强化学习应用于 LLM 智能体，但现有工作大多隐含“单会话轨迹”假设。 - **基础对齐与强化学习**：RLHF（Ouyang et al., 2022; Zhang et al., 2026b）与 RLVR（Chen et al., 2026b; Yu et al., 2026）被广泛用于提升 LLM 的指令遵循与推理能力。GRPO（Shao et al., 2024）作为无需 Critic 的组相对策略优化方法，是多数 Agentic RL 工作的算法基础。 - **Agentic RL 的优化方向**：近期研究聚焦于改进 rollout 采样（Dong et al., 2026; Hou et al., 2025）、设计过程级奖励（Liu et al., 2026; Zhang et al., 2026c）以及不确定性驱动的交互策略（Deng et al., 2026）。然而，这些方法通常假设交互发生在单一、连续累积的上下文中，未显式处理会话边界。 - **长程 Agentic RL**：Gao et al.（2025）、Jin et al.（2025）等探索了超长轮次搜索，但仍主要基于线性轨迹假设。 —- ### 3. 多会话训练、信用分配与相关基线与 Mosaic 直接可比或构成其技术对照的研究，集中在如何为具有不连续上下文的轨迹分配训练信号。 - **广播机制（Broadcasting）**：作为多会话 Agentic RL 的朴素基线，广播将轨迹级优势复制到所有会话的所有 token（Accio-Lab, 2026; Xu et al., 2026a）。该方法是当前工业界与开源框架中广泛采用的兼容手段，但被作者指出存在监督信号粗糙、无法区分会话贡献的缺陷。 - **基于信息增益的策略优化（IGPO）**：Wang et al.（2026）提出在单会话设置中利用边际信息增益作为过程监督信号。Mosaic 在会话级优势塑造中借鉴了这一思想，但将其从单会话的 turn-level 扩展到多会话的 session-level，并显著降低了计算开销。 - **上下文压缩的联合优化**：CompactionRL（Li et al., 2026）同时优化任务执行与上下文摘要生成，与 Mosaic 的 context compaction 场景高度相关。论文在讨论中指出，CompactionRL 可视为多会话状态转移学习的一个特例。 - **异步优化**：SAO（Hou et al., 2026）探索了单 rollout 异步优化与学习型价值模型，为 Mosaic 未来向异步多会话训练扩展提供了参照。 —- ### 4. 其他邻近方向论文在讨论（Discussion）部分还提及了以下关联领域，作为多会话 Agentic RL 的未来背景： - **可复现研究基础设施**：公开的多会话训练数据集与执行环境仍然匮乏，制约了该领域的规模化研究。 - **跨会话状态转移学习**：如何在有限上下文预算下，通过压缩、分叉与合并操作实现有效的信息传递，被视为多会话优化的核心挑战之一。 Q3: 论文如何解决这个问题？论文通过**重新形式化问题设定**并设计**分层优化目标**，系统性地解决了多会话场景下的信用分配与信号粗糙问题。具体方案如下： —- ### 1. 问题重定义：Multi-Session Agentic RL 不再假设轨迹是单一线性片段，而是将轨迹 τ_i 显式建模为任意数量会话的集合：

τi = s(i,j)(j=1)^(N_i)
每个会话 s(i,j) 是独立的训练片段，包含自身的动作-观察序列。这一设定自然兼容上下文压缩（compaction）和子代理分叉（forking）等推理机制，消除了训练与推理之间的结构性失配。 —- ### 2. 核心框架：Mosaic 的两层级优化 Mosaic 采用**无 Critic 的分层优势估计**，在轨迹级提供全局 outcome-oriented 信号，在会话级提供局部边际贡献信号。 #### 2.1 轨迹级：Session-Aware Advantage Estimation 在标准 GRPO 仅依据最终奖励 R_i ∈ 0,1 计算组内相对优势 A^(traj)_i 的基础上，引入**会话数量信号**对优势进行调制，并遵循三项排序约束： - **C1**：成功轨迹中，会话越少优势越高（鼓励效率）。 - **C2**：失败轨迹中，会话越多优势相对越高（鼓励探索），但仍为负值。 - **C3**：任务结果始终占主导，成功轨迹的优势必须高于失败轨迹，无论会话数量如何。具体实现上，先将 prompt 组 G 按结果划分为 G_1 （成功）与 G_0 （失败），在子组内对会话数 N_i 计算**中心排名**：

ui = 2 · rank(GR_i)(N_i) - 1|G(Ri)| - 1 - 1 ∈ [-1, 1]
再定义有界调制因子：
α^(session)_i = -rho u_i, quad 0 ≤ rho < 1
最终 session-aware 轨迹优势为：
A^(sat)_i = (1 - rho u_i) A^(traj)_i
该乘法调制保持结果优势的符号不变，仅调整幅度：成功轨迹中 u_i 越大（会话越多）则被衰减；失败轨迹中 u_i 越大则被缓和。 **同质奖励组的 Fallback**：当组内全成功或全失败时，标准 GRPO 优势为零。此时启用 fallback：
A^(sat)_i = -β_1 u_i, & 全成功组 β_0 min(u_i, 0), & 全失败组
这确保即使在无结果差异的组内，仍能通过会话数量产生区分性学习信号。 #### 2.2 会话级：Advantage Shaping via Marginal Information Gain 轨迹级信号对所有会话一视同仁，Mosaic 进一步为每个非终止会话计算**局部即时奖励**，以刻画其边际贡献。 **状态与转移**：将会话 s(i,j) 视为状态转移 v(i,j-1) to v(i,j) ，其中状态 v 强调代理可见的前缀上下文。 **边际信息增益**：利用 rollout 策略 π_(θ) （更新前参数）计算对标准答案 y^*_i 的平均对数似然：

Phi(θ)(y^*_i mid x_i, v) = (1) / (L_i) ∑(ell=1)^(Li) log π(θ)(y^_(i,ell) mid x_i, v, y^(i,<ell))
会话的原始奖励定义为输出与输入状态之间的似然增益：
r^Delta(i,j) = stopgrad( Phi(θ)(y^*_i mid x_i, v(i,j)) - Phi(θ)(y^*_i mid x_i, v(i,j-1)) )
**按类型归一化**：不同会话类型（normal / compact / subagent）的边际增益分布差异显著。Mosaic 在 prompt 组内按类型分别计算均值与标准差，进行组内归一化：
r(i,j) = r^Delta(i,j) - μ(c(s_i,j)){σ(c(si,j)) + ε}, quad (j < N_i)
终止会话（通常为产生最终答案的末会话）被排除，以避免最终答案的似然跳变干扰边际增益分布。 **门控保护机制**： - **All-failure Gate**：若组内全失败且轨迹优势接近零，则将正的信息增益信号截断为 0，防止对失败会话进行正强化。 - **Direction-preserving Gate**：若局部 shaping 信号与轨迹优势符号相反且幅度更大，则将其置 0，确保局部信号不会逆转全局优化方向。最终会话级优势为：
A^(session)(i,j) = A^(traj)i + λ_r r(i,j)
—- ### 3. 训练目标整合将分层优势注入多会话 GRPO 目标。对轨迹 τi 的每个会话 s(i,j) 及其可训练 token，不再广播统一优势，而是使用上述会话级优势：

J(Mosaic) = E(x sim D, {τi)(i=1)^G sim π(θ_old)} (1) / (G) ∑(i=1)^G (1) / (∑(j=1)^(N_i) |s_i,j)| ∑(j=1)^(Ni) ∑(t=1)^(|s(i,j)|) min( rho(i,t)(θ) A^(session)(i,j), clip(rho(i,t)(θ)) A^(session)(i,j) )
—- ### 4. 解决效果总结通过上述设计，Mosaic 同时实现了： | 层面 | 解决的问题 | 机制 | |———|—————-|———| | **轨迹级** | 广播信号无法反映会话使用效率 | 结果优势 × 会话数量调制，鼓励“更少会话成功、更多会话探索” | | **会话级** | 无法区分单个会话的边际贡献 | 边际信息增益作为即时奖励，按类型归一化 | | **稳定性** | 局部信号可能逆转全局方向或强化失败行为 | 双门控机制保护 + 有界乘法调制 | | **一致性** | 训练-推理会话结构不匹配 | 显式多会话轨迹建模，兼容 compaction 与 forking | 实验表明，在 BrowseComp 上，Mosaic 相比广播基线将准确率从 35.31% 提升至 38.86%（context compaction 场景），同时将平均会话数从 3.17 降至 2.35，验证了其在**提升性能的同时优化会话分配效率**的能力。 Q4: 论文做了哪些实验？论文在 **BrowseComp** 基准上围绕 **Qwen3.5-4B** 模型开展了一系列实验，涵盖两种多会话推理模式（**上下文压缩**与**子代理分叉**），并设置了四个研究问题（RQ1–RQ4）进行系统评估。 —- ### 1. 实验设置 - **评测基准**：BrowseComp（1,266 条需持久网络导航的复杂问题）。 - **基础模型**：Qwen3.5-4B，采用 ReAct 风格智能体循环，配备 search 与 visit 工具。 - **训练数据**：REDSearcher_RL_1k（1,000 条深度搜索任务）。 - **评判方式**：deepseek-v4-flash 作为 LLM-as-Judge 判定最终答案正确性（输出 0/1）。 - **场景配置**： - **Context Compaction**：当上下文接近 128K 上限时，策略生成摘要并开启新会话。 - **Subagent Forking**：主代理通过 fork 工具派生 1–3 个非嵌套子代理会话，子代理完成子任务后返回结果。 - **训练超参**：rollout batch size 16，group size 8，训练 1 个 epoch（63 步）； rho=0.2 ， β_0=0.1 ， β_1=0.2 ， λ_r=0.1 。 —- ### 2. RQ1：Mosaic 的整体有效性 #### 2.1 主实验对比（表 1）在 BrowseComp 上对比了 6 种配置，核心指标为 **Accuracy** 与 **平均会话数（Num. Session）**： | 配置 | 场景 | 关键结果 | |———|———|—————| | 初始模型 | 单会话 | 23.22% | | GRPO（单会话训练） | 单会话 | 31.99% | | GRPO + 测试时多会话 | Compact / Subagent | 34.68% / 31.91% | | **Broadcasting**（多会话训练） | Compact / Subagent | 35.31% / 31.44%（3.17 / 4.43 会话） | | **Mosaic** | Compact / Subagent | **38.86%** / **32.46%**（2.35 / 3.77 会话） | **结论**：Mosaic 在 Compact 场景下比 Broadcasting 提升 **10.1%** 相对准确率，同时平均会话数从 3.17 降至 2.35；在 Subagent 场景下也取得最佳性能。 #### 2.2 失败恢复分析（图 3a）统计了 972 个在**单会话推理下失败**的任务，观察多会话方法如何恢复： - 基础模型直接失败； - Broadcasting 能恢复部分； - **Mosaic 恢复的最多**，且相比 Broadcasting 更多通过较少会话（1 session）即可恢复。 #### 2.3 IG 计算开销（图 3b）对比 Mosaic 与 IGPO（Wang et al., 2026）的边际信息增益计算耗时： - IGPO 将信息增益应用于**轮次级别（turn-level）**，每步前向传播时间高； - Mosaic 将会话级 shaping 的评估与 rollout 完成后的 scoring 解耦，且仅需评估**非终止会话的边界状态**。 - **结果**：Mosaic 显著降低了 wall-time，在提升性能的同时削减计算成本。 #### 2.4 训练动态（图 4）追踪训练过程中轨迹原始奖励与每 rollout 会话数： - **奖励**：Mosaic 的轨迹奖励上升更快且收敛更高。 - **会话数**：两者会话数均随训练增加，但 Mosaic 的增长更早趋于平缓，表明其 session-aware 信号抑制了不必要的会话膨胀。 —- ### 3. RQ2：消融研究（图 3c、3d）在两种场景下对 Mosaic 的两个核心组件进行消融： - **仅 §3.1（Session-aware trajectory-level advantage）** - **仅 §3.2（Session-level advantage shaping）** - **完整 Mosaic（两者结合）** **结果**： - 在 **Compact** 场景下，两个组件各自带来明显提升，且结合后有**额外增益**。 - 在 **Subagent** 场景下，两者也均有效，但结合后的边际增益较小。论文推测这是因为子代理轨迹呈非线性 DAG 结构，单一会话的即时边际增益与其对最终结果的长期贡献可能存在错位。 —- ### 4. RQ3：机制分析（图 5） #### 4.1 Session-aware 优势的排序行为 - **混合结果组（Mixed outcome）**：成功轨迹的优势随会话数增加而下降；失败轨迹的优势随会话数增加而上升（但仍为负）；成功轨迹始终高于失败轨迹。这验证了 C1–C3 约束被满足。 - **同质结果组（Homogeneous outcome）**：fallback 机制在全成功组中产生负向会话数惩罚（ -β_1 u_i ），在全失败组中产生非正信号（ β_0 min(u_i, 0) ），从而在结果无差异时仍提供区分性学习信号。 #### 4.2 类型条件归一化的必要性对比了 normal session 与 compaction session 的边际信息增益分布： - **原始分布**：compaction session 的原始 IG 均值低于 normal session（因其功能不同）。 - **全局归一化**：compaction session 被系统性地压低，引入对压缩操作的偏见。 - **类型条件归一化**：Mosaic 按类型分别中心化后，两种会话均能相对各自的基线获得正负信号，消除了类型依赖的分布偏差。 —- ### 5. RQ4：理解多会话优化行为（表 2、§4.5）论文提出多会话优化的核心不仅是“用多少会话”，而是**会话效用与分配**。定义了两个细粒度指标（基于原始边际 IG，在评估集上统计）： - **Positive-IG Rate**：产生正边际信息增益的会话占比。 - **IG / Session**：每会话的平均正边际信息增益。 | 方法 | 场景 | Accuracy | # Sessions | Positive-IG ↑ | IG / Session ↑ | |———|———|—————|——————|———————-|————————| | 初始模型 | Compact / Subagent | 24.80% / 21.64% | 1.70 / 2.98 | 37.36% / 27.39% | 0.30 / 0.41 | | Broadcasting | Compact / Subagent | 35.31% / 31.44% | 3.17 / 4.43 | 47.74% / 41.15% | 0.86 / 0.74 | | Mosaic | Compact / Subagent | **38.86%** / **32.46%** | **2.35** / **3.77** | **59.92%** / **51.04%** | **0.89** / **0.80** | **关键发现**： - Broadcasting 提升了全部三项指标（数量、质量、分配），但伴随会话数单调增长。 - Mosaic 在**减少平均会话数**的同时，**提高了会话质量（Positive-IG）与单位会话效用（IG/Session）**。 - 这表明：有效的多会话优化体现为**将计算预算更集中于高边际效用的会话**，而非单纯增加会话数量。 —- ### 6. 附录中的补充实验附录 D.2 提供了更详细的训练曲线（图 6、图 7），涵盖： - 上下文压缩率、每 rollout 平均/最大压缩次数； - 最大响应长度、每会话轮次数、每 rollout 总轮次与总 token 数； - 工具调用次数、强制回答率； - 子代理场景中的 fork 成功率与畸形调用次数等。这些曲线进一步验证了 Mosaic 在训练过程中的稳定性，以及其在压缩频率、响应长度、工具使用等方面的行为特征。 Q5: 有什么可以进一步探索的点？基于论文第 5 节讨论及实验分析中的未尽之处，可从以下维度展开进一步探索： —- ### 1. 可复现研究基础设施多会话轨迹在长程复杂任务中自然涌现，但目前**公开的多会话训练数据集与对应执行环境仍然稀缺**。现有实验多基于私有或特定任务流水线，限制了研究规模、充分性与可复现性。构建开放的、带有多会话标注的智能体训练数据集，以及标准化的多会话交互模拟环境，是推动该领域持续发展的基础。 —- ### 2. 跨会话状态转移作为核心学习目标上下文压缩与子代理分叉均涉及**跨会话信息转移**，但二者目标不同： - **压缩（Compaction）**：需在有限上下文预算内保留足够的工作状态以支持后续执行； - **分叉（Forking）**：需向子代理提供足以完成子任务的信息； - **合并（Merging）**：需将子任务结果整合为主代理可用的状态。目前 CompactionRL（Li et al., 2026）已尝试联合优化任务执行与上下文摘要，但尚未形成覆盖压缩、分叉、合并的统一状态转移学习框架。系统研究**有限上下文预算下应保留何种信息**，以及**多次转移中的信息损失与误差累积**，是提升多会话智能体能力的关键。 —- ### 3. 多会话 Rollout 的异步训练多会话执行会放大轨迹长度与完成时间的差异，引入策略陈旧（policy staleness）与组内样本不平衡问题。例如，在部分 rollout 或异步训练设置中： - 优先采样已完成轨迹可能偏向会话数较少的简单任务，造成选择偏差； - 组相对优化（group-relative optimization）要求同组样本可比，而多会话的异步完成破坏了这一前提。现有工作如 SAO（Hou et al., 2026）探索了单 rollout 异步优化与学习值模型，但**无 Critic 的组相对优化如何在异步采样下保持可靠**（如何成组、如何处理陈旧样本、如何复用轨迹）仍需深入。 —- ### 4. 黑盒/部分不可见智能体框架中的 RL 现代智能体框架（如 Claude Code 等）的编排机制往往部分或完全黑盒，其内部可能以不透明方式中断上下文连续性（如丢弃推理 token、截断工具响应、强制插入系统消息）。这要求多会话 RL 能够： - 容忍**不可控的会话边界插入**； - 在“引入新会话边界”与“有损拼接前序会话”之间做出有效决策； - 在部分可观察的 harness 中仍能分配信用。将多会话优化推广至**黑盒 harness** 下的通用训练，是连接学术研究与工业部署的重要桥梁。 —- ### 5. 非线性轨迹结构中的信用分配消融实验（RQ2）显示，在**子代理分叉**场景下，会话级边际增益与最终性能的结合增益弱于线性压缩场景。原因在于子代理轨迹呈**有向无环图（DAG）**结构：单一会话可能同时影响多个后续会话，其即时边际增益 r^Delta(i,j) 未必反映其对最终结果的长期实际贡献。未来可探索： - 设计能够**传播长期结果信用**的会话级评估机制； - 将 MOSAIC 的 shaping 信号从即时 IG 扩展为包含**多步回溯或继任者特征**的增值估计； - 显式建模 DAG 中跨分支的依赖关系，以避免局部信号与全局优化错位。 —- ### 6. 会话效用与分配的显式优化 RQ4 的分析表明，性能提升并非来自会话数量的单调增加，而是来自**会话效用（utility）与分配（allocation）的改善**。当前 Mosaic 仅将会话数量作为代理信号（proxy），并未显式将会话数量与探索强度、执行成本直接挂钩。可进一步研究： - 直接以**单位成本的边际增益**为优化目标，而非间接通过数量排名调制； - 引入可学习的**会话终止与发起决策**，使策略在推理时自适应决定“何时开启新会话”而非被动响应上下文限制； - 在更细粒度上区分**探索性会话**与**利用性会话**的优化目标。 —- ### 7. 信息增益计算的扩展论文中边际信息增益基于 rollout 策略对标准答案的似然：

Phi(θ)(y^*_i mid x_i, v) = (1) / (L_i) ∑(ell=1)^(Li) log π(θ)(y^_(i,ell) mid x_i, v, y^_(i,<ell))
该设计依赖**已知标准答案**的似然评估，在开放域或答案不唯一的任务中存在局限。未来可探索： - 基于**模型自身不确定性或价值变化**的无监督状态转移评估； - 利用轻量级外部 Critic 或过程奖励模型（PRM）替代自举似然，以降低计算开销并提升泛化性。 Q6: 总结一下论文的主要内容该论文针对现有智能体强化学习（Agentic RL）方法在**多会话推理场景**下的训练与推理失配问题，提出了新的问题设定与优化算法，并通过系统实验验证了有效性。以下是主要内容概括： —- ## 1. 研究背景与核心问题现有主流的 Agentic RL 方法（如 GRPO 及其变体）普遍假设：智能体的交互轨迹是**单一会话（single-session）**内的连续线性上下文累积。然而，现代 LLM 智能体的推理工作流广泛采用两类机制，天然地打破了该假设： - **上下文压缩（Context Compaction）**：当上下文窗口耗尽时，智能体将历史压缩为摘要，并以新的前缀启动后续会话； - **子代理分叉（Subagent Forking）**：主代理将子任务委派给独立的子代理执行，形成分支会话。这些机制导致**推理时轨迹由多个离散会话组成**，而传统训练流程仍将其视为单一线性片段，造成训练与推理之间的结构性失配。为兼容多会话轨迹，当前广泛采用的**广播（Broadcasting）**方法将整条轨迹的 outcome reward 或优势复制到所有会话的所有 token。该方法虽使训练工程上可行，但存在本质缺陷：无法区分不同会话的边际贡献，也无法对会话数量与分配施加精细化引导，导致学习信号随着会话数量增加而愈发粗糙。 —- ## 2. 核心贡献：Multi-Session Agentic RL 与 Mosaic ### 2.1 问题重定义：Multi-Session Agentic RL 论文首先将轨迹显式建模为任意数量会话的集合：

τi = s(i,j)(j=1)^(N_i)
其中每个会话 s(i,j) 都是独立的训练片段，包含自身的动作-观察序列。这一设定自然兼容上下文压缩与子代理分叉，消除了训练与推理之间的结构性失配。 ### 2.2 Mosaic 方法：无 Critic 的分层优化为替代粗粒度的广播监督，论文提出 **Mosaic**，通过两个层级联合优化： #### （1）轨迹级：Session-Aware Advantage Estimation 在标准 GRPO 的组相对优势 A^(traj)_i 基础上，引入**会话数量信号**进行有界调制。将 prompt 组按结果划分为成功子组 G_1 与失败子组 G_0 ，在子组内对会话数 N_i 计算中心排名：

ui = 2 · rank(GR_i)(N_i) - 1|G(Ri)| - 1 - 1 ∈ [-1, 1]
定义调制因子 α^(session)_i = -rho u_i （其中 0 ≤ rho < 1 ），得到 session-aware 轨迹优势：
A^(sat)_i = (1 - rho u_i) A^(traj)_i
该乘法调制遵循三项约束： - **C1**：成功轨迹中，会话越少优势越高（鼓励效率）； - **C2**：失败轨迹中，会话越多优势相对越高（仍保持负值，鼓励探索）； - **C3**：任务结果始终占主导，成功轨迹的优势严格高于失败轨迹。当组内全成功或全失败时，启用 fallback 机制：
A^(sat)_i = -β_1 u_i, & 全成功组 β_0 min(u_i, 0), & 全失败组
这确保了即使在同质奖励组内，仍能通过会话数量产生区分性信号。 #### （2）会话级：Advantage Shaping via Marginal Information Gain 为区分同一会话内各片段的边际贡献，Mosaic 将每个非终止会话视为状态转移 v(i,j-1) to v(i,j) ，并利用 rollout 策略 π(θ) 计算其对标准答案 y^_i 的\*边际信息增益**：

r^Delta(i,j) = stopgrad( Phi(θ)(y^i mid x_i, v(i,j)) - Phi_(θ)(y^i mid x_i, v(i,j-1)) )
其中 Phi(θ) 表示给定状态下策略对标准答案的平均对数似然。由于不同会话类型（normal / compact / subagent）的增益分布差异显著，Mosaic 在 prompt 组内按类型分别归一化：
r(i,j) = r^Delta(i,j) - μ(c(si,j)){σ(c(si,j)) + ε}
并通过两项门控机制保护优化方向：全失败时截断正 shaping 信号，以及禁止局部信号逆转非零轨迹优势的符号。最终会话级优势为：
A^(session)(i,j) = A^(traj)i + λ_r r(i,j)
—- ## 3. 实验设计与结果 ### 3.1 实验设置 - **基准**：BrowseComp（需持久网络导航的复杂问答基准，共 1,266 题）。 - **模型**：Qwen3.5-4B，采用 ReAct 智能体循环，配备 search 与 visit 工具。 - **场景**：分别在 **Context Compaction** 与 **Subagent Forking** 两种多会话模式下评估。 - **基线**：初始模型、单会话 GRPO、测试时多会话扩展的 GRPO、多会话 Broadcasting、单会话 IGPO。 ### 3.2 主要性能结果（RQ1）在 BrowseComp 上的结果表明： - **Context Compaction**：Mosaic 准确率达到 **38.86%**，相比 Broadcasting（35.31%）提升约 10.1% 相对性能，同时平均会话数从 **3.17 降至 2.35**。 - **Subagent Forking**：Mosaic 准确率达到 **32.46%**，同样优于 Broadcasting（31.44%），平均会话数从 **4.43 降至 3.77**。 - 单会话训练的模型即使通过测试时多会话推理扩展，性能也显著低于专门进行多会话训练的模型。此外，Mosaic 相比 IGPO（将信息增益应用于单会话轮次级别）在取得更高准确率的同时，大幅降低了边际信息增益的计算 wall-time。 ### 3.3 消融与机制分析（RQ2–RQ4） - **RQ2（消融）**：单独使用轨迹级 session-aware 估计或会话级 shaping 均能带来提升；两者结合在 Compact 场景下产生额外增益，但在 Subagent 场景下增益较小（归因于 DAG 结构的非线性信用分配难度）。 - **RQ3（机制验证）**：训练动态显示，Mosaic 确实在混合结果组内实现了“成功轨迹会话少则优势高、失败轨迹会话多则优势相对高”的排序；类型条件归一化相比全局归一化，避免了 compaction session 被系统性压低的问题。 - **RQ4（行为模式）**：定义了 **Positive-IG Rate**（正边际增益会话占比）与 **IG / Session**（单位会话正增益）两项指标。分析发现，Mosaic 的性能提升并非来自会话数量的单调膨胀，而是来自**会话效用与分配的改善**——即用更少的会话实现了更高的单会话边际贡献。 —- ## 4. 结论与未来方向论文的主要结论可概括为： - 现有 Agentic RL 的单会话假设与先进推理工作流之间存在**结构性失配**，需要通过显式的多会话设定加以解决。 - **广播式监督过于粗糙**，无法有效分配跨会话信用。 - **Mosaic 的分层优化设计**（轨迹级 session-aware 调制 + 会话级边际信息增益 shaping）能够在提升任务准确率的同时，降低平均会话使用数量，实现更高效的多会话智能体训练。论文进一步指出若干值得探索的未来方向： - 构建**公开的多会话训练数据集与标准化执行环境**； - 将上下文压缩、子代理分叉与合并统一为**跨会话状态转移**的学习目标； - 研究**异步训练**下的组相对优化可靠性； - 将方法推广至**黑盒/部分不可见的智能体框架**中。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yilong Xu,Minrui Xu,Xinyu Zhou,Xiang Long,Haochen Tan,Zhijiang Guo

Categories:

PDF URL: https://arxiv.org/pdf/2610.22174.pdf

Arxiv URL: https://arxiv.org/abs/2610.22174

Arxiv ID: 2610.22174

CoolPaper URL: https://papers.cool/arxiv/2610.22174

Published: 2026-10-17T01:32:22.024Z

Updated: 2026-10-17T01:32:22.024Z

17. Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation

Abstract:Unified multimodal generation covers discrete, continuous, and hybrid paradigms. Discrete approaches with single-codebook visual tokenizers align naturally with text modeling but have limited representational capacity. Continuous and hybrid approaches retain richer visual representations, but they model text and images in heterogeneous spaces with different training objectives, potentially introducing optimization conflicts between modalities with misaligned representation spaces. These choices expose a central question: how to efficiently model high-capacity visual representations alongside textual content in a shared optimization space within a single backbone. We present Intern Lumina U2, to our knowledge the first diffusion language model to represent multi-codebook visual tokens in a fully discrete space. Each visual position is represented by a group of codes from complementary codebooks, increasing its representational capacity while preserving compatibility with discrete text modeling. At the input, the embeddings are concatenated at each position; at the output, a lightweight multi-codebook autoregressive head predicts the codes within each position sequentially, while the diffusion backbone processes all positions in parallel. Built on the unified 4D representation of AToken, Intern Lumina U2 supports image, video, and 3D inputs within a single backbone and achieves leading performance among unified models in visual understanding, image generation, and image editing. We further build a full-stack training, inference, and evaluation system on both Ascend and NVIDIA platforms to verify the cross-platform effectiveness of our model. We also improve the inference efficiency through a stability-aware sampling strategy, which combines confidence-plateau-guided unmasking approach with drift-triggered cache refreshing mechanisms, accelerating image generation by 4.45x.

中文摘要

摘要：统一的多模态生成涵盖离散、连续和混合范式。使用单码本视觉标记器的离散方法与文本建模自然对齐，但其表达能力有限。连续和混合方法保留了更丰富的视觉表示，但它们在异构空间中对文本和图像进行建模，并且训练目标不同，可能在表示空间不对齐的模态间引入优化冲突。这些选择引出了一个核心问题：如何在单一主干网络中高效地在共享优化空间内对高容量的视觉表示与文本内容进行建模。我们提出了 Intern Lumina U2，据我们所知，这是首个在完全离散空间中表示多码本视觉标记的扩散语言模型。每个视觉位置由来自互补码本的一组代码表示，增加了其表示能力，同时保持与离散文本建模的兼容性。在输入端，嵌入在每个位置进行拼接；在输出端，一个轻量级多码本自回归头按顺序预测每个位置内的代码，而扩散主干网络则并行处理所有位置。基于 AToken 的统一 4D 表示，Intern Lumina U2 支持在单一主干网络中输入图像、视频和 3D 内容，并在视觉理解、图像生成和图像编辑方面在统一模型中取得领先性能。我们进一步在 Ascend 和 NVIDIA 平台上构建了完整的训练、推理和评估系统，以验证模型的跨平台有效性。我们还通过稳定性感知采样策略提高了推理效率，该策略结合了基于置信度平台的解掩码方法和漂移触发的缓存刷新机制，使图像生成速度加快了 4.45 倍。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*统一多模态理解与生成框架中视觉表征容量与优化空间对齐之间的根本矛盾\*\*，具体可概括为以下三个层面： ### 1. 核心问题：共享优化空间中的高容量视觉表征建模现有统一多模态模型在融合视觉理解与生成时，面临一个关键抉择： - \*\*离散范式\*\*（如 Chameleon、Emu3）：采用单码本视觉 tokenizer，将视觉信息压缩为单个离散代码，天然兼容文本的离散建模方式，但每个空间位置的表征容量严重不足，难以忠实重建图像或覆盖复杂视觉任务； - \*\*连续/混合范式\*\*（如 Transfusion、BAGEL、InternVL-U）：在主干网络或独立解码器中保留连续视觉状态，虽能获得更高的视觉保真度，但文本与图像在异构空间中被建模，且往往采用不同的训练目标（如文本的 next-token loss 与图像的 diffusion/flow matching loss），导致模态间的优化冲突和表征空间不对齐。由此，论文提出一个核心研究问题：\*\*如何在单一主干网络的共享优化空间内，以单一训练目标高效地建模高容量视觉表征与文本内容？\*\* ### 2. 现有离散统一模型的表征瓶颈现有基于离散掩码扩散的统一模型（如 MMaDA、Lumina-DiMOO、LLaDA2.0-Uni）受限于单码本 tokenization，将每个视觉位置的信息压缩为单个离散代码 c ∈ 1, dots, V 。这种紧凑表征对于以下两方面均显不足： - \*\*忠实重建\*\*：单一代码难以编码精细的低层视觉细节； - \*\*语义理解\*\*：高层语义信息与视觉生成所需的细节之间存在张力。论文指出，这种表征容量的局限是离散统一模型在视觉任务上性能受限的主要原因。 ### 3. 论文提出的解决方案为突破上述瓶颈，论文提出 \*\*Intern Lumina U2\*\*，其设计目标是在\*\*完全离散空间\*\*中实现高容量视觉表征与文本的统一建模： - \*\*多码本离散视觉表征\*\*：采用 AToken 将图像、视频、3D 资产编码到统一的 4D 潜在空间，每个视觉位置由 K=8 个互补码本的代码组 c = (c_1, dots, c_K) 表示，每个码本大小为 4096。这种表示在不增加空间网格长度的前提下，将视觉信息容量扩展了 K 倍。 - \*\*输入接口的兼容性保持\*\*：在输入端，每个码本拥有独立的嵌入表 E_k ，通过拼接与线性投影将 K 个代码嵌入合并为单一主干 token：

x = W(∈) · [E_1(c_1); E_2(c_2); dots; E_K(c_K)]
这使得序列长度与码本数量 K 解耦，同时避免了将视觉代码混入文本词表。 - **输出接口的依赖建模**：在输出端，轻量级的多码本自回归头（multi-codebook AR head）沿码本维度自回归地建模代码间的依赖关系：
p(c mid h) = prod(k=1)^(K) p(ck mid h, c(<k))
而扩散主干则并行处理所有空间位置，兼顾了视觉生成对双向上下文的需求与代码间的条件依赖。 - **统一训练目标**：所有模态（文本、图像、视频、3D）在统一的 packed-sequence 格式下，以单一的掩码扩散交叉熵目标进行联合训练，避免了异构优化目标带来的冲突。 ### 4. 延伸的系统与效率问题除表征与优化空间的统一外，论文还针对实际部署中的两个关键问题给出了解决方案： - **跨平台有效性**：在华为 Ascend 与 NVIDIA 双平台上完成了全栈训练、推理与评估系统的适配，验证了架构与训练 recipe 的跨平台一致性； - **推理加速**：针对视觉 token 置信度低、演化缓慢的特性，提出 **Plateau-Halton sampling with V-verify (PHV)** 策略，通过置信度 plateau 指导的解掩与隐藏状态漂移触发的缓存刷新，在保持生成质量的前提下将图像生成端到端延迟降低 **4.45×**。综上，Intern Lumina U2 试图在**不引入连续生成目标或独立视觉解码器**的前提下，首次实现基于多码本离散状态的全模态（图像/视频/3D）理解与图像生成、编辑的统一，推动离散扩散语言模型（diffusion LLM）向高容量视觉表征与 omni-visual 范式发展。 Q2: 有哪些相关研究？与 Intern Lumina U2 相关的研究可归纳为以下四条主线，涵盖从统一架构、扩散语言模型到多码本表征与推理加速的多个维度： —- ### 1. 统一多模态理解与生成模型（Unified Multimodal Understanding and Generation）这类研究致力于在单一模型内同时实现视觉感知与视觉合成，依据视觉表征的离散/连续属性可进一步分为三类： **（1）纯离散范式：视觉 token 与文本共享离散空间** - **自回归生成**：Chameleon 与 Emu3 采用共享词表，将图像与文本均视为 next-token 预测任务；Janus-Pro 则解耦理解编码器与生成 tokenizer，分别处理两类需求；VAR 与 OneCAT 提出由粗到细的 next-scale 预测，逐步提升分辨率。 - **掩码扩散生成**：MMaDA、Lumina-DiMOO 与 Show-o 将掩码扩散目标同时应用于文本与离散视觉 token，允许视觉内容在双向上下文下并行解码；Emu3.5 进一步将 next-token 图像解码转化为双向并行预测以加速推理。 **（2）连续/混合范式：保留连续视觉状态** - **主干内连续目标**：Transfusion 在统一 Transformer 内对文本使用 next-token loss、对图像使用扩散 loss；UniFluid 为每个空间位置配备独立的扩散头。 - **分离式连续解码器**：BAGEL、InternVL-U 采用 ViT 特征进行理解，再通过 VAE 空间的 flow matching 生成图像；SenseNova-U1 将 flow matching 直接置于像素空间。 - **语义-连续混合**：LLaDA2.0-Uni 在主干中对文本与视觉 token 使用共享掩码预测目标，但图像合成仍依赖一个额外的连续扩散解码器，以预测的离散视觉 token 为条件。 **与 Intern Lumina U2 的区别**：上述离散方法受限于单码本表征容量；连续/混合方法则引入与文本分类目标异构的连续生成目标，甚至需要独立的视觉解码器，导致优化空间不一致。Intern Lumina U2 首次在**完全离散空间**内对**多码本视觉状态**进行建模，无需连续生成器即可直接通过主干 token 解码图像。 —- ### 2. 扩散语言模型（Diffusion Language Models, dLLMs）该方向关注如何用扩散/掩码过程替代自回归进行语言与多模态建模： - **基础语言模型**：LLaDA 首次证明从零训练的掩码扩散语言模型可媲美强自回归基线；LLaDA2.0 将预训练的 AR MoE 模型转换为 blockwise 扩散 LM，在保留知识的同时实现并行解码。 - **向视觉的扩展**： - **理解**：LLaDA-V 将视觉编码器特征馈入扩散 LM 完成视觉问答。 - **生成**：LLaDA-o 对文本采用离散掩码扩散、对图像采用连续扩散，形成非统一的生成机制。 - **统一**：MMaDA 与 Lumina-DiMOO 将掩码预测扩展到文本与图像 token；LLaDA2.0-Uni 基于 LLaDA2.0 主干采用 block-wise 掩码预测。 **与 Intern Lumina U2 的区别**：现有扩散语言模型（包括统一版本）均采用单码本视觉表征或连续视觉分支。Intern Lumina U2 以 LLaDA2.0-mini 为起点，沿两个轴扩展：视觉状态升级为**多码本离散 token**，且同一模型覆盖图像、视频与 3D 三种视觉模态的理解。 —- ### 3. 多码本视觉表征与深度解码（Multi-Codebook Representations）为在不增加空间网格长度的前提下提升离散视觉表征容量，研究者探索了残差与因子化量化： - **RQ-Transformer**：使用“空间 + 深度”双层 Transformer 自回归地解码残差代码。 - **VILA-U**：将多码本深度解码引入自回归统一模型。 - **UniTok**：将 H × W × K 的视觉代码折叠为 H × W 个主干位置，但未显式建模同位置内多码本间的依赖。 - **TokenBridge**：记录了当单个位置的各码本代码被独立预测时所丢失的依赖关系。 - **AToken**：提供跨图像、视频、3D 的共享多码本表征，是 Intern Lumina U2 的视觉 tokenizer 基础。 **与 Intern Lumina U2 的区别**：上述工作均在**自回归系统**中建立多码本建模。Intern Lumina U2 首次将多码本视觉 token 作为**掩码扩散语言模型**的视觉状态：扩散主干并行细化所有空间位置，而多码本 AR head 仅在每个位置内部沿码本维度自回归建模依赖，从而将空间并行性与码本序列性解耦。 —- ### 4. 掩码扩散解码加速（Accelerating Masked-Diffusion Decoding）针对掩码生成模型迭代推理成本高的问题，现有加速方法分为两路： **（1）基于学习的方法** - 训练辅助模型或学习潜在受控动态（latent controlled dynamics），以少数大步长跳跃替代多步细化。 **（2）免训练的方法** - **固定/阈值调度**：MaskGIT 预设每轮解掩位置数量；Fast-dLLM 对概率超过绝对阈值的 token 立即提交。 - **揭示顺序优化**：低差异序列（如 Halton 序列）用于均匀分散剩余不确定性，改善空间覆盖。 - **缓存策略**：固定间隔刷新缓存以减少冗余主干计算；dLLM-Cache 提出基于 V-verify 分数的漂移检测，选择性刷新缓存位置。 **与 Intern Lumina U2 的关系**：该模型提出 **Plateau-Halton sampling with V-verify (PHV)**，属于免训练加速路线。由于视觉 token 置信度绝对值较低且演化缓慢，PHV 放弃固定阈值，转而利用置信度**时间 plateau** 作为稳定性信号进行早提交，并结合隐藏状态漂移触发缓存刷新，在 1024×1024 生成中实现 **4.45×** 端到端加速。 —- ### 总结如论文 Table 1 所示，在现有的代表性统一多模态模型中，Intern Lumina U2 是唯一同时满足以下五项能力的系统：图像理解、图像生成、视频理解、3D 理解、基于多码本离散状态的掩码扩散解码，且无需独立的连续生成器。这一定位使其与上述四条研究脉络中的既有工作形成明确区分。 Q3: 论文如何解决这个问题？论文通过 **Intern Lumina U2** 系统性地解决了统一多模态框架中视觉表征容量不足与优化空间异构的矛盾。其核心思路是：在完全离散空间内，以多码本视觉 token 扩展每个空间位置的表征容量，并通过掩码扩散语言模型（dLLM）以单一目标统一处理文本与视觉。具体解决方案涵盖架构设计、训练范式、数据工程与推理系统四个层面。 —- ### 1. 多码本离散视觉表征（Multi-Codebook Discrete Visual Tokens）为突破单码本离散表征的信息瓶颈，论文采用 **AToken** 作为冻结的视觉 tokenizer，将图像、视频与 3D 资产统一编码至共享的 4D 潜在空间。每个视觉位置由 K=8 个互补码本的代码共同表示：

c = (c_1, c_2, dots, c_K), quad c_k ∈ 1, dots, 4096
相比单码本，这种表示在不扩展空间网格长度的前提下，将视觉信息的编码容量提升了多个数量级，同时保持离散性以兼容文本的分类式训练目标。 —- ### 2. 统一的模型架构 #### 2.1 输入接口：码本独立嵌入与投影为避免视觉代码混入文本词表、同时保证主干序列长度与码本数量 K 解耦，论文为每个码本 k 配备独立的嵌入表 E_k 。对于视觉位置 c = (c_1, dots, c_K) ，输入向量通过拼接与线性投影得到：

x = W(∈) · [ E_1(c_1); E_2(c_2); dots; E_K(c_K) ], quad W(∈) ∈ R^(d × Kd)
其中 d=2048 为主干隐藏维度。该设计既保留了码本身份（codebook identity），又将多码本信息压缩为单个主干 token。 #### 2.2 输出接口：多码本自回归头（Multi-Codebook AR Head）在输出端，论文不假设各码本条件独立，而是通过轻量级的 6 层因果 Transformer 沿码本维度自回归建模依赖关系：

p(c mid h) = prod(k=1)^(K) p(c_k mid h, c(<k))
其中 h ∈ R^d 为扩散主干输出的位置隐藏状态。该头部在训练时采用 **teacher forcing**，一次性并行获得所有 K 个码本的 logits；在推理时，每个视觉位置内部的 K 个代码按序采样，不同空间位置则始终保持并行处理。这种“空间并行、码本串行”的因子化策略，既保留了视觉生成所需的双向上下文（通过扩散主干），又显式捕获了同位置多码本间的联合分布。 #### 2.3 任务感知注意力掩码（Task-Aware Attention Mask）由于模型需同时处理理解、生成、编辑等多类任务，论文设计了基于元数据的统一序列格式与动态注意力掩码： - **条件（conditions）** 对同轮及后续轮次可见； - **文本答案** 采用块级扩散（block diffusion）：块内双向、块间因果，并引入 clean copy 机制支持多轮上下文； - **视觉答案** 采用空间掩码扩散：在自身答案内全双向，可读取条件及前序文本答案的 clean copy，但无 clean copy 自身。通过将图像、视频、3D 与文本统一打包为 1D token 序列，所有任务共享同一套位置编码与掩码规则。 —- ### 3. 统一的训练目标所有模态在共享的离散空间中优化**同一个掩码扩散交叉熵目标**。 - **文本掩码调度**：按块独立采样掩码比例 rho = cos((π) / (2) u) ，其中 u sim U(0,1) ，以匹配推理时的块扩散行为。 - **视觉掩码调度**：所有空间位置共享同一掩码比例，同位置的 K 个代码全部被监督。位置 j 的损失为：

ell(vis)(j) = (1) / (K) ∑(k=1)^(K) -log p(ck^(gt) ,|, h, c( fp ，则该位置被视为已进入稳定 plateau，可提前提交。 - **Halton 揭示顺序**：未达 plateau 的位置按低差异 Halton 序列排序提交，使剩余不确定性均匀分散在画布上。 - **V-verify 缓存刷新**：通过监测隐藏状态归一化漂移 D_t 决定是否刷新主干缓存，避免过时表征的累积。配合 CFG 双分支批处理、AR Head KV 缓存与隐藏状态缓存复用，PHV 将端到端图像生成延迟从 159.9 秒降至 35.9 秒（**4.45× 加速**），同时提升生成质量。 —- ### 6. 跨平台全栈适配与验证论文在 **1,024 张华为 Ascend 910B NPU** 上完成主模型训练，并在 **NVIDIA GPU** 上以相同架构与训练 recipe 进行小规模交叉验证。通过重写融合 MoE 内核（基于 `npu_grouped_matmul`）、适配注意力掩码语义与内存管理策略，实现了从训练到推理的全栈国产化部署，证明了该方法在不同硬件平台上的有效性。 —- ### 总结 Intern Lumina U2 的解决方案可概括为：**以多码本离散 token 扩展视觉表征容量，以拼接-投影输入接口保持主干兼容性，以多码本 AR Head 捕获码本间依赖，以统一掩码扩散目标对齐文本与视觉的优化空间，以渐进课程训练稳定扩展至多模态，以稳定性感知采样突破推理效率瓶颈**。这一系列设计首次在完全离散空间内实现了图像、视频、3D 理解与图像生成、编辑的统一建模。 Q4: 论文做了哪些实验？论文在 **Intern Lumina U2** 上开展了覆盖 omni-visual 理解、图像生成与编辑、科学图表生成、推理加速及架构消融的系统性实验。所有实验均对比了 Ascend 平台训练的主模型与 NVIDIA 平台训练的参考模型，并在统一协议下与专用及统一基线进行比较。 —- ### 1. Omni-Visual 理解实验 #### 1.1 图像理解与推理在 10 个图像理解基准上评估，涵盖文档图表、感知幻觉与知识数学推理三类任务： - **文档与图表**：ChartQA、CharXiv（DQ） - **感知与幻觉**：HallusionBench、MME-C、RealWorldQA - **知识与数学推理**：MMMU、MMMU-Pro、MathVista、MathVision、DynaMath 与 Qwen2.5-VL（7B，理解专用）、LLaDA-V、BAGEL、InternVL-U、Lumina-DiMOO、LLaDA-o 及同骨干的 LLaDA2.0-Uni 对比。Ascend 模型在 6/10 项上取得最优，在 CharXiv、HallusionBench、MathVision、DynaMath 上领先明显；与同骨干 LLaDA2.0-Uni 相比，8/10 项提升，验证了多码本表征对细粒度视觉细节的增益。 #### 1.2 视频与 3D 理解 - **视频基准**：Video-MME（无字幕）、MLVU（m-avg）、MVBench - **3D 基准**：3D MM-Vet（Rec / Know / Gen / Spat / Emb / Total）对比 Video-LLaVA-7B、VideoLLaMA2-7B、LLaVA-Mini、LLaDA-V 等视频/3D 专用或理解模型。Ascend 模型在 Video-MME、MLVU、MVBench 三项视频基准上均取得最高得分；在 3D MM-Vet 上超过 ShapeLLM 与 PointLLM 等 3D 专用模型。 —- ### 2. 图像生成与编辑实验 #### 2.1 文本到图像生成在多个生成基准上评估整体与维度级性能： - **整体对齐**：GenEval、DPG-Bench、TIIF-Bench（长短提示分别评测）、WISE - **维度细分**：UniGenBench（Sty / Wor / Att / Act / Rel / Log / Gra / Com / Lay / Txt 十维度） - **综合能力**：OneIG-Bench（Alignment / Text / Reasoning / Style / Diversity）对比生成专用模型 FLUX.1、Qwen-Image，以及统一模型 Janus-Pro、Show-o2、BAGEL、OmniGen2、InternVL-U、MMaDA、Lumina-DiMOO、LLaDA-o、LLaDA2.0-Uni。Intern Lumina U2 在统一模型中取得 DPG-Bench、UniGenBench、TIIF-Bench 最优，GenEval 与 LLaDA2.0-Uni 持平；UniGenBench 中逻辑推理（Log）与语法（Gra）优势显著。 #### 2.2 图像编辑评测指令驱动的图像编辑： - **ImgEdit**：总体得分（1–5 分制） - **GEdit-Bench**：英文与中文提示的总体 GO 得分（0–10 分制）对比编辑专用 Step1X-Edit、Qwen-Image-Edit，以及统一模型 BAGEL、OmniGen2、InternVL-U、Lumina-DiMOO、LLaDA2.0-Uni。Ascend 模型在 ImgEdit 与 GEdit 英文基准上接近最优统一模型，优于 BAGEL 与 OmniGen2。 —- ### 3. 科学图表生成实验针对物理正确性，在两个专用基准上评估： - **GenExam Physics**：严格（strict）与宽松（relaxed）的 MLLM-judge 分数 - **VeriphyT2IBench**：局部属性库（Local）与全局整图库（Global）的问题级准确率，并进一步按电磁学（E&M）、力学（Mechanics）、光学（Optics）、量子力学、热力学、声学六领域及易/中/难三难度级细分对比生成专用模型（Seedream 4.0、FLUX.1、Gemini 2.5 Flash Image、GPT-Image-1、Qwen-Image 等）、统一模型（BAGEL、Lumina-DiMOO、Show-o2、SenseNova-U1 等）及物理专用变体（Princigram-DiMOO、Princigram-BAGEL）。Intern Lumina U2 在一般用途统一模型中 GenExam 宽松得分最高（44.8），VeriphyT2IBench 局部最优（76.58）、全局第二（81.22）；在难度最高的 E&M 提示上达 81.30。 —- ### 4. 推理加速与采样策略实验 #### 4.1 系统级加速消融（Table 4）在固定 1024 × 1024 文本到图像协议下，逐层叠加优化并测量端到端延迟与 GenEval： - **基础路径**：96 步，159.9 s - **+ CFG 双分支批处理**：117.2 s（1.36×） - **+ AR Head KV 缓存**：84.2 s（1.90×） - **+ 隐藏状态缓存**：64.1 s（2.49×，命中率 65%） - **+ Halton 揭示顺序（HVV）**：66.5 s（2.40×）进一步引入自适应步预算： - **HVV 固定 60 步**：42.6 s（3.75×） - **Plateau + V-verify**：34.8 s（4.59×） - **PHV（Plateau-Halton + V-verify）**：35.9 s（4.45×），GenEval 从 86.6 提升至 89.3 #### 4.2 采样参数网格搜索（Figure 11）对 PHV 的两个核心超参——plateau 变化阈值 δ_p 与置信度下限 f_p ——进行 6 × 6 网格消融（553 提示/格）。结果表明二者形成串行门控： δ_p 决定早期提交资格， f_p 限制实际提交数量。选定的质量优先配置 δ_p = 0.18, f_p = 0.005 位于速度-质量前沿，以 35.9 s/张达到 GenEval 89.3。 —- ### 5. 架构消融实验 #### 5.1 视觉输入接口消融（Table 15, Figure 10）比较三种输入设计（决定嵌入表组织与分类器宽度）： - **D1**：单一共享大词表（文本+视觉代码共用） - **D2**：单一视觉嵌入表，通过索引偏移区分码本 - **D3（本文）**：每码本独立嵌入表，拼接后投影在约 500 万监督代码的 held-out 集上，D3 的 next-code top-1 准确率显著高于 D1/D2（差距超过 10 个标准误），且随码本深度增加优势扩大；图像损失收敛曲线亦优于 D2。D3 的峰值内存与 D2 相当（18.62 GB vs 18.68 GB），远低于 D1（43.79 GB）。 #### 5.2 视觉输出头消融（Table 16）在 512 × 512 分辨率、相近 token 预算下对比三种输出头： - **Independent parallel**：假设码本条件独立，并行预测 - **Q-Former**：单轮学习查询预测所有代码 - **Multi-codebook AR（本文）**：沿码本维度自回归建模 p(c mid h) = prod(k=1)^(K) p(ck mid h, c(<k)) 多码本 AR Head 在 GenEval（82.78）、DPG-Bench（83.27）、TIIF（73.2）、UniGenBench（62.1）四项上全面最优。Parallel Head 在 DPG 上接近，但在 GenEval 落后 14 分，尤其在计数（counting）、位置（position）与属性绑定（attribute binding）上差距显著，验证了显式建模码本间依赖的必要性。Q-Former 未优于 Parallel Head，说明增益来源于依赖建模而非更复杂的条件化。 —- ### 6. 跨平台一致性验证论文在 Ascend 910B（1,024 NPUs，完整预算） Q5: 有什么可以进一步探索的点？基于论文结论与整体架构设计，以下方向值得进一步探索： —- ### 1. 向视频与 3D 生成的模态扩展当前 Intern Lumina U2 已统一了图像、视频、3D 的**理解**，但生成与编辑能力仍局限于图像。由于 AToken 已将三种模态编码至共享 4D 潜在空间，且视觉接口对模态差异透明，将多码本离散扩散框架扩展至**视频生成**（帧间时序一致性建模）与**3D 资产生成**（稀疏体素或点云的空间结构化生成）是自然的下一步。核心挑战在于设计适配时序与三维结构的任务感知掩码机制，以及处理视频/3D 场景下更长的视觉序列。 —- ### 2. 更紧密交织的多模态生成（Interleaved Multimodal Generation）现有工作主要处理“文本→图像”或“图像→文本”的单向转换，未来可探索**交错式多模态生成**，即模型在单一对话中交替输出文本推理与视觉内容（如生成带注释的科学图表、逐步绘制故事板）。这要求在 packed-sequence 格式中进一步细化文本块与视觉块间的动态依赖关系，并设计支持流式交错的推理调度策略。 —- ### 3. 强化学习后训练（RL Post-Training）论文目前依赖监督微调（SFT）对齐指令遵循行为。引入**基于人类反馈或模型反馈的强化学习**（如 RLHF、DPO、GRPO 等）有望显著提升生成图像的美学质量、提示遵循度以及物理正确性。特别是在科学图表生成（GenExam、VeriphyT2IBench）等需要精确结构化约束的任务上，强化学习可通过细粒度奖励信号优化离散视觉 token 的采样策略。 —- ### 4. 骨干网络规模的扩展（Backbone Scaling）当前模型基于 16B 总参数 / 1.4B 激活参数的 MoE 主干。论文指出未来计划**扩大骨干规模**。鉴于多码本视觉序列在 1024 × 1024 分辨率下已达 4,160 个位置，扩展专家数量、隐藏维度或 Transformer 层数，并配合更高效的 MoE 负载均衡策略，可能进一步缩小与专用大规模生成模型（如 Qwen-Image、Seedream）的保真度差距。 —- ### 5. 解码效率与长视觉序列优化多码本 AR Head 在每个视觉位置内部引入 K=8 步串行解码，高分辨率下视觉序列长度可达数千，造成显著推理开销。未来可从以下角度优化： - **子采样或渐进式码本解码**：是否所有位置都必须在每一步推断全部 K 个代码，或可采用早期退出（early exiting）机制？ - **更激进的缓存策略**：当前 V-verify 缓存刷新基于隐藏状态漂移 Dt ，可探索基于梯度或信息论的缓存更新准则，进一步减少主干网络前向传播次数。 —- ### 6. 多码本表征与依赖建模的深化论文验证了沿码本索引 k=1,dots,K 自回归建模 p(c_k mid h, c(<k)) 优于条件独立假设。但码本间的依赖结构可能存在更优的分解方式： - **可学习的码本解码顺序**：固定顺序 1 to K 未必最优，可引入排列自回归或图神经网络建模码本间依赖。 - **动态码本深度**：不同视觉复杂度区域可能需要不同数量的有效码本，可探索自适应深度选择（类似 RQ-Transformer 的提前停止）以降低平均解码成本。 —- ### 7. 跨模态编辑能力的统一扩展当前图像编辑数据涵盖十种编辑类型，但视频编辑与 3D 编辑尚未纳入。将编辑框架扩展至视频（时序一致性编辑）和 3D（部件级几何/材质编辑）需要解决源模态与目标模态在离散空间中**变化区域定位**与**未变化区域保持**的精细控制问题，可能需在注意力掩码中显式引入编辑掩码（edit mask）token。 —- ### 8. 物理 grounded 生成的细粒度提升尽管 Intern Lumina U2 在 VeriphyT2IBench 上表现优异，但在 GenExam 的 strict 评分（2.7）上仍有较大提升空间。未来可探索： - **显式物理约束注入**：将物理引擎或符号约束融入离散扩散采样过程，而非仅依赖数据驱动学习。 - **专用科学图表预训练**：构建更大规模的物理、化学、工程图表-文本对，并引入领域特定的结构验证器作为辅助监督。 —- ### 9. 数据构建与课程学习的改进论文采用五阶段渐进课程，但阶段间的数据混合比例（Table 2）主要基于经验设定。未来可研究： - **基于能力的自动课程（Automatic Curriculum Learning）**：根据模型在各能力维度的实时评估分数动态调整数据采样权重，而非固定比例。 - **合成数据的质量-多样性权衡**：当前使用 FLUX、Ideogram 等模型合成图像，如何抑制合成 artifacts 在多轮训练中的累积放大，是一个开放问题。 —- ### 10. 与连续表征范式的深度融合论文坚持完全离散空间以统一优化目标，但连续扩散在极高分辨率生成上仍具优势。未来可探索**混合目标训练**：在主干保持离散分类目标的同时，为视觉输出头引入连续辅助目标（如预测代码嵌入而非仅分类分布），或研究离散-连续双空间对齐的蒸馏框架，以兼顾优化一致性与生成保真度上限。 Q6: 总结一下论文的主要内容 **Intern Lumina U2** 提出了一种基于**多码本离散视觉 token**的统一扩散语言模型，旨在以单一训练目标和共享优化空间，同时实现高保真视觉生成与 omni-visual（图像/视频/3D）理解。以下从问题背景、核心方法、系统实现与实验验证四个层面进行总结。 —- ### 1. 研究背景与核心问题统一多模态模型需在单一框架内整合视觉理解与生成，但现有方案存在根本权衡： - **离散范式**（如 Chameleon、Emu3、LLaDA2.0-Uni）将视觉压缩为单码本离散 token，天然兼容文本建模，但每个空间位置的表征容量严重受限，难以支持精细重建与复杂视觉任务； - **连续/混合范式**（如 Transfusion、BAGEL、InternVL-U）保留连续视觉状态以获得高保真生成，但文本与图像在异构空间中被优化，往往依赖不同的训练目标（如 next-token loss vs. diffusion/flow matching），导致模态间优化冲突与表征空间不对齐。因此，论文瞄准的核心问题是：**如何在单一主干网络的共享离散优化空间内，高效建模高容量视觉表征与文本内容？** —- ### 2. 核心方法：完全离散空间中的多码本建模论文提出 **Intern Lumina U2**，以 AToken 为视觉 tokenizer、LLaDA2.0-mini 为扩散语言模型主干，实现了视觉与文本在完全离散空间中的统一。 #### 2.1 多码本视觉表征 - **统一 4D 代码空间**：AToken 将图像、视频、3D 资产编码为共享的离散潜在空间。每个视觉位置由 K=8 个互补码本的代码组表示：

c = (c_1, dots, c_K), quad c_k ∈ 1, dots, 4096
这种表示在不增加空间网格长度的前提下，将视觉信息容量扩展数倍。 #### 2.2 输入接口：码本身份保持 - 为每个码本配备独立的嵌入表 E_k ，通过拼接与线性投影将 K 个代码合并为单一主干 token：

x = W_(∈) · [E_1(c_1); dots; E_K(c_K)]
该设计保持序列长度与 K 无关，避免视觉代码混入文本词表。 #### 2.3 输出接口：多码本自回归头 - 轻量级的 6 层因果 Transformer（multi-codebook AR head）沿码本维度自回归建模依赖：

p(c mid h) = prod(k=1)^(K) p(c_k mid h, c(<k))

**训练**：采用 teacher forcing，单次前向传播并行获得所有 K 个 logits； - **推理**：每个位置内部 K 步顺序采样，不同空间位置始终并行处理。 - 扩散主干负责空间位置的全局双向并行细化，AR head 负责单点内部码本依赖，二者职责解耦。 #### 2.4 统一数据格式与任务感知注意力 - 所有任务（理解、生成、编辑、纯文本）被格式化为统一对话序列，并标注五类元数据（类型、轮次、噪声状态、块索引、位置 ID）。 - **任务感知注意力掩码**精确控制不同模态与任务间的信息流动： - 文本答案采用**块级扩散**（块内双向、块间因果，带 clean copy 机制）； - 视觉答案采用**空间掩码扩散**（答案内全双向，无前向 clean copy）。 #### 2.5 统一训练目标所有模态共享单一的掩码扩散交叉熵损失：

L = ∑(i ∈ T) ell(txt)(i) + ∑(j ∈ V) ell(vis)(j)|T| + |V| + 10^(-3) L_(balance)
其中视觉位置损失为 K 个码本交叉熵的均值。文本与视觉在相同归一化下联合优化，避免异构目标冲突。 —- ### 3. 训练与推理系统 #### 3.1 五阶段渐进训练 | 阶段 | 分辨率 | 关键内容 | |:—-|:—-|:—-| | Vision–Language Alignment | 256^2 | 视觉模块对齐与初步图文能力 | | Perception Pretraining | 512^2 | 细粒度感知（OCR、文档、图表） | | Omni-Visual Mid-Training I | 1024^2 | 隔离分辨率过渡，稳定现有能力 | | Omni-Visual Mid-Training II | 1024^2 | 引入编辑、视频理解、3D 理解 | | Instruction SFT | 1024^2 | 高质量指令微调，对齐任务遵循行为 | #### 3.2 跨平台全栈实现 - **主模型**：在 1,024 张华为 Ascend 910B NPU 上完成全栈训练、推理与评估； - **参考模型**：在 NVIDIA GPU 上以相同架构与优化 recipe 进行小规模交叉验证，验证跨平台有效性。 #### 3.3 稳定性感知推理加速（PHV）针对视觉 token 置信度绝对值低、演化缓慢的特点，提出 **Plateau-Halton sampling with V-verify (PHV)**： - **Plateau 检测**：通过置信度指数移动平均的连续低变化，识别已达稳定的 token 并提前提交； - **Halton 揭示顺序**：对未稳定位置按低差异序列均匀分散提交，优化空间覆盖； - **V-verify 缓存刷新**：基于隐藏状态归一化漂移 D_t 触发主干缓存刷新，避免过时表征累积。该策略将 1024 × 1024 图像生成的端到端延迟从 159.9 秒降至 **35.9 秒（4.45× 加速）**，同时提升生成质量。 —- ### 4. 实验验证与关键结论 #### 4.1 Omni-Visual 理解 - **图像理解**：在 10 项基准中 6 项最优，CharXiv、HallusionBench、MathVision、DynaMath 领先显著；较同骨干 LLaDA2.0-Uni（单码本）8/10 项提升。 - **视频理解**：Video-MME、MLVU、MVBench 三项均优于现有基线（包括专用视频模型）。 - **3D 理解**：3D MM-Vet 上超过 ShapeLLM、PointLLM 等 3D 专用模型。 #### 4.2 图像生成与编辑 - 在 DPG-Bench、UniGenBench、TIIF-Bench 上取得统一模型最优，GenEval 与最优持平； - UniGenBench 中逻辑推理（Log）与语法（Gra）维度优势突出； - 图像编辑（ImgEdit、GEdit-Bench）接近最优统一模型。 #### 4.3 科学图表生成 - GenExam Physics 宽松得分在通用统一模型中最高（44.8）； - VeriphyT2IBench 局部最优（76.58）、全局第二（81.22），在困难电磁学提示上达 81.30。 #### 4.4 消融实验 - **输入接口**：独立嵌入表设计（D3）在 next-code 准确率与收敛速度上显著优于共享大词表（D1）与偏移共享表（D2）； - **输出头**：显式建模码本依赖的多码本 AR Head，在 GenEval 上比条件独立并行头高 14 分，尤其在计数、位置与属性绑定任务上优势明显； - **采样策略**：PHV 超参 δ_p=0.18, f_p=0.005 位于速度-质量前沿。 —- ### 5. 总结 Intern Lumina U2 首次在完全离散空间内实现了基于多码本视觉状态的统一扩散语言建模，通过“空间并行、码本串行”的因子化设计，以单一训练目标兼容了高容量视觉表征与文本建模，并在一系列理解与生成任务中验证了该范式的有效性与广度。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qian Yu,Zongyang Qiu,Juncheng Yan,Hongliang Li,Qi Qin,Keqi Wang,Siqi Luo,Junkui Ju,Yapeng Mi,Tiantian Lu,Tian Liu,Pengyu Xie,Chenhao Ji,Minghui Zhang,Yiang Zhao,Siyu Yan,Haiying Xu,Yanbo Wang,Jianghan Shen,Yuandong Pu,Jiayi Lei,Borui Zhang,Jinxin Shi,Bo Zhang,Yuhang Zang,Shenglong Ye,Lixin Gu,Hongjie Zhang,Linghan Liu,Xinyuan Chen,Yuewen Cao,Lihe Zhang,Xiaohong Liu,Junjun He,Qiangwei Liu,Qi Zhang,Yu Cheng,Tianfan Xue,Hui Xiong,Chang Xu,Yu Qiao,Yihao Liu,Bin Fu

Categories:

PDF URL: https://arxiv.org/pdf/2610.20818.pdf

Arxiv URL: https://arxiv.org/abs/2610.20818

Arxiv ID: 2610.20818

CoolPaper URL: https://papers.cool/arxiv/2610.20818

Published: 2026-10-17T01:32:22.846Z

Updated: 2026-10-17T01:32:22.846Z

18. AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning

Abstract:Language model agents increasingly automate post-training, but when given the full training stack they converge on supervised fine-tuning and spend most effort revising training data. Existing systems give the agent one kind of control, selecting rows from a fixed pool or calling a generator, whereas a human data engineer adjusts proportions, prunes, repairs, replaces and synthesizes the data. We design a data action space for these changes and ask whether an automated system can make the full range rather than one of them, and what structure that requires. We first run this loop with a single agent, and it reaches only one action, adjusting category proportions, while its context fills with execution output and is discarded mid-search. We therefore introduce \textbf{AutoSFT}, a multi-agent system where a meta agent separates execution from analysis, gathers proposals from independent angles, and calls a synthesis subagent for capabilities the pool cannot cover, with the model, the trainer, and the budget fixed within each comparison. Adding each component in turn helps: the executor halves context loss, the analysis subagents lift the best IFEval by $+6.5$, and synthesis adds $+3.4$ IFEval and $+2.9$ IFBench. The same loop transfers to code, where analysis adds $+3.7$ MBPP+ over a single agent that does not improve. Every result comes from runs that retrain from the base model each round, so each component’s effect is individually attributable. Our findings suggest that automating SFT data research depends more on covering diverse data actions than on a stronger single action.

中文摘要

摘要：语言模型代理越来越多地自动化后训练，但在获得完整训练堆栈时，它们会收敛于监督微调，并将大部分精力用于修改训练数据。现有系统只给代理一种控制方式——从固定池中选择行或调用生成器，而人类数据工程师会调整比例、修剪、修复、替换和合成数据。我们为这些更改设计了一个数据操作空间，并探讨自动化系统是否能够进行全部操作而不仅仅是其中一种，以及这需要何种结构。我们首先用单个代理运行这一循环，它只能执行一种操作——调整类别比例，而其上下文充满了执行输出并在搜索中途被丢弃。因此，我们引入了\textbf{AutoSFT}，一个多代理系统，其中元代理将执行与分析分开，从不同角度收集提议，并调用合成子代理来完成池中无法覆盖的能力，同时在每次比较中模型、训练器和预算保持固定。依次添加每个组件都会带来帮助：执行者将上下文损失减半，分析子代理将最佳IFEval提升了$+6.5$，合成则增加了$+3.4$ IFEval和$+2.9$ IFBench。同样的循环也可迁移到代码领域，其中分析增加了$+3.7$ MBPP+，而单一代理没有改进。每个结果都来自每轮从基础模型重新训练的运行，因此每个组件的效果都是可单独归因的。我们的研究表明，自动化SFT数据研究更依赖于覆盖多样化的数据操作，而不是依赖更强的单一操作。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*自动化监督微调（SFT）数据研究中动作空间受限与单智能体结构瓶颈\*\*的问题。具体而言，论文围绕以下核心挑战展开： ### 1. 现有系统仅赋予智能体单一数据操作权限当前自动化后训练系统通常只让智能体执行一种数据操作：要么从固定数据池中选择样本行，要么调用生成器合成新数据。然而，经验丰富的数据工程师在实际工作中会采用六种核心操作——调整类别比例（Mixture）、修剪样本（Pruning）、修复错误行（Repair）、替换过长回答（Resupervision）、合成新能力数据（Synthesis）以及调整训练顺序（Ordering）。现有系统未能覆盖这一完整的数据动作空间。 ### 2. 单智能体循环在SFT数据研究中的结构性失效论文通过先导实验发现，当单一智能体拥有完整的SFT数据研究循环（同时负责分析、提案、执行与日志解读）时，会出现三类关键失败： - \*\*动作坍缩\*\*：智能体始终停留在单一动作族（调整类别比例），无法自发进行修复、替换或合成等更复杂的数据工程操作； - \*\*上下文挤压\*\*：执行日志、命令输出和轮询状态占满智能体的上下文窗口，导致研究历史被反复丢弃与重建； - \*\*时间预算扭曲\*\*：在墙钟时间限制下，智能体倾向于不断缩减每轮训练数据量以节省时间提交更多轮次，而非优化数据质量。 ### 3. 如何设计可覆盖全范围数据操作且效果可归因的多智能体结构为突破上述局限，论文提出\*\*AutoSFT\*\*，探究一种多智能体架构是否能在固定模型、训练脚本与预算的前提下，系统地覆盖完整的数据动作空间。该结构通过以下分解实现： - \*\*执行分离\*\*：引入执行子智能体（Executor），将训练提交、监控、评测等生命周期操作移出决策智能体的上下文； - \*\*多角度分析\*\*：引入四个分析子智能体（Analysis Subagents），分别从训练数据、失败案例、学习动态和研究历史四个独立视角提出互补的数据修改方案； - \*\*能力合成\*\*：引入合成子智能体（Synthesis Subagent），针对数据池未覆盖或供给不足的能力目标，验证并生成新样本。通过逐组件添加并在每轮从基座模型重新训练（from-base retraining），论文验证了该结构能够拓宽数据动作范围、减少上下文丢失，并在IFEval、IFBench及代码生成（MBPP+）等任务上取得显著提升。 Q2: 有哪些相关研究？该论文的相关研究主要分布在以下三个方向，涵盖数据工程、自动化优化与评测基准： ### 1. 后训练（Post-training）的数据选择与合成早期工作确立了\*\*数据精选优于规模\*\*的核心原则。例如，LIMA（Zhou et al., 2023a）与 s1（Muennighoff et al., 2025）表明小规模、高质量数据集可匹敌甚至超越大规模数据；He et al.（2025a）进一步指出数据排序本身即可塑造模型的零样本泛化行为。在\*\*数据选择\*\*方面，现有方法多基于信息增益或多样性指标对样本进行剪枝与重加权，如 DELIFT（Agarwal et al., 2025）与 MIG（Chen et al., 2025）。在\*\*数据合成\*\*方面，研究通过种子集引导、复杂度进化或从对齐模型中提取监督信号来生成指令数据，代表工作包括 Self-Instruct（Wang et al., 2023）、WizardLM（Xu et al., 2024a）、Magpie（Xu et al., 2024b）、AgentInstruct（Mitra et al., 2024）以及 SEIF（Ren et al., 2026）。此外，部分研究专门针对偏好数据进行精选，如 UltraFeedback（Cui et al., 2024）、AIR（He et al., 2025b）与 Deng et al.（2025）。上述工作的共同局限在于：它们均产生\*\*固定的静态数据集\*\*，未将数据构造与下游训练性能形成闭环反馈。 ### 2. 自动化数据优化（Automated Data Optimization） PostTrainBench（Rank et al., 2026）通过审计 84 个智能体运行发现，当给予完整训练栈控制权时，智能体几乎一致收敛于 SFT，并将数据作为唯一的搜索对象。 - \*\*选择侧\*\*：TREX（Ma et al., 2026）利用蒙特卡洛树搜索（MCTS）探索数据配方；AutoSelection（Wu et al., 2026）将搜索形式化为固定池上的算子程序；DataChef（Chen et al., 2026b）基于代理奖励训练数据策略；Luo et al.（2026）则仅迭代数据本身，但收益在 8–15 轮后趋于停滞。 - \*\*合成侧\*\*：Autodata（Kulikov et al., 2026）根据求解器反馈修订生成策略；ANDES（Zhao et al., 2026）将合成封装为可调用技能；BigBang（The Endless Frontier Team, 2026）借助评判代理扩展自我进化合成。 - \*\*研究组织\*\*：Arbor（Jin et al., 2026）通过假设树组织研究；AutoSOTA（Li et al., 2026）采用多智能体分解；Anthropic 的自动化研究员（Wen et al., 2026）则强调多样化初始搜索方向以保持探索多样性。论文指出，这些系统通常\*\*只处理“选择”或“合成”之一\*\*，而 AutoSFT 试图统一二者，并通过每轮从基座模型重新训练（from-base retraining）确保每个动作的效果可归因。 ### 3. AI 研究智能体的基准测试当前基准测试已从单一 ML 工程问题扩展到完整研发管线，包括： - \*\*ML 实验与研发\*\*：MLE-bench（Chan et al., 2025）、MLAgentBench（Huang et al., 2024）、RE-Bench（Wijk et al., 2025）、EXP-Bench（Kon et al., 2026）、MLRC-Bench（Zhang et al., 2025）、MLS-Bench（Lyu et al., 2026）、ResearchGym（Garikaparthi et al., 2026）与 AutoLab（Xu et al., 2026）。 - \*\*AI 基础设施优化\*\*：KernelBench（Ouyang et al., 2025）、Frontier-Eng（Chi et al., 2026a）、 Phi -Bench（ Phi -Bench contributors, 2026）与 InferenceBench（Yeon et al., 2026）。 - \*\*自我改进\*\*：PACE-Bench（Zhan et al., 2026）、AI4AI-Bench（Chi et al., 2026b）与 Agent2RL-Bench（Chen et al., 2026a）。在\*\*数据-centric\*\*的研究基准中，DataEnvGym（Khan et al., 2025）将数据生成框定为强化学习循环；Curation-Bench（Kang et al., 2026）赋予智能体对固定管道的迭代控制权；RSIBench-Data（Meng et al., 2026）与 DataPrep-Bench（Liang et al., 2026）则评测面向数据配方的搜索能力。与这些基准相比，AutoSFT 的区别在于强制\*\*每轮从基座重新训练\*\*、通过重复评估约束噪声，并对合成数据设置\*\*验证门控（verification gate）\*\*。此外，在更广泛的\*\*AI 研究自动化\*\*领域，还包括 Lu et al.（2026）、Tang et al.（2025）与 Hu et al.（2025）等利用大模型智能体自动化机器学习研究工作流的探索。 Q3: 论文如何解决这个问题？论文通过提出 \*\*AutoSFT\*\* 这一多智能体系统来解决自动化 SFT 数据研究中的结构性瓶颈。该系统并非简单地增强单一智能体的能力，而是通过\*\*角色分解\*\*与\*\*流程隔离\*\*，使智能体能够覆盖完整的数据动作空间并 sustainedly 进行研究。具体解决路径如下： --- ### 1. 总体研究循环的定义论文首先将问题形式化为一个可搜索的研究循环。固定基座模型 M_0 与初始候选池 D_0 ，每轮 t 基于配方 R_t 从数据池 D_t 中采样并训练，得到检查点 C_t 与反馈 F_t （含基准分数、逐例失败、训练动态等）。研究策略 π 决定下一轮的数据动作：

at = π(D_t, R_t, F_t, H(<t)), quad R(t+1) = a_t(D(t+1), Rt)
其中 H(<t) 为全部历史记录。AutoSFT 即是该策略 π 的一个多智能体实例化。 —- ### 2. 核心架构：元智能体与三类子智能体 AutoSFT 引入一个**元智能体（Meta Agent）**拥有每轮决策权，并将其余工作委托给三类专门的子智能体，形成“分析—合成—执行”分离的架构： #### 2.1 执行子智能体（Executor Subagent） **解决的问题**：单智能体循环中，训练提交、状态轮询、检查点转换与评测日志占满上下文窗口，导致研究历史反复被压缩丢弃。 **机制**：执行子智能体在**独立会话**中完整负责训练作业生命周期（提交、监控、收集产物）与评测流程。完成后，它仅向元智能体返回结构化执行报告与产物文件路径，原始日志保留在本地。此举将元智能体上下文中的命令执行比例从 58% 降至 29%，上下文压缩频率减半。 #### 2.2 分析子智能体（Analysis Subagents） **解决的问题**：单智能体陷入单一动作族（仅调整类别比例），无法自发进行修复、替换或剪枝等更多样的数据工程操作。 **机制**：四个独立的分析子智能体从**互补视角**审视同一轮结果，每个视角返回一个可执行的数据提案： - **训练数据视角**：评估已选数据的质量、难度、覆盖度与冗余，寻找被遗漏或需修复的行； - **失败案例视角**：对比成功与失败案例，识别反复出现的失败模式并提议针对性监督； - **学习动态视角**：分析训练损失等信号与所用数据的关系，解释学习停滞的原因； - **历史分析视角**：阅读 H(<t) ，区分已证伪的干预与未充分测试的想法，提出修正或重试。元智能体综合这些异构提案做出最终决策。实验表明，这打破了单智能体的动作坍缩：在分析子智能体加入后，**修复（Repair）与重监督（Resupervision）**动作占比达 55%，而基线完全局限于**混合（Mixture）**动作；最佳 IFEval 分数提升 **+6.5**。 #### 2.3 合成子智能体（Synthesis Subagent） **解决的问题**：初始数据池 D_0 对某些下游能力覆盖不足或样本过少，仅靠选择与编辑现有行无法弥补能力缺口。 **机制**：合成子智能体根据评测结果识别**供给不足的能力目标**（如“重复提示词且不使用逗号”等可程序化验证的约束组合），为其生成新样本。生成数据必须通过三重门控： 1. **目标验证器**：满足能力约束； 2. **语义审查**：独立模型审核质量与多样性； 3. ** n -gram 去污染**：与评测集重叠检查，防止泄露。通过后进入 D(t+1) ，但是否用于训练仍由元智能体决定。该组件在指令遵循任务上带来 **+3.4 IFEval** 与 **+2.9 IFBench** 的提升，尤其显著改善了对重复、字数统计和逗号避免等稀缺能力的覆盖。 —- ### 3. 确保可归因性的实验协议为了严格证明每个组件的独立贡献，论文采用**逐组件添加（component-wise addition）**的对比协议： - 固定基座模型 M0 、初始池 D_0 、训练脚本、token 预算与评测协议； - **每轮从基座模型重新训练（from-base retraining）**，确保任何性能差异仅来自数据配方的变化，而非之前轮次的参数继承； - 以基准目标分数替代墙钟时间限制，消除智能体通过缩减数据量来节省时间的扭曲激励。 —- ### 4. 跨域泛化验证论文进一步验证该结构无需预设能力分类体系即可迁移。在代码生成（MBPP+）任务上，系统仅从基准与数据池自身构建能力结构。结果显示：**单智能体无持续改进**，而加入分析子智能体后达到 **64.81%**，再加入合成子智能体后达到 **65.78%**，证明多智能体分解与合成机制具有跨域通用性。 —- ### 总结 AutoSFT 的解决逻辑是：**通过执行隔离释放决策上下文，通过多视角分析拓宽数据动作空间，通过定向合成填补能力缺口**。实验表明，自动化 SFT 数据研究的瓶颈不在于某个单一动作的强度，而在于系统结构是否允许智能体覆盖数据工程师所使用的**全范围操作**。 Q4: 论文做了哪些实验？论文的实验围绕**逐组件消融（component-wise ablation）**与**跨域迁移**展开，所有对比均在固定基座模型、固定训练脚本与固定预算的前提下进行，且每轮从基座重新训练（from-base retraining），以确保任何性能差异可归因于所添加的组件。具体实验如下： —- ### 1. 先导实验：单智能体诊断（Section 3）为探明单一智能体在完整 SFT 数据研究循环中的失效模式，论文首先复现并修正了 PostTrainBench 的开放设定，对 **Qwen3-1.7B-Base** 运行 33 轮单智能体循环（数据集为 argilla/ifeval-like-data，评测于 IFEval 与 IFBench）。 - **发现 1（动作坍缩）**：全部 33 轮均停留在 **Mixture** 动作族（调整类别比例），从未执行修复、替换或合成。 - **发现 2（上下文挤压）**：上下文窗口在 11.5 小时内被压缩 **10 次**；训练输出（13.4%）、重复读取运行记录（11.8%）与评测输出（8.9%）等执行日志占满窗口。 - **发现 3（时间预算扭曲）**：在 10 小时墙钟限制下，每轮训练数据量从峰值 264k 行持续萎缩至 69k 行（26%），智能体以缩减数据为代价换取更多提交轮次，而非优化数据质量。该实验为后续多智能体结构提供了设计依据。 —- ### 2. 执行子智能体消融（Section 5.1） **对比配置**：单智能体（Base） vs. 单智能体 + Executor（Base w/ Executor）。 - **设置**：两者共享相同上下文窗口与基座检查点，运行相同时间（约 11.5 小时）。 - **观测指标**：元智能体上下文压缩次数与事件构成。 - **结果**： - 上下文压缩次数从 **10 次降至 5 次**（减半）。 - 元智能体记录事件中，Shell 命令占比从 **58% 降至 29%**；状态轮询命令（占基线 23%）被移出元智能体上下文。 - 元智能体得以重建包含**数据分析**而非命令输出的上下文。 —- ### 3. 分析子智能体消融（Section 5.2） **对比配置**：单智能体（Base） vs. 单智能体 + 4 个分析子智能体（Base + Analysis）。 - **设置**：从相同基座检查点出发，每轮 3 epoch、3M token 预算，评测于 IFEval（avg@10）。基线运行 50 轮，分析配置运行 30 轮，时间预算相同。 - **结果**： - **分数**：分析配置在第 6 轮即达到 **63.33**，超过基线 50 轮内的最佳值（62.35）；第 30 轮达到 **67.10**，相对基线最佳（60.60 于前 30 轮；62.35 于全部 50 轮）提升 **+6.50**（等轮次）或 **+4.75**（基线多给 20 轮）。 - **动作空间**：分析配置解锁了 **Repair** 与 **Resupervision**，二者占全部动作的 **55%**；基线 100% 集中于 Mixture。分析配置中，基于验证结果的剪枝（Pruning）在 41.7% 的使用次数中创下新高，编辑指令与回答（Repair）在 42.9% 的使用次数中创下新高（见附录 Table 4）。 - **案例**（附录 C.1）：针对严格重复（strict repetition）错误，分析配置通过多样化提示模板将准确率提升 **+34.76** 点，而基线仅通过增加同模板曝光提升 **+1.22** 点。 —- ### 4. 合成子智能体消融（Section 5.3） **对比配置**：可选池 + 编辑（Base） vs. 可选池 + 编辑 + 合成子智能体（Base + Synthesis）。 - **设置**：100M token 预算（含生成行），每轮 3 epoch，评测于 IFEval 与 IFBench（avg@10）。预算增大以确保池大小不再受限于选择 alone。 - **结果**： - **IFEval**：合成配置最佳达 **81.58**，基线为 **78.15**（+3.4）。 - **IFBench**：合成配置最佳达 **51.95**，基线为 **49.02**（+2.9）。 - **能力级诊断**（附录 C.2）： - `repeat_prompt` 能力在前 8 轮严格通过率约 40%，第 9 轮注入合成数据后跃升至 **75.6%**，后续维持 62%–80%。 - `odd_even_syllables` 能力在 3 轮针对性合成后仍保持 0%，表明供给增加无法教会模型尚未能掌握的能力。 - **逐能力对比**（Figure 16）：在合成子智能体针对的能力中，多数在合成配置下表现更高，优势最显著的是重复、句子与单词计数、逗号避免等约束。 —- ### 5. 代码域泛化实验（Section 5.4） **对比配置**：Base vs. Base + Analysis vs. Base + Analysis + Synthesis。 - **设置**：迁移至 **MBPP+** 代码生成任务，基座仍为 Qwen3-1.7B-Base。数据池为 742,842 条 Python 指令–代码对（OPC-SFT-Stage2、KodCode、Magicoder）。每轮 3 epoch、100M token 预算、序列长度 8,192，评测采用 avg@3。 - **结果**（Figure 9 右）： - **Base（单智能体）**：15 轮内无持续提升。 - **Base + Analysis**：15 轮内持续上升，第 13 轮达 **64.81%**。 - **Base + Analysis + Synthesis**：6 轮内达 **65.78%**，以更少轮次达到更高峰值。 - **意义**：证明该多智能体结构无需预设能力分类体系（IFEval/IFBench 自带约束类型，而 MBPP+ 无此结构），系统可仅从基准与池中自行构建能力结构并生效。 —- ### 6. 实验设置与资源（Appendix D） - **训练**：Megatron-LM，8× NVIDIA H800，全局 batch size 16，学习率 10^(-4) to 10^(-7) （cosine decay），5% warmup。 - **评测**：OpenCompass + vLLM，温度 0.7。 - **智能体**：研究智能体使用 GPT-5.5（medium reasoning effort），合成后台使用 DeepSeek V4 Flash。 - **成本估算**：以 100M token 预算的合成为例，每轮约 0.8 GPU 小时（训练）+ 0.15 GPU 小时（评测），API 费用约 95 USD/轮；20 轮运行约 130 GPU 小时与 1,900 USD。全部论文实验总计约 10^3 GPU 小时与 10^4 USD 量级。 —- ### 总结实验通过**先诊断单智能体失效模式，再逐组件验证多智能体结构，最后跨域验证通用性**的三层设计，表明：执行隔离可减少上下文丢失，多角度分析可拓宽数据动作空间并提升早期性能，定向合成可覆盖数据池缺失的能力；三者结合，且仅在结构上覆盖完整的数据工程师操作空间，才是自动化 SFT 数据研究的关键。 Q5: 有什么可以进一步探索的点？基于论文的局限性与多智能体数据研究的开放空间，可从以下方向进一步探索： ### 1. 模型规模与能力边界的扩展论文所有实验均在 **Qwen3-1.7B-Base** 上完成。一个直接的延伸是验证 AutoSFT 的结构是否随模型规模缩放： - 在 **7B、14B 乃至更大基座**上，单智能体是否仍坍缩于单一动作族？多智能体分解带来的增益是否增强或减弱？ - 论文发现合成子智能体对 `odd_even_syllables` 等能力无效，暗示存在**模型能力边界**。更大模型可能解锁这些能力，从而改变合成策略的收益分布。可系统刻画“数据供给不足”与“模型能力未达”的边界。 ### 2. 搜索方差与多次独立运行的统计可靠性论文指出，每个配置仅运行**一次搜索**，重复评估仅降低单检查点的噪声，未约束独立搜索间的差异。未来应： - 对同一配置运行多次独立搜索，报告均值与标准差，以确认各组件增益的统计显著性； - 分析不同随机种子下智能体探索路径的多样性，以及元智能体的决策稳定性。 ### 3. 跨域泛化的深度与广度当前代码域实验（MBPP+）运行轮次较短（6–15 轮），且仅覆盖单一领域。可进一步验证： - **数学推理**（如 GSM8K、MATH）或**科学问答**等需要复杂能力分解的领域； - **多模态 SFT**（视觉-语言指令跟随），其中能力分类体系更复杂，合成与分析的协同可能呈现不同模式； - 在缺乏显式约束类型的领域（如开放式创意写作），如何自动构建可验证的能力目标。 ### 4. 合成子智能体的课程化与分解策略论文观察到，合成对模型**已能学习但数据稀缺**的能力有效，对**尚未掌握**的能力无效。未来可探索： - **课程式合成**：将高难度能力（如 `odd_even_syllables`）分解为更简单的子能力，先合成子能力数据，再逐步组合； - **响应分解**：不仅生成新指令，而是生成带有中间推理步骤的合成数据，降低学习难度； - **合成与选择的动态配比**：研究在训练过程中何时应优先合成新数据、何时应重新选择现有数据的最优策略。 ### 5. 分析子智能体的交互机制与冲突消解当前四个分析子智能体独立提出提案，由元智能体简单权衡。可深入研究： - **子智能体间的显式交互**：让分析子智能体相互审阅提案（如辩论或共识机制），是否能减少冗余提议并发现更深层的数据问题； - **自适应视角选择**：根据当前瓶颈动态增减分析视角（例如，当训练损失剧烈波动时自动加强学习动态分析，当陷入局部最优时加强历史分析）； - **提案的量化聚合**：将多视角提案形式化为多目标优化问题，而非依赖元智能体的启发式选择。 ### 6. 与强化学习（RL）或偏好优化的联合自动化论文聚焦于 SFT 阶段的数据研究。后续训练阶段（如 RLHF、DPO、在线 RL）的数据形式与优化目标不同： - 能否将 AutoSFT 的循环扩展至**偏好数据**的自动构造与筛选？例如，自动识别模型易产生分歧的指令并生成对比对； - 在**迭代式 RL** 中，将执行子智能体扩展为管理奖励模型训练、策略更新与评估的完整管线； - 研究 SFT 数据优化与后续 RL 阶段的**联合搜索**，而非分阶段孤立优化。 ### 7. 记忆与上下文架构的长期优化尽管执行子智能体缓解了上下文压力，元智能体仍需在 30–50 轮内维护研究历史 H(<t) 。可探索： - **分层记忆**：将早期轮次的细节压缩为抽象经验（如“增加稀缺约束的曝光通常有效”），仅在需要时检索具体轮次； - **外部知识库**：将验证过的假设与失效的干预存入可查询的结构化数据库，替代长文本历史； - **长上下文模型的影响**：当上下文窗口扩展至百万级 token，执行隔离是否仍必要？上下文与智能体分解的边际收益需重新评估。 ### 8. 成本效益与样本效率的帕累托前沿论文估计完整运行约需 10^3 GPU 小时与 10^4 USD API 费用。实际部署中需权衡： - **早期停止与代理评估**：训练轻量级代理模型（如 0.5B）快速筛选数据提案，仅将 promising 的配方提交至目标模型（1.7B 或更大）验证； - **合成数据生成的预算分配**：如何根据能力目标的预期信息增益，动态分配合成 token 的生成预算； - **计算与 API 成本的联合优化**：将总成本纳入元智能体的决策目标，而非仅优化下游基准分数。 ### 9. 数据动作空间的扩展与形式化论文定义了六种数据动作族，但仍存在未覆盖的操作： - **动态课程与排序**：SFT 通常固定随机打乱，若允许智能体设计训练顺序（课程学习），需引入时序动作； - **多轮对话与上下文构造**：针对对话数据，动作空间需扩展至对话历史编辑、角色一致性维护等； - **数据动作的形式化语言**：将自由文本的 recipe 转化为带约束的 DSL（领域特定语言），使搜索空间更结构化、可验证。 ### 10. 防止过拟合与评测泄露的更强保障论文已采用 n -gram 去污染，但自动化系统天然存在针对目标基准优化的风险： - 引入**保留测试集（held-out test set）**与**分布外评测**，监控自动化循环是否仅过拟合于公开榜单； - 开发**可验证的泛化度量**：不仅报告 IFEval/IFBench 分数，还报告与目标能力相关但形式不同的替代评测，作为数据质量的真正代理。 Q6: 总结一下论文的主要内容该论文研究了如何自动化监督微调（SFT）阶段的数据研究，核心发现是：**瓶颈不在于单一数据操作的强度，而在于系统结构是否允许智能体覆盖人类数据工程师使用的完整操作空间**。 ### 1. 研究动机与问题现有自动化后训练系统通常只赋予智能体一种数据控制权（如从固定池中选择样本或调用生成器）。然而，经验丰富的数据工程师会执行六种核心操作：调整类别比例（Mixture）、修剪样本（Pruning）、修复错误（Repair）、替换回答（Resupervision）、合成新数据（Synthesis）和调整训练顺序（Ordering）。论文通过先导实验发现，当**单一智能体**拥有完整SFT研究循环时，会出现三种结构性失效： - **动作坍缩**：33轮运行全部局限于调整类别比例（Mixture），从未执行修复、替换或合成； - **上下文挤压**：训练日志、状态轮询和评测输出占满智能体的上下文窗口，研究历史在11.5小时内被压缩丢弃达10次； - **时间预算扭曲**：在墙钟限制下，智能体逐轮缩减训练数据量（从264k行降至69k行），以换取更多提交轮次，而非优化数据质量。 ### 2. AutoSFT方案为此，论文提出 **AutoSFT**，一个多智能体研究系统，其元智能体（Meta Agent）将每轮工作委托给三类子智能体： - **执行子智能体（Executor）**：在独立会话中负责训练提交、监控、检查点转换与评测，仅向元智能体返回产物路径与简短状态报告。此举将元智能体的上下文压缩频率减半，使其得以聚焦数据分析而非命令输出。 - **分析子智能体（Analysis）**：四个独立子智能体分别从**训练数据质量、失败案例模式、学习动态信号、研究历史经验**四个互补角度审视同一轮结果，各提出一个可执行的数据修改提案。元智能体综合这些异构视角做出最终决策。 - **合成子智能体（Synthesis）**：针对数据池供给不足的能力目标（如特定可验证约束组合），生成新样本并通过验证器、语义审查与 n -gram去污染三重门控后纳入候选池。整个循环每轮均从基座模型 M_0 重新训练，固定训练脚本、token预算与评测协议，确保任何性能差异均可归因于数据策略本身。 ### 3. 实验验证论文通过逐组件消融实验验证了每个模块的独立贡献： - **执行隔离**：元智能体上下文压缩次数从10次降至5次，Shell命令占比从58%降至29%。 - **分析子智能体**：在IFEval上，最佳分数相对基线提升 **+6.5**，且显著拓宽了动作空间——修复与重监督动作占总动作的55%，而单智能体基线100%集中于调整比例。 - **合成子智能体**：在100M token预算下，将最佳IFEval从78.15提升至 **81.58**（+3.4），IFBench从49.02提升至 **51.95**（+2.9），尤其改善了对重复、字数统计等稀缺能力的覆盖。 - **代码域泛化**：在MBPP+代码生成任务上，单智能体无持续提升；加入分析后达64.81%；再加入合成后达 **65.78%**。证明该结构无需预设能力分类体系即可跨域生效。 ### 4. 结论与贡献论文的主要贡献包括： 1. 首次将自动化SFT数据研究框架化为覆盖六种数据工程动作的空间，并实证单智能体循环只能达到其中一种； 2. 设计了AutoSFT多智能体架构，通过执行隔离、多角度分析与定向合成，系统性地覆盖完整动作空间； 3. 通过严格的逐组件、from-base对比，量化证明结构分解对自动化数据研究的关键作用。论文结论指出，自动化SFT数据研究的成功**依赖于系统结构能否支撑多样化的数据操作，而非单一动作的局部强化**。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Bingxiang He,Pengqi Sun,Shihao Peng,Shaoxuan Li,Huiyu Xiao,Hongjian Shi,Zixuan Fu,Ziqing Qiao,Yuxin Zuo,Cheng Qian,Xinqiang Yu,Jiayi Li,Xiusi Chen,Yizhen Song,Xiangyang Wang,Iofai Lei,Yudong Wang,Ning Ding,Zhiyuan Liu,Xiaozhi Wang,Chaojun Xiao

Categories:

PDF URL: https://arxiv.org/pdf/2610.22194.pdf

Arxiv URL: https://arxiv.org/abs/2610.22194

Arxiv ID: 2610.22194

CoolPaper URL: https://papers.cool/arxiv/2610.22194

Published: 2026-10-17T01:32:24.211Z

Updated: 2026-10-17T01:32:24.211Z

19. DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

Abstract:We propose DeltaStreamer, a novel agentic framework for streaming video understanding inspired by how humans observe, remember, and investigate. Streaming video understanding requires a system to retain evidence before knowing which details future queries will need. Existing approaches often obscure event transitions and omit relevant details when compressing video history, and cannot recover missing visual evidence. DeltaStreamer addresses these limitations by combining change-aware memory with query-driven planning and targeted evidence gathering with replay. Before a query arrives, it continuously observes the stream and explicitly records visual changes in structured memory, preserving how events unfold rather than only what is present. When a query arrives, a query-driven planner identifies the required evidence and guides memory retrieval and targeted replay. By revisiting historical frames, the agent can recover visual details omitted during observation and ground its answer in evidence beyond the retained descriptions. This connects continuous observation with active investigation tailored to each question. Experiments on OVO-Bench and StreamingBench demonstrate improvements over representative streaming video understanding methods, with overall scores of 66.07% and 59.53%, respectively. Project page: this https URL

中文摘要

摘要：我们提出了DeltaStreamer，一种新颖的自主框架，用于流视频理解，其灵感来源于人类的观察、记忆和调查方式。流视频理解要求系统在知道未来查询需要哪些细节之前就保留证据。现有方法在压缩视频历史时往往会模糊事件的过渡，并遗漏相关细节，而且无法恢复缺失的视觉证据。DeltaStreamer通过将变化感知记忆与查询驱动的规划以及有针对性的证据收集和回放相结合，解决了这些限制。在查询到达之前，它持续观察视频流，并在结构化记忆中明确记录视觉变化，保留事件的展开过程，而不仅仅是当前所见。当查询到达时，查询驱动的规划器会识别所需证据，并指导记忆检索和有针对性的回放。通过重访历史帧，代理可以恢复在观察期间被遗漏的视觉细节，并将其答案建立在超越已保留描述的证据基础上。这将持续观察与针对每个问题的主动调查联系起来。在OVO-Bench和StreamingBench上的实验表明，该方法相较于代表性的流视频理解方法有所改进，总体得分分别为66.07%和59.53%。项目页面：这个https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.19849 (HTTP 429)

Authors: Boyuan Sun,Deshui Miao,Wenzhao Gao,Shaoyong Jia,Shaohui Jiao,Chi Liu,Yan Shu,Derek Li,Bryan Dai,Shengsheng Qian,Qibin Hou

Categories:

PDF URL: https://arxiv.org/pdf/2610.19849.pdf

Arxiv URL: https://arxiv.org/abs/2610.19849

Arxiv ID: 2610.19849

CoolPaper URL: https://papers.cool/arxiv/2610.19849

Published: 2026-10-17T01:32:26.021Z

Updated: 2026-10-17T01:32:26.021Z

20. Orbia: Do Generated Videos Form a Consistent 3D World?

Abstract:Video generators serve as interactive worlds for exploration and simulation, yet realistic and visually appealing frames do not necessarily depict a consistent 3D world. Existing benchmarks assess selected geometric properties or use vision-language models to judge memory and consistency, leaving systematic 3D evaluation underexplored. We introduce Orbia, the first benchmark dedicated to a systematic and comprehensive evaluation of 3D consistency in interactive world models. Through controlled exploration and revisit, we organize the evaluation into three dimensions: input preservation, generated-content persistence, and 3D self-consistency. For input preservation, registered RGB-D references and annotated anchors support appearance, geometry, and spatial stability measurements. For generated-content persistence, we compare revisits to regions absent from the input image with their first generated observations to test whether models preserve what they create. For 3D self-consistency, cross-view depth and feature correspondence, regional scale agreement, and held-out Gaussian rendering test whether generated views describe the same 3D scene. Minute-long exploration and revisits further test long-term consistency. Our construction and annotation pipeline brings together public datasets, self-captured scenes, and simulation, yielding 720 instances across indoor and outdoor environments and six exploration-and-revisit protocols. Evaluation spans 27 text-, action-, and camera-conditioned models through native-interface adapters. Our Orbia benchmark provides a systematic basis for diagnosing 3D inconsistency and developing more persistent video world models.

中文摘要

摘要：视频生成器作为互动世界用于探索和模拟，但逼真且视觉上吸引人的帧并不一定描绘一致的三维世界。现有基准测试评估选定的几何属性或使用视觉-语言模型判断记忆和一致性，系统的三维评估尚未充分探讨。我们引入 Orbia，这是第一个专注于互动世界模型中三维一致性系统性和全面评估的基准。通过受控探索和重访，我们将评估分为三个维度：输入保持、生成内容持久性和三维自一致性。在输入保持方面，注册的 RGB-D 参考和标注的锚点支持外观、几何和空间稳定性测量。在生成内容持久性方面，我们将重访输入图像中缺失的区域与首次生成的观察进行比较，以测试模型是否保持其生成的内容。在三维自一致性方面，跨视角深度和特征对应、区域尺度一致性以及保留高斯渲染测试，判断生成的视图是否描述相同的三维场景。分钟级的探索和重访进一步测试长期一致性。我们的构建和标注流程整合了公共数据集、自行拍摄的场景以及模拟，生成了覆盖室内和室外环境及六种探索与重访协议的 720 个实例。评估涵盖 27 个文本、动作和摄像机条件的模型，通过原生接口适配器进行。我们的 Orbia 基准为诊断三维不一致性和开发更持久的视频世界模型提供了系统基础。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20693 (HTTP 429)

Authors: Dongyue Lu,Guian Fang,Hur Lim,Yonggang Wu,Yanrong Wang,Hongshan Chen,Shengju Qian,Yue Liao,Wei Chow,Lingdong Kong,Tianxin Huang,Yu Yang,Hongji Yang,Junchao Huang,Ao Liang,Yihao Wang,Zihan Wang,Rong Li,Hanlin Chen,Xin Wang,Wei Tsang Ooi,Mike Zheng Shou,Shuicheng Yan

Categories:

PDF URL: https://arxiv.org/pdf/2610.20693.pdf

Arxiv URL: https://arxiv.org/abs/2610.20693

Arxiv ID: 2610.20693

CoolPaper URL: https://papers.cool/arxiv/2610.20693

Published: 2026-10-17T01:32:26.799Z

Updated: 2026-10-17T01:32:26.799Z

HuggingFace Papers 2026-10-17

Latest Papers

1. OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

2. Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

2. 两段连续教师偏移的计算 利用三个冻结教师——RL 前的 Initial（ π_0 ）、中间 Waypoint（ π_m ）与 RL 后的 Final（ π_1 ）——分别对 K_t 中候选评分，得到两段连续偏移：

3. OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

4. FDE-Gym: The Last Mile of AI Delivery

5. RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

2.2 自动化任务构建 - **三维对象生成**：从开源二维矢量图标出发，将平面点集在球面约束下对称拉伸为三维体积：

6. Self-Evolving Agent Harness

7. MJev-Spatial: System One Spatial Intelligence via Native Attention Matching

8. Learning Where to Split: Dynamic Band Splitting for Audio Source Separation

9. InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any Views

10. 3DCodeVerse: Exploring 3D Worlds as Code

11. MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

12. SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation

13. Speculative Forcing for Efficient Autoregressive Video Generation

14. VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models

15. CommerceGen-Studio: An End-to-End Framework for Commercial-Grade Main-Image Generation

渐进式训练策略（RDR） 生成模型采用 **Reinforce-Distill-Reinforce (RDR)** 三阶段渐进训练： - **Phase I：专家对齐与能力整合** 基于 DiffusionNFT 训练两位 LoRA 专家教师（复杂布局 / 主体保持），奖励为三维指标的几何均值减去 OCR 惩罚：

16. Mosaic: Multi-Session Agentic Reinforcement Learning

17. Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation

18. AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning

19. DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

20. Orbia: Do Generated Videos Form a Consistent 3D World?

2. 两段连续教师偏移的计算利用三个冻结教师——RL 前的 Initial（ π_0 ）、中间 Waypoint（ π_m ）与 RL 后的 Final（ π_1 ）——分别对 K_t 中候选评分，得到两段连续偏移：

2.2 自动化任务构建 - 三维对象生成：从开源二维矢量图标出发，将平面点集在球面约束下对称拉伸为三维体积：

渐进式训练策略（RDR）生成模型采用 Reinforce-Distill-Reinforce (RDR) 三阶段渐进训练： - Phase I：专家对齐与能力整合基于 DiffusionNFT 训练两位 LoRA 专家教师（复杂布局 / 主体保持），奖励为三维指标的几何均值减去 OCR 惩罚：