HuggingFace Papers 2026-11-03

数据来源：HuggingFace Papers

Latest Papers

1. Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement

Abstract:Video generation is shifting from end-to-end synthesis toward agentic generation, where planning, tool use, and feedback enable coherent, controllable multi-shot videos. In parallel, video world models provide action-conditioned observations and predicted futures, serving as interactive environments for agents. We study their intersection through the agent harness: an executable runtime that constructs context, exposes tools, maintains state, routes feedback, and manages budgets around video models. This report examines three directions. First, agentic video generation, where harnesses coordinate scripting, shot planning, asset management, production, and editing, alongside the evaluation challenges of these systems. Second, agentic world modeling, where harnesses mediate observation, control, execution, and state. We discuss hybrid designs in which game engines or agent-written programs maintain world state while video models render observations, and how agents and world models can mutually evaluate and improve one another. Third, recursive self-improvement (RSI) in video model development, distinguishing output revisions, updates to harness state, generator parameters, and evaluators, and changes to the improvement procedure itself. We identify how these improvements feed back into subsequent development. Across these directions, we analyze essential agent capabilities, including audiovisual perception, long-horizon planning, memory, code-based interaction, feedback-guided control, skill reuse, and multi-agent coordination. We conclude with challenges in autonomous video production, lifelong memory, programmable hybrid control, autonomous model development, provenance, cost accounting, and evaluation linking video quality and task performance to sustained improvements in models and harnesses.

中文摘要

摘要：视频生成正从端到端合成转向具代理性的生成，其中规划、工具使用和反馈能够实现连贯且可控的多镜头视频。与此同时，视频世界模型提供基于动作的观测和预测未来，作为代理的交互环境。我们通过代理工具链研究它们的交集：一个可执行的运行时环境，它构建上下文、暴露工具、维护状态、传递反馈并管理视频模型周围的预算。本报告探讨三个方向。首先，具代理性的视频生成，其中工具链协调剧本编写、镜头规划、素材管理、制作和编辑，同时讨论这些系统的评估挑战。其次，具代理性的世界建模，其中工具链调解观测、控制、执行和状态。我们讨论混合设计，其中游戏引擎或代理编写的程序维护世界状态，而视频模型渲染观测，并分析代理与世界模型如何相互评估和改进。第三，视频模型开发中的递归自我改进（RSI），区分输出修订、工具链状态更新、生成器参数和评估器的调整，以及改进流程本身的变化。我们识别这些改进如何反馈到后续开发中。在这些方向中，我们分析了关键的代理能力，包括视听感知、长远规划、记忆、基于代码的交互、反馈引导的控制、技能复用以及多代理协调。最后，我们总结了在自主视频制作、终身记忆、可编程混合控制、自主模型开发、溯源、成本核算以及将视频质量和任务性能与模型及工具链的持续改进关联起来的评估方面的挑战。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图系统性地解决\*\*视频生成如何从被动的端到端合成，演进为主动的、由智能体（Agent）驱动的可控生成与持续交互\*\*这一核心问题。具体而言，其聚焦于通过构建和优化 \*\*Agent Harness\*\*（围绕视频模型的可执行运行时），将视频生成能力组织为能够规划、调用工具、利用反馈并维持状态的目标导向系统。论文围绕以下三个相互关联的方向展开，每个方向均对应一组亟待解决的关键问题： ### 1. 智能体视频生成（Agentic Video Generation）传统视频生成器仅执行单次条件合成，缺乏对复杂创作任务的统筹能力。该方向试图解决： - \*\*如何将创意简报转化为可执行的多镜头生产流程\*\*，包括剧本与镜头规划、资产管理、镜头制作及后期编辑的协调； - \*\*如何在跨镜头、跨场景的长期生成中维持身份一致性、时空连贯性与叙事状态\*\*； - \*\*如何设计反馈机制\*\*，使系统能够基于中间结果的缺陷（如视觉瑕疵、时序不一致）进行诊断、局部修复或重新生成，而非仅依赖单一质量分数。 ### 2. 智能体世界建模（Agentic World Modeling）视频世界模型不仅用于合成内容，还可作为交互式环境。该方向试图解决： - \*\*如何将视频生成模型扩展为支持持续交互的世界模型\*\*，使其能够基于动作条件（如键盘输入、相机轨迹、机器人指令）预测未来观测并维持交互后果； - \*\*如何通过 Harness 介导观察、控制、执行与状态管理\*\*，确保长期交互中的状态连续性、控制保真度与因果一致性； - \*\*如何设计“显式世界状态 + 生成式渲染”的混合架构\*\*（例如由游戏引擎或代码程序维护世界状态，视频模型负责视觉渲染），以克服纯神经网络模型在状态持久化和规则执行上的局限。 ### 3. 视频生成中的递归自我改进（Recursive Self-Improvement, RSI）该方向试图超越对单次输出的修复，解决： - \*\*如何将生成与交互过程中积累的经验（如失败案例、用户反馈、交互轨迹）持续反哺到视频生成能力与 Harness 本身的改进中\*\*； - \*\*如何区分并协调对当前输出的修订、对 Harness 状态/生成器参数/评估器的更新，以及对未来改进流程（Procedure）本身的修改\*\*； - \*\*如何建立可独立评估的改进闭环\*\*，验证对开发流程的修改确实使后续轮次的模型开发更有效，而非仅仅是迭代优化。 ### 贯穿始终的基础挑战为实现上述目标，论文进一步识别了视频领域对智能体设计提出的独特要求，包括： - \*\*多模态感知\*\*：处理文本、图像、视频与音频的跨模态理解； - \*\*长程记忆与管理\*\*：在长时间跨度内维护角色身份、场景状态与历史经验； - \*\*混合交互控制\*\*：通过代码、GUI 或显式程序接口精确操控生成过程； - \*\*多智能体协作\*\*：在复杂生产流程中实现任务分工、共享状态与协同决策。简言之，该论文旨在建立一个以 \*\*Agent Harness\*\* 为中心的统一框架，将视频生成模型从“静态合成工具”转变为“可交互、可规划、可自我改进的智能体核心”，从而应对长视频生产、持续世界交互与自主模型演进中的系统性挑战。 Q2: 有哪些相关研究？根据论文内容，相关研究围绕 \*\*视频生成基础模型\*\*、\*\*智能体视频生成（Agentic Video Generation）\*\*、\*\*智能体世界建模（Agentic World Modeling）\*\*、\*\*递归自我改进（RSI）\*\* 以及 \*\*智能体系统设计\*\* 五个层面展开。以下是按主题分类的代表性研究： --- ### 1. 基础视频生成模型为智能体系统提供底层合成能力的研究，涵盖扩散模型、流匹配与自回归架构： - \*\*扩散/流匹配模型\*\*：Stable Video Diffusion、CogVideoX、HunyuanVideo、Wan、Sora、Open-Sora、VideoCrafter2、Movie Gen、Lumiere - \*\*自回归与流式生成\*\*：Phenaki、VideoPoet、Self Forcing、CausVid、Causal Forcing、AnyFlow - \*\*世界模型基座\*\*：Genie、GameNGen、Cosmos、AdaWorld、ABot-World-0、Matrix-Game 2.0 --- ### 2. 智能体视频生成（Agentic Video Generation）研究如何将创意工作流分解为可执行、可反馈、可复用的智能体决策循环。 #### 脚本与镜头规划 - \*\*全局叙事规划\*\*：MovieAgent、MAViS、Co-Director、ScriptAgent、One Sentence, One Drama - \*\*任务与镜头分解\*\*：AniMaker、FilMaster、FRAMEWORKERS、VideoDirectorGPT - \*\*相机与舞台设计\*\*：FilmAgent、Mind-of-Director、Camera Artist、CamPilot、DramaDirector #### 资产管理与一致性 - \*\*身份与状态保持\*\*：AniME、MUSE、ViMax、AgentMV、MVAgent、GroundShot、StoryMem、Memento - \*\*跨镜头引用机制\*\*：Long Context Tuning、HoloCine、CANVAS、EvoState #### 镜头制作 Q3: 论文如何解决这个问题？该论文通过提出一个以 \*\*Agent Harness（智能体 harness）\*\* 为中心的统一框架，将视频生成从被动的端到端合成转变为主动的、可反馈的、可持续改进的智能体系统。具体解决方案围绕以下五个层面展开： --- ### 1. 形式化 Agent Harness 的执行抽象论文将 harness 定义为围绕视频生成模型的可执行运行时，负责构建上下文、暴露工具接口、调度操作、维护状态、路由反馈并强制执行预算与终止规则。其功能被形式化为：

H = (O, C, T, X, M, F, R)
其中各组件分别对应观察、上下文构建、工具集、动作执行、记忆与状态更新、反馈生成以及可执行性约束。单个决策循环被严格表述为：
ot &= O_H(g, s_t), quad c_t = C_H(g, o_t, s_t), A_t &= R_H(g, s_t; T), quad a_t sim πφ(· mid ct, A_t), y_t &sim X_H(· mid s_t, a_t; T), quad f_t = F_H(g, s_t, a_t, y_t), s(t+1) &= M_H(s_t, a_t, y_t, f_t).
该抽象将“控制器决策”与“harness 执行”解耦，使视频生成中的规划、工具调用、状态持久化和反馈处理成为可独立设计、评估和优化的模块。 —- ### 2. 在三大场景中差异化部署 Harness 介入论文将 harness 应用于三个不同对象，形成差异化的控制策略： | 应用场景 | Harness 管理的状态 q_t | 核心介入方式 | |—-|—-|—-| | **智能体视频生成** | 创意项目（剧本、镜头计划、资产、候选片段） | 协调剧本分解、资产引用、镜头生成与编辑，支持基于视觉反馈的局部修复与版本控制 | | **智能体世界建模** | 交互式环境的观测历史与场景状态 | 介导动作条件、事件组织、执行时序与记忆检索，将视频模型转化为可交互环境 | | **递归自我改进 (RSI)** | 开发任务（数据、监督信号、检查点、评估记录） | 管理数据策划、训练启动、候选验证与更新选择，并允许修改改进流程本身 | —- ### 3. 显式世界状态 + 生成式渲染的混合架构针对纯神经网络世界模型难以保证状态持久化和规则遵循的问题，论文提出将世界动力学从生成器中剥离： - **显式状态层**：由游戏引擎、物理模拟器或智能体编写的程序维护世界状态与交互规则； - **生成式渲染层**：视频模型仅负责将结构化的代理帧（proxy frames，如低多边形、语义图、G-buffer）渲染为逼真像素。该流程形式化为：

x sim pθ(· mid (c(base), Render(P)), z)
其中 P 为可执行的世界程序。此设计使 harness 能够直接读取和编辑世界状态，在渲染前通过程序验证碰撞、边界与事件逻辑，从而显著提升交互的可靠性与可解释性。 —- ### 4. 分层递归自我改进机制论文将“改进”严格区分为四个层次，避免将单次输出修复误认为系统能力进化： 1. **当前输出修订**：针对单个视频的提示修改、重采样或局部编辑； 2. **Harness 状态更新**：跨任务的上下文、记忆、技能与工具配置持久化（对应 xi_k 中的共享组件）； 3. **生成器与评估器参数更新**：通过数据策划、奖励建模、RLHF/SFT 等方式更新模型权重； 4. **改进流程本身的进化**：修改数据选择、训练验证与更新接受的规则（对应 rho_k ）。递归自我改进被形式化为：

(xi(k+1), rho(k+1)) = U(xi_k, rho_k; L_k, F_k, B_k)
其中 L_k 为收集的执行轨迹， F_k 为开发反馈， B_k 为资源预算。关键要求是：对 rho_k 的修改必须经独立任务验证，证明其使后续改进轮次更有效，而不仅仅是重复固定流水线。 —- ### 5. 视频专用智能体能力体系为支撑上述 harness 框架，论文系统梳理了视频领域对智能体的特殊要求，并映射到具体设计维度： - **全模态感知**：整合文本、图像、视频与音频的跨模态理解，支持时序定位与视听对齐； - **长程记忆管理**：区分项目级上下文（角色身份、场景状态）与跨项目经验（技能、失败模式），并支持带来源追溯的检索与更新； - **长程规划**：将叙事目标分解为场景-镜头-操作层级，处理生成顺序与叙事顺序不一致时的依赖关系； - **混合环境交互**：支持直接模型调用、代码级控制（如 ComfyUI 节点图、Manim/Three.js 程序）以及 GUI 级软件操作； - **反馈引导控制**：建立从评估、故障诊断到局部修复的闭环，明确接受准则与停止条件； - **技能复用**：通过非参数化（提示规则、工作流模板）与参数化（策略学习）方式沉淀生产知识； - **多智能体组织**：基于任务粒度设计固定角色或动态团队，通过共享状态与协作评审实现复杂工作流。 —- ### 总结该论文的解决路径并非提出单一模型，而是通过 **Agent Harness** 这一工程化抽象，将视频生成能力封装为可观察、可控制、可记忆、可改进的智能体系统。其核心创新在于：将 harness 作为统一分析单元，同时覆盖生产（协调复杂创作流程）、交互（维持世界状态）与进化（递归改进开发流程）三大维度，并为每一层提供了形式化定义与评估准则。 Q4: 论文做了哪些实验？该文是一篇**综述与框架性论文（survey and position paper）**，其核心目标并非提出一个全新模型并进行端到端的实验验证，而是系统性地梳理现有研究的实验范式、评估方法与证据边界，并在此基础上提出统一的分析框架。因此，论文本身**未报告新的原始实验**，但对以下三个方向上的关键实验与评估实践进行了深入的归类与批判性分析： —- ### 1. 智能体视频生成（Agentic Video Generation）方向的实验论文回顾了该领域中代表性工作的实验设置与验证方式，重点分析了** harness 介入对生成质量、一致性与效率的影响**： - **VISTA**

3
：通过测试时自改进（test-time self-improvement）进行实验，利用视觉、音频与上下文 critique 对候选视频进行配对比较（pairwise comparison），并迭代修订生成条件。论文分析了其如何区分“计划修订”与“生成条件优化”的实验贡献。 - **VideoGen-Agent**
5
：结合监督轨迹与 GRPO（Group Relative Policy Optimization）训练控制器，实验对比了固定工具基线与学习后策略在多轮工具调用中的生成质量差异。 - **VideoWeaver**
13
：设计了技能进化（skill evolution）实验，验证 evolved composition skills 与 skill creators 在未见类别上的迁移能力，并报告了过程评估（process evaluation）与人工排序（human ranking）相结合的实验协议。 - **DirectorBench**
255
：作为长视频生成诊断基准，实验通过结构化检查点（脚本、视觉、音频、跨模态一致性等）评估 agentic 工作流的失败模式，论文特别指出“单元间过渡”是当前得分最低的环节。 - **AgentMV**
105
：实验在全局生成预算约束下分配资源，评估质量–成本权衡（quality–cost trade-offs）。 —- ### 2. 智能体世界建模（Agentic World Modeling）方向的实验论文分析了世界模型从“被动生成”转向“持续交互”过程中的验证难点，并梳理了相关实验设计： - **PlayWorld**

8
：引入多模态 Agent Players，通过追求长程目标（long-horizon objectives）主动测试世界模型，实验覆盖几何一致性、交互保真度与视野内/外的状态演化。 - **WorldScore**
174
：实验通过“下一场景生成”任务序列，统一评估可控性、质量与动态性。 - **Orbia**
173
：利用受控探索与重访（revisits）分离评估输入保持性、生成内容的持久性，以及不同视角是否对应单一 3D 场景。 - **WorldArena**
176
：在生成世界模型与 RoboTwin 模拟器之间进行配对实验，验证世界模型作为策略评估器的有效性（即策略排名的跨环境一致性）。 - **SCOPE**
154
：实验明确区分了“开发反馈”与“独立保留测试”，在冻结视频世界模型的前提下，验证外部控制策略的自适应优化。 —- ### 3. 递归自我改进（RSI）与 Harness 进化的实验论文强调 RSI 不能仅依赖单次输出修复的证据，而必须验证“改进流程本身是否进化”。为此，它梳理了以下实验范式： - ** harness 进化评估框架**：论文引用了 **Evo-Harness**

282
、**EvoHarnessBench**
283
与 **MetaHarness**
279
等研究，分析了四种评估设定——并行采样（parallel sampling）、序列精炼（sequential refinement）、 harness 进化（harness evolution）与 harness 缩放（harness scaling）——并指出当前视频领域缺乏对 harness 持续演化的系统性实验。 - **JAVEdit**
190
：实验使用智能体诊断数据生成管道的失败，修改代码与配置，并保留经过验证的修复，论文将其视为“对开发流程 rhok 的部分持久化更新”的实例。 - **Video-RSI**
59
（视频理解领域）：作为类比，论文提及该工作通过 harness 进化实现视频理解智能体的递归改进，用以说明视频生成领域尚未达到同等程度的实验验证。 - **评估分离要求**：论文提出，要建立 RSI 的实验证据，必须进行**独立任务验证**——即使用修订后的流程 rho(k+1) 在后续轮次中生产更新，并在与开发集隔离的任务上测量更新质量与成本。 —- ### 4. 论文提出的评估准则（作为实验设计的规范）尽管没有进行新的实验，论文明确提出了未来实验应遵循的**控制与报告标准**： - **效果归因**：比较 harness 改进基线时，必须控制模型版本、工具版本、反馈访问权限与资源预算，区分“额外采样”与“策略改进”的贡献。 - **诊断与修复实验**：应使用共享失败输出或受控故障，固定生成器与工具，报告诊断准确率、修复局部性、正确内容保留率与恢复成本。 - **泛化实验**：在分布内与分布外任务上测试固定 harness 的迁移能力，且测试反馈不得驱动候选选择或持久更新。 - **持续适应实验**：追踪多轮更新后的性能变化，检测对早期任务的能力退化（catastrophic forgetting）。 - **成本全核算**：报告生成、评估、控制器调用与墙钟时间，区分开发成本与后续生产成本。 —- ### 总结该论文**未进行新的原始实验**，而是通过**系统综述与形式化框架**，对智能体视频生成、世界建模与递归自我改进三个方向上的**现有实验证据、评估方法与证据缺口**进行了全面梳理。其“实验”贡献体现在：建立了 harness 中心化的比较视角，明确了不同层级改进（输出修复、状态持久化、流程进化）所需的独立验证标准，并为未来能够支撑 RSI 声明的实验设计提供了规范性准则。 Q5: 有什么可以进一步探索的点？基于论文第7章（Future Work and Challenges）及全篇论述，以下是值得进一步探索的关键研究方向： —- ### 1. 完全端到端的自主视频生产当前系统仍需频繁的人工提示与中间干预。未来需要探索如何使 harness **自主地将初始创意转化为符合商业交付标准的完整影视作品**，涵盖剧本撰写、视听设计、资产生成、镜头制作、编辑合成直至最终交付。关键挑战包括： - 建立基于原始创意意图和预算约束的**可靠接受准则与停止条件**； - 在跨单元（镜头、场景、段落）边界处维持**叙事与视觉连续性**——论文指出 DirectorBench 显示单元间过渡是当前长视频工作流中得分最低的环节； - 实现**故障的自动归因与修复**，将特定失败（如角色身份漂移、物理规则违背）链接到可执行的上游修订（替换引用、重拍镜头、调整剪辑点）而非简单重采样。 —- ### 2. 终身记忆与跨项目经验沉淀现有记忆机制多限于单项目或短程上下文。长期自治要求 harness 区分并维护两类记忆： - **项目级记忆**：角色身份、场景状态、事件历史及已接受版本，需支持动态更新与废弃，防止过时引用污染后续生成； - **可迁移经验**：成功的工具配置、修复策略、生产规则与组合技能，需在跨项目使用时进行独立验证。开放问题包括如何设计**带出处追溯的检索策略**，使智能体能区分“已验证的事实”“假设性推断”与“过时的中间版本”，并在新项目中避免能力退化或冲突身份的传播。 —- ### 3. 混合代码-像素生成（Hybrid Code-Pixel Generation）论文将显式世界状态（引擎/程序维护）与生成式渲染（视频模型负责像素）视为关键架构方向。待探索的具体问题包括： - **可编程脚手架与神经渲染的深度融合**：如何让视频生成器暴露可调用接口（查询状态、更新实体、控制相机、推进模拟），使智能体能够直接通过代码干预世界动力学，而非仅通过文本提示间接影响； - **程序化动力学与学习动力学的统一**：当前系统要么完全依赖引擎规则，要么完全依赖模型隐式动力学。如何在单一环境中**动态切换或混合**这两种机制——例如用代码精确控制刚体碰撞与因果规则，同时用生成模型处理材质、光照、流体等难以程序化表达的细节； - **实时性与覆盖率的权衡**：现有渲染器多针对特定代理表示训练，如何训练**与结构表示解耦的通用渲染器**（如 SolarRenderer 的方向），或利用冻结生成器零样本适应新的代理条件（如 Code Video Model）。 —- ### 4. 自主无人参与的模型开发（Autonomous Human-free Development）迈向递归自我改进（RSI）的核心瓶颈在于从“自动化固定流水线”进化到“改进改进流程本身”。亟需研究的机制包括： - **失败归因与定向监督合成**：利用 agentic 视频生成与世界交互中暴露的失败案例，自动诊断能力缺口，并合成针对性的训练数据（如 EdenLive 从代理视频合成粗到精的训练对）； - **生成式评估器的协同进化**：视频开发严重依赖学习得到的评判模型（reward/critic models），需研究如何**防止评判器过优化**（reward hacking），并协调生成器与评判器的交替更新（如 Dual-IPO 的交替优化框架）； - **流程级 RSI 验证**：建立实验协议以验证对开发过程 rho_k 的修改确实使后续轮次更有效。这要求使用**独立保留任务**（held-out tasks）评估由修订后流程产出的更新质量与成本，而非仅在开发反馈上验证。 —- ### 5. 效率与全成本核算当前研究极少在统一协议下报告完整资源开销。未来需建立**标准化的效率评估框架**： - **生产侧**：核算生成器调用、评判器调用、控制器推理、失败尝试与墙钟时间，区分“最终生成成本”与“总探索成本”； - **开发侧**：追踪数据策划、训练、验证与 harness 更新在多轮改进中的累积开销； - **资源分配策略**：研究如何在有限预算下动态决策——何时接受当前结果、何时局部编辑、何时重新生成或回退到上游计划修订。 —- ### 6. 来源追溯与安全（Provenance and Safety） Agentic 生产链涉及多次工具调用与版本迭代，导致资产的派生历史极度复杂： - **可审计的来源记录**：将 C2PA 内容凭证扩展至 agentic 工作流，为每一次生成、编辑、重拍和合成生成不可篡改的签名记录，覆盖模型配置、提示、引用资产与编辑操作； - **身份资产的权限继承**：当角色引用（如人物肖像）被跨项目复用时，harness 需强制执行同意边界与使用限制，防止通过局部重生成或记忆调用绕过初始约束； - **对抗性安全**：防止通过工具链组合或代码生成环节注入恶意内容，同时确保水印与溯源标记在多次编辑后仍可恢复。 —- ### 7. 新兴任务与综合基准论文指出当前评估多聚焦于孤立视频质量或单一模型能力，缺乏对**完整系统**的端到端测试。亟待建立的新任务与基准包括： - **自动化游戏创建**：不仅生成可玩轨迹，还需自主设计显式规则、持久状态、胜负条件，并验证视觉结果与机制意图的一致性； - **交互式叙事与个性化学习环境**：系统需根据参与者行为实时调整内容，维持跨会话的连贯体验； - **统一 benchmark 要求**：测量系统在显式质量、一致性、可控性与资源约束下可 sustain 的**生成时长与内容复杂度**；对 RSI 系统，还需跨多轮更新追踪能力增益、退化与累积成本，使用独立任务验证改进的持久性。 —- ### 8. 多智能体组织的动态优化当前多智能体系统多采用固定角色或启发式路由。未来可探索： - **任务自适应的团队构成**：根据请求复杂度动态决定智能体数量与专业化分工（而非简单增加代理数量），并量化协作开销与收益； - **潜在空间通信**：如 LatentMAS 与 Vision Wormhole 所探索的，研究在异构多智能体系统中通过潜在表示而非自然语言进行高效状态同步的可行性； - **去中心化评审与决策**：设计具有明确权威边界的协作评审协议，评估不同仲裁机制（独立评审、经理裁决、共识投票）在创意主观性与事实约束性任务中的成本–质量权衡。 Q6: 总结一下论文的主要内容这篇论文系统性地探讨了**视频生成与智能体 Harness（Agent Harness）的深度融合**，提出了一个以 Harness 为中心的统一框架，将视频生成从被动的端到端合成，转变为主动的、可反馈的、可持续进化的智能体系统。以下是论文的主要内容总结： —- ### 1. 核心动机与问题定义视频生成模型虽能产出高质量片段，但无法自主组织完成复杂视频任务所需的决策链条（如多镜头叙事、跨场景一致性维护、交互式环境响应）。论文提出向 **Agentic Video Generation** 转型：视频模型作为合成或预测工具，而围绕它的 **Agent Harness**（可执行运行时）负责构建上下文、暴露工具、维护状态、路由反馈并强制执行预算与权限。核心挑战在于如何使 Harness 协调长期生成、持续交互与自主改进。 —- ### 2. Agent Harness 的形式化框架论文将 Harness 定义为围绕控制器的可执行层，形式化为：

H = (O, C, T, X, M, F, R)
其中 O 为观察、 C 为上下文构建、 T 为工具集、 X 为动作执行、 M 为记忆与状态更新、 F 为反馈、 R 为可执行性与终止约束。单个决策循环被严格表述为：
ot &= O_H(g, s_t), c_t &= C_H(g, o_t, s_t), A_t &= R_H(g, s_t; T), a_t &sim πφ(· mid ct, A_t), y_t &sim X_H(· mid s_t, a_t; T), f_t &= F_H(g, s_t, a_t, y_t), s(t+1) &= MH(s_t, a_t, y_t, f_t).
此处 Harness 状态 s_t = (q_t, m_t, b_t, e_t) 分别跟踪任务与制品、记忆、剩余预算及运行时记录。该抽象将“控制器决策”与“Harness 执行”解耦，使视频生成中的规划、调用、反馈与状态持久化成为可独立设计与评估的模块。 —- ### 3. 三大研究方向 #### 3.1 智能体视频生成（Agentic Video Generation）研究 Harness 如何协调完整的影视生产工作流，涵盖： - **剧本与镜头规划**：将创意简报分解为可执行的镜头列表与任务序列（如 MovieAgent、MAViS、FRAMEWORKERS）； - **资产管理**：维护角色身份、场景引用与跨镜头状态，确保视觉一致性（如 ViMax、GroundShot、MVAgent）； - **镜头制作**：通过模型生成、代码动画或 3D 仿真制作候选镜头，并支持基于反馈的迭代（如 VISTA、VideoGen-Agent）； - **编辑与后期**：在序列级别（剪辑节奏、叙事结构）与帧级别（内容修复、语义编辑）进行可控修改（如 EditDuet、LAVE）； - **水印与溯源**：在多工具链与多版本迭代中维护资产的派生历史（如 VideoShield、C2PA）。 #### 3.2 智能体世界建模（Agentic World Modeling）研究 Harness 如何将视频生成模型转化为可交互的持续环境： - **从生成到交互**：视频世界模型接收动作条件 α_t 并预测未来观测 x(t+1:t+Delta) ，支持实时控制（如 Genie、GameNGen、Matrix-Game 2.0）； - **Harness 介入机制**：通过语义/事件接口（组织高层意图与生成条件）和状态/反馈机制（维护历史约束、处理长期记忆衰减）提升交互可靠性； - **显式世界状态与生成式渲染**：提出混合架构，由程序/引擎维护世界状态与动力学，视频模型仅负责将代理帧（proxy frames）渲染为逼真像素：

x sim pθ(· mid (c(base), Render(P)), z)
其中 P 为可执行世界程序。此设计使 Harness 可直接读取、验证和编辑状态，显著提升控制精度与因果一致性（如 EdenLive、Matrix-Game 4.0、Code World Model）。 #### 3.3 递归自我改进（Recursive Self-Improvement, RSI）研究 Harness 如何驱动视频生成能力的持续进化： - **四层改进区分**：(i) 当前输出修订；(ii) Harness 状态（记忆、技能、规则）持久化更新；(iii) 生成器与评估器参数更新（数据策划、训练、偏好优化）；(iv) **改进流程本身的进化**（修改数据选择、验证与更新规则）； - **RSI 形式化**：将开发过程表示为

(xi(k+1), rho(k+1)) = U(xi_k, rho_k; L_k, F_k, B_k)
其中 xi_k 为持久状态（数据、模型、Harness 组件）， rho_k 为开发流程， L_k 为收集的执行轨迹， F_k 为反馈， B_k 为资源预算。RSI 的核心要求是验证对 rho_k 的修改能否使后续改进轮次更有效，而非仅重复固定流水线。 —- ### 4. 智能体设计的关键维度论文系统梳理了视频领域对智能体的特殊能力要求： - **全模态感知**：跨文本、图像、视频与音频的时序定位与语义关联； - **记忆管理**：区分项目级上下文（角色、场景状态）与跨项目经验（技能、策略），并支持带出处追溯的检索与更新； - **长程规划**：处理叙事顺序与生成顺序不一致的依赖关系，支持分层规划与候选搜索； - **环境交互**：支持直接模型调用、代码级控制（ComfyUI 节点图、Manim/Three.js 程序）及 GUI 级软件操作； - **反馈引导控制**：建立从评估、故障诊断到局部修复的闭环，明确接受准则与停止条件； - **技能复用**：通过提示规则、参数化程序或策略学习沉淀可迁移的生产知识； - **多智能体组织**：基于任务需求设计角色分工、共享状态与协作评审机制。 —- ### 5. 评估与未来挑战论文指出现有评估多聚焦孤立视频质量或单一模型能力，并提出系统级评估应覆盖： - **效果与效率**：在匹配预算下比较 Harness 改进与基线，全量核算生成、评估与控制器调用成本； - **诊断与修复**：验证 Harness 能否准确归因失败并执行局部修正，同时保留正确内容； - **泛化与持续适应**：测试固定 Harness 在新任务上的迁移能力，追踪多轮更新后的能力增益与退化； - **RSI 验证**：使用独立保留任务评估由进化后流程产出的更新，确保持久进步而非过拟合开发反馈。论文最后列出了七大开放挑战：**完全端到端视频生产**、**终身记忆**、**混合代码-像素生成**、**自主无人参与开发**、**效率与全成本核算**、**来源追溯与安全**，以及**面向完整系统的新兴任务基准**（如自动化游戏创建、交互式叙事）。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Liaoyuan Fan,Yuhao Zheng,Dongxing Mao,Hangyu Ran,Siyuan Hu,Weijia Mao,Rui Zhao,Weijia Wu,Guian Fang,Yanzhe Chen,Zeyu Zhu,Yuxin Jiang,Yiren Song,Yuchao Gu,Junchao Yi,Qi Hu,Dan Kong,Alex Jinpeng Wang,Kevin Qinghong Lin,Mike Zheng Shou,Wei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.40191.pdf

Arxiv URL: https://arxiv.org/abs/2610.40191

Arxiv ID: 2610.40191

CoolPaper URL: https://papers.cool/arxiv/2610.40191

Published: 2026-11-03T04:01:27.820Z

Updated: 2026-11-03T04:01:27.820Z

2. From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings

Abstract:Embedding models underpin virtually every modern AI system, from search engines to recommendation systems. Despite shared mathematical foundations, research on embedding models remains fragmented by modality: the communities develop largely in isolation, seldom exchanging insights. We argue that this fragmentation obscures a deeper convergence. Driven by contrastive learning, Transformer architectures, and a granularity shift, embedding research across modalities is converging toward a common set of principles, even as modality-specific challenges remain underexplored. To reason across this convergence without conflating it, we propose a framework of three progressively harder capabilities: coverage, comparability, and compositionality. Three paths toward unification satisfy these in turn: transformation broadens coverage, alignment enables comparability, and joint embedding, the terminus we advocate, aims at compositionality. This position paper traces the resulting evolution, providing the first unified, cross-cutting treatment of omnimodal embedding research.

中文摘要

摘要：嵌入模型几乎支撑着所有现代人工智能系统，从搜索引擎到推荐系统。尽管具有共同的数学基础，关于嵌入模型的研究仍然按模态分散：各个社区在很大程度上孤立发展，很少交流见解。我们认为，这种分散掩盖了更深层的趋同。受对比学习、Transformer 架构和粒度转变的驱动，各模态的嵌入研究正在趋向一套共同的原则，即使特定模态的挑战仍未充分探索。为了在不混淆的情况下推理这种趋同，我们提出了一个包含三种逐步增加难度能力的框架：覆盖性、可比性和组合性。满足这些能力的三条统一路径依次为：转化提高覆盖性，对齐实现可比性，而我们倡导的联合嵌入则旨在实现组合性。本文观点追踪了由此产生的演变，提供了首个跨模态嵌入研究的统一、交叉论述。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00172 (HTTP 429)

Authors: Ziyin Zhang,Yuyu Guo,Ying Zhang,Siqiao Xue,Zihan Liao,Jin Qin,Wenjie Yang,Siyuan Yang,Shijie Li,Cheng Chen,Hao Wu,Zhaoyang Zhu,Ruipeng Li,Zhaokun Jiang,Lei Lei,Rui Wang,Hang Yu,Rui Wang

Categories:

PDF URL: https://arxiv.org/pdf/2611.00172.pdf

Arxiv URL: https://arxiv.org/abs/2611.00172

Arxiv ID: 2611.00172

CoolPaper URL: https://papers.cool/arxiv/2611.00172

Published: 2026-11-03T04:01:27.827Z

Updated: 2026-11-03T04:01:27.827Z

3. Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning

Abstract:Multimodal large language models can recognize visual content yet struggle to reason reliably over it across multiple steps. In counting, a model may see all objects but lose track of which ones it has counted. We argue that such failures, commonly attributed to perception, reveal a reference gap: the failure to bind language to the relevant visual entities, regions, or locations. Motivated by the theory of visual routines, we test whether external references such as numbering can narrow this gap. We introduce ReGap-Bench, a paired benchmark of five visual reasoning tasks in which the scene, question, and answer are fixed and only the reference varies. Results show that task-matched references improve accuracy by up to 25\%, while mismatched references provide little benefit or even hurt performance. These findings identify the reference gap as a bottleneck distinct from visual perception and show that constructing task-appropriate visual references can serve as a training-free visual skill for improving multimodal reasoning.

中文摘要

摘要：多模态大型语言模型可以识别视觉内容，但在跨多个步骤进行可靠推理时仍存在困难。在计数任务中，模型可能看到所有对象，但会丢失已经计数对象的记录。我们认为，这类常被归因于感知的失败，实际上揭示了一个参照空白：语言未能与相关的视觉实体、区域或位置绑定的失败。受视觉程序理论的启发，我们测试了外部参照（如编号）是否能缩小这一空白。我们引入了 ReGap-Bench，一个包含五个视觉推理任务的配对基准，其中场景、问题和答案固定，唯一变化的是参照。结果显示，任务匹配的参照可以将准确率提高最多 25%，而不匹配的参照几乎没有益处，甚至会降低性能。这些发现将参照空白确定为与视觉感知不同的瓶颈，并表明构建适合任务的视觉参照可以作为一种无需训练的视觉技能，用于提升多模态推理能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.39419 (stream has been aborted)

Authors: Guizhen Chen,Weiwen Xu,Wotao Yin,Anh Tuan Luu,Hou Pong Chan

Categories:

PDF URL: https://arxiv.org/pdf/2610.39419.pdf

Arxiv URL: https://arxiv.org/abs/2610.39419

Arxiv ID: 2610.39419

CoolPaper URL: https://papers.cool/arxiv/2610.39419

Published: 2026-11-03T04:01:27.835Z

Updated: 2026-11-03T04:01:27.835Z

4. DecisionRank: On-Policy Distillation for Decision-Model Rerankers

Abstract:Decision models target structured tasks by directly predicting choices or scores, avoiding autoregressive decoding latency. However, transferring a generative LLM’s ranking knowledge to a decision model remains challenging: the teacher expresses preferences through a ranked list of document ID sequences, while the student determines the ranking using scores from the first-token position. To bridge this gap, we introduce DecisionRank, a decision model trained through item-space on-policy distillation (OPD). Item-space OPD constructs the student’s rollout by sorting its document scores into a ranked sequence. A generative teacher takes the resulting ranking list as inputs and provides conditional feedback to directly supervise those scores. Combined with offline ranking supervision, DecisionRank achieves state-of-the-art performance on both general and reasoning-intensive retrieval benchmarks such as TREC DL, BEIR, and BRIGHT. Across four benchmarks, item-space OPD consistently outperforms alternative training objectives. Even at 1.7B parameters, DecisionRank surpasses its 27B generative teacher on TREC DL19—23. At 8B, it outperforms its generative listwise counterpart while running $24.5\times$ faster on TREC DL and $16.7\times$ faster on BRIGHT.

中文摘要

摘要：决策模型通过直接预测选择或评分来处理结构化任务，从而避免自回归解码的延迟。然而，将生成式大语言模型（LLM）的排序知识转移到决策模型仍然具有挑战性：教师通过文档ID序列的排序列表表达偏好，而学生则使用首个标记位置的评分来确定排名。为弥合这一差距，我们提出了DecisionRank，一种通过项目空间在线策略蒸馏（OPD）训练的决策模型。项目空间OPD通过将学生的文档评分排序成一个排名序列来构建学生的展开过程。生成式教师将所得的排名列表作为输入，并提供条件反馈，直接监督这些评分。结合离线排序监督，DecisionRank在包括TREC DL、BEIR和BRIGHT等通用和强调推理的检索基准上实现了最先进的性能。在四个基准测试中，项目空间OPD始终优于其他训练目标。即使在17亿参数下，DecisionRank在TREC DL19—23上也超过了其270亿参数的生成教师。在80亿参数时，它在运行速度上比其生成式列表模型快$24.5 imes$（TREC DL）和$16.7 imes$（BRIGHT），同时性能更优。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.42128 (HTTP 429)

Authors: Yanran Wu,Dian Yu,Chongyang Bai,Jieyi Zhang,Rui Liu,Tianyi Chen,Shike Mei,Hang Cui,Frank Shyu,Sandeep Pandey,Luke Simon,Chunwei Liu,Xi Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.42128.pdf

Arxiv URL: https://arxiv.org/abs/2610.42128

Arxiv ID: 2610.42128

CoolPaper URL: https://papers.cool/arxiv/2610.42128

Published: 2026-11-03T04:01:27.802Z

Updated: 2026-11-03T04:01:27.802Z

5. DeFT-RAG: Decomposing Multi-Hop Questions into Self-Contained Sub-Questions with Reusable Answers

Abstract:Retrieval-augmented generation (RAG) lets a large language model (LLM) answer questions by retrieving relevant passages from a large corpus. However, RAG struggles with multi-hop questions, which require chaining facts spread across several documents through intermediate entities that the question never mentions. Graph-based RAG methods retrieve once from the entities a question names and so rarely recover the full evidence chain. Iterative RAG methods recover it step by step, but their accuracy is limited by the many tasks they ask the LLM to perform, such as planning the sub-questions, deciding their dependencies, rewriting them as answers arrive, and keeping track of what is known. We propose DeFT-RAG, a RAG framework built on three components. First, DeFT-RAG generates one self-contained sub-question at a time from the original question and the sub-questions answered so far with their answers (QA pairs). Each sub-question names every entity it asks about, which removes the need to plan, track dependencies or rewrite, and lets the LLM focus on a single fine-grained task at a time. Second, DeFT-RAG moves the remaining LLM work outside the LLM: rule-based updates to a QA table that keeps track of what is known, and yes/no decisions made by a fine-tuned lightweight decision model. Third, DeFT-RAG caches the QA pairs and reuses an answer when a later question asks a sub-question with the same meaning. On MuSiQue, 2WikiMultiHopQA and HotpotQA, DeFT-RAG achieves the best accuracy among thirteen baselines with both gpt-4o-mini and Qwen3.6 as the backbone, while giving the LLM fewer input tokens than any other iterative method. With a QA cache shared across 1,000 MuSiQue questions, 23.1% of sub-questions are answered from the cache, which reduces LLM calls by 12.9% without lowering accuracy.

中文摘要

摘要：检索增强生成（RAG）使大型语言模型（LLM）能够通过从大型语料库中检索相关段落来回答问题。然而，RAG在处理多跳问题时表现不佳，这类问题需要通过问题中未提及的中间实体，将分散在多个文档中的事实串联起来。基于图的RAG方法只从问题中提及的实体进行一次检索，因此很少能恢复完整的证据链。迭代RAG方法则逐步恢复证据链，但其准确性受限于它们要求LLM执行的许多任务，例如规划子问题、确定它们的依赖关系、在答案到达后重写问题以及跟踪已知信息。我们提出了DeFT-RAG，一个由三个组件构建的RAG框架。首先，DeFT-RAG每次从原始问题以及迄今已回答的子问题及其答案（QA对）生成一个自包含的子问题。每个子问题都会明确提及其询问的所有实体，这消除了规划、跟踪依赖关系或重写的需求，并使LLM能够一次专注于单一的细粒度任务。其次，DeFT-RAG将剩余的LLM工作移出LLM之外：通过基于规则的更新维护一个QA表以跟踪已知信息，以及由微调的轻量决策模型进行的是/否决策。第三，DeFT-RAG缓存QA对，在后续问题询问具有相同含义的子问题时重复使用已有答案。在MuSiQue、2WikiMultiHopQA和HotpotQA数据集上，DeFT-RAG在使用gpt-4o-mini和Qwen3.6作为骨干模型时，在十三个基线方法中取得了最高准确率，同时比任何其他迭代方法使用了更少的LLM输入令牌。在1,000个MuSiQue问题共享的QA缓存中，有23.1%的子问题通过缓存得到答案，从而减少了12.9%的LLM调用次数而不降低准确性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37826 (HTTP 429)

Authors: Dingyi Kang,Bingzhe Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.37826.pdf

Arxiv URL: https://arxiv.org/abs/2610.37826

Arxiv ID: 2610.37826

CoolPaper URL: https://papers.cool/arxiv/2610.37826

Published: 2026-11-03T04:01:27.848Z

Updated: 2026-11-03T04:01:27.848Z

6. MAServeBench: Benchmarking Multi-Agent LLM Serving Systems with Hierarchical Collaboration Workloads

Abstract:Large language model (LLM)-based multi-agent systems (MAS) coordinate specialized agents to solve complex tasks, turning each user request into interdependent model and tool operations. Unlike independent requests, these operations become ready at different times and consume evolving context as agents coordinate and exchange results. This creates changing patterns of concurrency, computation, and memory demand that can expose different bottlenecks in LLM serving hardware. Yet benchmarking these effects requires capturing the collaboration rules that generate serving workloads, beyond the requests observed during execution. We present MAServeBench, a benchmark that treats multi-agent collaboration as a configurable dimension of serving workloads for LLM serving and hardware evaluation. Its composable stages capture how agents coordinate and exchange context in documented MAS workflows, enabling native executions to generate different workloads even when task inputs and tools remain unchanged. Hierarchical Semantic Traces preserve realized operations and dependencies for reproducible fixed-work replay and as inputs to architecture simulators. Task-linked measurements connect these workloads to serving execution and GPU/NPU hardware behavior, revealing why serving efficiency does not always translate into timely task completion. The benchmark code is available at this https URL.

中文摘要

摘要：基于大型语言模型（LLM）的多智能体系统（MAS）协调专门化的智能体来解决复杂任务，将每个用户请求转化为相互依赖的模型和工具操作。与独立请求不同，这些操作在不同时间准备就绪，并在智能体协调和交换结果时消耗不断变化的上下文。这会产生不断变化的并发、计算和内存需求模式，从而可能暴露出LLM服务硬件的不同瓶颈。然而，对这些影响进行基准测试需要捕捉生成服务工作负载的协作规则，而不仅仅是观察执行过程中请求。我们提出了MAServeBench，这是一个将多智能体协作视为LLM服务和硬件评估的服务工作负载可配置维度的基准测试工具。其可组合阶段捕捉了智能体在已记录的MAS工作流中协调和交换上下文的方式，即使任务输入和工具保持不变，本地执行也能生成不同的工作负载。分层语义跟踪保留已实现的操作和依赖关系，以实现可重复的固定工作重放，并作为架构模拟器的输入。任务关联的测量将这些工作负载与服务执行及GPU/NPU硬件行为联系起来，揭示了为何服务效率并不总是转化为及时的任务完成。基准测试代码可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.40293 (HTTP 429)

Authors: Shengxuan Qiu,Haochen Huang,Shuzhang Zhong,Zizhuo Fu,Zebin Yang,Meng Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.40293.pdf

Arxiv URL: https://arxiv.org/abs/2610.40293

Arxiv ID: 2610.40293

CoolPaper URL: https://papers.cool/arxiv/2610.40293

Published: 2026-11-03T04:01:34.548Z

Updated: 2026-11-03T04:01:34.548Z

7. Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer

Abstract:Answer-level rewards cannot distinguish reasoning traces with equally correct outcomes. We study whether auxiliary trajectory preferences improve small-language-model self-improvement and transfer under limited supervision. We compare confidence-based (SC) and entropy-based metrics (UID-Conj.), which combines global entropy variation and local smoothness, through online reward augmentation and offline training on correct responses. Online experiments adapt Qwen3-1.7B on 30 AIME problems without reference answers; offline experiments use historical AIME problems. UID-Conj. improves the online macro-average across the adaptation benchmark and three transfer benchmarks by 2.08 percentage points over unmodified TTRL. The strongest evidence comes from offline weighted SFT: UID-Conj. exceeds uniform weighting on the same response pool by 1.93 points, with a paired prompt-bootstrap 95\% CI of [0.44, 3.44]. Benefits are task-dependent: SC rewards judged trace quality and instruction following, while UID-Conj. rewards yield stronger training outcomes in several settings. We find that auxiliary preferences can expose learning value among equally correct traces not captured during inference time, motivating their evaluation through downstream gains.

中文摘要

摘要：基于答案的奖励无法区分具有同样正确结果的推理轨迹。我们研究了辅助轨迹偏好是否能够在有限监督下改善小型语言模型的自我提升和迁移能力。我们比较了基于置信度（SC）和基于熵（UID-Conj.）的指标，后者结合了全局熵变化和局部平滑性，通过在线奖励增强和离线正确响应训练进行评估。在线实验对 Qwen3-1.7B 在没有参考答案的 30 道 AIME 问题上进行适配；离线实验使用历史 AIME 问题。UID-Conj. 在线宏平均在适配基准任务和三个迁移基准上的表现比未修改的 TTRL 提高了 2.08 个百分点。最有力的证据来自离线加权 SFT：UID-Conj. 在相同响应池上的表现比均匀加权高 1.93 个百分点，配对提示自助法的 95% 置信区间为 [0.44, 3.44]。收益依赖于任务：SC 奖励评估轨迹质量和指令遵循情况，而 UID-Conj. 奖励在若干设置中产生了更强的训练效果。我们发现辅助偏好能够揭示同样正确的轨迹中在推理时未体现的学习价值，从而促使通过下游收益进行评估。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*答案级奖励无法区分推理质量的问题\*\*，并探索在有限监督条件下，如何利用辅助轨迹偏好（auxiliary trajectory preferences）提升小语言模型的自我改进（self-improvement）与迁移（transfer）能力。具体而言，论文聚焦于以下核心问题： - \*\*核心研究问题\*\*：当答案级反馈（answer-level rewards）只能判定最终结果正确与否、却无法区分同样正确但推理过程质量不同的轨迹时，\*\*基于模型自身预测分布衍生的辅助偏好信号\*\*是否能提供有效的额外监督，从而改善学习效果并促进向其他任务的迁移？为回答这一问题，论文开展了以下工作： 1. \*\*诊断辅助信号的价值\*\*：在固定最终答案正确的前提下，检验基于置信度（Self-Certainty, SC）和基于熵结构（UID-Conj.，结合全局熵变化与局部平滑性）的偏好信号，能否识别出推理质量更高的轨迹。 2. \*\*在线与离线训练验证\*\*：在仅有 30 道 AIME2026 题目、无参考答案的极端有限监督场景下，通过在线测试时强化学习（TTRL）进行自适应训练；同时在有验证答案的历史题目上，通过离线 DPO 与加权 SFT 验证辅助偏好的效用。 3. \*\*跨任务迁移评估\*\*：检验在数学推理上通过辅助偏好训练的模型，能否将能力提升迁移至可验证任务（如 HMMT、MinervaMath、GPQA-Diamond）以及开放域任务（如 CriticBench 的批判性判断、LabBench2 的科学推理、指令遵循任务），而无需针对这些任务进行专门训练。简言之，该论文旨在证明：\*\*在答案正确性之外，轨迹层面的辅助偏好能够挖掘出模型生成响应中未被充分利用的学习价值，从而在小模型、少数据的设定下实现更有效的自我改进与泛化。\*\* Q2: 有哪些相关研究？该论文的相关研究主要围绕三个方向展开，分别对应其解决的核心问题：推理轨迹的选择、自我改进的反馈机制，以及超越可验证任务的迁移学习。 ### 1. 基于采样响应的选择方法（Best-of-N Selection）这类研究利用模型生成多条推理轨迹后的不同统计特性进行筛选，但尚未充分回答“在最终答案已正确的前提下，这些信号能否进一步区分轨迹质量”的问题。 - \*\*Self-consistency\*\*（Wang et al., 2023）：通过聚合最终答案的多数一致性来选择输出。 - \*\*Self-Certainty (SC)\*\*（Kang et al., 2025）：利用预测分布的统计量（如置信度）对响应打分并排序。 - \*\*Uniform Information Density (UID)\*\*（Meister et al., 2021）：假设语言中的信息应均匀分布；后续研究（Gwak et al., 2026）将其应用于大语言模型推理，发现成功轨迹往往伴随\*\*局部平滑但全局非均匀\*\*的信息流动。 ### 2. 基于结果、过程与内部信号的自我改进（Self-Improvement Feedback）这类研究关注如何利用模型自身生成的响应进行迭代优化，但多数依赖答案级反馈或粗粒度信号，缺乏对“同答案不同轨迹”的精细区分。 - \*\*STaR\*\*（Zelikman et al., 2022）：模型从自身生成能产生正确答案的推理中学习。 - \*\*基于结果反馈的强化学习\*\*（Shao et al., 2024; Guo et al., 2025）：如 DeepSeek 系列模型，使用可验证的最终答案奖励进行 RL 训练。 - \*\*过程监督\*\*（Lightman et al., 2023）：对中间推理步骤提供细粒度反馈。 - \*\*基于长度的偏好\*\*（Arora and Zanette, 2025）：通过偏好更短的答案来优化推理效率。 - \*\*Intuitor\*\*（Zhao et al., 2026）：将 SC 作为 GRPO 的唯一奖励信号，探索从数学任务到领域外任务的泛化。 - \*\*熵最小化训练\*\*（Agarwal et al., 2025）：在训练过程中最小化预测熵以增强推理。 ### 3. 超越可验证训练任务的迁移（Transfer Beyond Verifiable Tasks）这类研究关注数学或编程等易于验证的领域所学能力，如何推广到缺乏标准答案的复杂现实任务。 - \*\*由易到难的泛化\*\*（Sun et al., 2024）：研究简单数学问题的监督是否能支持更难的数学推理。 - \*\*科学问答基准\*\*（Rein et al., 2023）：如 GPQA，揭示了在需要专业知识的开放任务上评估输出的困难。 - \*\*研究级数学与开放问题\*\*（Son et al., 2026; Glazer et al., 2024）：探讨在缺乏标准答案的研究前沿领域进行推理建模的挑战。 ### 与本文的关系上述工作为本文提供了基础，但也留下了明确的空白：现有方法要么在答案正确后停止监督（如结果反馈、多数投票），要么未系统检验辅助信号在\*\*同答案轨迹\*\*中的区分能力及其对\*\*下游学习\*\*的真实效用。本文正是在这一缺口上，系统比较了 SC 与 UID-Conj. 作为辅助轨迹偏好，在在线/离线训练中对小模型自我改进与跨任务迁移的贡献。 Q3: 论文如何解决这个问题？该研究通过\*\*引入基于模型自身预测分布的辅助轨迹偏好\*\*，在保留答案级监督的同时，对推理过程进行更细粒度的区分，从而从现有数据中提取额外的学习信号。具体解决方法涵盖\*\*在线自适应\*\*与\*\*离线学习\*\*两个层面，并辅以系统性的诊断评估。 --- ### 1. 核心思路：在答案级奖励之上叠加辅助偏好当多个推理轨迹获得相同的答案级奖励（如最终答案正确或多数一致）时，传统方法无法区分它们的学习价值。该研究假设，模型内部生成轨迹时的\*\*预测置信度\*\*与\*\*熵轨迹结构\*\*可作为辅助偏好信号，在不引入新问题或逐步标注的前提下，提供额外的监督。 --- ### 2. 辅助轨迹评分机制对于每个响应 y_i ，研究从令牌级预测统计中提取辅助分数 q_i 。所有信号均基于重归一化的 top-25 预测分布计算。 #### (a) Self-Certainty (SC) SC 衡量模型在生成响应令牌时的平均预测置信度。在位置 t ，对 top-25 支持集 K_t 计算：

p(t,j) = exp(z(t,j))∑(k ∈ K_t) exp(z(t,k)), quad j ∈ Kt
响应级 SC 分数为该分布与均匀分布 U(25) 的 KL 散度均值：
SC(y) = (1) / (T) ∑(t=1)^(T) D(KL)(U(25) | p_t) = (1) / (T) ∑(t=1)^(T) [ -(1) / (25) ∑(j ∈ K_t) log p(t,j) - log 25 ]
分数越高，表示模型对生成内容的确定性越强。 #### (b) UID-Conj.（全局熵变化与局部平滑性的结合）该信号基于均匀信息密度（UID）假设，将响应的熵轨迹划分为 B=32 个等位置区间，计算区间平均熵 h_b 。 - **全局变化** G ：衡量熵在全局上的非均匀程度（方差）：

G(y) = (1) / (B) ∑_(k=1)^(B) ( h_k - barhs )^2

**局部平滑性** S ：衡量相邻区间熵变化的平缓程度（负 Huber 损失）：
S(y) = -(1) / (B-1) ∑(k=1)^(B-1) rho( h(k+1) - hks )
其中 s 为基于校准数据的稳健尺度， rho(·) 为 Huber 损失。在线设置中，特征通过**中位排名分位数** Q_x(·) 映射；离线设置中，通过预拟合的**经验 CDF** F(·) 映射。最终分数为两者的乘积：
q(Conj) = u · v
其中 u 和 v 分别为全局特征与局部特征映射后的分位数。 —- ### 3. 在线训练：多数门控的测试时强化学习（TTRL）在仅有 30 道 AIME2026 题目且无参考答案的严格限定下，研究采用 TTRL 框架，将多数投票作为答案级监督的代理，并引入辅助信号进行奖励修正。 - 多数投票：对每道问题采样 n=8 条响应，提取最终答案，将最频繁的答案 a_x 作为伪标签。 - 门控奖励构造：定义多数一致性指示器 $g_i = 1

a(y_i) simeq a_x
$。组合奖励为：
R_i = (2g_i - 1) + λ b_i
其中辅助调整项 b_i 仅在多数一致组内（且该组至少包含 2 个响应）激活：
b_i = clip(q_i - q_x, -δ, δ), & i ∈ M_x, |M_x| ≥ 2 0, & otherwise
此处 q_x 为组内多数一致响应的辅助分数均值， λ=0.1 ， δ=0.5 。该设计**保留了答案奖励的排序**（多数一致组整体高于不一致组），但允许在同答案响应之间引入精细的梯度信号。 - **优化**：使用 GRPO 进行策略更新，对组合奖励进行组内标准化，并配合裁剪策略目标与 KL 惩罚。 —- ### 4. 离线扩展：基于验证轨迹的偏好学习为在已知答案的历史 AIME 数据上进一步检验辅助偏好的效用，研究设计了两种离线训练范式，确保所有训练样本均为**验证正确**的响应，从而严格隔离辅助信号与答案正确性的影响。 #### (a) 辅助偏好驱动的 DPO 对每道问题的正确响应集合 C_x ，选取辅助分数最高与最低的响应对构建偏好：

yx^+ = argmax(y ∈ Cx) q(x, y), quad y_x^- = argmin(y ∈ C_x) q(x, y)
该偏好对反映的是**轨迹质量差异**而非答案对错差异。对照组则在相同问题集上随机选取并随机定向两个不同的正确响应。 #### (b) 辅助加权的监督微调（Weighted SFT）保留所有验证正确的响应，但通过辅助分数赋予不同权重：

wi = (m_x exp(α q_i)) / (∑(yj ∈ C_x) exp(α q_j))
其中 m_x = |C_x| ， α=2 。该权重在问题级别均值为 1，保证总样本权重不变的前提下，强化高得分响应的贡献。对照组为**相同响应池上的均匀权重 SFT**，从而精确度量辅助加权的效果。 —- ### 5. 诊断与系统评估为验证辅助信号是否真正区分了推理质量，研究设计了两层评估体系： - **推理质量诊断**：在最终答案已验证为正确的响应池中，比较 SC、UID-Conj. 与随机选择的轨迹。通过盲法的外部 LLM 法官（GPT-6-Luna），从**有效性、充分性、一致性、相关性/非冗余性**四个维度独立评分。结果显示 SC 在实质性推理维度上更优，而 UID-Conj. 在减少冗余方面表现更佳，表明二者捕捉了不同的轨迹特性。 - **下游任务评估**： - **可验证推理**：AIME2026、HMMT2026、MinervaMath、GPQA-Diamond。 - **开放域迁移**：CriticBench（批判性判断）、LabBench2（科学证据推理）、IFBench 与 IHEval（指令遵循）。通过对比基线模型、原始 TTRL、随机辅助控制、SC 与 UID-Conj. 在各设置下的表现，研究量化了辅助偏好对**域内自适应**与**跨任务迁移**的贡献。 —- 简言之，该研究通过**设计并验证两种互补的辅助信号**，在**在线多数门控 RL** 与**离线偏好/加权 SFT** 中引入轨迹级监督，并辅以严格的诊断与多基准评估，系统性地回答了“在答案正确性之外，轨迹偏好能否带来额外的学习收益”这一问题。 Q4: 论文做了哪些实验？该论文的实验体系围绕**“辅助轨迹偏好能否在答案级反馈之外提供有效学习信号”**这一核心假设，从推理质量诊断、在线自适应、离线训练到跨任务迁移进行了分层验证。主要实验可归纳为以下五类： —- ### 1. 推理轨迹选择与质量诊断实验在引入训练之前，论文先检验辅助信号（SC 与 UID-Conj.）在推理时是否能区分轨迹质量。 - **答案选择准确率对比**：在 AIME2026、HMMT2026 和 MinervaMath 上，使用 Qwen3-1.7B 与 Qwen3-4B，分别测试直接选择（Majority Voting、SC、UID-Conj.）以及结合 Borda 聚合后的准确率，样本量 n ∈ 2, 4, 8 。 - **固定正确答案的轨迹质量评估**：仅保留经检验答案正确的响应池，由 SC、UID-Conj. 和随机选择分别挑出代表性轨迹。随后使用 GPT-6-Luna 作为盲法外部法官，从四个等权维度进行独立评分： - 有效性（Validity） - 充分性（Sufficiency） - 一致性（Consistency） - 相关性/非冗余性（Relevance/non-redundancy）每个维度 1–5 分，由此计算总得分 Q(y) = V(y)+F(y)+C(y)+R(y) 与实质性子得分 Q(sub)(y) ，比较各信号的净胜率（wins – losses）。 —- ### 2. 在线测试时自适应实验（TTRL）在**仅有 30 道 AIME2026 题目且无参考答案**的极端有限监督条件下，进行在线强化学习自适应。 - **训练设置**：以 Qwen3-1.7B（及 Qwen3-4B）为基座，采用 TTRL 框架，每题采样 8 条响应，通过多数投票生成伪标签，训练 2 个 epoch。 - **对比组**： - Base model（无训练） - TTRL（原始多数投票奖励） - Random-TTRL（随机辅助信号控制组） - SC-TTRL（以 Self-Certainty 作为辅助奖励） - UID-Conj.-TTRL（以 UID-Conj. 作为辅助奖励） - **评估**：在 AIME2026（域内）、HMMT2026、MinervaMath、GPQA-Diamond（域外）上各采样 5 个响应，报告平均准确率与宏平均（Macro-avg.）。 —- ### 3. 离线训练实验（DPO 与加权 SFT）在历史 AIME 问题（截至 2025 年）的**已验证正确响应池**上，测试辅助偏好作为离线训练信号的有效性。 - **DPO 偏好学习**： - 对每道题目，从正确响应中分别选取辅助分数最高与最低者构成偏好对 (y^+, y^-) ，确保两者答案均正确，从而偏好仅反映轨迹质量。 - 对比组：Random-DPO（在相同题目集上随机选取并随机定向两个不同正确响应）。 - 所有 DPO 模型从共享的 Warm-start SFT 检查点初始化。 - **加权监督微调（Weighted SFT）**： - 保留所有验证正确的响应，按辅助分数赋予权重：

wi = (m_x exp(α q_i)) / (∑(y_j ∈ C_x) exp(α q_j))
其中 α=2 ，问题级权重均值为 1。 - 对比组：Uniform-SFT（相同响应池，均匀权重）。 - **评估**：同样在 AIME2026、HMMT2026、MinervaMath、GPQA-Diamond 上测试，报告平均准确率。 —- ### 4. 跨领域迁移评估实验为检验数学自我改进是否泛化至非数学任务，在未经任务专属训练的条件下，评估模型在以下基准上的表现： - **CriticBench**：500 例（250 正确/250 错误候选答案），模型需对给定答案做出正确/错误判决。报告**判决准确率（Accuracy）**与**错误类 F1（incorrect-class F1）**，每项取 5 次采样平均。 - **LabBench2**：500 例科学证据问答，覆盖 source-quality、protocolqa2、trialqa 等任务类型，使用 GPT-6-Luna 进行语义正确性判断，得分归一化到 $

0,1
后取平均。 - 指令遵循： - IFBench：300 例单轮测试，报告 prompt-level loose accuracy。 - IHEval：500 例分层抽样，覆盖 reference、aligned、conflict 三种设置，使用官方任务特定指标聚合。 —- ### 5. 消融实验与进一步分析 - 不确定性量化：对 Qwen3-1.7B 的关键对比，采用配对 prompt-聚类 Bootstrap（100,000 次重采样）计算 95% 置信区间。同时报告两种估计方式： - 基准等权宏平均（primary） - prompt 加权平均（secondary，见附录 D.4） - UID 聚合方式消融：比较 UID-Conj.（分位数乘积）与 UID-Mix（分位数等权平均）在线与离线设置下的表现（附录 D.2）。 - 轨迹置换控制实验（Permutation Control）：为验证辅助奖励的增益是否源于轨迹特定信息而非单纯的组内奖励扰动，在在线 TTRL 中将 UID-Conj. 的辅助分数在多数一致组内随机置换，保留奖励分布但破坏轨迹-分数关联（附录 D.3）。 - 不同训练数据集验证：在 S1K 数据集上重复 Qwen3-1.7B 的在线训练，并在四项可验证基准与 CriticBench、LabBench2 上评估，检验辅助奖励的增益是否特定于原始数据集（第 6 节，表 7）。 - Warm-start SFT 基线：报告共享 DPO 初始化所用的 Warm-start SFT 检查点相对于 Base model 的性能，以隔离后续 DPO 增益（附录 D.1）。 Q5: 有什么可以进一步探索的点？基于论文的局限性与讨论，以下方向值得进一步探索： —- ### 1. 建立轨迹选择质量与训练效用之间的关联机制论文观察到 SC 在外部法官评估的推理质量上表现更优，但 UID-Conj. 在多项下游训练与迁移任务中带来更大增益。这一选择质量–学习效用脱节现象提示： - 需要发展能够预测单条响应对策略梯度贡献的辅助偏好，而非仅预测人类或法官偏好的静态质量分数。 - 探索响应级属性（如局部熵平滑性、全局变化、长度、重复度）与训练动态（如梯度范数、损失减少量）之间的定量关系，以理解 UID-Conj. 在何种优化目标下更具信息量。 —- ### 2. 扩展至无答案监督的开放式推理当前实验仍依赖可验证的最终答案（多数投票或离线检验）作为训练门禁。论文指出，最终目标是拓展至缺乏可靠答案级监督的领域，例如研究级数学或开放科学问题： - 在 FrontierMath 或 ResearchMath14K 等前沿数学基准上测试辅助轨迹偏好，其中问题往往没有已知的简单验证程序。 - 设计结合人类专家验证或同行评议模拟的训练流程，检验 UID 结构信号能否在无法自动判定正确性的场景下仍提供稳定的训练梯度。 —- ### 3. 分离轨迹特定信号与奖励变异性效应在线 TTRL 中，辅助奖励在 unanimous 组内引入了非零优势（advantage），但论文指出这尚未被完全区分于单纯的“奖励噪声”效应： - 实施置换控制（permute realized auxiliary terms within majority-agreeing groups）的严格版本，保留组内奖励分布但打乱轨迹–分数关联，以更精确地隔离轨迹特定偏好的因果效应。 - 分析辅助奖励的方差结构：当 λ s_b gg ε$ 时，归一化优势近似为

A_i ≈ b_i - barbs_b,
这实际上放大了辅助项的相对差异。需要研究这种放大机制对不同收敛行为的影响。 —- ### 4. 多信号融合与动态加权论文分别验证了 SC 与 UID-Conj.，但二者捕捉了不同维度的轨迹特性（确定性 vs. 熵结构）： - 探索**多目标奖励组合**，例如以动态权重融合 SC 与 UID-Conj：

R_i = (2g_i - 1) + λ_1 b_i^((SC)) + λ_2 b_i^((UID-Conj.)),
并研究不同任务类型（形式化推理、科学批判、指令遵循）下的最优 λ 配置。 - 引入**任务自适应门控**，让模型根据当前域内表现自动调节对局部平滑性或全局置信度的依赖程度。 —- ### 5. 更大规模与更多模型家族的验证实验主要集中在 Qwen3-1.7B 及有限的 Qwen3-4B 上： - 在更大参数规模（如 7B、14B）的稠密或 MoE 模型上复现，检验辅助偏好的边际收益是否随模型容量变化而衰减或增强。 - 跨模型家族测试（如 Llama、Gemma、DeepSeek），验证 UID 熵轨迹结构的适用性是否依赖于特定分词器或预训练归纳偏置。 —- ### 6. 迹质量评估的可靠性与人类对齐当前迹质量诊断仅使用单一 LLM 法官（GPT-6-Luna），且评估样本受限于保存的响应池： - 采用**多法官聚合**（含人类专家）建立更高质量的推理轨迹金标准，减少单一模型法官的风格偏见。 - 扩展评估维度，纳入**创造性启发**、**证明策略多样性**等训练相关指标，超越现有的四维度量表。 —- ### 7. 计算效率与误差强化风险论文在更广泛影响中指出，多条轨迹的生成与评分仍伴随计算开销： - 量化辅助奖励引入的**额外推理与训练成本**，并与潜在的性能提升进行成本–收益分析。 - 研究自我改进中的**误差强化回路**：当多数一致答案本身错误时，辅助偏好可能放大共享的系统性谬误。需要设计**元认知校准**机制，使模型能够识别并抑制高置信度下的集体幻觉。 —- ### 8. 离线目标中的偏好优化理论加权 SFT 与 DPO 在离线实验中表现出不同的收益模式： - 从理论上刻画**正确–正确偏好对**（correct-vs-correct DPO）的隐式奖励函数，分析为何 UID-Conj. 在 SFT 权重下比在 DPO 偏好下表现出更稳健的提升。 - 探索**迭代离线自我改进**：使用当前策略重新评分历史响应池，形成类似 Expectation-Maximization 的交替优化循环。 Q6: 总结一下论文的主要内容该研究围绕**答案级奖励无法区分同等正确但推理质量不同的轨迹**这一核心局限，系统探索了辅助轨迹偏好（auxiliary trajectory preferences）能否在有限监督下提升小语言模型的自我改进与跨任务迁移能力。 ### 1. 研究问题强化学习中常见的答案级反馈（如可验证奖励 RLVR）仅在最终答案层面提供二元监督。当多个推理轨迹抵达同样正确的结论时，其论证的严谨性、充分性与简洁性可能差异显著，而传统奖励无法捕捉这种差异。该研究提出的核心问题是：**在答案正确性之外，基于模型自身预测分布的轨迹级偏好能否提供额外的有效学习信号？** ### 2. 核心方法研究比较了两种从模型内部统计中衍生的辅助信号，并在在线与离线两种训练范式中引入这些信号。 - **Self-Certainty (SC)**：衡量响应令牌级预测置信度，计算重归一化 top-25 分布与均匀分布的 KL 散度均值：

SC(y) = (1) / (T) ∑(t=1)^(T) D(KL)(U_(25) | p_t)

**UID-Conjunction (UID-Conj.)**：结合熵轨迹的全局非均匀性与局部平滑性。将响应划分为 32 个等位置区间，计算区间平均熵 hb ，进而得到全局变化 G 与局部平滑性 S ，经校准后取分位数乘积：
q(Conj) = F_G(G) · F_S(S)
**在线训练**：采用测试时强化学习（TTRL），在仅 30 道 AIME2026 题目且无参考答案的条件下，以多数投票作为伪标签，对多数一致的响应组引入辅助奖励修正：
R_i = (2g_i - 1) + λ b_i
其中 g_i 为多数一致性指示器， b_i 为以组内均值中心化的辅助分数， λ=0.1 。 **离线训练**：在历史 AIME 的已验证正确响应池上，构建两种学习形式： - **DPO**：以辅助分数最高与最低的正确响应对构成偏好对； - **加权 SFT**：以辅助分数对同一正确响应池进行样本重加权，权重为 w_i propto exp(α q_i) 。 ### 3. 实验设计 - **模型**：Qwen3-1.7B（主要），Qwen3-4B（在线补充）。 - **训练规模**：在线 2 epoch；离线 1 epoch。 - **域内与域外评估**： - 可验证数学与科学推理：AIME2026、HMMT2026、MinervaMath、GPQA-Diamond。 - 开放域迁移：CriticBench（批判判决）、LabBench2（证据条件科学推理）、IFBench 与 IHEval（指令遵循）。 - **轨迹质量诊断**：对最终答案正确的响应池，使用 GPT-6-Luna 进行盲法独立评估，从有效性、充分性、一致性、相关性/非冗余性四个维度评分。 ### 4. 主要结果 - **在线自适应**：UID-Conj.-TTRL 在四项基准的宏平均准确率上较原始 TTRL 提升 **2.08 个百分点**；在 Qwen3-4B 上，UID-Conj. 在保持域内性能的同时缓解了过拟合，改善了 HMMT2026 与 MinervaMath 的迁移表现。 - **离线训练**：UID-Conj. 的加权 SFT 在相同正确响应池上较均匀 SFT 提升 **1.93 个百分点**，95% 配对 Bootstrap 置信区间为 **

0.44, 3.44
**；UID-Conj. DPO 较随机正确–正确 DPO 偏好提升 1.25 个百分点。 - **跨任务迁移**：未经任务专属训练的 UID-Conj. 模型在 CriticBench 上提升错误类 F1 **1.58 个百分点**，判决准确率提升 **1.24 个百分点**；在 LabBench2 上提升 **0.76 个百分点**。SC 则在指令遵循聚合上表现更优。 - **推理质量诊断**：SC 在外部法官评分中整体优于 UID-Conj.，在有效性与一致性上更强；UID-Conj. 则在相关性/非冗余性上占优。这一“** judged trace quality**”与“**training utility**”的分离表明，辅助偏好的训练价值并不完全等同于人类或法官偏好的推理质量。 ### 5. 结论与启示该研究验证了：在最终答案正确的前提下，轨迹级辅助偏好仍能从现有数据中提取额外的学习价值。其中，UID-Conj. 通过捕捉全局熵变化与局部平滑性的联合结构，在多项训练与迁移设置中展现出优于单纯置信度信号的增益。这一发现表明，**评估轨迹偏好的最终标准应着眼于其支持的下游学习效果，而非仅依赖推理质量的静态判断**。未来可进一步探索此类信号在无标准答案的研究级任务、更大规模模型及动态多信号融合中的应用。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Minju Gwak,Alan Ritter

Categories:

PDF URL: https://arxiv.org/pdf/2610.41296.pdf

Arxiv URL: https://arxiv.org/abs/2610.41296

Arxiv ID: 2610.41296

CoolPaper URL: https://papers.cool/arxiv/2610.41296

Published: 2026-11-03T04:01:38.247Z

Updated: 2026-11-03T04:01:38.247Z

8. TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents

Abstract:Robot agents built on vision-language models depend on both the planner and its harness: the tools, feedback, memory, and recovery logic around it. Can improvements to a large teacher’s harness be carried into a compact agent with lower inference compute cost? We present TinyAstral, a two-stage approach. We first freeze an open-weight teacher and improve its harness through recursive self-improvement (RSI): frontier LLM agents read the teacher’s trajectories and propose harness edits, and each edit is accepted only if it passes a paired statistical test. We then freeze the final harness, collect teacher trajectories with reasoning and failure recovery, and distill a small student that replaces the teacher in the same harness. On RoboTwin, harness evolution raises the teacher’s success from 33.4% to 63.6%; the final 4B student reaches 62.8%. Across four harness versions, distilled 4B students score close to their corresponding teachers, and later versions yield stronger students, showing that harness evolution gains carry into compact models. The harness gains also transfer to other frozen planners without retraining. On identical episodes, the final 4B student outperforms open 4B agents, the open 27B harness-RSI model SenseNova-RoboRSI, and our own teacher model placed in three competitors’ harnesses. It stays close to its teacher on all three training benchmarks, and on three benchmarks never used for RSI or training it scores close to a 552B planner running the same harness. On the measured deployment episodes, it uses about one fifth of its teacher’s accelerator time.

中文摘要

摘要：基于视觉-语言模型构建的机器人代理依赖于规划器及其配套机制：工具、反馈、记忆和恢复逻辑。大型教师模型的配套机制的改进能否迁移到计算成本更低的紧凑型代理上？我们提出了 TinyAstral，一种两阶段方法。我们首先冻结一个开源权重的教师模型，并通过递归自我改进（RSI）优化其配套机制：前沿 LLM 代理读取教师的轨迹并提出配套机制修改，每一项修改只有在通过配对统计检验时才会被接受。然后，我们冻结最终配套机制，收集带有推理和失败恢复的教师轨迹，并蒸馏出一个小型学生模型，用以在相同配套机制下替代教师。在 RoboTwin 上，配套机制的演化将教师的成功率从 33.4% 提升到 63.6%；最终的 4B 学生模型达到 62.8%。在四个配套机制版本中，蒸馏出的 4B 学生模型成绩接近其对应的教师模型，后期版本产生更强的学生模型，表明配套机制的改进能够传递到紧凑模型中。这些配套机制改进也可以迁移到其他冻结的规划器上，无需重新训练。在相同的试验场景中，最终的 4B 学生超过了开源 4B 代理、开源 27B 配套机制-RSI 模型 SenseNova-RoboRSI，以及放置在三个竞争者配套机制中的我们自己的教师模型。它在三个训练基准上与教师模型表现接近，并且在三个从未用于 RSI 或训练的基准上，其得分接近使用相同配套机制的 552B 规划器。在测量的部署情景中，其加速器时间约为教师模型的五分之一。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*如何将大型教师模型的工具链（harness）进化收益迁移到紧凑型学生模型，从而在保持强大操纵能力的同时显著降低推理计算成本\*\*的问题。具体而言，论文针对以下核心挑战： 1. \*\*规划器与工具链的解耦优化\*\* 基于视觉-语言模型（VLM）的机器人代理性能同时取决于\*\*规划器\*\*（planner，即模型本身）和其周围的\*\*工具链\*\*（harness，包括工具接口、执行反馈、任务记忆与失败恢复逻辑）。现有工作通常单独优化其中之一，而未能有效将系统层面的改进转化为轻量级模型的能力。 2. \*\*推理成本与模型能力的权衡\*\* 大规模教师模型（如180B参数的Qwen3.8-Flash-Next）虽具备强大的推理与恢复能力，但部署成本高昂。直接训练小模型往往无法复现大模型在复杂闭环交互中的决策表现，尤其是面对失败恢复和严格的成功判定条件时。 3. \*\*工具链进化的可迁移性验证\*\* 论文提出一个两阶段框架 \*\*TinyAstral\*\*，系统性地解决上述问题： - \*\*阶段一（工具链进化）\*\*：在\*\*冻结教师模型权重\*\*的前提下，通过主控引导的递归自我改进（RSI）循环进化工具链，仅接受通过预注册成对统计检验的修改，使教师成功率从 33.4% 提升至 63.6% 。 - \*\*阶段二（蒸馏迁移）\*\*：冻结进化后的最终工具链 H^* ，收集教师在该工具链下的完整推理轨迹与失败恢复分支，结合离线真实机器人监督数据，蒸馏训练 0.8B – 4B 参数的小型学生模型。论文通过实验验证，这种"先进化工具链、再蒸馏策略"的路径能够使学生模型在相同工具链中达到接近教师的性能（如 4B 学生在RoboTwin上达到 62.8% ，教师为 63.6% ），且工具链的收益可跨不同冻结规划器迁移，最终使小模型的推理耗时降至教师的大约五分之一。 Q2: 有哪些相关研究？相关研究主要分布于以下三个方向： ### 1. 基于工具链（Harness）的大模型机器人操作该方向关注视觉-语言模型（VLM）如何通过工具调用或代码生成来操控机器人，并强调\*\*工具链\*\*（包括工具接口、反馈、记忆与恢复逻辑）与规划器本身同等重要。 - \*\*闭环工具链设计\*\*： - \*Harness VLA\* 通过记忆引导代理驱动冻结的 VLA； - \*RoboDawn\* 与 \*MotorMind\* 为通用 VLM 提供闭环操作接口； - \*PyRUA-Lean\* 借助交互式代码执行降低 token 消耗。 - \*\*工具链进化\*\*：近期研究进一步从执行轨迹中演化工具链而非模型权重： - \*PhysEvo\* 围绕单一冻结模型进行递归自我改进（RSI）； - \*HarnessPAI\* 演化可执行程序； - \*ASPIRE\* 累积技能库； - \*RoboRSI\* 系列通过验证后发布来精炼技能与代理组件； - \*SenseNovaRoboRSI\*（并发工作）在验证后的交互经验上训练 27B VLM； - \*World Action Agent\*（并发工作）将技能进化后的工具调用轨迹蒸馏至 9B VLM。该论文与上述工作共享"冻结模型权重、进化工具链"的视角，但其区别在于：工具链在本地托管的开放权重教师上持续进化，且收益在多个冻结规划器间可测；随后将进化后的教师蒸馏至 0.8B – 4B 的微型学生模型。 ### 2. 小型操作代理与视觉-语言-动作模型（VLAs）该方向探索如何在保持紧凑推理成本的同时实现通用操纵能力。 - \*\*端到端 VLA\*\*：如 \*OpenVLA\*、 π 0 、 π 0.5 等模型直接将观测映射到动作，依赖大规模机器人数据集，在分布内任务上表现紧凑，但在扰动下泛化能力受限；\*LIBERO-PRO\* 与 \*RoboTwin 2.0\* 等基准专门探测此类泛化边界。 - \*\*小型代理训练\*\*：另一条路径是训练小模型充当代理而非直接输出低级动作： - \*Guava\* 设计操纵工具链并将前沿 VLM 的推理与恢复轨迹蒸馏至 4B 开放模型； - \*PyRUA-Lean\* 在 45 个 LIBERO-PRO 实例上用 GRPO 训练 4B 编码器； - \*Robo-Harness K1\* 与 \*World Action Agent\* 在工具链轨迹上微调小型 VLM。该论文的独特之处在于\*\*先进化教师工具链，再冻结用于数据收集与蒸馏\*\*，并在多个冻结工具链快照上分别蒸馏学生，以验证系统改进向紧凑模型的迁移性。 ### 3. 自改进代理与代理蒸馏该方向涉及语言代理的自我提升机制，以及如何将强代理能力迁移至弱模型。 - \*\*自我改进系统\*\*：语言代理可通过存储经验与反思提升性能（如 \*Reflexion\*）。进一步地，部分系统允许模型重写自身脚手架或代码： - \*STOP\*、\*ADAS\*、\*Gödel Agent\*、\*Darwin Gödel Machine\* 体现了递归自我改进（RSI）思想； - \*GEPA\* 通过执行轨迹反思来进化提示词。其中 \*ADAS\* 还报告了发现的代理跨模型与跨领域迁移的能力。 - \*\*知识蒸馏与代理蒸馏\*\*：经典知识蒸馏（如 \*DistilBERT\*）及其代理变体用于将强语言代理的轨迹迁移至小模型： - \*FireAct\* 与 \*AgentTuning\* 针对文本与工具使用任务； - \*Distilling Step-by-Step\* 利用教师推理过程作为额外监督； - \*BetterTogether\* 交替进行提示优化与同模型微调。该论文的蒸馏方法结合了上述思路：在闭环视觉交互历史中监督推理与工具调用，从一个\*\*工具链已进化\*\*的教师向\*\*不同规模\*\*的学生进行蒸馏，同时引入失败恢复分支与离线真实机器人监督以增强小模型的鲁棒性。 Q3: 论文如何解决这个问题？论文通过 \*\*TinyAstral\*\* 的两阶段框架解决该问题，核心思路是\*\*先在不改变大模型权重的前提下进化其外围工具链（harness），再将进化后系统产生的决策与恢复行为蒸馏到紧凑的学生模型中\*\*。以下是方法细节： --- ### 1. 代理形式化：规划器、工具链与评分论文将代理定义为\*\*规划器模型\*\* π 与\*\*工具链\*\* H 的组合： - \*\*规划器\*\*负责高层决策：选择操作对象、对象部位、空间关系、操作顺序及终止时机； - \*\*工具链\*\*负责执行与反馈：包括基于 SAM 3 的深度点云感知、无碰撞运动规划、抓取/放置几何计算、闭环修正以及结构化结果返回。在每一轮交互 t 中，工具链向规划器提供观测 o_t （相机图像、任务指令、近期工具结果、夹爪状态），规划器输出推理轨迹及\*\*恰好一个\*\*工具调用 a_t 。工具链执行该调用后返回结构化结果 r_t 。规划器不直接输出关节角度或坐标。 \*\*自主终止与评分\*\*：代理通过调用 done 并声明其认为成立的状态谓词（如 on(a,b) ）来自行结束回合。工具链通过视觉与传感器验证这些谓词；若验证失败则拒绝并返回测量值供代理继续修正。两次拒绝后，下一次 done 将无条件结束回合。主要评估指标为\*\*严格成功率\*\* S ：仅当代理主动以 done 结束且最终状态满足基准成功条件时才计数。 --- ### 2. 阶段一：进化教师工具链该阶段冻结教师模型 π_T （Qwen3.8-Flash-Next，约 180B ）的权重，仅优化工具链 H 。系统由\*\*主控代理\*\* M （一组前沿大语言模型代理）驱动，人类仅预先指定规则、预算与预注册的接受标准。 \*\*RSI 循环流程\*\*： 1. \*\*读取轨迹\*\* 在开发种子上运行当前被接受的工具链 H_k ，主控代理分析日志中的图像、工具调用、工具结果及教师推理，将每个失败归类到十类故障之一（如放置偏离目标、虚假完成、缺失原语、任务记忆错误等）。 2. \*\*提出编辑\*\* 针对失败的聚类，主控代理编写候选组件：新工具或原语、更诚实的工具返回、感知修复、失败处理逻辑或任务记忆的局部修正。\*\*编辑必须具有通用性\*\*：代码不得按任务名分支；系统提示与现有工具描述必须与父版本保持字节级一致；记忆修改仅针对目标失败任务。此外，每个新组件必须通过显式触发器激活，并在日志中写入组件专属标记。独立代码审计验证：当触发器未激活时，候选必须与父版本逐步行为一致。 3. \*\*测试与接受（成对 A/B 统计检验）\*\* 候选工具链与当前工具链在相同的（任务, 种子）配对上并发运行。预注册的门控要求： - 在目标聚类或触发配对 J 上，经任务聚类 bootstrap 计算的 97.5% 单侧置信下限为正，且目标聚类上的净胜数为正； - 在未触发集合 U 上，若双侧 95% 置信上限显示回归不低于 2pp ，则否决候选。中途若条件功效低于 10% 或净增益非正，则提前停止。训练、选择与评估种子互不重叠。 \*\*任务记忆\*\*（仅 RoboTwin）：由于部分指令的成功条件隐含（如"lift"要求物体抬升至少 10cm ），工具链为每个任务读取一段简短的终态说明。这些说明在 RSI 的开发种子上精炼，评估时冻结为只读。其余五个基准不使用任务记忆。 \*\*最终冻结\*\*：接受的主线快照按时间编号为 H_0 to H_(16) to H^* （共 296 个候选能力中 121 个被采纳），最终工具链 H^* 在收集教师轨迹前被冻结。 --- ### 3. 阶段二：从冻结系统中收集监督数据冻结 H^* 后，教师 π_T 通过该工具链收集轨迹，用于监督学生 π_S 学习推理、工具选择与失败恢复。 \*\*数据组成与筛选\*\*： - \*\*保留教师推理\*\*：每个训练目标同时监督教师的显式推理（ langlethinkrangle...langle/thinkrangle ）与后续工具调用。消融实验表明，清空推理文本会显著降低成功率。 - \*\*恢复分支\*\*：成功轨迹很少展示失败恢复，因此论文主动注入扰动构造恢复样本：从成功轨迹中重放前 k 步，在分支点注入扰动（如抓取物体滑落、目标物体被移动、抓取未命中等），然后让教师在线继续。仅当扰动生效、重放复现了所有记录结果且教师最终仍达到严格成功时保留该分支。 - \*\*严格成功过滤\*\*：主轨迹以温度 0 运行。若教师在某训练种子上失败，则以温度 0.7 重试最多两次。仅保留教师以 done 结束且基准判定最终状态成功的回合。成功标签仅用于离线筛选，不出现在训练消息中。 - \*\*离线真实机器人监督\*\*：为使学生接触真实图像，论文整合公开真实机器人数据集（AgiBot World、Fractal、BridgeData V2、DROID、Berkeley UR5），转换为三种辅助任务：状态与失败判断、子目标规划、下一步工具调用。对于下一步调用样本，将数据集动作序列转换为工具调用轨迹，并以最终工具链的观测格式渲染。教师提供推理：先预测调用，若与参考匹配则保留其推理；否则在给出参考调用后要求其解释（类似 STaR 的合理化步骤），并通过一致性与质量检查。 --- ### 4. 学生训练与部署 \*\*训练配置\*\*： - 数据集共 83,753 个决策样本，其中约一半来自模拟环境（RoboTwin、Guava、LIBERO），另一半为离线真实机器人数据； - 以 Qwen3.5-4B 为初始化，视觉编码器与投影层保持冻结； - 全参数微调 2 个 epoch，学习率 10^(-5) ，余弦衰减， 5% 预热，全局 batch size 32 ，最大长度 12,288 tokens； - 0.8B 与 2B 学生使用相同数据与配置训练。 \*\*部署\*\*：学生以 bf16 精度在单块加速器上服务，\*\*直接替换\*\*教师模型运行在同一冻结工具链 H^* 中。测量显示， 4B 学生的加速器时间约为教师的五分之一。 Q4: 论文做了哪些实验？论文的实验围绕\*\*工具链进化的有效性\*\*、\*\*蒸馏迁移的保真度\*\*、\*\*与现有系统的对比\*\*、\*\*消融分析\*\*以及\*\*推理成本\*\*展开，具体包括以下方面： --- ### 1. 实验设置 \*\*基准测试\*\* 在六个基准上评估，分为两类： - \*\*训练/RSI 域\*\*（用于工具链进化或训练数据收集）：RoboTwin 2.0（50 个任务 × 10 个种子，共 500 回合）、Guava（15 个任务 × 30 个种子，共 450 回合；其中 7 个任务在训练时见过）、LIBERO-PRO（300 回合）。 - \*\*零样本泛化域\*\*（从未用于 RSI 或训练）：SimplerEnv（Visual Matching，Google Robot 与 WidowX 共 960 回合）、VLABench（官方列表前 500 回合）、EB-Manipulation（228 回合）。 \*\*评估指标\*\* 采用\*\*严格成功率\*\* S ：仅当代理主动以 done 结束回合，且最终状态满足基准成功条件时才计数。所有对比系统在相同（任务, 种子）配对上运行。 --- ### 2. 工具链进化与向紧凑学生的迁移在 RoboTwin-50 上测试四个被接受的工具链快照 H_1, H_7, H_(16), H^* ，验证两条核心假设： - \*\*假设 1：冻结权重时工具链进化有效\*\* 教师模型（Qwen3.8-Flash-Next）在固定权重下，严格成功率从 H_1 的 33.4% 提升至 H^* 的 63.6% （+ 30.2 pp）。该收益对其他冻结规划器同样有效：DeepSeek-V4.1-Flash 提升 30.6 pp（ 32.8% to 63.4% ），未训练的 Qwen3.5-4B 提升 26.6 pp（ 14.6% to 41.2% ）。 - \*\*假设 2：进化收益可蒸馏到紧凑模型\*\* 针对每个工具链版本独立训练 4B 学生（TinyAstral-4B），其成功率随工具链版本递进： 36.2% to 49.8% to 60.0% to 62.8% 。每个学生的性能均接近其对应的教师模型，且在最终工具链 H^* 中，蒸馏学生比未训练 4B 模型高出 21.6 pp。 --- ### 3. 性能对比与泛化 \*\*学生与教师的接近程度\*\* 在三个训练基准上，TinyAstral-4B 与教师（ 180B ）表现接近： | 基准 | 教师 | TinyAstral-4B | 差距 | |------|------|---------------|------| | RoboTwin-50 | 63.6% | 62.8% | -0.8 pp | | Guava | 94.7% | 93.6% | -1.1 pp | | LIBERO-PRO | 80.0% | 78.3% | -1.7 pp | \*\*与开放基线的同回合对比\*\* 在相同评估回合上，TinyAstral-4B 超过所有测试的开放竞争系统： - Guava： 93.6% vs. Guava-4B 的 84.4% ； - LIBERO-PRO： 78.3% vs. SenseNova-RoboRSI-27B 的 70.3% ； - 甚至在竞争对手的工具链中运行同一教师模型（Qwen3.8-Flash-Next）时，TinyAstral-4B 也显著领先：Guava 工具链中 93.6% vs. 78.9% ；MotorMind 中 78.3% vs. 57.3% ；PyRUA-Lean 中 78.3% vs. 53.0% 。 \*\*零样本泛化\*\* 在三个未见基准上，TinyAstral-4B 与教师（ 180B ）及 DeepSeek-V4.1-Flash（ 552B ）的差距保持在 5.0 pp 以内： | 基准 | TinyAstral-4B | 教师 | DeepSeek-V4.1-Flash | |------|---------------|------|---------------------| | SimplerEnv Google VM | 66.6% | 69.2% | 68.0% | | SimplerEnv WidowX | 88.5% | 92.7% | 86.5% | | VLABench | 41.2% | 46.2% | 38.8% | | EB-Manipulation | 27.6% | 32.0% | 29.8% | \*\*更小规模的学生\*\* TinyAstral- 0.8B 在 RoboTwin（ 61.8% ）与 Guava（ 93.8% ）上接近 4B 版本，但在 LIBERO-PRO 上降至 54.7% ；TinyAstral- 2B 在 LIBERO-PRO 上为 69.0% 。 --- ### 4. 消融实验与恢复行为 \*\*教师推理（Thinking）的重要性\*\* 移除训练数据中的教师推理文本（保留相同样本与工具调用），在多个基准上造成显著退化： | 设置 | RoboTwin-50 | Guava | LIBERO-PRO | SimplerEnv Google VM | VLABench | |------|-------------|-------|------------|----------------------|----------| | 完整配方 | 62.8% | 93.6% | 78.3% | 66.6% | 41.2% | | - 教师推理 | 62.4% | 88.9% | 59.0% | 55.5% | 31.2% | | 变化量 | -0.4 pp | -4.7 pp | -19.3 pp | -11.2 pp | -10.0 pp | 其中 LIBERO-PRO 上 49/300 回合在去除推理后因耗尽调用预算而失败，完整配方仅 7/300 。 \*\*离线真实机器人监督\*\* 加入真实机器人数据使离线真实机器人“下一步调用”准确率从 0.235 提升至 0.923 ，但对七个模拟设置的成功率无显著统计影响，说明其主要贡献在于真实观测上的决策校准。 \*\*失败恢复行为分析\*\* 论文通过定性案例展示了 TinyAstral-4B 在以下场景中的自主恢复能力： - \*\*重抓取与重放置\*\*：如抓取点滑动后改抓边缘、放置失败后调整释放位置； - \*\*对象重描述\*\*：当分割器返回 NOT_SEEN 时，改用颜色或形状描述对象（如 "purple eggplant" → "purple object"）； - \*\*扰动后修正\*\*：在 LIBERO-PRO 中，检测到碗被撞落后重新放置； - \*\*高度修正\*\*：SimplerEnv 中 done 因高度不足被拒绝后主动抬升更多。在零样本域中， 271 个学生解决但未训练 4B 解决的回合里， 63% 以未训练模型耗尽调用预算告终，凸显了蒸馏在恢复与终止决策上的关键作用。 --- ### 5. 推理计算成本测量在 20 个共享的 SimplerEnv 回合上测量部署开销（加速器数量 × 中位回合耗时）： | 模型 | 加速器数 | 中位耗时 (s) | 部署加速器·秒 | 相对学生倍数 | |------|----------|--------------|---------------|--------------| | TinyAstral-4B (bf16) | 1 | 25.3 | 25.3 | 1.0× | | Qwen3.8-Flash-Next 教师 (FP8, TP4) | 4 | 31.0 | 123.8 | 4.9× | | DeepSeek-V4.1-Flash (TP8) | 8 | 31.2 | 249.6 | 9.9× | 学生以单卡 bf16 无推测解码部署，中位耗时亦最短，验证了该方法在降低推理成本上的有效性。 Q5: 有什么可以进一步探索的点？基于论文的局限性与开放问题，以下几个方面值得进一步探索： --- ### 1. 向更多环境与复杂任务域扩展论文在结论中明确指出，未来工作将扩展至\*\*更多 RSI（递归自我改进）环境\*\*。当前实验主要集中在桌面双臂/单臂操作（RoboTwin、LIBERO 等），可进一步探索： - \*\*长程任务\*\*：涉及多阶段、跨房间或需导航的移动操作（mobile manipulation）； - \*\*人形机器人全身控制\*\*：工具链如何协调双臂、下肢与平衡； - \*\*动态与接触丰富的场景\*\*：如装配、柔性物体操作，其中力反馈与动态接触成为工具链的关键组成部分。 --- ### 2. 工具链与规划器的联合优化 TinyAstral 采用\*\*交替冻结策略\*\*：先固定教师权重进化工具链，再固定工具链蒸馏学生。这种解耦虽然保证了可解释性，但可能陷入局部最优。未来可探索： - \*\*端到端联合优化\*\*：在统计门控下同时微调工具链逻辑与规划器权重，或采用双层优化（bi-level optimization）框架； - \*\*可微工具链\*\*：将部分感知原语或运动规划模块参数化，使其梯度能回传至学生模型，缩小离散工具调用与连续控制之间的鸿沟。 --- ### 3. 自动化与自适应的恢复分支生成当前恢复分支依赖\*\*预定义的扰动注入\*\*（如物体滑移、目标偏移）。更通用的系统可引入： - \*\*课程学习式的扰动生成\*\*：由主控代理根据当前学生能力自动设计越来越难的失败场景，而非使用固定扰动集合； - \*\*基于不确定性的主动探索\*\*：在数据收集中识别学生置信度低的决策点，针对性地在这些状态附近注入故障，提升样本效率。 --- ### 4. 跨本体（Cross-Embodiment）与跨模态迁移论文验证了工具链收益可在\*\*不同冻结规划器间迁移\*\*（如从 Qwen 到 DeepSeek），但未涉及不同机器人本体（如从固定双臂到移动单臂，或从仿真到真实硬件的差异）。未来可研究： - \*\*本体无关的工具链原语\*\*：设计更抽象的物理接口，使进化出的工具链能适配不同构型机器人； - \*\*触觉/力觉模态的融入\*\*：当前观测以视觉为主，加入力反馈、触觉流等模态可能要求工具链进化出新的反馈原语与对应的蒸馏策略。 --- ### 5. 更小规模与边缘部署的极限论文测试了 0.8B 学生，其在 RoboTwin 与 Guava 上接近 4B 性能，但在 LIBERO-PRO 上显著下降。可进一步探索： - \*\*亚十亿参数模型\*\*（如 0.1B – 0.5B ）在高度进化工具链中的可行性边界； - \*\*量化与架构搜索\*\*：针对机器人部署的延迟约束，联合优化模型架构（如 MoE、状态空间模型）与工具链复杂度，寻找帕累托前沿。 --- ### 6. 安全约束与价值对齐的整合当前 RSI 的接受标准主要基于\*\*任务成功率\*\*的统计检验。真实机器人部署还需考虑： - \*\*安全门控机制\*\*：在工具链进化中引入硬安全约束（如碰撞避免、力阈值），使候选编辑不仅提升成功率，还必须通过安全违规率的成对检验； - \*\*人类偏好的对齐\*\*：利用 RLHF 或 DPO 将人类的恢复偏好（如“优先尝试温和修正而非重新抓取”）融入蒸馏目标，而非仅模仿教师的推理文本。 --- ### 7. 理论理解：工具链复杂度与模型容量的关系实验观察到 0.8B 与 4B 学生在简单基准上差距小，但在 LIBERO-PRO（语言与空间扰动密集）上差距大。这暗示存在\*\*工具链复杂度与模型容量之间的对应关系\*\*。未来可从理论上分析： - 给定固定复杂度的工具链，所需规划器表达能力的下界； - 蒸馏过程中“推理链”长度与失败恢复深度如何影响小模型的泛化误差界。 Q6: 总结一下论文的主要内容该论文提出 \*\*TinyAstral\*\*，一种将大规模教师模型的工具链（harness）进化收益迁移至紧凑学生模型的两阶段方法，旨在构建具备强泛化能力且推理成本低廉的通用机器人操作代理。 ### 1. 核心问题基于视觉-语言模型（VLM）的机器人代理性能由\*\*规划器\*\*（planner，模型本身）与\*\*工具链\*\*（harness，包括工具接口、执行反馈、任务记忆与失败恢复逻辑）共同决定。直接部署大规模教师模型（如 180B 参数）推理成本高昂，而简单蒸馏的小模型难以复现其在闭环交互中的复杂决策与恢复能力。该论文解决的关键问题是：\*\*能否先改进冻结教师的工具链，再将由此产生的决策能力迁移至小模型，从而在大幅降低推理计算的同时保持性能？\*\* ### 2. 方法框架 TinyAstral 包含两个阶段： \*\*阶段一：冻结教师的工具链进化（RSI）\*\* - 冻结开放权重教师模型 π_T （Qwen3.8-Flash-Next，约 180B ）的权重，仅进化其外围工具链 H 。 - 由前沿大语言模型构成的主控代理（master）读取教师执行轨迹，分析失败原因并生成候选工具链编辑（新工具、感知修复、失败处理逻辑等）。 - 候选编辑必须通过\*\*预注册的成对统计检验\*\*（paired A/B test）才被接受：在与当前工具链相同的（任务, 种子）配对上运行，要求目标失败聚类有显著正向提升，且未触发区域无明显回归。 - 该过程在 RoboTwin 上将教师的严格成功率从 H_1 的 33.4% 提升至最终工具链 H^* 的 63.6% ，且模型权重始终未变。 \*\*阶段二：冻结工具链下的蒸馏\*\* - 冻结最终工具链 H^* ，让教师通过 H^* 收集完整轨迹，包括显式推理（thinking traces）、工具调用及从注入扰动中恢复的\*\*恢复分支\*\*（recovery branches）。 - 结合来自公开真实机器人数据集的离线辅助监督（状态判断、子目标规划、下一步工具调用），构建训练数据集。 - 以 Qwen3.5 为初始化，蒸馏训练 0.8B 、 2B 与 4B 的学生模型 π_S ，使其学习解释反馈、选择动作、恢复失败并自主终止。 - 部署时，学生直接替代教师运行在同一冻结工具链 H^* 中。 ### 3. 关键实验发现该论文在六个基准（RoboTwin、Guava、LIBERO-PRO，以及零样本的 SimplerEnv、VLABench、EB-Manipulation）上进行了系统评估： - \*\*进化收益可迁移至紧凑模型\*\*：在四个被接受的工具链版本（ H_1, H_7, H_(16), H^* ）上分别独立蒸馏 4B 学生，其成功率依次为 36.2% 、 49.8% 、 60.0% 、 62.8% ，与对应教师性能（ 33.4% 、 49.4% 、 60.4% 、 63.6% ）紧密跟踪，证明工具链改进确实被学生继承。 - \*\*超越开放竞争系统\*\*：在相同评估回合上，TinyAstral-4B 超过 Guava-4B、PyRUA-Lean-4B 及 27B 的 SenseNova-RoboRSI；甚至将同一教师模型（Qwen3.8-Flash-Next）置于竞争对手工具链中时，TinyAstral-4B 仍显著领先（如 Guava 上 93.6% vs. 78.9% ）。 - \*\*强零样本泛化\*\*：在三个从未用于训练或 RSI 的基准上， 4B 学生与 552B 的 DeepSeek-V4.1-Flash 运行在相同工具链中的差距不超过 5.0 pp。 - \*\*推理成本大幅降低\*\*： 4B 学生部署时仅需单卡 bf16，每回合加速器时间约为教师的 1/5 （ 25.3 对 123.8 accelerator·seconds）。 ### 4. 消融与行为分析 - \*\*教师推理至关重要\*\*：去除训练数据中的教师推理文本导致 LIBERO-PRO 下降 19.3 pp，SimplerEnv 下降 11.2 pp，表明显式推理过程是蒸馏的关键监督信号。 - \*\*真实机器人数据提升真实场景决策\*\*：加入离线真实数据使真实机器人“下一步调用”准确率从 0.235 提升至 0.923 。 - \*\*自主恢复能力\*\*：学生展现出重描述目标对象、修正放置、切换抓取点及应对未见过对象的能力；在未训练 4B 模型失败的 271 个零样本回合中， 63% 以基线耗尽调用预算告终。 ### 5. 主要贡献 - \*\*提出“工具链进化+蒸馏”的两阶段范式\*\*：首次系统性地将冻结规划器的工具链递归改进与跨规模模型蒸馏相结合。 - \*\*验证工具链收益向紧凑模型的可迁移性\*\*：通过多版本工具链快照的对比蒸馏，证明系统层面的改进可被小模型有效继承，且进化后的工具链对其他冻结规划器（如 DeepSeek-V4.1-Flash）同样有效。 - \*\*实现低推理成本的通用操作代理\*\*：TinyAstral-4B 以远小于前沿模型的参数量和推理开销，在六个基准上达到或超过现有开放系统，并在零样本域上逼近 552B 模型的性能。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是TinyAstral%3A%20Transferring%20Self-Evolving%20Harnesses%20to%20Tiny%20Generalist%20Manipulation%20Agents，链接是https://arxiv.org/pdf/2610.41216，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.41216。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Kehong Gong,Xiaoxu Zheng,Guanli Hou,Seunghun Lee,Mengqi Guo,Runjia Tan,Zhengyu Wen,Qi Wang,Xiaoyu He,Mingyuan Zhang,Michael Bi Mi

Categories:

PDF URL: https://arxiv.org/pdf/2610.41216.pdf

Arxiv URL: https://arxiv.org/abs/2610.41216

Arxiv ID: 2610.41216

CoolPaper URL: https://papers.cool/arxiv/2610.41216

Published: 2026-11-03T04:01:38.307Z

Updated: 2026-11-03T04:01:38.307Z

9. Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay

Abstract:Recent advances in large (vision) language models have enabled computer-use agents that automate digital workflows via fine-grained keyboard and mouse operations. However, such agents remain fragile in long-horizon settings, where errors accumulate and executed actions leave unintended side effects, making the ability to recover from failures critical. Yet, existing remedies remain inadequate: environment resets are infeasible in proprietary settings, action replay is prohibitively expensive over long horizons, and API-based rollback is limited to web environments, leaving model-based recovery largely unexplored. To address this gap, we present ReTrace, a scalable evaluation framework for systematically studying recovery behavior in computer-use agents. We formalize Transition-Consistent Recovery: identical downstream actions from the recovered and target states must yield identical outcomes. We operationalize this criterion through goal-oriented action replay following controlled error injection. Using ReTrace, we present the first systematic study of autonomous, model-based recovery, revealing that (i) ideal recovery can unlock model’s latent task completion capabilities, (ii) current computer-use agents fail to exploit their latent recovery capabilities, and (iii) accurate model-based recovery yields measurable end-to-end gains. Together, these findings establish recovery as a fundamental capability for building reliable computer-use agents. Our code and dataset is available at this https URL.

中文摘要

摘要：近期在大型（视觉）语言模型方面的进展，使得计算机使用代理能够通过细粒度的键盘和鼠标操作自动化数字工作流。然而，在长时间跨度的场景中，这类代理仍然很脆弱，因为错误会积累且执行的操作可能产生意外的副作用，因此从失败中恢复的能力变得至关重要。然而，现有的解决方法仍然不足：在专有环境中重置环境不可行，长时间跨度的操作重放成本过高，基于 API 的回滚仅限于网页环境，导致基于模型的恢复仍然很少被探索。为填补这一空白，我们提出了 ReTrace，一个可扩展的评估框架，用于系统研究计算机使用代理的恢复行为。我们将“转移一致性恢复”形式化：从恢复状态和目标状态执行相同的下游操作必须产生相同的结果。我们通过在控制错误注入后的目标导向操作重放来操作化这一标准。使用 ReTrace，我们展示了首个关于自主、基于模型恢复的系统研究，揭示了：（i）理想恢复能够释放模型潜在的任务完成能力，（ii）当前计算机使用代理未能利用其潜在的恢复能力，（iii）准确的基于模型恢复可带来可测量的端到端增益。综上，这些发现确立了恢复作为构建可靠计算机使用代理的基本能力。我们的代码和数据集可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.27954 (HTTP 429)

Authors: Byeonghun Bang,Sangwoo Park,Jinheon Baek,Kangsan Kim,Youngwan Lee,Sung Ju Hwang

Categories:

PDF URL: https://arxiv.org/pdf/2610.27954.pdf

Arxiv URL: https://arxiv.org/abs/2610.27954

Arxiv ID: 2610.27954

CoolPaper URL: https://papers.cool/arxiv/2610.27954

Published: 2026-11-03T04:01:39.687Z

Updated: 2026-11-03T04:01:39.687Z

10. On-Policy Self-Distillation with Teacher Evolution

Abstract:On-Policy Self-Distillation (OPSD), which aligns a student model’s token-level distribution with that of its self-teacher prompted by privileged context, has emerged as a promising direction to mitigate reward sparsity in sequence-level post-training paradigms. However, OPSD often fails to achieve continuous performance gains during training. In this paper, we find that the model’s limited self-teaching capability underlies this phenomenon by generating unreliable guidance on certain samples. To address this problem, we propose Teacher-Evolution Self-Distillation (TESD), which enables the self-teacher to generate rollouts and receive environmental feedback based on task correctness and context independence. First, using these rewards as training objectives, we perform teacher-oriented optimization to continuously enhance the model’s self-teaching capability during distillation. Second, by estimating teacher guidance reliability from these rewards, we apply adaptive student-oriented optimization to down-weight samples with unreliable guidance. Extensive experiments across multiple datasets and model scales show that TESD consistently outperforms representative token-level and sequence-level methods, highlighting the necessity of improving supervision quality in OPSD.

中文摘要

摘要：在策略自蒸馏（OPSD）中，通过使学生模型的令牌级分布与由特权上下文提示的自教师分布对齐，已成为缓解序列级后训练范式中奖励稀疏问题的有前景方向。然而，OPSD在训练过程中往往无法实现持续的性能提升。在本文中，我们发现，这种现象的原因在于模型有限的自我教学能力，它在某些样本上生成不可靠的指导。为了解决这个问题，我们提出了教师进化自蒸馏（TESD），该方法使自教师能够根据任务正确性和上下文独立性生成 rollout 并接收环境反馈。首先，使用这些奖励作为训练目标，我们进行以教师为导向的优化，以在蒸馏过程中持续增强模型的自我教学能力。其次，通过从这些奖励中估计教师指导的可靠性，我们应用自适应的以学生为导向的优化，对具有不可靠指导的样本进行降权。跨多个数据集和模型规模的大量实验表明，TESD 始终优于代表性的令牌级和序列级方法，突显了在 OPSD 中提高监督质量的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.38637 (HTTP 429)

Authors: Shufan Shen,Zhongni Hou,Chao Bi,Yufei Zhang,Guojun Yin,Shuhui Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.38637.pdf

Arxiv URL: https://arxiv.org/abs/2610.38637

Arxiv ID: 2610.38637

CoolPaper URL: https://papers.cool/arxiv/2610.38637

Published: 2026-11-03T04:01:43.855Z

Updated: 2026-11-03T04:01:43.855Z

11. ProVe: Proposer-Verifier Decoding

Abstract:Speculative decoding accelerates autoregressive (AR) language models by letting a small model draft tokens serially and a large model verify them in parallel. We reverse these roles. Starting from a standard AR checkpoint, we fine-tune the large model into a proposer that predicts a block of future tokens in a single forward pass, then use one additional forward pass to verify the proposed block. This gives ProVe, Proposer-Verifier decoding. The verifier can be a smaller AR model or the proposer itself; the latter gives ProVe-lossless, which reproduces the proposer’s greedy AR decoding. Block proposals already provide substantial room for acceleration: with a block size of 16, the proposed block has an average AR-matching prefix of 6.6 tokens on GSM8K. Across six benchmarks with a 32B proposer, ProVe-lossless reaches 2.5x average AR throughput without training a separate draft head. With a small 3B verifier, ProVe reaches 2.7x average throughput at 2.6 accuracy points below AR on the six-task average, providing a controllable tradeoff between speed and accuracy.

中文摘要

摘要：投机性解码通过让一个小模型串行生成令牌，而一个大模型并行验证它们，从而加速自回归（AR）语言模型。我们颠倒了这些角色。从一个标准的AR检查点开始，我们将大模型微调为一个提议者，在一次前向传播中预测一块未来的令牌，然后用一次额外的前向传播来验证所提议的块。这就是ProVe，提议者-验证者解码。验证者可以是一个较小的AR模型，也可以是提议者本身；后者称为ProVe-lossless，它可以复现提议者的贪婪AR解码。块提议已经提供了显著的加速空间：在块大小为16时，所提议的块在GSM8K上的平均AR匹配前缀为6.6个令牌。在六个基准测试中，使用32B提议者，ProVe-lossless在无需训练单独的草稿头的情况下达到平均AR吞吐量的2.5倍。使用一个小型3B验证者，ProVe在六任务平均上以比AR低2.6个准确率点的情况下，实现了平均吞吐量的2.7倍，提供了速度与准确率之间的可控权衡。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决自回归语言模型生成效率低的问题，具体从以下几个层面展开： --- ### 1. 自回归解码的固有串行瓶颈标准自回归（AR）语言模型每生成一个token需要一次前向传播，导致生成长度为 T 的序列需要 T 次串行模型调用。这种逐token生成的模式使得解码过程的延迟随输出长度线性增长，成为大规模语言模型推理的主要效率瓶颈。 ### 2. 传统推测解码的角色固化限制现有推测解码（Speculative Decoding）方法通过“小模型串行起草（draft）+ 大模型并行验证（verify）”的范式加速推理，但其角色分配受成本刚性约束： - \*\*起草必须是串行的\*\*，因此只能交给参数量小、单次调用成本低的模型； - \*\*验证可以并行的\*\*，因此由参数量大、能力强的模型执行。这种固定分工限制了加速上限：小模型的预测能力弱，导致起草序列与目标模型分布不一致，验证时被截断的前缀较短；同时，大模型无法主动利用其强大的预测能力一次性生成多个候选token。 ### 3. 块提议中大量可用前缀未被利用基于MARS等块提议方法，大模型已经可以通过单次前向传播预测未来 B 个token（即一个候选块）。实验表明，在GSM8K上，当 B=16 时，提议块与贪婪AR解码匹配的平均前缀长度达到 6.6 个token。然而，仅依赖提议者自身的置信度（无需额外验证开销的MARS默认规则）平均仅能提交 3.0 个token。降低置信度阈值虽能增加提交长度，但会提高提交错误token的风险。因此，\*\*候选块中存在大量“已正确预测但未被识别”的token\*\*，核心问题在于如何在不增加过多开销的前提下，可靠地识别并提交这些token。 ### 4. 验证信号缺失导致的加速潜力浪费提议者的置信度 p_i 是在占位符（placeholder）条件下计算的，无法观察到实际提议出的前缀轨迹；它回答的是“ y_i 在未来位置是否看起来合理”，而非“在已实现的特定前缀后， y_i 是否仍然合理”。这导致提议者无法准确判断块内token的自洽性。论文指出，需要一个额外的验证信号来读取\*\*实际生成的前缀轨迹\*\*，从而判断提议token在已实现上下文中的局部合理性。 --- ### 总结论文提出的\*\*ProVe（Proposer-Verifier Decoding）\*\*正是为了解决上述问题：通过反转传统推测解码的角色，让大模型单次前向传播提议一个token块，再用一次额外的前向传播（由小模型或提议者自身执行验证）读取已实现的前缀并决定提交长度。这样可以在不训练独立起草头的情况下，回收块提议中被浪费的匹配前缀，从而在保持精度（ProVe-lossless完全复现贪婪AR输出）或可控地牺牲精度（ProVe使用小验证器）的前提下，显著提升解码吞吐量。 Q2: 有哪些相关研究？该论文的相关研究可从以下三个维度进行梳理： --- ### 1. 推测解码与起草头（Speculative Decoding & Draft Heads）推测解码的核心范式是利用一个小型草稿模型进行\*\*串行起草\*\*（drafting），再由大型目标模型\*\*并行验证\*\*（verifying），从而在保持目标分布无损的前提下加速推理。 - \*\*基础框架\*\*：Leviathan et al. (2023) 与 Chen et al. (2023) 提出了经典的推测解码方法，通过小型模型生成 k 个候选 token，大型模型在一次前向传播中完成验证与修正。 - \*\*降低起草成本的研究\*\*： - \*\*基于目标模型隐藏状态的起草头\*\*：如 EAGLE 系列（Li et al., 2024a; 2024b; 2025a）通过训练辅助草稿头或构建动态草稿树（draft tree）来减少对小模型的依赖。 - \*\*早期层自推测\*\*：LayerSkip（Elhoushi et al., 2024）与 Draft & Verify（Zhang et al., 2024）利用目标模型自身的浅层表示进行起草。 - \*\*基于检索或模式匹配的方法\*\*：Lookahead Decoding（Fu et al., 2024）采用 Jacobi 风格的 n -gram 候选；SAM Decoding（Hu et al., 2025）则利用后缀自动机生成候选序列。 - \*\*验证规则的松弛\*\*：Judge Decoding（Bachmann et al., 2025）与 Big Little Decoder（Kim et al., 2023）放松了验证器的严格接受规则，通过阈值机制实现速度–精度的权衡。然而，这些方法\*\*并未改变角色分配\*\*——起草仍由小模型或辅助结构承担。 --- ### 2. 块提议与多 token 预测（Block Proposals & Multi-Token Prediction）与逐 token 串行起草不同，块提议方法致力于让模型在\*\*单次前向传播中预测多个未来 token\*\*，从而打破串行依赖。 - \*\*输入侧方法\*\*： - \*\*PaSS\*\*（Monea et al., 2023）：追加可学习的 look-ahead embeddings。 - \*\*Parallel Prompt Decoding\*\*（Chen et al., 2025）：训练特殊的 prompt tokens 以引导并行解码。 - \*\*输出侧/结构方法\*\*： - \*\*Medusa\*\*（Cai et al., 2024）：为模型添加多个解码头，分别预测未来不同位置的 token。 - \*\*多 token 预测\*\*（Gloeckle et al., 2024; DeepSeek-AI, 2024）：通过额外的输出模块同时预测多个后续 token。 - \*\*基于掩码微调的方法\*\*： - \*\*Set Block Decoding\*\*（Gat et al., 2025）与 \*\*MARS\*\*（Jin et al., 2026）：直接在标准自回归模型上微调，使其能够基于

MASK
占位符一次性预测后续 B 个 token。**本文的 ProVe 正是建立在 MARS 的块提议能力之上。** —- ### 3. 块级验证与自验证（Block-Level & Self-Verification）在块提议的基础上，后续研究探索了如何验证或提交这些并行生成的候选块。 - **传统方向：小块模型起草 + 大模型验证**： - **ReDrafter**（Cheng et al., 2024）、**Amphista**（Li et al., 2025b）、**FastEagle**（Huang et al., 2025）与 **DFlash**（Chen et al., 2026）：这些方法先通过一个训练好的小型草稿网络**一次生成一个 token 块**，再由目标模型进行精确验证。其角色分配仍遵循传统推测解码（小起草、大验证），只是将起草粒度从单个 token 提升为块。 - **验证与提议的融合**： - **IDLM**（Yu et al., 2026）：将“验证当前提议块”与“生成下一提议块”融合到模型的**单次前向传播**中，进一步减少传播次数。 - **基于置信度的无验证提交**： - **Block Diffusion**（Arriola et al., 2025）、**DSpark**（Cheng et al., 2026）与 **MARS**：这些方法直接依据模型自身的置信度（如 p_i ）决定提交前缀长度，**无需额外的验证前向传播**。 - **ProVe 的差异化贡献**：论文明确指出，上述基于置信度的规则未能充分利用块中已正确预测的内容（如 MARS 仅提交 3.0 个 token，而平均匹配前缀为 6.6 个）。ProVe 通过引入**一次额外的验证前向传播**（可由小模型或提议者自身执行）来读取已实现的前缀轨迹，从而识别出更多可提交的 token，这是与上述方法的关键区别。 —- ### 小结现有研究大多遵循“廉价模型串行起草、昂贵模型并行验证”的固定分工。ProVe 的核心创新在于**反转了这一角色**：由大模型一次性并行提议未来 token 块，再由验证器（小模型或模型自身）读取已实现轨迹并决定提交长度。这一思路与基于置信度的 MARS、基于小模型块起草的 ReDrafter/DFlash，以及验证–提议融合的 IDLM 均形成了明确的技术对比。 Q3: 论文如何解决这个问题？论文通过提出 **ProVe（Proposer-Verifier Decoding）** 框架，从角色反转、块级提议与轨迹感知验证三个层面系统性地解决了上述问题。具体解决方案可分解为以下要点： —- ### 1. 核心范式：反转推测解码的角色分工传统推测解码将**串行起草**分配给廉价小模型、**并行验证**分配给昂贵大模型。论文指出，一旦大模型具备单次前向传播生成多个候选 token 的能力，这种固定分工便不再必要。 - **提议者（Proposer）**：由大模型担任。通过一次因果前向传播，基于上下文与 B 个占位符 $

MASK
并行预测未来 B 个 token，生成候选块。 - 验证者（Verifier）：不再负责串行生成，而是一次性读取已提议出的完整块，判断应提交的最长前缀长度。这种反转将串行成本从“起草 k 次小模型调用”转移至“验证 1 次小模型调用”，使得验证器的规模不再受限于严格的低成本约束。 —- ### 2. 块提议机制：基于 MARS 的单次多块预测 ProVe 的提议能力建立在 MARS（Jin et al., 2026）的块提议模型之上。给定上下文 x_(≤ t) 与后续 B 个占位符，大模型通过单次因果前向传播输出 B$ 个分布：

pi(v) = P_P(v ,|, x(≤ t), [MASK], dots, [MASK](i-1)), quad i = 1, dots, B
通过贪心读取得到候选块 y_1, dots, y_B ，其中 y_i = argmax_v p_i(v) 。关键特性在于： - 第 1 个位置即为标准 AR 的下一 token 预测； - 更深位置 i 的预测条件中，中间未来 token 被占位符替代，预测难度随深度递增。 —- ### 3. 两种验证模式论文设计了两种验证变体，分别对应“无损加速”与“可控的速度–精度权衡”。 #### (a) ProVe：外部小模型验证引入一个较小的自回归模型（如 3B 或 7B）作为验证器。验证器通过一次 teacher-forced 前向传播，在实际提议前缀 y(<i) 的条件下，为每个提议 token 计算概率：

qi = P_V(y_i ,|, x(≤ t), y1, dots, y(i-1)), quad i = 1, dots, B
为结合提议者的先验置信度与验证器的轨迹条件信号，论文采用无参的乘积门控分数 pi · q_i 。对于阈值 θ ，提交长度 a 定义为满足条件的最长连续前缀：
a = max{ t ∈ 1, dots, B : p_i · q_i ≥ θ , for all , 2 ≤ i ≤ t }
其中第 1 个 token 始终被提交（因其等同于标准 AR 的贪心输出）。通过调节 θ ，可在速度与精度之间连续插值： - **高 θ **：保守策略，提交前缀短，精度接近 AR； - **低 θ **：激进策略，提交前缀长，吞吐量更高但可能偏离 AR 轨迹。 #### (b) ProVe-lossless：提议者自验证（无损）将验证器替换为**提议者自身**。在生成候选块后，将提议出的 token 作为普通输入回传给提议者，执行第二次前向传播，获得其在已实现前缀下的标准贪心预测。从块首开始逐位比对： - 若提议 token 与第二次传播的贪心预测一致，则该 token 必然位于 AR 贪心轨迹上； - 在首个不一致位置，提交第二次传播给出的贪心 token 并结束本轮； - 若整个块均一致，则额外提交块后的下一个贪心 token。这种自验证通过数学归纳保证了**逐 token 严格等价于提议者的贪心 AR 解码**，无需任何阈值或外部模型，每轮固定消耗两次提议者前向传播。 —- ### 4. 成本结构与加速原理设单次提议者传播成本归一化为 1，验证器相对成本为 rho = c_V / c_P 。每轮的理想化成本为： - **ProVe**： C(ProVe) = 1 + rho - **ProVe-lossless**： C(ProVe-lossless) = 2 - **标准推测解码**（ k 步串行起草）： C(Spec) = 1 + krho 关键差异在于 rho 的乘数。传统推测解码需支付 k 次小模型串行调用，而 ProVe 仅支付 1 次验证调用。即使采用规模相对较大的验证器（如 rho ≈ 0.34 的 3B 模型），ProVe 的单轮成本（ 1.34 ）仍显著低于用同型号模型进行 5 步串行起草的推测解码成本（ 1 + 5rho ≈ 2.70 ）。若每轮提交 a 个 token，则相对 AR 的理想加速比为 a / C 。 —- ### 5. 实验层面的解决效果在实现层面，论文通过以下设计确保方案有效： - **受控对比**：固定提议者与候选块不变，仅替换提交规则（MARS 置信度 vs. ProVe 验证），隔离出验证环节的净收益。在 GSM8K 上，ProVe-lossless 平均可提交 6.6 个匹配 token，而 MARS 默认规则仅提交 3.0 个。 - **无需独立起草头**：与 EAGLE-3 等需要专门训练草稿头的方法不同，ProVe-lossless 仅利用原模型两次传播即达到 2.5× 平均加速；使用 3B 验证器时，ProVe 在 2.7× 加速下仅损失 2.6 个百分点的平均精度。 - **结构化输出增益显著**：在 BBH、GSM8K 等长且结构化的生成任务上，由于后续 token 可预测性增强，块匹配前缀更长，加速比可达 3.0×–4.0×。 Q4: 论文做了哪些实验？论文围绕 **32B 规模指令模型**与**推理模型**展开系统评估，涵盖六大通用基准与两项数学推理基准，并从准确率–吞吐量权衡、消融分析、机制验证等维度设计了多组实验。主要实验内容可归纳如下： —- ### 1. 主实验：通用基准上的解码方法对比（32B 指令提议者）在 **Qwen2.5-32B-Instruct** 上训练块提议能力（ B=16 ），与五种基线在六个基准上对比： - **基准**：HumanEval、GSM8K、GPQA、BBH、MMLU-Pro、IFEval - **基线**： - 标准贪心 AR 解码（参考点） - 原始 MARS 置信度规则（ τ = 0.95, 0.90 ） - EAGLE-3（公开草稿头、树形解码；以及为本文提议者专门微调的草稿头） - 标准推测解码（以同款的 3B 或 7B 模型作为串行草稿模型， k=5 ） - **ProVe 配置**： - **ProVe-lossless**：提议者自验证，无阈值、无外部模型 - **ProVe**：以 stock 或微调后的 3B / 7B 作为验证器，阈值 θ ∈ 0.10, 0.05, 0.01 **核心结果**： - **ProVe-lossless** 平均达到 **2.54×** AR 吞吐量，范围从 IFEval 的 1.43× 到 BBH 的 3.98×，且输出与贪心 AR 逐 token 一致。 - **ProVe（7B stock, θ=0.05 ）** 达到 **2.30×** 平均加速，平均精度仅下降 **0.3** 个百分点。 - **ProVe（3B stock, θ=0.01 ）** 达到 **2.72×** 平均加速，平均精度下降 **2.6** 个百分点。 - ProVe-lossless 无需独立草稿头，其加速效果接近甚至超过为本文提议者专门微调的 EAGLE-3 树形解码（2.58×）。 - 在相同小模型下，ProVe 显著快于标准推测解码（例如 3B stock 验证器时 2.28× vs. 推测解码 1.63×）。 —- ### 2. 推理模型实验：长思维链生成验证方法是否适用于**长推理轨迹**。使用 **Qwen3-32B**（thinking 模式）作为提议者，**Qwen3-0.6B** 作为验证器/草稿模型： - **基准**：GSM8K、MATH-500 - **结果**： - ProVe-lossless：GSM8K **2.47×**，MATH-500 **2.79×** - ProVe（ θ=0.10 ）：GSM8K **2.34×**（ -0.4 点），MATH-500 **3.16×**（ -0.2 点） - 标准推测解码（同 0.6B 草稿）：GSM8K **2.06×**，MATH-500 **2.28×** —- ### 3. 提议块质量与验证信号分析通过**离线控制实验**量化验证环节的价值： - **AR 匹配前缀长度**：在 GSM8K 上沿贪心轨迹每位置提议 B=16 的块，平均匹配前缀为 **6.6** token；而 MARS 默认置信度规则（ τ=0.95 ）仅提交 **3.0** token，表明大量可用内容被浪费。 - **信号区分能力**（图 4 左）：以 AUC 衡量区分“匹配 token”与“非匹配 token”的能力： - 提议者置信度 p_i ：AUC 0.910 - 验证器概率 q_i ：AUC 0.960 - 乘积 p_i · q_i （ProVe 门控）：AUC 0.964 - **门控阈值扫描**（图 4 右）：对比不同门控规则在“每块接受 token 数”与“接受错误 token 的块比例”之间的帕累托前沿，验证乘积规则优于单一信号。 —- ### 4. 速度–精度权衡曲线（图 5）在 **GSM8K** 与 **HumanEval** 上绘制不同解码方法在“相对 AR 加速比”与“任务准确率”上的分布： - AR（方框）、ProVe-lossless（星号，位于 AR 准确率上） - MARS 置信度规则（灰色三角形） - ProVe 各验证器配置（彩色曲线， θ 从 0.10 到 0.01 自左向右）该图直观展示了 ProVe 通过阈值 θ 实现**连续可调**的速度–精度权衡，而 ProVe-lossless 提供**无损**的固定参考点。 —- ### 5. 加速来源的细粒度分析（图 6） - **响应长度效应**（左）：在 BBH 的 27 个子任务上，ProVe-lossless 的加速比与平均响应长度的对数呈正相关（ r = 0.59 ），短响应约 1.9×，长响应可达 5.5×。 - **块内匹配深度与提交长度**（右）：在 GSM8K 贪心轨迹上，随着生成位置后移，块内 AR 匹配前缀从早期的 4.2 token 增长至后期的 8.9 token；ProVe-lossless 每轮提交 token 数相应从 4.4 增至 7.5。 —- ### 6. 验证器微调效应（附录 C）对比 stock 验证器与经提议者输出微调的验证器： - 在**匹配错误率**相同的控制下，微调后的验证器每轮可多接受 **6–10%** 的 token。 - 绝对准确率与吞吐量见表 1 中的“trained”与“stock”列。 —- ### 7. 训练与实现层面的消融（附录 A） - **块训练对 AR 能力的影响**（表 3）：两阶段训练（先 AR SFT，后块目标）后，普通贪心 AR 的六项平均准确率从 73.1 微降至 72.6（ -0.6 点），说明块训练对基础 AR 能力影响有限。 - **推测解码草稿长度敏感性**（表 4）：对 3B / 7B 草稿模型测试 k ∈ 3, 5 ，结果互有胜负，但均不及同模型作为 ProVe 验证器时的表现。 - **块大小敏感性**：在 GSM8K 上测试 B ∈ 8, 16, 24, 32 ，ProVe-lossless 的加速比在 B=16 后趋于饱和（ B=16 : 2.79×， B=32 : 2.84×）。 - **并发请求扩展性**（图 8）：在 GSM8K 提示上，随着并发数 C 从 1 增至 32，ProVe-lossless 的相对加速从 3.2× 降至 1.6×，ProVe（3B）从 3.3× 降至 1.3×，反映该方法在**延迟受限场景**下收益最大。 —- ### 8. 测量有效性验证（附录 D） - **ProVe-lossless 的算法精确性**：将 ProVe-lossless 的生成交由标准 AR 服务器逐 token 核对，99.16% 的 token 为严格 argmax 一致，差异仅源于 bf16 浮点舍入与 tie-breaking。 - **评估不确定性**：报告各测试集样本量与 95% 置信半宽（如 HumanEval n=164 , ± 5.9 点；GSM8K n=1319 , ± 1.7 点），用于界定可解释的差异幅度。 Q5: 有什么可以进一步探索的点？基于论文内容及其明确指出的局限性，以下几个方面值得进一步探索： —- ### 1. 预训练阶段融合块提议目标论文中的提议者（Proposer）是通过对已有 AR 检查点进行后期微调得到的，且作者指出训练量仅为 MARS 完整配方的 20%。一个自然的延伸是**将块预测目标直接融入预训练阶段**，使模型在初始化时就具备多 token 并行预测的能力。这可能会显著提升深层位置的预测质量，增加 AR 匹配前缀长度，从而在不改变推理架构的前提下进一步提高 ProVe 与 ProVe-lossless 的加速上限。 —- ### 2. 从贪心解码扩展到随机采样目前所有实验均基于贪心解码。对于 ProVe-lossless，可借鉴标准推测解码中的**投机采样（speculative sampling）修正机制**，设计一种块级的接受–拒绝采样规则，使得两次前向传播的结果严格服从目标模型的采样分布（如温度采样、Top- p ）。对于 ProVe（有损设置），则需研究阈值 θ 在不同采样参数下对输出多样性与任务准确率的联合影响，以支持实际应用中的开放式生成场景。 —- ### 3. 自适应与动态块大小论文固定块大小 B=16 （尽管附录中测试了 B ∈ 8,16,24,32 ）。更优的策略可能是**根据上下文动态决定 B **：在代码模板、数学推理等高度结构化段落使用较大的 B ，而在决策点或语义转折处自动缩小 B 。这需要训练一个轻量级预测器，或利用提议者自身的置信度/熵信号来实时调节块大小，以平衡每轮提议质量与计算开销。 —- ### 4. 更智能的门控与验证机制论文采用的乘积门控 p_i · q_i 是无参的，且离线分析表明逻辑回归等可学习门控仅能带来 2–4% 的相对提升。然而，随着验证器与提议者数据的积累，可以探索： - **轻量级门控头**：在验证器顶部添加一个小型 MLP，直接输出每个位置的“应接受”概率，替代固定阈值 θ ； - **序列级而非前缀级验证**：当前机制仅验证连续前缀，可研究是否允许“跳过”单个低置信度 token 而接受其后更长的匹配子序列，即非单调的门控策略。 —- ### 5. 验证器的小型化与蒸馏论文发现验证器仅需判断局部合理性，无需复现提议者的长程预测能力。这暗示验证任务可能比完整生成更简单。未来可尝试： - **将验证器蒸馏为极小的专用网络**（如几层 Transformer 或甚至线性模型），以接近零的额外成本替代完整的 3B/7B 验证器； - **量化与稀疏化验证器**：由于验证器对生成质量的要求低于完整 AR 模型，可激进地应用 INT4/INT8 量化或结构化稀疏化，进一步压低 rho = c_V / c_P 。 —- ### 6. 系统级优化：高并发与 KV Cache 管理论文指出当前实现是研究导向的，且并发请求增加时加速比显著衰减（图 8）。工程层面值得探索： - **两轮传播的 KV Cache 复用**：在 ProVe-lossless 中，提议者第一轮对前缀的 KV Cache 理论上可在第二轮复用，减少重复计算； - **验证器调度的流水线化**：将提议与验证的重叠执行（pipelining）与更精细的内存池管理结合，降低每轮固定调度开销（论文测量为 4–8.7 ms）； - **针对云批处理场景的适配**：设计能同时优化首 token 延迟与整体吞吐的动态批次策略。 —- ### 7. 跨模型家族与更大规模的验证所有实验均基于 Qwen 系列的 32B 模型。需要在**不同架构**（如 Llama、Mistral、MoE 架构如 DeepSeek-V3）以及**更大规模**（70B+）上验证 ProVe 的普适性。特别地，对于 MoE 模型，验证器与提议者的专家路由模式可能存在差异，这将带来新的系统挑战与优化空间。 —- ### 8. 与树形/推测解码树的融合 EAGLE-3 等基线采用树形草稿（tree draft）同时验证多个候选分支。ProVe 目前验证的是单一线性块。一个有趣的融合方向是：**让大模型一次提议一棵树形结构**（例如基于占位符的多个候选延续），再由验证器通过一次树注意力（tree attention）前向传播并行评估多条路径，从而在单位成本下暴露更多候选 token。 —- ### 9. 长上下文与多轮对话场景论文评估以单轮、中短生成为主。在长上下文（如 128K+）或多轮对话中，远距离依赖与对话状态的动态变化可能影响块提议质量。需要研究： - 块匹配前缀长度是否随上下文长度增加而衰减； - 在多轮设置中，历史 KV Cache 的累积是否改变了 ProVe 每轮的最优块大小与验证成本结构。 —- ### 10. 理论刻画加速上限论文通过经验测量展示了加速比，但缺乏对 ProVe 加速上限的**形式化刻画**。可以建立关于“块内 AR 匹配前缀长度分布”与“每轮固定开销”的理论模型，推导出在给定提议质量与验证器成本 rho 下的最优加速比，并明确 ProVe 相对于标准推测解码的理论优势区间（例如，在什么 rho 与 k 的范围内角色反转严格更优）。 Q6: 总结一下论文的主要内容这篇论文提出 **ProVe: Proposer-Verifier Decoding**，一种通过反转传统推测解码角色分配来加速自回归语言模型推理的方法。以下从问题动机、核心方法、关键技术、实验发现与结论五个方面进行总结。 —- ### 1. 问题动机：传统推测解码的角色固化标准自回归（AR）语言模型每生成一个 token 需一次串行前向传播，延迟随输出长度线性增长。传统推测解码通过“小模型串行起草（draft） k 个 token + 大模型一次并行验证”来加速，但其角色分配受成本刚性约束：起草必须是串行的，故只能交给极小的廉价模型；验证是并行的，由大模型执行。论文指出，一旦大模型具备**单次前向传播生成未来多个 token**的能力（如基于 MARS 的块提议），这种固定分工便不再最优。此时，大模型可一次性并行提议一个 token 块，而验证只需读取已实现的前缀并判断提交长度。核心问题在于：块提议中实际包含大量正确 token，但仅凭提议者自身的置信度（在占位符条件下计算）无法充分利用，需要一种**读取已实现轨迹**的验证机制来回收这些 token。 —- ### 2. 核心方法：角色反转的 ProVe 论文提出 ProVe，将解码循环重构为两轮前向传播： - **提议（Propose）**：大模型（Proposer）在上下文后追加 B 个占位符 $

MASK
，通过一次因果前向传播并行输出未来 B 个 token 的候选块 y_1, dots, y_B 。 - 验证（Verify）：验证器（Verifier）通过一次 teacher-forced 前向传播读取该候选块，计算每个 token 在已实现前缀下的概率，并决定提交的最长前缀长度。论文提供两种验证模式： - ProVe：使用一个较小的 AR 模型（如 3B 或 7B）作为验证器。通过阈值 θ 控制接受策略，实现可控的速度–精度权衡。 - ProVe-lossless：使用提议者自身作为验证器。将候选块回传给原模型，比对标准贪心 AR 预测。若一致则提交，不一致则在首个分歧处用贪心 token 替换。该模式逐 token 严格等价于提议者的贪心 AR 解码，无需阈值与外部模型，实现无损加速。 —- ### 3. 关键技术与机制 #### 块提议模型基于 MARS（Jin et al., 2026），通过在标准 AR 模型上微调块预测目标，使其能基于占位符一次性预测后续 B 个 token。第 i$ 个位置的分布为：

pi(v) = P_P(v ,|, x(≤ t), [MASK], dots, [MASK](i-1))
其中第 1 个位置即为标准 AR 下一 token 预测，深层位置因缺少中间未来信息而预测难度递增。 #### 轨迹感知的门控分数提议者置信度 p_i 是在占位符条件下计算的“先验”，而验证器概率 q_i 是在实际提议前缀 y(<i) 条件下的“后验”。论文发现两者的乘积作为无参门控分数效果最优：

gate score = p_i · q_i
在 GSM8K 上，该乘积区分正确与错误 token 的 AUC 达到 0.964，优于任一单一信号。 #### 成本结构设提议者单次成本归一化为 1，验证器相对成本为 rho 。每轮理想化成本为： - ProVe： C = 1 + rho - ProVe-lossless： C = 2 - 标准推测解码（ k 步起草）： C = 1 + krho ProVe 的关键优势在于将验证器调用次数从 k 次降至 1 次，使得使用相对较大的验证器在经济上可行。 —- ### 4. 实验发现论文在 **Qwen2.5-32B-Instruct**（指令模型）与 **Qwen3-32B**（推理模型）上展开评估，涵盖 HumanEval、GSM8K、GPQA、BBH、MMLU-Pro、IFEval 及 MATH-500 等基准。 #### 主实验结果（32B 指令模型） - **ProVe-lossless**：平均达到 **2.54×** AR 吞吐量（范围 1.43×–3.98×），严格复现贪心 AR 输出。无需训练独立草稿头，加速效果接近为本文专门微调的 EAGLE-3 树形解码（2.58×）。 - **ProVe（7B stock, θ=0.05 ）**：平均 **2.30×** 加速，六项平均精度仅下降 **0.3** 个百分点。 - **ProVe（3B stock, θ=0.01 ）**：平均 **2.72×** 加速，平均精度下降 **2.6** 个百分点。 - 在相同小模型下，ProVe 显著快于标准推测解码（如 3B 时 2.28× vs. 1.63×）。 #### 推理模型实验（长思维链） - ProVe-lossless 在 GSM8K 与 MATH-500 上分别达到 **2.47×** 与 **2.79×**。 - ProVe（ θ=0.10 ）在 MATH-500 上达到 **3.16×**，精度仅降 0.2 点。 #### 关键分析 - **块质量**：在 GSM8K 上， B=16 的提议块平均包含 **6.6** 个与贪心 AR 匹配的前缀 token，而原始 MARS 置信度规则（ τ=0.95 ）仅提交 **3.0** 个，证明验证步骤能有效回收大量未被利用的正确 token。 - **动态特性**：加速比与响应长度正相关（BBH 子任务 r=0.59 ）；生成越往后，块内匹配前缀越长（从 4.2 增至 8.9 token），ProVe-lossless 每轮提交 token 数相应增加（4.4 至 7.5）。 —- ### 5. 结论 ProVe 通过反转传统推测解码的角色分工，让大模型负责并行块提议、小模型（或模型自身）负责一次性验证，证明了： 1. 大模型单次前向传播生成的候选块包含远超其自身置信度所指示的有效内容； 2. 一次额外的验证前向传播，通过读取**已实现的前缀轨迹**，能可靠地识别并提交这些内容； 3. 该框架无需训练独立草稿头，即可在无损（ProVe-lossless）或有损但高效（ProVe）的设定下，实现显著且稳健的解码加速。论文同时指出，未来可在预训练阶段融合块目标、扩展至随机采样场景、设计自适应块大小、以及进行更深入的系统级优化以进一步释放潜力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ziqi Jin,Weiwen Xu,Jiaxi Li,Yujie Zhong,Qi She,Aixin Sun

Categories:

PDF URL: https://arxiv.org/pdf/2610.27815.pdf

Arxiv URL: https://arxiv.org/abs/2610.27815

Arxiv ID: 2610.27815

CoolPaper URL: https://papers.cool/arxiv/2610.27815

Published: 2026-11-03T04:01:44.194Z

Updated: 2026-11-03T04:01:44.194Z