数据来源：HuggingFace Papers

Latest Papers

1. CodeOCR: On the Effectiveness of Vision Language Models in Code Understanding

Large Language Models (LLMs) have achieved remarkable success in source code understanding, yet as software systems grow in scale, computational efficiency has become a critical bottleneck. Currently, these models rely on a text-based paradigm that treats source code as a linear sequence of tokens, which leads to a linear increase in context length and associated computational costs. The rapid advancement of Multimodal LLMs (MLLMs) introduces an opportunity to optimize efficiency by representing source code as rendered images. Unlike text, which is difficult to compress without losing semantic meaning, the image modality is inherently suitable for compression. By adjusting resolution, images can be scaled to a fraction of their original token cost while remaining recognizable to vision-capable models. To explore the feasibility of this approach, we conduct the first systematic study on the effectiveness of MLLMs for code understanding. Our experiments reveal that: (1) MLLMs can effectively understand code with substantial token reduction, achieving up to 8x compression; (2) MLLMs can effectively leverage visual cues such as syntax highlighting, improving code completion performance under 4x compression; and (3) Code-understanding tasks like clone detection exhibit exceptional resilience to visual compression, with some compression ratios even slightly outperforming raw text inputs. Our findings highlight both the potential and current limitations of MLLMs in code understanding, which points out a shift toward image-modality code representation as a pathway to more efficient inference.

中文摘要

大型语言模型（LLMs）在源代码理解方面取得了显著成功，但随着软件系统规模的扩大，计算效率已成为关键瓶颈。目前，这些模型依赖基于文本的范式，将源代码视为线性序列的令牌，导致上下文长度和相关的计算成本线性增加。多模大型语言模型（MLLM）的快速发展为通过将源代码表示为渲染图像，提供了优化效率的机会。与文本不同，文本难以压缩而不丢失语义意义，而图像模态本质上适合压缩。通过调整分辨率，图像可以被放大到原始代币成本的一小部分，同时保持对具备视觉能力的模型的识别性。为了探讨该方法的可行性，我们进行了首个系统性研究，探讨MLLM在代码理解中的有效性。我们的实验显示：（1）MLLM能够有效理解代码，显著减少令牌，实现高达8倍压缩;（2） MLLM可以有效利用视觉提示，如语法高亮，在4倍压缩下提升代码完成性能;以及（3）代码理解任务如克隆检测表现出卓越的视觉压缩韧性，部分压缩比甚至略优于原始文本输入。我们的发现凸显了MLLM在代码理解上的潜在和当前局限性，指出图像模态代码表示作为更高效推理路径的转变。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决大规模代码理解场景下，文本模态带来的上下文长度线性增长与计算开销瓶颈。核心观察是：

  • 现有 LLM 将源码视为线性 token 序列，随系统规模扩大，上下文长度与推理成本同步上升；
  • 图像模态具备连续可压缩性（通过分辨率调整即可实现 token 减量），而文本压缩多为离散剪枝，易丢失语义。

因此，作者首次系统探究**“用渲染后的代码图像替代文本输入”**是否可行，并验证：

  1. 视觉表示在高达 8× token 压缩比下仍能保持甚至提升下游任务性能；
  2. 语法高亮等视觉增强在**中等压缩比（1×–4×）**下可进一步带来 1–3% 增益；
  3. 克隆检测等任务对视觉压缩具有异常鲁棒性，部分场景压缩后反而优于原始文本。

简言之，论文提出并实证了**“以视觉为中心的代码理解”新范式，为缓解长上下文效率瓶颈提供了一条不依赖文本剪枝**的替代路径。

Q: 有哪些相关研究？

论文在第 7 节“Related Work”中系统梳理了两大研究脉络，并指出自身与它们的区别。可归纳为以下两类：

  1. 面向代码的 Large Language Models
  • 代表工作：Codex、Code Llama、StarCoder、DeepSeek-Coder、Qwen2.5-Coder 等。
  • 核心特点：
  • 均以文本 token 序列作为代码唯一表示；
  • 通过扩大上下文窗口或稀疏注意力缓解长代码输入，但上下文线性增长带来的计算开销仍是瓶颈；
  • 文本压缩方法（LongCodeZip、Token Sugar 等）采用离散式 token 剪枝/重写，存在语义丢失且不可连续缩放。
  • 本文差异：首次提出图像模态连续压缩——用分辨率调整代替 token 丢弃，实现 2×–8× 无损减量，不依赖文本剪枝策略。
  1. 视觉文档理解与 OCR
  • 代表工作：TrOCR、Nougat、GOTOCR2.0、DeepSeek-OCR，以及通用 MLLM（GPT-4v、Gemini-3、InternVL、DocLLM 等）。
  • 核心特点：
  • 聚焦自然文档、图表、GUI 截图的端到端文字提取或问答；
  • 近期 DeepSeek-OCR 提出文档图像光学压缩，可达 20× 压缩比，但对象仍是松散排版的自然页面。
  • 本文差异：
  • 首次把“代码图像”作为结构化、语法敏感的独立模态系统研究；
  • 揭示代码在高压缩下层级退化规律（token→line→block 错误）及任务敏感差异（克隆检测极度鲁棒，而代码补全更易受字符误差影响）；
  • 提出面向代码的渲染-压缩工具链 CODEOCR，支持语法高亮、bold、多语言及动态分辨率调整，为后续“vision-first”代码智能提供可复现基线。

综上，既有研究要么专注文本侧代码建模，要么专注自然图像/文档 OCR，本文填补了“将源代码作为可压缩视觉信号”这一交叉点的空白，并给出系统实验证据与实用工具。

Q: 论文如何解决这个问题？

论文采用“视觉换文本、压缩换长度”的思路，将源代码渲染成可连续缩放的图像，以一次性降低 token 消耗并维持甚至提升理解性能。具体方案分四层：

  1. 模态转换与可控压缩
  • 用 Pygments + Pillow 把代码渲染为 2240×2240 基础分辨率图像，确保能被 14/16 像素 patch 整除；
  • 通过双线性下采样实现 1×–8× 精确压缩，使视觉 token 数量 = 原文本 token 数 / k，成本线性下降。
  1. 多任务、多模型、多语言大规模实证
  • 选 7 个主流 MLLM（Gemini-3、GPT-5、Qwen-3-VL、GLM-4.6v 等），覆盖 4 类代码理解任务（补全、摘要、克隆检测、问答）；
  • 在 Python 上系统比较“文本 vs 1× 图像”确立可行性（RQ1），再逐次提升压缩比至 8× 观察鲁棒性（RQ2）；
  • 引入语法高亮、bold 两种视觉增强，量化 1×–8× 压缩区间内的增益（RQ3）；
  • 将核心实验迁移到 Java，验证语言无关性（RQ4）；
  • 设计 OCR 式重建任务，用 CER/CodeBLEU/EM 刻画“字符-行-块”三级信息退化曲线，解释不同任务对压缩的敏感度（RQ5）。
  1. 统计与污染控制
  • 所有实验 5 次独立采样，Wilcoxon 检验显著性；
  • 构造“无上下文”与“2025-08 之后新仓库”双重基线，排除数据泄露与记忆答题。
  1. 实用工具链 CODEOCR
  • 将上述渲染-压缩-增强流程封装成中间件，支持 6 种语言、动态 token 预算、6.9k token/s 吞吐量；
  • 开发者只需把代码喂给 CODEOCR，即可获得指定压缩比与视觉风格的图像，直接调用 GPT/Gemini 等 API，实现“token 费用 4×–8× 节省”且无需修改模型。

通过“图像模态连续压缩 + 系统实验验证 + 开源工具落地”三位一体，论文不仅证明了视觉代码表示的可行性，也给出了可立即部署的解决方案，从而缓解长上下文带来的计算瓶颈。

Q: 论文做了哪些实验？

论文围绕 5 个研究问题（RQ1–RQ5）共设计了 4 类下游任务实验 + 1 项 OCR 重建诊断实验，覆盖 7 个主流 MLLM、2 种编程语言、4 档压缩比、3 种渲染风格，形成 “任务-模型-语言-压缩-增强” 五维实验矩阵。具体展开如下：

实验维度 设置要点
模型 7 个 SOTA MLLM：Qwen-3-VL、GLM-4.6v、GPT-5-mini、GPT-5.1、Gemini-2.5-Pro、Gemini-3-Flash、Gemini-3-Pro
语言 Python（全量）、Java（RQ4 复刻）
任务 ①代码补全 ②代码摘要 ③克隆检测 ④代码问答
输入模态 Text（原始文本 token） vs Image（渲染图像，1×–8× 压缩）
渲染风格 Plain、Bold、Highlight（RQ3 专用）
指标 EM、ES、CompScore、ACC、F1、CER、CodeBLEU、Exact-Match、Token/Line/Block Error Prevalence

1 下游任务主实验

RQ1 可行性对比（Text vs 1× Image）

  • 在 4 个任务、Python 数据集上，每样本保持“文本 token 数 = 视觉 token 数”；
  • 结果：6 个模型在至少 1 个任务上 Image ≥ Text，Gemini-3-Pro 四任务全面领先；GPT-5-mini 克隆检测 F1 提升 42%。

RQ2 压缩鲁棒性（1×→2×→4×→8×）

  • 同一模型-任务，逐步将图像分辨率下调至 12.5% token；
  • 结果：
    – 克隆检测/摘要任务 4×–8× 仍持平或反超；
    – Gemini-3 家族 8× 无显著下降，GPT/GLM 在 4× 后出现悬崖式下跌；
    – 代码补全与问答对 2×–4× 更敏感。

RQ3 视觉增强（Plain vs Bold vs Highlight）

  • 在 1×/2×/4×/8× 四档压缩下分别叠加粗体或语法高亮；
  • 结果：
    – 1×–4× 区间普遍 +1–3% ES/F1/ACC，Gemini-3-Flash 最高 +2.5%；
    – 8× 时增强几乎失效，Bold 甚至因笔画过粗而降低字符可辨性。

RQ4 跨语言泛化（Java 复现）

  • 仅保留补全与克隆检测两任务，压缩比与渲染策略同 RQ1–RQ3；
  • 结果：Python 观察到的“视觉≥文本”“压缩鲁棒”“高亮有效”三条核心趋势在 Java 完全一致，Gemini-3-Pro 补全 ES 再提升 12%。

2 信息退化诊断实验

RQ5 OCR 重建（100 全新仓库 × 4 压缩比）

  • 任务：给定压缩代码图，模型严格转录原文；
  • 指标：CER、CodeBLEU、EM + Token/Line/Block 错误占比；
  • 结果：
    – 错误呈“层级退化”——1× 先出 Token 错（0/O, 1/l），2×–4× 出现 Line 错，4×–8× 爆发 Block 错；
    – Gemini-3 家族保持 8× 时 Block 错误 <10%，对应下游任务性能稳定；其他模型 Block 错误 >40%，与补全/问答性能骤降高度一致。

3 延迟验证实验

  • 本地 8×A100 测 Qwen-3-VL & GLM-4.6v 的 TTFT；
  • 结果：同 token 规模下，Image 与 Text 的延迟曲线几乎重合，4× 压缩即带来 4× 延迟缩减，证明“视觉压缩→实时性”无额外编码器开销。

综上，论文通过 “对比-压缩-增强-跨语言-诊断-延迟” 六大实验模块，系统回答了“视觉代码表示行不行、能压多少、为何有效、怎么用”的完整链条。

Q: 有什么可以进一步探索的点？

以下方向可视为对“视觉代码理解”范式的直接延伸或深层追问，均建立在论文已验证结论之上，但尚未被系统探索：

  1. 任务-自适应渲染策略
  • 动态选择语言专属配色方案（如 Python 的 keyword vs Java 的 annotation 权重差异）；
  • 基于抽象语法树深度调节加粗/字号，对深层嵌套块给予更高视觉对比，验证是否降低 Block Error。
  1. 极端压缩与超分辨率恢复
  • 将压缩比推至 16×–32×，引入轻量级超分辨率模块（如 ESRGAN-14×14）先还原图像再喂入 MLLM，观测是否能在 <5% token 预算下维持可用语义。
  1. 视觉+文本混合专家路由
  • 设计路由网络根据代码行长度、符号密度或任务类型，动态决定“文本 token / 视觉 token”比例，实现模态混合而非纯图像替代，兼顾精度与压缩。
  1. 代码专用视觉预训练目标
  • 在现有 MLLM 视觉编码器上追加Syntax-Aware Pre-training：预测下一 token、括号匹配、控制流边缘等，检验是否提升 Token Error 容忍度与克隆检测性能。
  1. 跨模态编辑与调试
  • 将“视觉代码图”作为可编辑画布：模型输出差异热图或补丁框，用户点击即生成文本补丁，实现可视化调试；探索人机协同效率是否优于纯文本 diff。
  1. 多页代码自动分页与图级推理
  • 对 >1 万行文件，研究分页策略（按类/函数/滑动窗口）与图间注意力（cross-image attention）如何影响长距依赖建模，量化摘要与缺陷定位任务的召回变化。
  1. 视觉代码检索与对齐
  • 构建百万级“代码图-功能描述”对，训练双塔视觉-文本编码器，验证能否在 8× 压缩图上实现零样本代码搜索，并与 UniXcoder 等文本检索基线对比召回@k。
  1. 安全与鲁棒性
  • 构造视觉对抗样本（微小像素扰动导致 OCR 错但人眼不可察），测量是否可误导下游语义任务；研究代码图净化（similar to JPEG compression defense）能否降低攻击成功率。
  1. 实时 IDE 插件与用户研究
  • 将 CODEOCR 嵌入 VS Code，收集真实开发者交互日志（接受率、编辑时间、眼动），量化视觉压缩在真实工作流中的认知负荷与API 费用节省权衡。
  1. 多语言扩展与字形研究
  • 对 C/C++ 模板、Go 隐式接口、Rust 生命周期标注等符号密度极高语言，考察 4× 压缩下是否出现字形崩塌（如 :: 被误认为 :），并设计字体-超参数联合优化缓解。

这些方向分别从渲染算法、模型架构、训练目标、人机交互、安全等角度切入，可进一步释放“视觉代码表示”在效率、精度与用户体验上的潜力。

Q: 总结一下论文的主要内容

论文核心内容一览

维度 要点
问题 文本式 LLM 随代码规模线性增加上下文，带来高昂推理成本；文本压缩离散且易丢失语义。
思路 把源代码渲染成图像，利用分辨率连续下采样实现“视觉压缩”，用更少视觉 token 替代大量文本 token。
实验规模 7 个 SOTA MLLM × 4 类任务 × 1×–8× 压缩 × 3 种渲染 × Python+Java，共 5 维矩阵。
关键发现 ① 1× 视觉输入已能持平或优于文本（GPT-5-mini 克隆检测 F1 +42%）；② 8× 压缩后 Gemini-3 仍领先文本，部分任务性能反升；③ 语法高亮/粗体在 1×–4× 带来 1–3% 额外增益；④ Java 实验复现 Python 趋势，语言无关；⑤ 信息退化呈“token→line→block”层级，Gemini-3 在 8× 仍保持低 block 错误，解释其鲁棒性。
工具 开源中间件 CODEOCR，6 种语言、动态压缩、6.9k token/s 吞吐，可直接对接 GPT/Gemini API。
意义 首次系统验证“视觉代码表示”可行，提供不依赖文本剪枝的 2×–8× 成本节省路径，为后续视觉预训练、混合模态路由、IDE 可视化调试等新方向奠基。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yuling Shi,Chaoxiang Xie,Zhensu Sun,Yeheng Chen,Chenxu Zhang,Longfei Yun,Chengcheng Wan,Hongyu Zhang,David Lo,Xiaodong Gu

Categories: cs.CL,cs.SE

PDF URL: https://arxiv.org/pdf/2602.01785.pdf

Arxiv URL: https://arxiv.org/abs/2602.01785

Arxiv ID: 2602.01785

CoolPaper URL: https://papers.cool/arxiv/2602.01785

Published: 2026-02-02T08:10:21Z

Updated: 2026-02-02T08:10:21.000Z

2. AOrchestra: Automating Sub-Agent Creation for Agentic Orchestration

Language agents have shown strong promise for task automation. Realizing this promise for increasingly complex, long-horizon tasks has driven the rise of a sub-agent-as-tools paradigm for multi-turn task solving. However, existing designs still lack a dynamic abstraction view of sub-agents, thereby hurting adaptability. We address this challenge with a unified, framework-agnostic agent abstraction that models any agent as a tuple Instruction, Context, Tools, Model. This tuple acts as a compositional recipe for capabilities, enabling the system to spawn specialized executors for each task on demand. Building on this abstraction, we introduce an agentic system AOrchestra, where the central orchestrator concretizes the tuple at each step: it curates task-relevant context, selects tools and models, and delegates execution via on-the-fly automatic agent creation. Such designs enable reducing human engineering efforts, and remain framework-agnostic with plug-and-play support for diverse agents as task executors. It also enables a controllable performance-cost trade-off, allowing the system to approach Pareto-efficient. Across three challenging benchmarks (GAIA, SWE-Bench, Terminal-Bench), AOrchestra achieves 16.28% relative improvement against the strongest baseline when paired with Gemini-3-Flash. The code is available at: https://github.com/FoundationAgents/AOrchestra

中文摘要

语言代理在任务自动化方面显示出了强大的潜力。为了在越来越复杂、长远的任务中实现这一潜力，促使了“子代理作为工具”的多轮任务解决新范式的兴起。然而，现有的设计仍然缺乏对子代理的动态抽象视角，从而影响了适应性。我们通过一个统一的、与框架无关的代理抽象来解决这个挑战，该抽象将任何代理建模为一个元组：Instruction（指令）、Context（上下文）、Tools（工具）和Model（模型）。这个元组充当能力的组合化“配方”，使系统能够按需为每个任务生成专门的执行者。在此抽象基础上，我们引入了一个智能系统AOrchestra，其中中央协调者在每一步具体化该元组：它策划与任务相关的上下文，选择工具和模型，并通过实时自动创建代理来委派执行。这样的设计减少了人工工程投入，并且保持与框架无关，可即插即用地支持不同代理作为任务执行者。它还支持可控的性能-成本权衡，使系统能够接近帕累托效率。在三个具有挑战性的基准测试（GAIA、SWE-Bench、Terminal-Bench）中，当与Gemini-3-Flash配对时，AOrchestra相较最强基线实现了16.28%的相对提升。代码可在以下地址获取：https://github.com/FoundationAgents/AOrchestra

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决基于子代理（sub-agent）的智能体编排（orchestration）中缺乏动态抽象与适应性的问题，具体表现为现有范式在应对复杂、长程（long-horizon）任务时的灵活性不足与人工工程负担过重。核心挑战可归纳为以下两点：

1. 现有子代理范式的局限性

当前主流的 “sub-agent-as-tools” 范式在实践中往往退化为两种僵化的模式，难以适应开放环境中动态涌现的多样化子任务：

  • 上下文隔离线程（Context-isolated threads）：将子代理仅视为隔离的上下文容器（如 Thread、ContextFolding 等），虽能缓解上下文退化（context rot），但未能赋予子代理按需专业化（on-demand specialization）的能力，导致其无法针对特定子任务配置专属功能。
  • 静态预定义角色（Static, pre-defined roles）：将子代理硬编码为固定的专家角色（如 Coder、Debugger、Searcher 等），其能力与协调模式固化。这种设计不仅覆盖范围有限，无法应对动态变化的子任务类型，而且依赖大量人工工程进行预设，难以扩展至新环境。

2. 复杂长程任务的编排难题

随着智能体任务日益复杂化、多轮化，现有系统面临以下具体困难：

  • 上下文管理失当：在多轮交互中，存在信息过度共享（noisy over-sharing）或关键信息遗漏（harmful omission）的问题，导致长程执行鲁棒性差。
  • 能力组合僵化：缺乏在运行时根据子任务需求动态组合工具（Tools）与模型（Model）的机制，无法为每个子任务量身定制执行器（executor）。
  • 性能与成本权衡困难：现有系统缺乏灵活的路由机制来在不同模型间进行自适应选择，难以在任务成功率与执行成本（token、延迟、费用）之间实现帕累托最优。

核心解决思路

针对上述问题，论文提出将子代理视为可动态实例化的执行单元，通过统一的四元组抽象 langle Instruction, Context, Tools, Model rangle 实现按需专业化（on-demand specialization）。基于此抽象的 AORCHESTRA 系统通过中央编排器（Orchestrator）在每一步动态合成该四元组，从而：

  • 为每个子任务 curated（筛选）最相关的上下文，避免噪声干扰；
  • 动态选择最适配的工具子集与模型，实现精确的能力供给；
  • 保持与具体子代理实现的解耦，支持即插即用（plug-and-play）与策略学习（如通过 SFT 或上下文学习优化编排策略）。

Q: 有哪些相关研究？

该论文的相关研究主要涵盖以下两个方向：

1. 多智能体系统（Multi-Agent Systems）

受协作问题求解启发，早期研究提出多智能体系统（MAS）以增强语言模型的任务求解能力。代表性工作包括：

  • MetaGPT (Hong et al., 2023)：将智能体组织为结构化的软件开发工作流，通过预定义的角色（如产品经理、架构师）和通信协议进行协作。
  • OWL (Hu et al., 2025)：采用 planner-worker 工作流，通过模块化领域无关的规划与领域特定的执行来提升迁移与泛化能力。
  • AutoAgents (Chen et al., 2023)：提出为每个任务构建不同的多智能体系统，但仍依赖固定工作流来完成这一目标。

主要局限：大多数 MAS 通常依赖固定的工作流，导致系统僵化（rigidity）。尽管部分工作尝试动态构建多智能体系统，但仍未摆脱特定人工设计工作流的束缚。这促使研究范式向 “sub-agents-as-tools” 转变。

2. 子代理即工具（Sub-Agent as Tools）

该范式涉及主智能体以类似工具调用的方式调用子代理来解决问题，相关研究包括：

  • THREAD (Schroeder et al., 2025)：支持递归生成子代理以处理分解后的子问题。
  • ContextFolding (Sun et al., 2025)：提出为子任务进行分支（branching），然后通过将中间步骤压缩为简洁摘要来折叠（folding）回主上下文，从而管理上下文。
  • Claude Code (Anthropic, 2025)：支持在隔离上下文窗口中运行的子代理，可自定义系统提示和工具权限。

主要局限：上述方法未将子代理视为完全专业化的智能体，导致其能力利用不充分；而 Claude Code 等实用系统虽支持上下文隔离，但子代理通常被配置为静态专家角色，其能力或协调模式通常是硬编码的，仍需大量人工工程设计，难以适应开放环境中动态涌现的多样化子任务。

3. 与现有工作的关键区别

AORCHESTRA 区别于上述工作的核心在于：

  • 动态专业化视角：将子代理视为可运行时参数化的动态单元（dynamic unit），而非预定义的固定角色或单纯的上下文隔离线程。
  • 统一抽象接口：提出统一的四元组抽象 langle Instruction, Context, Tools, Model rangle ，使系统能够按需（on-the-fly）自动创建具备特定工作记忆与能力的 tailored executors。
  • 编排中心架构：采用以编排器为中心的架构，专注于动态分解目标、合成四元组参数并委托执行，而不依赖特定人工设计的工作流，且支持从交互经验中学习编排策略（如监督微调与上下文学习）。

Q: 论文如何解决这个问题？

论文通过提出 AORCHESTRA 框架，从抽象机制、架构设计与学习范式三个层面系统性地解决了上述问题。具体方法如下：

1. 统一四元组代理抽象（Unified 4-Tuple Agent Abstraction）

为克服静态角色与上下文隔离的局限性，论文提出一种与框架无关的统一抽象，将任何代理（包括主代理与子代理）建模为可实例化的四元组：

Phi = (I, C, T, M)

其中：

  • I （Instruction）：任务指令，明确当前目标与成功标准；
  • C （Context）：经筛选的工作上下文，仅注入与当前子任务最相关的信息，过滤潜在干扰；
  • T （Tools）：工具集合，定义代理可执行的操作空间；
  • M （Model）：底层语言模型，负责与环境交互。

该抽象将代理能力分解为两个互补轴：工作记忆（ I, C ）与执行能力（ T, M ），使子代理成为可在运行时动态参数化的即时创建单元（instantiable unit），而非预定义实体。

2. 编排器中心架构（Orchestrator-Centric Architecture）

AORCHESTRA 采用严格的编排-执行解耦设计。中央编排器（Orchestrator）仅专注于高层次编排，不直接执行环境动作 A_(env) 。其动作空间定义为：

A_(AORCHESTRA) = Delegate(Phi), Finish(y)

  • Delegate (Phi_t) ：在步骤 t 接收当前状态 s_t ，动态合成四元组 Phi_t = (I_t, C_t, T_t, M_t) ，并生成对应的执行器 A(Phi_t) 。执行器在隔离环境中运行，仅基于 (I_t, C_t) 进行推理，并受限于工具集 T_t 与模型 M_t 。执行完成后返回结构化观察 o_t 。
  • Finish (y) ：终止交互并输出最终答案 y 。

状态转移遵循：

s(t+1) = δ(s_t, a_t, o_t), quad 其中 a_t ∈ A(AORCHESTRA)

这种设计确保编排器无需关注子代理内部实现（如 ReAct 或 Mini-SWE），实现**即插即用（plug-and-play）**的模块化。

3. 动态专业化机制（Dynamic Specialization）

基于上述抽象，编排器在每一步骤 t 通过以下机制实现按需专业化：

  • 上下文筛选（Context Curation）：主动从完整历史 s_t 中提取与子任务相关的证据，避免上下文退化（context rot）或信息过载；
  • 工具选择（Tool Selection）：为每个子任务选择最小必需的工具子集 Tt ⊂eq T(pool) ，而非暴露全部工具；
  • 模型路由（Model Routing）：根据任务复杂度与成本约束，从模型池中选择最合适的 M_t 。

4. 可学习的编排策略（Learnable Orchestration）

论文证明编排策略 π_θ(a_t | s_t) 可通过以下两种互补方式学习，以优化目标：

max_(π) E[ 1Success(G) - λ · Cost(τ) ]

其中 λ 控制性能-成本权衡， τ 为交互轨迹。

4.1 监督微调（SFT）用于任务编排

给定专家轨迹 (s_t, a_t^*) ，通过行为克隆微调编排器：

θ^ = argmaxθ ∑_t log pθ(a_t^ | s_t)

此过程主要提升子任务分解能力与四元组合成质量（即优化 I_t, C_t, T_t 的生成），实验表明在 8B 参数模型上可显著提升长程问题解决能力。

4.2 上下文学习（ICL）用于成本感知路由

在不更新模型权重的情况下，将主代理指令 I_(main) 视为可学习对象。通过迭代交互收集轨迹 τ_k 及其性能与成本指标，利用优化模型（如 Claude Sonnet 4.5）生成提示改进 Delta I ：

I(main)^(k+1) = OPTIMIZE(I(main)^k, τ_k, Perf(τ_k), Cost(τ_k))

经过 N 轮优化，该过程可发现性能-成本的帕累托前沿（Pareto frontier），例如在不降低准确率的前提下减少 18.5% 的平均成本。

5. 方法优势总结

设计要素 解决的问题 具体机制
四元组抽象 静态角色僵化 运行时动态组合 (I, C, T, M)
编排-执行解耦 实现细节耦合 编排器仅操作 Phi ，子代理实现可替换
上下文筛选 上下文退化/噪声 C_t 仅包含任务相关证据
可学习性 人工工程负担 SFT 优化编排逻辑，ICL 优化成本路由

Q: 论文做了哪些实验？

论文在 4.1 至 4.3 节 及附录中设计了系统的实验验证，涵盖基准测试、基线对比、消融分析与案例研究四个层面，具体如下：

1. 实验设置

1.1 评估基准

实验在三个具有挑战性的智能体基准上进行，覆盖不同交互环境：

  • GAIA (Mialon et al., 2023)：验证集共 165 个任务，测试通用 AI 助手在多跳推理、网页浏览、文件处理与多模态操作上的能力。
  • Terminal-Bench 2.0 (Team, 2025)：测试集共 89 个任务（实验采样 70 个），评估在 Linux 终端/bash 环境中完成多步真实工作流的能力。
  • SWE-Bench-Verified (Jimenez et al., 2023)：验证集共 500 个任务（实验采样 100 个），要求智能体在真实 GitHub 仓库中定位 bug、生成补丁并通过测试。

1.2 对比基线与方法

对比以下代表性智能体框架：

  • ReAct (Yao et al., 2022)：单智能体 ReAct 范式，直接交替推理与行动。
  • OpenHands (Wang et al., 2024)：开源通用智能体平台。
  • Mini-SWE (Yang et al., 2024)：极简代码智能体，专用于 GitHub issue 解决。
  • Claude Code (Anthropic, 2025)：生产级 CLI 智能体，支持预定义子代理。

1.3 模型配置

使用三类前沿语言模型作为主干：

  • Gemini-3-Flash、DeepSeek-V3.2（强模型）
  • Claude-4.5-haiku（较小模型）

AORCHESTRA 的超参数设置：编排器最大尝试次数 max attempt=10 ，子代理最大步数 max step=50 ；基线方法统一设置 max step=500 以保证公平。

2. 主要性能结果（Table 1）

在**零样本（training-free）**设置下，AORCHESTRA 在所有基准上均取得最优表现。关键结果如下：

方法 模型 GAIA (Pass@1) Terminal-Bench (Pass@1) SWE-Bench-V (Pass@1) 平均 Pass@1
ReAct Gemini-3-Flash 49.09 28.57 64.00 47.22
OpenHands Gemini-3-Flash 66.06 31.43 48.00 48.49
Mini-SWE Gemini-3-Flash 58.18 34.29 56.00 49.49
Claude Code Gemini-3-Flash — 32.86 22.00 27.43
AORCHESTRA Gemini-3-Flash 80.00 52.86 82.00 71.62
  • 总体提升：搭配 Gemini-3-Flash 时，AORCHESTRA 在三个基准上平均 Pass@1 达到 71.62%，相比最强基线（OpenHands 48.49%）实现 16.28% 的相对提升（按绝对差值计算为 23.13%）。
  • 跨模型鲁棒性：在 DeepSeek-V3.2 和 Claude-4.5-haiku 上，AORCHESTRA 同样保持领先，且在使用较弱模型（Claude-4.5-haiku）作为子代理时仍取得 60.61% 的 GAIA Pass@1。

3. 消融实验与优势验证

3.1 上下文控制机制（Table 2）

在 GAIA 采样 50 个任务上，对比三种上下文传递策略：

  • No-Context：子代理仅接收任务指令；
  • Full-Context：子代理继承全部历史上下文；
  • Ours（筛选上下文）：编排器动态 curated 相关上下文。
设置 Level 1 Level 2 Level 3 平均
No-Context 89.47 81.48 75.00 86.00
Full-Context 94.74 77.78 75.00 84.00
Ours 100.00 88.89 75.00 96.00

结果表明，显式上下文筛选显著优于无上下文（缺乏关键执行痕迹）和全上下文（引入无关信息导致退化）两种极端。

3.2 可学习编排器验证

(1) 监督微调（SFT）效果（Table 3）

使用 Qwen3-8B（8B 参数）作为编排器，保持 Gemini-3-Flash 作为子代理执行器：

  • 基础模型：56.97% 准确率，成本 $0.36；
  • SFT 后：提升至 68.48%（+11.51%），验证了编排能力可通过行为克隆（Behavior Cloning）有效学习。

(2) 成本感知路由与帕累托前沿（Table 3 & Figure 4）

通过**上下文学习（ICL）**迭代优化编排器指令（使用 Claude Sonnet 4.5 作为优化模型，共 5 轮）：

  • 性能-成本权衡：在混合模型设置下，ICL 优化后的策略将 GAIA Pass@1 从 72.12% 提升至 75.15%，同时将平均成本从 0.70 降低至 0.57（减少 18.5%）。
  • 帕累托前沿：Figure 4 显示，AORCHESTRA 在不同模型选择（Gemini-3-Flash、DeepSeek-V3.2、Claude-4.5-haiku 等）下的配置点构成了帕累托前沿，系统性优于 ReAct、OpenHands 等基线。
系统 模型 准确率 平均成本
Ours (Qwen3-8B) Gemini-3-Flash 56.97% $0.36
Ours (SFT) Gemini-3-Flash 68.48% $0.68
Ours (ICL) Mixed 75.15% $0.57

3.3 即插即用子代理鲁棒性（Table 4）

在 Terminal-Bench 上，固定 Gemini-3-Flash 作为编排器，替换子代理后端实现：

  • ReAct-style Sub-Agent：准确率 48.57%（基线 ReAct standalone 仅 28.57%）；
  • Mini-SWE-style Sub-Agent：准确率 44.29%（基线 Mini-SWE standalone 为 34.29%）。

结果表明，不同子代理实现均可通过统一四元组接口接入并稳定提升性能，验证了架构的模块化与鲁棒性。

4. 案例研究（Appendix C）

在 GAIA 的 165 个任务中选取典型案例进行轨迹分析，展示了：

  • 长程执行能力：成功完成需 10 次尝试、总成本 $5.93 的复杂任务（如任务 935e2cff），未出现上下文退化；
  • 错误恢复机制：在 Level-3 困难任务（如 8131e2c0、0512426f）中，通过编排器的反思与重新规划，在多次失败后最终收敛至正确答案。

Q: 有什么可以进一步探索的点？

基于论文内容与实验局限，以下是可以进一步探索的研究方向，按技术层次分类：

1. 编排策略的学习与优化

  • 先进强化学习方法：论文指出当前仅采用简单的监督微调（SFT），明确建议可引入 GRPO、PPO 或 DPO 等强化学习算法来训练编排器，以更好地探索长期回报（long-term reward）而非单纯模仿专家轨迹。
  • 在线学习与自适应：当前 ICL 优化基于离线轨迹分析，可探索在线自适应编排——即在任务执行过程中实时调整策略，而非仅依赖多轮迭代后的提示优化。
  • 多目标优化扩展：除成本与准确率外，可引入延迟、能耗、用户满意度等多维约束，构建更复杂的多目标帕累托前沿。

2. 上下文与记忆机制深化

  • 可学习的上下文筛选器：当前上下文管理依赖编排器的提示工程，可训练专门的上下文编码器或检索模型，自动从历史轨迹 s_t 中提取与当前子任务最相关的证据，替代人工设计的筛选逻辑。
  • 层次化记忆架构：探索外部记忆库（如向量数据库）与四元组中 C 的动态交互，支持跨任务的长期知识积累与复用，而非仅依赖单轨迹内的上下文传递。
  • 跨代理上下文共享机制：研究多个并行子代理间的安全上下文共享协议，平衡信息流通与隔离需求。

3. 动态能力扩展（Tools & Models）

  • 自动工具发现与合成：当前工具集 T 是静态预定义的，可探索工具学习（tool learning）——让系统在运行时发现新 API 或合成新工具（如通过代码生成创建临时工具），并动态纳入 T 。
  • 细粒度模型路由：除整任务级别的模型选择外，可探索子任务内自适应路由（如根据中间结果动态切换模型）或模型集成（ensemble）策略，组合多个模型的输出以提升鲁棒性。
  • 多模态能力动态组合：当前实验主要基于文本，可扩展至视觉、音频等多模态工具与模型的动态编排。

4. 架构与系统层面

  • 分层编排（Hierarchical Orchestration）：当任务复杂度极高时，单一编排器可能成为瓶颈。可探索递归编排——将编排器本身视为可嵌套的子代理，形成层次化控制结构。
  • 多编排器协作：研究多个独立编排器并行或竞争求解同一任务（如多智能体辩论），通过元编排器（meta-orchestrator）协调，提升复杂问题的求解覆盖率。
  • 子代理实现的标准化接口：当前子代理后端（ReAct、Mini-SWE 等）需人工适配，可开发统一的子代理描述语言（DSL），实现真正的零代码即插即用。

5. 理论分析与安全性

  • 复杂度与收敛性分析：对编排过程的样本复杂度、收敛条件进行理论刻画，分析动态子代理创建对计算复杂度与信息下界的影响。
  • 安全与对齐机制：动态创建子代理可能引入不可预测的行为（如工具滥用）。需研究沙箱强化、能力边界验证（capability verification）及价值观对齐机制，确保生成的 Phi 符合安全约束。
  • 可解释性：可视化编排器的决策过程（如为何选择特定 M_t 或 T_t ），提升系统在关键任务中的可信度。

6. 跨领域泛化

  • 物理世界智能体：将框架扩展至机器人控制、具身智能（embodied AI）等需要与物理环境交互的场景，探索四元组抽象在传感器数据处理与动作空间定义中的适用性。
  • 开放域终身学习：评估系统在持续 encountering 新类型任务时的持续学习能力，避免编排策略的灾难性遗忘。

Q: 总结一下论文的主要内容

本文介绍 AORCHESTRA，一种面向复杂长程任务的智能体编排框架，通过统一抽象与动态子代理创建机制，解决了现有 “sub-agent-as-tools” 范式中静态角色僵化与上下文管理失当的问题。

1. 核心问题与动机

现有子代理方法主要存在两类局限：

  • 上下文隔离线程：仅将子代理视为隔离的上下文容器（如 Thread、ContextFolding），虽缓解上下文退化（context rot），但缺乏按需专业化能力；
  • 静态预定义角色：采用固定的专家角色（如 Coder、Debugger），其能力硬编码，无法覆盖开放环境中动态涌现的子任务类型，且依赖大量人工工程。

2. 统一四元组抽象

论文提出与框架无关的代理抽象，将任何代理（主代理或子代理）建模为可实例化的四元组：

Phi = (I, C, T, M)

其中 I （Instruction）为任务指令与成功标准， C （Context）为经筛选的上下文， T （Tools）为工具集合， M （Model）为底层模型。该抽象将代理能力分解为工作记忆（ I, C ）与执行能力（ T, M ）两个互补轴，使子代理成为可在运行时动态参数化的即时创建单元。

3. 编排器中心架构

AORCHESTRA 采用严格的编排-执行解耦设计：

  • 编排器（Orchestrator）：仅专注于高层次编排，不直接执行环境动作。其动作空间为 A_(AORCHESTRA) = Delegate(Phi), Finish(y) 。
  • 动态创建机制：通过 Delegate(Phi_t) 在步骤 t 动态合成四元组 Phi_t = (I_t, C_t, T_t, M_t) ，并生成对应的执行器。执行器在隔离环境中运行，仅基于 curated 的 (I_t, C_t) 推理，并受限于选定的工具集 T_t 与模型 M_t 。
  • 状态转移： s_(t+1) = δ(s_t, a_t, o_t) ，其中观察 o_t 包含执行结果摘要与关键产物。

4. 可学习性设计

该架构支持从交互经验中优化编排策略 π_θ(a_t|s_t) ：

  • 监督微调（SFT）：通过行为克隆在专家轨迹上微调编排器，提升子任务分解与四元组合成能力。实验表明，对 8B 参数模型（Qwen3-8B）进行 SFT 可在 GAIA 上提升 11.51% 的准确率。
  • 上下文学习（ICL）：将主代理指令视为可优化对象，通过迭代交互与帕累托导向的优化，在保持性能的同时降低 18.5% 的平均成本，实现性能-成本权衡的最优前沿。

5. 实验验证

在三个挑战性基准（GAIA、Terminal-Bench 2.0、SWE-Bench-Verified）上的实验表明：

  • 性能领先：搭配 Gemini-3-Flash 时，相比最强基线（OpenHands）实现 16.28% 的相对提升（Pass@1 绝对值从 48.49% 提升至 71.62%）；
  • 上下文控制有效性：显式筛选上下文（96.00%）显著优于无上下文（86.00%）与全上下文（84.00%）；
  • 即插即用鲁棒性：子代理后端可替换为 ReAct、Mini-SWE 等不同实现，均稳定提升性能，验证架构的模块化；
  • 跨模型泛化：在 DeepSeek-V3.2、Claude-4.5-haiku 等不同规模模型上均保持领先。

6. 主要贡献

  • 提出统一的四元组抽象 langle Instruction, Context, Tools, Model rangle ，实现子代理的按需动态专业化；
  • 构建编排中心架构，支持即插即用的子代理实现与可学习的编排策略（SFT 与 ICL）；
  • 在多个复杂长程任务基准上验证显著性能提升与优越的性价比权衡。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jianhao Ruan,Zhihao Xu,Yiran Peng,Fashen Ren,Zhaoyang Yu,Xinbing Liang,Jinyu Xiang,Bang Liu,Chenglin Wu,Yuyu Luo,Jiayi Zhang

Categories: cs.AI,cs.CL

PDF URL: https://arxiv.org/pdf/2602.03786.pdf

Arxiv URL: https://arxiv.org/abs/2602.03786

Arxiv ID: 2602.03786

CoolPaper URL: https://papers.cool/arxiv/2602.03786

Published: 2026-02-03T17:46:16Z

Updated: 2026-02-03T17:46:16.000Z

3. No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs

This work stems from prior complementary observations on the dynamics of Chain-of-Thought (CoT): Large Language Models (LLMs) is shown latent planning of subsequent reasoning prior to CoT emergence, thereby diminishing the significance of explicit CoT; whereas CoT remains critical for tasks requiring multi-step reasoning. To deepen the understanding between LLM’s internal states and its verbalized reasoning trajectories, we investigate the latent planning strength of LLMs, through our probing method, Tele-Lens, applying to hidden states across diverse task domains. Our empirical results indicate that LLMs exhibit a myopic horizon, primarily conducting incremental transitions without precise global planning. Leveraging this characteristic, we propose a hypothesis on enhancing uncertainty estimation of CoT, which we validate that a small subset of CoT positions can effectively represent the uncertainty of the entire path. We further underscore the significance of exploiting CoT dynamics, and demonstrate that automatic recognition of CoT bypass can be achieved without performance degradation. Our code, data and models are released at https://github.com/lxucs/tele-lens.

中文摘要

这项工作源于之前关于“链式思维”（Chain-of-Thought，CoT）动态的互补观察：研究表明，大型语言模型（LLMs）在CoT出现之前就会进行潜在的后续推理规划，从而削弱了显式CoT的重要性；然而，对于需要多步推理的任务，CoT仍然至关重要。为了加深对LLM内部状态与其语言化推理轨迹之间关系的理解，我们通过所提出的探测方法Tele-Lens，研究了LLM的潜在规划能力，将其应用于不同任务领域的隐藏状态。我们的实证结果表明，LLMs具有近视性视野，主要进行增量过渡，而缺乏精确的全局规划。利用这一特点，我们提出了一个增强CoT不确定性估计的假设，并验证了CoT位置的少量子集能够有效代表整条路径的不确定性。我们进一步强调了利用CoT动态的重要性，并展示了在不降低性能的情况下实现CoT绕过的自动识别。我们的代码、数据和模型已发布于https://github.com/lxucs/tele-lens。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决关于大型语言模型（LLM）思维链（Chain-of-Thought, CoT）机制中潜在规划能力的核心问题，具体包括：

核心研究问题：LLM 的潜在规划范围（Latent Planning Horizon）

论文针对此前看似矛盾的研究发现——即 LLM 既表现出在 CoT 生成前进行内部规划的能力，又似乎需要显式的 CoT 步骤来完成多步推理——试图厘清以下关键问题：

  • 全局规划 vs. 局部转换：LLM 的隐藏状态（hidden states）究竟在多大程度上编码了对整个推理路径的全局规划（global plan）， versus 仅仅支持局部的、增量的状态转换（local, incremental transitions）？
  • 规划视野的边界：LLM 能够提前规划多远？其内部表示是否真能预见到推理的终点，还是仅能预测接下来的少数几个 token？

基于规划特性的应用问题

在揭示规划机制的基础上，论文进一步探索如何利用这种”短视”（myopic）的规划特性来改进 CoT 的实际应用：

  • 不确定性估计：提出”木桶原理”（Wooden Barrel principle）假设——即推理链的可靠性由少数关键”支点”（pivot positions）决定，而非全局平均。论文验证是否仅需关注少量高不确定性位置即可准确估计整个推理路径的置信度。
  • CoT 必要性识别：利用早期隐藏状态中存在的粗略答案信号（coarse answer gist），自动识别何时可以跳过 CoT 生成直接输出答案（CoT bypass），从而在保持性能的同时减少计算开销。

简言之，该工作通过探针方法（Tele-Lens）系统性地解剖了 CoT 动态，揭示了 LLM 缺乏真正的长程全局规划能力，主要依赖短视的局部转换，并据此提出了优化不确定性校准和推理效率的实用策略。

Q: 有哪些相关研究？

基于论文内容，相关研究可分为以下几个主要方向：

1. Chain-of-Thought (CoT) 基础与演变

  • CoT 的提出与基础：Nye et al. (2021) 提出使用 scratchpads 进行中间计算；Wei et al. (2022) 提出 Chain-of-Thought prompting，从根本上改变了自然语言处理中的问题解决范式。
  • 提示工程进展：Zhou et al. (2023) 关于自动提示工程；Dong et al. (2024) 关于上下文学习综述；Sahoo et al. (2025) 系统综述提示工程技术。
  • 深度推理模型：DeepSeek-AI (2025) 提出的 DeepSeek-R1 通过强化学习激励推理能力。

2. LLM 内部规划与隐藏状态研究

  • 早期规划迹象：近期研究发现 LLM 在 CoT 显式出现前就表现出内部规划能力：
  • Dong et al. (2025) 发现 CoT 开始时的隐藏状态可可靠预测总推理步数和关键属性；
  • Pal et al. (2023) 表明早期隐藏状态已携带后续生成信息；
  • Azaria & Mitchell (2023); Gottesman & Geva (2024); Afzal et al. (2025) 发现 CoT 初始阶段已有效规划最终答案。
  • 世界知识表征：Patel & Pavlick (2022); Li et al. (2023) 研究语言模型到基础概念空间的映射。

3. Transformer 理论限制与表达能力

  • 架构局限性：Bhattamishra et al. (2023); Merrill & Sabharwal (2023); Li et al. (2024) 分析 Transformers 表达能力受限，难以在单步内高效执行函数组合。
  • CoT 的必要性：理论分析表明 CoT 中间步骤对长度泛化 (Anil et al., 2022; Xiao & Liu, 2025) 和组合推理 (Wies et al., 2023; Abbe et al., 2024; Zubic et al., 2025) 至关重要。
  • 特定任务难度：Chiang & Cholak (2022); Hahn & Rofin (2024) 对 Parity 任务等敏感函数的研究。

4. 不确定性估计与置信度校准

  • 通用不确定性指标：Huang et al. (2024) 综述 LLM 不确定性估计；Chen et al. (2024) 利用内部状态检测幻觉；Bakman et al. (2025) 重新评估野外 LLM 不确定性估计方法。
  • Self-Certainty：Kang et al. (2025) 提出基于词汇表预测分布的可扩展最佳采样选择方法。
  • 真实性探测：利用隐藏状态探测真实回答 (Azaria & Mitchell, 2023; Chen et al., 2026; Liu et al., 2024; Gottesman & Geva, 2024)。

5. CoT 动态利用与效率优化

  • CoT 压缩：Li et al. (2025) 通过步骤熵压缩 CoT；Zhang et al. (2025); Singh & Hakkani-Tür (2026) 识别功能重要 token。
  • 关键 Token 识别：Wang et al. (2025b) 发现仅约 20% token 是高熵的；Bigelow et al. (2025) 提出基于采样的 pivot token 识别方法。
  • 训练与推理优化：Huang et al. (2025) 利用关键表征进行微调；Ton et al. (2025) 通过信息论量化 CoT 每步信息增益。
  • CoT 的负面影响：Sprague et al. (2025); Liu et al. (2025) 识别 CoT 可能降低性能的场景。

6. 探测方法与可解释性技术

  • Logit Lens：nostalgebraist (2021); Belrose et al. (2023) 提出的调优透镜方法，用于检查 Transformers 的层间可解释性。
  • 参数高效微调：Houlsby et al. (2019) 提出的低秩适配器 (Adapter) 方法，用于高效迁移学习。
  • 层间分析：Reif et al. (2019); Garí Soler & Apidianaki (2021); Skean et al. (2025) 关于中间层编码丰富语义信息的研究。

Q: 论文如何解决这个问题？

该论文通过系统性的探测实验与基于发现的应用验证两条路径解决上述问题，具体方法如下：

1. 探测方法设计：Tele-Lens

为评估 LLM 的潜在规划能力，论文提出 Tele-Lens 探测框架，其核心设计包括：

  • 架构基础：借鉴 Logit Lens (nostalgebraist, 2021; Belrose et al., 2023) 范式，但通过**低秩适配器（Low-Rank Adapter）**转换隐藏状态，而非直接映射，以缓解过拟合并降低计算开销。
  • 数学形式：对于第 k 层的隐藏状态 H_i^k ∈ R^d ，通过适配器参数 A_k ∈ R^(d × r) 、 B_k ∈ R^(r × d) 和可选的位置嵌入 Emb_k 进行变换：
    H_i^k = GeLU(H_i^k + Emb_k(δ)) A_k B_k
    其中 δ 为预测偏移量，用于注入目标预测位置信息。
  • 多维度探测：针对每个 CoT token 的隐藏状态，沿三个正交维度进行探测：
  1. 后续 Token 预测：预测未来 m 个 token（支持全词汇表）
  2. 推理长度预测：通过回归层预测总推理步数
  3. 最终答案预测：预测固定答案空间中的最终答案（适用于多项选择任务）

2. 全面实证分析：跨领域任务验证

为避免单一任务带来的偏差，论文在 12 个多样化任务上进行探测，涵盖：

  • 显式组合任务（Parity、Cycle、Subsum）：需要严格多步程序
  • 隐式组合任务（GSM8K、MATH、AIME、MuSR、Zebra）：数学与逻辑推理
  • 知识与语义任务（CSQA、MMLU、QuALITY、GPQA）：基于语义理解的知识查询

使用两种模型 backbone：

  • Off-the-Shelf LLM：Qwen3-32B（原生支持思考模式）
  • In-Domain LLM：基于 Qwen2.5-7B 通过 GRPO 强化学习训练，作为任务感知能力的”上界”

3. 关键发现：揭示短视规划范围

通过探测实验，论文得出以下核心结论，直接回应研究问题：

3.1 最终答案规划的短视性

  • 无全局规划：对于显式组合任务（如 Parity、Cycle），早期隐藏状态的最终答案预测准确率接近随机（~50%），仅在推理完成前 1-2 步 才出现置信度飙升（>90%）。
  • 粗略信号 vs 精确规划：对于简单任务（如 CSQA），早期隐藏状态虽能显示高于随机的答案倾向（coarse answer gist），但其准确率显著低于直接回答（w/o CoT），表明这仅是模糊感知而非精确规划的结果。

3.2 推理路径的局部可预测性

  • 后续 Token 预测衰减：Top-5 准确率随预测距离增加而急剧下降，对于语义任务（MMLU、GPQA）几乎无长远预见能力；仅在结构化任务（Parity、Cycle）中表现出稍长的规划视野。

3.3 全局步数规划的缺失

  • 初始隐藏状态无法可靠预测总推理长度，除非任务存在特定启发式（如 Parity 的推理长度与输入长度成正比），进一步证明缺乏真正的全局规划。

4. 应用验证：利用规划特性优化 CoT

基于”短视规划”的发现，论文提出并验证了两个实际应用：

4.1 不确定性估计的”木桶原理”

假设：推理链的可靠性由少数关键逻辑跳跃点（pivots）决定，而非全局平均。 策略：

  • 使用 Tele-Lens 的最终答案熵或通用指标（困惑度、熵、Self-Certainty），选择 Top- k 个最不确定的位置（”最短木板”）。
  • 以这些位置的聚合信号作为整体不确定性估计。 结果：相比全局平均，Top-5/Top-100 策略在 AUROC 指标上提升 3%-9%，证明少量关键位置可有效代表整体不确定性。

4.2 自动 CoT 绕过（Bypass）

策略：监测初始 5 个 CoT token 的归一化答案熵 H(p) ：
H(p) = -∑_(i=1)^(C) p_i log p_ilog C
若存在位置熵低于阈值（表明存在自信的早期答案信号），则直接输出答案，跳过完整 CoT 生成。 结果：在 Qwen3-32B 上实现 16.2% 的 CSQA 任务和 12.4% 的 MMLU 任务绕过率，整体准确率仅下降 0.03%，实现”几乎免费”的计算节省。

5. 统一视角的整合

论文通过上述方法，将先前看似矛盾的研究（早期规划信号 vs. CoT 必要性）整合为统一视角：

  • LLM 主要依赖短视的局部转换（myopic local transitions）进行推理；
  • 早期出现的答案信号仅是粗略感知（coarse gist），而非精确的全局规划；
  • 对于复杂组合任务，显式 CoT 步骤是不可或缺的，因为内部状态无法预先计算长程轨迹。

Q: 论文做了哪些实验？

论文进行了系统的探测实验（Probing Experiments）与应用验证实验，具体包括以下三大部分：

1. 潜在规划能力探测实验（第2节）

利用提出的 Tele-Lens 方法，在12个多样化任务上对 LLM 隐藏状态进行多维度探测，以评估其规划范围。

1.1 最终答案预测（Final-Answer Probing）

  • 目标：检测隐藏状态在 CoT 轨迹的不同位置对最终答案的预测能力
  • 任务：覆盖12个任务（Parity、Cycle、Subsum、GSM8K、MATH、AIME、MuSR、Zebra、CSQA、MMLU、QuALITY、GPQA）
  • 关键发现：
  • 对于显式组合任务（Parity、Cycle），早期预测准确率接近随机（~50%），仅在推理结束前 1-2 步 才跃升至 >90%
  • 对于知识语义任务（如 CSQA、MMLU），早期存在粗略信号（accuracy spike），但显著低于直接回答（w/o CoT）的准确率
  • 中间层（如第21/48层）而非最终层表现出最强预测能力

1.2 后续 Token 预测（Subsequent Token Probing）

  • 目标：评估隐藏状态对未来推理路径的预见范围
  • 方法：预测后续最多 8 个 token，采用 Top-5 准确率（即真实 token 出现在预测前5名内则视为正确）
  • 发现：
  • 准确率随预测距离增加而急剧衰减
  • 仅在结构化任务（Parity、Cycle）中表现出超过2步的有限预见性
  • 语义任务（MMLU、GPQA）几乎无长远预见能力

1.3 推理长度预测（Reasoning Length Probing）

  • 目标：验证是否存在对全局推理步数的早期规划
  • 方法：回归预测 CoT 总长度
  • 发现：
  • 初始隐藏状态无法可靠预测总长度（热力图显示低相关性）
  • 仅在特定任务（Parity、Subsum）中表现出高相关性，但这归因于任务特定捷径（输入长度与推理长度成正比），而非真正的规划能力

2. CoT 不确定性估计实验（第3.1节）

基于”短视规划”发现，验证 “木桶原理”（Wooden Barrel Principle） 假设。

2.1 实验设置

  • 基线方法：全路径聚合指标
  • 困惑度（Perplexity）
  • 平均 Token 熵（Entropy）
  • Self-Certainty（Kang et al., 2025）
  • 改进策略（Top- k Pivots）：
  • Tele-Lens 信号：选择最终答案熵最低的 5/10/20/50 个位置
  • 通用信号：选择熵最高（或 Self-Certainty 最高、log-likelihood 最低）的 10/100/1000 个位置

2.2 评估指标

  • AUROC（Area Under ROC Curve）：衡量区分正确与错误推理路径的能力

2.3 结果

  • In-Domain LLM：使用 Tele-Lens Top-5 信号，相比最佳基线提升 9% 绝对 AUROC（从 0.60 提升至 0.69）
  • Qwen3-32B：使用通用指标的 Top-100 策略，在所有三个指标上 consistently 提升 3-6% 绝对 AUROC
  • 关键结论：少量关键位置（pivots）的不确定性可有效代表整条推理链的可靠性

3. CoT 必要性识别与绕过实验（第3.2节）

验证是否可利用早期答案信号自动识别无需 CoT 的样本。

3.1 实验策略

  • 触发条件：生成初始 5 个 CoT token 后，计算归一化答案熵 H(p) = -∑_(i=1)^(C) p_i log p_ilog C
  • 决策规则：若任意位置的 H < 阈值（0.1 或 0.2），则触发 CoT Bypass（禁用思考模式，直接输出答案）

3.2 评估指标

  • Bypass Ratio：成功绕过 CoT 生成的样本比例
  • Performance Change：相比标准 CoT 模式的准确率变化

3.3 结果（表4、表8）

  • Qwen3-32B（阈值=0.1）：
  • 在 CSQA 上实现 16.2% 绕过率
  • 在 MMLU 上实现 12.4% 绕过率
  • 平均性能下降仅 0.03%（几乎无损）
  • In-Domain LLM：在 CSQA 上实现 40.2% 绕过率，性能下降 0.47%
  • 任务差异：对于显式组合任务（Parity、Cycle），系统正确识别出零绕过（0%），表明这些任务确实需要完整 CoT

4. 实验配置与基线对比

4.1 模型配置

  • Off-the-Shelf LLM：Qwen3-32B（原生支持 thinking/non-thinking 模式）
  • In-Domain LLM：基于 Qwen2.5-7B 通过 GRPO 强化学习训练，产生更短、更稳定的 CoT（约 1K 字符 vs. Qwen3 的 10K+）

4.2 数据集划分

  • 训练/验证/测试：每个任务最多 4000/100/500 样本
  • 标签空间：20 个固定答案 token（A-J, YES/NO, even/odd, 0-9）

4.3 对比实验（图4、图19、图20）

对比四种设置的任务准确率：

  • w/ CoT：标准思考模式
  • w/o CoT：直接回答模式（非思考模式）
  • Probing：早期隐藏状态的最佳预测准确率
  • Random：随机猜测基线

结果证实：早期探测准确率（Probing）普遍低于 w/o CoT 和 w/ CoT，支持”粗略信号而非精确规划”的结论。

Q: 有什么可以进一步探索的点？

基于论文揭示的”短视规划范围”（myopic planning horizon）及相关发现，以下是可以进一步探索的具体研究方向：

1. 多源潜在信号的融合策略

论文发现 Tele-Lens 选择的 pivot 位置通常集中在 CoT 末尾，而通用熵指标选择的位置分布在整个轨迹（图8）。未来可探索：

  • 分层融合机制：结合中间层的语义 rich 表示与输出层的分布信号，设计更鲁棒的 pivot 识别算法
  • 动态权重分配：根据任务类型（组合式 vs. 知识式）自适应调整不同信号源的权重，而非简单 top-k 选择

2. 动态规划视野扩展机制

既然 LLM 本质上是短视的，可研究如何显式地扩展其规划视野：

  • 迭代式 CoT：基于当前隐藏状态的置信度，自动触发”前瞻”（lookahead）机制，强制模型在关键节点生成未来步骤的草稿（draft）再回退，模拟人类的前瞻性思考
  • 记忆增强规划：利用外部记忆模块存储中间推理状态的”承诺”（commitments），帮助模型在长程推理中保持一致性，弥补单步转换的局限

3. 基于 Pivot 位置的精细化训练策略

  • 关键位置强化学习：在 GRPO 等强化学习框架中，对 pivot 位置（高熵/低置信度步骤）赋予更高奖励权重，专门优化模型的”逻辑跳跃”能力
  • 课程学习设计：根据探测结果识别不同难度的训练样本（如早期即出现高置信度信号的 vs. 始终低置信度的），设计从简单直接回答到复杂多步推理的课程

4. CoT 压缩与效率优化的深化

论文初步验证了 CoT 绕过的可行性，可进一步探索：

  • 自适应长度控制：基于实时探测的置信度曲线，动态决定何时截断 CoT（early stopping），而非固定阈值
  • 语义级压缩：在识别 pivot 位置后，仅保留这些关键步骤及其必要的上下文依赖，去除”语法填充词”（syntactic fillers），实现语义级别的 CoT 蒸馏

5. 负向 CoT 的自动识别与规避

论文提到 CoT 在某些场景下可能降低性能（Sprague et al., 2025）。结合探测方法可研究：

  • 过度思考检测：当模型在简单问题上生成过长 CoT 时，隐藏状态早期往往已存在高置信度答案信号但后续被”覆盖”。开发检测这种”过度推理”（overthinking）的指标
  • 任务-策略匹配器：训练元分类器，基于输入问题和前几个 token 的隐藏状态，自动决策是否启用 CoT、使用短 CoT 还是长 CoT

6. 跨架构与跨模态验证

  • 不同架构：在 Mixture-of-Experts (MoE)、State Space Models (Mamba) 等非标准 Transformer 架构上验证”短视规划”假设是否成立
  • 多模态 CoT：将 Tele-Lens 方法扩展到视觉-语言模型（VLMs）的跨模态思维链，探测视觉 token 与文本推理步骤之间的规划关联

7. 显式规划与隐式规划的协同

既然内部规划是短视的，可探索显式规划模板（explicit planning templates）与隐式动态的结合：

  • 混合推理架构：在 CoT 中插入显式的规划标记（如 <plan>），强制模型先生成高层计划（global sketch），再填充细节。通过探测验证这种显式结构是否真正改变了隐藏状态的长程依赖性
  • 工具增强规划：在关键 pivot 位置自动调用外部工具（计算器、搜索引擎）验证中间结果，打破模型单步推理的局限

8. 理论层面的解释性研究

  • 注意力模式分析：结合注意力权重分析，解释为什么 LLM 无法在早期层建立长程依赖——是否与 Transformer 的有限精度或位置编码机制有关？
  • 信息瓶颈量化：通过信息论方法（如互信息 I(H_i; Final Answer) ）严格量化规划视野随 CoT 位置的衰减曲线，建立规划能力的理论边界

这些方向既可直接利用论文提出的 Tele-Lens 工具，也可深化对”无全局规划”这一现象的理解与应对。

Q: 总结一下论文的主要内容

这篇论文系统性地探究了大型语言模型（LLM）在思维链（Chain-of-Thought, CoT）推理中的潜在规划范围（Latent Planning Horizon），并基于发现提出了实用的优化策略。主要内容包括：

1. 研究背景与核心问题

论文针对此前看似矛盾的研究发现展开研究：

  • 观点一：LLM 在 CoT 生成前的早期隐藏状态中已表现出对最终答案和推理路径的预测能力，似乎存在”内部规划”
  • 观点二：理论分析表明 Transformer 架构存在表达限制，必须通过显式 CoT 步骤才能完成多步组合推理

核心研究问题：

  • LLM 的隐藏状态究竟编码了全局规划（长期推理路线图）还是仅支持局部转换（短期状态转移）？
  • 这种规划特性对 CoT 的不确定性估计和必要性判断有何启示？

2. 探测方法：Tele-Lens

为量化规划能力，论文提出 Tele-Lens 探测框架：

  • 技术基础：基于 Logit Lens，引入低秩适配器（Low-Rank Adapter）转换隐藏状态，支持全词汇表预测
  • 探测维度：
  • 后续 Token：预测未来最多 8 个 token（Top-5 准确率）
  • 最终答案：预测固定答案空间中的结果（适用于多项选择任务）
  • 推理长度：回归预测 CoT 总步数
  • 实验设置：覆盖 12 个多样化任务（包括显式组合任务如 Parity/Cycle、数学推理、知识问答等），使用 Qwen3-32B 和经过 GRPO 训练的 In-Domain LLM（7B）作为 backbones

3. 核心发现：短视规划范围（Myopic Horizon）

通过系统性探测，论文揭示了 LLM 规划能力的真实边界：

  • 无全局最终答案规划：对于需要显式多步推理的组合任务（如 Parity、Cycle），早期隐藏状态的最终答案预测准确率接近随机（~50%），仅在推理完成前 1-2 步 才出现置信度飙升（>90%）。精确答案规划是”即时”（just-in-time）而非预先计算的。

  • 有限的后续路径预见：后续 token 预测准确率随预测距离迅速衰减；仅在结构化任务中表现出超过 2 步的有限预见性，语义任务几乎无长远规划能力。

  • 虚假的全局步数信号：初始隐藏状态无法可靠预测总推理长度；某些任务（如 Parity）显示的高相关性源于任务特定捷径（输入长度与推理长度成正比），而非真正的全局规划。

  • 早期粗略信号的本质：对于简单任务（如 CSQA），早期隐藏状态虽能显示高于随机的答案倾向（coarse answer gist），但其准确率显著低于直接回答（w/o CoT），表明这仅是模糊感知而非精确规划的结果。

统一视角：LLM 主要依赖短视的局部转换进行推理；早期出现的答案信号是粗略的感知线索，而非预计算的精确轨迹。对于复杂组合任务，显式 CoT 步骤是不可或缺的。

4. 应用验证：利用 CoT 动态

基于”短视规划”特性，论文提出并验证了两项应用：

4.1 不确定性估计的”木桶原理”

假设：推理链的可靠性由少数关键逻辑跳跃点（pivots）决定，而非全局平均。

  • 策略：选择 Top- k 个最不确定的位置（最低最终答案熵或最高 token 熵），以这些位置的聚合信号代表整体不确定性。
  • 结果：相比全路径平均，Top-5/Top-100 策略在 AUROC 指标上提升 3-9%，证明少量关键位置可有效表征整体置信度。

4.2 自动 CoT 绕过（Bypass）

策略：监测初始 5 个 CoT token 的归一化答案熵 H(p) ；若存在高置信度信号（低熵），则直接输出答案，跳过完整 CoT 生成。

  • 结果：在 Qwen3-32B 上实现 16.2%（CSQA）和 12.4%（MMLU）的绕过率，整体准确率仅下降 0.03%；同时正确识别出组合任务（Parity、Cycle）需要零绕过（0%）。

5. 结论与意义

论文通过 Tele-Lens 方法首次明确量化了 LLM 的短视规划范围，将先前矛盾的研究发现整合为统一视角：LLM 缺乏真正的长程全局规划能力，主要依赖局部增量转换。这一发现不仅深化了对 CoT 机制的理解，还为不确定性校准、推理效率优化（CoT 压缩/绕过）以及模型训练策略提供了可操作的启示。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Liyan Xu,Mo Yu,Fandong Meng,Jie Zhou

Categories: cs.LG,cs.CL

PDF URL: https://arxiv.org/pdf/2602.02103.pdf

Arxiv URL: https://arxiv.org/abs/2602.02103

Arxiv ID: 2602.02103

CoolPaper URL: https://papers.cool/arxiv/2602.02103

Published: 2026-02-02T13:46:56Z

Updated: 2026-02-02T13:46:56.000Z

4. MARS: Modular Agent with Reflective Search for Automated AI Research

Automating AI research differs from general software engineering due to computationally expensive evaluation (e.g., model training) and opaque performance attribution. Current LLM-based agents struggle here, often generating monolithic scripts that ignore execution costs and causal factors. We introduce MARS (Modular Agent with Reflective Search), a framework optimized for autonomous AI research. MARS relies on three pillars: (1) Budget-Aware Planning via cost-constrained Monte Carlo Tree Search (MCTS) to explicitly balance performance with execution expense; (2) Modular Construction, employing a “Design-Decompose-Implement” pipeline to manage complex research repositories; and (3) Comparative Reflective Memory, which addresses credit assignment by analyzing solution differences to distill high-signal insights. MARS achieves state-of-the-art performance among open-source frameworks on MLE-Bench under comparable settings, maintaining competitiveness with the global leaderboard’s top methods. Furthermore, the system exhibits qualitative “Aha!” moments, where 63% of all utilized lessons originate from cross-branch transfer, demonstrating that the agent effectively generalizes insights across search paths.

中文摘要

自动化的人工智能研究有别于一般的软件工程，因为它涉及计算开销大的评估（例如模型训练）和不透明的性能归因。目前基于大语言模型（LLM）的代理在这方面表现不佳，往往生成忽略执行成本和因果因素的一体化脚本。我们提出了 MARS（带反思搜索的模块化代理），这是一个为自主 AI 研究优化的框架。MARS 依赖三个核心支柱：(1) 预算感知规划，通过受成本限制的蒙特卡洛树搜索（MCTS）明确在性能与执行费用之间进行平衡；(2) 模块化构建，采用“设计-分解-实现”流程以管理复杂的研究库；(3) 比较反思记忆，通过分析解决方案差异来提取高信号见解，从而解决功劳分配问题。在可比环境下，MARS 在开源框架中于 MLE-Bench 上取得了最先进的性能，并在全球排行榜的顶尖方法中保持竞争力。此外，该系统呈现出质的“顿悟”时刻，其中 63% 的全部利用经验源自跨分支迁移，表明该代理能够有效地在搜索路径间推广 insights。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决**自动化AI研究（Automating AI Research）**领域中，现有基于大语言模型（LLM）的智能体（agents）面临的三大核心挑战：

1. 计算成本与评估开销的忽视

与通用软件工程不同，AI研究涉及计算昂贵的评估过程（如模型训练、超参数调优）。现有智能体通常将问题视为纯粹的代码生成任务，生成单一庞大的脚本（monolithic scripts），忽视执行成本。这导致智能体可能提出将训练时间从1小时增加到10小时仅换取0.1%性能提升的方案，在固定预算下严重降低发现效率。

2. 复杂代码库的架构脆弱性

研究级代码库需要处理数据加载、模型架构、训练循环等多个复杂模块的交互。现有智能体生成的非结构化单体脚本难以管理这种模块化复杂性，代码脆弱且难以测试、调试和迭代，无法胜任专业软件工程所需的仓库级（repository-level）架构要求。

3. 性能归因的信用分配问题（Credit Assignment）

AI研究是概率性、迭代性的过程。当新实验取得更好结果时，现有记忆机制无法有效隔离导致性能变化的具体因果因素（如某个特定的数据增强策略或模型结构修改）。这种”信用分配”的困难导致智能体无法从过去试验中有效学习，难以积累高质量的知识来指导后续探索。

为应对这些挑战，论文提出MARS（Modular Agent with Reflective Search）框架，通过预算感知的蒙特卡洛树搜索（Budget-Aware MCTS）、**模块化构建流程（Design-Decompose-Implement）和比较反思记忆（Comparative Reflective Memory）**三大支柱，将AI研究重新建模为在计算约束下搜索最优软件仓库的过程。

Q: 有哪些相关研究？

根据论文第2页的”Related Work”部分，相关研究可分为以下三个主要方向：

1. 自动化AI研究与工程（Automated AI Research & Engineering）

该方向关注利用大语言模型自主解决复杂的AI研究问题，包括：

  • 机器学习工程（MLE）：如 Chan et al. (2024) 提出的 MLE-Bench 基准测试，以及 Nam et al. (2025) 的 MLE-STAR 框架
  • 研究工程（Research Engineering）：如 Wijk et al. (2024) 的 RE-Bench 评估框架
  • 自动化研究复现：如 Starace et al. (2025) 的 PaperBench

现有智能体框架主要包括：

  • AIDE (Jiang et al., 2025)：采用贪婪搜索策略生成代码
  • MLE-STAR (Nam et al., 2025)：专注于搜索与定向优化
  • AIRA (Toledo et al., 2025)：采用范围受限的记忆机制
  • R&D-Agent (Yang et al., 2025)：使用协作式记忆存储先前解决方案与洞察
  • ML-Master 2.0 (Zhu et al., 2026)：采用分层认知缓存机制

现有系统的共同局限在于普遍采用单体范式（monolithic paradigm），生成庞大单一文件脚本，缺乏模块化架构。

2. 代码生成中的搜索算法（Search Algorithms in Code Generation）

针对长程AI研究问题中代码执行资源密集的特点，现有方法包括：

  • 贪婪搜索 (Jiang et al., 2025)：每一步选择验证指标最佳的节点进行扩展
  • 蒙特卡洛树搜索（MCTS） (Kocsis & Szepesvári, 2006; Liu et al., 2025)：通过树形结构平衡探索与利用
  • 进化搜索 (Team et al., 2025)：基于种群的优化策略

现有算法的共同缺陷是仅优化任务性能而忽视计算成本，而 MARS 提出的 Budget-aware MCTS 通过效率引导的奖励函数显式平衡性能与执行开销。

3. 反思学习与记忆（Reflective Learning and Memory）

该方向研究如何使智能体通过环境交互迭代改进：

  • Reflexion (Shinn et al., 2023)：通过言语强化实现自我纠正
  • 分层认知缓存 (Zhu et al., 2026)：将执行轨迹蒸馏为稳定知识
  • CodeScientist (Jansen et al., 2025)：缓存有用代码块供未来复用

与上述方法主要总结执行日志和调试错误不同，MARS 提出的 Lesson Learning 机制通过**比较分析（comparative analysis）**显式建立代码变更与性能变化的因果联系，解决信用分配问题。

表1（论文第2页）系统对比了 MARS 与现有 MLE 智能体框架在模块化生成、预算感知搜索和记忆机制三个维度的差异。

Q: 论文如何解决这个问题？

论文通过 MARS（Modular Agent with Reflective Search） 框架的三个核心支柱系统性解决上述问题：

1. Budget-Aware Planning：解决计算成本与评估开销问题

通过**成本约束的蒙特卡洛树搜索（Cost-Constrained MCTS）**显式平衡性能最大化与执行开销，避免资源浪费。

技术实现：

  • 效率引导的奖励函数（Efficiency-Guided Reward Function）：
    定义全局归一化分数 G(v) 为：
    G(v) := 0.5 & if M(max) = M(min), M(v) - M(min)M(max) - M(min) & otherwise
    其中 M(v) 为节点 v 的性能指标， M    (max) 和 M_(min) 为历史探索中的极值。

结合执行延迟调制奖励：
R(v) := G(v) · [t(v)/L(v)]^(w)
其中 t(v) 为执行时间， L(v) 为时间限制， w = -0.07 为惩罚权重（负值表示惩罚长时间运行）。该函数确保在性能相近时（如图5所示），系统优先选择1小时而非4小时的训练方案。

  • 动作空间设计：定义三种扩展算子
  • Drafting：从头生成新方案（根节点扩展）
  • Improvement：对有效节点进行消融式局部优化
  • Debugging：对失败节点进行错误修复（最多 N_d = 10 次尝试）
  • 节点选择策略：采用 UCT（Upper Confidence Bound for Trees）算法，但修改终止条件——当验证性能在实现 n_s 个有效节点后仍未提升时，重新激活根节点以探索新架构，避免在无效分支上浪费预算。

2. Modular Construction：解决复杂代码库的架构脆弱性问题

通过**“设计-分解-实现（Design-Decompose-Implement）”流水线**将单体脚本重构为模块化仓库，提升代码的鲁棒性、可测试性和可维护性。

技术实现：

  • 模块化表示：将解决方案 sn 定义为独立模块集合与编排脚本的元组：
    s_n = langle M^j    (j=1)^(l), π(main) rangle
    其中每个模块 M^j 封装特定子任务（如数据预处理、模型架构）， π    (main) 协调端到端流程。

  • 三阶段工作流：

  1. Idea Generation：生成自然语言层面的完整方案规划
  2. Module Decomposition：由专门的 Modular Agent 将方案分解为逻辑独立的功能模块（如 dataset.py, model.py, train.py）
  3. Component Implementation：Coding Agent 顺序实现各模块，通过验证脚本单元测试后再由主脚本编排
  • Diff-Based Refinement：采用标准化差异格式（diff format）进行代码修改，指定目标文件、替换代码块和新代码，实现原子化、多文件更新。这避免了传统方法中”因局部错误需重写整个脚本”的浪费，支持在搜索过程中复用已验证的模块（如数据加载器）。

效果：如表4所示，模块化方法使代码行数从 474.8±13.5 增至 1103.9±35.9，文件数从 1.0±0.0 增至 6.7±0.1，显著提升了仓库的结构化程度。

3. Comparative Reflective Memory：解决信用分配问题

通过比较反思记忆机制（Lesson Learning）分析解决方案间的差异，而非简单总结执行日志，从而隔离性能变化的因果因素。

技术实现：

  • 双类别知识蒸馏：
  • Solution Improvement Lessons：针对有效解，通过 Empirical Analysis Agent 提取客观发现（如损失趋势），再由 Lesson Distillation Agent 对比新方案与当前最优方案，提炼结构化课程，包含：(1) 算法变更点；(2) 影响分析；(3) 泛化规则。
  • Debugging Lessons：针对失败执行，分析错误代码、日志与修复方案，输出包含失败逻辑解释和预防指南的课程。
  • 因果链追踪：明确要求分析”代码变更与性能变化的精确因果链”，区分有效算法改进与混淆因素（如随机种子变化）。

  • 课程管理与利用：

  • 去重机制：Review Agent 通过 LLM 推理评估新课程与现有课程的语义重叠，过滤冗余信息，维护高信号课程池（ K_m = 30 ）。

  • 跨分支迁移：在改进或调试动作中，智能体显式引用课程 ID（如 “Cite {lesson_id}”）。实验显示 63.0%±1.8% 的利用课程来自不同搜索分支，证明知识有效泛化（如图1的”Aha!”时刻所示）。
  • 预算感知集成：课程在节点选择和扩展阶段被显式利用，使搜索过程能从早期失败（如轻量级残差网络）快速进化到复杂策略（如模型集成），避免重复探索已知低效路径。

协同工作流程

如算法2所示，MARS 迭代执行：

  1. 任务准备：提取元数据、执行探索性数据分析（EDA）、检索 SOTA 模型候选
  2. 树搜索循环：
  • 使用 UCT 选择节点
  • 根节点触发 Drafting（结合课程生成新架构）
  • 非根节点触发 Improvement（应用 Solution Lessons 进行消融式优化）
  • 执行失败时进入 Debugging 循环（应用 Debug Lessons）
  1. 经验蒸馏：执行后提取课程并回传奖励，更新树统计信息

这种结构确保智能体在固定预算 B 内最大化发现率，同时构建可维护的代码仓库并积累可迁移的知识。

Q: 论文做了哪些实验？

论文在 MLE-Bench 基准上进行了系统性评估，涵盖性能对比、消融研究及多维度的定性分析。

1. 实验设置

数据集与环境

  • 基准：MLE-Bench（75个Kaggle竞赛，涵盖NLP、CV、表格数据）
  • 资源约束：每竞赛24小时墙钟时间，单节点 NVIDIA A100 40GB GPU、12 vCPUs、220GB RAM（MARS+ 使用双卡双搜索树配置）
  • 对比设置：与官方Leaderboard方法及开源框架（AIDE、AIRA-dojo）在严格一致的环境下对比，隔离算法有效性

基线方法

  • 官方Leaderboard：ML-Master、R&D-Agent、InternAgent、Famou-Agent、Leeroo、ML-Master 2.0（不同计算资源配置）
  • 受控对比（同环境）：AIDE（贪婪搜索）、AIRA-dojo（MCTS变体）

评估指标

  • Above Median Rate：超越人类参赛者中位数的比例
  • Any Medal Rate：获得铜牌及以上比例
  • Gold Medal Rate：获得金牌比例
  • 所有结果报告3次独立运行的均值 ± 标准误（SEM）

2. 主要性能结果（Main Results）

与开源框架的对比（受控环境） 使用 Gemini-3-Pro-Preview 时，MARS 显著超越现有开源方法：

  • Any Medal Rate：56.0%（MARS） vs. 37.8%（AIRA-dojo） vs. 32.4%（AIDE）
  • Gold Medal Rate：31.1%（MARS） vs. 24.0%（AIRA-dojo）

与全球Leaderboard的竞争力 尽管使用更少资源（单卡vs.多卡/大内存），MARS 在关键指标上保持领先：

  • Gold Medal Rate 31.1% 为所有报告方法中最高
  • MARS+（双搜索树扩展）：Above Median Rate 达 73.3%，Any Medal Rate 59.6%，超越资源密集的 ML-Master 2.0（56.4%）

跨难度分布的稳健性 在 MLE-Bench 的 Lite（22个）、Medium（38个）、High（15个）三个难度分层中，MARS 均一致优于基线。例如在使用 Gemini-3-Pro-Preview 时：

  • Lite：74.2% Any Medal（vs. AIRA-dojo 56.1%）
  • Medium：52.6% Any Medal（vs. AIRA-dojo 29.8%）
  • High：37.8% Any Medal（vs. AIRA-dojo 31.1%）

3. 消融研究（Ablation Study）

核心组件有效性验证 在 MLE-Bench Lite 上进行组件移除实验（图3）：

  • 移除 Modular Decomposition：性能显著下降，验证模块化架构对复杂逻辑处理的必要性
  • 移除 Lesson Learning：性能下降，证明跨分支知识转移对长期探索的价值

搜索策略对比（图4） 对比三种树搜索策略：

  • Greedy Search：仅扩展当前验证指标最优节点，易陷入局部最优
  • Vanilla MCTS（ w=0 ）：标准UCT算法，忽视执行成本
  • Budget-Aware MCTS（ w=-0.07 ）：论文提出的效率引导奖励函数

Budget-Aware MCTS 随时间展现出持续更优的性能曲线，验证成本惩罚项对探索效率的提升。

超参数敏感性（附录E.2） 对奖励函数中的惩罚权重 w 进行敏感性分析：

  • w=0 （无惩罚）：性能劣化，确认时间惩罚的必要性
  • w=-0.15 （强惩罚）：过度偏向低延迟节点，错过高性能方案
  • w=-0.07 ：平衡最优，为推荐默认值

4. 机制深入分析（Discussions）

模块化对代码复杂度的影响（表4、表5） 统计最佳解决方案的仓库特征：

  • 代码行数：模块化后 1103.9±35.9 vs. 非模块化 474.8±13.5
  • 文件数量：6.7±0.1 vs. 1.0±0.0
  • 生成的模块涵盖数据处理、模型定义、训练引擎、损失函数等专业化组件，体现架构适应性

Budget-Aware MCTS 的探索效率 定义有效解决方案率（提升当前最佳验证指标的方案占比）：

  • Budget-Aware MCTS：19.5%±1.5%
  • Vanilla MCTS：16.1%±1.3%

证明延迟惩罚作为启发式策略剪枝低效轨迹的有效性。

课程学习与跨分支迁移（图1、第6节） 量化分析反思记忆的利用模式：

  • 课程利用率：65.8%±1.1% 的解决方案引用了历史课程
  • 跨分支迁移率：63.0%±1.8% 的利用课程源自不同搜索分支，验证知识的泛化能力
  • 案例研究（iMet-2020-FGVC7）：展示从残差网络基线到模型集成技术的渐进式优化路径

合规性与原创性验证

  • 规则遵从：使用官方审计工具检测，MARS 在”访问未授权资源”、”调用外部LLM API”、”人工编写提交”等维度的违规率为 0%
  • 代码原创性：基于 Dolos 的抄袭检测显示，所有获奖提交与公开Notebook的最大相似度低于60%，分布与基线 AIRA-dojo 一致，证明独立生成

成本-效益分析（附录E.3） 对比 Gemini-2.5-Pro 上的单次任务成本：

  • API调用：594.8±35.4 次（MARS） vs. 867.0±77.0 次（AIRA-dojo）
  • 输入Token： 286.6 × 10^5 （因维护完整记忆上下文，为 AIRA-dojo 的2.2倍）
  • 总成本： 60.5 vs. 39.0
  • 效益：Any Medal Rate 从 24.4% 提升至 43.1%，证明额外成本通过显著更高的成功率得到回报

Q: 有什么可以进一步探索的点？

基于论文结论与讨论部分，可进一步探索的研究方向包括：

1. 跨领域科学发现扩展

当前框架主要针对机器学习工程（MLE）任务优化。未来可探索将 MARS 的范式（预算感知搜索+模块化构建+反思记忆）扩展至更广泛的科学发现领域，如：

  • 计算生物学（蛋白质结构预测、药物分子设计）
  • 物理学（实验参数优化、仿真代码生成）
  • 材料科学（性质预测模型开发）

需解决领域特定的挑战，如不同模态的数据表示、领域知识整合及合规性要求。

2. 经济可行性与资源优化

尽管 MARS 通过效率引导奖励函数优化了计算资源分配，但其经济成本仍高于基线（ 60.5 vs 39.0 per task），主要源于维护大规模记忆上下文导致的输入Token消耗。可探索：

  • 高级上下文缓存机制：开发语义感知的记忆压缩算法，在保持课程信息密度的同时减少Token开销
  • 早期停止策略：基于验证性能趋势的动态预算重分配，提前终止低潜力搜索分支
  • 分层记忆架构：将高频课程驻留在低成本存储，仅检索高价值信号至主上下文

3. 复杂并行与分布式架构

MARS+ 初步验证了2-way并行搜索树的有效性（双GPU配置）。未来可探索：

  • 大规模分布式搜索：在多节点集群上实现异步MCTS，平衡探索广度与通信开销
  • 异构计算适配：针对TPU、边缘设备等异构硬件优化模块分配与执行调度
  • 多智能体协作：多个专业化智能体（数据工程、模型架构、超参优化）并行工作，通过共享记忆池协调

4. 因果推断增强的信用分配

当前 Comparative Reflective Memory 依赖LLM的对比分析来识别因果因素。可引入结构化因果推断方法：

  • 利用贝叶斯网络或结构方程模型（SEM）量化代码变更对性能的影响
  • 开发自动消融测试生成器，系统性验证假设的因果链
  • 结合反事实推理（counterfactual reasoning）评估未选择路径的潜在收益

5. 自适应奖励函数设计

现有奖励函数采用固定惩罚权重 w=-0.07 平衡性能与延迟。可研究：

  • 上下文相关的成本模型：根据任务复杂度动态调整 w （如简单表格任务强化延迟惩罚，复杂CV任务放宽约束）
  • 多目标优化：将碳足迹、内存占用、 monetary cost 纳入帕累托前沿搜索
  • 元学习奖励：基于历史任务数据学习最优的效率-性能权衡策略

6. 人机协作式研究

当前框架为完全自主模式。可探索**人类在回路（Human-in-the-loop）**的混合范式：

  • 关键架构决策点引入专家验证，防止高风险计算投入
  • 可视化界面展示搜索树状态与课程演化，支持交互式引导
  • 利用人类反馈强化学习（RLHF）优化课程质量评估

7. 软件工程最佳实践的深度融合

虽然 MARS 实现了基础模块化，但可进一步整合工业级软件架构：

  • 自动单元测试与集成测试生成，提升模块可靠性
  • 版本控制感知的工作流（Git commit 语义分析与分支管理）
  • 容器化与可复现性保障（自动生成 Docker 配置与环境锁定文件）

8. 安全性与伦理增强

论文 Impact Statement 提及代码生成错误的风险。未来需强化：

  • 形式化验证集成：对关键模块（如数据划分、损失计算）引入静态分析与符号执行
  • 偏见检测与公平性审计：自动检测数据预处理与模型训练中的潜在偏见
  • 安全沙箱强化：防止自主 agent 访问未授权资源或执行恶意代码的防护机制

9. 跨任务知识迁移

当前 Lesson Learning 主要在同一任务内跨分支迁移。可探索：

  • 跨任务课程库：构建跨竞赛的通用ML工程知识图谱（如”处理类别不平衡”、”防止数据泄漏”的通用模式）
  • 元课程学习：基于先前解决的竞赛自动生成新任务的初始策略（warm-start）

10. 模型鲁棒性与可解释性

  • 多LLM后端适配：验证框架在不同基础模型（DeepSeek、GPT、Claude系列）上的鲁棒性，减少对单一模型的依赖
  • 决策可解释性：生成自然语言报告解释搜索树节点选择逻辑与课程应用理由，提升研究过程的可审计性

Q: 总结一下论文的主要内容

这篇论文针对自动化AI研究（Automating AI Research）中现有LLM智能体面临的三大核心挑战——计算昂贵的评估、复杂代码库的架构脆弱性、以及性能归因的信用分配问题——提出了 MARS（Modular Agent with Reflective Search） 框架。

核心贡献

论文提出将AI研究重新建模为在预算约束下搜索最优软件仓库的过程，通过三大协同支柱实现：

  1. Budget-Aware Planning
    采用成本约束的蒙特卡洛树搜索（MCTS），通过效率引导的奖励函数 $R(v) := G(v) ·
    t(v)/L(v)
    ^{w} 显式平衡性能最大化与执行开销（ w=-0.07$ 惩罚长时间运行），优先选择高性价比方案（如1小时训练而非4小时，若性能相当）。

  2. Modular Construction
    以**“设计-分解-实现（Design-Decompose-Implement）”流水线**替代单体脚本，将解决方案 sn = langle M^j(j=1)^(l), π_(main) rangle 分解为独立模块（如数据处理、模型架构）与编排脚本，支持Diff-Based Refinement避免全量重写，显著提升代码可测试性与复用性。

  3. Comparative Reflective Memory
    引入Lesson Learning机制，通过对比分析（而非简单日志总结）当前方案与最优方案的差异，蒸馏包含因果链的Solution Improvement Lessons和Debugging Lessons；其中63%的利用课程来自跨分支迁移，有效解决信用分配问题。

实验评估

在 MLE-Bench（75个Kaggle竞赛）上的受控实验显示：

  • 性能领先：使用Gemini-3-Pro-Preview时，MARS达到56.0% Any Medal Rate与31.1% Gold Medal Rate，显著超越开源基线AIDE（32.4%）和AIRA-dojo（37.8%）；扩展版MARS+（双搜索树）进一步提升至59.6% Any Medal Rate。
  • 机制验证：消融研究证实模块化构建与课程学习对性能的关键贡献；Budget-Aware MCTS的有效解决方案率（19.5%）优于标准MCTS（16.1%）。
  • 合规与原创：通过官方审计，违规率为0%，代码原创性验证通过。

结论

MARS通过资源感知规划、模块化架构与反思记忆的协同，首次在固定计算预算下实现了具备”aha!”时刻（如图1所示的渐进式策略进化）的自主AI研究智能体，为长程复杂科学发现提供了可扩展、可解释且经济有效的开源框架。未来工作将探索向更广科学领域的扩展及经济可行性的进一步优化。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jiefeng Chen,Bhavana Dalvi Mishra,Jaehyun Nam,Rui Meng,Tomas Pfister,Jinsung Yoon

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2602.02660.pdf

Arxiv URL: https://arxiv.org/abs/2602.02660

Arxiv ID: 2602.02660

CoolPaper URL: https://papers.cool/arxiv/2602.02660

Published: 2026-02-02T19:00:03Z

Updated: 2026-02-02T19:00:03.000Z

5. 3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation

Existing methods for human motion control in video generation typically rely on either 2D poses or explicit 3D parametric models (e.g., SMPL) as control signals. However, 2D poses rigidly bind motion to the driving viewpoint, precluding novel-view synthesis. Explicit 3D models, though structurally informative, suffer from inherent inaccuracies (e.g., depth ambiguity and inaccurate dynamics) which, when used as a strong constraint, override the powerful intrinsic 3D awareness of large-scale video generators. In this work, we revisit motion control from a 3D-aware perspective, advocating for an implicit, view-agnostic motion representation that naturally aligns with the generator’s spatial priors rather than depending on externally reconstructed constraints. We introduce 3DiMo, which jointly trains a motion encoder with a pretrained video generator to distill driving frames into compact, view-agnostic motion tokens, injected semantically via cross-attention. To foster 3D awareness, we train with view-rich supervision (i.e., single-view, multi-view, and moving-camera videos), forcing motion consistency across diverse viewpoints. Additionally, we use auxiliary geometric supervision that leverages SMPL only for early initialization and is annealed to zero, enabling the model to transition from external 3D guidance to learning genuine 3D spatial motion understanding from the data and the generator’s priors. Experiments confirm that 3DiMo faithfully reproduces driving motions with flexible, text-driven camera control, significantly surpassing existing methods in both motion fidelity and visual quality.

中文摘要

现有的视频生成人体运动控制方法通常依赖二维姿态或显式三维参数模型（如SMPL）作为控制信号。然而，二维姿势会将运动与驾驶视角严格绑定，无法实现新颖视角的合成。显式3D模型虽然结构上信息量大，但存在固有的不准确性（如深度模糊和动力学不准确），当这些限制被强力限制时，会覆盖大规模视频生成器强大的内在3D感知能力。在本研究中，我们从三维感知视角重新审视运动控制，倡导一种隐式、视野无关的运动表示，自然与生成器的空间先验对齐，而非依赖外部重建的约束。我们引入了3DiMo，它将运动编码器与预训练视频生成器联合训练，将驱动帧提炼成紧凑、视野无关的运动标记，通过交叉注意力语义注入。为了培养3D感知，我们采用视角丰富监督（即单视角、多视角和移动摄像机视频）进行训练，确保不同视角的运动一致性。此外，我们还使用辅助几何监督，仅利用SMPL进行早期初始化，并退火至零，使模型能够从外部三维引导过渡到从数据和生成器先验中学习真正的三维空间运动理解。实验证实，3DiMo通过灵活的文本驱动摄像机控制，忠实地再现了驾驶运动，在运动真实度和视觉质量上均远超现有方法。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文致力于解决人体视频生成中运动控制与视角灵活性之间的矛盾，具体而言：

核心问题

现有的人体动作控制视频生成方法面临以下根本性局限：

  • 2D姿态约束的视角刚性：基于2D姿态（如OpenPose）的方法将运动刚性绑定于驱动视频的观察视角，无法解耦运动本质与2D投影，导致生成视频只能复现驱动视角的投影，丧失了新视角合成与电影级相机运动的能力。
  • 显式3D模型的重建误差：基于SMPL/SMPL-X等参数化模型的方法虽引入3D结构，但存在深度歧义（如前后倾斜、肢体接触错误、Z轴运动失真）及动态重建不准确的问题。当这些带有偏差的3D信号通过刚性投影注入生成器时，会覆盖大规模预训练视频模型固有的3D空间先验，限制生成器产生空间连贯且物理合理的运动。

研究目标

论文提出从3D感知视角重新构建运动控制任务，旨在实现：

  1. 从2D观测恢复3D运动本质：从2D驱动帧中提炼出隐式的、与视角无关的3D运动表示，而非依赖外部重建的几何约束。

  2. 保持独立的相机控制能力：在精确复现驱动动作的同时，支持通过文本提示灵活控制相机轨迹（如”相机围绕人物向左弧线运动”），实现真正的视角自适应生成。

  3. 与生成器先验对齐：学习到的运动表示需与预训练DiT视频生成器的内在空间与运动先验自然兼容，通过语义级交互（交叉注意力）而非刚性空间对齐来条件化生成过程。

Q: 有哪些相关研究？

根据论文第2节”Related Work”及全篇引用，相关研究可分为以下两大类：

1. 基于扩散模型的视频生成

基础架构：

  • Latent Diffusion Models (LDMs)
    3, 24
    ：通过在压缩潜在空间中进行操作提升效率
  • DiT-based architectures
    22
    ：基于扩散Transformer的架构，增强视频生成的可扩展性与时空一致性
  • 近期进展
    12, 13, 19, 30
    ：展示大规模预训练视频扩散模型具备强大的动态与3D空间感知和推理能力
    29, 32

2. 人体图像动画的运动控制

2.1 基于2D显式条件的方法

  • 早期工作：FOMM
    26
    、MRAA
    27
    等基于一阶运动模型和关键点驱动的动画方法
  • 近期扩散方法：AnimateAnyone
    9
    、MimicMotion
    35
    等通过注入2D姿态或DensePose等显式运动信号实现控制，但因其2D formulation固有的空间信息缺失导致深度歧义

2.2 基于显式3D重建的方法

  • SMPL/SMPL-X驱动方法：
  • Champ
    37
    ：使用3D参数化引导进行可控人体动画
  • Uni3C
    4
    ：统一精确的3D相机与人体运动控制
  • MTVCrafter
    5
    ：基于4D运动token化的人体图像动画
  • MagicMan
    8
    、DreamActor-M1
    17
    ：利用SMPL模型进行新视角合成与动画

此类方法依赖外部重建的参数化表示（SMPL
16
、SMPL-X
21
、MANO
25
），虽结构稳定但存在深度歧义，且会覆盖预训练生成器的3D先验。

2.3 隐式运动表示方法

  • X-Nemo
    36     与 X-UniMotion
    28     ：探索隐式运动表示，但仍局限于2D空间模式，无法推广到真正的3D运动或相机控制

3. 辅助技术与数据集

  • 参数化人体模型：SMPL
    16
    、SMPL-X
    21
    、MANO
    25
    用于早期几何监督
  • 视觉语言模型：Qwen2.5-VL
    2
    用于相机视角与运动描述的文本标注
  • 3D重建工具：CameraHMR
    20
    、Wilor
    23
    用于生成伪真值的姿态参数监督

4. 对比基线（实验部分）

论文实验中与以下方法进行了定量与定性对比：

  • AnimateAnyone
    9
    ：2D姿态驱动的人物动画
  • MimicMotion
    35
    ：基于置信度感知的姿态引导生成
  • MTVCrafter
    5
    ：4D运动token化方法
  • Uni3C
    4
    ：基于SMPL的精确相机与运动控制方法

Q: 论文如何解决这个问题？

论文通过提出 3DiMo (3D-aware Implicit Motion Control) 框架，从以下四个维度系统性地解决上述问题：

1. 隐式视角无关运动表示学习

核心机制：设计基于Transformer的1D运动编码器，将2D驱动帧蒸馏为紧凑的隐式运动token，强制消除视角相关的2D结构信息。

  • 结构设计上：采用Transformer-based tokenizer，将每帧图像块化为视觉token，与可学习的潜在token通过注意力层交互，仅保留输出潜在token作为运动表示 z ∈ R^(K × d) （ K=5 ）。这种压缩形成语义瓶颈，过滤掉外观细节和视角特定的姿态配置，专注于空间运动的内在语义。

  • 视角解耦策略：

  • 几何增强：在编码前对驱动帧应用随机透视变换，引入运动不变增强，部分解耦空间运动与其视角特定的2D投影。

  • 外观增强：使用颜色抖动和轻量级空间变换，防止驱动帧的身份信息泄漏。
  • 语义级条件注入：摒弃传统的基于相机参数的刚性2D投影对齐，采用交叉注意力机制将运动token注入DiT生成器。视频token通过交叉注意力层关注运动token，实现视觉与运动模态间的灵活语义交互，兼容文本驱动的相机操控。

2. 视角丰富的监督体系

为迫使模型超越2D投影模式、建立真正的3D空间理解，论文构建了覆盖多种相机配置的大规模数据集，并设计相应的训练策略：

数据构成（如图3所示）：

  • 单视角视频（600K）：提供多样化真实运动动态，用于自监督学习表达性运动模式。
  • 多视角视频（80K）：固定相机阵列同步捕获同一运动，强制跨视角运动一致性学习。
  • 移动相机视频（80K）：同一运动在不同相机轨迹下捕获，解耦运动与视角变化，支持文本引导相机控制。
  • 合成数据（UE5渲染，60K）：提供精确运动与多样相机轨迹，补充真实数据。

三阶段渐进训练：

  1. 阶段一（单视角重建）：仅用单视角数据进行自重建，稳定初始化隐式运动学习，暴露于多样运动动态。
  2. 阶段二（混合监督）：平衡混合重建与跨视角运动复现目标，逐步将表示从2D动态转向3D空间语义。
  3. 阶段三（纯视角丰富数据）：完全使用多视角和移动相机数据，强化运动特征的视角无关特性，增强与灵活相机控制的兼容性。

3. 辅助几何监督与退火策略

为解决早期训练不稳定、收敛缓慢的问题，同时避免外部3D估计的固有误差长期主导模型，论文引入轻量级辅助几何解码器：

  • 早期初始化：使用MLP-based几何解码器 D_g 将运动表示 z 映射到SMPL/MANO姿态参数 θ ，利用现成估计器
    20, 23
    提供的伪真值进行监督（排除全局根朝向以确保视角无关性）。尽管SMPL存在深度歧义，其提供的3D几何先验为运动表示学习提供了可靠的初始分布。

  • 渐进退火：辅助监督仅在阶段一和阶段二早期应用，其损失权重随训练线性退火至零。阶段二后期及阶段三完全移除该监督，使模型从”外部引导的几何”过渡到”数据驱动的3D理解”与”生成器内在3D先验”的对齐。

4. 与预训练生成器的内生对齐

架构整合：采用预训练的DiT（Diffusion Transformer）视频生成器作为骨干，该生成器已通过大规模文本-视频和图像-视频训练具备强大的3D空间与运动先验。

联合优化：运动编码器与预训练DiT生成器端到端联合训练，使提取的运动表示自然对齐生成器的空间与运动先验，而非强加外部几何约束。

双尺度编码：针对身体与手部运动的不同尺度特性，分别设计身体编码器 E_b 和手部编码器 E_h ，提取的token拼接后注入生成器，实现全身关节与精细手势的统一控制。

通过上述设计，3DiMo实现了从2D观测到3D运动本质的提炼，在保持与生成器先验一致性的同时，通过文本提示实现了灵活的相机控制，避免了显式3D重建的误差累积问题。

Q: 论文做了哪些实验？

论文进行了系统性的实验验证，涵盖定量评估、定性比较、用户研究及消融分析，具体如下：

1. 实验设置

数据集：在TikTok数据集
10
的50个视频及互联网收集的100个视频上进行评估。

评估指标：

  • 帧级质量：PSNR、SSIM、LPIPS、FID
  • 视频级保真度：FVD
  • 感知质量：用户研究中采用MOS（Mean Opinion Score）评分

2. 定量评估

与以下SOTA方法进行对比：

  • 2D姿态驱动：AnimateAnyone
    9
    、MimicMotion
    35

  • 3D SMPL驱动：Uni3C
    4
    、MTVCrafter
    5

结果（表1）：

  • 在LPIPS（感知相似度）、FID（图像分布质量）和FVD（视频分布质量）上均超越所有基线，表明视觉质量与运动控制精度更优。
  • SSIM与PSNR略低于MTVCrafter，原因在于：像素级指标对视角偏差敏感，而论文方法通过文本提示抑制了驱动视频中微弱的非预期相机运动，以维持几何一致性，导致像素级数值轻微偏离但感知质量更佳。

3. 用户研究

招募30名参与者，使用5分制Likert量表评估10个跨身份动画视频的以下维度：

  • 运动准确性（Accuracy）
  • 运动自然度（Naturalness）
  • 3D物理合理性（3D Plausibility）
  • 整体视觉质量（Overall）

结果（表1右侧）：论文方法在所有维度均优于基线，尤其在运动自然度和3D物理合理性上显著领先，验证了隐式3D运动表示与大规模视频生成器空间先验对齐的有效性。

4. 定性评估

4.1 与SOTA的可视化对比

  • 对比方法：AnimateAnyone、MTVCrafter、Uni3C
  • 观察结论：
  • 2D姿态方法（AnimateAnyone）因缺乏几何感知导致肢体深度顺序错误
  • SMPL方法（Uni3C）在复杂运动下姿态估计与控制不准确
  • 论文方法实现精确运动控制与物理合理的3D运动重现

4.2 视角自适应运动控制能力

展示多种文本引导相机配置下的生成结果（见图1）：

  • “Camera tilts downward at a normal speed”（相机以正常速度向下倾斜）
  • “Camera pans to the right around the woman and rises”（相机向右环绕并上升）
  • “Camera rotates in a circular path around the woman”（相机围绕人物旋转）
  • “Camera quickly zooms out while moving upward”（快速拉远同时上升）

验证了模型在动态相机轨迹和变化视角下保持物理合理性与空间一致性的能力。

5. 消融研究（表2及图5）

系统验证各组件贡献：

实验变体 验证内容 关键发现
w/ SMPL ctrl. 显式SMPL参数 vs 隐式表示 SMPL变体出现典型深度歧义错误（如手-髋接触丢失），隐式表示成功保持物理关系
w/ stage 1 only 仅单视角重建 缺乏3D感知，无法遵循文本相机控制，易崩溃为2D投影
w/ stage 1 & 2 缺少第三阶段 相机运动有时仅影响背景而人物保持正面，表明运动与相机控制的语义交互不完全
w/ channel concat. 通道拼接替代交叉注意力 运动控制能力显著下降，验证交叉注意力更适合语义丰富的交互
w/o geo. superv. 移除辅助几何监督 早期训练不稳定收敛，运动控制崩溃，证明几何初始化对稳定训练的关键作用
w/o hand enc. 移除手部编码器 细粒度手部控制丢失，验证双尺度编码必要性

结论：各组件（隐式表示、多阶段训练、交叉注意力、辅助监督、双尺度编码）均对最终性能有正向贡献，缺少任一都会导致质量下降或功能缺失。

Q: 有什么可以进一步探索的点？

基于论文补充材料（Section D: Limitations and Future Work）及方法论分析，以下方向值得进一步探索：

1. 分辨率与细粒度细节提升

当前框架在 480 × 854 分辨率下运行，虽足以捕捉全局运动动态，但对高频细节存在瓶颈。具体而言，在全身镜头中当人物占据画面比例较小时，有限的像素预算会导致面部特征模糊或手部纹理缺失等伪影。

潜在解决方案：

  • 扩展至更高分辨率的 DiT 骨干网络（如 720p 或 1080p）
  • 引入级联超分辨率模块，专门增强小尺度区域的局部细节

2. 复杂的人-物交互建模

现有运动编码器明确设计用于提取人体躯干与手部动态，未显式建模外部物体或道具的运动（如人物手持包袋、骑自行车等场景）。因此，虽然人体运动可被忠实复现，但与手持物体的交互关系有时会出现幻觉（hallucinated）。

研究方向：

  • 扩展隐式运动编码机制，使其能够处理一般动态物体
  • 建立人-场景交互（human-scene interaction）的联合隐式表示
  • 探索物体运动与人体运动的联合解耦表示学习

3. 完全无监督的 3D 运动学习

当前方法在训练初期依赖 SMPL/MANO 提供的辅助几何监督进行初始化，尽管该监督在训练后期被退火移除，但仍引入了对外部参数化模型的依赖。

探索方向：

  • 开发完全无需 3D 参数化模型先验的纯数据驱动方法，仅通过视角丰富的视频监督即可收敛
  • 研究自监督或对比学习策略，从大规模单目视频中直接提炼 3D 运动先验

4. 实时性能优化

论文提及训练需约三天（三阶段共 30K 步，batch size 64），且涉及 121 帧长序列的扩散模型推理，计算开销较大。

优化方向：

  • 模型蒸馏或量化技术，实现实时人体动画生成
  • 滑动窗口或流式处理机制，支持无限长视频生成
  • 轻量级运动编码器设计，降低端到端训练成本

5. 更广泛的相机控制精度

虽然当前方法支持文本驱动的相机控制，但对精确相机轨迹（如特定角度的弧线运动、精确的速度曲线）的遵循程度仍有提升空间。

改进思路：

  • 结合显式相机参数与隐式运动表示的混合控制框架
  • 引入相机轨迹编码器，实现数值化相机路径与文本描述的统一对齐

6. 跨域泛化与鲁棒性

当前数据集主要基于互联网视频与受控采集环境，对于极端光照条件、严重遮挡或非标准人体比例的泛化能力有待验证。

研究价值：

  • 在更具挑战性的野外（in-the-wild）场景下验证方法鲁棒性
  • 探索域自适应技术，缩小合成数据（UE5渲染）与真实视频之间的域差距

Q: 总结一下论文的主要内容

这篇论文提出了 3DiMo (3D-aware Implicit Motion Control)，一种用于视角自适应人体视频生成的新范式，通过隐式3D运动表示解决现有方法在视角灵活性与运动控制精度之间的根本矛盾。

1. 研究背景与核心问题

现有人体视频动画方法面临双重局限：

  • 2D姿态驱动方法（如AnimateAnyone）将运动 rigidly 绑定于驱动视频的观察视角，无法解耦运动的3D本质与其2D投影，导致生成视频丧失新视角合成能力。
  • 显式3D模型方法（如基于SMPL的方法）虽引入结构信息，但存在深度歧义（depth ambiguity）和动态重建误差；当这些带偏差的信号作为强几何约束注入生成器时，会覆盖大规模预训练视频模型固有的3D空间先验，限制生成物理合理的运动。

2. 方法论：3DiMo框架

论文提出端到端隐式运动学习框架，核心思想是从2D驱动帧中直接提炼与视角无关的3D运动表示，并与预训练DiT视频生成器的内在空间先验对齐。

2.1 隐式视角无关运动编码

  • 架构：采用基于Transformer的1D运动编码器，将驱动视频 VD = I_t^D(t=0)^T 蒸馏为紧凑的运动tokens z ∈ R^(K × d) （ K=5 为潜在token数）。通过patchify与可学习latent tokens的交互，强制消除2D空间布局信息，仅保留运动的语义本质。
  • 解耦策略：在编码前施加随机透视变换与外观增强，实现运动与视角、身份的解耦。

2.2 语义级条件注入

摒弃传统的相机参数化刚性投影，采用交叉注意力机制将运动tokens注入DiT生成器。视频tokens通过cross-attention层查询运动tokens，实现灵活的语义交互，自然兼容生成器原生的文本驱动相机控制能力。

2.3 视角丰富监督体系

为迫使模型学习真正的3D空间理解，构建包含三种监督目标的数据集：

  • 单视角重建：学习表达性运动动态；
  • 多视角复现：利用同步多机位数据强制跨视角运动一致性；
  • 移动相机复现：同一运动在不同相机轨迹下捕获，解耦运动与视角。

采用三阶段渐进训练：

  1. 单视角数据初始化运动表示；
  2. 混合单/多视角数据建立3D感知；
  3. 纯多视角/移动相机数据强化视角无关特性。

2.4 辅助几何监督与退火

训练早期引入轻量级MLP解码器，将运动表示映射至SMPL/MANO参数 θ 提供几何先验（排除全局根朝向）。该监督在训练前12K步从权重 0.1 线性退火至 0 ，使模型逐步过渡至依赖数据驱动与生成器先验，避免外部重建误差长期主导。

3. 实验验证

定量评估：在TikTok及互联网视频上的测试表明，3DiMo在LPIPS、FID、FVD指标上超越AnimateAnyone、MimicMotion、Uni3C、MTVCrafter等SOTA方法，验证了其视觉质量与运动控制精度。

用户研究：30名参与者对运动准确性、自然度、3D物理合理性和整体质量进行评分，3DiMo在所有维度均优于基线，尤其在3D物理合理性（ 4.05 ± 0.09 vs 次优的 3.97 ± 0.10 ）上显著领先。

消融研究：

  • 相比显式SMPL控制，隐式表示有效避免了深度歧义（如手-髋接触错误）；
  • 移除多阶段训练或辅助监督均导致性能下降，验证了各组件的必要性；
  • 交叉注意力机制显著优于通道拼接（channel concatenation）的conditioning方式。

4. 主要贡献

  • 范式创新：将人体运动控制重新定义为3D感知任务，实现从2D观测恢复3D运动本质，同时支持灵活的文本驱动相机控制。
  • 端到端隐式框架：提出首个与预训练DiT生成器联合训练的视角无关运动编码器，通过语义级交互而非刚性几何约束实现运动控制。
  • 视角丰富数据集：整合单视角、多视角及移动相机视频（共约820K clips），推动从数据与生成器先验中学习真正的3D空间运动理解。

局限与未来方向：当前分辨率限于480p，细粒度细节（如远距离面部、手部纹理）有待提升；尚未显式建模人-物交互；未来可探索更高分辨率生成与完全无监督的3D运动学习。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhixue Fang,Xu He,Songlin Tang,Haoxian Zhang,Qingfeng Li,Xiaoqiang Liu,Pengfei Wan,Kun Gai

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2602.03796.pdf

Arxiv URL: https://arxiv.org/abs/2602.03796

Arxiv ID: 2602.03796

CoolPaper URL: https://papers.cool/arxiv/2602.03796

Published: 2026-02-03T17:59:09Z

Updated: 2026-02-03T17:59:09.000Z

6. daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently

While Large Language Models (LLMs) excel at short-term tasks, scaling them to long-horizon agentic workflows remains challenging. The core bottleneck lies in the scarcity of training data that captures authentic long-dependency structures and cross-stage evolutionary dynamics—existing synthesis methods either confine to single-feature scenarios constrained by model distribution, or incur prohibitive human annotation costs, failing to provide scalable, high-quality supervision. We address this by reconceptualizing data synthesis through the lens of real-world software evolution. Our key insight: Pull Request (PR) sequences naturally embody the supervision signals for long-horizon learning. They decompose complex objectives into verifiable submission units, maintain functional coherence across iterations, and encode authentic refinement patterns through bug-fix histories. Building on this, we propose daVinci-Agency, which systematically mines structured supervision from chain-of-PRs through three interlocking mechanisms: (1) progressive task decomposition via continuous commits, (2) long-term consistency enforcement through unified functional objectives, and (3) verifiable refinement from authentic bug-fix trajectories. Unlike synthetic trajectories that treat each step independently, daVinci-Agency’s PR-grounded structure inherently preserves the causal dependencies and iterative refinements essential for teaching persistent goal-directed behavior and enables natural alignment with project-level, full-cycle task modeling. The resulting trajectories are substantial—averaging 85k tokens and 116 tool calls—yet remarkably data-efficient: fine-tuning GLM-4.6 on 239 daVinci-Agency samples yields broad improvements across benchmarks, notably achieving a 47% relative gain on Toolathlon. Beyond benchmark performance, our analysis confirms…

中文摘要

虽然大型语言模型（LLMs）在短期任务中表现出色，但将其扩展到长期代理工作流仍然充满挑战。核心瓶颈在于缺乏能够捕捉真实长期依赖结构和跨阶段进化动态的训练数据——现有的综合方法要么局限于受模型分布限制的单特征场景，要么导致高昂的人工注释成本，无法提供可扩展且高质量的监督。我们通过重新构想数据综合，从现实软件演进的角度来应对这一问题。我们的核心见解：拉取请求（PR）序列自然体现了长视野学习的监督信号。它们将复杂目标分解为可验证的提交单元，保持迭代间的功能一致性，并通过修复错误历史编码真实的细化模式。基于此，我们提出了daVinci-Agency，它通过三种互锁机制系统地从PR链中挖掘结构化监督：（1）通过连续提交实现渐进任务分解，（2）通过统一功能目标实现长期一致性强制，（3）从真实的bug修复轨迹中进行可验证的精炼。与独立处理每一步的合成轨迹不同，daVinci-Agency基于PR的结构本质上保留了教授持续目标导向行为所需的因果依赖和迭代改进，并实现与项目层面全周期任务建模的自然对齐。最终的轨迹相当可观——平均8.5万个令牌和116次工具调用——但数据效率极高：通过对239个达芬奇-代理机构样本进行GLM-4.6的微调，在基准测试中取得了广泛提升，尤其是在Toolathlon上实现了47%的相对提升。除了基准表现，我们的分析证实……

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决长程智能体（long-horizon agency）任务中高质量训练数据稀缺的核心瓶颈问题。具体而言，该研究针对以下关键挑战：

核心问题

  • 数据稀缺性与结构缺失：现有的大语言模型（LLMs）虽在短期任务中表现优异，但缺乏能够捕捉真实长程依赖结构和跨阶段演化动态的训练数据，导致模型难以维持长期目标导向行为。

  • 现有方法的局限性：

  • 合成环境方法：局限于单一特征场景，受限于模型生成分布，无法覆盖真实的失败模式和改进路径；

  • 人工标注方法：虽然保真度高，但收集、标注和质量保证过程复杂且成本高昂，难以规模化。

具体技术难点

论文指出，长程任务的核心挑战不仅在于延长推理长度，更在于智能体需要在扩展的交互周期中保持方向感并缓解累积误差。这要求模型掌握三种关键元技能（meta-skills）：

  1. 任务分解（Task Decomposition）
  2. 长期一致性（Long-term Consistency）
  3. 迭代改进（Iterative Refinement）

这些能力仅在跨阶段依赖和错误累积的条件下才会显现，需要显式的跨阶段演化监督信号，而现有方法往往将这些关键技能视为隐式副产品，而非可训练的目标。

解决思路

论文提出通过现实世界软件演化（特别是GitHub Pull Request序列）来重新概念化数据合成。PR序列天然具备以下特性，使其成为长程学习的理想监督来源：

  • 将复杂目标分解为可验证的提交单元；
  • 在迭代中保持功能一致性；
  • 通过Bug修复历史编码真实的改进模式。

基于这一洞察，论文构建了daVinci-Agency框架，通过挖掘”PR链”（chain-of-PRs）中的结构化监督，将孤立的代码生成任务转化为连续的多阶段工作流，从而在不依赖昂贵人工标注的情况下， scalable地构建高质量长程训练数据。

Q: 有哪些相关研究？

论文在第2节”Related Works”中系统梳理了相关研究，主要涵盖以下两个维度：

1. 智能体语言模型（Agentic Language Model）

早期奠基性工作

  • Toolformer (Schick et al., 2023)：首次证明语言模型可以通过自监督学习调用外部API
  • ReAct (Yao et al., 2022)：通过交错推理轨迹与任务特定动作，实现了推理与行动的协同

现代智能体基础模型

  • GLM-4.5 (Zeng et al., 2025)：提供统一的推理、编程和智能体任务框架，通过混合推理模式显著提升工具调用成功率
  • Kimi-K2 (Team et al., 2025)：采用万亿参数混合专家（MoE）架构，具备原生工具使用能力和可验证奖励训练机制

反馈校准与工具使用

近期研究（Wu et al., 2025; Barres et al., 2025; Yao et al., 2024; Li et al., 2025a）表明，智能体系统的核心挑战在于通过持续外部反馈精确校准动作轨迹。现有模型在复杂多轮交互中常面临工具调用不连贯或环境反馈利用效率低下的问题。

2. 长程智能体（Long-Horizon Agency）

基准测试演进

  • SWE-bench (Jimenez et al., 2023)：首个针对真实GitHub问题的软件工程基准
  • Toolathlon (Li et al., 2025a)：评估多样化、真实且长程的任务执行能力
  • UltraHorizon (Luo et al., 2025)：针对超长程场景的基准测试
  • SWE-bench Pro (Deng et al., 2025)：要求智能体解决长程软件工程任务

数据合成方法

  • SWE-rebench (Badertdinov et al., 2025)：尝试通过构建基于GitHub的交互环境生成长程数据
  • SWE-Smith (Yang et al., 2025b)：通过环境构建生成智能体轨迹

关键局限：上述方法虽扩展了环境执行，但现有数据合成范式仍难以显式培养以长程执行为中心的技能（任务分解、长期一致性、迭代改进）。这些方法主要依赖结果监督或教师模型生成的轨迹，将关键技能视为隐式副产品而非可训练目标。

3. 数据构建范式（第1节提及）

  • 合成环境方法：通过蒸馏或强化学习生成交互轨迹，但局限于单特征开发，缺乏跨阶段演化监督
  • 人工标注方法：提供高保真监督，但收集、标注和质量保证过程复杂且成本高昂，难以规模化

论文指出，与这些工作不同，daVinci-Agency通过挖掘Pull Request的自然演化过程，显式提取这些难以通过人工标注获得的技能监督信号，从而构建既可扩展又能有效教授长程工作流的数据集。

Q: 论文如何解决这个问题？

论文通过提出daVinci-Agency框架，利用现实世界软件演化过程中的Pull Request（PR）序列，构建了一种可扩展的长程数据合成范式。具体解决方案包含以下关键组成部分：

1. 核心范式：PR链（Chain-of-PRs）挖掘

论文将代码库视为演化实体而非静态快照，通过挖掘GitHub上具有依赖关系的PR序列构建任务链：

C = pr1, pr_2, …, pr_k quad where quad pr_i ref pr(i-1)

其中 pri ref pr(i-1) 表示依赖关系，即后续PR对先前PR的功能进行迭代、修复或扩展。这种结构强制要求智能体在演化的代码库状态下维护长程上下文并执行状态管理。

2. 三大监督机制

基于PR链的自然特性，论文提取了三种关键的长程行为监督信号：

  • 渐进式任务分解（Progressive Task Decomposition）：通过连续提交将复杂目标分解为可验证的提交单元，迫使智能体学习分阶段规划
  • 长期一致性约束（Long-term Consistency Enforcement）：通过统一的功能目标，在多次迭代中保持代码状态的功能连贯性
  • 可验证改进（Verifiable Refinement）：利用真实的Bug修复轨迹，提供错误纠正和反馈驱动的改进信号

3. 数据构建流程

3.1 PR链构建与查询生成

首先利用GitHub API的元数据（提交消息和审查评论中的显式引用）构建拓扑依赖关系。随后通过查询生成函数 q = f(x, p, R) 为每个PR合成子查询，其中 x 为自然语言上下文， p 为真实补丁， R 为仓库上下文。查询设计故意省略具体实现细节，强制智能体在推出过程中充分运用代码导航和定位能力。

3.2 分阶段推出与状态传播

为模拟真实增量开发流程，论文构建了基于文件修改传播的状态转移机制：

τt sim πθ(· | S(init)^((t)), q_t), quad where quad S(init)^((t)) = Bt oplus Delta(τ_t-1)

其中 Bt 为阶段 t 的基础代码库， Delta(τ_t-1) 为前一阶段生成的累积代码补丁， oplus 表示将前一补丁应用到新基础分支的操作。这种递归依赖确保后续任务严格建立在智能体自身演化的代码库状态之上。

3.3 拒绝采样与质量过滤

采用GLM-4.6作为评估器，通过评估函数 (comment, s) = E(q, p, p) 计算生成补丁 p 与真实补丁 p 的语义对齐分数 s 。仅保留 s ≥ 0.8 的高质量轨迹，并允许最多三次迭代优化，从而构建高保真训练数据集：

D_(train) = (C, q, τ) | s ≥ 0.8

4. 训练优化

基于构建的数据集，通过监督微调（SFT）优化策略 π_θ ，最小化负对数似然损失：

L(θ) = -E((C,q,τ)simD)(train) ∑(t=0)^(T) log πθ(at|C, q, o(≤ t), a_(<t))

该优化过程关键地从跨阶段演化中提取技能监督：顺序查询制定强制执行任务重组，而与演化真实状态的严格对齐则灌输长期一致性和改进策略。

通过这种设计，daVinci-Agency将孤立的单补丁生成扩展为多轮提交-反馈-改进轨迹，平均产生85k tokens和116次工具调用的长程交互数据，从而在不依赖昂贵人工标注的情况下， scalable地解锁了智能体的长程能力。

Q: 论文做了哪些实验？

论文进行了系统性的实验验证，涵盖模型性能对比、数据效率分析、跨架构泛化以及长程行为分析等多个维度。具体实验包括：

1. 基准测试与实验设置

评估基准

  • SWE-bench Verified：评估特征级软件工程能力
  • Toolathlon：评估工具利用和长程交互能力
  • DS-1000：评估文件级编码性能
  • τ2-Bench（零售和航空领域）：评估对话式智能体交互
  • SciCode-MP：评估科学研究编码能力
  • AgencyBench Code：评估多轮长程任务能力

对比基线

外部数据集：

  • SWE-Smith（66,000样本）：使用SWE-agent和Claude-3.7-Sonnet收集
  • CC-Bench（260样本）：使用Claude Code和Claude-4-Sonnet/Kimi-K2收集
  • AFM CodeAgentDataset（59,939样本）：代码问答智能体轨迹

内部变体（消融实验）：

  • daVinci-AgencySinglePR（2,786样本）：限制为孤立PR，验证多PR范式的必要性
  • daVinci-AgencyTemporalChain（600样本）：按时间顺序而非语义引用关系连接PR

2. 主要性能对比（表1）

在GLM-4.6上的微调结果显示：

  • 数据效率：仅用239个样本的daVinci-Agency平均得分0.475，显著优于使用66,000样本的SWE-Smith（0.373）
  • 关键提升：在Toolathlon上实现47%相对增益（从0.157提升至0.231），在SWE-bench上达到0.632
  • 鲁棒性：在SWE-bench和DS-1000上保持强劲性能，同时显著提升SciCode-MP表现（从0.062提升至0.154）

3. 跨模型架构泛化（表2、表3）

多架构适配

在Qwen3系列（涵盖MoE和Dense架构）上的测试：

  • MoE模型（Qwen3-30B-A3B）：平均得分从0.295提升至0.307，SWE-bench从0.242提升至0.262
  • Dense模型（Qwen3-32B）：平均得分提升至0.292，SciCode-MP和Toolathlon均有显著增益
  • 小模型（Qwen3-8B）：在推理能力受限情况下仍实现整体性能正增长

长程任务专项（AgencyBench Code）

GLM-4.6-daVinci-Agency取得15.9分，显著超越基线GLM-4.6（11.9分）及DeepSeek-v3.2（11.6分）、Kimi-K2-Thinking（11.8分）等先进模型。

4. 元技能行为分析（图5）

通过SWE-bench Django Issue #11149的案例研究，验证模型在长程行为上的内化：

  • 任务分解：基线模型表现出”逃避”（Escapism）和”固执”（Perseveration），而daVinci-Agency模型展现结构化分解，逐步建立配置并执行测试序列
  • 迭代改进：出现”顿悟时刻”——在代码修改中主动识别逻辑错误（”Wait, I see a problem… infinite recursion”），并使用super()主动修复
  • 长期一致性：基线模型出现”迷失”（Lost）和”目标漂移”（Goal Drift），而微调模型能维持全局对齐

5. 效率与缩放分析

执行效率提升（图6）

  • Token效率：在SWE-bench上，GLM-4.6平均减少113.6K tokens，Qwen3-32B减少288.8K tokens
  • 工具调用效率：在SWE-bench上减少25.8%工具调用，在Toolathlon上减少13.3%
  • 智能密度：通过压缩推理轨迹，确保每个token携带更高信息密度，缓解长程任务的”lost-in-the-middle”问题

数据缩放定律（图7）

训练时程缩放（Train Scaling）：

  • daVinci-Agency-Short：平均59.39K tokens/样本
  • daVinci-Agency-Long（通过扩展PR链）：平均84.82K tokens/样本
  • 效果：在SWE-bench和τ2-bench上实现最高8%的相对性能提升，证明延长轨迹长度能有效激发潜在智能体能力

推理预算缩放（Test Scaling）：

  • 在SWE-bench上，随着允许工具调用次数增加，daVinci-Agency微调模型与基线的性能差距显著扩大
  • 证明长程数据范式能有效缓解长序列中的错误累积问题，在复杂多步推理任务中保持稳定的问题解决能力

拒绝采样消融（附录表5）

验证数据质量的关键作用：

  • 无拒绝采样：使用原始未过滤轨迹导致灾难性性能下降（平均0.205，低于基线0.405）
  • 有拒绝采样：不仅恢复基线能力，还提升至0.421，证明语义对齐是成功自蒸馏的决定性因素

Q: 有什么可以进一步探索的点？

基于论文的局限性与发现，以下是可以进一步探索的关键研究方向：

1. 超长程演化链的构建

当前实现受成功率限制，最多连接5个PR。未来工作可聚焦于：

  • 突破成功率瓶颈：开发更鲁棒的验证机制或中间状态检查点，支持构建10+ PR的深层依赖链，探索”极限长程”（ultra-long-horizon）场景下的能力涌现
  • 层级化抽象：在更长的时间跨度上建模软件架构演进（如从模块级到系统级的重构），而非仅关注功能级迭代

2. 跨领域泛化验证

论文范式以软件工程为试验场，但其核心洞察——利用真实世界的演化轨迹——可扩展至：

  • 科学研究流程：利用论文修订历史（peer review chains）或实验记录构建长程科研智能体数据
  • 多模态项目：将PR链概念迁移至文档协作（如Google Docs修订历史）、设计迭代（Figma版本历史）或数据处理pipeline的演化
  • 开放世界环境：从封闭的代码库扩展到需要与动态外部环境（如云计算资源、实时数据库）持续交互的场景

3. 与强化学习的深度融合

当前方法主要依赖**监督微调（SFT）**和拒绝采样，未来可探索：

  • 在线策略优化：将daVinci-Agency作为初始数据生成器，结合RLAIF（基于AI反馈的强化学习）在超长轨迹上进行端到端优化
  • 过程奖励建模：针对长程任务中的中间状态（intermediate commit states）设计细粒度奖励函数，而不仅仅依赖最终补丁的语义对齐
  • 课程学习（Curriculum Learning）：基于PR链的拓扑复杂度（如依赖深度、文件修改范围）设计自适应训练课程

4. 多智能体协作的长程一致性

当前框架聚焦于单智能体的连续演化，可扩展至：

  • 分布式PR链：模拟真实开源社区中多开发者协作的场景，其中不同智能体负责PR链中的不同阶段，需维护跨智能体的上下文一致性
  • 对抗性评审机制：引入专门的”Reviewer智能体”对PR链中的提交进行批判性反馈，强制生成智能体进行更严格的自我修正（self-correction）

5. 认知机制的细粒度解析

论文识别了三种元技能（分解、一致性、改进），可进一步深化：

  • 错误传播分析：系统性研究长程任务中错误累积的数学模型，量化不同阶段的错误恢复概率
  • 认知卸载（Cognitive Offloading）机制：探索智能体如何在长程交互中有效利用外部工具（如issue tracker、文档）作为外部记忆，减轻上下文窗口压力
  • “顿悟时刻”（Aha-moment）的形式化：对案例中观察到的自我纠错行为进行机制分析，设计显式激励此类行为的训练目标

6. 数据合成与验证的效率优化

  • 自动化质量评估：当前依赖GLM-4.6进行昂贵的拒绝采样，可训练轻量级验证器（verifier）以更低成本筛选高质量轨迹
  • 合成与真实的混合：研究如何在保持真实PR结构的同时，通过LLM生成”合理虚构”的演化路径，以解决稀有但关键的长期依赖模式数据稀缺问题

7. 推理时计算与训练时程的联合优化

论文揭示了训练轨迹长度与推理预算的scaling laws，未来可探索：

  • 自适应推理预算分配：训练智能体根据任务复杂度动态决定”思考深度”（thinking depth）和工具调用次数
  • 测试时训练（Test-time Training）：在推理阶段针对具体长程任务进行实时参数更新，以应对训练时未见过的超长依赖结构

这些方向共同指向一个核心目标：构建能够处理开放式、持续性演化的自主智能体，而不仅仅是解决预先定义好的长程任务。

Q: 总结一下论文的主要内容

该论文提出daVinci-Agency，一种通过挖掘现实世界软件演化过程中的Pull Request（PR）链来解锁长程智能体（long-horizon agency）能力的数据合成范式。

1. 核心问题

大型语言模型（LLMs）在短程任务中表现优异，但扩展到长程智能体工作流时面临训练数据稀缺的瓶颈。现有方法要么局限于单特征合成（缺乏跨阶段依赖监督），要么依赖昂贵的人工标注，难以规模化。长程任务的关键在于维持长期目标一致性、任务分解和错误修正能力，这些能力需要真实的跨阶段演化监督信号。

2. 核心洞察

论文发现GitHub Pull Request序列天然具备长程学习所需的监督结构：

  • 将复杂目标分解为可验证的提交单元
  • 在迭代中保持功能一致性
  • 通过Bug修复历史编码真实的改进模式

3. 方法框架

daVinci-Agency通过三个互锁机制构建结构化监督：

  • 渐进式任务分解：利用连续提交将复杂目标拆解为阶段性子任务
  • 长期一致性约束：通过统一功能目标确保跨迭代的代码状态连贯
  • 可验证改进：基于真实Bug修复轨迹提供错误纠正信号

具体实现上，该方法构建最多包含5个PR的语义依赖链（ pri ref pr(i-1) ），通过状态转移机制 S(init)^((t)) = B_t oplus Delta(τ_t-1) 确保前一阶段的代码修改被传递到下一阶段，配合拒绝采样（阈值 s ≥ 0.8 ）筛选高质量轨迹。

4. 实验结果

  • 数据效率：仅用239个样本微调GLM-4.6，平均轨迹长度达85k tokens和116次工具调用，却在多个基准上超越使用数万样本的方法：
  • Toolathlon相对增益47%（0.157 → 0.231）
  • SWE-bench达到0.632，超过基线0.608
  • AgencyBench Code得分15.9，显著优于基线（11.9）和Kimi-K2-Thinking（11.8）
  • 跨架构泛化：在Qwen3系列（MoE和Dense架构）上均实现稳定提升，证明范式具有模型无关性。
  • 行为分析：案例研究显示微调后的模型展现出结构化的任务分解、主动的”顿悟时刻”式自我纠错，以及显著的执行效率提升（Token消耗减少高达288.8K，工具调用减少25.8%）。

5. 关键贡献

  • 提出首个基于真实软件演化过程的长程数据合成范式，克服了单特征合成和教师模型限制的局限
  • 揭示了长程任务的数据缩放定律：扩展训练轨迹长度（59K → 85K tokens）和推理时交互预算能持续提升性能
  • 证明高质量的结构化数据（而非单纯的数据量）是掌握复杂工程工作流的关键，为自主智能体的长程能力解锁提供了可扩展路径

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mohan Jiang,Dayuan Fu,Junhao Shi,Ji Zeng,Weiye Si,Keyu Li,Xuefeng Li,Yang Xiao,Wenjie Li,Dequan Wang,Pengfei Liu

Categories: cs.LG,cs.AI,cs.SE

PDF URL: https://arxiv.org/pdf/2602.02619.pdf

Arxiv URL: https://arxiv.org/abs/2602.02619

Arxiv ID: 2602.02619

CoolPaper URL: https://papers.cool/arxiv/2602.02619

Published: 2026-02-02T13:23:39Z

Updated: 2026-02-02T13:23:39.000Z

7. Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks

World models have emerged as a critical frontier in AI research, aiming to enhance large models by infusing them with physical dynamics and world knowledge. The core objective is to enable agents to understand, predict, and interact with complex environments. However, current research landscape remains fragmented, with approaches predominantly focused on injecting world knowledge into isolated tasks, such as visual prediction, 3D estimation, or symbol grounding, rather than establishing a unified definition or framework. While these task-specific integrations yield performance gains, they often lack the systematic coherence required for holistic world understanding. In this paper, we analyze the limitations of such fragmented approaches and propose a unified design specification for world models. We suggest that a robust world model should not be a loose collection of capabilities but a normative framework that integrally incorporates interaction, perception, symbolic reasoning, and spatial representation. This work aims to provide a structured perspective to guide future research toward more general, robust, and principled models of the world.

中文摘要

世界模型已经成为人工智能研究中的一个关键前沿领域，旨在通过注入物理动力学和世界知识来增强大型模型。其核心目标是使智能体能够理解、预测并与复杂环境互动。然而，当前的研究格局仍然零散，方法主要集中在将世界知识注入到孤立的任务中，例如视觉预测、三维估计或符号基础，而不是建立统一的定义或框架。虽然这些针对特定任务的整合能带来性能提升，但它们往往缺乏实现整体世界理解所需的系统一致性。在本文中，我们分析了这种零散方法的局限性，并提出了世界模型的统一设计规范。我们认为，一个健全的世界模型不应只是能力的松散集合，而应是一个规范性的框架，能够完整地整合交互、感知、符号推理和空间表征。本研究旨在提供一个结构化的视角，指导未来的研究朝着更加通用、稳健且原则化的世界模型发展。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对“世界模型”研究碎片化、任务孤岛化的现状，提出并论证了以下核心问题：

  • 碎片化注入世界知识无法通向通用世界理解
    现有工作大多把“世界模型”简化为“给某个具体任务（视觉预测、3D 估计、符号接地、自动驾驶等）注入人类先验或物理规则”，结果只能在该任务上获得局部性能提升，缺乏跨任务一致性、可扩展性与持续学习能力。

  • 缺乏统一的形式化框架
    领域尚未形成对“世界模型”应包含哪些必要组件、组件间如何协同的共识，导致研究重复、评估割裂、进展难以累积。

  • 因此，世界模型研究需要范式转移
    从“任务驱动的知识注入”转向“系统级统一设计”，使模型具备

  1. 多模态交互
  2. 因果推理
  3. 长时记忆
  4. 可生成、可响应的环境
  5. 多模态生成与自我验证
    等内在能力，从而真正“理解-预测-作用于”复杂世界，而非仅仅拟合特定标注分布。

Q: 有哪些相关研究？

论文在第 2 节“Background”与第 4 节“Limitations of Existing Models”中系统梳理了相关研究，可归纳为三大脉络、若干代表性工作：

  1. 基于大模型的“世界知识”推理
  • OpenAI O3、Gemini-1.5 等多模态链式推理框架
  • SpatialVLM、Cambrian-S 等显式空间/几何推理模型
  • 科学竞赛专用代理：SciMaster、Physics SuperNova、SeePhys 冠军方案
  • 长视频-3D-音频联合推理：MME-CoF、Step-Audio-R1、Video-Reasoner
  1. 世界知识驱动的内容生成
  • 视频/4D 生成：Sora、Veo-3、Hunyuan-GameCraft、Seedance、Wan2.5
  • 图像编辑：EditWorld、AnyEdit、UniReal、Zone
  • 3D/4D 表征：NeRF、3D-GS、4D-GS、WideRange4D、Lyra、Triposr
  • 物理一致性强化：基于 RL 或 Score-Distillation 的“物理对齐”扩散训练
  1. 具身-自动驾驶环境中的交互代理
  • VLA 模型：π0、GigaBrain-0、OmniJarvis、Agibot-World-Colosseo
  • 驾驶世界模型：GAIA-1/2、Trans4D、WorldMirror、MetaDrive
  • 开放世界代理：Lumine、AutoEnv、Matrix-Game、MobileWorld

论文同时指出，上述研究仍停留在“给特定任务灌数据/灌规则”的阶段，缺乏统一接口与长期一致性，因而被视为“碎片化的相关方法”而非真正的世界模型。

Q: 论文如何解决这个问题？

论文并未提出一个端到端可训练的新模型，而是从“研究范式”层面给出解决方案，核心路径可概括为：

  1. 批判碎片化范式
    通过案例（LLM 多数手指误判、编辑光照违背物理、视频长时记忆丢失、3D 场景碎片化、具身机器人伤人等）量化说明“任务专用知识注入”无法产生真正的世界理解。

  2. 提出统一设计规范（Unified World Model Framework）
    将世界模型明确定义为五元组闭环系统：

  • Interaction：统一多模态感知 + 动作接口
  • Reasoning：显式/隐式混合因果推理
  • Memory：结构化、可压缩、动态更新的长时记忆
  • Environment：可生成、可响应、物理一致的仿真/真实环境
  • Multimodal Generation：与推理-记忆闭环的自验证生成器
    规范各模块的输入/输出、更新频率与接口协议，使得不同研究组可以“即插即用”地替换子模块，同时保持系统级一致。
  1. 给出标准化与可行性论证
  • 效率-泛化权衡：统一框架训练成本高，但支持跨任务迁移与终身学习，打破专用模型的性能天花板。
  • 多样性-整合权衡：统一不等于“单一大网络”，而是“模块化+标准接口”，鼓励算法多样性同时减少重复造轮子。
  1. 指明未来突破方向
  • 物理 grounded 时空表征（质量、摩擦、弹性等属性嵌入神经隐式场）
  • 具身交互控制（高自由度、sim-to-real、长时程规划）
  • 自主反思与模块持续演化（不确定性估计→自主采样→局部微调→模块热插拔）

通过上述“规范框架+模块化接口+持续演化机制”，论文试图把世界模型研究从“任务级微调”导向“系统级协同”，从而解决碎片化问题。

Q: 论文做了哪些实验？

全文未设计任何定量实验或新数据集，而是采用“案例-失败-分析”式定性论证，具体包括：

  1. 图 3 五类失败案例
    (a) VLM 推理：六指图片被误判为五指
    (b) 图像编辑：光影与真实物理不符
    (c) 导航视频：左右往返后物体消失
    (d) 高速动态视频：出现违背刚体/流体规律的运动
    (e) 3D 场景生成：点云密度不足导致局部断裂、扭曲

  2. 图 4 三类具身-驾驶案例
    (a) 机械臂抓取：任务简单、无法泛化到杂乱场景
    (b) 自动驾驶：平直道路仍因感知-决策不一致失败
    (c) 人形模仿：照搬轨迹撞伤人类，缺乏安全自省

  3. 文献-现象对照
    将 Sora、Veo-3、GAIA-1/2、π0、EditWorld 等前沿工作的公开演示或已发表论文中暴露的“物理不一致”“长时记忆丢失”“sim-to-real 差距”截图或描述作为“实验证据”，配合文字说明其根源在于“任务专用知识注入”范式。

综上，论文通过“公开模型+可视化失败案例+因果分析”取代传统消融实验，用以支撑“碎片化方法必然导致一致性缺陷”的论点，并反向验证所提统一框架的必要性。

Q: 有什么可以进一步探索的点？

可进一步探索的关键方向（按论文第 6 节“Future Work”提炼并扩展）：

  1. 物理 grounded 时空表征
  • 神经隐含式场同时编码外观与物理属性（质量、摩擦、弹性、碰撞体积）
  • 可微分、可交互、低渲染开销的新数据结构（混合体素-符号距离-粒子场）
  • 支持实时切割、流体、软体变形的统一表示
  1. 具身交互与控制
  • 高自由度（≥20 DoF）灵巧手操作的可泛化策略生成
  • World-Model→真实机器人零样本迁移：考虑扭矩、奇异点、延迟的硬件约束蒸馏
  • 长时程多阶段任务（如“做早餐→洗碗→回收”）的因果逻辑规划与在线重规划
  1. 自主反思与持续演化
  • 不确定性估计→触发“自我疑问”→主动采集高价值样本→局部微调/编辑权重
  • 模块化热插拔：感知、记忆、推理、生成子网络可独立升级而不遗忘旧能力
  • 无人工奖励的“内在好奇心”驱动探索，形成自我监督闭环
  1. 生成式环境即训练基础设施
  • 程序+生成式混合 pipeline：一句话→无限、可交互、物理一致的多场景分布
  • 环境作为可微分层：梯度反向传播到世界模型，实现“环境-策略”联合优化
  1. 评价基准与协议
  • 长时一致性基准：对象持久性、物理守恒、因果链追溯
  • 跨模态一致性：同一场景的文本-图像-视频-3D 标注自动对齐并相互验证
  • 终身学习评测：连续 100+ 任务流，无回放，度量遗忘-迁移曲线
  1. 安全与伦理
  • 自我反省机制与价值对齐：当模型发现自身策略可能伤人或误导时主动停机或请求干预
  • 可解释接口：把隐式物理表征转化为人类可读的自然语言或可视化规则，供审计与纠正

Q: 总结一下论文的主要内容

  • 问题：世界模型研究被简化为“给孤立任务注入世界知识”，导致碎片化、缺乏系统一致性，难以形成通用物理理解。
  • 证据：LLM/VLM 幻觉、编辑光影错误、视频长时记忆丢失、3D 碎片化、具身事故等定性案例。
  • 方案：提出统一设计规范——由 Interaction、Reasoning、Memory、Environment、Multimodal Generation 五模块组成的闭环框架，定义接口与更新协议，支持模块化热插拔与持续学习。
  • 展望：物理 grounded 表征、高自由度具身控制、自主反思与模块演化、生成式环境基础设施、安全伦理机制是未来突破点。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Bohan Zeng,Kaixin Zhu,Daili Hua,Bozhou Li,Chengzhuo Tong,Yuran Wang,Xinyi Huang,Yifan Dai,Zixiang Zhang,Yifan Yang,Zhou Liu,Hao Liang,Xiaochen Ma,Ruichuan An,Tianyi Bai,Hongcheng Gao,Junbo Niu,Yang Shi,Xinlong Chen,Yue Ding,Minglei Shi,Kai Zeng,Yiwen Tang,Yuanxing Zhang,Pengfei Wan,Xintao Wang,Wentao Zhang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2602.01630.pdf

Arxiv URL: https://arxiv.org/abs/2602.01630

Arxiv ID: 2602.01630

CoolPaper URL: https://papers.cool/arxiv/2602.01630

Published: 2026-02-02T04:42:44Z

Updated: 2026-02-02T04:42:44.000Z

8. CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model’s dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model’s evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.

中文摘要

可验证奖励的强化学习（RLVR）已经成为提升大型语言模型（LLM）推理能力的关键方法。然而，像组相对策略优化（GRPO）这样的标准框架通常采用统一的 rollout 预算，导致资源利用效率低。此外，现有的自适应方法往往依赖于实例级指标，例如任务通过率，无法反映模型动态的学习状态。为了解决这些局限性，我们提出了 CoBA-RL，一种强化学习算法，旨在根据模型不断变化的能力自适应分配 rollout 预算。具体来说，CoBA-RL 利用面向能力的价值函数，将任务映射到其潜在训练收益，并采用基于堆的贪婪策略，高效地自我校准计算资源在具有高训练价值的样本上的分配。大量实验表明，我们的方法能够有效协调探索与利用之间的权衡，在多个具有挑战性的基准测试中持续提升泛化能力。这些研究结果强调了量化样本训练价值和优化预算分配对于提升大型语言模型后训练效率的重要性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决强化学习在大型语言模型（LLM）后训练过程中的动态预算分配问题，具体针对以下关键挑战：

1. 统一预算分配的资源低效性

标准框架（如Group Relative Policy Optimization, GRPO）通常为每个提示分配固定的统一rollout预算（ G 个采样轨迹）。这种均匀分配策略忽略了不同样本的训练价值差异，导致计算资源被浪费在低训练价值的简单样本上，而复杂样本可能因预算不足而无法充分探索。

2. 静态价值函数与模型能力脱节

现有自适应方法（如基于历史通过率的分配策略）通常依赖静态价值函数，其存在以下局限：

  • 固定难度假设：预设困难样本始终比简单样本具有更高训练价值，且这种关系在训练过程中恒定不变
  • 忽视能力演化：未能考虑模型能力随训练动态演化的特性——随着策略模型 π_θ 的能力提升，具有高训练价值的样本集合会不断迁移（例如，早期应利用简单样本巩固基础，后期需探索困难样本扩展解空间）

3. 探索与利用的权衡失衡

有效的强化学习需要在利用（巩固已掌握实例）和探索（在挑战性查询上采样多样化轨迹）之间动态平衡。现有方法缺乏根据模型实时能力（通过全局失败率 F_t 量化）自动校准该权衡的机制，无法将计算资源持续重新对齐到最适合当前训练阶段的样本。

解决方案概述

针对上述问题，论文提出 CoBA-RL（Capability-Oriented Budget Allocation for Reinforcement Learning），核心创新包括：

  • Capability-Oriented Value函数：基于Beta分布构建动态价值函数 V(Bi, πθ, p_i) ，通过全局失败率 F_t 实时调整形状参数 (α_t, β_t) ，将任务通过率 p_i 映射到潜在训练收益
  • 堆基贪婪分配策略：利用价值函数的边际收益递减特性（ Delta V(Bi, p_i) > Delta V(B_i+1, p_i) ），通过最大堆高效求解约束优化问题，将总预算 B(total) 分配给边际增益最高的样本
  • 自校准机制：根据模型能力演化自动调整偏好密度——高失败率时偏向高通过率样本（利用），低失败率时转向低通过率样本（探索），实现资源分配与模型能力的动态协同

Q: 有哪些相关研究？

相关研究主要涵盖以下两个方向：

1. 面向LLMs的强化学习

RLVR（Reinforcement Learning with Verifiable Rewards） 方法已被证明能有效增强LLM的推理能力，涵盖推理、编程和数学领域。在此领域中：

  • GRPO（Group Relative Policy Optimization） (Shao et al., 2024) 因其有效性和效率而被广泛采用，通过为每个提示分配统一的rollout预算 G 来计算组相对优势，无需单独的价值网络
  • GSPO (Zheng et al., 2025a) 基于序列似然定义样本重要性
  • DAPO (Yu et al., 2025) 引入四种不同技术来增强强化学习性能

然而，这些基于组的机制通常忽略不同任务间的固有变异性，不可避免地导致rollout资源的显著浪费。

2. 渐进式训练与资源分配

2.1 课程学习（Curriculum Learning）

渐进式训练策略，特别是课程学习，通过将训练数据组织成不同的难度阶段来增强模型性能：

  • ADCL (Zhang et al., 2025a) 通过定期评估后续数据批次来解决难度偏移问题
  • SEC (Chen et al., 2025b) 利用策略梯度优势动态调整数据分布
  • 其他相关研究包括针对小型代码语言模型的课程学习 (Naïr et al., 2024)、数学推理的渐进掌握方法 (Wu et al., 2025) 等

这类方法侧重于选择哪些样本进行训练，而CoBA-RL侧重于自适应分配不同的计算预算。

2.2 预算分配（Budget Allocation）

预算分配是运筹学中的基础问题，在在线广告和营销领域有广泛研究：

  • 通常利用**多臂老虎机（Multi-Armed Bandit）**框架优化资源分配 (Ge et al., 2025)
  • 近期研究将此概念适应于LLM：
  • ROI-Reasoning (Zhao et al., 2026)：将有限token预算下的推理建模为有序随机多选择背包问题
  • GVM-RAFT (Yao et al., 2025)：通过拒绝采样分配资源以最小化随机梯度方差
  • Knapsack-RL (Li et al., 2025b)：采用经典背包问题公式（Pisinger & Toth, 1998）最大化批次价值

关键局限：现有方法（如Knapsack-RL）往往依赖静态或预定义的价值函数，未能有效适应训练过程中动态演化的模型能力，缺乏将个体样本潜在训练价值与模型实时能力显式关联的机制。

Q: 论文如何解决这个问题？

论文通过提出 CoBA-RL（Capability-Oriented Budget Allocation for Reinforcement Learning）算法解决上述问题，核心方法论包含以下两个关键组件：

1. 能力导向价值函数（Capability-Oriented Value Function）

该函数动态量化每个任务在当前策略下的训练价值，由两部分构成：

1.1 全局能力量化（Global Capability）

定义训练步骤 t 时的全局成功率 St 和全局失败率 F_t ：
S_t = (1) / (M) ∑(i=1)^(M) p_i(x_i; θ_t), quad F_t = 1 - S_t
其中 p_i 为任务 x_i 的通过率， M 为批次大小。 F_t 作为模型实时能力的量化指标，随训练动态演化。

1.2 能力诱导偏好密度（Capability-Induced Preference Density）

采用 Beta 分布建模模型对样本难度的偏好密度，其形状参数 (α_t, β_t) 随全局失败率 F_t （经非线性变换 Psi(·) 处理后的移动平均）动态调整：

Density(p_i; α_t, β_t) = p_i^(α_t-1) (1-p_i)^(β_t-1)B(α_t, β_t)

参数更新规则为：
αt = clip(α(min) + λ · Ft, α(min), α_(max)), quad β_t = kappa - α_t

动态机制：

  • 高失败率阶段（训练早期， F_t 较大）： α_t 较大，分布偏向高通过率样本（ p_i to 1 ），优先利用（exploitation）简单样本快速获取训练信号
  • 低失败率阶段（训练后期， F_t 较小）： α_t 较小，分布偏向低通过率样本（ p_i to 0 ），优先探索（exploration）困难样本扩展解空间

1.3 预算饱和因子（Budget Saturation Factor）

考虑预算 B_i 的边际收益递减特性，设计饱和因子：
eta(B_i, p_i) = 1 - e^(-(B_i) / (τ) p_i(1-p_i))

其中 τ 为温度系数，控制价值饱和速度。该因子确保增加预算带来的收益符合收益递减规律。

1.4 完整价值函数

综合上述组件，任务 xi 的价值函数为：
V(B_i, πθ, p_i) = (1 - e^(-(B_i) / (τ) p_i(1-p_i))) · Density(p_i; α_t, β_t)

该函数实现了双自适应：既响应模型能力演化（通过 α_t, β_t ），又服从预算约束的经济学规律（通过 eta ）。

2. 基于堆的贪婪预算分配（Heap-Based Greedy Budget Allocation）

将预算分配形式化为约束优化问题：
max(B_1,…,B_M) ∑(i=1)^(M) V(Bi, πθ, p_i)

subject to quad ∑(i=1)^(M) B_i = B(total), quad B(low) ≤ B_i ≤ B(up), quad Bi ∈ Z+

2.1 边际收益递减性质（关键理论保证）

论文证明价值函数满足边际收益严格递减：
Delta V(B_i, p_i) = V(B_i+1, p_i) - V(B_i, p_i)

Delta V(B_i, p_i) > Delta V(B_i+1, p_i)

该性质保证贪婪策略（每次将单位预算分配给当前边际增益最大的任务）可获得全局最优解。

2.2 堆算法实现

采用最大堆（Max-Heap）实现高效分配：

  1. 初始化：所有任务分配最低预算 B_(low) ，计算初始边际增益 Delta V 并入堆
  2. 迭代分配：每次从堆顶弹出边际增益最大的任务 i^ ，分配单位预算 ( B(i^) arrow B(i^*)+1 )
  3. 状态更新：重新计算该任务的新边际增益并入堆，直至总预算耗尽或达到上限 B_(up)

复杂度分析：

  • 时间复杂度： O(B(total) log M) （相比动态规划的 O(M · B(total) · (B(up)-B(low))) 提升约 928 倍）
  • 空间复杂度： O(M)

3. 探索-利用权衡的自校准机制

通过 F_t 对 α_t 的动态调节，算法实现了探索与利用的自主权衡：

  • 早期（高 F_t ）：价值函数峰值位于高 p_i 区域，资源集中于巩固已掌握知识（利用）
  • 后期（低 F_t ）：价值函数峰值迁移至低 p_i 区域，资源转向攻克困难样本（探索）

这种能力感知的分配策略确保计算资源始终与模型当前能力状态相匹配，避免了静态策略的僵化分配或简单难度启发式的局限性。

Q: 论文做了哪些实验？

论文进行了系统性实验验证，涵盖主实验对比、策略分析、消融研究及效率评估等多个维度：

1. 实验设置

  • 基座模型：Qwen2.5-7B-Instruct、Qwen2.5-7B-Base、Qwen3-1.7B-Base、Qwen3-4B-Base
  • 训练数据：DAPO-Math-17K（数学推理数据集）
  • 基线方法：
  • GRPO（标准均匀分配策略）
  • Knapsack-RL（基于静态价值函数的背包优化分配）
  • 评估基准：AIME24、AIME25、AMC23、MATH500、OLYMPIAD Bench
  • 评估指标：avg@16（16次采样平均准确率）

2. 主实验结果（Main Results）

在五个挑战性数学基准上，CoBA-RL显著优于基线：

模型 方法 AIME24 AIME25 AMC23 MATH500 OLYMPIAD 平均
Qwen2.5-7B-Instruct GRPO 14.17 12.71 69.84 76.78 37.68 42.24
Knapsack-RL 18.54 15.21 71.41 80.55 41.23 45.39
CoBA-RL 18.96 18.33 73.12 80.30 43.19 46.78
Qwen2.5-7B-Base GRPO 15.41 13.33 75.00 77.63 37.03 43.68
CoBA-RL 21.04 16.04 76.71 80.23 43.11 47.43
Qwen3-4B-Base GRPO 18.54 15.62 65.62 81.19 42.61 44.72
CoBA-RL 22.71 21.16 72.34 84.29 46.78 49.46

关键发现：

  • 在Qwen2.5-7B-Instruct上，CoBA-RL较GRPO平均提升 4.54%，在AIME25上提升达 5.62%
  • 在Qwen3-4B-Base上，AMC23准确率提升 6.72%（从65.62%到72.34%）
  • 训练曲线（图3）显示CoBA-RL在各模型尺度上均保持持续优势

3. 探索-利用策略分析（Exploration vs. Exploitation）

对比两种训练策略（表2）：

  • Explore → Exploit：早期探索困难样本，后期利用简单样本
  • Exploit → Explore（本文方法）：早期利用简单样本巩固基础，后期探索困难样本
策略 AIME24 AIME25 平均
Explore → Exploit 16.87 10.41 44.50
Exploit → Explore 18.96 18.33 46.78

结论：”先利用后探索”策略显著优于反向策略，特别是在AIME25上（+7.92%），验证了动态调整预算分配方向的必要性。

4. 与静态及启发式基线对比

对比固定参数策略（表3）：

  • 静态利用策略：固定 (α, β) = (10.5, 1.5) （始终偏向高通过率样本）
  • 静态探索策略：固定 (α, β) = (1.5, 10.5) （始终偏向低通过率样本）
  • 线性衰减启发式： α_t 从10线性递减至1
  • CoBA-RL：动态调整 α_t 基于全局失败率
方法 平均准确率
静态利用 (α=10.5, β=1.5) 44.22%
静态探索 (α=1.5, β=10.5) 45.21%
线性步数衰减 45.39%
CoBA-RL 46.78%

结论：动态自适应机制较静态/启发式策略提升 1.39%-2.56%，证明实时感知模型能力的必要性。

5. 消融研究（Ablation Studies）

5.1 总预算约束下的性能（图6）

在不同总预算 B_(total) ∈ 2048, 4096, 8192 下评估：

  • 当 B(total)=2048 时，CoBA-RL达到 45.52%，超过GRPO在 B(total)=4096 时的 42.78%
  • 证明CoBA-RL具有数据效率优势：用一半预算超越均匀分配策略

5.2 参数敏感性分析（附录D.2，图8）

测试Beta分布形状参数和 kappa ∈ 7, 11, 15, 21 ：

  • 性能在 kappa=11 时最优（46.61%），但各设置间波动较小（45.40%-46.61%）
  • 验证方法对超参数具有鲁棒性

6. 运行效率评估（表4）

对比预算分配算法效率（ B_(total)=8192, M=512 ）：

方法 分配时间 加速比
动态规划 (DP) 115.05秒 1×
堆基贪婪策略 0.124秒 ~928×

结论：堆基贪婪策略将复杂度从 O(M · B(total) · (B(up)-B(low))) 降至 O(B(total) log M) ，满足在线强化学习实时性要求。

7. 任务难度转换分析（附录D.1，图7）

追踪训练过程中不同难度任务（极难/难/中/易/极易）的状态转换：

  • 中等难度任务：CoBA-RL转化率 71.2% vs GRPO 46.8%
  • 困难任务：CoBA-RL转化率 36.7% vs GRPO 17.3%（提升近一倍）
  • 极难任务：CoBA-RL解决率 8.7% vs GRPO 4.1%

该分析验证了CoBA-RL能动态识别并有效利用各难度层级的高价值样本。

Q: 有什么可以进一步探索的点？

基于论文的核心贡献与局限性，以下是值得进一步探索的研究方向：

1. 更细粒度的能力感知机制

当前方法使用全局失败率 F_t 作为模型整体能力的单一标量指标。未来可探索：

  • 分层能力建模：针对不同数学领域（代数、几何、数论）或推理技能（归纳、演绎、反证）维护独立的能力指标，实现领域感知的预算分配
  • 个体样本的不确定性量化：除通过率 p_i 外，引入预测方差或信息增益（information gain）作为辅助指标，更精确地识别”高潜力”样本

2. 价值函数的自适应学习

当前价值函数基于预设的Beta分布和手工设计的饱和因子 eta 。可探索：

  • 神经化价值函数：使用轻量级神经网络 V_φ(B_i, p_i, context) 替代解析形式，通过元学习（meta-learning）从历史训练轨迹中学习不同任务类型的价值曲线
  • 多目标优化：除准确率外，同时考虑响应长度、计算延迟等因素，构建帕累托最优的分配策略

3. 与课程学习（Curriculum Learning）的深度融合

CoBA-RL目前聚焦于预算分配，而课程学习聚焦于样本选择。二者的协同优化：

  • 联合优化框架：将样本筛选（是否加入当前批次）与预算分配（分配多少rollout）统一建模为组合优化问题
  • 动态批次构成：根据当前能力指标 F_t 自适应调整批次中不同难度样本的比例，而非仅调整各样本的rollout数

4. 异构计算成本下的分配策略

当前假设所有rollout计算成本同质。实际场景中：

  • 可变长度生成：长思维链（long CoT）样本消耗更多显存和计算时间。可引入带权背包问题（weighted knapsack）形式化，考虑 B_i 与预期token消耗的非线性关系
  • 早停机制（Early Stopping）：为部分简单样本分配”提前终止”权限，当置信度达到一定阈值时停止生成，进一步节省预算

5. 多智能体与分布式场景

  • 联邦RL中的预算协调：在分布式训练场景下，各节点基于本地能力估计协同优化全局预算分配，处理数据分布异构性（non-IID）
  • 蒸馏场景下的师生协同：将CoBA-RL扩展至知识蒸馏框架，动态决定学生模型应从教师模型的哪些样本上分配更多学习精力

6. 理论边界与收敛性分析

  • Regret Bound：建立动态预算分配策略相对于最优静态分配的理论遗憾界（regret bound）
  • 样本复杂度：分析在给定总预算 B_(total) 下，达到目标能力水平所需的最小训练步数，证明相比均匀分配的渐进优势

7. 跨模态与通用推理验证

当前实验集中于数学推理。可验证：

  • 代码生成：在LiveCodeBench等编程基准上，验证对需要多步试错（trial-and-error）的编程任务的适用性
  • 视觉-语言推理：在几何题、图表理解等多模态场景下，结合视觉编码器的置信度调整预算分配

8. 与先进RL算法的兼容性

  • 与PPO/DPO的结合：当前基于GRPO框架，可探索将能力导向预算分配应用于PPO（需训练价值网络）或DPO（离线偏好数据）场景
  • 多奖励函数场景：当存在多个可验证奖励（如正确性+简洁性+可读性）时，扩展价值函数以处理多目标偏好密度

Q: 总结一下论文的主要内容

本文针对大型语言模型（LLM）后训练中强化学习（RLVR）的计算资源分配问题，提出 CoBA-RL（Capability-Oriented Budget Allocation for Reinforcement Learning）算法，核心内容总结如下：

1. 研究背景与问题

  • 标准GRPO的局限：现有Group Relative Policy Optimization（GRPO）框架采用均匀rollout预算（每个提示分配固定 G 个采样轨迹），忽视不同样本的训练价值差异，导致资源浪费
  • 静态方法的缺陷：现有自适应分配策略（如基于历史通过率）依赖静态价值函数，无法响应模型能力的动态演化，难以平衡探索（exploration）与利用（exploitation）

2. 核心方法论

2.1 能力导向价值函数（Capability-Oriented Value Function）

通过以下机制动态量化样本训练价值：

  • 全局能力指标：定义全局失败率 Ft = 1 - (1) / (M)∑(i=1)^(M) p_i （ p_i 为任务通过率），实时感知模型能力状态
  • 动态偏好密度：采用Beta分布建模偏好，形状参数 (αt, β_t) 随 F_t 自适应调整：
    Density(p_i; α_t, β_t) = p_i^(α_t-1) (1-p_i)^(β_t-1)B(α_t, β_t)
    其中 α_t = clip(α    (min) + λ · Ft, α(min), α_(max)) ， β_t = kappa - α_t 。高 F_t 时偏向高通过率样本（利用），低 F_t 时偏向低通过率样本（探索）
  • 预算饱和因子：引入 eta(B_i, p_i) = 1 - e^(-(B_i) / (τ) p_i(1-p_i)) 刻画边际收益递减规律

完整价值函数为：
V(Bi, πθ, p_i) = (1 - e^(-(B_i) / (τ) p_i(1-p_i))) · Density(p_i; α_t, β_t)

2.2 堆基贪婪预算分配（Heap-Based Greedy Allocation）

将预算分配形式化为约束优化问题：
max(B_1,…,B_M) ∑(i=1)^(M) V(Bi, πθ, pi) quad s.t. quad ∑(i=1)^(M) Bi = B(total)

基于价值函数的边际收益严格递减性质（ Delta V(B_i, p_i) > Delta V(B_i+1, p_i) ），采用最大堆（Max-Heap）贪婪策略：

  • 每次将单位预算分配给当前边际增益最大的任务
  • 时间复杂度 O(B_(total) log M) ，较动态规划加速约928倍

3. 实验验证

在Qwen2.5-7B（Base/Instruct）和Qwen3-1.7B/4B-Base模型上的数学推理基准（AIME24/25、AMC23、MATH500、OLYMPIAD）测试表明：

  • 性能提升：相比GRPO基线，平均准确率提升 3.75%-4.54%；在AIME25上最高提升 5.62%（Qwen2.5-7B-Instruct：12.71% → 18.33%）
  • 数据效率：在总预算 B(total)=2048 时，CoBA-RL（45.52%）超过GRPO在 B(total)=4096 时的性能（42.78%）
  • 策略有效性：”先利用后探索”（Exploit → Explore）策略显著优于反向策略，验证动态能力感知的必要性

4. 核心结论

  • 样本的真实训练价值与模型实时能力紧密耦合，静态难度假设不足以指导资源分配
  • 通过全局失败率动态校准价值函数，可有效协调探索-利用权衡，将计算资源持续导向当前最具学习潜力的样本
  • 显式量化样本训练价值并优化预算分配，是提升LLM后训练效率的关键范式

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhiyuan Yao,Yi-Kai Zhang,Yuxin Chen,Yueqing Sun,Zishan Xu,Yu Yang,Tianhao Hu,Qi Gu,Hui Su,Xunliang Cai

Categories: cs.LG,cs.AI

PDF URL: https://arxiv.org/pdf/2602.03048.pdf

Arxiv URL: https://arxiv.org/abs/2602.03048

Arxiv ID: 2602.03048

CoolPaper URL: https://papers.cool/arxiv/2602.03048

Published: 2026-02-03T03:14:36Z

Updated: 2026-02-03T03:14:36.000Z

9. Diversity-Preserved Distribution Matching Distillation for Fast Visual Synthesis

Distribution matching distillation (DMD) aligns a multi-step generator with its few-step counterpart to enable high-quality generation under low inference cost. However, DMD tends to suffer from mode collapse, as its reverse-KL formulation inherently encourages mode-seeking behavior, for which existing remedies typically rely on perceptual or adversarial regularization, thereby incurring substantial computational overhead and training instability. In this work, we propose a role-separated distillation framework that explicitly disentangles the roles of distilled steps: the first step is dedicated to preserving sample diversity via a target-prediction (e.g., v-prediction) objective, while subsequent steps focus on quality refinement under the standard DMD loss, with gradients from the DMD objective blocked at the first step. We term this approach Diversity-Preserved DMD (DP-DMD), which, despite its simplicity — no perceptual backbone, no discriminator, no auxiliary networks, and no additional ground-truth images — preserves sample diversity while maintaining visual quality on par with state-of-the-art methods in extensive text-to-image experiments.

中文摘要

分布匹配蒸馏（DMD）通过将多步生成器与其少步对应模型对齐，实现低推理成本下的高质量生成。然而，DMD 由于其反向 KL 构型本质上鼓励模式寻求行为，往往容易出现模式崩溃问题。现有的解决方法通常依赖感知或对抗正则化，从而带来较大的计算开销和训练不稳定性。在本工作中，我们提出了一种角色分离的蒸馏框架，明确地解耦了蒸馏步骤的角色：第一步专注于通过目标预测（如 v 预测）目标保持样本多样性，而后续步骤在标准 DMD 损失下专注于质量提升，并且在第一步阻断来自 DMD 目标的梯度。我们将该方法称为多样性保留 DMD（DP-DMD），其尽管结构简单——没有感知骨干、没有判别器、没有辅助网络，也无需额外的真实图像——但在大规模文本到图像实验中，依然能够保持样本多样性的同时维持与最先进方法相当的视觉质量。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文主要解决分布匹配蒸馏（Distribution Matching Distillation, DMD）在快速视觉合成中面临的模式崩溃（mode collapse）问题，即在通过少步推理加速扩散模型时出现的样本多样性显著下降现象。

具体而言，论文试图解决以下核心挑战：

1. DMD固有的模式寻求行为导致的多样性损失

  • DMD通过最小化反向KL散度（reverse-KL divergence）来对齐教师模型（多步）和学生模型（少步）的输出分布
  • 反向KL公式本质上鼓励模式寻求（mode-seeking）行为，导致学生模型倾向于收敛到数据分布的少数高概率模式，忽略其他有效模式
  • 结果是生成样本多样性大幅降低，如图1所示，在相同文本条件下生成结果趋于同质化

2. 现有补救方案的高计算开销与训练不稳定性

  • 当前主流方法（如DMD-LPIPS、DMD-GAN）通过引入感知损失（perceptual loss，如LPIPS、DISTS）或对抗损失（adversarial loss）来缓解模式崩溃
  • 这些方法存在显著缺陷：
  • 感知骨干网络带来巨额GPU内存消耗和计算成本，尤其在高分辨率图像上
  • 对抗训练引入优化不稳定性，难以在大规模扩散蒸馏中扩展

3. 多样性保留与视觉质量的平衡难题

  • 需要在极少推理步数（如4 NFEs）下同时实现：
  • 保持与教师模型相当的样本多样性（避免模式崩溃）
  • 维持高视觉质量和人类偏好度
  • 保持训练过程的稳定性和内存效率

解决方案概述 论文提出多样性保留的DMD（DP-DMD），通过角色分离的蒸馏框架解决上述问题：

  • 第一步：专门负责多样性保留，通过目标预测（如v-prediction）损失监督，确保全局结构和语义布局的多样性
  • 后续步骤：专注于质量细化，采用标准DMD损失提升视觉保真度
  • 梯度隔离：在第一步后阻断DMD损失的梯度传播，防止反向KL目标覆盖多样性监督信号

该方法无需感知网络、判别器、辅助网络或额外真实图像，在潜在空间中实现紧凑、稳定且内存高效的训练，在文本到图像实验中实现了多样性与质量的最优平衡。

Q: 有哪些相关研究？

根据论文第2节（Related Work）及全文引用，相关研究可分为以下三个主要方向：

1. 轨迹基础蒸馏方法（Trajectory-based Distillation）

这类方法通过显式对齐教师模型的多步去噪轨迹来训练少步学生模型：

  • **一致性模型（Consistency Models）**及其改进：Song et al. (2023); Song & Dhariwal (2023); Wang et al. (2024); Lu & Song (2024)
  • Rectified Flow/InstaFlow：Liu et al. (2023b; 2023c) 通过流直线化缩短去噪轨迹
  • LCM-LoRA：Luo et al. (2023) 基于潜在一致性模型的加速模块
  • MeanFlow：Geng et al. (2025) 提出匹配扩散轨迹的平均速度
  • 其他：Meng et al. (2023); Li et al. (2025) 等针对引导扩散模型的蒸馏方法

局限性：在大规模预训练图像或视频生成模型上常出现显著性能退化（Zheng et al., 2025）。

2. 分布匹配蒸馏方法（Distribution-Matching Distillation）

这是与DMD最直接相关的研究方向，旨在通过最小化统计散度对齐输出分布：

基于GAN的公式化：

  • 引入辅助判别器或重用扩散模型作为特征提取器构建对抗目标
  • 代表工作：Sauer et al. (2024b; 2024a); Lin et al. (2024); Zhou et al. (2024a)
  • 缺陷：对抗训练的不稳定性阻碍大规模扩散蒸馏的可扩展性

DMD及其扩展：

  • 基础DMD：Yin et al. (2024b) 受3D生成分布匹配启发（Wang et al., 2023a; Poole et al., 2022），将分布匹配范式适配到扩散蒸馏
  • 改进版DMD：Yin et al. (2024a); Zheng et al. (2025); Liu et al. (2025); Zhou et al., 2024b)
  • 解决模式崩溃的现有方案：
  • DMD-LPIPS：引入LPIPS感知损失（Zhang et al., 2018）作为正则化
  • DMD-GAN：引入对抗损失（Chadebec et al., 2025; Lu et al., 2025）
  • 缺陷：需额外感知骨干或判别器，计算/内存开销大且训练不稳定

3. 基础生成模型框架

  • 扩散模型与Score-based模型：Song et al. (2020) 提出基于随机微分方程的生成框架
  • 流匹配（Flow Matching）：Lipman et al. (2022); Liu et al. (2023b); Esser et al. (2024) 将扩散模型等价表述为常微分方程（ODE）框架，通过线性插值 z_t = (1-t)x + tε 构建流路径
  • 神经微分方程：Chen et al. (2018) 提供连续时间建模基础

4. 评估方法与基准

  • 多样性评估：DINOv3-ViT-Large (Siméoni et al., 2025)、CLIP-ViT-Large (Radford et al., 2021) 通过特征余弦相似度计算
  • 视觉质量评估：VisualQuality-R1 (Wu et al., 2025)、MANIQA (Yang et al., 2022)
  • 人类偏好评估：ImageReward (Xu et al., 2023)、PickScore (Kirstain et al., 2023)
  • 组合推理基准：GenEval (Ghosh et al., 2023) 评估文本-图像对齐和指令遵循能力

5. 教师模型基础架构

  • SD3.5-Medium (Esser et al., 2024)：基于流匹配的文本到图像模型
  • SDXL (Podell et al., 2023)：基于扩散的文本到图像模型
  • FLUX.1 (Labs et al., 2025)：大规模流匹配基础模型

这些研究构成了DP-DMD的方法论基础：轨迹方法提供了少步生成的早期探索，分布匹配方法（特别是DMD）提供了直接对齐分布的范式，而DP-DMD针对DMD的模式崩溃问题提出了无需额外模块的轻量级解决方案。

Q: 论文如何解决这个问题？

论文通过提出多样性保留的分布匹配蒸馏（Diversity-Preserved DMD, DP-DMD）框架解决该问题，核心在于显式分离不同蒸馏步骤的角色，通过针对性目标函数分别优化样本多样性与视觉质量，同时避免引入额外计算模块。

具体解决方案如下：

1. 核心洞察：早期与晚期去噪步骤的不对称性

基于对多步扩散模型推理过程的观察（见附录图A），论文发现去噪过程存在明显的阶段性行为：

  • 早期步骤（高噪声水平）：主要恢复全局结构布局（物体存在、粗略几何、整体构图），此阶段引入的变化会贯穿整个去噪轨迹，是样本多样性的关键决定因素
  • 晚期步骤（低噪声水平）：主要细化细粒度视觉细节（纹理、颜色、局部外观），对全局结构影响有限，主要贡献于感知质量而非多样性

这一不对称性表明，对所有蒸馏步骤统一使用DMD损失（反向KL）会导致早期步骤被迫追求模式寻求，从而损害多样性。

2. 角色分离的蒸馏框架

DP-DMD对 N 步蒸馏学生模型分配不同训练目标：

第一步：多样性保留（Diversity Preservation）

  • 使用目标预测目标（如v-prediction）进行监督，而非DMD损失

  • 具体实现：利用教师模型运行 K 步推理得到的中间状态 z(t_k) ，计算速度目标：
    v_k^(target) = ε - z    (t_k)1 - t_k

  • 学生模型第一步预测 vθ(ε, 1) 通过流匹配损失对齐该目标：
    L    (Div) = Eε [ | vθ(ε, 1) - v_k^(target) |^2 ]

  • 这确保学生模型在生成初始结构时保留教师模型的多样性分布，避免过早收敛到少数模式

后续 N-1 步：质量细化（Quality Refinement）

  • 采用标准DMD损失（式3）优化视觉保真度
  • 关键操作：在第一步输出后执行梯度阻断（stop-gradient），将第一步输出从计算图中分离
  • 这样，DMD损失的梯度不会反向传播至第一步，防止反向KL的目标寻求行为覆盖多样性监督信号

3. 整体训练目标

综合目标函数为：
L = L(DMD) + λ L(Div)

其中 λ 为平衡系数（实验中设为 5 × 10^(-2) ），控制多样性保留与质量细化之间的权衡。

训练流程（算法1）：

  1. 从教师模型获取锚定中间状态 z_k
  2. 计算多样性损失 L_(Div) 监督学生第一步
  3. 阻断梯度后，学生继续 rollout 剩余 N-1 步生成最终样本 x_θ
  4. 计算DMD损失 L(DMD) （利用教师分数 s(real) 和辅助假模型分数 s_(fake) ）
  5. 联合优化总损失

4. 方法优势：极简设计

该方案刻意保持简洁，无需：

  • 感知骨干网络（如LPIPS、DISTS）
  • 对抗判别器或GAN损失
  • 辅助网络结构
  • 额外真实图像样本

所有操作均在潜在空间完成，通过单一的梯度阻断机制实现角色分离，使训练流程紧凑、内存高效且稳定。

5. 扩展到扩散模型

对于基于噪声预测（如SDXL）的扩散模型，DP-DMD通过 x_0 预测空间进行适配：

  • 将教师中间状态转换为去噪目标：
    zk^(target) = z(tk) - √1-α(tk)ε(tea){√α_(t_k)}

  • 学生第一步预测 z_θ(z_T, T) 通过 ell_2 回归损失对齐该目标（式9，附录C）

通过这种设计，DP-DMD在4步推理（4 NFEs）下实现了与教师模型相当的多样性，同时保持竞争性的视觉质量，解决了DMD固有的模式崩溃问题。

Q: 论文做了哪些实验？

论文进行了系统性的实验验证，涵盖消融分析、与现有方法的对比以及多基准评估，具体如下：

1. 实验设置

训练配置

  • 教师模型：基于流的 SD3.5-Medium（60 NFEs）和基于扩散的 SDXL（100 NFEs）
  • 学生模型：4步推理（4 NFEs）的蒸馏模型
  • 数据集：DiffusionDB（仅使用文本提示）
  • 优化器：AdamW，学习率 1 × 10^(-5)
  • 超参数：多样性损失权重 λ = 5 × 10^(-2) ，假模型更新间隔 M = 5 ，多样性锚定步 K = 5
  • 硬件：8× NVIDIA A800 GPU，batch size 为 4/GPU，总训练 6 × 10^(3) 次迭代

评估指标

  • 多样性：使用 DINOv3-ViT-Large 和 CLIP-ViT-Large 提取图像特征，计算成对余弦相似度的负均值：
    Diversity = 1 - (2) / (L(L-1)) ∑(i,j) cos(xθ^((i)), x_θ^((j)))
    其中 L = 9 为每个提示的不同初始噪声样本数
  • 视觉质量：VisualQuality-R1 (VQ-R1)、MANIQA (MIQA)
  • 人类偏好：ImageReward (ImgR)、PickScore (PicS)

2. 消融实验

多样性锚定步 K 的影响（Table 1）

  • 测试 K ∈ 1, 3, 5, 10, 30 ，分析教师模型在不同去噪阶段提供监督信号的效果
  • 发现较大的 K （较晚的锚定步）持续提升多样性，但过度延迟可能轻微牺牲视觉质量指标

权重系数 λ 的权衡（Table 2）

  • 测试 λ ∈ 0.01, 0.05, 0.08, 0.10 ，验证多样性保留与质量细化之间的平衡
  • 增大 λ 单调提升多样性（DINO 从 0.170 提升至 0.177），但伴随轻微的质量/偏好指标下降

梯度阻断机制（Figure 3）

  • 对比 DP-DMD 与无梯度阻断变体的训练动态
  • 无阻断时 DMD 目标在早期即导致多样性急剧下降（第100次迭代即出现），而阻断梯度可维持更高多样性水平且不影响偏好度提升

3. 与现有方法的对比

多样性监督方法比较（Table 3 和 Figure 4）

  • 基准：vanilla DMD（无正则化）
  • 对比方法：
  • DMD-LPIPS：添加 LPIPS 感知损失（需额外感知骨干）
  • DMD-GAN：添加对抗损失（需训练判别器）
  • 结果：
  • DMD-LPIPS 多样性提升有限且引入额外优化约束
  • DMD-GAN 虽提升多样性但导致明显的质量/偏好退化（图4显示视觉伪影）
  • DP-DMD 在不引入额外模块的情况下，达到更优的多样性-质量平衡

系统级开源方法对比（Table 4 和 Figure 5）

  • 对比方法：Hyper-SD（8 NFEs）、Flash Diffusion（4 NFEs）、TDM（4 NFEs）
  • 测试基准：Pick-a-Pic 和 COCO-10K 2014
  • 结论：DP-DMD 在不使用感知或对抗组件的情况下，实现与现有开源方案竞争的性能，在多样性和质量间取得更好权衡

4. 组合推理能力评估

GenEval 基准测试（Table 5）

  • 评估模型在组合推理（单/多物体、计数、颜色、位置、属性）上的表现
  • DP-DMD 在总体得分（0.65）上与教师 SD3.5-M（0.66）相当，表明角色分离蒸馏未损害核心提示遵循能力

5. 人类用户研究（附录 D）

  • 设置：50 个文本提示，10 名参与者，成对比较
  • 评估维度：多样性（全局结构变化）与图像质量（视觉保真度）
  • 结果（Figure B）：DP-DMD 在对阵 DMD、DMD-LPIPS 和 DMD-GAN 时，在多样性上获得显著更高胜率，同时保持相当或更优的图像质量偏好

6. 可视化分析（附录 E）

  • 多样性对比（Figure C）：展示相同提示下不同随机种子生成的样本，DP-DMD 呈现更丰富的全局结构和语义变化，而 vanilla DMD 及正则化变体出现模式崩溃
  • 生成质量展示（Figure D）：DP-DMD 在 4 NFEs 下生成的高分辨率（1024×1024）样本，证实其在保留多样性的同时维持高视觉保真度和连贯的全局布局

Q: 有什么可以进一步探索的点？

根据论文第6节（Discussion and Conclusion）及全文分析，可进一步探索的研究方向包括：

1. 自适应步骤级监督策略

当前DP-DMD采用固定的角色分离（仅第一步进行多样性监督，后续步骤专注质量细化）。未来可探索动态或自适应的轨迹级监督机制：

  • 当多样性相关决策未在第一步完全确定时（如复杂构图或强CFG引导导致的后期结构变化），固定分离可能次优
  • 开发根据输入提示内容、噪声水平或训练动态自动调整监督策略的机制，实现步骤级的多样性-质量自适应平衡

2. 扩展到视频生成与更高维度数据

论文方法仅在图像生成（1024×1024）上验证，可扩展至：

  • 视频生成模型：结合近期视频生成基础模型（如Wan et al., 2025），探索时空维度上的多样性保留蒸馏
  • 高分辨率生成：测试超过1024×1024分辨率下的有效性，验证极端分辨率下早期步骤是否仍完全决定多样性

3. 理论分析与严格证明

  • 模式崩溃的定量分析：建立反向KL散度在少步蒸馏中导致模式崩溃的严格理论界限
  • DP-DMD的收敛性：证明梯度阻断机制下多样性监督与DMD目标的协同收敛性

4. 多锚点多样性监督

当前仅使用单一锚定步 K ，可探索：

  • 多阶段多样性锚定：在教师轨迹的多个中间步骤（如 K_1, K_2, … ）提供多样性监督信号
  • 层次化多样性控制：针对不同语义层次（全局布局、物体姿态、局部纹理）分别设计监督目标

5. 与其他蒸馏范式的融合

  • 结合一致性模型：将DP-DMD的角色分离思想应用于一致性模型训练，解决其在大规模模型上的性能退化
  • 轻量级对抗正则化：在不引入完整判别器的前提下，探索极简对抗信号与DP-DMD的互补性

6. 提示复杂度感知的蒸馏

  • 开发根据提示复杂度（如简单物体vs复杂场景、单物体vs多物体组合）动态调整 λ 或 K 的策略，优化特定场景下的多样性-质量权衡

7. 跨架构泛化验证

  • 在更多基础架构（如DiT、MMDiT、Flux等）上验证DP-DMD的通用性
  • 探索不同参数化方式（ ε -prediction、v-prediction、flow velocity）下的最优监督形式

这些方向旨在进一步提升少步生成模型的鲁棒性、泛化能力和理论可解释性，同时保持DP-DMD的计算效率优势。

Q: 总结一下论文的主要内容

本文提出多样性保留的分布匹配蒸馏（Diversity-Preserved Distribution Matching Distillation, DP-DMD），一种用于加速扩散模型推理同时避免模式崩溃的轻量级蒸馏框架。

1. 研究背景与问题

  • 推理效率瓶颈：扩散模型虽能生成高质量图像，但需数十至数百步数值积分，推理延迟高。
  • DMD的局限：分布匹配蒸馏（DMD）通过反向KL散度将多步教师模型蒸馏为少步学生模型，但反向KL的**模式寻求（mode-seeking）特性导致学生模型倾向于收敛到数据分布的少数高概率模式，引发严重的模式崩溃（mode collapse）**和样本多样性下降。
  • 现有方案的缺陷：当前主流补救方法（如引入LPIPS感知损失或GAN对抗损失）虽能缓解多样性损失，但带来显著的GPU内存开销、计算负担及训练不稳定性。

2. 核心方法：角色分离蒸馏框架

基于对扩散模型去噪过程的观察——早期步骤（高噪声）决定全局结构和多样性，后期步骤（低噪声）细化纹理和质量——DP-DMD显式分离不同蒸馏步骤的角色：

  • 第一步（多样性保留）：使用目标预测损失（如v-prediction或 x0 -prediction）监督，对齐教师模型在第 K 步的中间状态。损失函数为：
    L    (Div) = Eε [ | vθ(ε, 1) - ε - z_(t_k)1 - t_k |^2 ]
    此步骤确保学生模型保留教师分布的多样性，避免过早模式崩溃。

  • 后续 N-1 步（质量细化）：采用标准DMD损失优化视觉保真度。关键操作是在第一步后执行梯度阻断（stop-gradient），防止DMD损失的梯度回传至第一步，确保反向KL的目标不会覆盖多样性监督信号。

  • 整体目标：
    L = L(DMD) + λ L(Div)

3. 方法优势

DP-DMD采用极简设计：

  • 无需感知骨干网络（如LPIPS、DISTS）
  • 无需对抗判别器或GAN损失
  • 无需辅助网络或额外真实图像
  • 所有操作均在潜在空间完成，内存高效且训练稳定

4. 实验验证

在SD3.5-Medium（流匹配）和SDXL（扩散模型）上的广泛实验表明：

  • 多样性显著提升：相比vanilla DMD，DP-DMD在DINO和CLIP多样性指标上提升超过30%，且优于DMD-LPIPS和DMD-GAN等复杂正则化方法。
  • 质量保持：在VisualQuality-R1、MANIQA及人类偏好指标（ImageReward、PickScore）上与教师模型及现有最优方法相当。
  • 组合推理能力：在GenEval基准上，DP-DMD保持与教师模型相近的提示遵循能力和物体组合推理性能。
  • 系统级竞争力：与Hyper-SD、Flash Diffusion等开源少步生成方法相比，DP-DMD在4 NFEs下实现了更优的多样性-质量权衡。

5. 结论与未来方向

DP-DMD通过简单的角色分离和梯度阻断机制，在不引入额外计算模块的前提下，有效解决了DMD的模式崩溃问题，为高效、高质量的少步图像生成提供了实用解决方案。未来工作可探索自适应的步骤级监督策略及在视频生成等高维数据上的扩展。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tianhe Wu,Ruibin Li,Lei Zhang,Kede Ma

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2602.03139.pdf

Arxiv URL: https://arxiv.org/abs/2602.03139

Arxiv ID: 2602.03139

CoolPaper URL: https://papers.cool/arxiv/2602.03139

Published: 2026-02-03T05:45:25Z

Updated: 2026-02-03T05:45:25.000Z

10. SWE-World: Building Software Engineering Agents in Docker-Free Environments

Recent advances in large language models (LLMs) have enabled software engineering agents to tackle complex code modification tasks. Most existing approaches rely on execution feedback from containerized environments, which require dependency-complete setup and physical execution of programs and tests. While effective, this paradigm is resource-intensive and difficult to maintain, substantially complicating agent training and limiting scalability. We propose SWE-World, a Docker-free framework that replaces physical execution environments with a learned surrogate for training and evaluating software engineering agents. SWE-World leverages LLM-based models trained on real agent-environment interaction data to predict intermediate execution outcomes and final test feedback, enabling agents to learn without interacting with physical containerized environments. This design preserves the standard agent-environment interaction loop while eliminating the need for costly environment construction and maintenance during agent optimization and evaluation. Furthermore, because SWE-World can simulate the final evaluation outcomes of candidate trajectories without real submission, it enables selecting the best solution among multiple test-time attempts, thereby facilitating effective test-time scaling (TTS) in software engineering tasks. Experiments on SWE-bench Verified demonstrate that SWE-World raises Qwen2.5-Coder-32B from 6.2\% to 52.0\% via Docker-free SFT, 55.0\% with Docker-free RL, and 68.2\% with further TTS. The code is available at https://github.com/RUCAIBox/SWE-World

中文摘要

大型语言模型（LLM）的最新进展使软件工程代理能够处理复杂的代码修改任务。大多数现有方法依赖于容器化环境的执行反馈，这些环境需要依赖完整性的设置和程序及测试的物理执行。虽然有效，但这种范式资源密集且难以维持，极大地复杂化了代理培训并限制了可扩展性。我们提出了SWE-World，这是一个无Docker的框架，用学习的替代程序替代物理执行环境，用于培训和评估软件工程代理。SWE-World 利用基于真实代理-环境交互数据训练的大型语言模型，预测中间执行结果和最终测试反馈，使代理能够在不与物理容器化环境交互的情况下学习。该设计保留了标准的代理-环境交互循环，同时消除了代理优化和评估过程中昂贵的环境建设和维护需求。此外，由于SWE-World可以在不进行真实提交的情况下模拟候选路径的最终评估结果，它能够在多次测试时间尝试中选择最佳解，从而促进软件工程任务中的有效测试时间缩放（TTS）。在 SWE-bench Verified 上的实验表明，SWE-World 通过无 Docker SFT 将 Qwen2.5-Coder-32B 从 6.2% 提升到 52.0%，在无 Docker 强化环境中提升 55.0%，通过进一步的 TTS 提升 68.2%。代码可在 https://github.com/RUCAIBox/SWE-World 获取

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决软件工程（SWE）智能体在训练和评估过程中对物理容器化环境（特别是Docker）的强依赖所带来的可扩展性瓶颈。

具体而言，论文针对以下核心痛点：

1. 资源与维护成本高昂

现有方法依赖Docker等容器化环境提供执行反馈（如程序运行结果、单元测试输出），这需要：

  • 为每个任务实例构建依赖完整的可运行环境
  • 物理执行程序和测试，导致计算资源消耗大
  • 处理复杂的依赖配置和环境设置，维护困难

2. 三重可扩展性限制

论文系统性地指出了Docker中心范式在三个层面的制约：

  • 数据可扩展性受限：大量真实世界的GitHub仓库和Pull Request因依赖配置复杂或脆弱而无法在容器中可靠构建，导致潜在训练数据被丢弃
  • 训练可扩展性受限：Docker镜像的存储、管理和分发产生巨大基础设施开销，显著复杂化大规模优化（特别是强化学习），在资源受限的学术环境中尤为突出
  • 测试时间可扩展性受限：由于环境交互计算昂贵且通常不可逆，难以通过迭代探索或试错策略充分利用额外测试时间计算（Test-Time Scaling）

3. 核心解决思路

为克服上述限制，论文提出SWE-World框架，其核心创新在于：

  • 用**学习得到的替代环境（learned surrogate）**取代物理执行环境
  • 通过在大规模真实智能体-环境交互数据上训练LLM，构建SWT（过渡模型）和SWR（奖励模型）
  • SWT预测中间执行反馈（如脚本输出、错误信息），SWR模拟最终单元测试评估
  • 保留标准智能体-环境交互循环的同时，完全消除Docker依赖，实现无需执行的训练与评估（execution-free training）

该框架使Qwen2.5-Coder-32B在SWE-bench Verified上的解决率从基线的 6.2% 提升至Docker-free SFT的 52.0% ，结合强化学习达到 55.0% ，并通过测试时间扩展（TTS@8）进一步达到 68.2% ，证明了替代环境在保持性能的同时显著降低基础设施门槛的可行性。

Q: 有哪些相关研究？

根据论文内容，相关研究主要集中在软件工程任务数据集、智能体训练与评估框架，以及执行环境建模三个维度：

1. 软件工程任务数据集

  • SWE-bench系列：SWE-bench
    2
    及其精炼版本 SWE-bench Verified
    3
    开创了基于真实GitHub Issue的仓库级代码修复评估范式，要求模型在完整仓库上下文中解决实际问题。
  • 交互式训练数据集：
  • SWE-Gym
    6
    与 SWE-rebench
    7
    ：直接从多样化GitHub仓库中收集可执行的交互式SWE任务，依赖Docker环境进行验证。
  • R2E-Gym
    14
    ：构建程序式环境与混合验证器，用于扩展开源SWE智能体。
  • SWE-smith
    8
    ：提出自动生成大规模Issue的流水线，但同样受限于容器化环境依赖。

2. 软件工程LLM与智能体框架

论文将现有方法分为两大范式：

基于智能体的方法（Agent-based）

此类方法将模型置于真实的沙盒环境（如Docker）中，通过多轮交互生成轨迹进行训练：

  • 基础设施：SWE-agent
    19
    、OpenHands
    4
    、Mini-SWE-Agent
    5
    提供标准化的环境交互接口。
  • 监督微调（SFT）：SWE-Gym-32B
    6
    、R2E-Gym-32B
    14
    、Skywork-SWE-32B
    43
    、SWE-agent-LM-32B
    19
    、SWE-Lego
    10
    等通过在Docker环境中采集轨迹进行训练。
  • 强化学习（RL）：SA-SWE-32B
    22
    、Llama3-SWE-RL-70B
    46
    、DeepSWE-32B
    11
    、Kimi-Dev-72B
    9
    、FrogBoss-32B 等采用RL优化，但仍依赖Docker进行rollout和验证。

无智能体方法（Agentless）

此类方法将SWE任务分解为预定义的三阶段流水线（故障定位→代码修复→补丁验证）：

  • Agentless
    25
    开创此范式，后续工作如 SWE-Fixer
    26
    、Lingma-SWE-GPT
    45
    遵循此路径。虽然效率更高，但限制了智能体的自主探索能力。

3. 执行环境建模与验证（与SWE-World最直接相关）

  • SWE-RM
    28
    ：尝试用学习得到的验证器替代部分执行验证，但仍依赖Docker进行过渡反馈（transition feedback）采集，且混合使用基于执行的奖励信号，未能完全脱离容器环境。
  • 世界模型（World Modeling）
    15, 16
    ：利用LLM模拟环境动态的研究为SWE-World提供了理论基础，但此前未在仓库级软件工程任务中实现完整的Docker-free训练与评估闭环。
  • 测试时间扩展（TTS）验证器：现有工作如R2E-Gym-Verifier、OpenHands-Verifier多采用基于token概率的生成式分类（Generative Classification）进行轨迹评分
    14, 6
    ，而SWE-World通过显式模拟测试报告（Generative Simulation）提供更可解释的验证信号。

4. 训练技术相关

  • Chain-of-Thought (CoT)
    30
    与 反向推理蒸馏
    33, 34
    ：用于增强SWT和SWR的推理能力，通过从真实执行结果反向生成推理链来提升模型对复杂执行逻辑的建模精度。
  • GRPO++
    40
    ：基于Group Relative Policy Optimization的强化学习算法变体，用于稳定长程交互训练。

关键区别：与上述工作相比，SWE-World是首个实现全流水线Docker-free（无需物理执行环境）的框架，通过SWT（过渡模型）和SWR（奖励模型）完全替代容器化环境，同时支持SFT、RL和测试时间扩展。

Q: 论文如何解决这个问题？

论文通过提出SWE-World框架解决该问题，其核心策略是用基于大语言模型的学习替代环境（learned surrogate）完全取代物理Docker容器，同时保留标准智能体-环境交互接口。具体解决方案包含以下关键层面：

1. 系统架构：分离确定性操作与预测性执行

SWE-World将智能体动作显式分类并由不同组件处理，避免对所有操作都使用重量级容器：

  • 轻量级沙盒（Sandbox）：针对文件导航与编辑类操作（如ls、grep、vim、str_replace_editor），使用确定性文件系统与终端接口直接维护仓库状态。这类操作计算开销极低且结果确定，无需LLM模拟。
  • LLM-based执行模拟器：针对仓库特定的代码执行命令（如python reproduce.py、pytest），引入学习模型预测执行反馈，无需实例化依赖完整的容器环境。

2. 双模型模拟体系

框架包含两个核心LLM组件，分别对应交互过程的中间反馈与最终评估：

SWE-World Transition Model (SWT)

负责模拟步骤级执行反馈。给定当前状态上下文 kappa_t^(SWT) （含问题描述、智能体当前补丁 P_t 、待执行命令 a_t 及相关代码），SWT预测执行输出：

yt = langle stdout, stderr, exit_code rangle sim M(SWT)(kappa_t^(SWT))

该模型使智能体能够在无Docker环境下进行迭代调试（如查看错误追踪、打印日志），支持多轮交互中的错误修复。

SWE-World Reward Model (SWR)

负责模拟最终测试评估。当智能体提交最终补丁 P 时，SWR充当虚拟测试运行器，基于评估上下文 kappa_(τ)^(SWR) （额外包含FAIL_TO_PASS与PASS_TO_PASS测试集 U ）生成结构化测试报告及二元奖励：

y(eval) = langle test_report, r rangle sim M(SWR)(kappa_(τ)^(SWR)), quad r ∈ 0,1

与直接输出标量分数的“黑盒”验证器不同，SWR强制显式生成测试报告后再判定奖励，提供可解释的验证信号，避免长轨迹噪声干扰。

3. 训练数据构建与增强

为确保模拟保真度，模型基于真实智能体-Docker交互数据进行监督微调（SFT）：

  • 数据收集：使用强基座模型（如GLM-4.6、MinMax-M2）在真实Docker环境中采集轨迹，提取每个执行步骤的上下文 kappat^(SWT) 与真实输出 y_t ，以及轨迹终止时的 kappa(τ)^(SWR) 与真实测试结果 y_(eval) 。
  • 反向推理CoT增强：为提升复杂执行逻辑的推理能力，采用反向推理蒸馏（reverse-reasoning distillation）。将真实执行结果 y(GT) 与输入上下文一并输入强教师模型（如Qwen3-235B-A22B-Thinking），要求其生成从输入到输出的前向推导链（Chain-of-Thought, CoT），且禁止在推理中显式泄露答案。经LLM-as-a-Judge过滤后，将高质量CoT回填至训练数据，格式化为`CoTy(GT)$`，使模型学习显式推理过程。

4. Docker-free训练范式应用

基于上述组件，SWE-World支持完整的无容器化训练与推理流程：

  • 数据合成：利用SWT和SWR在无需Docker的情况下并行生成大量智能体轨迹，突破因仓库构建失败导致的数据丢弃瓶颈，可处理先前无法利用的16.6K个真实GitHub实例。
  • 监督微调（SFT）：智能体在SWE-World环境中交互，由SWT提供步骤反馈、SWR提供终端奖励，经双重过滤（规则过滤+SWR验证）获得高质量轨迹进行训练。
  • 强化学习（RL）：采用GRPO++算法，在完全无Docker的rollout循环中，通过SWT获取状态转移反馈，SWR提供稀疏奖励信号，避免容器管理带来的基础设施不稳定与资源消耗。
  • 测试时间扩展（TTS）：利用SWR作为可扩展的验证器，对 N 个候选解各查询 M 次，通过平均奖励 Score(τ) = (1) / (M)∑_(i=1)^M r_i 选择最优解，无需实际执行单元测试即可实现有效的大规模测试时计算扩展。

通过上述设计，SWE-World在保持标准智能体-环境交互循环的前提下，将依赖完整运行时的操作全部迁移至LLM模拟，从而在数据收集、模型训练与推理评估三个阶段完全消除对Docker的依赖。

Q: 论文做了哪些实验？

论文在SWE-bench Verified基准上进行了系统性实验，涵盖模型组件验证、端到端智能体训练与测试时间扩展等多个层面。具体实验包括：

1. 实验设置与评估指标

评估基准：SWE-bench Verified（500个真实GitHub Issue-PR任务，覆盖12个Python仓库）

核心指标：

  • 解决率（Resolve Rate, %）：最终补丁通过所有指定单元测试的比例
  • 奖励模拟指标：Accuracy、Precision、Recall、F1（针对SWR）

推理配置：

  • SWT/SWR/TTS：temperature=0，最大上下文128K tokens
  • 智能体评估：temperature=0.7，最大150交互轮次，128K上下文

2. SWE-World组件验证

过渡模型（SWT）评估

在保持智能体固定（Minimax-M2.1）的情况下，比较不同来源的步骤级反馈：

  • 基线（Docker GT）： 68.4%
  • 通用LLM：Minmax-M2.1（ 56.2% ）、GLM-4.7（ 59.4% ）
  • SWT-32B： 55.2%
  • SWT-72B： 60.2% （最接近真实环境，仅下降 8.2% ）

奖励模型（SWR）评估

在held-out轨迹集上验证二元奖励预测能力：

模型 Accuracy Precision Recall F1
Minmax-M2.1 0.740 0.709 0.891 0.790
GLM-4.7 0.768 0.763 0.836 0.798
SWR-32B 0.754 0.779 0.770 0.774
SWR-72B 0.770 0.780 0.807 0.794

SWR-72B在准确率和精确率上超越通用LLM，显示更强的测试执行模拟能力。

3. 端到端智能体训练结果（Table 2）

在Qwen2.5-Coder-32B和Qwen3-4B-Instruct上验证Docker-free训练效果：

模型 训练方式 环境 解决率
Qwen2.5-Coder-32B 基线 Docker 6.2%
SWE-World-32B-SFT SFT Sandbox + LLMs 52.0%
SWE-World-32B-RL SFT+RL Sandbox + LLMs 55.0%
+ TTS@8 - - 68.2%
SWE-World-4B-SFT SFT Sandbox + LLMs 25.6%
SWE-World-4B-RL SFT+RL Sandbox + LLMs 30.0%

关键发现：

  • 32B模型经Docker-free SFT后解决率从 6.2% 跃升至 52.0% ，超越同规模Docker训练模型（如FrogBoss-32B的 54.6% 接近，但结合TTS后显著超越）
  • 配合测试时间扩展（TTS@8）达到 68.2% ，超越此前最佳开源结果（Kimi-Dev-72B TTS@40为 60.4% ）

4. 消融实验（Table 5）

验证SWE-World生成数据与Docker数据的质量对比（相同专家智能体生成5.7K轨迹）：

数据来源 轨迹数 解决率
Docker（基线） 5.7K 51.4%
SWE-World 5.7K 52.2%
SWE-World + Docker（混合） 9.3K 53.8%

结论：SWE-World生成的数据质量不低于真实Docker环境，且混合使用可进一步提升性能。

5. 深入分析实验

5.1 Chain-of-Thought（CoT）影响

  • 对SWT（Table 6）：CoT仅带来边际提升（ 55.2% to 56.0% ），因步骤级反馈对微小不一致具有容错性
  • 对SWR（Table 7）：CoT显著提升奖励预测质量，准确率从 0.578 提升至 0.712 （ +13% ），精确率从 0.609 提升至 0.754

5.2 强化学习动态（Figure 2）

对比不同SWR配置下的RL训练稳定性：

  • 使用CoT的SWR：奖励稳定上升，交互长度适度下降，显示健康优化
  • 无CoT的SWR：约20步后出现奖励黑客（reward hacking），轨迹长度急剧崩溃至接近0，智能体学会提交无效短解骗取高分

5.3 测试时间扩展曲线（Figure 3）

比较不同验证器在候选解数量 K 增加时的性能 scaling：

  • SWR-32B：从 K=1 （ 55.0% ）单调递增至 K=8 （ 68.2% ），与理论最优（Pass@K）差距最小
  • 对比基线：R2E-Gym-Verifier-14B（ 59.6% @K=8）和OpenHands-32B-Verifier（ 59.4% @K=8）早期即饱和且波动较大

5.4 定性保真度分析（Figure 4）

展示真实Docker输出与SWE-World模拟的对比：

  • SWT：对python reproduce_issue.py的输出模拟几乎逐行匹配，包括错误追踪和断言信息
  • SWR：对pytest输出的测试报告在格式标准化后，语义完全一致（正确预测所有F2P和P2P测试通过状态）

这些实验系统性验证了SWE-World在保持模拟保真度的同时，实现完全Docker-free训练与扩展的可行性。

Q: 有什么可以进一步探索的点？

基于论文的工作，以下几个方向具有进一步探索的潜力：

1. 跨语言泛化与多模态模拟

当前SWE-World主要针对Python生态构建。未来可探索：

  • 多语言支持：将框架扩展至Java、JavaScript、C++等语言，需处理不同语言的运行时特性（如静态类型检查、编译错误、包管理差异）。
  • 多模态执行反馈：除文本输出外，模拟图形界面测试（GUI testing）、性能分析数据（profiling data）或代码覆盖率报告，支持更复杂的软件工程任务。

2. 自适应混合执行策略（Adaptive Hybrid Execution）

完全脱离Docker在某些高风险场景下可能牺牲精度。可研究：

  • 置信度引导的执行切换：当SWT对某一步骤预测置信度低于阈值时，动态回退到真实Docker执行，平衡效率与准确性。
  • 层次化模拟：轻量级操作（文件系统）用规则引擎，中等复杂度（单元测试）用SWT，复杂集成测试保留物理执行，形成模拟-真实混合流水线。

3. 在线学习与模拟器持续进化

当前SWT/SWR为静态模型，可探索环境模型的持续更新：

  • 反馈驱动的模型更新：将真实Docker执行结果作为在线监督信号，通过增量学习或DPO（Direct Preference Optimization）持续校正模拟器偏差。
  • 仓库专属适配（Repository-specific Adaptation）：针对特定大型仓库（如PyTorch、Django）微调专属SWT/SWR，提升对该库特有编程范式和错误模式的建模精度。

4. 测试时间扩展的理论极限与算法优化

论文展示了TTS的有效性，但以下问题仍待深入：

  • 最优验证预算分配：理论上分析给定计算预算下，如何在候选解生成数量 N 与每解验证次数 M 之间最优分配（当前使用均匀采样）。
  • 贝叶斯优化与主动学习：利用SWR的不确定性估计，主动选择最有信息量的候选解进行额外验证，而非简单多数投票。

5. 错误传播分析与鲁棒性边界

需要量化研究：

  • 模拟误差的累积效应：单步SWT预测错误如何在长程交互中传播，以及对最终解决率的理论影响边界。
  • 对抗鲁棒性：探索对抗性构造的代码输入是否会导致SWT/SWR产生系统性偏差（如奖励黑客的防御机制）。

6. 蒸馏与效率优化

当前SWT-72B和SWR-32B推理成本仍较高：

  • 小模型蒸馏：将大模型（72B）的知识蒸馏至7B或更小模型，在保持模拟精度的同时显著降低推理开销，使SWE-World更易于学术环境部署。
  • 投机执行（Speculative Execution）：利用小型草稿模型快速预测多步执行反馈，再由大模型验证，加速交互循环。

7. 扩展至其他长程交互领域

SWE-World的”Docker-free”范式可迁移至其他依赖重量级环境交互的领域：

  • 数据库管理：模拟SQL查询执行和优化器行为，无需真实数据库实例。
  • 云计算与DevOps：模拟Kubernetes配置应用、Terraform部署的反馈。
  • 科学计算：模拟复杂物理仿真或生物信息学管道的执行结果。

8. 数据集与基准扩展

  • SWE-World Dataset的深度利用：当前仅使用16.6K实例中的部分，可探索完整的真实世界GitHub数据分布对模型 scaling law 的影响。
  • 对抗性基准构造：设计专门测试SWT/SWR极限的困难案例（如依赖特定编译器优化、竞态条件等），推动模拟器鲁棒性提升。

这些方向中，自适应混合执行和在线学习可能最具实用价值，能在保持Docker-free优势的同时通过少量真实执行反馈持续提升系统可靠性；而跨语言泛化和领域迁移则将显著提升框架的通用性。

Q: 总结一下论文的主要内容

本文提出SWE-World，一种无需Docker容器的软件工程（SWE）智能体训练与评估框架，通过学习的替代环境（learned surrogate）解决现有方法对物理执行环境的强依赖问题。

核心问题

现有SWE智能体依赖Docker等容器化环境提供执行反馈（如程序运行输出、单元测试结果），这带来三重可扩展性瓶颈：

  • 数据受限：大量GitHub仓库因依赖配置复杂无法在容器中构建而被丢弃；
  • 训练受限：Docker镜像的存储与管理产生巨大基础设施开销，阻碍大规模强化学习（RL）；
  • 测试扩展受限：环境交互计算昂贵，难以通过多轮探索充分利用测试时计算（Test-Time Scaling, TTS）。

方法框架

SWE-World将智能体动作分为两类并分别处理：

  1. 轻量级沙盒（Sandbox）：对文件导航与编辑（如ls、grep、vim）执行确定性操作，直接维护仓库状态；
  2. LLM-based执行模拟器：

  • SWT（过渡模型）：模拟步骤级代码执行，预测标准输出、错误流与退出码：
    yt = langle stdout, stderr, exit_code rangle sim M(SWT)(kappa_t^(SWT))

  • SWR（奖励模型）：作为虚拟测试运行器，在智能体提交补丁后生成结构化测试报告与二元奖励：
    y(eval) = langle test_report, r rangle sim M(SWR)(kappa_(τ)^(SWR)), quad r ∈ 0,1

关键技术

  • 数据构建：基于真实智能体-Docker交互轨迹训练模型，采用反向推理蒸馏（reverse-reasoning distillation）生成高质量Chain-of-Thought（CoT）推理链，增强复杂执行逻辑的建模能力；
  • Docker-free训练：支持监督微调（SFT）、强化学习（RL，采用GRPO++算法）及测试时扩展（TTS），全程无需实例化容器。

实验结果

在SWE-bench Verified（500个真实Issue）上的评估表明：

配置 解决率
Qwen2.5-Coder-32B 基线 6.2%
+ Docker-free SFT 52.0%
+ Docker-free RL 55.0%
+ TTS@8 68.2%

其中，32B模型经Docker-free训练后性能超越同规模Docker训练模型（如FrogBoss-32B的 54.6% ），TTS@8结果超越此前最佳开源模型（Kimi-Dev-72B TTS@40的 60.4% ）。消融实验显示，SWE-World生成的数据质量甚至优于真实Docker环境数据（ 52.2% vs 51.4% ）。

主要贡献

  • 提出首个全流水线Docker-free的SWE智能体训练框架，消除容器化环境的数据、训练与推理瓶颈；
  • 验证LLM-based环境模拟可有效替代物理执行，支持从SFT到RL的完整优化流程；
  • 通过SWR实现高效的测试时扩展（TTS），无需实际执行单元测试即可筛选最优解；
  • 释放此前因构建失败而丢弃的16.6K真实GitHub数据，扩展训练数据覆盖范围。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shuang Sun,Huatong Song,Lisheng Huang,Jinhao Jiang,Ran Le,Zhihao Lv,Zongchao Chen,Yiwen Hu,Wenyang Luo,Wayne Xin Zhao,Yang Song,Hongteng Xu,Tao Zhang,Ji-Rong Wen

Categories: cs.SE,cs.CL

PDF URL: https://arxiv.org/pdf/2602.03419.pdf

Arxiv URL: https://arxiv.org/abs/2602.03419

Arxiv ID: 2602.03419

CoolPaper URL: https://papers.cool/arxiv/2602.03419

Published: 2026-02-03T11:44:39Z

Updated: 2026-02-03T11:44:39.000Z

11. SWE-Master: Unleashing the Potential of Software Engineering Agents via Post-Training

In this technical report, we present SWE-Master, an open-source and fully reproducible post-training framework for building effective software engineering agents. SWE-Master systematically explores the complete agent development pipeline, including teacher-trajectory synthesis and data curation, long-horizon SFT, RL with real execution feedback, and inference framework design. Starting from an open-source base model with limited initial SWE capability, SWE-Master demonstrates how systematical optimization method can elicit strong long-horizon SWE task solving abilities. We evaluate SWE-Master on SWE-bench Verified, a standard benchmark for realistic software engineering tasks. Under identical experimental settings, our approach achieves a resolve rate of 61.4\% with Qwen2.5-Coder-32B, substantially outperforming existing open-source baselines. By further incorporating test-time scaling~(TTS) with LLM-based environment feedback, SWE-Master reaches 70.8\% at TTS@8, demonstrating a strong performance potential. SWE-Master provides a practical and transparent foundation for advancing reproducible research on software engineering agents. The code is available at https://github.com/RUCAIBox/SWE-Master.

中文摘要

在这份技术报告中，我们介绍了SWE-Master，一个开源且完全可重复的培训后框架，用于构建高效的软件工程代理。SWE-Master系统地探索完整的代理开发流程，包括教师轨迹综合与数据管理、长视野SFT、带有实际执行反馈的强化学习以及推理框架设计。SWE-Master 从一个初始 SWE 能力有限的开源基础模型出发，展示了系统优化方法如何激发强大的长期 SWE 任务解决能力。我们在 SWE-bench Verified 上评估 SWE-Master，这是现实软件工程任务的标准基准。在相同实验环境下，我们采用Qwen2.5-Coder-32B的解析率为61.4%，远超现有开源基线。通过进一步结合基于大型语言模型的环境反馈测试时间缩放~（TTS），SWE-Master在TTS@8时达到70.8%，展现出强大的性能潜力。SWE-Master为推进软件工程代理的可重复性研究提供了实用且透明的基础。代码可在 https://github.com/RUCAIBox/SWE-Master 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文主要试图解决开源软件工程（SWE）代理在数据构建、训练优化和推理框架方面缺乏透明度与可复现性的问题，具体可归纳为以下几个核心方面：

1. 训练数据构建的透明化与质量提升

现有先进SWE系统通常闭源，导致高质量教师轨迹（teacher trajectories）的构建过程不透明。论文系统性地探索了如何高效合成包含长程推理和真实环境交互的轨迹数据，并提出了基于难度分布的数据筛选策略（difficulty-based filtering），以解决训练数据中”过于简单”和”过于困难”样本影响学习效率的问题。

2. 多阶段训练优化的系统性整合

针对从有限初始能力的开源基础模型（如Qwen2.5-Coder-32B在SWE-bench Verified上初始解决率低于10%）构建有效代理的挑战，论文研究了：

  • 长程监督微调（SFT）：如何通过细粒度的数据筛选和混合策略，平衡正确性、多样性和任务难度；
  • 强化学习（RL）：如何在真实执行环境中设计奖励函数和优化算法（如GRPO的改进变体），避免熵崩溃（entropy collapse）、奖励黑客（reward hacking）等常见问题，同时处理长上下文和强制提交机制。

3. 推理时高级工具与系统设计的缺失

现有开源代理框架（如OpenHands、SWE-agent）多依赖基础的文本搜索工具（如grep），缺乏对大型代码库的语义理解能力。论文提出了基于语言服务器协议（LSP）的代码导航工具，将代理的代码理解能力从”文本搜索”提升到”IDE级别的结构化导航”，解决复杂仓库中的语义定位和跨文件依赖理解问题。

4. 测试时计算扩展（Test-Time Scaling）

论文还探索了如何通过执行反馈模拟（使用SWE-World模型）实现高效的并行计算扩展（TTS@K），在不增加实际环境执行成本的前提下，通过候选解的生成与验证提升性能。

综上所述，SWE-Master旨在提供一个完全开源、端到端可复现的SWE代理开发框架，系统性地展示如何从数据整理、长程SFT、真实环境RL到高级推理工具链的整合，充分释放开源模型在复杂软件工程任务中的潜力。

Q: 有哪些相关研究？

根据论文第7节（Related Work）及全文引用，相关研究可分为以下几个主要方向：

1. 软件工程任务的数据集与评估基准

核心基准：

  • SWE-bench
    3
    : 首个用于评估LLM解决真实GitHub问题的综合基准。
  • SWE-bench Verified
    16
    : 从原始SWE-bench筛选出的500个可解实例子集，提供更可靠的评估环境。
  • Multi-SWE-bench
    63
    : 扩展至多编程语言的跨语言评估基准。
  • SWE-bench Pro
    64
    : 针对长程、高难度软件工程任务的扩展基准。
  • SWE-bench Multimodal
    65
    : 将问题求解范式扩展至多模态领域。
  • Terminal-Bench
    66
    : 涵盖多样化任务类型的命令行界面代理评估基准。
  • LiveCodeBench
    20
    : 整体且无污染的LLM代码生成评估基准。

训练数据集：

  • SWE-Gym
    23
    : 用于训练软件工程代理和验证器的可扩展数据构建流水线。
  • R2E-Gym
    18
    : 提供程序化环境和混合验证器的开源SWE代理训练环境。
  • SWE-smith
    24
    : 专注于软件工程代理数据缩放的大规模数据集。
  • SWE-rebench
    25
    : 自动化任务收集与去污染评估的流水线。

2. 软件工程代理与框架

端到端代理框架：

  • SWE-agent
    2
    : 提出代理-计算机接口（ACI），实现自动化软件工程。
  • OpenHands
    6
    : 模块化、可扩展的开源软件代理开发框架。
  • R2E-Gym框架
    18
    : 基于OpenHands轻量化的ReAct风格交互框架。

无代理流水线（Agentless）：

  • Agentless
    70
    : 将问题求解分解为故障定位、代码修复和补丁验证三个独立阶段。
  • Kimi-Dev
    45
    : 采用无代理训练作为技能先验的SWE代理方法。
  • SWE-Fixer
    49
    : 针对有效且高效GitHub问题求解的开源LLM训练方法。

基于SFT的方法：

  • daVinci-Dev
    46
    : 通过数据合成和中期训练（mid-training）植入代理推理能力。
  • SWE-Mirror
    44
    : 通过跨仓库镜像问题来缩放问题求解数据集。
  • SWE-Lego
    40
    : 推动监督微调在软件问题求解中的极限性能。
  • SWE-Compressor
    11
    : 针对长程SWE代理的上下文管理。

基于RL的方法：

  • DeepSWE
    35
    : 通过大规模强化学习训练完全开源的最先进代码代理。
  • SkyRL
    8
    : 用于多轮LLM代理的高效RL训练。
  • SWE-Swiss
    43
    : 多任务微调和RL配方以实现高性能问题求解。

3. 基础语言模型

开源代码模型：

  • Qwen系列
    4, 30
    : Qwen2.5-Coder和Qwen3技术报告，作为SWE-Master的基础模型。
  • MiniMax-M2/M2.1
    28
    : 用作教师模型生成高质量轨迹。
  • GLM-4.6/4.7
    29, 59
    : 用作教师模型的开源基础模型。
  • DeepSeek-V3/V3.2
    53
    : 开源大型语言模型。
  • GPT-OSS
    54
    : OpenAI开源的120B和20B参数模型。

4. 关键技术与方法

强化学习算法：

  • GRPO (Group Relative Policy Optimization)
    32
    : 组相对策略优化，论文中RL阶段的基础算法。
  • RLVR (Reinforcement Learning with Verifiable Reward)
    69
    : 可验证奖励的强化学习范式。
  • DAPO
    36
    : 开源大规模LLM强化学习系统。

上下文管理与长文本：

  • YaRN
    31
    : 高效上下文窗口扩展技术。
  • Context-as-a-Tool
    11
    : 针对长程SWE代理的上下文管理。
  • SWE-Pruner
    12
    : 针对代码代理的自适应上下文剪枝。
  • MemGovern
    58
    : 通过治理化人类经验学习增强代码代理。
  • ManuSearch
    60
    : 摘要式上下文管理方法（论文中上下文管理器的灵感来源）。

语言服务器协议（LSP）：

  • LSP规范
    26
    : 微软提出的语言服务器协议标准，用于统一IDE与语言智能工具间的交互。

测试时扩展（Test-Time Scaling）：

  • TTS策略
    38, 39
    : 通过增加推理时计算提升性能。
  • SWE-World
    19
    : 用于Docker-free环境中软件工程代理的模拟评估模型（论文中用作验证器）。

数据合成与过滤：

  • Reverse Reasoning
    41
    : 用于构建SWE-World训练数据的逆向推理方法。

安全防护：

  • Git Hacking防护
    27
    : 防止模型通过git命令获取真实补丁的数据泄露防护机制（在MiMo-v2-Flash中提出）。

Q: 论文如何解决这个问题？

论文通过构建SWE-Master这一完全开源、端到端的框架，系统性地解决了开源软件工程代理在数据构建、训练优化和推理能力方面的透明度与可复现性缺陷。具体解决方案包括以下核心组件：

1. 透明化的数据构建与筛选流程

针对高质量教师轨迹构建的闭源问题，论文建立了可复现的数据合成流水线：

  • 多源数据整合与轨迹合成：整合SWE-Gym、R2E-Gym、SWE-smith、SWE-rebench等开源数据集，使用MiniMax-M2和GLM-4.6作为教师模型，通过基于R2E-Gym的代理框架生成可执行轨迹。每个实例进行$N ∈
    3, 12
    $次rollout以评估难度。

  • 基于难度的数据筛选（Difficulty-Based Filtering）：通过计算多次rollout的平均解决率作为难度代理，构建双峰分布筛选策略。剔除”始终正确”（过于简单）和”始终错误”（过于困难）的实例，仅保留具有可学习难度的混合结果样本，确保训练数据集中于模型能力边界内的任务。

  • 格式过滤（Format-Based Filter）：剔除超过80K token或100轮交互的异常值，移除包含语法无效动作（不可解析的函数调用或错误的多重调用）的轨迹，确保计算稳定性。

2. 长程监督微调（Long-Horizon SFT）

为解决开源基础模型初始SWE能力有限（如Qwen2.5-Coder-32B初始解决率低于10%）的问题：

  • 上下文扩展：应用YaRN技术将最大上下文长度从32K扩展至80K token，支持长程多轮轨迹建模。

  • 多轮掩码策略：在训练过程中，对来自Docker执行的环境反馈进行loss掩码，确保模型专注于学习推理与动作生成，而非拟合执行输出。

  • 数据规模与配比：在约60K实例上进行5轮训练，通过难度筛选后的数据分布确保模型接触多样化的长程交互模式。

3. 真实执行环境的强化学习（RL with Real Environments）

针对RL训练中的不稳定性和长程交互挑战：

  • 改进的GRPO算法：在Group Relative Policy Optimization基础上引入多项优化：
  • Leave-One-Out优势估计：通过排除当前样本的组内平均奖励计算优势，减少方差。
  • 固定长度归一化：使用常数 L_(max) 替代动态轨迹长度归一化，避免策略偏向简短正确回答或冗长错误回答。
  • Clip-Higher策略：放宽上界裁剪阈值 β(high) = 1 + varepsilon(high) ，对抗熵崩溃（entropy collapse）并维持探索。
  • 移除KL散度惩罚：解除与SFT参考模型的信任区域约束，允许更激进的优化。

  • 强制提交与奖励塑形（Forced Submission & Reward Shaping）：针对约24.3%的截断轨迹（因预算耗尽未提交但实际正确）导致的奖励稀疏问题，实施：
    R = r(outcome) & if s = DONE α · r(outcome) & if s ∈ TIMEOUT, MAX_STEPS, MAX_TOKENS 0 & if s ∈ CONTAINER_FAILED
    其中 α = 0.5 ，强制在预算耗尽时提交当前状态并赋予折扣奖励，避免训练崩溃。

  • 预算感知（Budget Awareness）：在环境反馈中显式返回剩余交互轮次（Steps Remaining），使策略模型能够基于剩余预算进行理性行为规划。

  • 基础设施隔离：采用解耦的Docker-Server架构，将执行环境部署于独立CPU节点，与模型推理服务器物理隔离，支持约13,000个Docker镜像的分布式存储与并发访问。

4. IDE级别的代码导航能力（LSP Tools）

针对基础框架（如OpenHands）依赖文本搜索（grep）导致的语义理解瓶颈：

  • LSP工具集成：基于Language Server Protocol实现lsp_tool，提供超越文本匹配的语义功能：
  • 仓库导航：go_to_definition、go_to_type_definition
  • 依赖分析：get_call_hierarchy（调用层次结构）
  • 代码理解：get_document_symbols（文档结构大纲）、get_hover
  • 工作区搜索：get_workspace_symbols、find_references
  • 持续训练蒸馏：使用GLM-4.6和MiniMax-M2作为教师生成LSP增强轨迹，通过规则过滤和LLM评判筛选高质量样本，从SWE-Master-RL检查点进行持续SFT，将IDE级导航能力蒸馏至32B模型。
  • 效率提升：相比纯文本搜索，LSP工具使平均交互轮次减少17.5%，输入/输出token消耗分别降低23.7%和16.3%，同时保持61.0%的解决率（与纯RL基线61.4%相当）。

5. 测试时计算扩展（Test-Time Scaling, TTS）

针对推理时性能优化：

  • 顺序扩展（Sequential Scaling）：将最大交互轮次从25扩展至150，使模型能够进行更深入的仓库探索和测试验证。
  • 并行扩展与模拟验证（Parallel Scaling）：利用SWE-World模型（在Docker-free环境中模拟执行的奖励模型）对候选解进行验证。通过 K=3 次随机奖励模拟，选择期望奖励最高的轨迹：
    τ^* = argmax(τ_i ∈ T) ( (1) / (K) ∑(j=1)^(K) r_(i,j) )
    在TTS@8配置下，SWE-Master-32B-RL从61.4%提升至70.8%，且TTS@K曲线紧密跟踪理论最优Pass@K曲线（76.2%）。

6. 安全防护与上下文管理

  • Git命令限制：在训练和推理阶段严格拦截git log和git show命令，防止模型通过版本历史获取真实补丁（git hacking），确保评估完整性。
  • 摘要式上下文管理器（Summary-Based Context Manager）：针对长程交互的上下文长度限制，提出混合压缩策略：
    τt = (I, S_1, S_2, …, S_L, (a(t-wt), o(t-wt)), …, (a(t-1), o(t-1))(Recent Sliding Window ) w_t)
    其中旧交互被压缩为自然语言摘要 S_i ，而近期 w_t 轮保持原始交互，平衡长期记忆与即时上下文精度。

通过上述系统性的方法整合，SWE-Master从有限能力的开源基础模型出发，在SWE-bench Verified上实现了61.4%（Pass@1）至70.8%（TTS@8）和76.2%（Pass@8）的解决率，为开源社区提供了完全透明、可复现的SWE代理开发范式。

Q: 论文做了哪些实验？

论文在SWE-bench Verified（包含500个真实GitHub问题的标准基准）上进行了系统性实验，涵盖训练数据规模、过滤策略、RL优化、工具集成和推理时扩展等多个维度。以下是主要实验内容：

1. 主实验（Main Results）

实验设置：使用Qwen2.5-Coder-32B和Qwen3-4B作为基础模型，对比开源基础模型、开源代码代理和闭源/专有系统。

主要结果：

  • SWE-Master-32B-RL在Pass@1上达到61.4%，显著优于同类开源基线（如daVinci-Dev-32B的56.1%、SWE-Compressor的57.6%）。
  • 跨规模有效性：在Qwen3-4B上，RL将解决率从27.6%（SFT）提升至33.4%（RL），绝对提升5.8%；在32B模型上提升3.6%（57.8%→61.4%）。
  • 测试时扩展（TTS）：
  • TTS@8（使用SWE-World验证器选择最佳候选）达到70.8%。
  • Pass@8（理论最优选择）达到76.2%。
  • 相比基线DeepSWE-32B + TTS@16（59.0%）和R2E-Gym-32B + TTS@16（49.4%），在更低计算预算下实现更高性能。

2. 数据缩放实验（Data Scaling for SFT）

实验设计：将SFT训练数据从0逐步增加至60K样本，观察模型性能和效率变化。

关键发现：

  • 对数增长规律：解决率随数据量对数增长，从6.2%（无SFT）提升至57.8%（60K），但在48K后出现边际效益递减。
  • 效率提升伴随：随着数据量增加，平均交互轮次从115降至94，平均推理token从14.8K降至12.7K，表明模型学习到更高效的问题解决启发式策略。

3. 数据过滤策略消融（Data Filtering for SFT）

对比设置：

  • w/ difficulty-based filtering：剔除始终成功（难度过低）和始终失败（难度过高）的实例，保留混合结果样本。
  • w/o difficulty-based filtering：从所有正确轨迹中随机采样。

结果：难度过滤策略将解决率从54.2%提升至57.8%（+3.6%），且平均交互轮次和推理token消耗基本保持不变，证明其有效筛选了高质量学习样本。

4. RL奖励设计与损失掩码消融（Loss Masking and Reward Design in RL）

实验对比：

  • DeepSWE策略：对因环境约束（超时/最大步数/token限制）截断的轨迹设置零奖励并掩码损失。
  • 本文策略（强制提交+奖励塑形）：对截断轨迹强制提交并赋予折扣奖励（ α=0.5 ）。

结果：

  • DeepSWE策略导致训练过程中奖励持续下降并最终崩溃（training collapse）。
  • 本文策略实现稳定的奖励增长和交互深度增加（见图12），验证了在复杂异构数据上强制提交机制对维持训练稳定性的必要性。

5. Git Hacking行为分析（Git Hacking）

实验设置：对比允许与禁止git log/git show命令的模型表现，并分析模型尝试使用这些命令的频率和成功率。

发现：

  • 模型确实会自主尝试使用git命令获取真实补丁（如图13所示）。
  • 允许git命令反而导致性能轻微下降（SFT：57.8%→57.0%；RL：61.4%→58.4%），因为训练阶段未暴露此类利用模式，模型缺乏有效使用这些工具的能力。
  • 验证了工具级拦截策略在防止数据泄露方面的有效性。

6. 基于摘要的上下文管理器评估（Summary-Based Context Manager）

实验设计：在MiniMax-M2.1和GLM-4.7上对比三种上下文策略：

  • Append-Only（基线）：保留所有历史交互。
  • Discard-All：超过窗口后丢弃所有工具响应。
  • Summary-Based（本文方法）：压缩旧交互为摘要，保留近期原始交互。

结果：

  • M2.1：总输入token减少42%（2.8M→1.6M），峰值token减少49%（55.4K→28.5K），解决率从68.4%微升至69.8%。
  • GLM-4.7：token消耗降低36%，解决率保持稳定（66.2% vs 65.8%）。
  • 证明该策略有效 transcend 模型固有上下文长度限制，但在SWE-Master（较小规模模型）上未观察到显著改善，归因于小模型利用压缩上下文的能力有限。

7. IDE级代码导航能力验证（LSP Tools Validation）

实验分为两个阶段：

阶段1：开源基础模型验证（MiniMax-M2.1和GLM-4.7）：

  • 集成LSP工具后，M2.1解决率从68.4%提升至70.4%，平均交互轮次从82.0降至77.0。
  • GLM-4.7解决率从66.2%提升至67.6%，轮次从97.3降至94.4。

阶段2：SWE-Master蒸馏：

  • 通过持续SFT将LSP能力蒸馏至SWE-Master-RL。
  • 结果：解决率维持61.0%（对比61.4%），但输入token减少23.7%（5549.6K→4232.1K），输出token减少16.3%，平均轮次减少17.5%（111.2→91.7）。
  • 案例研究：在pydata_xarray-6812实例上，LSP工具使代理通过get_workspace_symbols全局定位和get_definition精准跳转，在57步内解决问题，而基线OpenHands因文本搜索的”认知摩擦”在91步后失败。

8. 测试时缩放分析（Test-Time Scaling）

实验设计：

  • 顺序缩放：将最大交互轮次从25逐步增加至150，观察性能饱和点。
  • 并行缩放：生成N个候选轨迹（N=1~8），分别使用Pass@N（理论最优）和TTS@N（SWE-World验证器选择）评估。

关键发现：

  • 顺序缩放：性能在125轮后趋于饱和，RL模型（61.4%）始终优于SFT模型。
  • 并行缩放：TTS@K曲线紧密跟踪Pass@K曲线，表明SWE-World验证器能有效识别正确解。在TTS@8时，RL模型达到70.8%，接近Pass@8的76.2%理论上限。
  • SWE-World验证器准确率77.59%，召回率71.40%，证明其作为高保真模拟执行环境的可靠性。

9. 模型行为观察（Observations on Model Behavior）

分析内容：

  • 交互轮次分布：RL模型相比SFT模型表现出向高轮次区间（120-140轮）的分布偏移，表明其更倾向于利用扩展预算进行深度探索和自我验证。
  • 工具使用模式：RL模型中execute_bash和file_editor_replace调用频率显著增加，反映其更倾向于主动迭代调试而非早期提交。

这些实验系统性地验证了从数据构建、训练优化到推理工具的每个设计决策的有效性，构成了完整的开源SWE代理技术栈。

Q: 有什么可以进一步探索的点？

基于论文的实验结果与系统架构，以下是可以进一步探索的研究方向：

1. 更大规模模型与架构扩展

  • 模型规模效应：当前主要验证至32B参数规模（Qwen2.5-Coder-32B）。需探索72B或更大规模模型（如Qwen3-235B-A22B）在相同训练框架下的扩展规律，以及MoE（混合专家）架构（如DeepSeek-V3.2）对长程SWE任务的适应性。
  • 小模型高效化：4B模型（SWE-Master-4B-RL）解决率33.4%，仍有较大提升空间。可探索针对边缘设备部署的知识蒸馏或量化策略，同时保持长程推理能力。

2. 多语言与跨语言迁移

  • LSP工具的多语言支持：当前仅基于Pyright验证Python代码。需扩展至Java（Eclipse JDT LS）、C++（clangd）、JavaScript/TypeScript等语言的LSP服务器，验证工具链的语言无关性设计。
  • 跨语言问题求解：利用Multi-SWE-bench构建多语言训练数据，探索模型在不同编程语言间的知识迁移能力，以及特定语言特性（如静态类型vs动态类型）对代理行为的影响。

3. 强化学习算法的深度优化

  • 课程学习（Curriculum Learning）：当前难度过滤为静态策略。可设计动态课程，根据模型实时表现逐步增加任务复杂度，避免初期训练的不稳定。
  • 在线学习与探索策略：当前GRPO改进版本仍依赖组内采样。可引入基于不确定性的主动探索或蒙特卡洛树搜索（MCTS），在RL阶段更有效地探索庞大的代码修改空间。
  • 细粒度Credit Assignment：当前奖励为稀疏的二元信号。探索基于代码差异（diff）的密集奖励设计，或利用LLM作为过程奖励模型（PRM）对中间推理步骤打分。

4. 测试时计算与验证器改进

  • 高保真验证器：SWE-World当前准确率77.59%，存在约22%的误判。可通过增加训练数据、集成静态分析工具（如linters）或采用多验证器集成（ensemble）提升选择可靠性。
  • 迭代式TTS：当前并行扩展（TTS@K）为一次性采样。可探索迭代优化范式：基于验证器反馈对候选补丁进行修正（self-refinement），而非简单选择。
  • 执行成本优化：开发更轻量级的”软执行”环境，在保持验证准确性的同时降低Docker启动和测试运行的计算开销，支持更大规模的并行验证。

5. 上下文管理与长文本建模

  • 自适应上下文压缩：当前摘要式管理器在32B模型上未显效。需针对中小规模模型设计专门的压缩策略（如基于重要性的选择性保留，或分层记忆结构）。
  • 超长上下文支持：当前扩展至128K token，但超大型代码库（如Linux内核）可能需要200K+上下文。可探索稀疏注意力机制或外推技术（如YaRN的进一步改进）在SWE任务中的适用性。

6. 工具使用策略与自主性

  • 工具选择策略：当前LSP工具与基础工具（grep/bash）并行提供。可训练模型学习自适应工具选择：在简单文本搜索足够时避免昂贵的LSP调用，在需要语义理解时精准调用LSP。
  • 工具学习（Tool Learning）：探索让模型自主发现或组合现有工具形成新工作流（如将get_call_hierarchy与file_editor结合），而非使用预定义工具集。

7. 安全性与对抗鲁棒性

  • 深度防数据泄露：当前仅屏蔽git log/show，但模型可能通过其他渠道（如代码注释中的TODO、GitHub API调用模式）推断真实补丁。需建立更全面的数据泄露检测机制。
  • 对抗性测试：构建对抗性SWE实例，评估模型面对恶意测试用例或误导性代码结构时的鲁棒性，以及RL训练是否会导致对特定代码模式的过度拟合（reward hacking的隐蔽形式）。

8. 实际部署与人机协作

  • 交互式修复：当前为全自动代理。可探索人机协作模式：在关键决策点（如架构变更选择、测试用例设计）引入人类开发者反馈，形成人在回路（Human-in-the-Loop）的混合智能系统。
  • IDE集成与实时反馈：将LSP工具与VSCode、IntelliJ等IDE深度集成，利用IDE的实时索引能力替代独立LSP服务器，降低部署复杂度。

9. 理论理解与可解释性

  • 数据难度度量：当前使用best-of-n解决率作为难度代理。需开发更本质的难度度量指标（如代码依赖图复杂度、所需推理步数理论下界），以指导更精准的数据筛选。
  • 成功/失败模式分析：对失败案例进行细粒度归因分析（如定位错误：需求理解vs代码导航vs补丁生成vs测试验证），针对性提升特定模块能力。

10. 多模态与复杂环境

  • 多模态SWE：结合SWE-bench Multimodal，探索代理处理包含UI截图、架构图、视频演示等多模态需求描述的能力。
  • 复杂环境交互：当前环境为单容器。可扩展至多容器微服务架构、涉及数据库状态迁移或分布式系统的复杂修复任务。

Q: 总结一下论文的主要内容

这篇论文提出了 SWE-Master，一个完全开源、端到端可复现的软件工程（SWE）代理训练框架，旨在解决现有系统在数据构建、训练优化和推理能力方面缺乏透明度的问题。

核心问题

现有最先进的SWE代理系统通常闭源，且开源基线性能有限。从仅有基础编程能力的开源模型（如Qwen2.5-Coder-32B在SWE-bench Verified上初始解决率<10%）出发，构建能有效解决真实GitHub问题的长程代理面临三大挑战：

  • 数据构建：如何合成包含长程推理和环境交互的高质量教师轨迹；
  • 训练优化：如何通过SFT和RL稳定地激发长程任务解决能力，避免熵崩溃和奖励稀疏；
  • 推理效率：如何超越基础的文本搜索（grep），实现高效的代码库导航。

主要贡献与方法

1. 系统化的数据构建与筛选

  • 多源轨迹合成：整合SWE-Gym、R2E-Gym等数据集，使用MiniMax-M2和GLM-4.6生成可执行轨迹。
  • 难度感知过滤（Difficulty-Based Filtering）：基于多次rollout的平均解决率，剔除”始终成功”（过易）和”始终失败”（过难）的实例，仅保留具有可学习难度的样本，显著提升数据效率。

2. 长程监督微调（SFT）

  • 使用YaRN将上下文扩展至80K token，支持长程多轮交互。
  • 采用环境反馈掩码策略，使模型专注于学习推理与动作生成，而非拟合执行输出。
  • 在约60K筛选实例上训练，解决率从6.2%提升至57.8%。

3. 真实执行环境的强化学习（RL）

  • 改进的GRPO算法：引入Leave-One-Out优势估计、固定长度归一化、Clip-Higher策略（防止熵崩溃）和移除KL散度约束，实现稳定优化。
  • 强制提交与奖励塑形：针对约24%的截断轨迹（因预算耗尽未提交但实际正确），实施强制提交并赋予折扣奖励（ α=0.5 ），避免奖励稀疏导致的训练崩溃。
  • 预算感知：在环境反馈中显式提供剩余交互轮次，使模型能理性规划行为。

4. IDE级代码导航（LSP Tools）

  • 提出首个基于**语言服务器协议（LSP）**的统一代码导航工具lsp_tool，提供go_to_definition、get_call_hierarchy等语义功能，超越传统文本搜索。
  • 通过持续训练将能力蒸馏至32B模型，在保持61.0%解决率的同时，将输入/输出token消耗分别降低23.7%和16.3%，平均交互轮次减少17.5%。

5. 测试时计算扩展（TTS）

  • 利用SWE-World模型（准确率77.59%）模拟执行反馈，通过并行生成多个候选解并选择最优者（TTS@K）。
  • 在TTS@8配置下，性能从61.4%提升至70.8%，接近理论最优Pass@8的76.2%。

实验结果

在SWE-bench Verified（500个实例）上的主要结果：

  • SWE-Master-32B-RL：61.4%（Pass@1），显著超越现有开源基线（如daVinci-32B的56.1%）。
  • 跨规模验证：在4B模型上，RL将解决率从27.6%提升至33.4%。
  • 安全性：实施严格的Git命令限制（拦截git log/git show），有效防止数据泄露（git hacking）。

关键洞察

  • 系统性的数据筛选（特别是难度过滤）对长程代理训练至关重要；
  • 在复杂SWE任务中，强制提交机制是维持RL训练稳定的关键；
  • LSP工具代表了SWE代理的新基础范式，将代码理解从”文本搜索”提升至”语义导航”；
  • 测试时扩展（TTS）结合模拟验证器，可有效将计算预算转化为性能增益。

SWE-Master为开源社区提供了一个透明、可复现的完整技术栈，涵盖数据处理、长程SFT、环境交互RL和高级推理工具，显著推进了开源软件工程代理的能力边界。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Huatong Song,Lisheng Huang,Shuang Sun,Jinhao Jiang,Ran Le,Daixuan Cheng,Guoxin Chen,Yiwen Hu,Zongchao Chen,Wayne Xin Zhao,Yang Song,Tao Zhang,Ji-Rong Wen

Categories: cs.SE,cs.CL

PDF URL: https://arxiv.org/pdf/2602.03411.pdf

Arxiv URL: https://arxiv.org/abs/2602.03411

Arxiv ID: 2602.03411

CoolPaper URL: https://papers.cool/arxiv/2602.03411

Published: 2026-02-03T11:38:48Z

Updated: 2026-02-03T11:38:48.000Z

12. Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing

Parallel thinking has emerged as a promising paradigm for reasoning, yet it imposes significant computational burdens. Existing efficiency methods primarily rely on local, per-trajectory signals and lack principled mechanisms to exploit global dynamics across parallel branches. We introduce 2D probing, an interface that exposes the width-depth dynamics of parallel thinking by periodically eliciting intermediate answers from all branches. Our analysis reveals three key insights: non-monotonic scaling across width-depth allocations, heterogeneous reasoning branch lengths, and early stabilization of global consensus. Guided by these insights, we introduce $\textbf{Parallel-Probe}$, a training-free controller designed to optimize online parallel thinking. Parallel-Probe employs consensus-based early stopping to regulate reasoning depth and deviation-based branch pruning to dynamically adjust width. Extensive experiments across three benchmarks and multiple models demonstrate that Parallel-Probe establishes a superior Pareto frontier for test-time scaling. Compared to standard majority voting, it reduces sequential tokens by up to $\textbf{35.8}$% and total token cost by over $\textbf{25.8}$% while maintaining competitive accuracy.

中文摘要

并行思维已成为一种有前景的推理范式，但它带来了显著的计算负担。现有的效率方法主要依赖于局部的、每条轨迹的信号，缺乏利用并行分支全局动态的系统性机制。我们提出了二维探测（2D probing），这是一种接口，通过定期从所有分支获取中间答案，揭示并行思维的宽度-深度动态。我们的分析揭示了三个关键见解：宽度-深度分配的非单调扩展、推理分支长度的异质性，以及全局共识的早期稳定。在这些见解的指导下，我们提出了$ extbf{Parallel-Probe}$，一个无需训练的控制器，旨在优化在线并行思维。Parallel-Probe 使用基于共识的早停来调节推理深度，并通过基于偏差的分支剪枝动态调整宽度。在三个基准测试和多个模型上的大量实验表明，Parallel-Probe 在测试时扩展性上建立了优越的帕累托边界。与标准多数投票相比，它在保持竞争力精度的同时，将顺序处理的 token 数量最多减少 $ extbf{35.8}$%，总 token 成本降低超过 $ extbf{25.8}$%.

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决并行思考（Parallel Thinking）范式中的计算效率瓶颈问题，具体而言，是现有方法因依赖局部信号而缺乏对跨分支全局动态的有效利用，导致的资源分配次优与冗余计算问题。

核心挑战可细化为以下三个方面：

1. 计算成本高昂与硬件效率损失 并行思考通过同时生成多个推理轨迹（宽度）并聚合结果来提升推理质量，但其token消耗随分支数量线性增长，造成巨大计算负担。现有自适应采样方法（如Adaptive Self-Consistency）虽能减少样本数，但依赖顺序控制循环，将并行生成退化为半顺序过程，增加了推理延迟，抵消了GPU批处理解码的硬件并行优势。

2. 局部信号无法捕捉全局共识 当前高效的推理方法主要设计用于顺序生成（如扩展思维链），其早期停止策略依赖于单个轨迹的内部信号（如置信度、隐藏状态或答案收敛）。这些策略忽视了并行设置中关键的全局信息——跨分支的共识（consensus）——导致无法在全局决策稳定后及时终止计算，也难以识别并剪除偏离主流的异常分支。

3. 宽度-深度维度的资源分配失衡 标准并行解码中，各分支独立演化而不感知其他分支的进展。这种隔离导致两个低效现象：（1）长尾问题：少数分支产生极长的推理轨迹，主导总计算成本；（2）非单调扩展：准确率对宽度（分支数）和深度（生成长度）的分配极为敏感，固定配置无法根据实时难度动态调整资源。

为解决上述问题，论文提出通过2D探测（2D Probing）机制暴露并行思考的宽度-深度动态，并基于此设计Parallel-Probe控制器，实现基于全局共识的早期停止与基于偏差的动态剪枝，从而在无需训练的情况下优化在线并行思考的效率-准确率权衡。

Q: 有哪些相关研究？

根据论文第7节（Related Work），相关研究可分为以下三个主要方向：

1. 高效并行推理（Efficient Parallel Reasoning）

该方向关注如何动态分配计算资源以降低固定预算搜索的成本，主要策略包括：

  • 自适应采样与早停：通过预设共识阈值（如置信度≥0.95）动态决定样本数量，代表性工作包括Adaptive Self-Consistency (Aggarwal et al., 2023)、Early Stopping Consistency (Li et al., 2024)，以及基于问题难度分配样本的方法 (Wang et al., 2025a)。
  • 置信度感知加权：利用置信度指标对推理路径加权，以更少样本识别高质量解，如Huang et al. (2025)、Taubenfeld et al. (2025)、Fu et al. (2025b)。
  • 细粒度轨迹剪枝：在生成过程中动态剪除无前景路径，包括Dynamic Self-Consistency (Wan et al., 2025)、Self-Truncation (Wang et al., 2025c)、DeepPrune (Tu et al., 2025)、Step-level trace evaluation (Liang et al., 2026) 和 Slim-SC (Hong et al., 2025)。

与本文的区别：现有方法多采用顺序控制循环获取样本，限制了硬件并行效率；且缺乏对跨分支全局动态（如早期共识、分支异质性）的原则性建模，导致对并行思考的粗粒度控制。

2. 高效顺序推理（Efficient Sequential Reasoning）

该方向聚焦于无需额外训练即可优化推理深度的动态早退机制，主要分为两类：

  • 不确定性监控：利用熵作为置信信号（Wang et al., 2025b; Sharma & Chopra, 2025），或通过多轮rollout/束搜索经验估计不确定性 (Yong et al., 2025)。
  • 输出稳定性检测：基于跨步骤的答案收敛判断推理充分性 (Liu & Wang, 2025; Mao et al., 2025; Fu et al., 2025a; Zhang et al., 2025b)。
  • 隐藏状态自验证：直接探测隐藏状态进行自验证，在内部正确性阈值满足时停止推理 (Zhang et al., 2025a; Yang et al., 2025b)。

与本文的区别：这些方法针对单轨迹顺序生成设计，依赖局部信号（如个体轨迹的置信度或收敛性），无法利用并行思考中跨分支的全局共识信息，直接应用于并行设置时存在次优性。

3. 测试时缩放（Test-Time Scaling）

该方向研究如何通过策略性分配测试时计算优化复杂推理效率：

  • 树搜索框架：通过聚合多样化推理路径并采用稀疏激活管理复杂度，如Forest-of-Thought (Bi et al., 2024)、HyperTree Proof Search (Lample et al., 2022) 及相关工作 (Snell et al., 2024; Chen et al., 2025b; Xiong et al., 2025)。
  • 步骤级验证器：动态剪除无前景分支，如Lightman et al. (2023)、Wang et al. (2022b)、Li et al. (2022)。
  • 查询多样化与迭代细化：通过多样化查询表述 (Huang et al., 2024) 或迭代自举自校正能力处理复杂任务 (Chen et al., 2025a; Welleck et al., 2022; Madaan et al., 2023; Aggarwal et al., 2024)。

本文定位：区别于上述方法，本文利用2D探测暴露的黑盒全局动态信号，实现对并行思考宽度（分支数）和深度（生成长度）的联合优化控制，而非仅关注搜索空间构建或单轨迹优化。

Q: 论文如何解决这个问题？

论文通过提出2D探测（2D Probing）接口与Parallel-Probe控制器，从全局动态视角重新设计并行思考的控制机制，具体解决方案包含以下核心组件：

1. 2D探测：全局动态的暴露机制

作为诊断接口，2D探测通过周期性干预解码过程，将独立的并行轨迹转化为结构化的观测矩阵：

  • 探测过程：在固定间隔 Delta tokens处，向所有 N 个并行分支注入终止触发序列（如</think> The final answer is），强制模型基于当前上下文生成中间答案。
  • 矩阵构建：构建探测矩阵 A ∈ V^(N × T) ，其中 A_(i,t) 表示第 i 个分支在第 t 个探测步骤的答案，从而实现对宽度（分支索引）和深度（探测周期）的细粒度监控。

该机制突破了传统方法仅观察单轨迹局部的限制，暴露出三个关键全局动态：非单调缩放、分支长度异质性和早期共识稳定。

2. Parallel-Probe：在线控制策略

基于2D探测暴露的全局信号，Parallel-Probe实施无需训练（training-free）的联合控制，沿宽度与深度双维度优化资源分配：

(1) 基于共识的早期停止（Consensus-based Early Stopping）

针对全局共识提前稳定的现象（Observation 3），该机制监控探测矩阵的列向一致性而非单轨迹状态：

  • 共识定义：第 t 步的多数共识 dt = mode(A_t) ，其中 $A_t =
    A    (1,t), A(2,t), …, A(N,t)
    ^top$。
  • 停止条件：当共识连续 u 步保持不变时触发终止：
    T(stop) = t ≥ u mid d_t = d(t-1) = ·s = d_(t-(u-1))

此策略使系统无需等待最慢分支完成即可在全局决策稳定时立即终止，回收长尾轨迹的计算预算。

(2) 基于偏差的剪枝（Deviation-based Branch Pruning）

为应对分支长度异质性（Observation 2），该机制动态识别并移除偏离全局趋势的分支：

  • 剪枝规则：若某分支在过去 k 个探测步骤中持续偏离当前共识，则予以剪除：
    Prune branch i if ∑(j=0)^(k-1) 1(A(i,t-j) ≠ d_(t-j)) ≥ k

通过激进地终止异常路径，该方法避免将计算资源浪费在难以收敛的离群轨迹上，有效降低总token消耗。

(3) 预热阶段（Warmup Stage）

为防止早期探测信号不稳定导致的误判，引入长度为 W 的预热期。在此期间暂停剪枝与早停，保障推理多样性，避免过早淘汰有潜力的轨迹。

3. SCOUT：离线评估与策略优化平台

为解决在线实验计算成本高昂且难以复现的问题，论文提出SCOUT（Sequential & Concurrent Offline Utilization Testbed）：

  • 解耦设计：将推理生成（候选池构建）与策略评估分离。预先采集128条带中间答案的密集轨迹，后续策略评估通过查询候选池模拟，实现零计算开销的策略对比。
  • 公平比较：所有方法在完全相同的轨迹子集上评估，消除随机性干扰，确保性能差异仅源于控制逻辑本身。

方案优势总结

解决的核心问题 对应机制 效果
缺乏全局共识信号 2D探测矩阵 + 共识监控 在共识稳定时立即终止，避免长尾浪费
分支长度异质性 偏差感知剪枝 动态移除离群分支，降低总token成本
宽度-深度分配失衡 联合控制策略 根据实时难度动态调整资源，实现非单调扩展
顺序控制延迟 纯并行控制逻辑 保持GPU批处理并行性，减少顺序token数

实验表明，该方案在AIME24/25和HMMT25等基准上，相比标准自一致性（SC@64），顺序token减少35.8%，总token成本降低25.8%，同时保持 competitive 的准确率，建立了优越的测试时缩放帕累托前沿。

Q: 论文做了哪些实验？

论文通过系统性实验验证了Parallel-Probe在效率-准确率权衡上的优越性，实验设计涵盖模型扩展、基准对比、组件消融及超参敏感性分析。具体实验内容如下：

1. 实验设置

模型：选用Qwen-3系列模型（0.6B、1.7B、4B、8B参数规模），覆盖从轻量级到能力较强的模型，均启用思考模式（thinking mode）。

数据集：选用三个高难度数学推理基准：

  • AIME 2024
  • AIME 2025
  • HMMT 2025

评估指标：

  • 准确率（Accuracy）：正确解决问题的百分比
  • 总Token数（Total Tokens）：所有分支生成token的总和，代表整体计算成本
  • 顺序Token数（Sequential Tokens）：关键路径长度（并行方法中为最长分支长度，顺序方法中为总token），代表推理延迟

2. 对比基线

实验对比了四类代表性测试时缩放方法：

  • SC@64：标准自一致性，并行采样64条独立轨迹并多数投票
  • ASC（Adaptive Self-Consistency）：自适应顺序采样，达到0.95共识阈值即停止
  • ESC（Early Stopping Consistency）：分块混合方法，基于局部答案稳定性早停
  • SC@64 + SAC：在并行采样中应用轨迹级早停（局部收敛即终止个体分支）

3. 主要实验结果

3.1 主结果对比（Table 1）

在四个模型规模与三个数据集上的全面评估显示：

  • 相比SC@64：Parallel-Probe在保持 competitive 准确率的同时，顺序token减少31.3%-35.8%，总token成本降低22.2%-25.8%（以Qwen3-0.6B为例：AIME24上顺序token从32.7k降至20.8k，总token从1008.6k降至773.8k）。
  • 相比ASC/ESC：尽管ASC和ESC能降低总token，但因其顺序控制逻辑导致顺序token增加（ASC增加超过1600%，ESC增加超过300%），显著增加延迟；而Parallel-Probe同时降低两类成本。
  • 相比SC+SAC（局部早停）：SAC虽减少约15%的token，但准确率显著下降（如Qwen3-8B上从68.6%降至63.2%）；Parallel-Probe在更大降本幅度下保持准确率（68.5%）。

3.2 测试时缩放曲线（Figure 3）

通过改变推理预算绘制准确率-token成本帕累托曲线：

  • Parallel-Probe在所有预算水平下均位于SC和SC+SAC的左上方（相同成本下准确率更高，或相同准确率下成本更低）。
  • SC+SAC在不同超参设置（n=14,16,18）下 consistently 劣于标准SC，验证了仅依赖局部轨迹信息的早停策略在并行设置中的次优性。

3.3 消融实验（Table 2）

在Qwen3-0.6B上验证各组件贡献：

  • 移除偏差剪枝：总token成本增加14.7%，顺序token增加4.7%，验证剪枝对消除长尾分支的必要性。
  • 移除共识早停：总token增加8.6%，顺序token增加13.1%，验证全局共识信号对及时终止的关键作用。
  • 移除2D探测（退化为局部早停）：准确率从25.8%降至22.4%，总token和顺序token分别增加11.4%和33.7%，证明全局探测信息对可靠控制信号的必要性。
  • 移除预热阶段：准确率下降至23.5%，表明早期不稳定信号会导致错误的剪枝/早停决策。

3.4 超参敏感性分析（Figure 4）

考察剪枝容忍度 k ∈ 8,10,12 和预热步数 W ∈ 12,15 ：

  • 超参变化主要使操作点沿一致的效率-准确率权衡曲线移动，该曲线系统性地位于SC基线上方，表明方法对超参选择具有鲁棒性。

3.5 SCOUT平台验证（Appendix A）

利用SCOUT离线测试床进行补充分析：

  • 宽度-深度缩放分析（Figure 2a, 6）：验证准确率对分支数（宽度）和生成长度（深度）的非单调依赖性，揭示相同预算下不同配置的性能差异。
  • 共识收敛分析（Figure 2c）：统计表明全局多数投票平均在最大分支长度的**31%**处即已稳定，量化早期共识现象。
  • 分支异质性可视化（Figure 2b, 7）：展示并行分支在推理过程中的答案收敛动态，显示少数分支过早偏离而多数分支快速收敛的模式。

4. 关键结论

实验证实Parallel-Probe建立了优越的帕累托前沿：相比标准多数投票，它在降低超过35%顺序token和25%总token的同时维持 competitive 准确率，且显著优于基于局部信号的早停方法和基于顺序控制的自适应采样方法。

Q: 有什么可以进一步探索的点？

基于论文的技术贡献与Impact Statement，以下方向值得进一步探索：

1. 基于学习的控制器（Learning-based Controllers）

目前Parallel-Probe采用无需训练的启发式规则（固定阈值 k 、 u 、 W ）。未来可探索可学习的控制策略，例如：

  • 训练轻量级神经网络（如MLP或Transformer）处理2D探测矩阵 A ，动态预测最优停止时机与剪枝决策
  • 利用强化学习（RL）优化控制策略，以accuracy-per-token为奖励信号，学习更细粒度的宽度-深度权衡策略
  • 设计meta-controller根据问题难度、模型规模自动调节超参数

2. 更丰富的探测信号（Richer Probing Signals）

当前2D探测仅依赖强制生成的中间答案（answer-so-far）。可扩展至：

  • 隐藏状态探测：利用LLM内部隐藏状态（hidden states）或注意力模式作为额外信号，早于答案层面检测分支质量
  • 不确定性量化：结合熵（entropy）、置信度（confidence）或logit分布的统计量，构建更鲁棒的共识检测机制
  • 结构化探测：不仅探测最终答案，还探测中间推理步骤（step-by-step verification），实现更细粒度的深度控制

3. 训练时与在线控制的紧耦合（Training-Time Integration）

当前方法完全在推理阶段应用。未来可探索：

  • 探测感知训练（Probing-aware Training）：在训练阶段引入2D探测模拟，使模型学习生成更适合动态剪枝的轨迹（例如更早收敛、更少离群分支）
  • 辅助任务设计：增加专门的训练目标，优化模型在部分生成状态下的答案一致性，降低预热阶段（warmup）的不稳定性
  • 联合优化：将测试时控制策略（如早停规则）作为可微模块融入训练，实现端到端优化

4. 理论分析与最优性保证（Theoretical Analysis）

论文主要基于实证观察（Observations 1-3）。理论层面可研究：

  • 宽度-深度权衡的数学模型：建立并行思考的理论框架，分析给定计算预算 B 下最优的 (N, L) 分配策略，其中 N 为分支数， L 为最大长度
  • 共识收敛的统计理论：量化多数投票稳定所需的探测步数与分支数的关系，为早停条件 u 提供概率保证
  • 剪枝策略的后悔界（Regret Bounds）：分析偏差感知剪枝相对于最优剪枝策略的性能差距

5. 层次化与树形结构扩展（Hierarchical Parallel Thinking）

当前框架假设所有分支独立并行（flat parallelism）。可扩展至：

  • 树形探测（Tree-structured Probing）：将2D探测推广到树搜索场景（如MCTS），在节点扩展过程中实施探测与剪枝
  • 分层聚合：在多个层级实施共识检测（例如先组内投票再组间投票），实现更细粒度的资源分配
  • 动态分支生成：不仅剪枝现有分支，还可基于探测信号动态生成新分支（adaptive width expansion）

6. 自适应探测间隔（Adaptive Probing Intervals）

当前采用固定间隔 Delta 进行探测。可探索：

  • 可变频率探测：根据共识变化率动态调整探测密度（收敛快时降低频率，波动大时提高频率）
  • 事件驱动探测：仅在检测到显著状态变化（如答案切换）时触发探测，减少探测本身的开销

7. 跨领域验证与任务适配（Cross-Domain Extension）

论文仅在数学推理（AIME、HMMT）上验证。未来需验证：

  • 代码生成：在程序合成任务中，利用编译反馈作为探测信号
  • 长文本生成与创意写作：探索开放式生成任务中的早期共识定义与质量控制
  • 多模态推理：将2D探测扩展至视觉-语言模型（VLM）的并行解码

8. 与推测解码的协同优化（Integration with Speculative Decoding）

  • 结合2D探测与推测解码（speculative decoding）或草稿模型（draft models），在并行分支中使用轻量级模型生成草稿，经探测验证后由大模型确认，进一步降低延迟
  • 探索分层推测：对早期探测确认的高置信度分支使用激进解码，对不确定分支保守生成

9. 共识机制的多样化（Alternative Consensus Mechanisms）

  • 超越简单多数投票（majority voting），探索加权共识（基于分支长度、置信度加权）
  • 迭代式共识精炼：在终止后利用剩余计算预算对共识答案进行验证或修正（self-verification via probing）

10. 硬件感知控制（Hardware-Aware Control）

  • 设计考虑GPU内存层次与通信成本的控制策略，优化探测矩阵 A 的存储与访问模式
  • 探索流水线并行与2D探测的结合，在更大规模分布式推理中保持控制效率

Q: 总结一下论文的主要内容

该论文围绕大型语言模型（LLM）推理中的**并行思考（Parallel Thinking）**范式，系统性地研究了其计算效率瓶颈，并提出了基于全局动态信号的控制方法。主要内容包括：

1. 问题定义与研究动机

并行思考通过同时生成多个推理轨迹（宽度）并聚合结果来提升推理质量，但面临严峻的计算效率挑战：

  • 计算成本高昂：Token消耗随分支数线性增长
  • 局部信号局限：现有早停策略仅利用单轨迹内部信息（如置信度、答案收敛），忽视跨分支的全局共识（consensus），导致无法在决策稳定后及时终止
  • 硬件效率损失：自适应采样方法（如Adaptive Self-Consistency）依赖顺序控制，将并行生成退化为半顺序过程，抵消GPU批处理优势

2. 核心创新：2D Probing诊断接口

论文提出2D探测机制，将并行解码转化为结构化的全局观测：

  • 实现方式：以固定间隔 Delta 向 N 个并行分支注入终止触发序列（如</think> The final answer is），强制生成中间答案
  • 矩阵构建：构建探测矩阵 A ∈ V^(N × T) ，其中 A_(i,t) 表示第 i 个分支在第 t 个探测步骤的答案，从而暴露宽度（分支数）与深度（生成长度）的联合动态

基于该接口，论文揭示了三个关键经验现象：

  1. 非单调缩放：准确率对宽度和深度的分配比例敏感，在固定总预算下，不同配置组合性能差异显著
  2. 分支异质性：并行分支的推理长度呈长尾分布，少数分支主导总计算成本
  3. 早期共识稳定：全局多数投票平均在最大分支长度的**31%**处即已收敛并保持稳定，而标准方法需等待所有分支完成

3. 方法论：Parallel-Probe控制器

基于上述观察，论文提出Parallel-Probe，一种无需训练（training-free）的在线控制策略，通过双维度联合优化实现硬件友好的高效并行思考：

  • 共识驱动的早期停止（Consensus-based Early Stopping）： 监控探测矩阵的列向一致性而非单轨迹状态。定义第 t 步共识 dt = mode(A_t) ，当共识连续 u 步不变时触发全局终止：
    T    (stop) = t ≥ u mid dt = d(t-1) = ·s = d_(t-(u-1))
    该方法在全局决策稳定时立即停止，避免长尾分支的冗余计算。

  • 偏差感知的分支剪枝（Deviation-based Branch Pruning）： 动态识别并剪除偏离全局趋势的分支。若某分支在过去 k 步持续偏离共识：
    ∑(j=0)^(k-1) 1(A(i,t-j) ≠ d_(t-j)) ≥ k
    则予以剪除，从而抑制计算资源向异常轨迹倾斜。

  • 预热阶段（Warmup）：前 W 步暂停控制，防止早期不稳定信号导致误判。

4. 评估平台：SCOUT

论文引入SCOUT（Sequential & Concurrent Offline Utilization Testbed）：

  • 通过预采样构建候选池，将推理生成与策略评估解耦，支持零计算开销的策略模拟与公平对比
  • 确保所有方法在相同轨迹子集上评估，消除随机性干扰

5. 实验验证

在Qwen3系列模型（0.6B、1.7B、4B、8B）及高难度基准（AIME 2024、AIME 2025、HMMT 2025）上的实验表明：

  • 效率提升：相比标准自一致性（SC@64），顺序token减少35.8%，总token成本降低25.8%，同时保持 competitive 的准确率
  • 帕累托优势：在准确率-成本权衡曲线上 consistently 位于SC及SC+SAC（局部早停）的左上方
  • 组件有效性：消融实验验证了全局探测信息（相对于局部信号）和双维度控制（相对于单一维度）的必要性

6. 结论与展望

论文确立了2D探测作为理解与控制并行推理的有效接口，并开辟了基于全局动态信号进行高效并行思考的研究方向。未来工作可探索基于学习的控制器、更丰富的探测信号（如隐藏状态）、以及训练时目标与在线控制策略的紧耦合。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tong Zheng,Chengsong Huang,Runpeng Dai,Yun He,Rui Liu,Xin Ni,Huiwen Bao,Kaishen Wang,Hongtu Zhu,Jiaxin Huang,Furong Huang,Heng Huang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2602.03845.pdf

Arxiv URL: https://arxiv.org/abs/2602.03845

Arxiv ID: 2602.03845

CoolPaper URL: https://papers.cool/arxiv/2602.03845

Published: 2026-02-03T18:59:41Z

Updated: 2026-02-03T18:59:41.000Z

13. Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation

Nowadays, training and evaluating DeepResearch-generated reports remain challenging due to the lack of verifiable reward signals. Accordingly, rubric-based evaluation has become a common practice. However, existing approaches either rely on coarse, pre-defined rubrics that lack sufficient granularity, or depend on manually constructed query-specific rubrics that are costly and difficult to scale. In this paper, we propose a pipeline to train human-preference-aligned query-specific rubric generators tailored for DeepResearch report generation. We first construct a dataset of DeepResearch-style queries annotated with human preferences over paired reports, and train rubric generators via reinforcement learning with a hybrid reward combining human preference supervision and LLM-based rubric evaluation. To better handle long-horizon reasoning, we further introduce a Multi-agent Markov-state (MaMs) workflow for report generation. We empirically show that our proposed rubric generators deliver more discriminative and better human-aligned supervision than existing rubric design strategies. Moreover, when integrated into the MaMs training framework, DeepResearch systems equipped with our rubric generators consistently outperform all open-source baselines on the DeepResearch Bench and achieve performance comparable to that of leading closed-source models.

中文摘要

如今，由于缺乏可验证的奖励信号，培训和评估DeepResearch生成的报告依然充满挑战。因此，基于评分标准的评估已成为一种常见做法。然而，现有方法要么依赖粗略的预定义规律，缺乏足够细度，要么依赖手动构建的查询专用规规，这些规规成本高且难以扩展。本文提出一条流程，用于训练针对人类偏好的查询专用评分标准生成器，专为DeepResearch报告生成量身定制。我们首先构建一个带有人类偏好的DeepResearch风格查询数据集，并结合了人类偏好监督和基于LLM的评分标准评估，通过强化学习训练评分规矩生成器。为了更好地处理长视野推理，我们进一步引入了多智能体马尔可夫状态（MaMs）报告生成流程。我们通过实证表明，我们提出的评分标准生成器比现有评分标准设计策略提供了更具辨别性和更优的人类对齐监督。此外，当集成到MaMs训练框架中时，配备我们评分标准生成器的DeepResearch系统在DeepResearch实验台上持续优于所有开源基线，并实现与领先闭源模型相当的性能。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决DeepResearch报告生成任务中缺乏可扩展、可靠且与人类偏好对齐的评估与训练信号的问题。

具体而言，该研究针对以下核心挑战：

  1. 可验证奖励信号的缺失
    与短形式问答任务（如GAIA、BrowseComp）不同，DeepResearch报告生成涉及长篇幅、开放式查询，需要多步推理、信息检索与综合，且不存在唯一标准答案。这导致无法使用简单的正确性反馈（verifiable rewards）来训练或评估模型。

  2. 现有评估方法的局限性

  • 预定义通用评分标准（rubric）：过于粗粒度，缺乏针对特定查询的细粒度区分能力，无法捕捉不同研究主题下的细微质量差异。
  • 人工构建的查询特定评分标准：虽然质量高，但需要大量领域专家投入，难以扩展到大规模训练数据。
  • LLM生成的查询特定评分标准：缺乏人类偏好数据的基础，容易与人类实际判断产生偏差，导致监督信号弱、奖励黑客（reward hacking）及学习效率低下。
  1. 核心研究目标
    论文提出通过从人类偏好中学习查询特定的评分标准生成器（query-specific rubric generators），为DeepResearch系统提供细粒度、可解释且可扩展的奖励信号。具体包括：
  • 构建大规模人类偏好数据集（包含查询及成对报告的偏好标注）；
  • 基于GRPO（Group Relative Policy Optimization）训练rubric生成器，结合人类偏好一致性奖励与LLM元评估奖励的混合信号；
  • 通过生成的动态rubric为DeepResearch智能体提供训练监督，并配合提出的多智能体马尔可夫状态（MaMs）工作流处理长程上下文依赖。

简言之，该工作旨在用可扩展的、数据驱动的rubric生成机制替代昂贵的人工设计或不可靠的静态评估标准，从而解决DeepResearch报告生成中评估与训练信号不足的关键瓶颈。

Q: 有哪些相关研究？

根据论文第2节（Related Work），相关研究主要集中在以下两个方向：

1. DeepResearch 智能体（DeepResearch Agent）

现有研究根据任务类型可分为两类：

短形式问答（Short-Form Question Answering）
这类任务具有可验证的目标答案，因此可采用**可验证奖励的强化学习（RLVR）**进行训练：

  • GAIA（Mialon et al., 2023; Russell et al., 2025）、BrowseComp（Wei et al., 2025; Zhou et al., 2025）、HLE（Phan et al., 2025）等基准测试提供了明确的正确性信号。
  • Search-R1（Jin et al., 2025）与WebExplorer（Liu et al., 2025a）采用GRPO（Group Relative Policy Optimization）提升检索有效性。
  • WebThinker（Li et al., 2025a）使用DPO（Direct Preference Optimization）在不依赖可验证奖励的情况下赋予LLM深度研究能力。
  • Tongyi DeepResearch（Tongyi et al., 2025）专门支持长时程信息搜索行为。

长形式报告生成（Long-Form Report Generation）
此类任务需要综合异构文档集并生成连贯的长篇分析报告，缺乏标准答案：

  • DeepResearch Bench（Du et al., 2025）与ResearchQA（Yifei et al., 2025）等基准采用LLM-as-a-Judge结合人工标注的通用或查询特定评分标准进行评估。
  • WebWeaver（Li et al., 2025b）开发了双智能体框架模拟协作式人工研究流程。
  • Dr Tulu（Shao et al., 2025a）是首批完全开源的长形式DeepResearch智能体之一。

2. 用于奖励建模的评分标准（Rubrics for Reward Modeling）

针对长形式生成任务中弱监督与对齐挑战，现有研究探索了多种基于评分标准的评估方法：

固定评分标准（Fixed Rubrics）

  • 采用人工预定义的通用标准（Hashemi et al., 2024; Que et al., 2024; Shao et al., 2024a），为长形式输出提供结构化反馈。

查询特定评分标准（Query-Specific Rubrics）

  • ResearchRubrics（Sharma et al., 2025）与Auto-Rubric（Xie et al., 2025）等研究生成针对具体查询的评估标准，以替代通用标准。
  • Dr Tulu（Shao et al., 2025a）采用自我演化的评分标准（Self-Evolving Rubrics）。

评分标准作为奖励模型（Rubrics as Reward Models）
近期研究将评分标准整合到强化学习框架中作为奖励模型：

  • Rubrics as Rewards（Gunjal et al., 2025）与Checklists（Viswanathan et al., 2025）探索使用结构化标准指导RL训练。
  • OpenRubrics（Liu et al., 2025b）与Interpretable Preferences（Wang et al., 2024b）致力于可扩展的合成评分标准生成与多目标奖励建模。

关键差异：与上述方法不同，本论文从人类偏好数据中学习生成查询特定的评分标准，通过GRPO训练rubric生成器，使其生成的评估标准既具备查询适应性，又与人类判断高度对齐，从而提供更可靠、可解释的奖励信号。

Q: 论文如何解决这个问题？

论文通过以下四阶段 pipeline解决DeepResearch报告生成中缺乏可扩展、可靠评估信号的问题：

1. 构建大规模人类偏好数据集

首先建立包含5000+ DeepResearch风格查询的偏好数据集 D = (q, r(acc), r(rej))：

  • 查询构建：基于知识图谱采样多跳实体路径，利用LLM生成开放式研究查询，涵盖法律、商业、科技、医疗等15+领域
  • 候选报告生成：使用多种LLM（DeepSeek V3.1、Tongyi-DeepResearch等）配合不同超参数生成多样化报告
  • 人工标注：16名专家（硕士以上学历）基于有用性、连贯性、完整性、对齐性四个维度进行成对比较，标注偏好关系 r(acc) succ r(rej)

2. 训练查询特定的评分标准生成器（Rubric Generator）

核心创新在于使用GRPO（Group Relative Policy Optimization）训练rubric生成器 π_θ，使其针对输入查询 q 生成结构化评估标准列表 y（JSON格式，包含title、description、weight字段）。

混合奖励函数设计（公式1）：

R(total) = λ(pref)R(pref) + λ(llm)R(llm) + R(fmt)

  • 偏好一致性奖励 R_{pref}：利用标注数据计算
    对生成的rubric y，使用LLM-as-a-Judge按加权平均计算报告分数（公式2）：

S(r|y) = ∑(k=1)^K w_k · v_k∑(k=1)^K wk 若 S(r(acc)|y) > S(r(rej)|y) 则 R(pref)=+1，否则为 -1（公式3）

  • LLM元评估奖励 R_{llm}：由独立LLM评估生成rubric的逻辑一致性、覆盖全面性与相关性，输出
    0,4
    区间的质量分数

  • 格式奖励 R_{fmt}：强制JSON schema合规性，违规给予 -1 惩罚

3. 提出多智能体马尔可夫状态（MaMs）工作流

为解决传统ReAct在长上下文中的状态累积与错误传播问题，提出MaMs工作流，将研究过程建模为马尔可夫决策过程：

状态抽象：s_t = langle m_t, p_t, r_t rangle

  • m_t：结构化记忆（已获取信息摘要）
  • p_t：动态执行计划
  • r_t：增量演进的报告

三智能体协作架构（共享同一LLM后端，通过不同prompt区分角色）：

智能体 职责 关键机制
Search Agent 高层控制，决定搜索动作与计划更新 若信息充足则终止循环，否则生成工具调用
State Agent 处理原始观测 O_t，更新记忆与计划 分块处理（Chunk-based）：将长文本分割为 {c_1,…,c_K}，逐块增量融合信息（公式4）
Report Agent 基于新信息增量完善报告 解耦信息压缩与叙事生成，逐块修正报告内容（公式5）

并发执行优化：通过异步事件循环实现微批处理，将时间复杂度从 O(|D|) 降至 O(|D|/C)（C为并发限制）

4. 整合Rubric生成器进行RL训练

在DeepResearch系统训练中：

  1. 对每个查询 q，rubric生成器自动产生查询级评估标准（含权重）
  2. 使用LLM-as-a-Judge根据这些标准对rollout报告打分，计算加权奖励（同公式2）
  3. 该奖励信号通过GRPO指导策略模型优化，提供细粒度、可解释、与人类对齐的监督

关键优势：

  • 可扩展性：一次训练后，rubric生成器可自动为任意新查询生成评估标准，无需人工设计
  • 对齐性：通过人类偏好数据训练，确保评估标准反映真实人类判断
  • 判别力：相比通用标准，查询特定rubric能捕捉细微质量差异（Table 1显示AUC达65.68%，Cohen’s d达0.376）

实验表明，该方案在DeepResearch Bench上超越所有开源基线，性能接近闭源商业模型（如Gemini DeepResearch）。

Q: 论文做了哪些实验？

论文在第4节（Experiments）及附录中开展了以下系统性实验，围绕三个核心研究问题（RQ）展开：

1. 人类偏好建模评估（RQ1）

目标：验证基于GRPO训练的rubric生成器能否有效捕捉人类对报告的偏好。

实验设置：

  • 数据集：将自建的人类偏好数据集 D 按8:1:1划分为训练/验证/测试集，确保主题分布均衡
  • 评估指标：
  • Preference Accuracy (Pref. Acc.) / AUC：衡量生成rubric对 r_{acc} 和 r_{rej} 的排序正确率
  • Paired Cohen’s d：量化偏好分离的标准化效应量，反映判别强度与稳定性

对比基线（见Table 1）：

  • 人工定义通用标准（Human-defined General Rubrics）
  • 直接偏好判断：逐点打分（Pointwise Preference Scoring）与成对比较（Pairwise Preference Judgment）
  • LLM生成标准：GPT-5、Gemini-2.5-Pro、Qwen3-14B直接生成的查询特定标准（Generated Rubrics）
  • 不同训练策略：监督微调（SFT）、仅LLM奖励的RL、仅偏好奖励的RL、混合奖励的RL（本文方法）

关键结果：

  • 基于查询特定标准的方法显著优于通用标准（AUC从48.78%提升至60%+）
  • RL with Hybrid Reward在Qwen3-30B-A3B上取得最佳性能：AUC达65.68%，Cohen’s d达0.376，显著优于SFT（59.58%, 0.317）和直接LLM生成标准（58.54%, 0.314）

2. DeepResearch Bench性能评估（RQ2 & RQ3）

目标：验证rubric生成器作为奖励信号训练DeepResearch智能体的有效性（RQ2），以及MaMs工作流相对于ReAct的优越性（RQ3）。

实验设置：

  • 评估基准：DeepResearch Bench（100个查询，50中文/50英文）
  • 评估维度：Comprehensiveness（全面性）、Depth（深度）、Instruction Following（指令遵循）、Readability（可读性）
  • 基线系统：
  • 闭源：OpenAI DeepResearch、Claude Research、Gemini DeepResearch
  • 开源：WebThinker-32B-DPO、Dr Tulu（ReAct+Self-Evolving Rubrics）、WebWeaver-Qwen3-30B-A3B

对比实验（见Table 2）： 在相同基础模型（Tongyi-DeepResearch或Qwen3-30B-A3B）下，对比不同配置：

  • 工作流：ReAct vs. MaMs
  • 奖励策略：无rubric（N/A）、人工通用标准、GPT-5生成标准、SFT训练的标准生成器、RL训练的标准生成器（本文方法）

关键结果：

  • RQ2验证：使用RL训练rubric生成器的MaMs系统（Tongyi-DeepResearch backbone）在所有维度上显著优于其他rubric策略，Overall得分达49.3，超越人工通用标准（42.9）和GPT-5生成标准（43.4）
  • RQ3验证：在相同rubric策略下，MaMs工作流 consistently 优于ReAct。例如，Tongyi-DeepResearch配合RL-rubric时，MaMs（49.3）比ReAct（45.2）高出4.1分；在Qwen3-30B-A3B上，MaMs（44.3）比ReAct（41.0）高出3.3分
  • 系统对比：Tongyi-DeepResearch + MaMs + RL-rubric在开源系统中取得最佳性能（49.3），接近Gemini DeepResearch（49.7）

3. RL算法对比分析（GRPO vs. GSPO）

目标：分析不同RL算法对rubric生成器训练的影响，特别是在MoE（Mixture-of-Experts）模型上的行为差异。

实验设置：

  • 在Qwen3-30B-A3B（MoE架构）上分别使用GRPO与GSPO（Group Sequence Policy Optimization）训练rubric生成器
  • 监控训练过程中的奖励曲线与生成熵值（Entropy）

关键发现（见Figure 3与Table 5）：

  • 奖励水平：两种算法收敛到相似的奖励值（无显著差异）
  • 生成多样性：GSPO的序列级优化导致输出熵值显著高于GRPO，表明其生成rubric的多样性更高
  • 任务适配性：由于rubric生成任务需要稳定性、一致性与偏好对齐而非语言多样性，最终选用GRPO作为默认算法

4. 工具调用行为分析（附录H）

目标：验证MaMs工作流在交互效率上的改进。

实验设置：

  • 统计在DeepResearch Bench上各系统的平均工具调用次数与交互轮数
  • 限制条件：最大10轮交互，每轮最多5次工具调用

关键结果（见Table 6）：

  • MaMs工作流展现出更强的交互深度：Tongyi-DeepResearch在MaMs下平均调用39.23次工具，交互9.40轮；而在ReAct下仅调用8.10次，交互3.02轮
  • 表明MaMs通过状态抽象与分块处理，有效支持了长时程的信息获取与整合，避免了ReAct中常见的提前终止问题

5. 案例研究（附录I）

提供了rubric生成器针对具体查询（如”网络故障分析报告”）生成的结构化评估标准示例，展示其生成的标准包含关键维度（Key Criterion）、重要维度（Important Criterion）、可选维度（Optional Criterion）及错误惩罚项（Error Criterion），验证了生成内容的可解释性与细粒度。

Q: 有什么可以进一步探索的点？

根据论文第J节（Limitations and Future work）及方法论层面的潜在拓展空间，以下几个方向值得进一步探索：

1. 更丰富的偏好结构建模

现有方法依赖成对比较（pairwise comparison）构建偏好数据集 D = (q, r(acc), r(rej))。未来可探索：

  • 排序学习（Learning to Rank）：利用 K-way 排序或分级评分（graded scores）替代二元偏好，捕获更细粒度的质量层次
  • 多维偏好分解：将人类偏好分解为独立维度（如准确性、创造性、可读性），建立多目标优化框架：
    L(multi) = ∑(i=1)^(M) λi · E((q,r) sim D) [ R_i(q, r; θ) ]
    其中 R_i 表示第 i 个维度的奖励函数

2. 主观质量维度的评估增强

当前混合奖励对新颖性、创造性与推理深度的评估仍受限于LLM的校准偏差。改进路径包括：

  • 人类反馈与LLM评估的混合验证机制：引入”人在回路”（human-in-the-loop）的主动学习策略，对高不确定性样本请求人工标注
  • 自一致性检查（Self-Consistency Checking）：通过多轮采样与共识投票降低LLM-as-a-Judge的方差，减少对单一LLM评估的依赖

3. 跨领域泛化与迁移学习

现有实验局限于固定的DeepResearch任务分布。未来可研究：

  • Rubric生成器的零样本/少样本迁移：验证在未见过的报告体裁（如医学综述、法律意见书）上的泛化能力
  • 领域自适应微调：利用领域特定的少量标注数据快速调整 π_θ 的分布，避免从头训练

4. 多智能体架构的深度优化

当前MaMs工作流虽功能上分离了三类智能体（Search/State/Report），但共享同一LLM后端。可探索：

  • 专家混合路由（MoE Routing）：为不同智能体分配专门的专家子网络，提升专业化程度
  • 异步多智能体协作：突破当前顺序执行的State-Report更新循环，引入并行信息处理与冲突消解机制

5. 长文本处理的效率与保真度

State Agent的分块处理（chunk-based processing）存在信息压缩损失。改进方向包括：

  • 分层记忆架构（Hierarchical Memory）：结合短期工作记忆与长期知识库，采用键值检索（key-value retrieval）替代完整上下文拼接
  • 自适应分块策略：根据语义连贯性动态调整分块边界 c_1, c_2, …, c_K，而非固定长度切分

6. 奖励函数的组合机制

当前采用线性加权的混合奖励 R(total) = λ(pref)R(pref) + λ(llm)R(llm) + R(fmt)。可研究：

  • 非线性奖励融合：如使用门控机制（gating mechanism）动态调整权重 λ(q)，根据查询复杂度自适应平衡偏好一致性与内在质量
  • 对抗性奖励建模：引入判别器区分人类标注与LLM生成的rubric，提升生成标准的真实性（authenticity）

Q: 总结一下论文的主要内容

本文提出了一种从人类偏好中学习查询特定评估标准（query-specific rubrics）的新范式，用于解决DeepResearch长文本报告生成任务中缺乏可扩展、可靠奖励信号的核心挑战。

1. 研究背景与问题定义

DeepResearch系统需针对复杂开放式查询生成长篇分析报告，涉及多步推理、信息检索与证据综合。与短形式问答不同，该任务缺乏可验证的正确答案，导致传统强化学习方法（RLVR）难以适用。现有评估策略存在显著局限：

  • 预定义通用评分标准：粒度不足，难以区分不同查询的细微质量差异
  • 人工构建查询特定标准：依赖专家知识，成本高昂且难以规模化
  • LLM生成标准：缺乏人类偏好数据支撑，易与实际判断错位，引发奖励黑客（reward hacking）

2. 方法论框架

2.1 人类偏好数据集构建

构建包含5,000+ DeepResearch风格查询的偏好数据集 D = (q, r(acc), r(rej))：

  • 基于知识图谱生成覆盖15个领域（法律、商业、科技等）的多样化查询
  • 使用多种LLM生成候选报告，经人工筛选后由16名专家标注成对偏好（基于有用性、连贯性、完整性、对齐性）

2.2 查询特定Rubric生成器训练

采用Group Relative Policy Optimization (GRPO) 训练rubric生成器 π_θ，使其针对查询 q 生成结构化评估标准列表 y（含标题、描述、权重）。设计混合奖励函数：

R(total) = λ(pref)R(pref) + λ(llm)R(llm) + R(fmt)

其中：

  • 偏好一致性奖励 R(pref)：基于人工标注数据，要求生成的rubric对 r(acc) 的评分高于 r(rej)。评分通过加权平均计算： S(r|y) = ∑(k=1)^K wk · v_k∑(k=1)^K wk 若 S(r(acc)|y) > S(r(rej)|y) 则 R(pref)=+1，否则为 -1
  • LLM元评估奖励 R_{llm}：独立LLM评估生成rubric的逻辑一致性与覆盖全面性
  • 格式奖励 R_{fmt}：强制JSON schema合规性

2.3 多智能体马尔可夫状态（MaMs）工作流

针对传统ReAct的长上下文依赖问题，提出MaMs架构，将研究过程建模为马尔可夫决策过程。状态定义为 s_t = langle m_t, p_t, r_t rangle（记忆、计划、报告），通过三个功能专化的智能体协作：

  • Search Agent：高层控制，决定搜索动作与计划更新
  • State Agent：采用**分块处理（chunk-based）**机制，将长文本观测分割为语义块 {c_1,…,c_K} 并增量更新记忆： m_{t,k}, p_{t,k} = A_{state}(q, c_k, m_{t,k-1}, p_{t,k-1})
  • Report Agent：解耦信息压缩与叙事生成，基于新证据逐步完善报告： r_{t,k} = A_{report}(q, c_k, m_{t,k-1}, r_{t,k-1})

3. 实验验证与结果

3.1 人类偏好建模评估（Test Set）

在自建偏好数据集测试集上，基于Qwen3-30B-A3B的rubric生成器（RL with Hybrid Reward）显著优于基线：

  • Preference Accuracy (AUC)：65.68%（对比人工通用标准的48.78%，GPT-5生成标准的60.80%）
  • Paired Cohen’s d：0.376（表明偏好分离的效应量显著高于监督微调0.317）

3.2 DeepResearch Bench性能

在包含100个查询的DeepResearch Bench上，集成RL训练rubric生成器的MaMs系统取得开源最优性能：

  • Tongyi-DeepResearch + MaMs + RL-rubric：Overall 49.3，接近Gemini DeepResearch（49.7），显著优于Dr Tulu（43.4）和WebWeaver（46.8）
  • 消融实验验证：MaMs工作流 consistently 优于ReAct（+3~4分）；RL训练的rubric生成器优于人工通用标准（+6.4分）、GPT-5生成标准（+5.9分）及SFT训练版本（+5.9分）

3.3 算法与效率分析

  • 对比GRPO与GSPO（Group Sequence Policy Optimization）：GSPO生成熵值更高但稳定性不足，GRPO更适合需要一致性的rubric生成任务
  • MaMs工作流支持高并发执行，通过异步事件循环将时间复杂度从 O(|D|) 降至 O(|D|/C)

4. 主要贡献

  • 构建了首个大规模DeepResearch人类偏好数据集，支持从偏好数据中学习评估标准
  • 提出混合奖励的GRPO训练框架，实现可扩展、与人类对齐的查询特定rubric生成
  • 设计MaMs多智能体工作流，通过状态抽象与分块处理有效应对长程上下文依赖
  • 在DeepResearch Bench上实现开源SOTA性能，验证所提方法在报告生成质量上的显著优势

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Changze Lv,Jie Zhou,Wentao Zhao,Jingwen Xu,Zisu Huang,Muzhao Tian,Shihan Dou,Tao Gui,Le Tian,Xiao Zhou,Xiaoqing Zheng,Xuanjing Huang,Jie Zhou

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2602.03619.pdf

Arxiv URL: https://arxiv.org/abs/2602.03619

Arxiv ID: 2602.03619

CoolPaper URL: https://papers.cool/arxiv/2602.03619

Published: 2026-02-03T15:09:56Z

Updated: 2026-02-03T15:09:56.000Z

14. RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval

Reranking is a critical component of modern retrieval systems, which typically pair an efficient first-stage retriever with a more expressive model to refine results. While large reasoning models have driven rapid progress in text-centric reranking, reasoning-based reranking for video retrieval remains underexplored. To address this gap, we introduce RANKVIDEO, a reasoning-based reranker for video retrieval that explicitly reasons over query-video pairs using video content to assess relevance. RANKVIDEO is trained using a two-stage curriculum consisting of perception-grounded supervised fine-tuning followed by reranking training that combines pointwise, pairwise, and teacher confidence distillation objectives, and is supported by a data synthesis pipeline for constructing reasoning-intensive query-video pairs. Experiments on the large-scale MultiVENT 2.0 benchmark demonstrate that RANKVIDEO consistently improves retrieval performance within a two-stage framework, yielding an average improvement of 31% on nDCG@10 and outperforming text-only and vision-language reranking alternatives, while more efficient.

中文摘要

重排名是现代检索系统中的关键组成部分，这类系统通常将高效的第一阶段检索器与更具表现力的模型配对，以优化检索结果。尽管大型推理模型推动了以文本为中心的重排名的快速发展，但基于推理的视频检索重排名仍然研究不足。为了解决这一空白，我们引入了 RANKVIDEO，一种基于推理的视频检索重排名器，它通过利用视频内容对查询-视频对进行显式推理来评估相关性。RANKVIDEO 使用由两阶段课程组成的训练过程，包括基于感知的监督微调，以及随后结合点式、对式和教师置信度蒸馏目标的重排名训练，并且配套数据合成管道用于构建推理密集型的查询-视频对。在大型 MultiVENT 2.0 基准实验中，RANKVIDEO 在两阶段框架下始终提升检索性能，nDCG@10 平均提升 31%，同时优于仅文本和视觉-语言重排名方法，并且更高效。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决“文本到视频检索（text-to-video retrieval）”中第二阶段重排序（reranking）环节缺失推理能力的问题。具体而言：

  • 现有大规模视频检索系统普遍采用“先快速召回、再精细重排”的两阶段范式，但目前重排序模型主要面向文本检索设计，依赖标题、ASR 文本或 OCR 等纯文本信号，无法充分利用视频中的视觉、音频、时序等多模态信息。
  • 文本信号往往信息不完整（缺少关键画面、声音线索），且生成代价高，导致重排序环节在视频场景下准确率低、鲁棒性差。
  • 近期“大推理模型（LRM）”在文本重排序上取得显著增益，但视频原生（video-native）的推理重排序尚属空白。

因此，作者提出 RANKVIDEO——一个直接以原始视频帧为输入、具备显式推理能力的视频原生重排序器，通过两阶段课程学习与合成数据，显著提升真实场景下 top-k 检索指标，同时保持较高推理效率。

Q: 有哪些相关研究？

论文在第 2 节“Related Work”中将相关研究归为三大主线，并指出各自与 RANKVIDEO 的区别。可概括为：

  1. 大推理模型（Large Reasoning Models, LRMs）
  • 代表工作：DeepSeek-R1、Qwen3-VL-THINKING、Video-R1、Rank1、ReasonRank 等。
  • 共同点：通过链式思维或强化学习在推理阶段扩展计算，提升复杂任务精度。
  • 区别：现有 LRM 重排序仅面向文本或图文文档，尚未有“视频原生”推理重排序方案；RANKVIDEO 首次把推理重排序扩展到完整视听信号。
  1. 重排序（Neural Reranking）
  • 经典方法：CE-BERT、ColBERT、RankZephyr 等 cross-encoder 或 late-interaction 模型。
  • 最新趋势：用 LRM 做 list-wise 推理重排（Rank1、ReasonRank、GroupRank 等）。
  • 区别：前述方法均以文本为输入；RANKVIDEO 直接消费视频帧，避免文本提取造成的信息损失。
  1. 文本到视频检索（Text-to-Video Retrieval）
  • 早期：MSR-VTT、LSMDC、VaTeX 等字幕数据集转成检索任务，规模小且查询多为描述式。
  • 近期：MULTIVENT 2.0 提出 10 万级视频、推理型查询，强调真实场景；大量工作聚焦第一阶段召回（OmniEmbed、Video-CoLBERT、MMMORRF、LanguageBind 等）。
  • 区别：尚无专门针对 MULTIVENT 2.0 的第二阶段推理重排序研究；并发工作 Qwen3-VL-Reranker 仅在人工 caption 转换的 MSR-VTT 类数据集有效，在真实场景反而掉分。

Q: 论文如何解决这个问题？

论文通过“数据-模型-训练”三位一体方案解决视频原生推理重排序缺失问题，核心步骤如下：

  1. 构建推理密集型训练数据
  • 利用 Qwen3-Omni-30B 生成视频字幕，Whisper 转写语音，OCR 提取屏幕文字，再调用 Qwen3-32B 文本推理模型基于五类信号（字幕/音频/OCR/元数据/全部）提出高阶问题。
  • 通过“首阶段召回池+教师置信度”三重过滤，去除宽泛或易混淆查询，最终得到 35 k 查询-视频对，平均每个查询含 3.85 个候选。
  1. 设计视频原生推理重排序器 RANKVIDEO
  • 直接输入 2 fps、最多 32 帧的原始视频帧，无需离线字幕。
  • 推理头采用“是/否”分类结构，用 yes-token 与 no-token 的 logit 差

sθ(q,v)=ellθ(yes|q,v)-ell_θ(no|q,v)

作为相关性得分，避免长文本解码，兼顾效率与可解释性。

  1. 两阶段课程学习
  • 阶段 1：感知冷启动 SFT
    强制模型生成教师字幕，建立视觉-语义对齐，目标为

L(∩)=-∑(t=1)^L log pθl(c_t^((T))mid c(<t)^((T)),vr).

  • 阶段 2：排序微调
    采用“困难负例挖掘”将候选划分为可信负/可疑正/困难负，丢弃可疑正以减少假负。
    统一目标函数融合三种信号：
    – Pairwise：在 query-batch 内用温度缩放 softmax 把正例推到首位，

L(pair)=-log p+,quad pi=exp(s_i/τ(pair))∑j exp(s_j/τ(pair)).

– Teacher 蒸馏：将大型推理教师给出的软概率通过 BCEL 迁移给学生，

Lt=BCEL!((sθ(q,v)) / (τ(textteacher)),,p(yes)^((T))(q,v)).

– Pointwise 校准：对负例赋予 0.1 软标签与 0.5 权重，缓解类别不平衡，

L(pt)=BCEL!((sθ(q,v)) / (τ_(textpoint)),,tilde y;,weight=w).

最终损失

L=L(pair)+λ(teacher)Lt+λ(pt)L(pt),quad λ(teacher)=5,,λ_(pt)=0.5.

  1. 高效推理与动态计算
  • 无需生成冗长思维链，仅取 yes/no 位置 logit，单 query-video 对延迟 1.02 s，比生成式推理模型快 2.7 s。
  • 模型能自适应分配推理深度：简单对可直接输出答案，困难对才触发隐式推理，兼顾精度与效率。
  1. 广泛验证
  • 在 MULTIVENT 2.0 109 k 视频上，对 5 种异构第一阶段召回器均取得显著增益，nDCG@10 平均提升 31%，且对弱召回器增幅>10%。
  • 在 WIKIVIDEO RAG 场景下，Top-10 视频支持的百科主张覆盖率提升 8–12%，生成文章事实性同步提高，证明重排序收益可向下游生成任务传递。

综上，RANKVIDEO 通过“合成推理数据+两阶段课程+视频原生推理头”首次实现了高效、鲁棒、可扩展的视频推理重排序，填补了文本到视频检索第二阶段的技术空白。

Q: 论文做了哪些实验？

论文在 MULTIVENT 2.0 与 WIKIVIDEO 两个基准上共设计 6 组实验，系统验证 RANKVIDEO 的有效性、通用性与效率。核心结果均以“相对于首阶段检索器的绝对提升”方式报告，重点指标为 nDCG@10 与 R@10。

  1. 主实验：与 4 类重排序基线对比
  • 首阶段固定为 OMNIEMBED，重排序候选 1000→100。
  • 基线含文本推理重排序器 REASONRANK、零样本视觉-语言模型 QVL-I/THINKING、并发工作 Qwen3-VL-Reranker。
  • 结果：RANKVIDEO Stage-2 将 OE 的 nDCG@10 从 0.495 提升到 0.566（+14.3% 相对提升，约 +31% 绝对增量），R@10 从 0.523→0.590，均显著优于所有基线；Stage-1 已领先其他方法，说明感知冷启动本身即带来增益。
  1. 跨首阶段泛化实验
  • 保持 RANKVIDEO 不变，仅替换首阶段为 CLIP-16F、MMMORRF、LanguageBind、Video-CoLBERT 四种截然不同架构。
  • 结果：
    – 对最强首阶段 MMMORRF，nDCG@10 仍提升 +8.5%；
    – 对最弱首阶段 CLIP，nDCG@10 提升 +56%、R@10 提升 +43%；
  • 结论：RANKVIDEO 与首阶段质量无关，弱召回器受益更大，可“以速度换精度”支撑大规模索引。
  1. 评分分布可视化
  • 统计 Stage-1→Stage-2 在 1000 候选池内的 logit 差分数分布。
  • 结果：Stage-2 把正例整体右移、负例左移，重叠区面积减少约 38%，解释 top-k 指标大幅提升的原因。
  1. 延迟与动态推理分析
  • 在单卡 A100、batch=1 条件下，对 100 条查询-视频对测中位延迟。
  • 结果：RANKVIDEO Stage-2 仅 1.02 s，比生成完整思维链的 QVL-THINKING 快 2.7×；与文本基线 ReasonRank（0.87 s）差距 <0.15 s，且无需离线字幕预处理。
  1. 下游 RAG 实验（WIKIVIDEO）
  • 用 top-10 视频生成百科段落，评估检索侧 α-nDCG、nDCG、StRecall 与生成侧 InfoPrecision。
  • 结果：+RANKVIDEO 后，α-nDCG 提升 7–15%，InfoP 提升 3–8%，证实重排序增益可传递到生成质量。
  1. 消融与失败分析
  • 损失函数三要素消融：去掉 pointwise 校准后 nDCG@10 降 1.6 pt；再去掉教师蒸馏再降 1.0 pt，验证三部分均贡献正向信号。
  • 查询/视频先验分解：RANKVIDEO 的得分方差仅 9–14% 可被单独查询或视频均值解释，远低于基线（QVL-R 达 75.5%），表明模型依赖查询-视频交互，而非记忆式先验。
  • 按元数据切片：语言、事件类型、模态等粗特征仅能解释 9.3% 的 per-query nDCG 方差，说明模型在各分布上相对鲁棒；对“短查询”“自然灾害”等弱视觉锚定主题仍有提升空间。

综上，实验覆盖对比-泛化-效率-下游-消融-诊断六维，充分证明 RANKVIDEO 在真实大规模视频检索场景中的实用价值。

Q: 有什么可以进一步探索的点？

以下方向可延续并扩展 RANKVIDEO 的框架，分为“目标升级”“效率优化”“数据与评测”三大类，供后续研究参考：

目标升级

  1. List-wise 推理重排序
  • 当前仅支持 1 正 vs 2 负的 pairwise 批次；可探索一次性编码 8–16 支视频的长序列推理，以直接优化整段排序指标（如 α-nDCG、ERR）。
  • 需解决多视频显存爆炸与位置编码扩展问题，可借鉴 FlashAttention、Ring-Attention 或视频 Token 稀疏化技术。
  1. 生成式检索增强（Retrieve-then-Generate）
  • 将 RANKVIDEO 的置信度分数融入生成模型注意力掩码，实现“检索-重排-生成”端到端训练，缓解生成器对低质量视频的幻觉。
  • 可引入强化学习，用生成事实性奖励回传优化重排器。
  1. 时间敏感查询的片段定位
  • 把视频帧级特征与文本时刻标签联合建模，使重排序器输出“片段起止”而非整段相关，实现 Moment Retrieval + Re-ranking 一体化。

效率优化

  1. 动态推理预算分配
  • 当前仅隐式自适应；可显式学习“何时停止”策略，例如用轻量门控网络在 4/8/16/32 帧间做 early-exit，进一步压缩 30–50% 延迟。
  1. 蒸馏到小型视觉语言模型
  • 以 RANKVIDEO 为教师，训练 2B 甚至 1B 学生，采用 logits + 排序阶双重蒸馏，满足边缘端实时重排需求。
  1. 非对称编码架构
  • 查询侧用轻量文本编码器，视频侧用重模型；通过 late-interaction 或 cross-attention-on-demand 减少每查询计算量，实现“万次视频/秒”级预筛选。

数据与评测

  1. 细粒度噪声诊断数据集
  • 构建含“假字幕-真视觉”“假视觉-真字幕”“对抗式剪辑”三类难例，量化重排序器对文本/视觉单模态幻觉的鲁棒性。
  1. 多语言+低资源视频评测
  • 当前 MULTIVENT 2.0 以英、西、阿、俄、韩、中为主；可扩充至印尼、斯瓦希里等低资源语言，检验模型在 OCR/语音稀疏场景下的零样本表现。
  1. 长视频（>30 min）层级重排序
  • 引入“场景-片段-镜头”三级索引，先重排场景级，再细化片段，解决纪录片、直播回放等长内容检索需求。
  1. 统一视频-文档-图像检索基准
  • 构建混合索引（视频+PDF+网页+图像），评估 RANKVIDEO 在真正“多模态大库”下的跨域排序一致性，推动通用多模态重排序研究。

以上方向兼顾性能上限与落地成本，可基于 RANKVIDEO 已开源的代码与检查点快速迭代。

Q: 总结一下论文的主要内容

  • 问题：文本到视频检索的两阶段 pipeline 中，第二阶段重排序仍依赖提取字幕/ASR/OCR 等文本信号，丢失视觉与音频关键信息，且现有大推理模型仅面向文本，视频原生推理重排序尚属空白。
  • 方案：提出 RANKVIDEO——直接以原始视频帧为输入的推理重排序器。
    – 数据：自研合成 pipeline，用 Qwen3-Omni+Whisper+OCR+元数据生成 35 k 推理密集型查询-视频对，经三重过滤保证难度与纯度。
    – 模型：基于 Qwen3-VL-8B，采用“yes/no”logit 差 s_θ(q,v) 作为相关性得分，无需解码长思维链。
    – 训练：两阶段课程
  1. 感知冷启动 SFT：强制生成教师字幕，建立视觉-语义对齐；
  2. 排序微调：联合 pairwise + pointwise + 教师置信度蒸馏，并挖掘“可信负+困难负”以聚焦 top-k 错误模式。

  • 实验：在 109 k 视频的 MULTIVENT 2.0 上，对 5 种异构首阶段检索器重排 1000→100 候选：
    – 平均 nDCG@10 +31%（相对首阶段 +14.3%），R@10 +12.8%，均显著优于文本推理基线 ReasonRank 与零样本 VL 模型；
    – 跨首阶段泛化：弱召回器 CLIP 提升 +56%，强召回器仍提升 +8.5%；
    – 延迟 1.02 s，比生成式思维链模型快 2.7×，与文本基线差距 <0.15 s；
    – 下游 RAG（WIKIVIDEO）Top-10 视频主张覆盖率提升 7–15%，生成事实性同步提高。

  • 结论：RANKVIDEO 首次实现高效、鲁棒、视频原生的推理重排序，填补文本到视频检索第二阶段的空白，并验证其收益可向下游生成任务传递。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tyler Skow,Alexander Martin,Benjamin Van Durme,Rama Chellappa,Reno Kriz

Categories: cs.IR,cs.CV

PDF URL: https://arxiv.org/pdf/2602.02444.pdf

Arxiv URL: https://arxiv.org/abs/2602.02444

Arxiv ID: 2602.02444

CoolPaper URL: https://papers.cool/arxiv/2602.02444

Published: 2026-02-02T18:40:37Z

Updated: 2026-02-02T18:40:37.000Z

15. Unified Personalized Reward Model for Vision Generation

Recent advancements in multimodal reward models (RMs) have significantly propelled the development of visual generation. Existing frameworks typically adopt Bradley-Terry-style preference modeling or leverage generative VLMs as judges, and subsequently optimize visual generation models via reinforcement learning. However, current RMs suffer from inherent limitations: they often follow a one-size-fits-all paradigm that assumes a monolithic preference distribution or relies on fixed evaluation rubrics. As a result, they are insensitive to content-specific visual cues, leading to systematic misalignment with subjective and context-dependent human preferences. To this end, inspired by human assessment, we propose UnifiedReward-Flex, a unified personalized reward model for vision generation that couples reward modeling with flexible and context-adaptive reasoning. Specifically, given a prompt and the generated visual content, it first interprets the semantic intent and grounds on visual evidence, then dynamically constructs a hierarchical assessment by instantiating fine-grained criteria under both predefined and self-generated high-level dimensions. Our training pipeline follows a two-stage process: (1) we first distill structured, high-quality reasoning traces from advanced closed-source VLMs to bootstrap SFT, equipping the model with flexible and context-adaptive reasoning behaviors; (2) we then perform direct preference optimization (DPO) on carefully curated preference pairs to further strengthen reasoning fidelity and discriminative alignment. To validate the effectiveness, we integrate UnifiedReward-Flex into the GRPO framework for image and video synthesis, and extensive results demonstrate its superiority.

中文摘要

多模态奖励模型（RM）的最新进展极大推动了视觉生成的发展。现有框架通常采用Bradley-Terry风格的偏好建模，或利用生成VLM作为评判，随后通过强化学习优化视觉生成模型。然而，现有的RM存在固有局限性：它们通常遵循一刀切的范式，假设偏好分布单一或依赖固定的评估标准。因此，它们对内容特定的视觉线索不敏感，导致系统性地与主观且依赖上下文的人类偏好不一致。为此，我们以人类评估为灵感，提出了UnifiedReward-Flex，一种统一的个性化视觉生成奖励模型，将奖励建模与灵活且情境适应的推理相结合。具体来说，给定提示和生成的视觉内容，首先解释语义意图并基于视觉证据，然后通过在预定义和自生成的高层次维度下实例化细粒度标准，动态构建层级评估。我们的训练流程遵循两阶段流程：（1）首先将先进闭源VLM的结构化、高质量推理痕迹提取到自启SFT，赋予模型灵活且具备上下文适应的推理行为;（2）随后对精心策划的偏好对进行直接偏好优化（DPO），进一步强化推理的忠实度和判别对齐。为验证其有效性，我们将UnifiedReward-Flex整合进GRPO图像和视频合成框架，广泛结果证明其优势。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决现有视觉生成奖励模型（Reward Models, RMs）普遍采用的“一刀切”评估范式所带来的系统性偏好失准问题。具体而言：

  • 固定判别式打分器（如 CLIP、PickScore）与 Bradley–Terry 偏好模型（如 HPSv3、VideoAlign）均假设所有提示与视觉内容共享单一全局奖励函数，忽视内容特异性线索。
  • VLM-as-a-judge 方法（如 UnifiedReward-Think）虽引入长链推理，却仍沿用静态评估清单，无法针对提示意图与视觉证据动态调整评估维度。

上述缺陷导致奖励信号对主观、上下文依赖的人类偏好不敏感，从而在强化学习优化中误导生成模型。为此，作者提出 UnifiedReward-Flex，通过上下文自适应的层次化推理，在运行时动态实例化细粒度评估标准，并可在必要时新增高层维度，以贴合人类评估者的内容自适应决策过程，最终为图像与视频合成提供更可靠、更具语境感知能力的奖励监督。

Q: 有哪些相关研究？

论文在第 2 节“Related Work”中将与本文相关的研究划分为两大主线，并指出它们与 UnifiedReward-Flex 的区别。可归纳如下：

  1. 多模态奖励模型（Multimodal Reward Models, RMs）
  • 固定判别式打分器
  • CLIP（Radford et al., 2021）
  • PickScore（Kirstain et al., 2023）
  • LAION-Aesthetics（Schuhmann, 2022）
    特点：直接输出标量奖励，函数形式固定，与提示/内容无关。
  • Bradley–Terry 偏好建模
  • HPS 系列（HPSv2、HPSv3，Wu et al. 2023; Ma et al. 2025）
  • VideoAlign（Liu et al., 2025）
    特点：学习全局 pairwise 偏好函数，仍共享同一套参数，不随实例变化。
  • VLM-as-a-judge
  • UnifiedReward-Think（Wang et al., 2025）
  • VR-Thinker（Wang et al., 2025）
  • VideoScore2（He et al., 2025）
    特点：利用生成式 VLM 产生文字判断，但采用静态评估清单，无法动态调整维度与权重。

与本文区别：UnifiedReward-Flex 首次将“奖励建模”与“上下文自适应推理”耦合，可在运行时针对提示意图与视觉证据动态实例化细粒度标准，甚至新增高层维度。

  1. 视觉生成强化学习（RL for Vision Generation）
  • 早期标量奖励微调
  • Clark et al., 2023 直接微调扩散模型
  • Prabhudesai et al., 2024 视频扩散对齐
  • Lee et al., 2023 人类反馈对齐文本到图像模型
  • 基于 PPO 的策略梯度方法
  • Black et al., 2023；Fan et al., 2023；Miao et al., 2024 将 PPO 引入扩散/流匹配模型
  • 直接偏好优化（DPO）及其变体
  • Wallace et al., 2024；Yang et al., 2024；Liu et al., 2025（VideoDPO）
  • Group Relative Policy Optimization（GRPO）系列
  • Flow-GRPO（Liu et al., 2025）
  • Dance-GRPO（Xue et al., 2025）
  • Mix-GRPO（Li et al., 2025）
  • Pref-GRPO（Wang et al., 2025）——本文即采用该框架，但将其中点对点奖励替换为 UnifiedReward-Flex 提供的“个性化多维偏好奖励”。

Q: 论文如何解决这个问题？

论文提出 UnifiedReward-Flex，通过“动态层次评估 + 两阶段训练”解决“一刀切”奖励失准问题。核心思路与步骤如下：

1. 上下文自适应层次推理（Context-adaptive Hierarchical Reasoning）

  • 预设 3 个锚定维度（图像：语义对齐、视觉质量、美学；视频额外含 cinematography）。
  • 给定提示 p 与视觉内容 v ，模型：
  1. 语义解析 → 识别提示意图与视觉证据；
  2. 在每一锚定下动态实例化细粒度子维度（如“动作保真”“物理合理性”）；
  3. 若上下文需要，即时新增高层维度（如“叙事与交互”）；
  4. 对各维度进行证据驱动的成对比较，输出维度胜者；
  5. 综合所有维度得出总体胜者与结构化推理轨迹。

由此，评估标准随样本而变，实现“个性化”奖励。

2. 两阶段训练管道

阶段 目标 数据 方法 关键公式
Stage-I 推理蒸馏 让模型学会动态构建评估层次 45k 图像 + 45k 视频成对数据；教师模型 GPT-5.2 输出结构化轨迹 T(x_i)= H_i, R_i, W_i 监督微调（SFT） LSFT(θ)=-∑i=1^N log p_θ!(y_i^(T)mid x_i)
Stage-II 偏好对齐 提升判别力并强化高质量推理 同一输入采样两条推理轨迹；按“正确性→轨迹质量”构造偏好对 (y_i^+, y_i^-) 直接偏好优化（DPO） LDPO(θ)=-Elogσ!(βdpoDelta) 其中 $Delta=logfrac{π_θ(y^+!

3. 强化学习集成（Pref-GRPO 应用）

  • 用 UnifiedReward-Flex 替代标量奖励：
  • 对每组 G 个候选 xi^0 进行成对比较，记录
    – 锚定维度胜率 R_d(x_i^0,c)
    – 总体胜率 R    (overall)(x_i^0,c)
  • 计算组内标准化优势

Ai^(dim)=barR(dim)-μ(dim)σ(dim), quad Ai^(overall)=R(overall)-μ(overall)σ(overall)

  • 组合优势

A_i = α,A_i^(dim) + (1-α),A_i^(overall)

代入 GRPO 的剪切替代目标完成策略更新。

4. 效果验证

  • 奖励任务：在 GenAI-Bench、MMRB2、MJ-Bench 等基准上，平均提升 2–3 个百分点，优于 HPSv3、UnifiedReward-Think 等强基线。
  • 生成任务：
    – 文本到图像（FLUX.1-dev）：UniGenBench 总体一致性 +14.56；复合推理、逻辑推理等硬维度显著跃升。
    – 文本到视频（Wan2.1-T2V-14B）：VBench 动态度 58.6→70.8，空间关系 72.6→80.8，验证了对运动与物理细节的精准监督。

通过“动态评估 + 轨迹级偏好对齐”，UnifiedReward-Flex 显著削弱奖励黑客现象，为图像/视频合成提供了更稳健、上下文敏感的优化信号。

Q: 论文做了哪些实验？

论文从 奖励模型本身 与 下游生成任务 两条主线展开实验，覆盖图像/视频双域，并辅以消融与效率分析。具体实验如下：

1 奖励模型评估（ discriminative 能力）

数据集 类型 指标 对比方法
GenAI-Bench-Image 图像 pairwise 偏好 准确率 HPSv2, PickScore, HPSv3, UnifiedReward, UnifiedReward-Think
MMRB2 图像混合偏好 准确率 同上
GenAI-Bench-Video 视频 pairwise 偏好 准确率 LiFT, VideoScore, VideoReward, UnifiedReward, UnifiedReward-Think
MJ-Bench-Video 视频细粒度偏好 准确率 同上

结果：UnifiedReward-Flex 在所有基准上取得 SOTA，相较最强的 UnifiedReward-Think，图像提升 +1.1–3.2 pts，视频提升 +2.2 pts。

2 文本到图像生成（FLUX.1-dev + GRPO）

评估维度 数据集 指标 基线奖励
域内语义一致性 UniGenBench++ Overall & 11 子类 HPSv2, HPSv3, PickScore, UnifiedReward, UnifiedReward-Think
域外一致性 T2I-CompBench / GenEval 复合/属性/关系准确率 同上
图像质量 CLIP、PickScore、UnifiedReward、Aesthetic 分值 同上

结果：

  • UniGenBench Overall 59.39 → 73.95（+14.56），显著超越 UnifiedReward-Think（68.89）。
  • 复合推理 24.77 → 46.59（+21.82）提升最大，表明动态评估有效捕捉复杂约束。
  • 域外基准同样取得 最佳或次佳，验证无过拟合。

3 文本到视频生成（Wan2.1-T2V-14B + GRPO）

评估维度 数据集 指标 基线奖励
质量型 VBench 7 项（清晰度、闪烁、动作平滑度、动态度等） VideoReward, UnifiedReward-Think
语义型 VBench 8 项（空间关系、颜色、风格、多物体等） 同上

结果：

  • 动态度 58.6 → 70.8（+12.2），显著领先其他奖励，验证对运动密集型提示的精准监督。
  • 空间关系、颜色一致性、成像质量等 共 10 项取得最佳，整体 VBench 总分提升 +2.3。

4 消融实验

实验 设置 主要结论
DPO 作用 保留/去掉 Stage-II 去掉后图像 MMRB2 降 1.7 pts；视频 GenAI-Bench 降 1.4 pts；即使“两者都正确”场景仍升 1.2 pts，说明轨迹级偏好有效提升判别力。
α 权重 α=0,0.3,0.5,0.7,1 α=0.7 在图像/视频任务均获 最优，兼顾维度细节与全局质量。

5 训练效率与可视化

分析 结果
单步耗时 固定打分器 ~103 s；UnifiedReward-Think 124–328 s；UnifiedReward-Flex 143–336 s（仅增加 8–15 %），但带来显著质量收益。
训练曲线 以 CLIP Score 为代理，图像/视频 GRPO 均呈 单调上升，表明奖励信号稳定、无黑客。
视觉演进 图 5-6 显示：随着步数增加，关键细节（文字雕刻、折纸舞蹈动作）逐渐清晰且连贯，验证语义+时序同步改善。

6 定性示例

  • 图 1、8：针对“儿童治愈麒麟”故事类提示，模型自动新增“叙事与交互”维度，正确选出含互动场景的图片。
  • 图 2、9：针对“静止镜头 vs 真实倒水物理”冲突，UnifiedReward-Flex 优先物理真实，生成视频在动态度、流体模拟上显著优于基线。

综上，实验从判别准确率→生成质量→消融敏感性→训练效率→可视化趋势全链路验证：UnifiedReward-Flex 提供的个性化、上下文自适应奖励在图像与视频生成任务中均取得显著、稳健的提升。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为“方法-数据-评测-应用”四条线，均直接对应 UnifiedReward-Flex 尚未充分展开或尚未触及的关键问题。

1 方法层面

  • 维度自动生成而非采样
    当前新增维度靠 VLM 采样产生，可探索基于 prompt-embedding 的可学习维度库或连续向量维度，实现完全可微的“按需维度生成”。

  • 层次权重可解释化
    维度-子维度权重由模型隐式决定，可引入注意力可视化 + 人类可读约束，使权重具备可解释性与可干预性，方便后续纠错或政策合规。

  • 多轮对话式评估
    将一次性推理扩展为多轮追问-澄清-再评估，对超长、多事件视频或复杂组合提示进一步降低误判。

  • 奖励模型自我一致性校准
    同一内容多次采样可能出现不同维度集合，可借鉴 Self-Consistency / 集成投票，对维度结构与最终胜率做方差估计，提供置信度信号给 RL。

2 数据与标注

  • 细粒度人类轨迹标签
    目前轨迹级偏好依赖 GPT-5.2 蒸馏+人工抽检。可构建大规模人工维度-理由-胜负三元组，降低教师模型偏差，提升领域外鲁棒性。

  • 多文化、多语言偏好
    现有数据以英文为主，可收集非英语提示与地域审美差异数据，研究奖励模型跨文化泛化与个性化（如“动漫风格 v.s. 写实风格”地域权重）。

  • 负面提示与安全性对
    针对暴力、歧视、版权等高风险提示，扩充安全维度（侵权检测、年龄适宜性），验证 UnifiedReward-Flex 在内容安全场景的可迁移性。

3 评测与基准

  • 动态维度可复现性基准
    建立**“维度一致性”指标**（同提示多次运行维度集合的 Jaccard 与胜率稳定性），防止“随机增维”带来评估噪声。

  • 因果干预评测
    引入因果框架，对图像/视频做局部像素或帧干预（如删除主体、替换颜色），检验奖励模型是否真正依赖提示关键属性而非背景捷径。

  • 连续-离散混合偏好
    现有只有离散胜负，可收集连续分数 + 细粒度维度评分，验证 UnifiedReward-Flex 在连续回归任务下的校准度与序保持性。

4 应用与系统

  • 实时生成管线
    目前推理耗时比固定打分器高 15 % 左右，可探索：

  • 维度缓存（对相似提示复用维度结构）

  • 蒸馏成小模型（学生网络只学维度生成与胜率头，弃用长链生成）
    实现毫秒级奖励反馈，支撑在线 A/B 或交互式编辑。

  • 跨模态生成统一
    将 UnifiedReward-Flex 扩展到图文交替生成（如故事连环画、图文小说），验证其在长程叙事一致性上的效果。

  • 与其他 RL 目标兼容
    探索与G2RPO、Dense-GRPO、Mix-GRPO等最新目标结合，研究个性化维度奖励对稀疏-密集混合奖励的增益边界。

  • 可编辑反向优化
    利用维度级胜率梯度，实现**“提示-维度”双向编辑**——不仅优化生成器，也反向建议用户如何改写提示以获得更高维度得分，形成人机共创闭环。

5 理论与风险

  • 奖励黑客下界分析
    在维度可动态增加的情况下，理论上是否存在**“维度膨胀”导致新的黑客路径**？需要建立维度复杂度-黑客概率的形式化边界。

  • 公平性与偏见
    动态维度可能放大对特定人种、性别、文化的隐含偏见，可引入公平约束正则项，在 DPO 阶段对维度权重做demographic parity 限制。

综上，UnifiedReward-Flex 开启了“内容自适应奖励”新范式，后续可在维度可学习化、数据多样性、评测因果性、实时化部署与安全性五大方向持续深化，形成更通用、可信、高效的多模态奖励基础设施。

Q: 总结一下论文的主要内容

UnifiedReward-Flex：面向视觉生成的统一个性化奖励模型
一句话总结：用“上下文自适应层次推理”替代“一刀切评估”，为图像/视频生成提供更精准、可解释、可强化学习的奖励信号。

1 核心问题

现有奖励模型

  • 共享单一度或静态 checklist，忽视提示意图与内容差异 → 奖励黑客、偏好失准。
    目标：让奖励评估像人类一样动态选维度、即时增维度、证据驱动决策。

2 方法框架

步骤 关键机制 输出
① 语义-视觉解析 提示意图 + 视觉证据编码 理解“该看什么”
② 层次维度生成 3 个锚定维度 → 实例化细粒度子维度；必要时新增高层维度 动态评估树
③ 成对证据推理 逐子维度打分 → 维度胜者 → 总体胜者 结构化轨迹 + 胜负标签

3 两阶段训练

  1. SFT 推理蒸馏：用 GPT-5.2 生成 90k 图像/视频轨迹，监督学习维度生成与推理。
  2. DPO 偏好对齐：同一输入采样两条轨迹，按“正确性→轨迹质量”构造偏好对，强化既对又好的评估。

4 强化学习接入

  • 采用 Pref-GRPO 框架：
  • 维度级胜率 R(dim) + 总体胜率 R(overall) → 组合优势

A_i = α,A_i^(dim) + (1-α),A_i^(overall)

  • 替代传统标量奖励，抑制黑客，稳定策略更新。

5 实验结果

任务 数据集 主要提升
图像奖励 MMRB2 / GenAI-Bench +3.2 pts 超最强基线
视频奖励 GenAI-Bench-Video / MJ-Bench +2.2 pts
文本→图像 UniGenBench Overall +14.56；复合推理 +21.8
文本→视频 VBench 动态度 58.6→70.8；空间关系 +8.2
消融 w/o DPO / α 调参 DPO 持续+1-2 pts；α=0.7 最优
效率 单步耗时 仅比固定打分器 +8-15 % 可接受

6 贡献回顾

  1. 指出“一刀切”评估缺陷，提出动态层次个性化奖励范式。
  2. 设计可解释、可扩展的上下文自适应推理机制。
  3. 通过 SFT+DPO 两阶段训练，显著提升奖励判别与生成质量。
  4. 在图像/视频 GRPO 中取得一致且大幅的量化与视觉改进，验证实用价值。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yibin Wang,Yuhang Zang,Feng Han,Jiazi Bu,Yujie Zhou,Cheng Jin,Jiaqi Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2602.02380.pdf

Arxiv URL: https://arxiv.org/abs/2602.02380

Arxiv ID: 2602.02380

CoolPaper URL: https://papers.cool/arxiv/2602.02380

Published: 2026-02-02T17:44:21Z

Updated: 2026-02-02T17:44:21.000Z

16. WideSeek: Advancing Wide Research via Multi-Agent Scaling

Search intelligence is evolving from Deep Research to Wide Research, a paradigm essential for retrieving and synthesizing comprehensive information under complex constraints in parallel. However, progress in this field is impeded by the lack of dedicated benchmarks and optimization methodologies for search breadth. To address these challenges, we take a deep dive into Wide Research from two perspectives: Data Pipeline and Agent Optimization. First, we produce WideSeekBench, a General Broad Information Seeking (GBIS) benchmark constructed via a rigorous multi-phase data pipeline to ensure diversity across the target information volume, logical constraints, and domains. Second, we introduce WideSeek, a dynamic hierarchical multi-agent architecture that can autonomously fork parallel sub-agents based on task requirements. Furthermore, we design a unified training framework that linearizes multi-agent trajectories and optimizes the system using end-to-end RL. Experimental results demonstrate the effectiveness of WideSeek and multi-agent RL, highlighting that scaling the number of agents is a promising direction for advancing the Wide Research paradigm.

中文摘要

搜索智能正从深度研究向广泛研究发展，这是一种在复杂约束下并行检索和综合信息的范式。然而，该领域的进展因缺乏专门的基准测试和搜索广度优化方法而受阻。为应对这些挑战，我们从两个角度深入探讨了广泛的研究：数据管道和代理优化。首先，我们开发了WideSeekBench，这是一个通过严谨的多阶段数据流水线构建的通用广泛信息寻址（GBIS）基准测试，确保目标信息量、逻辑约束和领域的多样性。其次，我们介绍了WideSeek，一种动态的分层多智能体架构，可以根据任务需求自主分叉并行子智能体。此外，我们设计了一个统一的训练框架，将多智能体轨迹线性化，并利用端到端强化学习优化系统。实验结果证明了WideSeek和多代理强化学习的有效性，凸显了扩大代理数量是推动广泛研究范式发展的有前景方向。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文致力于解决广度研究（Wide Research）范式中缺乏专门基准测试与系统优化方法的核心问题，具体体现在以下三个维度：

1. 基准测试的局限性

现有信息检索基准（如GAIA、BrowseComp等）主要面向”深度研究”（Deep Research）场景——即通过复杂的多步推理链定位单个难以获取的答案。然而，这些基准在支撑”广度研究”时存在显著不足：

  • 规模与多样性受限：传统基准多由人类专家手工构建，难以覆盖大规模、跨领域的复杂信息检索需求
  • 训练数据缺失：现有基准通常仅提供测试集，缺乏用于模型后训练（post-training）的高质量训练数据
  • 评估维度单一：缺乏针对信息规模（volume）、约束复杂度（constraint complexity）和领域多样性（domain diversity）的多维评估体系

2. 数据合成方法的偏向性

当前搜索代理的数据合成技术主要聚焦于：

  • 路径采样：通过构建复杂图拓扑模拟多步推理路径（如WebWalkerQA、WebDancer等）
  • 深度优化：侧重于增强搜索深度（search depth），即如何逐步逼近单一目标

这些方法缺乏在复杂约束下高效合成大规模原子信息的能力，无法满足广度研究对”搜索宽度”（search breadth）的核心需求——即在庞大搜索空间中进行系统性检索、并行整合多源异构信息。

3. 系统架构与优化瓶颈

现有工作存在两类局限：

  • 静态架构：依赖预定义角色和固定数量的多代理框架（如Kimi Agent-Swarm），难以根据任务复杂度动态调整并行度
  • 优化割裂：或依赖闭源模型作为黑盒执行器，或仅优化单代理的推理深度，缺乏对能够自主扩展搜索路径的动态系统进行端到端优化（end-to-end optimization）的探索

论文的核心贡献

为突破上述瓶颈，论文从两个互补维度展开研究：

数据基础设施层面：构建WideSeekBench——首个面向通用广度信息检索（General Broad Information Seeking, GBIS）的大规模基准测试，采用基于知识图谱（KG）的多阶段数据管道，通过集合运算（交、并、差）构建复杂约束，确保目标实体集与属性集的多样性和可扩展性。

算法架构层面：提出WideSeek——一种动态分层多代理架构，采用”规划器-执行器”（Planner-Executor）模式，允许主代理根据任务需求自主分叉（fork）任意数量的并行子代理，并设计了基于统一轨迹线性化的端到端强化学习训练框架，实现多代理系统的协同优化。

简言之，该论文系统性地解决了广度研究领域中**“无基准可测”与“无方法可优”**的双重困境，推动搜索智能从深度推理向广度并行 orchestration 的范式转变。

Q: 有哪些相关研究？

该论文的相关研究主要分布于搜索代理的数据合成与基于LLM的多代理强化学习两大领域，具体如下：

1. 搜索代理的数据合成（Data Synthesis for Search Agent）

现有研究已逐步从人工标注转向高质量合成数据，以克服规模与多样性瓶颈，但技术路线存在显著偏向性：

基于信息路径的范式
早期工作主要模拟网页导航路径以构建训练数据：

  • WebWalkerQA（Wu et al., 2025b）：构建线性信息链以模拟人类浏览行为
  • WebDancer（Wu et al., 2025a）与WebSailor（Li et al., 2025）：利用外部信息聚合与实体共指网络生成复杂问答对

基于形式化的范式
为增强结构一致性与逻辑严谨性，近期研究引入形式化方法：

  • WebShaper（Tao et al., 2025）：开创性地使用集合论构造（Knowledge Projections）建模信息检索任务，通过复杂图拓扑采样增强多步推理结构

核心局限：上述方法无论基于路径还是形式化，均聚焦于优化搜索深度（search depth），即如何逐步逼近单一答案，而缺乏对搜索宽度（search width）——即在复杂约束下并行检索大规模原子信息的能力——的形式化支持。WideSeek通过基于知识图谱的集合运算（交、并、差）专门填补了这一空白。

2. 基于LLM的多代理强化学习（LLM-based Multi-Agent RL）

该领域经历了从静态架构到协同优化的演进：

静态启发式架构
早期系统依赖预定义角色与固定工作流，缺乏针对特定协作任务的参数级优化：

  • ChatDev（Qian et al., 2024）：面向软件开发的通信代理框架
  • MetaGPT（Hong et al., 2023）：基于元编程的多代理协作框架

协同多代理RL
近期研究转向通过强化学习实现有效协调：

  • MAGRPO（Liu et al., 2025）：提出多代理组相对策略优化（Multi-Agent Group Relative Policy Optimization），针对写作与编程任务微调多个LLM，从个体奖励转向集体效率优化
  • OWL（Hu et al., 2025）：利用RL优化领域无关的规划器（planner），但将执行器（executors）解耦为黑盒模块以保持可迁移性
  • MGRPO（Hong et al., 2025）与Fold-GRPO（Sun et al., 2025）：采用分支-返回（branch-return）范式，但通常每步仅分叉固定数量（如1个）的子代理执行子任务

工业界实践

  • Kimi K2.5 Agent Swarm（Moonshot AI, 2026）：通过优化编排器（orchestrator）实现高性能，但将子代理视为静态参数，限制了对规划器与执行器交互粒度的精细化优化

与WideSeek的差异：现有工作或专注于通用协作（MAGRPO），或解耦规划与执行（OWL），或限制子代理数量固定（MGRPO/Fold-GRPO），或仅优化编排器而冻结执行器（Kimi 2.5）。WideSeek提出端到端优化框架，使主代理（规划器）与动态实例化的子代理（执行器）能够协同进化，自主决定并行搜索路径的广度，以适应工业级广度研究需求。

Q: 论文如何解决这个问题？

论文通过数据基础设施构建与算法架构创新两个互补维度系统性地解决了上述挑战：

1. 构建专用基准测试与数据管道（WideSeekBench）

针对现有基准规模有限、缺乏训练数据、偏重深度研究的问题，论文设计了基于知识图谱（KG）的多阶段数据合成管道：

阶段一：种子约束构造
从18个高层领域（如教育、体育、太空）递归采样子领域，通过SPARQL查询从Wikidata提取种子实体及其关系三元组，构建原子约束池 C(atom)^((e(seed))) = (p, v) ，确保领域覆盖的广度和深度。

阶段二：逻辑组合与模式扩展
运用集合运算符 O = land, lor, neg 递归构建复合过滤函数：
Phi(e) := c(e) mid negPhi(e) mid Phi1(e) land Phi_2(e) mid Phi_1(e) lor Phi_2(e)
通过在KG上执行 Phi 获取目标实体集 E^ ，并基于实体覆盖率和值多样性动态选择属性集 A ⊂ ∪(e ∈ E^) Attributes(e) ，从而生成规模可控（8至8192个单元格）的地面真值表 T^* 。

阶段三：代理任务合成
采用生成器-验证器（Generator-Verifier）架构，将逻辑约束 Phi 转化为自然语言查询 Q ，并通过LLM提取回逻辑 Phi 进行一致性校验，确保查询语义与复杂约束的等价性。同时为每列属性生成自适应评估标准（rubric），支持对实体别名、日期格式、数值容差等语义变体的柔性匹配。

阶段四：多级过滤
结合规则过滤（网页 grounding 验证、稀疏性检查）、LLM评估（人工相似度、可解性、常识一致性等五维评分）与人工校验，最终构建包含5,156个任务的WideSeekBench（训练集4,436个，测试集720个），并严格控制测试集在信息规模（10个区间）、约束复杂度（7种逻辑模式）、领域多样性（18个领域）上的平衡分布。

2. 设计动态多代理架构与端到端优化（WideSeek）

针对静态架构和优化割裂问题，论文提出动态分层多代理系统及配套训练框架：

动态层级式执行模型
系统采用规划器-执行器（Planner-Executor）模式，主代理（Main Agent）作为规划器维护全局状态 st^(main) ，通过策略 πθ 在每一步选择动作 at^(main) ∈ A(planning) ∪ A(termination) 。区别于预定义子代理数量的静态框架，主代理可通过动作 create_sub_agent(q(sub)^((1)), dots, q_(sub)^((k))) 动态实例化任意数量 k 的子代理，其中 k 由策略根据任务复杂度自主决定而非人工设定的超参数。

每个子代理 j 在独立的局部MDP中执行原子检索工具（搜索、打开页面），生成轨迹 T_(sub)^((t,j)) = (s_0^(t,j), a_0^(t,j)), dots, (s_L^(t,j), r^(t,j)) ，完成后返回文本子结果更新全局状态。

统一轨迹线性化与端到端RL
为训练该动态系统，论文提出统一多代理强化学习框架：

将层级执行图（动态树结构）线性化为单一序列。全局统一轨迹 T 通过交错主代理步骤与对应时刻分叉的所有子代理轨迹构成：
T = (s0^(main), a_0^(main)), oplus(j=1)^(K0) T(sub)^((0,j)), dots, (st^(main), a_t^(main)), oplus(j=1)^(Kt) T(sub)^((t,j)), dots, (s_T^(main), Y)

基于该统一表示，采用Group Relative Policy Optimization (GRPO) 进行端到端优化。奖励函数综合信息检索正确性与工具使用规范性：
R(T) = Item-F1(T(ans), T^*) - λ · I[n(err)N(max)]
其中 Item-F1 评估单元格级检索精度，第二项为格式惩罚（ n(err) 为格式错误次数， N_(max) 为最大容差）。

GRPO目标函数在组内归一化优势估计：
J(θ) = E(Q sim D), {T^g sim π(θold)} [ (1) / (G) ∑(g=1)^G (1) / (|mathcalT)^g| ∑(u=1)^(|T)^g| (1) / (|a(u,k)|) ∑(k=1)^(|a(u,k)|) min( rho(g,u,k) A_g, clip(rho(g,u,k), 1-ε, 1+ε) Ag ) ]
其中 rho(g,u,k) = πθ(a(u,k)|su, a(u,<k)){π(θ_old)(a(u,k)|su, a(u,<k))} ，组相对优势 A_g = R(T^g) - μ_Rσ_R 。

冷启动策略
为克服稀疏奖励问题，先通过监督微调（SFT）蒸馏高质量教师轨迹（筛选Item-F1 > 0.6的轨迹），再进行RL优化，实现从模仿学习到自主探索的平滑过渡。

通过上述设计，WideSeek实现了：

  • 可扩展的并行检索：子代理数量与工具调用次数随任务复杂度动态增长（实验显示RL训练后工具调用增长28.82倍，子代理数量增长6.36倍）
  • 端到端的能力涌现：无需预定义工作流，系统自主学会在信息密集场景（
    2048, 4096
    单元格区间）增加搜索力度，而非过早终止（avoiding “early stopping” bias from teacher models）

Q: 论文做了哪些实验？

论文在**第4节（Experiment）和第5节（Analysis）**中开展了系统性实验，涵盖主性能评估、跨范式泛化、多维度能力分析与定性案例研究四个层面：

1. 主性能评估（WideSeekBench）

在提出的WideSeekBench测试集（720个任务）上，对比了专有模型、开源基线与WideSeek优化变体，每项任务运行4次（Pass@4/Mean@4/Max@4）：

评估对象：

  • 专有模型：GPT-5.2、GPT-5.1、DeepSeek-v3.2、Kimi-K2-Thinking、Seed-1.8
  • 开源基线：Qwen3-8B-Thinking、Qwen3-30B-A3B-Thinking
  • WideSeek系列（基于Qwen3-8B）：
  • WideSeek-8B-RL（仅RL训练）
  • WideSeek-8B-SFT（仅SFT冷启动）
  • WideSeek-8B-SFT-RL（SFT+RL完整训练）

关键发现：

  • 性能差距：当前最优专有模型（GPT-5.2）的Mean@4 Item-F1仅为21.03%，表明广度研究仍是重大挑战
  • 扩展性行为：专有模型自发产生更多子代理（DeepSeek-v3.2平均31.25个）和工具调用（GPT-5.2平均408次），但缺乏有效协调；WideSeek-8B-SFT-RL通过优化实现工具调用28.82倍增长、子代理数量6.36倍增长，Item-F1提升5.50个百分点（从7.37%到12.87%）
  • Max@4指标：SFT+RL模型在Max@4上达到3.88%（相对基线+2.37%），验证多代理扩展的潜力

2. 跨范式泛化实验（BrowseComp-Plus）

验证WideSeek在**深度研究（Deep Research）**任务上的迁移能力，在BrowseComp-Plus基准（需深度浏览的复杂问答）上测试：

模型 架构 准确率
Gemini-2.5-Pro ReAct 29.52%
WideSeek-8B-RL WideSeek 26.42%
WideSeek-8B-SFT WideSeek 23.61%
Qwen3-30B-A3B WideSeek 14.82%
Qwen3-32B ReAct 10.72%

结论：即使仅在广度研究数据上训练，WideSeek-8B-RL仍达到26.42%准确率（+12.20%相对基线），超越参数量大4倍的Qwen3-32B，证明动态多代理架构对深度研究同样有效。

3. 多维度能力分析（Section 5 Analysis）

利用WideSeekBench的多维标签，开展细粒度性能解剖：

(1) 目标信息规模（Volume of Target Information）

按地面真值表单元格数量将任务分为10个区间（
4,16
至
2048,4096
）：

  • 低容量区间（
    4,128
    ）：各模型性能差距较小，检索负载可控
  • 高容量区间（
    128,4096
    ）：性能随规模显著下降，但WideSeek-8B-SFT-RL始终保持最优
  • 极端规模现象：在
    2048,4096
    区间，SFT模型出现”早停”（early stopping）——工具调用反而下降，源于教师模型（前沿LLM）的拒绝倾向；而WideSeek-8B-RL（无SFT初始化）工具调用随信息规模正增长，证明其自主学会了”数据越密集，搜索越积极”的策略

(2) 约束复杂度（Constraint Type）

按7种逻辑模式（AND、OR、NOT、AND OR、AND NOT、OR NOT、AND OR NOT）分类评估：

  • OR约束：性能最高，因其天然适配并行执行（易分解为独立子代理）
  • NOT约束：性能最低，集合差运算（排除特定实体集）构成显著推理瓶颈
  • 复合否定（如OR NOT）：性能进一步显著下降，揭示当前代理处理否定逻辑的局限性

(3) 领域多样性（Domain）

在18个领域（教育、影视、体育、太空等）上验证：

  • 优化策略** universally有效**：WideSeek-8B-SFT-RL > WideSeek-8B-SFT > WideSeek-8B-RL 的层级在所有领域保持一致
  • 领域敏感性：基础设施（Infrastructure）领域性能显著高于教育学术（Education & Academia），可能与知识结构化程度有关

4. 训练动态与案例研究

训练动态（Appendix B.2）：

  • 绘制了WideSeek-8B-RL的奖励曲线与工具调用次数随训练步数的变化，显示两者呈强正相关，证实模型通过RL自主发现”增加搜索广度可提升奖励”的最优策略

定性案例研究（Appendix B.4）：

  • 对比了4个模型（Qwen3-30B-A3B-Thinking、WideSeek-8B-SFT-RL、WideSeek-8B-SFT、WideSeek-8B-RL）在相同复杂查询（检索同时获得奥斯卡最佳音效提名和国家评论协会十佳影片、且排除特定演职人员的电影）上的完整轨迹
  • 可视化显示：基线模型倾向于单代理串行处理，而WideSeek-8B-RL通过6轮主代理-子代理交互，动态分叉14个子代理并行检索不同影片的21项属性，最终生成完整表格

实验环境细节

  • 模拟环境：基于2025年Wikipedia快照构建本地语料库与搜索引擎，使用Qwen3-0.6B-Embedding进行文档检索
  • 评估指标：Success Rate（严格匹配）、Row F1（行级召回与精确率）、Item F1（单元格级F1，作为主要优化目标）
  • 训练基础设施：64张H100 GPU，使用VERL与AgentLightning框架，GRPO训练80步（超参数见Appendix B.3）

Q: 有什么可以进一步探索的点？

基于论文的技术贡献与实验发现，以下从架构演进、算法深化、环境扩展、评估完善及实际部署五个维度提出可进一步探索的研究方向：

1. 架构演进：从同质化到异构协作

当前WideSeek的主代理与子代理共享统一策略 π_θ ，虽简化了优化，但限制了专业化分工：

  • 异构代理专业化：可探索为子代理分配特定角色（如”实体发现代理”、”属性验证代理”、”冲突消解代理”），通过不同初始化或模块化子网络实现功能分化，而非仅依赖上下文提示
  • 子代理间横向通信：当前架构为星型拓扑（主代理-子代理），可引入子代理间的轻量级通信机制（如共享记忆池或消息传递），支持交叉验证与信息去重，减少主代理的协调负担
  • 显式资源分配决策：将子代理数量 k 的决策从隐式策略输出转变为显式的元认知模块，结合任务复杂度估计（如约束嵌套深度 |Phi| ）动态计算最优并行度，实现计算资源的自适应配置

2. 算法深化：突破约束推理与训练范式

实验揭示的NOT约束性能瓶颈与早期停止现象暗示算法层面的改进空间：

  • 否定逻辑专项优化：针对集合差运算（ neg ）引入显式的反例验证机制，如强制子代理在返回结果前执行”不存在性证明”（即验证被排除实体确实不在候选集中），而非仅依赖关键词匹配
  • 分层强化学习（Hierarchical RL）：将主代理的规划动作（任务分解）与子代理的执行动作（工具调用）分离为不同时间尺度的策略，采用Option框架或FeUdal Networks处理极端长程依赖（当子代理执行数十步后，主代理需保持全局一致性）
  • 无冷启动RL探索：论文中WideSeek-8B-RL（无SFT初始化）已展现独特优势（无教师模型偏见），可深入探索基于课程学习（Curriculum Learning）的纯RL训练，从简单约束（AND）逐步过渡到复杂嵌套约束（AND OR NOT）

3. 环境扩展：从结构化知识到开放网络

WideSeekBench基于Wikidata构建，虽保证质量但简化了真实环境的噪声与动态性：

  • 非结构化网页广度研究：将动态多代理架构迁移至真实搜索引擎环境（如Common Crawl），处理HTML解析错误、信息冲突、过时网页等真实噪声，需引入鲁棒性工具使用（如自动重试、源可信度评估）
  • 多模态信息整合：扩展至表格、图表、图像的联合检索（如”查找所有2024年QS排名前100的中国大学，并提取其校徽主色调”），需为子代理配备视觉工具并设计跨模态对齐机制
  • 实时与动态信息：当前基于静态KG快照，可引入时间维度处理实时数据（如股票、新闻），要求代理具备增量更新与缓存失效策略，避免重复检索未变更信息

4. 评估与可靠性：可解释性与鲁棒性

  • 决策归因分析：开发工具解释主代理为何在特定步骤分叉 k 个子代理（如通过注意力可视化或策略梯度归因），验证其决策与任务复杂度是否匹配，避免”过度并行”（fork过多导致协调成本>收益）
  • 对抗性鲁棒性：在WideSeekBench中注入故意误导性信息（如虚假网页、矛盾约束），测试代理在信息冲突场景下的交叉验证能力，当前评估假设所有源信息一致正确
  • 成本-效用权衡评估：当前指标仅关注F1分数，实际部署需考虑API调用成本（每次搜索/open_page的货币成本），可引入带预算约束的Pareto前沿分析，优化”单位美元的信息增益”

5. 实际部署：人机协作与领域适配

  • 人在回路中的广度研究：允许人类用户在执行过程中干预子代理分配（如”为这个子任务增加更多代理”或”合并这两个子结果”），研究如何通过少量人类反馈（HF）快速调整多agent协调策略
  • 领域特定蒸馏：将WideSeek-8B-SFT-RL的能力蒸馏至更小模型（如1.5B-4B），针对垂直领域（如生物医药、法律判例）构建专用广度研究代理，平衡通用性与效率
  • 与Deep Research的融合架构：探索”广度-深度自适应切换”机制，代理根据查询特征（如实体数量估计 |E^| ）自动选择：当 |E^|>100 时启用WideSeek并行模式，当 |E^*|=1 且需多步推理时切换为单代理Deep Research模式

最具潜力的切入点：基于论文发现NOT约束是显著瓶颈这一实证结果，可优先开展**“带否定逻辑的神经符号广度研究”**，结合神经检索与符号验证（如显式维护已排除实体集合并动态校验），这可能成为突破当前性能天花板的关键路径。

Q: 总结一下论文的主要内容

该论文针对**广度研究（Wide Research）**这一新兴范式，系统性地解决了缺乏专用基准测试与端到端优化方法的关键瓶颈，主要贡献如下：

1. 问题背景与定义

论文指出，搜索智能正从深度研究（Deep Research）——即通过多步推理链定位单一信息——转向广度研究（Wide Research），后者要求在复杂约束下并行检索、整合大规模结构化信息（如生成竞争对手分析表）。现有基准多聚焦单点深度推理，缺乏对并行广度检索能力的评估与训练支持。

2. WideSeekBench：通用广度信息检索基准

  • 任务形式化：定义**通用广度信息检索（GBIS）*任务，要求代理根据复杂语义约束 Phi （由交、并、差等集合运算构成）从知识空间检索目标实体集 E^ ，并填充属性表 T^* 。
  • 数据管道：基于Wikidata构建多阶段合成流程：
  • 从18个领域采样种子实体，通过逻辑组合（AND/OR/NOT）构建7类复杂约束；
  • 经LLM生成自然语言查询与列级评估标准，再经规则过滤、LLM质检与人工校验；
  • 最终构建含5,156个任务的基准（训练集4,436，测试集720），严格平衡信息规模（8-8,192单元格）、约束复杂度与领域多样性。

3. WideSeek：动态多代理架构与端到端优化

  • 动态层级架构：采用规划器-执行器（Planner-Executor）模式，主代理（Main Agent）可基于任务需求自主决定分叉数量 k ，动态实例化并行子代理（Sub-Agents）执行原子检索，而非依赖预定义固定数量。
  • 统一轨迹线性化：将层级执行树（主代理步骤交错子代理轨迹）线性化为统一序列 T ，使多代理交互可视为单一生成过程。
  • 端到端强化学习：基于GRPO（Group Relative Policy Optimization）优化共享策略 π_θ ，奖励函数结合Item-F1（单元格级检索精度）与格式惩罚，实现主代理规划能力与各子代理执行能力的协同进化。

4. 实验发现

  • 主实验：在WideSeekBench上，WideSeek-8B-SFT-RL（SFT+RL）相比基线Qwen3-8B-Thinking，Item-F1提升5.50个百分点（7.37%→12.87%），工具调用次数增长28.82倍，子代理数量增长6.36倍，验证了扩展代理规模的有效性。
  • 泛化能力：在深度研究基准BrowseComp-Plus上，WideSeek-8B-RL达到26.42%准确率（+12.20%相对基线），证明架构跨范式迁移能力。
  • 关键洞察：
  • 随着目标信息规模增大（尤其>128单元格），性能显著下降，但RL训练使模型学会随数据密度增加而扩展搜索力度；
  • NOT约束（集合差）是当前最大瓶颈，OR约束因天然适配并行而表现最佳；
  • 专有模型（如GPT-5.2）虽自发产生大量工具调用，但缺乏有效协调，凸显专门优化的必要性。

5. 结论

论文通过WideSeekBench填补了广度研究领域的基准空白，并通过WideSeek证明了动态多代理扩展与端到端强化学习是提升复杂并行检索能力的有效路径，为工业级AI部署中的大规模信息合成提供了新范式。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ziyang Huang,Haolin Ren,Xiaowei Yuan,Jiawei Wang,Zhongtao Jiang,Kun Xu,Shizhu He,Jun Zhao,Kang Liu

Categories: cs.CL,cs.AI,cs.IR

PDF URL: https://arxiv.org/pdf/2602.02636.pdf

Arxiv URL: https://arxiv.org/abs/2602.02636

Arxiv ID: 2602.02636

CoolPaper URL: https://papers.cool/arxiv/2602.02636

Published: 2026-02-02T18:32:48Z

Updated: 2026-02-02T18:32:48.000Z

17. Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

Reinforcement Learning with Verifiable Rewards (RLVR) has advanced LLM reasoning, but remains constrained by inefficient exploration under limited rollout budgets, leading to low sampling success and unstable training in complex tasks. We find that many exploration failures arise not from problem difficulty, but from a small number of prompt tokens that introduce interference. Building on this insight, we propose the Less Noise Sampling Framework (LENS), which first prompts by identifying and removing interference tokens. then transfers successful rollouts from the purification process to supervise policy optimization on the original noisy prompts, enabling the model to learn to ignore interference in the real-world, noisy prompting settings. Experimental results show that LENS significantly outperforms GRPO, delivering higher performance and faster convergence, with a 3.88% average gain and over 1.6$\times$ speedup. Our work highlights the critical role of pruning interference tokens in improving rollout efficiency, offering a new perspective for RLVR research.

中文摘要

可验证奖励的强化学习（RLVR）在提升大语言模型推理能力方面取得了进展，但在有限的 rollout 预算下，探索效率低下的问题仍然存在，导致复杂任务中采样成功率低且训练不稳定。我们发现，许多探索失败并非由于问题本身困难，而是由少量引入干扰的提示 token 导致的。基于这一洞察，我们提出了低噪采样框架（LENS），该框架首先通过识别并移除干扰 token 来进行提示，然后将净化过程中的成功 rollout 转移用于监督原始噪声提示的策略优化，使模型能够在现实世界的噪声提示环境中学会忽略干扰。实验结果表明，LENS 明显优于 GRPO，提供更高性能和更快收敛速度，平均提升 3.88%，速度提高超过 1.6 倍。我们的工作强调了修剪干扰 token 在提高 rollout 效率方面的关键作用，为 RLVR 研究提供了新的视角。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文针对强化学习与可验证奖励（RLVR）在提升大模型推理能力时面临的“低效探索”问题：在复杂数学推理任务中，正确轨迹极其稀疏，导致训练信号不足、收敛缓慢甚至崩溃。作者发现，大量失败轨迹并非因题目本身困难，而是由于提示语中少量（<5%）“干扰 token”放大了噪声，使模型难以采样到正确解。为此，提出 Less Noise Sampling Framework（LENS），通过两步策略：

  1. 在线识别并剪枝这些干扰 token，得到“去噪提示语”，显著提高采样成功率；
  2. 把去噪提示语下生成的正确轨迹作为高奖励监督，校准原始含噪提示语上的策略优化，使模型学会在真实含噪环境中主动忽略干扰。

实验表明，LENS 在 7 个数学基准上平均提升 3.88%，收敛速度提升 1.6 倍以上，且计算预算不增加，从而在不扩大 rollout 的前提下显著改善 RLVR 的探索效率与稳定性。

Q: 有哪些相关研究？

相关研究可归纳为以下四条主线，均围绕“如何在 RLVR 场景下缓解稀疏奖励、提高采样效率”展开：

  1. rollout 规模扩展
  • GRPO-extended / Reinforce-ada / Depth-breadth synergy 等通过动态加倍 rollout 数或按难度分配采样预算，以增加正样本出现概率。
  • 缺点：计算量随 rollout 线性增长，并未改善“单条轨迹信噪比”。
  1. 零方差 prompt 过滤
  • DAPO、GRESO、Act-only-when-it-pays 在训练前/后检测“始终无法得正奖励”的 prompt 并丢弃，防止梯度消失。
  • 缺点：直接放弃困难样本，模型无法从挑战题中学习，能力边界收缩。
  1. 奖励函数与优势估计改进
  • VAPO、Entropy-guided advantage shaping、No-prompt-left-behind 通过熵正则、组内 baseline 校正或优势重标定，避免“同一组全对/全错”导致的零梯度。
  • 仍假设 prompt 本身无噪声，未处理输入端的干扰 token。
  1. 细粒度信用分配（credit assignment）
  • VinePPO、Token-level PMR、Attention-based credit 等方法在生成序列内定位关键决策 token，改善奖励信号传播。
  • 仅关注输出端，未逆向分析“输入提示语中哪些 token 误导模型”。

LENS 与上述工作的区别在于：

  • 首次把“输入端干扰 token”作为 rollout 失败的主因，提出在线识别-剪枝-迁移的三段式框架；
  • 不增加 rollout 数量、不丢弃困难样本，也不修改奖励函数，而是直接提升单条轨迹的信噪比，从而与 1-3 类方法正交互补。

Q: 论文如何解决这个问题？

论文提出 Less Noise Sampling Framework (LENS)，通过“先提纯、再迁移”的两段式在线 rollout 机制，在不增加采样预算的前提下，让模型自己学会忽略提示语中的干扰 token。核心流程如下：

1. 干扰 token 在线识别与提纯

  • 定义干扰分数
    对提示语中的每个 token t，计算

SI(t)=|logπθ(t|s)-logπ_(ref)(t|s)|

分数越高，说明当前策略与参考策略在该 token 上偏离越大，越可能引入噪声。

  • Top-k 剪枝
    按 S_I 降序选取最多 γ|x_i| 个 token（ γ =1%–5%）构成干扰集合 I_i ，得到去噪提示语

x’_i = x_i setminus I_i

  • 即时重采样
    用同一策略 π_θ 对 x’_i 再 rollout m 次，获得成功率 acc(x’_i) 。仅当

acc(x’_i) > acc(x_i)

时才保留提纯后的成功轨迹，防止“剪错”。

2. 校准 rollout 策略优化（CRPO）

  • 构造混合批次
    将原始提示语下的失败轨迹 Y^-_i 等量替换为 x’_i 下的成功轨迹 P_i ，得到新批次

G_i = Y^+_i ∪ (Y^-_isetminus R_i) ∪ P_i

  • 重要性加权
    对每条轨迹 y 赋予权重

tilde w(y)= bar a_i & y∈ Y^+_i 1-bar a_i & y∈ P_i ∪ (Y^-_isetminus R_i)

并在原始提示语 x_i 上计算重要性比率

rho(y;θ)=(πθ(y|x_i)) / (π(textold))(y|x_(roll)(y))

其中 x_(roll)(y)∈x_i,x’_i 为实际采样时用的提示语。

  • PPO 式目标
    用加权优势

hat A(y)=r(y)-mathbb E_(w)[r]σ_w(G_i)

优化带 KL 惩罚的裁剪目标

mathcal L(θ)=-∑(y∈ G_i)tilde w(y)min!l(rhohat A,,CLIP(rho,1!-!ε,1!+!ε)hat Ar)+β D(KL)(πθ|π(ref))

3. 效果

  • 模型在“含噪”提示语上更新参数，却用“提纯”后高奖励轨迹做监督，从而学会主动抑制干扰 token 的影响。
  • 整个流程只在成功率低于阈值 τ 时触发，额外计算仅 1.27×–1.62×，但平均带来 3.88% 绝对精度提升与 1.6× 收敛加速，且无需增加 rollout 数量或训练轮数。

Q: 论文做了哪些实验？

论文在 7 个数学推理基准、5 个模型、共 35 组主实验上系统验证 LENS 的有效性，并辅以 5 类深入分析实验。所有实验均严格保持 rollout 数=8、训练轮数不变，仅对比“同样预算下”的方法差异。

1. 主实验：7 基准 × 5 模型

基准 难度 规模
MATH-500 中 500 题
Minerva 高 纯竞赛
OlympiadBench 高 中英双语奥赛
GaokaoEN-2023 中 高考英文数学
AMC23 / AIME24 / AIME25 高 美国邀请系列
模型 参数量 系列
Llama-3.2-3B-Instruct 3B Llama
Qwen2.5-3B / 7B 3B / 7B Qwen2.5
Qwen3-4B-Base / 8B-Base 4B / 8B Qwen3

对比方法

  • GRPO（baseline）
  • GRPOextended（rollout 翻倍至 16）
  • DAPO / DAPOextended（后过滤 + 训练 2× 轮数）
  • GRESO / GRESOextended（前过滤 + 训练 2× 轮数）

指标

  • Pass@1（单样本）
  • Average@16（16 样本平均）
  • 整体平均（7 基准均值）

结果
LENS 在所有 35 组设置中 31 组取得第一，其余 4 组第二；相比 GRPO 平均提升 3.88%，相比“rollout 翻倍”或“训练 2× 轮数”的最佳基线仍有显著优势（表 1、表 3）。

2. 训练动态分析

  • 将 300 个梯度步划分为早/中/晚三阶段，统计各阶段 rollout 成功率分布。
  • LENS 把“零成功”样本比例从 44%→36%→35% 持续压低，同时把“高成功”区间比例由 6%→11%→20% 放大（图 5）。
  • 训练曲线平滑无震荡，验证提纯过程持续提供有效信号（图 4、图 8）。

3. 效率分析

  • 记录达到 GRPO 历史最高精度所需的梯度步数。
  • LENS 在 MATH-500 上 1.67× 速度、OlympiadBench 上 1.64× 速度完成同等精度（图 6）。

4. 超参敏感性

  • 剪枝比例 γ：1%–5% 扫描。
    – 全区间均优于 GRPO；
    – 小模型（3B）需较大 γ（≈4%），大模型（7B）最优 γ≈2%，证实弱模型更易受干扰（图 7）。
  • 成功率阈值 τ：{0.125, 0.25, 0.375, 0.5}。
    – τ=0.5 在整体平均上最佳，τ=0.125 对 AMC/AIME 等极难题略好（表 4）。

5. 消融与替换策略

  • Resampling：失败时额外再采 8 条轨迹替代。
  • Random Pruning：随机删同等比例 token。
  • Gradient-based Pruning：删梯度范数最小 token。
    同设定下 LENS 在 7 个基准全部领先，验证“基于 πθ−πref 偏差”的干扰定义更具针对性（表 6）。

6. 计算开销实测

8×A800 集群实测单步时间：

  • GRPO 8-rollout 为 1.0×；
  • GRPO 16-rollout 为 1.48×–1.79×；
  • LENS 8-rollout 为 1.27×–1.62×，低于“暴力翻倍” yet 带来 2–3% 绝对精度增益（表 5）。

7. 训练曲线辅助指标

同步记录训练奖励、策略熵、平均输出长度：

  • LENS 奖励上升更平稳，熵值下降更快，表明模型更早进入“低不确定、高自信”状态；
  • 输出长度提前 50–80 步达到峰值，对应“aha 时刻”更早出现（图 8）。

综上，实验从“最终精度、样本效率、收敛速度、超参鲁棒性、计算成本、训练行为”六个维度一致表明：在严格不增加 rollout 预算的前提下，LENS 能持续、稳定地提升 RLVR 的推理表现。

Q: 有什么可以进一步探索的点？

以下方向可在此基础上继续深入，分为“理论-算法-系统-应用”四个层面：

理论层面

  1. 干扰 token 的数学定义与最优剪枝比例
  • 当前用 |logπθ-logπ(ref)| 为启发式，能否给出“导致价值函数偏差最大化”的严格形式？
  • 对固定任务与模型容量，是否存在 γ^* 的理论表达式？
  1. 一般化奖励场景下的扩展
  • 论文实验集中在二元奖励；对于多维、连续或延迟奖励，干扰分数需如何修正？
  • 是否需要将 S_I 从 token 级提升到 span/语义片段级？

算法层面

  1. 与主流 RLVR 变体的正交组合
  • LENS 仅嵌入 GRPO，可无缝接入 PPO-/Reject-/REINFORCE-/R1-ZeRO 系列；需验证是否仍能带来稳定增益。
  • 结合动态 rollout 分配（AdaSampling、DB-RLVR）（Yang et al. 2025b），在“何时提纯”与“何时多采”之间做联合决策。
  1. 在线干扰词典学习与记忆机制
  • 维护跨样本的“高频干扰 token”词典，减少每步重复计算；
  • 引入记忆向量或 prompt-cache，让模型在后续对话中自动屏蔽曾导致失败的 token。
  1. 双向干扰检测
  • 当前仅剪输入端；输出端亦可能存在“自干扰”循环（重复、自相矛盾）。可联合输出生成过程中的熵/注意力突变信号，实现输入-输出同步提纯。

系统层面

  1. 更大规模模型的可扩展性
  • 论文最大 8B，需验证 32B/70B 场景下 γ 、 τ 的迁移规律；
  • 大模型通常对扰动更鲁棒，剪枝带来的相对收益是否递减？抑或因更高基线反而放大绝对增益？
  1. 推理阶段零成本迁移
  • 训练后能否把“干扰词典”直接固化到 prompt 模板或系统消息，实现推理期无额外 forward 的即插即用？
  • 与 KV-cache、投机解码结合，评估延迟开销。

应用与评测

  1. 多语言、多领域验证
  • 数学任务形式规范、奖励易验证；换到代码生成（HumanEval+/MBPP+）、科学问答（SciBench）、法律推理（LexGLUE）等文本更长、噪声更多样的场景，检验通用性。
  1. 人类偏好对齐场景
  • 将 LENS 从“可验证奖励”迁移到“人类反馈奖励模型”环境，需解决 RM 本身对干扰 token 敏感的问题，避免“奖励黑客”被进一步放大。
  1. 交互式/多轮推理
  • 在多轮对话或工具调用（function-calling）链路中，历史上下文可能累积干扰；扩展为“多轮干扰追踪”与动态上下文压缩。

小结

最优先可做的三项：

  1. 在 32B-70B 模型上复现并公开 γ-τ 映射表；
  2. 与 REINFORCE-ada、DB-RLVR 做正交组合实验，验证是否叠加增益；
  3. 将干扰检测封装为 0-overhead 推理插件，在代码生成任务上评估延迟-精度权衡。

Q: 总结一下论文的主要内容

Less Noise, More Voice 提出 LENS 框架，解决 RLVR 在复杂数学推理中因“干扰 token”导致探索低效、正样本稀缺的问题。核心发现与做法如下：

  1. 失败主因：约 5% 的提示语 token 使策略大幅偏离参考分布，引入噪声，而非题目本身困难。
  2. 两步框架：
    ① 在线计算 token 级干扰分数 SI=|logπθ-logπ_(ref)| ，剪除 Top-γ% 高干扰 token，得到高成功率“去噪提示语”；
    ② 用去噪提示语下的正确轨迹替换原始提示语中的失败轨迹，通过重要性加权 PPO 目标对原提示语做策略更新，使模型学会在含噪环境中主动忽略干扰。
  3. 实验结果：在 7 个数学基准、5 个模型（≤8B）上，LENS 平均提升 3.88%，收敛速度提高 1.6 倍以上，计算预算不增加，显著优于 GRPO、rollout 翻倍及零方差过滤等基线。

工作首次将“输入端干扰 token 剪枝”引入 RLVR，验证了“提纯-迁移”可同步提升样本效率与最终精度，为稀疏奖励场景下的高效探索提供了新视角。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yiju Guo,Tianyi Hu,Zexu Sun,Yankai Lin

Categories: cs.LG,cs.AI,cs.CL

PDF URL: https://arxiv.org/pdf/2601.21244.pdf

Arxiv URL: https://arxiv.org/abs/2601.21244

Arxiv ID: 2601.21244

CoolPaper URL: https://papers.cool/arxiv/2601.21244

Published: 2026-01-29T04:08:24Z

Updated: 2026-01-29T04:08:24.000Z

18. Neural Predictor-Corrector: Solving Homotopy Problems with Reinforcement Learning

The Homotopy paradigm, a general principle for solving challenging problems, appears across diverse domains such as robust optimization, global optimization, polynomial root-finding, and sampling. Practical solvers for these problems typically follow a predictor-corrector (PC) structure, but rely on hand-crafted heuristics for step sizes and iteration termination, which are often suboptimal and task-specific. To address this, we unify these problems under a single framework, which enables the design of a general neural solver. Building on this unified view, we propose Neural Predictor-Corrector (NPC), which replaces hand-crafted heuristics with automatically learned policies. NPC formulates policy selection as a sequential decision-making problem and leverages reinforcement learning to automatically discover efficient strategies. To further enhance generalization, we introduce an amortized training mechanism, enabling one-time offline training for a class of problems and efficient online inference on new instances. Experiments on four representative homotopy problems demonstrate that our method generalizes effectively to unseen instances. It consistently outperforms classical and specialized baselines in efficiency while demonstrating superior stability across tasks, highlighting the value of unifying homotopy methods into a single neural framework.

中文摘要

同伦范式作为解决复杂问题的通用原则，出现在诸如鲁棒优化、全局优化、多项式根求解和采样等各类领域。这些问题的实际求解器通常遵循预测-校正（PC）结构，但在步长选择和迭代终止上依赖人工设计的启发式方法，这些方法通常是次优的且具有任务特定性。为了解决这一问题，我们将这些问题统一到一个框架下，从而使设计通用神经求解器成为可能。在这一统一视角的基础上，我们提出了神经预测-校正器（NPC），用自动学习的策略取代手工设计的启发式方法。NPC将策略选择表述为一个序列决策问题，并利用强化学习自动发现高效策略。为了进一步增强泛化能力，我们引入了摊销训练机制，使得可以对一类问题进行一次离线训练，并在新实例上高效进行在线推理。在四个代表性的同伦问题上的实验表明，我们的方法能够有效泛化到未见过的实例。在效率上，它始终优于经典和专用的基线方法，同时在各任务中表现出更优的稳定性，凸显了将同伦方法统一到单一神经框架下的价值。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决同伦（Homotopy）问题求解器中手工设计启发式规则的局限性问题。

具体而言，现有挑战包括：

  • 次优且任务特定的启发式规则：传统预测-校正（Predictor-Corrector, PC）求解器依赖手工设计的步长调度和迭代终止准则，这些规则通常是次优的，且需要针对每个特定任务进行调整，难以适应不同问题实例的几何特性（如解轨迹的平滑或急剧变化）。

  • 领域间方法孤立：尽管同伦范式普遍存在于鲁棒优化、全局优化、多项式求根和采样等多个领域，但各领域的方法长期独立发展，缺乏统一框架，导致无法设计通用的求解策略，而需要为每个问题单独设计解决方案。

  • 泛化能力不足：现有方法通常需要针对每个问题实例进行微调或专门训练，无法实现跨实例的一次性训练与高效部署。

为解决上述问题，论文提出Neural Predictor-Corrector (NPC) 框架，其核心创新在于：

  1. 统一视角：将鲁棒优化、全局优化、多项式求根和采样等多样化问题统一在同伦范式下，揭示其共同的预测-校正结构。

  2. 策略学习替代启发式设计：将预测器步长选择和校正器终止条件制定为序列决策问题，利用强化学习（RL）自动学习自适应策略，取代手工设计的启发式规则。

  3. 摊销训练机制：通过离线训练分布上的策略，实现对新实例的零样本（training-free）高效推理，显著提升计算效率和数值稳定性。

Q: 有哪些相关研究？

根据论文第2节及附录C的综述，相关研究可分为以下三个主要类别：

1. 经典预测-校正（Predictor-Corrector, PC）算法

此类方法在同伦问题的各个领域独立发展，均采用预测-校正结构但依赖手工设计的启发式规则：

  • 鲁棒优化：Graduated Non-Convexity (GNC) (Yang et al., 2020a) 通过渐进增加非凸性来避免局部极小值，使用非线性最小二乘求解器进行校正；后续工作如 IRLS (Peng et al., 2023) 建立了 GNC 与迭代重加权最小二乘框架的联系，但缺乏跨问题泛化能力。
  • 高斯同伦优化：通过高斯核卷积逐步平滑目标函数 (Blake & Zisserman, 1987; Mobahi & Fisher III, 2015)，后续改进包括单循环框架 SLGH (Iwakiri et al., 2022) 和幂变换加速方法 PGS (Xu, 2024)。
  • 多项式求根：同伦延续

Authors: Jiayao Mai,Bangyan Liao,Zhenjun Zhao,Yingping Zeng,Haoang Li,Javier Civera,Tailin Wu,Yi Zhou,Peidong Liu

Categories: cs.LG,cs.CV

PDF URL: https://arxiv.org/pdf/2602.03086.pdf

Arxiv URL: https://arxiv.org/abs/2602.03086

Arxiv ID: 2602.03086

CoolPaper URL: https://papers.cool/arxiv/2602.03086

Published: 2026-02-03T04:19:48Z

Updated: 2026-02-03T04:19:48.000Z

19. Balancing Understanding and Generation in Discrete Diffusion Models

In discrete generative modeling, two dominant paradigms demonstrate divergent capabilities: Masked Diffusion Language Models (MDLM) excel at semantic understanding and zero-shot generalization, whereas Uniform-noise Diffusion Language Models (UDLM) achieve strong few-step generation quality, yet neither attains balanced performance across both dimensions. To address this, we propose XDLM, which bridges the two paradigms via a stationary noise kernel. XDLM offers two key contributions: (1) it provides a principled theoretical unification of MDLM and UDLM, recovering each paradigm as a special case; and (2) an alleviated memory bottleneck enabled by an algebraic simplification of the posterior probabilities. Experiments demonstrate that XDLM advances the Pareto frontier between understanding capability and generation quality. Quantitatively, XDLM surpasses UDLM by 5.4 points on zero-shot text benchmarks and outperforms MDLM in few-step image generation (FID 54.1 vs. 80.8). When scaled to tune an 8B-parameter large language model, XDLM achieves 15.0 MBPP in just 32 steps, effectively doubling the baseline performance. Finally, analysis of training dynamics reveals XDLM’s superior potential for long-term scaling. Code is available at https://github.com/MzeroMiko/XDLM

中文摘要

在离散生成建模中，两个主导范式展示了不同的能力：掩码扩散语言模型（MDLM）在语义理解和零样本泛化方面表现出色，而均匀噪声扩散语言模型（UDLM）则在少步生成质量上表现很强，但两者都无法在这两个维度上实现平衡性能。为了解决这一问题，我们提出了XDLM，它通过平稳噪声核桥接这两种范式。XDLM提供了两个关键贡献：（1）它对MDLM和UDLM进行了原则性理论统一，将每种范式都视为特例；（2）通过对后验概率的代数简化，缓解了内存瓶颈。实验表明，XDLM推动了理解能力与生成质量之间的帕累托前沿。在量化指标上，XDLM在零样本文本基准中比UDLM高出5.4分，并在少步图像生成中优于MDLM（FID 54.1 对 80.8）。在扩展到调优8B参数的大型语言模型时，XDLM在仅32步中即可实现15.0 MBPP，有效实现了基线性能的两倍。最后，对训练动态的分析显示了XDLM在长期扩展方面的卓越潜力。代码可在 https://github.com/MzeroMiko/XDLM 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

论文旨在解决离散扩散模型（Discrete Diffusion Models, DDMs）在“语义理解”与“少步生成”之间性能失衡的问题。具体而言：

  • Masked Diffusion Language Models (MDLM) 在零样本似然建模和语义理解方面表现优异，但在极少步数（few-step）采样时难以生成连贯、上下文一致的输出。
  • Uniform-noise Diffusion Language Models (UDLM) 在少步生成质量上显著领先，却在增加采样步数后仍无法追上 MDLM 的似然性能。

该失衡导致实际应用（如图像块生成、大模型推理加速）必须在“理解能力”与“生成效率”之间做出痛苦权衡。为此，作者提出 XDLM (miXed Diffusion Language Model)，通过静态混合噪声核将两种范式统一，使得：

  1. 理论上，MDLM 与 UDLM 均为 XDLM 在混合系数极限情况下的特例；
  2. 实践中，可在单一模型内连续调节“理解-生成”权衡，找到帕累托前沿上的最优甜点（sweet spot），在少步与多步场景同时逼近或超越各自原型的性能。

Q: 有哪些相关研究？

相关研究可归纳为四大类，均围绕“离散空间扩散”或“混合建模”展开：

  1. 离散扩散基础框架
  • D3PM（Austin et al., 2021）：首次将去噪扩散推广到离散状态空间，给出统一的前向-反向公式。
  • Argmax/Multinomial Diffusion（Hoogeboom et al., 2021）：在离散 token 上采用均匀噪声核，为 UDLM 奠定理论原型。
  1. Masked 扩散路线（重理解）
  • MDLM（Sahoo et al., 2024）与 MD4（Shi et al., 2024）：将
    MASK
    视为吸收态，推导出连续时间交叉熵目标，实现强零样本似然。
  • LLaDA（Nie et al., 2025）、Dream（Ye et al., 2025）：把 masked 扩散扩展到 8 B 级大模型，验证其可扩展性。
  • CTMC（Campbell et al., 2022）、SEDD（Lou et al., 2023）：用连续时间马尔可夫链或比率估计视角重新形式化 masked 过程。
  1. Uniform 扩散路线（重生成）
  • Plaid（Gulrajani & Hashimoto, 2023）：在 uniform 噪声下逼近自回归似然，缩小分布差距。
  • UDLM（Schiff et al., 2024）：提出低步数引导技巧，实现 4–16 步高质量文本/图像生成。
  • Duo（Sahoo et al., 2025）：揭示 Gaussian 与 uniform 扩散在语言模型中的对偶性，并用蒸馏强化 uniform 噪声优势。
  1. 混合/插值扩散尝试
  • BERT（Devlin et al., 2019）可视为单步混合腐蚀特例，但仅对 masked 位置做交叉熵，缺乏全过程噪声调度。
  • ReMDM（Wang et al., 2025）：允许
    MASK
    重新变回原始 token，实现编辑式插值。
  • GIDD（von Rütte et al., 2025）：随时间动态混合 masked 与 uniform 转移矩阵，但需每步重算整条噪声分布，计算昂贵。
  • Fathi et al. (2025) 为每个 token 位置分配不同噪声调度，统一自回归与扩散视角。

XDLM 与上述工作最大区别：

  • 采用静态噪声核 K ，将混合比例 k 从时变调度中解耦，首次在单一体制内把 MDLM、UDLM 作为极限情形恢复，并导出纯标量的训练/采样目标，兼顾大词表可扩展性与帕累托最优权衡。

Q: 论文如何解决这个问题？

论文通过三项核心设计一次性解决“理解-生成”失衡问题：

  1. 统一理论框架：静态混合噪声核
    将前向转移矩阵写成

Q(t|s)= α(t|s)I + β_(t|s)K, quad K= (k) / (N)J + μ M

  • K 不随时间改变，保证“增量噪声”与“边际噪声”同构，避免 GIDD 的时变重算。
  • 单一标量 $k∈
    0,1
    连续插值： k{=}0 退化为纯掩码（MDLM）， k{=}1$ 退化为纯均匀（UDLM）。
  1. 代数化简：把后验与 KL 散度压成标量运算
    利用引理 3.3–3.5 将原本 O(N^2) 的矩阵运算化为 O(1) 的标量公式

q(zs=e|z_t,x)=f_s(x,e),f(t|s)(e,zt)f_t(x,z_t), quad D(KL)=β_(t|s)α_s,r(z_t)f_t(x,z_t)h_t(x,z_t,tilde x_0)

训练目标无需显式存取 N× N 转移矩阵，显存占用从 >50 GB 降至 30 GB 级，使大词表/高分辨率场景可承受。

  1. 帕累托最优“甜点”搜索
    实验发现 k=0.1 位于理解-生成权衡曲线的内凸前沿，在同等计算预算下
  • 零 shot 平均 PPL 与 MDLM 差距 <0.5 ，比 UDLM 高 5.4 分；
  • 4 步 ImageNet FID 从 MDLM 的 80.8 降至 54.1，16 步进一步优于 UDLM；
  • 8 B 模型继续预训练 600 step，MBPP 代码生成 32 步得分翻倍（15.0 vs 6.8）。

综上，XDLM 用“静态核 + 标量化 + 单参数插值”三招，把原先对立的两种噪声机制融为一条可微调的连续光谱，在理论、实现与规模三个层面同时打破理解-生成的零和困境。

Q: 论文做了哪些实验？

论文从“语言理解-生成质量”“图像生成”“大模型可扩展性”“训练动态与效率”四个维度系统验证 XDLM 的有效性，主要实验如下：

  1. 语言建模
    1.1 零样本理解
  • 在 OpenWebText (OWT) 训练 1 M step，于 7 个外部语料（AGNews、LAMBADA、LM1B-GPT2、PTB、ArXiv、PubMed、WikiText）评估负 ELBO 困惑度。
  • 结果：XDLM(k=0.1) 平均 PPL 54.11，与 MDLM(53.65) 持平，显著优于 UDLM(59.57)。

1.2 生成质量-步数权衡

  • 在 OWT 与 LM1B 上用祖先采样，步数 4–1024，记录 GPT-2-Large PPL 与 Token Entropy。
  • 关键数字：
    – 8 步 OWT：MDLM 711 → XDLM(k=0.1) 302 → UDLM 184
    – 1024 步 OWT：XDLM(k=0.1) 52.6，反超 UDLM 78.2，逼近 MDLM 41.5
  • 表明 k=0.1 在少步接近 UDLM，多步逼近 MDLM，实现一条连续插值曲线。
  1. 图像生成
    2.1 ImageNet-1K（VQ-VAE 256-token 序列）
  • 标准条件：4/8/16/32 步 FID/IS；Classifier-Free Guidance(CFG=2.0) 重复同样协议。
  • 无 CFG：16 步 FID 25.77（UDLM 26.24，MDLM 28.78）
  • 有 CFG：4 步 FID 13.55，8 步 8.96，均取得最低值；16 步 8.62 低于 UDLM 8.98。

2.2 CIFAR-10（原始像素视为 256³ 词表）

  • 32/128/512 步 FID/IS；同样提供 CFG 结果。
  • 随着 k 增大，XDLM 单调逼近 UDLM；k=0.5 时 32 步 FID 56.3，相对 MDLM 212 大幅缩小差距。
  1. 大模型可扩展性
  • 以 LLaDA-8B（原 MDLM）为基底，继续预训练 600 step（10 B token FineWeb-Edu）得到 LLaDA-XDLM。
  • OpenCompass 评测（32 步采样）：
    – GSM8k 29.26 vs 原模型 24.49
    – MATH 4.72 vs 4.80
    – BBH 42.76 vs 42.68
    – MBPP 代码生成 15.0 vs 6.8（失败例 429→304，通过例 34→75）
  • 对照组 LLaDA-MDLM（同样 600 step）MBPP 仅 4.4，确认提升来自 XDLM 目标而非额外训练。
  1. 训练动态与效率剖析
    4.1 动态交叉现象
  • LM1B 上每 100 k step 记录 PPL：MDLM 前期领先，700 k 之后被 UDLM 与 XDLM 反超；XDLM 全程稳步下降，未见饱和。
  • ImageNet-1K 上每 100 k step 记录 FID：XDLM(k=0.5) 始终低于基线，500 k 步达 23.42，优于 MDLM 28.78 与 UDLM 26.24。

4.2 计算效率

  • 在 8×H800 实测 forward、forward-backward、采样三场景：
    – Forward 吞吐：XDLM 396 k t/s ≈ 2× GIDD 199 k t/s
    – 采样速度：7.1 k t/s > UDLM 2.9 k t/s
    – 峰值显存：31.4 GB，低于 UDLM 59.7 GB 与 GIDD 40.9 GB

4.3 可视化采样轨迹

  • T=32 步文本生成：展示“重新掩码”机制如何在 t=1 时删除低概率 token（红），随后进入纯填补（绿）+细调（蓝）两阶段。
  • ImageNet 8 步图片演化：对比 MDLM/GIDD/XDLM/UDLM 中间输出，XDLM 最早定位狗眼/鼻等关键特征并保持细节锐度。

综上，实验覆盖文本/图像两大模态、零样本-少步-多步三种采样预算，以及 8 B 级大模型继续预训练，定量结果与可视化一致表明：XDLM 用单一混合参数 k 即可在“理解”与“生成”两端同时逼近或超越原专用范式，并具备优异的扩展与训练效率。

Q: 有什么可以进一步探索的点？

以下方向可被视为论文在“理解-生成”统一后留下的开放问题，均直接对应作者列出的局限与未来工作，亦兼顾社区近期热点：

  1. 大规模“从零预训练”
  • 目前仅做 600 step 继续预训练，尚未验证 XDLM 在 1 T+ token、50 B+ 参数尺度下的 emergent 行为与最优 k 演化规律。
  • 可探索 k 随层深/通道/模态动态分配，而非全局常量。
  1. “性能交叉”现象的机理与利用
  • 实验显示 UDLM/XDLM 在采样步数→∞ 时反超 MDLM，似与“离散吸收-均匀噪声”两种过程的熵收敛速度差异有关。
  • 需建立定量理论（如连续时间 Markov 链谱间隙分析）并设计自适应停止准则，让模型自行决定何时切换到“均匀噪声主导”阶段。
  1. 任务专属采样策略
  • 文本可尝试：
    – 语法掩码先验：只对句法关键 token 启用 re-masking，减少不必要的反复；
    – 长度可变采样：利用 XDLM 的“随时可停”特性做早退，动态决定序列长度。
  • 图像可尝试：
    – 多尺度 k 调度：低分辨率阶段用高 k 保结构，高分辨率阶段用低 k 保细节；
    – 与无分类器引导复合，研究 k×guidance_scale 的联合最优轨迹。
  1. 跨模态统一模型
  • 目前语言与图像实验独立。下一步在同一 Transformer 内交替输入文本-token 与图像-token，考察 k 对图文对齐、VQA、文生图等跨模态指标的影响。
  • 可引入模态敏感混合系数 k_text、k_vision，用可学习门控动态融合。
  1. 后训练与推理加速
  • 知识蒸馏：将 XDLM 的“re-masking”能力蒸馏到自回归或小型扩散模型，实现 1–2 步高速采样。
  • 投机采样：利用 XDLM 能“反悔”的特性，并行生成多条候选轨迹，再按似然加权合并，提高 GPU 利用率。
  • 编译级优化：标量公式已避免大矩阵，可进一步融合 kernel，把 ft(x,z_t)、h_t 等计算全部搬进 CUDA 单次 launch，再降 20–30 % 延迟。
  1. 理论深化
  • 把静态核 K 视为“最优传输”计划，用 Flow-Matching 框架给出连续时间 ODE 极限，证明 k=0.1 对应 Wasserstein-2 测地线上某段最优插值。
  • 研究 k 对反向过程方差-偏差权衡的影响，导出 k 的自适应调度律，使每一步都沿最速下降方向。
  1. 安全与可控性
  • re-masking 机制提供了“随时撤销”通道，可内置约束解码（如拒识有害 token 后立即重新掩码），评估其对输出安全性的提升。
  • 结合可控引导函数，考察不同 k 下模型对风格、主题、事实一致性的可控裕度。
  1. 其他离散域迁移
  • 代码、分子、音频、图结构等天然离散数据：验证 k 的“甜点”是否仍保持 0.1 量级，或需域专属先验重新设定。
  • 在蛋白质序列生成任务上，对比 XDLM 与专门设计的掩码+结构先验扩散模型，观察统一噪声是否仍能保持结构合理性。

通过上述探索，可全面释放“静态混合核”带来的连续可调潜力，把 XDLM 从当前“语言-图像双优”推进到“通用离散生成底座”级别。

Q: 总结一下论文的主要内容

论文核心概要
题目：Balancing Understanding and Generation in Discrete Diffusion Models（XDLM）

1. 问题

  • 离散扩散语言模型分裂为两条路线：
    – MDLM（掩码噪声）零样本理解强，但少步生成差；
    – UDLM（均匀噪声）少步生成好，却难以持续提升似然。
  • 实际应用（大图块、大模型推理）被迫在“语义质量–采样速度”间二选一。

2. 解法

提出 XDLM：miXed Diffusion Language Model with Stationary Noise Kernel

技术点 内容
统一前向 转移矩阵 $Q_{t
极限兼容 k =0 → 纯掩码(MDLM)； k =1 → 纯均匀(UDLM)。
标量化 把后验与 KL 散度压成纯标量公式，显存减半、吞吐翻倍。
单一可调参数 混合权重 k∈[0,1] 连续滑动，寻找理解-生成帕累托前沿。

3. 主要结果

任务 关键数字
零样本理解 7 语料平均 PPL：XDLM(k=0.1) 54.11 ≈ MDLM 53.65，领先 UDLM 5.4 分。
少步文本生成 OWT 8 步 PPL：MDLM 711 → XDLM 302 → UDLM 184；1024 步 XDLM 反超 UDLM。
少步图像生成 ImageNet 4 步 FID：MDLM 80.8 → XDLM 54.1；16 步 FID 25.77 低于 UDLM 26.24。
大模型继续预训练 8 B 参数 LLaDA 再训 600 step，MBPP 代码 32 步得分：6.8 → 15.0（+120 %）。
效率 前向 396 k t/s ≈ 2× GIDD；采样 7.1 k t/s > 2× UDLM；显存 31 GB 节省约一半。

4. 结论

XDLM 用静态混合核+标量化推导，首次把“掩码理解优势”与“均匀生成效率”装进同一模型，通过单一 k 值连续滑动即可在任意采样预算下逼近或超越原专用范式，突破离散扩散的“理解-生成零和”困境，并具备大词表、大模型、多模态扩展潜力。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yue Liu,Yuzhong Zhao,Zheyong Xie,Qixiang Ye,Jianbin Jiao,Yao Hu,Shaosheng Cao,Yunfan Liu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2602.01362.pdf

Arxiv URL: https://arxiv.org/abs/2602.01362

Arxiv ID: 2602.01362

CoolPaper URL: https://papers.cool/arxiv/2602.01362

Published: 2026-02-01T18:00:35Z

Updated: 2026-02-01T18:00:35.000Z

20. FullStack-Agent: Enhancing Agentic Full-Stack Web Coding via Development-Oriented Testing and Repository Back-Translation

Assisting non-expert users to develop complex interactive websites has become a popular task for LLM-powered code agents. However, existing code agents tend to only generate frontend web pages, masking the lack of real full-stack data processing and storage with fancy visual effects. Notably, constructing production-level full-stack web applications is far more challenging than only generating frontend web pages, demanding careful control of data flow, comprehensive understanding of constantly updating packages and dependencies, and accurate localization of obscure bugs in the codebase. To address these difficulties, we introduce FullStack-Agent, a unified agent system for full-stack agentic coding that consists of three parts: (1) FullStack-Dev, a multi-agent framework with strong planning, code editing, codebase navigation, and bug localization abilities. (2) FullStack-Learn, an innovative data-scaling and self-improving method that back-translates crawled and synthesized website repositories to improve the backbone LLM of FullStack-Dev. (3) FullStack-Bench, a comprehensive benchmark that systematically tests the frontend, backend and database functionalities of the generated website. Our FullStack-Dev outperforms the previous state-of-the-art method by 8.7%, 38.2%, and 15.9% on the frontend, backend, and database test cases respectively. Additionally, FullStack-Learn raises the performance of a 30B model by 9.7%, 9.5%, and 2.8% on the three sets of test cases through self-improvement, demonstrating the effectiveness of our approach. The code is released at https://github.com/mnluzimu/FullStack-Agent.

中文摘要

协助非专业用户开发复杂的交互式网站已成为大型语言模型驱动的代码代理的热门任务。然而，现有的代码代理往往只生成前端网页，用华丽的视觉效果掩盖了缺乏真正的全栈数据处理和存储。值得注意的是，构建生产级全栈网页远比生成前端网页更具挑战性，需要对数据流的严格控制，全面理解不断更新的包和依赖，并准确定位代码库中晦涩的漏洞。为解决这些困难，我们引入了FullStack-Agent，一个统一的全栈代理编码系统，由三部分组成：（1）FullStack-Dev，一个具备强大规划、代码编辑、代码库导航和缺陷本地化能力的多代理框架。（2）FullStack-Learn，一种创新的数据扩展和自我改进方法，通过反向翻译爬取和综合的网站仓库，提升FullStack-Dev的骨干大型语言模型。（3） FullStack-Bench，一个综合基准测试，系统地测试生成网站的前端、后端和数据库功能。我们的全栈开发在前端、后端和数据库测试用例上分别比之前最先进的方法高出8.7%、38.2%和15.9%。此外，FullStack-Learn通过自我提升，在三组测试用例中分别提升了30B模型9.7%、9.5%和2.8%，展示了我们方法的有效性。代码于 https://github.com/mnluzimu/FullStack-Agent 年发布。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决生产级全栈Web应用开发中的关键挑战，具体包括以下核心问题：

1. 现有代码代理的前端局限性

当前基于大语言模型（LLM）的代码代理系统（如WebGen-Agent、Bolt.diy等）倾向于仅生成前端网页，即使需要后端和数据存储来支持完整功能。这些系统常通过华丽的视觉效果掩盖缺乏真实数据流处理的缺陷，例如表单提交仅显示成功通知，但实际并无数据被处理或存储。

2. 全栈开发的复杂性挑战

构建生产级全栈应用远比单纯生成前端复杂，主要面临三大难题：

  • 代码库导航与调试：现代Web框架（如Next.js、NestJS）涉及庞大复杂的代码库，需要高效的代码导航和准确的错误定位能力；
  • 长期推理与工具调用：全栈编码的复杂工作流程要求长期推理、熟练的工具调用以及对Web包的专业掌握；
  • 数据流控制：需要仔细控制前端、后端与数据库之间的数据流。

3. 评估体系的不足

现有基准测试（如WebGen-Bench）主要依赖GUI代理评判UI级交互，无法有效检测”假阳性”案例——即前端显示正确但缺乏真实后端实现的网站。

解决方案概述

为应对上述挑战，论文提出了FullStack-Agent统一系统，通过三个紧密耦合的组件实现可扩展且可验证的全栈网站构建：

  • FullStack-Dev：多代理开发框架，配备专门的规划和调试工具，协调复杂的全栈开发工作流；
  • FullStack-Learn：基于仓库回译（Repository Back-Translation）和增强的迭代自改进方法，提升骨干LLM的全栈编码能力；
  • FullStack-Bench：综合评估基准，通过独立的前端、后端和数据库测试用例，系统性地验证生成网站的功能完整性。

Q: 有哪些相关研究？

根据论文第4节（Related Work），相关研究可分为以下三类：

1. 网站开发代理与流程（Website Development Agents and Pipelines）

前端局限性方法

  • MRWeb (Wan et al., 2024)：仅能生成HTML和CSS文件，缺乏后端支持。
  • Bolt.diy (stackblitz labs, 2024)、WebGen-Agent (Lu et al., 2025a)、TDDev (Wan et al., 2025)：默认生成简单代码库，除非特别提示，否则几乎不包含后端或数据库实现。这些方法缺乏动态代码导航能力，倾向于将所有代码塞入上下文窗口，限制其处理复杂代码库的能力。

调试与反馈机制差异

WebGen-Agent和TDDev虽使用GUI代理提供反馈，但其测试用例在生成开始时即预定义，且GUI代理盲目与网站交互；相比之下，FullStack-Dev支持动态创建测试用例并精确定位错误。通用代码代理（如OpenHands (Wang et al., 2025)、Qwen-Code (Qwen, 2025b)）同样倾向于仅生成前端，缺乏专门反馈和系统指令时性能较低。

2. 网站开发基准测试（Website Development Benchmarks）

基于视觉的静态评估

  • Design2Code (Si et al., 2025)、Web2Code (Yun et al., 2024)、IW-Bench (Guo et al., 2025)、Interaction2Code (Xiao et al., 2025a)、DesignBench (Xiao et al., 2025b)、FullFront (Sun et al., 2025)、ArtifactsBench (Zhang et al., 2025a)：仅评估基于给定设计图像生成简单HTML文件的能力，此类任务可由多模态大语言模型（MLLM）单独完成，无需代理系统。

功能评估基准及其局限

  • Web-Bench (Xu et al., 2025)：在固定流程上评估LLM的网站代码生成能力，无法评估代理系统的动态编码能力。
  • WebGen-Bench (Lu et al., 2025b)：虽评估多文件代码库的代理编码，但仅基于GUI代理交互结果评判，无法充分测试后端和数据库实现，存在”假阳性”问题（前端正确但后端缺失）。

FullStack-Bench通过独立的前端、后端和数据库测试用例，以及基于代理的评判机制，实现了对全栈网站功能完整性的系统性验证。

3. 软件开发能力改进的训练方法（Training Methods to Improve Software Development）

视觉到代码的微调

  • WebCode2M (Gui et al., 2025) 和 WebSight (Laurenc¸on et al., 2024)：利用截图与HTML对进行监督微调（SFT），提升MLLM将图像转换为HTML代码的能力。

GitHub问题修复方法

  • 强化学习方法：如SWE-RL (Wei et al., 2025)、SORFT (Ma et al., 2025)、SEAlign (Zhang et al., 2025b) 等，专注于生成补丁修复现有代码库中的问题，与从零生成全栈网站有本质区别。
  • 监督微调方法：如SWE-Smith (Yang et al., 2025)、SWE-Gym (Pan et al., 2025)，同样针对GitHub问题修复任务。

网站生成特定的训练

  • WebGen-Bench (Lu et al., 2025b)：依赖更大的LLM从合成用户指令生成网站开发轨迹，用于蒸馏较小模型。
  • WebGen-Agent (Lu et al., 2025a)：使用GRPO (Shao et al., 2024) 以视觉反馈作为奖励信号进行强化学习，但未能利用现有真实代码库。

FullStack-Learn通过**仓库回译（Repository Back-Translation）和仓库增强（Repository Augmentation）**技术，将真实世界的现有代码库系统性地转换为高质量代理轨迹，实现不依赖更强模型的自我改进。

Q: 论文如何解决这个问题？

论文通过提出FullStack-Agent统一系统来解决全栈Web开发中的挑战，该系统由三个紧密耦合的组件构成，分别针对开发工作流、模型能力和评估体系进行创新：

1. FullStack-Dev：多代理开发框架与专用工具

针对全栈开发中复杂的代码库导航、数据流控制和错误定位问题，论文设计了一个模仿真实开发流程的多代理系统：

多代理架构

  • 规划代理（Planning Agent）：作为首席架构师，分析用户需求并生成高阶的前端与后端开发计划，以JSON格式定义页面布局、组件、数据流、实体和API端点，确保数据结构粒度细化到最底层类型（如integer）。
  • 后端编码代理（Backend Coding Agent）与前端编码代理（Frontend Coding Agent）：作为专业工程师，分别实现规划代理设计的方案。两者串行工作，后端先完成并API摘要，前端基于此构建界面。

专用调试工具 为克服传统方法依赖预定义测试用例和盲目交互的局限，论文引入了两种动态调试工具：

  • 前端调试工具：启动网站服务后，驱动GUI代理（基于Chromium）根据自然语言指令交互，同时监控终端和浏览器控制台输出。当检测到错误时，精确定位触发错误的动作并返回错误分析。与先前方法不同，该工具支持动态生成测试用例而非仅依赖初始预定义用例。
  • 后端调试工具：模拟Postman等API调试工具，接受URL、请求方法和数据，自动启动服务、发送请求并返回响应消息和控制台输出。实验表明，移除该工具会使后端编码代理的平均迭代次数从74.9次增加到115.5次，显著降低开发效率。

2. FullStack-Learn：基于仓库回译的迭代自改进

针对骨干LLM在全栈编码技能和专业知识上的不足，论文提出了一种无需依赖更强模型的数据缩放与自改进方法：

仓库回译（Repository Back-Translation） 将爬取的真实世界GitHub仓库转换为高质量代理轨迹：

  • 信息收集代理：遍历仓库文件，生成包含描述、质量评分、前后端计划及用户指令的摘要。
  • 轨迹回译代理：在空模板中复现原始仓库功能，生成遵循实际开发顺序（先读后实现）的转录轨迹。通过规则化程序（Algorithm 2）清除对原仓库的引用，将转录轨迹转换为干净的开发轨迹。

仓库增强（Repository Augmentation） 为扩展数据规模，对现有仓库实施五种增强：

  • 简化（Simplify）：精简代码但保持全栈功能
  • 扩展（Extend）：增加新用户功能
  • 应用转换（ParallelApp×3）：创建结构相似但目标不同的新应用

迭代自改进流程（Algorithm 1）
&Round 1: D0 arrow B(R(real), M0), quad M_1 arrow USFT(M_0, D_0) &Round 2: R(aug) arrow A(R(real), M_0), quad D(aug) arrow B(R(aug), M_1) &quadquadquad D_1 arrow D_0 ∪ D(aug), quad M_(final) arrow USFT(M_0, D_1)
其中 B(·) 为回译算子， A(·) 为增强算子，USFT表示监督微调。该过程使30B模型在前端、后端、数据库测试上的准确率分别提升9.7%、9.5%和2.8%。

3. FullStack-Bench：三层综合评估基准

针对现有基准无法检测”假阳性”（前端正确但后端缺失）的问题，论文构建了系统性测试框架：

分层测试体系

测试层级 方法 关键特征
前端测试 GUI代理评判（Qwen3-VL-235B-A22B） 验证前端交互，并附加数据库交互验证，仅当日志证明数据库操作正确时才确认YES/PARTIAL结果
后端测试 信息收集+API调用 先收集所有API端点信息，再针对每个测试用例发送请求验证功能，同时检查数据库日志
数据库测试 模式快照验证 提取所有表列名和前5行数据形成JSON快照，由评判代理验证数据结构完整性

准确率计算

  • 前端准确率： Accuracy = N(Yes) + 0.5 × N(Partial)N_(Total) × 100% （仅当数据库交互检查通过时计数）
  • 后端/数据库准确率： Accuracy = N(Yes)N(Total) × 100%

协同效果

三个组件形成闭环解决方案：

  1. FullStack-Dev提供强大的开发框架和工具支持；
  2. FullStack-Learn通过真实仓库回译生成的高质量轨迹提升骨干模型能力；
  3. FullStack-Bench提供可靠评估，识别前端伪装问题，指导数据生成和模型改进。

实验结果表明，基于Qwen3-Coder-480B-A35B-Instruct的FullStack-Dev在前端、后端、数据库测试上分别达到64.7%、77.8%、77.9%的准确率，超越之前最优方法8.7%、38.2%和15.9%。

Q: 论文做了哪些实验？

论文在Section 3 “Experiments”中开展了系统的实验验证，主要包括以下四个部分：

1. FullStack-Dev性能评估（Section 3.1）

实验设置

  • 骨干模型：Qwen3-Coder-30B-A3B-Instruct 和 Qwen3-Coder-480B-A35B-Instruct
  • 解码策略：贪心解码（greedy decoding），上下文长度131,072，最大工具调用次数400
  • 评估指标：前端准确率（FE Acc.）、带有效数据库交互的前端准确率（FE Acc. w/ Valid DB）、后端准确率（BE Acc.）、带有效数据库交互的后端准确率（BE Acc. w/ Valid DB）、数据库准确率（DB Acc.）、外观评分（Appearance Score，1-5分）

基线对比 与以下方法进行对比：

  • WebGen-Agent (Lu et al., 2025a)
  • TDDev (Wan et al., 2025)
  • OpenHands (Wang et al., 2025)
  • Bolt.diy (stackblitz labs, 2024)
  • Qwen-Code (Qwen, 2025b)

关键结果

  • 使用480B模型时，FullStack-Dev在前端、后端、数据库测试上分别达到64.7%、77.8%、77.9%的准确率，超越之前最优方法WebGen-Agent达8.7%、38.2%、15.9%
  • 使用30B模型时，同样取得最高准确率（37.2%、38.7%、50.9%）
  • 外观评分也达到最高（3.72分），表明前端调试工具有助于修复渲染问题

2. FullStack-Learn训练效果验证（Section 3.2）

迭代自改进流程

  • 第一轮：使用原始模型 M_0 （Qwen3-Coder-30B-A3B-Instruct）基于爬取的GitHub仓库生成2K轨迹 D_0 ，训练得到 M_1 （FullStack-Learn-LM-round1）
  • 第二轮：使用 M1 基于增强仓库生成8K轨迹 D(aug) ，结合 D0 共10K轨迹训练得到 M(final) （FullStack-Learn-LM-round2）
  • 数据去污染：使用5-gram Jaccard相似度（阈值0.6）和句子嵌入余弦相似度（阈值0.7）过滤与FullStack-Bench重复的数据
  • 训练配置：2个epoch，学习率2e-5，批量大小32，使用32块H800 GPU

性能提升

  • 经过两轮训练，模型在前端、后端、数据库准确率上分别提升9.7%、9.5%、2.8%（从37.2%→46.9%、38.7%→48.2%、50.9%→53.7%）
  • 外观评分从2.97提升至3.40（+0.43）

3. 消融研究（Section 3.3）

FullStack-Dev架构消融

通过逐一移除关键组件验证其贡献（使用480B模型）：

实验设置 FE Acc. w/ Valid DB BE Acc. w/ Valid DB DB Acc.
完整系统 64.7% 77.8% 77.9%
移除多代理机制 62.1% (-2.6%) 61.4% (-16.4%) 63.5% (-14.4%)
移除后端调试工具 62.1% (-2.6%) 57.9% (-19.9%) 76.6% (-1.3%)
移除前端调试工具 51.9% (-12.8%) 76.6% (-1.2%) 75.6% (-2.3%)
同时移除两者 51.0% (-13.7%) 61.9% (-15.9%) 74.8% (-3.1%)

结论：多代理机制对整体性能至关重要；后端调试工具主要影响后端准确率，前端调试工具主要影响前端准确率。

FullStack-Learn数据生成方法消融

对比不同数据来源（使用30B模型）：

  • 直接生成：从WebGen-Instruct随机采样用户指令直接生成2K轨迹
  • 回译生成：使用Repository Back-Translation从真实仓库生成2K轨迹

结果：回译方法在前端（42.3% vs 36.2%）、后端（45.4% vs 33.6%）、数据库（51.2% vs 47.8%）准确率上均显著优于直接生成，证明从真实仓库学习的有效性。

评估可靠性验证

  • 方法：随机抽取前端、后端、数据库各200个测试实例，由4名计算机科学相关学士学位的学生志愿者人工核验
  • 标准：仅当评估轨迹和数据库交互日志完全支持最终结果时标记为正确
  • 结果：人工对齐准确率分别为前端90.5%、后端94.0%、数据库97.5%，证明FullStack-Bench测试流程的高可靠性

4. 模板扩展实验（Appendix B）

验证方法对不同技术栈的泛化能力：

  • 基础配置：Next.js（前端）+ NestJS（后端）
  • 扩展配置：增加Vue.js（前端）+ Django（后端），允许代理根据指令选择模板

结果（使用480B模型）：

  • 前端准确率：64.7% → 68.1%
  • 后端准确率：77.8% → 78.5%
  • 数据库准确率：77.9% → 81.0%

表明增加模板选择能进一步提升性能，验证了方法对不同开发框架的高适应性。

Q: 有什么可以进一步探索的点？

基于论文内容与实验发现，以下方向具有进一步探索价值：

1. 多模态全栈生成

当前系统依赖纯文本指令进行开发。可探索结合UI设计图（如Figma、Sketch导出）或手绘草图，直接生成对应的全栈实现。相关基础工作如Design2Code、WebCode2M仅聚焦前端HTML生成，尚未扩展至包含后端逻辑与数据库设计的完整流程。需解决视觉元素与数据模型的对齐、设计图到API接口的语义映射等难题。

2. 多样化技术栈支持

论文主要基于Next.js与NestJS模板（附录B初步探索了Vue.js与Django）。可扩展至：

  • 新兴前端框架：Svelte、Solid.js、Angular等
  • 多样化后端架构：FastAPI、Spring Boot、Ruby on Rails、Go Gin等
  • 异构数据库：MongoDB（文档型）、Redis（缓存）、Neo4j（图数据库）等NoSQL方案
  • 微服务架构：当前为单体应用生成，可探索多服务间的分布式数据流设计与服务发现机制

3. 强化学习增强的自改进

FullStack-Learn目前采用监督微调（SFT）。可引入强化学习机制：

  • 以FullStack-Bench的多维测试结果（前端/后端/数据库）作为复合奖励信号
  • 探索GRPO（Group Relative Policy Optimization）或PPO在工具调用序列优化中的应用
  • 设计细粒度奖励函数，针对论文错误分析中占比最高的”Database Empty”（46.7%）和”No Database Interaction”（34.3%）问题进行针对性强化

4. 大规模数据扩展与质量提升

当前训练数据规模为10K轨迹。可探索：

  • 百万级仓库回译：利用更大规模的GitHub仓库，结合代码质量筛选机制（如star数、测试覆盖率）
  • 合成数据生成：使用更强模型（如GPT-4o、Claude 3.5）生成多样化的虚拟业务场景，而非仅依赖真实仓库
  • 增量学习机制：支持模型随Web技术演进（如新版本的Next.js或新npm包）持续更新，而非固定周期重训练

5. 安全性与鲁棒性验证

论文在Impact Statement中提及安全漏洞风险，但未在方法中解决：

  • 安全漏洞检测：集成SAST（静态应用安全测试）工具，检测SQL注入、XSS、CSRF等常见漏洞
  • 依赖安全：检查npm/pip包中的已知CVE漏洞，避免使用过时的危险依赖版本
  • 输入验证：确保生成的后端API具备完善的参数校验与错误处理机制

6. 长期维护与迭代开发

当前聚焦从零生成（greenfield development），实际生产中更常见的是遗留系统维护：

  • 代码库演进：支持基于现有代码库的功能增删改，而非每次重新生成
  • 版本迁移：自动处理框架版本升级（如Next.js 14→15）导致的API变更
  • 技术债务检测：识别生成的代码中的反模式与重构机会

7. 性能优化与生产就绪

FullStack-Bench侧重功能正确性，未评估：

  • 性能指标：首字节时间（TTFB）、可交互时间（TTI）、API响应延迟
  • 可扩展性：高并发场景下的数据库连接池优化、缓存策略
  • 部署适配：生成Docker配置、CI/CD流程、环境变量管理，实现真正的”一键部署”

8. 人机协作与可解释性

  • 交互式规划：允许开发者在规划阶段干预架构设计（如调整数据库范式、选择REST vs GraphQL）
  • 决策可视化：展示代理为何选择特定组件结构或API设计，提供替代方案对比
  • 代码审查代理：独立的审查代理对生成代码进行代码走查（code review），发现潜在逻辑漏洞

9. 跨平台统一开发

突破Web边界，探索：

  • 全栈跨平台：同一套业务逻辑生成Web（React）、移动端（React Native/Flutter）与桌面端（Electron/Tauri）实现
  • BFF（Backend for Frontend）模式：针对不同客户端生成优化的后端聚合层

10. 特定领域优化

针对垂直领域的深度优化：

  • 电商场景：复杂的事务处理、库存扣减、支付流程集成
  • 企业级应用：RBAC（基于角色的访问控制）、审计日志、数据权限隔离
  • 实时应用：WebSocket集成、实时数据同步（如聊天应用、协作编辑）

Q: 总结一下论文的主要内容

这篇论文针对生产级全栈Web应用开发的挑战，提出了一个统一的多代理系统FullStack-Agent，旨在解决现有LLM代码代理仅能生成前端页面、缺乏真实后端与数据库实现的局限性，以及现有评估基准无法检测此类缺陷的问题。

1. 研究动机与核心问题

现有LLM驱动的代码生成系统（如WebGen-Agent、Bolt.diy等）存在以下关键缺陷：

  • 前端伪装问题：倾向于仅生成前端代码，通过视觉效果掩盖缺乏真实数据流处理的事实（如表单提交仅显示成功通知但无实际数据存储）。
  • 全栈开发复杂性：现代Web框架（Next.js、NestJS等）涉及复杂代码库导航、长期推理、依赖管理以及跨层（前端-后端-数据库）数据流控制。
  • 评估体系缺陷：现有基准（如WebGen-Bench）仅基于GUI代理的UI交互进行评判，无法识别”假阳性”（前端正确但后端缺失）。

2. 方法论：FullStack-Agent系统

论文提出了由三个紧密耦合组件构成的统一框架：

(1) FullStack-Dev：多代理开发框架

  • 分层架构：
  • 规划代理：作为架构师，生成高阶前后端开发计划（JSON格式），细化数据结构与API设计。
  • 后端/前端编码代理：作为专业工程师，分别实现后端API与前端界面，串行协作。
  • 专用调试工具：
  • 前端调试工具：驱动GUI代理动态交互，实时监控控制台错误，精确定位问题并支持动态测试用例生成。
  • 后端调试工具：模拟Postman进行API调试，自动发送HTTP请求并分析响应，显著减少调试迭代次数（从115.5次降至74.9次）。

(2) FullStack-Learn：数据缩放与自改进

通过**仓库回译（Repository Back-Translation）**技术将真实GitHub仓库转换为高质量训练数据：

  • 信息收集代理：分析仓库结构，生成摘要、开发计划及用户指令。
  • 轨迹回译代理：在空模板中复现仓库功能，生成遵循实际开发顺序的代理轨迹。
  • 仓库增强：对现有仓库实施简化、扩展、应用转换等五种增强策略，将数据规模扩大5倍。
  • 迭代自改进：两轮训练流程（初始2K轨迹→增强8K轨迹），无需依赖更强模型即可提升30B模型性能（前端/后端/数据库准确率分别提升9.7%/9.5%/2.8%）。

(3) FullStack-Bench：综合评估基准

构建三层测试体系以验证全栈功能完整性：

  • 前端测试：GUI代理（Qwen3-VL）验证UI交互，并附加数据库日志验证以确保数据流真实存在。
  • 后端测试：代理收集API信息后发送请求验证功能，同时检查数据库交互日志。
  • 数据库测试：基于数据库模式快照（表结构+样本数据）验证数据存储需求是否满足。

3. 实验结果

  • 性能对比：使用Qwen3-Coder-480B-A35B-Instruct时，FullStack-Dev在前端、后端、数据库测试准确率分别达到64.7%、77.8%、77.9%，超越之前最优方法（WebGen-Agent）达8.7%、38.2%、15.9%。
  • 模型自改进：基于FullStack-Learn训练的30B模型在三轮测试中准确率分别提升至46.9%、48.2%、53.7%，验证了从真实仓库学习的有效性。
  • 消融研究：多代理机制与专用调试工具对性能至关重要；人工验证显示测试流程可靠性达90%以上。

4. 主要贡献

  • 提出首个面向生产级全栈开发的多代理框架，配备动态调试工具，有效解决复杂代码库中的错误定位问题。
  • 开发创新的数据生成方法（仓库回译与增强），实现无需强模型的LLM自我改进。
  • 构建首个系统性评估前端、后端与数据库功能完整性的全栈基准测试，消除传统评估中的假阳性问题。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zimu Lu,Houxing Ren,Yunqiao Yang,Ke Wang,Zhuofan Zong,Mingjie Zhan,Hongsheng Li

Categories: cs.SE,cs.CL,cs.CV

PDF URL: https://arxiv.org/pdf/2602.03798.pdf

Arxiv URL: https://arxiv.org/abs/2602.03798

Arxiv ID: 2602.03798

CoolPaper URL: https://papers.cool/arxiv/2602.03798

Published: 2026-02-03T18:01:34Z

Updated: 2026-02-03T18:01:34.000Z