HuggingFace Papers 2026-09-03

数据来源：HuggingFace Papers

Latest Papers

1. StudentSim: Training LLM-based Student Simulators

Abstract:AI tutors are most useful when they adapt to each student’s strengths, weaknesses, and preferred guidance, but evidence about which guidance works for which student is sparse, slow, and costly to collect from real learners. Student simulators can provide this signal as a proxy, yet existing approaches are limited: state-tracking models fit student behavior but struggle to process explanations or corrections, while LLM role-play follows guidance fluently but does not reliably match the competence of the student being imitated. We present StudentSim, a training framework that turns sparse per-student data into individualized simulators through pooled training followed by per-student specialization. The resulting simulators both mirror a student’s own responses and update them under tutor guidance. We also introduce StudentSimEval, a standardized protocol covering 60 students across chess, second-language English writing, and mathematics, using public learner datasets with de-identified records shared for research. StudentSimEval measures behavioral fidelity (F), or how well a simulator matches a student’s responses, and guidance responsiveness (R), or how readily it updates under tutor guidance, with all methods fit and evaluated on the same records. Across all three domains, StudentSim outperforms GPT-5.4 on both metrics. In chess, StudentSim reaches F=0.51 and R=0.91, compared with 0.23 and 0.72 for GPT-5.4 and 0.45 and 0.27 for Maia2. As a proof of concept, using StudentSim as a reward model for tutor reinforcement learning produces a chess tutor that expert humans rate as more accurate, better-guided, and more personalized than a no-RL baseline and a tutor trained against a GPT-5.4 simulator reward. Code is available at this https URL.

中文摘要

摘要：当 AI 辅导能够适应每位学生的优势、弱点和偏好的指导方式时，它们最为有用，但关于哪种指导方式适合哪位学生的证据稀少、收集速度慢且成本高。学生模拟器可以作为代理提供此类信号，但现有方法存在局限：状态跟踪模型能够拟合学生行为，但难以处理解释或纠正；而大语言模型角色扮演能够流利地遵循指导，但无法可靠地匹配所模仿学生的能力。我们提出了 StudentSim，一种训练框架，通过汇总训练然后进行每位学生的专门化，将稀疏的每位学生数据转化为个性化模拟器。生成的模拟器既能反映学生自身的回答，又能在导师指导下进行更新。我们还引入了 StudentSimEval，这是一项标准化协议，涵盖围棋、二语英语写作和数学领域的 60 位学生，使用公开的学习者数据集，并共享去标识化记录用于研究。StudentSimEval 测量行为一致性（F），即模拟器与学生回答的匹配程度，以及指导响应度（R），即在导师指导下的更新速度，所有方法均在相同记录上进行拟合和评估。在三个领域中，StudentSim 在两个指标上均优于 GPT-5.4。在棋类中，StudentSim 达到 F=0.51 和 R=0.91，而 GPT-5.4 分别为 0.23 和 0.72，Maia2 则为 0.45 和 0.27。作为概念验证，使用 StudentSim 作为辅导强化学习的奖励模型，产生的棋类辅导被专家评为比无强化学习基线及针对 GPT-5.4 模拟器奖励训练的辅导更准确、指导更佳、个性化程度更高。代码可通过此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*自适应AI导师（AI Tutor）训练中反馈信号稀疏且昂贵\*\*的核心难题，具体可分解为以下层面： - \*\*真实学生反馈难以规模化\*\* AI导师若要实现个性化教学，需针对每位学生的特点（其优势、薄弱点及对不同指导方式的反应）进行适配。然而，从真实学生群体中收集此类反馈数据成本高昂、速度缓慢，且信号稀疏，导致AI导师的评估与优化严重滞后于底层AI模型的发展。 - \*\*现有学生模拟器仅能满足单一需求\*\* 现有方法在模拟学生行为时存在明显的二分局限： - \*\*状态追踪模型\*\*（如知识追踪、人类棋风预测模型）虽能基于真实数据拟合学生的行为模式，但缺乏接收导师自然语言解释或纠正的输入通道，无法模拟学生在指导下的学习更新过程。 - \*\*大语言模型（LLM）角色扮演\*\*（通过文本描述提示LLM扮演目标学生）虽能流畅地响应导师指导，但仅凭文本描述无法可靠地复现特定学生的真实能力水平与典型错误，导致行为保真度不足。 - \*\*核心挑战：行为保真度与指导响应性的统一\*\* 论文将上述需求形式化为两个必须同时满足的维度： - \*\*行为保真度（Behavioral Fidelity, F）\*\*：模拟器在独立作答时，能在多大程度上复现目标学生的典型反应、错误模式与能力边界。 - \*\*指导响应性（Guidance Responsiveness, R）\*\*：在接收导师的自然语言指导后，模拟器能在多大程度上按指导意图更新其答案，朝向正确方向修正。简言之，该论文试图构建一种\*\*基于稀疏个体数据训练、兼具高保真行为复现能力与强指导响应能力的个性化学生模拟器\*\*，并建立标准化评估协议，使其能作为可扩展的代理反馈来源，用于AI导师的训练与优化。 Q2: 有哪些相关研究？该论文将相关研究归纳为三个主要脉络，并系统梳理了各脉络的代表性工作及其与本文目标的对照关系。 ### 一、认知状态与行为预测模型该脉络聚焦于从学生历史交互中推断潜在认知状态并预测未来行为，主要包括： - \*\*经典知识追踪（Knowledge Tracing）\*\*：Bayesian Knowledge Tracing

Corbett and Anderson, 1995
通过隐式的技能掌握变量更新追踪学生状态；Deep Knowledge Tracing
Piech et al., 2015
以循环神经网络替代手工指定的状态转移规则；后续扩展包括基于注意力机制的变体
Ghosh et al., 2020
、键值记忆网络
Zhang et al., 2017
、项目反应理论（IRT）
Lord, 2012; Reckase, 1985
以及性能因素分析（PFA）
Cen et al., 2006
等。 - **LLM增强的知识追踪**：将预训练语言模型表示融入追踪流程，例如利用题目文本改善冷启动泛化
Lee et al., 2024
，在师生对话中逐轮标注技能与正确性
Scarlatos et al., 2025a
，以及引入不确定性感知嵌入
Cheng et al., 2025
。 - **从正确性预测到响应生成**：Option Tracing 预测学生具体选择哪个干扰项而非仅预测对错
Ghosh et al., 2021
；Open-Ended Knowledge Tracing 进一步将预测目标扩展至编程等开放域的自由文本响应
Liu et al., 2022
。 - **国际象棋人类行为克隆**：Maia 与 Maia2
McIlroy-Young et al., 2020; Tang et al., 2024
训练面向特定 rating 段位的走子预测网络，能够复现对应水平玩家的典型失误。 **共同局限**：上述模型仅通过标注结果（如正确/错误）更新状态，缺乏自然语言指导文本的输入通路，无法接收导师的解释、提示或纠正；且多为群体级或分位数级的拟合，难以精确建模个体学生的独特反应模式。在论文提出的 F （行为保真度）与 R （指导响应性）框架下， Q3: 论文如何解决这个问题？论文通过 **STUDENTSIM** 训练框架与 **STUDENTSIMEVAL** 评估协议来解决个性化学生模拟器的构建难题，核心思路是将稀疏的每学生数据转化为兼具行为保真度与指导响应性的个体化模拟器。具体解决方案包含以下层面： ### 1. 问题形式化与双指标分解论文将模拟器需满足的能力分解为两个可独立测量、 jointly 优化的目标： - **行为保真度（Behavioral Fidelity, F ）**：衡量模拟器 M_i 在单轮记录集 S_i = (x, m) 上复现目标学生 π_i 自身回答的能力，即模拟器在无指导时的独立作答应与该学生的典型反应、错误模式一致。 - **指导响应性（Guidance Responsiveness, R ）**：衡量模拟器在多轮记录集 T_i = (x, m, τ, m^) 上接收导师指导 τ 后，能否将初始错误回答 m 更新为指导所指向的规范修正 m^ 。两个指标在群体层面的聚合定义为：

F = (1) / (N)∑(i=1)^(N) F_i, quad R = (1) / (N)∑(i=1)^(N) R_i
该分解将学生模拟问题转化为可优化的显式目标，避免了以往工作仅侧重单一维度的局限。 ### 2. 两阶段训练管道（Two-Stage Pipeline）针对每学生数据稀疏的现实约束（例如二语写作领域每学生中位数仅3篇论文），论文设计了跨学生池化训练与个体专门化相结合的策略： - **第一阶段：池化训练（Pooled Training）** 将同一领域内大量学生的稀疏记录汇总，训练一个共享的领域基础模拟器。此阶段学习跨学生的共性知识，包括常见错误模式、领域响应格式，以及学生在接收自然语言指导后修正回答的通用路径。这解决了数据饥饿型大模型无法从单个学生少量记录中可靠学习领域先验的问题。 - **第二阶段：每学生专门化（Per-Student Specialization）** 以第一阶段的基础模型为初始化，利用单个学生自身的单轮与多轮交互记录进行独立微调（通过 LoRA 适配器），生成专属于该学生的模拟器 M_i 。此阶段捕捉个体差异：特定学生倾向于犯哪些错误、对何种形式的导师指导产生何种修正行为。两阶段分离的关键在于：第一阶段提供无法从单学生稀疏数据中学习的共享结构；第二阶段在此基础上进行低成本的个体适配，避免过拟合与重复学习领域知识。 ### 3. 标准化评估协议 STUDENTSIMEVAL 为确保不同方法在相同 footing 上可比，论文构建了覆盖三个领域（国际象棋、二语英语写作、数学）共60名学生的标准化协议： - 为每名学生固定**冻结的**训练集与留出测试集（单轮集 S_i 与多轮集 T_i ），所有方法必须在相同的每学生记录上拟合，并在相同的留出记录上被评分。 - 针对不同响应空间，定义了领域特定的 F 与 R 计算方法： - **国际象棋**： F 为走子预测 top-1 准确率； R 为接收指导后输出引擎推荐最佳走子的准确率。 - **二语写作**： F 为生成作文与学生真实作文在 LanguageTool 错误密度与类别分布上的匹配度； R 为在导师反馈后输出规范修正片段的精确匹配率。 - **数学**： F 与 R 均在由学生真实答案与其他学生常见错误构建的四选一流形上评估 top-1 字母准确率。 ### 4. 作为导师强化学习奖励源的实践验证论文进一步证明训练好的模拟器可驱动 AI 导师优化：在国际象棋中，将冻结的 STUDENTSIM 作为奖励模型接入导师的 GRPO 强化学习循环，奖励信号定义为模拟器在指导前后走子质量的提升（基于 Stockfish 评估）。相比以 GPT-5.4 作为模拟器奖励或无 RL 的基线，该方法训练出的导师在专家人类评估中获得更高的准确性、指导质量与个性化评分。综上，论文的解决方案通过**两阶段训练克服数据稀疏**、通过**双指标分解统一行为复现与指导响应**、通过**标准化协议确保公平比较**，并通过** tutor RL 概念验证**展示了该方法在 AI 导师优化中的实用价值。 Q4: 论文做了哪些实验？论文围绕**跨领域模拟器性能评估**、**训练设计消融分析**与**导师强化学习概念验证**三个层面展开实验，具体如下： ### 一、跨领域主实验：行为保真度与指导响应性评估在三个异构领域（国际象棋、二语英语写作、数学）上训练 STUDENTSIM 参考模拟器家族，并与多类基线进行系统对比。 - **评估对象**：覆盖 30 名国际象棋玩家、15 名二语学习者、15 名数学学生（共 60 名）。 - **对比基线**： - 闭源大语言模型角色扮演：GPT-4o、GPT-5.4（以学生档案进行上下文提示）。 - 领域特定状态追踪模型：国际象棋采用 Maia2（按 rating 条件化的人类走子预测器）；二语与数学无对应专用行为模型，以未经领域训练的 Qwen3-4B-Instruct 作为朴素基线。 - **评估指标**： - **行为保真度（ F ）**：国际象棋为 top-1 走子准确率；二语写作为 LanguageTool 错误密度与类别分布匹配度；数学为四选一形式下的选项准确率。 - **指导响应性（ R ）**：国际象棋为接收指导后输出引擎最佳走子的准确率；二语写作为规范修正片段的精确匹配率；数学为接收指导后选择正确答案字母的准确率。 - **核心结果**： - STUDENTSIM 在三领域均同时领先于所有基线的 F 与 R 。 - 基线呈现显著的单轴优势/劣势：Maia2 的 F 尚可但 R 接近零（无自然语言输入通路）；GPT-5.4 的 R 较高但 F 较低（提示无法可靠约束至特定学生能力）；STUDENTSIM 是唯一双轴均强的模型。 ### 二、按指导模式的响应性细粒度分解将多轮评估集按导师指导风格拆分，检验 STUDENTSIM 在不同教学支持强度下的表现： - **国际象棋**：四种模式（纠错式、对比式、战略式、苏格拉底式）。苏格拉底式最为严格（导师不直接给出正确走法，仅通过提问引导）。 - **二语写作**：两种模式（点对点纠错、基于规则纠错）。 - **数学**：三种模式（纠错式、苏格拉底式、概念解释式）。实验显示 STUDENTSIM 在所有领域的所有指导模式下均优于最强基线，尤其在苏格拉底式与概念式等间接指导模式中优势显著。 ### 三、训练管道消融与参数鲁棒性分析在国际象棋领域开展一系列控制实验，以确立默认训练配方并验证设计选择： - **池化训练必要性（Stage 1 Ablation）**：将 Stage 1 的跨 100 名学生池化数据替换为单名学生 1,000 条记录重复 100 次（保持优化步数相同）。结果表明，缺乏跨学生池化时， F 与 R 均显著下降，证明池化阶段提供了无法从单学生稀疏数据中学习的共享结构。 - **输入模态对比**：比较纯文本（FEN + 特征字符串）与视觉-语言（棋盘渲染图像 + 文本）输入。结果显示视觉模态未带来有意义的 F 提升，故全领域采用文本方案。 - **多轮数据混合比例（ rho ）**：在池化阶段将多轮记录占比从 0 sweep 至 0.8。结果表明：只要引入非零比例的多轮数据， R 即可从约 0.17 跃升至 0.80 以上并进入平台期； F 对该比例不敏感。 - **指导模式组成分析**： - **留一法（Leave-one-out）**：在训练混合中逐一移除某种指导模式，发现各模式间存在部分可替代性（除战略式外）。 - **单模式训练**：仅用某一种模式训练，模型对其他三种模式仍具备一定迁移能力，但苏格拉底式能力最难通过迁移单独获得。 - **苏格拉底式权重缩放**：提升苏格拉底样本在训练混合中的权重，可单调提升该模式下的 R ，证明模式层面的响应轮廓可通过数据配比进行可控调节。 ### 四、导师强化学习（Tutor RL）概念验证在国际象棋上验证训练好的 STUDENTSIM 作为奖励源对 AI 导师优化的实际效用： - **实验设置**：固定导师策略网络（Qwen3-VL-8B）与 GRPO 算法，比较三种奖励条件： 1. **无 RL**：仅使用经监督微调的导师基线。 2. **GPT-5.4 模拟器奖励**：每轮 rollout 调用 GPT-5.4 扮演学生，以其修正后的走子质量计算奖励。 3. **STUDENTSIM 奖励**：使用冻结的 Stage-1 STUDENTSIM 生成学生修正走子，并通过挂载在模拟器骨干上的风格头（style head）与感知头（perception head）对导师解释的教学风格遵循度与棋盘事实准确性进行乘性门控，形成综合奖励。 - **独立评估**：聘请竞技级国际象棋棋手（含 2000+ Elo 专家子集）对导师输出进行盲评，从三个维度打分： - **准确性（Accuracy）**：是否存在严重事实错误。 - **指导质量（Guidance Quality）**：教学效果 1–5 分。 - **个性化（Personalization）**：对苏格拉底偏好型学生的适配程度 1–5 分。 - **结果**：STUDENTSIM 奖励条件在所有三个维度及所有评估子集（全体标注、三重标注子集、专家子集）上均排名第一；GPT-5.4 模拟器奖励甚至低于无 RL 基线的准确性，显示其作为奖励源存在严重事实幻觉问题。 ### 五、可复现性与稳定性验证 - **跨种子稳定性**：对三个领域各进行 3 组独立训练（变化训练器种子与数据采样器种子），报告群体均值的标准差。STUDENTSIM 的 F 与 R 跨运行波动极小（如国际象棋 F 标准差为 ± 0.0009 ， R 为 ± 0.0009 ）。 - **完整超参数与计算资源披露**：记录 Stage 1/Stage 2 的 LoRA 配置（ r=128, α=256 ）、学习率、批次大小、解码设置（greedy, T=0 ）及总 GPU 小时消耗（约 390 A100-40GB 小时用于主实验）。 Q5: 有什么可以进一步探索的点？基于论文的局限性声明与展望，可从以下方向进一步探索： ### 1. 长期学习动态的建模当前框架中的行为保真度（ F ）与指导响应性（ R ）主要刻画学生在**单次交互**中的状态及其在**单步指导**下的更新。论文第7节指出，更深层的价值在于复现学生在**多次师生交互甚至自主学习过程中**的知识习得、保持与遗忘的完整纵向动态（fuller longitudinal learning dynamics）。将模拟器从“单步状态-响应”扩展为“多轮知识演化轨迹”是核心的未解决问题。 ### 2. 真实学生续写数据的收集与替代性 R 定义附录 F.1 指出，当前的 R 以规范修正 m^ （如引擎最佳走子、正确答案）作为指导后的目标。一种更贴近真实教育测量的替代方案是直接收集\*同一学生在接收特定指导 τ 后的真实续写**作为目标，从而衡量模拟器对该学生个体化后验行为的复现能力。然而，在基准规模下为每名学生、每种干预收集此类反事实数据成本极高，未来可构建兼容此定义的扩展数据集。 ### 3. 向开放式领域的 Tutor RL 迁移第6节的强化学习概念验证目前仅限于国际象棋，因为该领域具备独立于模拟器的精确每位置奖励（Stockfish 分）。要将同一范式推广至二语写作或开放式数学，需先解决**自由响应的自动质量评估**难题（如可靠的作文评分、鲁棒的数学推理验证），这些本身就是独立的开放研究问题（附录 F.6）。 ### 4. 在线持续适应与增量学习附录 F.4 提到，当前的两阶段管道天然支持数据累积：新学生初始使用 Stage-1 领域先验，随着交互记录增加可通过 Stage-2 逐步特化。未来可探索**在线学习机制**，使模拟器能在不重新训练整个适配器的前提下，增量吸收新交互数据，同时避免对旧学生行为的灾难性遗忘。 ### 5. 认知与情感维度的扩展现有框架聚焦于可观察的行为响应（走子、作文、选项）与指导更新。进一步的工作可纳入更丰富的学生状态维度，例如**认知状态的不确定性**、**情感投入**、**动机变化**或**元认知策略**，以支持更 nuanced 的导师决策（如何时退后、何时干预），这对应于“脚手架”与“辅助困境”（assistance dilemma）的动态平衡。 ### 6. 奖励头（Reward Heads）的复杂化与可定制性第6节与附录 E.5 表明，当前的风格头与感知头仅是挂载在冻结模拟器骨干上的轻量级线性探测。未来可设计**更复杂的可扩展奖励架构**，例如多任务门控网络、基于模拟器内部隐状态的细粒度认知诊断头，或针对特定 pedagogical 目标（如激发学生自我解释）定制的奖励组件。 ### 7. 跨领域泛化与领域自适应论文在三类差异显著的领域（国际象棋、二语写作、数学）验证了框架，但每个领域的 Stage-1 是独立训练的。未来可探索**跨领域共享的元学习初始化**（meta-learned initialization），使得新教育领域能利用已有领域的池化知识进行快速适配，降低新领域冷启动成本。 ### 8. 隐私保护下的池化训练 Stage-1 的跨学生池化训练假设所有学生记录可集中访问。在实际教育平台中，学生数据常分散且敏感。将两阶段管道与**联邦学习**或**差分隐私**机制结合，使得模型能在不聚合原始学生数据的情况下学习领域先验，具有重要的应用价值。 ### 9. 从模拟器反馈到真实学习成效的闭环验证当前 Tutor RL 的评估依赖于专家对人类可感知质量的盲评（准确性、指导质量、个性化）。最终需通过**真实学生对照实验**验证：由模拟器奖励优化的导师是否能在实际教学中带来可测量的学习增益，尤其是服务代表性不足或学习困难的学生群体。 Q6: 总结一下论文的主要内容该论文提出 **STUDENTSIM**，一个用于训练基于大语言模型（LLM）的个性化学生模拟器的框架，并建立标准化评估协议 **STUDENTSIMEVAL**，以解决自适应 AI 导师训练过程中反馈信号稀疏且昂贵的问题。 ### 1. 研究背景与核心挑战自适应 AI 导师（如数学辅导、外语教练、国际象棋训练系统）需要根据每位学生的具体能力、错误模式和偏好的指导方式进行动态调整。然而，从真实学生群体中收集足够的个性化反馈数据成本高昂、速度缓慢，导致 AI 导师的优化严重滞后于底层模型的发展。现有学生模拟器方法存在二分局限： - **状态追踪模型**（如知识追踪、人类行为预测模型）能够基于真实数据拟合学生行为，但缺乏接收导师自然语言解释或纠正的输入通路； - **LLM 角色扮演**（通过文本描述提示 LLM 模仿目标学生）虽能流畅响应导师指导，但仅凭提示无法可靠复现特定学生的真实能力水平与典型错误。因此，核心挑战在于构建同时满足以下两个要求的模拟器： - **行为保真度（Behavioral Fidelity, F ）**：独立作答时，模拟器能在多大程度上复现目标学生自身的典型反应、错误模式与能力边界； - **指导响应性（Guidance Responsiveness, R ）**：接收导师的自然语言指导 τ 后，模拟器能否将初始错误回答更新为指导所指向的规范修正。 ### 2. STUDENTSIM 训练框架为克服单名学生数据稀疏的难题，论文设计了一个两阶段训练管道： - **第一阶段：池化训练（Pooled Training）** 将同一领域内大量学生的稀疏记录汇总，训练一个共享的领域基础模拟器。该阶段学习跨学生的共性知识，包括常见错误模式、领域响应格式，以及学生在接收自然语言指导后修正反应的通用路径。 - **第二阶段：每学生专门化（Per-Student Specialization）** 以第一阶段的基础模型为初始化，利用单个学生自身的单轮记录 S_i = (x, m) （问题与学生实际回答）和多轮记录 T_i = (x, m, τ, m^) （问题、错误回答、导师指导、规范修正）进行独立微调（通过 LoRA 适配器），生成专属于该学生的模拟器 M_i 。两阶段分离使得模型既能从群体数据中学习领域先验，又能从个体稀疏数据中高效特化，避免过拟合与重复学习。 ### 3. STUDENTSIMEVAL 评估协议论文构建了覆盖 \*60 名学生**（30 名国际象棋选手、15 名二语英语学习者、15 名数学学生）的标准化协议，其特点包括： - 为每名学生固定冻结的训练集与留出测试集； - 所有方法在相同的每学生记录上拟合，并在相同的留出记录上评分，确保结果直接可比； - 针对不同响应空间定义领域特定的 F 与 R ： - **国际象棋**： F 为走子预测 top-1 准确率； R 为接收指导后输出引擎推荐最佳走子的准确率。 - **二语英语写作**： F 为生成作文与学生真实作文在错误密度与类别分布上的匹配度； R 为规范修正片段的精确匹配率。 - **数学**： F 与 R 均在由学生真实答案与其他学生常见错误构建的四选一形式下评估 top-1 准确率。 ### 4. 实验结果在三领域的主实验中，STUDENTSIM 的参考模拟器家族同时领先于所有基线的 F 与 R ，且该优势在平均水平和大多数个体学生上均成立： | 领域 | 方法 | F | R | |———|———|——-|——-| | 国际象棋 | Maia2 | 0.45 | 0.27 | | 国际象棋 | GPT-5.4 | 0.23 | 0.72 | | 国际象棋 | **STUDENTSIM** | **0.51** | **0.91** | | 二语写作 | GPT-5.4 | 0.51 | 0.60 | | 二语写作 | **STUDENTSIM** | **0.56** | **0.64** | | 数学 | GPT-5.4 | 0.61 | 0.71 | | 数学 | **STUDENTSIM** | **0.64** | **0.92** | 基线分析揭示了清晰的单轴优势/劣势：Maia2 在 F 上表现尚可但 R 接近零（无自然语言输入通路）；GPT-5.4 的 R 较高但 F 较低（提示无法可靠约束至特定学生能力）；STUDENTSIM 是唯一在双轴上均表现强劲的模型。此外，按指导模式分解的实验显示，STUDENTSIM 在苏格拉底式等最间接、最严格的指导模式下仍保持显著优势。 ### 5. Tutor RL 概念验证论文进一步证明训练好的 STUDENTSIM 可作为 AI 导师优化的实用奖励源。在国际象棋领域，将冻结的 STUDENTSIM 接入导师的 GRPO 强化学习循环，相比以 GPT-5.4 作为模拟器奖励或无 RL 的基线，训练出的导师在竞争性棋手（含 2000+ Elo 专家）的盲评中获得更高的**准确性**、**指导质量**和**个性化**评分。 ### 6. 主要贡献 - **双指标形式化**：首次将个性化学生模拟形式化为由行为保真度 F 和指导响应性 R 联合定义的可测量、可优化目标； - **STUDENTSIM 框架**：通过池化训练与每学生专门化，克服稀疏个体数据限制，实现双轴能力； - **STUDENTSIMEVAL 协议**：提供覆盖三领域 60 名学生的标准化基准与开源代码； - **闭环验证**：证明基于真实学习者数据训练的模拟器能够为 AI 导师强化学习提供有效且实用的代理反馈。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ke Yang,Chenglong Wang,Michel Galley,Chandan Singh,Jeevana Priya Inala,ChengXiang Zhai,Jianfeng Gao

Categories:

PDF URL: https://arxiv.org/pdf/2609.01591.pdf

Arxiv URL: https://arxiv.org/abs/2609.01591

Arxiv ID: 2609.01591

CoolPaper URL: https://papers.cool/arxiv/2609.01591

Published: 2026-09-03T01:26:26.940Z

Updated: 2026-09-03T01:26:26.940Z

2. Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

Abstract:We present Qwen-Drive-1.0, an initial step towards a vision-language foundation model for autonomous driving. Qwen-Drive-1.0 retains the architecture of the pretrained vision-language model (VLM) and integrates 3D perception, visual question answering, and motion planning within a unified framework. An external bird’s-eye-view (BEV) perception head jointly performs 3D object detection, semantic occupancy prediction, and BEV map segmentation. It serves as a probe of the 3D information accessible from the shared representations and provides an explicit, inspectable interface to 3D scene structure. A Planning Expert conditions on shared VLM representations to generate future ego trajectories. A staged training recipe combines driving supervision with general-purpose vision-language data to acquire driving-specific competence while helping preserve broad visual understanding and instruction-following capabilities. Experiments demonstrate strong 3D perception and driving scene understanding while largely preserving general vision-language capability. Comprehensive evaluations across open-loop, pseudo-closed-loop, and closed-loop settings further show highly competitive motion-planning performance.

中文摘要

摘要：我们提出了 Qwen-Drive-1.0，这是朝着自主驾驶视觉-语言基础模型迈出的初步步骤。Qwen-Drive-1.0 保留了预训练视觉-语言模型（VLM）的架构，并在统一框架下整合了 3D 感知、视觉问答和运动规划。一个外部鸟瞰图（BEV）感知头联合执行 3D 目标检测、语义占用预测和 BEV 地图分割。它作为共享表示中可获取 3D 信息的探针，并提供了对 3D 场景结构明确且可检查的接口。规划专家以共享 VLM 表示为条件生成未来自车轨迹。分阶段训练方案结合驾驶监督和通用视觉-语言数据，以获得驾驶特定能力，同时帮助保持广泛的视觉理解和指令遵循能力。实验表明，其 3D 感知和驾驶场景理解能力强，同时在很大程度上保留了通用视觉-语言能力。在开放环、伪闭环和闭环设置下的综合评估进一步显示出高度竞争的运动规划性能。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文针对自动驾驶领域中视觉-语言模型（VLM）的应用，主要试图解决以下核心问题： ## 1. 现有驾驶VLA范式的局限性当前多数驾驶视觉-语言-动作（VLA）方法仅通过对预训练VLM进行驾驶相关的视觉问答（VQA）监督来适配领域，这带来两个关键缺陷： - \*\*缺乏显式3D约束\*\*：文本形式的VQA目标无法直接约束3D空间布局、深度或占用信息。即使预训练表征中隐含了空间线索，纯文本监督既不要求显式3D预测，也无法对其进行直接评估，导致模型可能在3D空间中保持不精确。 - \*\*灾难性遗忘\*\*：过度的领域适应会导致预训练阶段获得的通用视觉与世界知识被遗忘，而有限驾驶数据集无法穷尽部署中遇到的罕见和分布外（OOD）场景，因此通用知识对于OOD推理至关重要。 ## 2. 实际部署中的双重能力需求论文指出，量产车辆正走向\*\*座舱-驾驶一体化\*\*架构，要求单一模型在有限算力下同时服务智能座舱（需要多轮对话、开放式视觉理解等通用能力）和自动驾驶系统（需要3D感知与规划能力）。现有方法若牺牲通用能力换取驾驶性能，则无法满足这一部署需求。 ## 3. 提出的解决方案：Qwen-Drive-1.0 为应对上述问题，论文提出了三项设计原则并在Qwen-Drive-1.0中实现： - \*\*架构不变性\*\*：完全保留预训练VLM（Qwen3.5-4B）的架构，确保易用性与通用能力基线。 - \*\*显式3D感知探针\*\*：引入外部鸟瞰图（BEV）感知头，联合执行3D目标检测、语义占用预测和BEV地图分割，作为共享表征的3D探针，提供可显式检验的3D场景接口。 - \*\*分阶段训练与数据配方\*\*：通过感知、语言、规划的分阶段训练策略，将驾驶监督与通用视觉-语言数据结合，在获取驾驶特定能力的同时缓解灾难性遗忘。综上，该论文试图解决的核心问题是：\*\*如何在保持预训练VLM架构和通用视觉-语言能力的前提下，将显式3D感知、驾驶场景理解与运动规划统一到一个可实际部署的端到端框架中。\*\* Q2: 有哪些相关研究？根据论文内容，相关研究可分为以下几个方向： ### 1. 驾驶视觉-语言模型与VLA框架这类研究将预训练的视觉-语言模型（VLM）通过持续训练适配到自动驾驶领域，主要依赖视觉问答（VQA）形式的监督： - \*\*DriveLM\*\* (Sima et al., 2024)、\*\*DriveGPT4\*\* (Xu et al., 2024)、\*\*OmniDrive\*\* (Wang et al., 2025b)：通过驾驶场景描述、周围智能体推理和驾驶决策解释等文本目标进行领域适配。 - \*\*Orion\*\* (Fu et al., 2025)、\*\*MindDrive\*\* (Fu et al., 2026)：探索VLA模型在自动驾驶中的应用，连接场景理解与动作生成。 - \*\*Hermes / Hermes++\*\* (Zhou et al., 2025b; 2026a)：统一的自动驾驶世界模型，用于3D场景理解与生成。 - \*\*Alpamayo-R1 / 1.5\*\* (Wang et al., 2025d)：基于思维链因果推理（Chain-of-Causation）的驾驶推理模型。 ### 2. 端到端自动驾驶与运动规划这类工作专注于从传感器输入直接生成未来自车轨迹，涵盖模仿学习与生成式方法： - \*\*UniAD\*\* (Hu et al., 2023)：面向规划的端到端自动驾驶框架，将感知、预测与规划集成。 - \*\*VAD\*\* (Jiang et al., 2023)：基于向量化场景表征的高效自动驾驶方法。 - \*\*DiffusionDrive\*\* (Liao et al., 2025)、\*\*RAP-DINO\*\* (Feng et al., 2026)：使用扩散模型或3D光栅化增强进行端到端规划。 - \*\*MindVLA-U1\*\* (Huang et al., 2026)：采用统一流式架构的VLA规划方法。 - \*\*AutoVLA / SpanVLA / ExploreVLA\*\* (Zhou et al., 2025c; 2026b; Sheng et al., 2026)：结合自适应推理、强化微调与世界模型的VLA规划方法。 - \*\*NAVSIM\*\* (Dauner et al., 2024)、\*\*WOD-E2E\*\* (Xu et al., 2026b)：提供伪闭环与开环评估基准的数据集。 ### 3. 鸟瞰图（BEV）感知与3D检测这类研究为显式3D场景理解提供基础架构，与本文提出的BEV感知头密切相关： - \*\*BEVFormer / BEVFormer-V2\*\* (Li et al., 2024b; Yang et al., 2023)：基于时空Transformer学习BEV表征。 - \*\*PETR / PETRv2\*\* (Liu et al., 2022; 2023)：通过位置嵌入变换进行多视图3D检测。 - \*\*Lift-Splat-Shoot\*\* (Philion & Fidler, 2020)：基于深度分布将图像特征提升到3D体素。 - \*\*FlashOcc\*\* (Yu et al., 2023)：快速且内存高效的语义占用预测方法。 - \*\*MonoScene\*\* (Cao & De Charette, 2022)：单目3D语义场景补全。 ### 4. 基础视觉-语言模型本文的基座模型与对比方法涉及以下通用VLM： - \*\*Qwen3.5-4B\*\* (Qwen Team, 2026a;b)：本文采用的预训练多模态模型。 - \*\*SigLIP\*\* (Zhai et al., 2023)：用于视觉-语言预训练的sigmoid损失方法。 - \*\*InternVL3.5\*\* (Wang et al., 2025c)、\*\*LLaVA-OneVision-2\*\* (An et al., 2026)、\*\*Gemma4\*\* (Team et al., 2026)：作为通用能力对比的基线模型。 - \*\*Cosmos-Reason1/2 / Cosmos3-nano\*\* (Azzolini et al., 2025; NVIDIA, 2025a; Agarwal et al., 2026)：针对物理AI与具身推理的模型系列。 - \*\*MiMo-Embodied\*\* (Hao et al., 2025a)：跨具身的基础模型，涵盖自动驾驶与机器人数据。 ### 5. 训练方法与优化技术本文采用或对比了多种训练与损失技术： - \*\*Flow Matching\*\* (Lipman et al., 2023)：用于轨迹生成的连续归一化流方法。 - \*\*Focal Loss\*\* (Lin et al., 2017)：用于密集目标检测的分类损失。 - \*\*Lovász-softmax\*\* (Berman et al., 2018)：用于地图分割与占用预测的IoU替代损失。 - \*\*Group-Relative Advantage / 策略梯度\*\* (Shao et al., 2024)：强化学习中的组内相对优势估计。 ### 6. 灾难性遗忘与持续学习 - \*\*Zhai et al., 2024\*\*：对多模态大语言模型微调中灾难性遗忘的研究。 - \*\*Luo et al., 2025\*\*：大语言模型持续微调中灾难性遗忘的实证分析。 ### 7. 数据集与评估基准 - \*\*nuScenes\*\* (Caesar et al., 2020)、\*\*OpenScene\*\* (OpenScene Contributors, 2023)：3D感知训练与评测数据。 - \*\*LingoQA\*\* (Marcu et al., 2024)、\*\*Ego3D-Bench\*\* (Gholami et al., 2026)、\*\*VLADBench\*\* (Li et al., 2025)、\*\*SURDS\*\* (Guo et al., 2025)、\*\*WaymoQA\*\* (Yu et al., 2025)：驾驶视觉问答与空间理解基准。 - \*\*PAI-AV\*\* (NVIDIA, 2025b)：大规模物理AI自动驾驶数据集。 Q3: 论文如何解决这个问题？论文通过\*\*Qwen-Drive-1.0\*\*框架，在保留预训练视觉-语言模型（VLM）架构的前提下，引入外部任务模块并设计分阶段训练与数据配方，系统性地解决了显式3D感知缺失、灾难性遗忘及能力统一等问题。具体方案如下： --- ### 1. 统一架构：VLM + 外部专用模块论文以 \*\*Qwen3.5-4B\*\* 作为共享的VLM基座，\*\*不修改其内部架构\*\*。所有多模态输入（单视图/多视图驾驶图像、时序序列、通用图像）均通过共享的视觉编码器与VLM处理。在此基础上，外挂两个专用模块： - \*\*BEV感知头（BEV Perception Head）\*\*：从共享表征中构建显式鸟瞰图表征，输出可检验的3D场景结构。 - \*\*规划专家（Planning Expert）\*\*：基于VLM缓存的键值（keys/values）生成未来自车轨迹。 --- ### 2. 显式3D感知探针：BEV感知头为弥补纯文本VQA无法约束3D空间的缺陷，论文设计了一个联合多任务的BEV感知头，作为共享VLM表征的\*\*3D探针\*\*。其流程如下： - \*\*双特征流输入\*\*：对每个视角 i ，融合视觉编码器低层特征 F_i^v （外观细节）与VLM输出的高层语义特征 F_i^m （场景上下文）。 - \*\*深度视角变换\*\*：通过轻量深度网络预测像素级深度分布 D_i ，将 F_i^v 沿相机射线提升到3D体素 V ：

V(p) = ∑_(i ∈ Omega(p)) D_i(u_i, v_i, d_i) F_i^v(u_i, v_i)

**BEV Transformer**：以高度压缩的体素特征 V 初始化查询，通过可变形交叉注意力将多尺度VLM特征聚合到BEV平面，得到融合几何与语义的BEV特征 B 。 - **多任务解码**： - **3D检测**：DETR风格解码器； - **语义占用**：沿高度维度展开 B 并与 V 融合后，经3D UNet预测体素语义； - **BEV地图分割**：UNet风格头在BEV平面进行栅格化分割。三个分支通过联合感知损失优化：
L(perc) = L(det) + L(occ) + L(map)
—- ### 3. 运动规划生成：Planning Expert 论文将轨迹预测建模为条件生成问题 τ sim p(τ mid s, ell, τ(hist), n, e, r) ，其中轨迹 τ = (x_k, y_k, θ_k)(k=1)^(50) 表示未来5秒、10 Hz的50个航点。 - **架构**：32层扩散Transformer（约1.1B参数），通过AdaLN注入流匹配时间、导航指令 n 与自车状态 e 。 - **条件机制**：缓存VLM中8层分组查询注意力（GQA）的RoPE键值，每4层Planning Expert复用一组缓存，实现轨迹token与VLM表征的联合注意力。 - **流匹配训练**：采用**端点预测（x-prediction）**参数化。设干净轨迹为 τ_1 ，噪声为 τ_0 sim N(0, I) ，线性插值路径为：

τ^((k+1)) = μ^((k)) + σ_k Phi Z_k

引入近似恢复分数（restoring score）稳定偏离预训练流的中间状态：
s_θ(τ^((k)), t_k) = -τ^((k)) - t_k hatτ_1^((k))(1-t_k)^2
使用组内相对优势（group-relative advantage）进行无价值函数的折扣策略梯度更新。 —- ### 5. 跨数据集统一的数据配方为实现异构数据上的联合训练，论文在数据层面进行了系统对齐： #### 5.1 感知数据统一 - **标签空间统一**：将nuScenes与OpenScene的标注映射到共享的粗粒度空间（7类检测、10类占用、6类地图）。对缺失类别通过离线补全（如从3D框生成占用伪标签、栅格化矢量地图赋予可行驶区域标签）。 - **空间对齐**：两数据集占用网格的原点、分辨率、坐标系不同。论文保留各自原生网格，在模型前向过程中通过可微三线性采样将预测体素特征映射到对应数据集的目标网格，实现统一头下的跨数据集训练。 #### 5.2 视觉-语言数据 - 聚合24个开源驾驶VQA数据集，使用 **Qwen3.5-Plus** 重写为统一对话格式，并用 **Qwen3.5-Flash** 进行语义一致性过滤（保留率55.9%）。 - 自建三类补充数据： 1. **规划推理数据**：基于NAVSIM/WOD-E2E/PAI-AV轨迹，使用CoC（Chain-of-Causation）格式生成因果决策推理链，经多阶段审核。 2. **相机排序任务**：打乱环视图像，要求模型仅凭视觉线索恢复顺时针相机顺序。 3. **中文感知QA**：3万条例内交通灯 grounding 与3D检测问答。 #### 5.3 规划数据统一整合NAVSIM、OpenScene、WOD-E2E、PAI-AV四个来源，将所有未来轨迹转换为当前自车坐标系下的50航点统一表示（ x,y 缩放到 $

-1,1
， θ 缩放到
-1,1
）。其中24.2%的样本附加了通过审核的文本规划推理作为条件 r 。 —- ### 6. 输入序列化策略为在不修改VLM词表的前提下区分多视图与时序信息，论文采用普通词元标签： - 视角标签：, 等8个方位。 - 帧标签：frame: k。根据不同任务采用两种序列化顺序： - Frame-major：QA任务优先按时序排列，每时刻包含全部视角。 - View-major：规划任务优先按视角排列，同一视角的连续帧相邻，以显式暴露单视角时序变化，利于动态控制。 —- 通过上述设计，论文在不改变预训练VLM架构的情况下，为VLM增加了显式、可检验的3D感知接口和运动规划能力，同时通过分阶段训练与通用数据的持续混合，显著缓解了领域适应中的灾难性遗忘，使单一模型能够同时服务驾驶与座舱场景。 Q4: 论文做了哪些实验？论文在 3D 感知、驾驶/通用视觉-语言理解、运动规划 以及 消融分析 四个维度开展了系统实验，具体总结如下。 —- ### 1. 3D 感知实验 (Sec. 3.1) 在 nuScenes 与 OpenScene 两个数据集的验证集上，评估统一 BEV 感知头的三项任务： - 3D 目标检测：mAP、NDS（修改版，因统一标签无属性，故 mAAE 置零） - 语义占用预测：Occ mIoU（语义类均值，不含 empty）、RayIoU - BEV 地图分割：前景 map 类的 mIoU 对比方法：复现了单帧版本的 BEVFormer-V2、PETR、PETRv2，以及统一多任务变体 BEVFormerV2；分别使用 ResNet-50 与 SigLIP-Qwen（与本文相同的预训练视觉编码器）作为 backbone。此外还做了 Head-only 消融（仅训练感知头，冻结 VLM 与视觉编码器）以验证预训练特征是否直接具备 3D 结构信息。 关键发现： - 完整的 Stage 2 联合训练（更新 VLM 与视觉编码器）相比 Head-only，在 nuScenes 上 mAP 提升 10.46、map mIoU 提升 9.84，证明预训练 VLM 特征需经联合适配才能释放 3D 感知能力。 - 跨数据集迁移实验中，OpenScene 的机占标签存在语义与构建伪影，导致联合训练后占用指标改善有限，但检测与地图分割显著提升。 —- ### 2. 驾驶与通用视觉-语言理解 (Sec. 3.2) #### 2.1 驾驶视觉问答 (Sec. 3.2.1) 在 5 个公共基准与 2 个自建/内部基准上评估： | 基准 | 评估重点 | 协议 | |———|————-|———| | LingoQA | 开放式驾驶问答 | LLM 裁判打分 | | Ego3D-Bench | 自我中心空间推理 | 多选准确率 + 距离估计 RMSE | | VLADBench | 细粒度驾驶能力层级 | 多选 | | SURDS | 驾驶场景空间理解与推理 | 多选/开放 | | WaymoQA | 安全关键多视图情境 | 总分 + 安全专项分 | | PAI-AV-CoC (自建) | 因果推理链（CoC） | 关键目标准确率 / 决策准确率 / 综合准确率 | | In-house (内部) | 中文城市驾驶决策 | 专家标注 | 对比方法：涵盖通用 VLM（InternVL3.5-8B、LLaVA-OV2-8B、Gemma4-12B、Qwen3.5-4B）与专用驾驶/具身模型（Cosmos-Reason1/2/3-nano、MiMo-Embodied-7B、UniDriveVLA-8B、Alpamayo-1.5-10B）。 关键结果：Qwen-Drive-1.0-SFT 的驾驶 QA 均值达到 69.43，较 Qwen3.5-4B 提升 5.91 分；在因果推理（PAI-AV-CoC 综合准确率 41.26）上大幅领先所有对比方法（次优仅 5.73），且显著缩小了 Ego3D 距离估计 RMSE（降至 7.78）。 #### 2.2 通用视觉-语言理解 (Sec. 3.2.2) 在 14 个公共基准 上验证领域适应后的通用能力保留情况： - 知识、推理与识别：MMBench、MMStar、MMMU、MMMU-Pro（标准/视觉）、CharXiv、OCRBench、RealWorldQA、SimpleVQA、CountQA - 空间理解与 Grounding：EmbSpatial-Bench、ERQA、RefSpatial-Bench、Omni3D-Bench、ODinW13 关键结果：Qwen-Drive-1.0-SFT 在知识/推理组平均 66.41，较 Qwen3.5-4B（67.40）仅下降不到 1 分；在空间/grounding 组平均 53.96，反而超过 Qwen3.5-4B（52.99）。证明大规模驾驶数据适应后，通用能力基本保持，空间能力甚至增强。 —- ### 3. 运动规划实验 (Sec. 3.3) 从开环到闭环分四个层级评估： #### 3.1 开环规划 (Open-loop) - WOD-E2E： - 验证集与测试集上报告 ADE（3 s / 5 s）与 Rater Feedback Score (RFS)。 - Qwen-Drive-1.0-SFT 在测试集达到 RFS 7.78；经 RL 后（Qwen-Drive-1.0-RL）提升至 7.91，优于同设置下的 MindVLA-U1-RL。 - 验证集上 RL 后 RFS 从 7.95 提升至 8.45，超过人类驾驶员参考值 8.13。 - PAI-AV： - 在标准 644 例分割与无泄漏 700 帧子集上，报告六条候选轨迹的 Avg. ADE 与 minADE（3 s / 5 s）。 - 带推理条件的 SFT 模型在无泄漏子集上 3 s Avg. ADE 为 0.42 m，minADE 0.39 m；RL 后略有上升（0.47 / 0.43），但换取了闭环安全性。 #### 3.2 伪闭环规划 (Pseudo-closed-loop) - NAVSIM v1.1 navtest： - 报告 PDMS 及其五项组件：NC（无碰撞）、DAC（可行驶区域合规）、EP（自车前进）、TTC（碰撞时间）、Comf.（舒适性）。 - SFT 模型达到 PDMS 88.2（带推理）；RL 后提升至 90.7，为对比方法中最高。 - Best-of-6 采样下，RL 模型可达 91.4。 #### 3.3 闭环规划 (Closed-loop) - AlpaSim（916 场景，使用 PAI-AV-NuRec 26.02 版本）： - 指标：Close Encounter Rate（全事件 / 自车责任）、Off-Road Rate（全事件 / 自车责任）、Progress、AlpaSim Score。 - RL 将 off-road rate 从 24.0% 降至 12.0%，at-fault close encounter 保持 11.0%；at-fault AlpaSim score 从 0.27 提升至 0.37。 - 代价是 progress 从 54.0% 降至 48.0%，表现为更安全但略保守的策略。 #### 3.4 定性结果论文提供了 WOD-E2E、PAI-AV、NAVSIM 及 AlpaSim 的轨迹与 BEV 可视化，展示模型在动物穿行、信号灯、施工区、交叉口等场景下的规划与推理行为，以及 RL 前后在相同场景下的轨迹修正。 —- ### 4. 消融实验与分析 (Sec. 3.4) | 实验 | 内容 | 关键结论 | |———|———|————-| | Stage 2 训练混合 (Tab. 8) | 对比：I) 原始 Qwen3.5-4B；II) 加入 VL 训练；III) 再加入 3D 感知监督。每种设置后续训练 Planning Expert 并测 WOD-E2E RFS。 | 加入 VL 训练显著提升驾驶 QA 与 CoC 推理；再加入 3D 感知后各项 VL 指标保持在一分以内，且 Stage 3 后 RFS 最高（7.96）。 | | RL 奖励设计 (Fig. 11) | 对比 NAVSIM 单源 RL vs. NAVSIM+WOD-E2E+PAI-AV 多源 RL；以及是否加入共享 ADE 位移项。 | 多源训练未产生明显负面干扰；共享 ADE 项在 WOD-E2E 上降低 5 s ADE（2.24→1.27），但 RFS 略降（8.68→8.45），用于锚定记录轨迹。 | | 规划数据规模 (Fig. 12) | 仅用 PAI-AV，从 0.17M 增至 1.38M 样本训练 Planning Expert。 | 5 s Avg. ADE 与 Avg. FDE 随数据量单调下降，1.38M 时仍未饱和。 | | 跨相机 Rig 迁移 (Fig. 13) | 直接在未参与感知训练的 WOD-E2E（8 相机）与 PAI-AV（6 相机）rig 上运行感知头。 | 无需数据集专属适配即可输出视觉上合理的 3D 框、占用与地图，表明感知通路对未见过相机配置具备一定泛化能力。 | Q5: 有什么可以进一步探索的点？基于论文第5节”Limitations and Future Work”及实验分析，可进一步探索的方向包括： —- ### 1. 多时间尺度的因果推理建模当前规划推理（Chain-of-Causation）难以稳定处理不同时间尺度上共存的原因。例如，远处红灯需要提前、平缓减速，而近处突然出现的行人需要立即响应。当此类原因共存时，模型在识别主导原因及其有效时间范围方面仍不稳定。未来可探索： - 显式建模因果链的时间层级结构 - 引入时间注意力机制或分层因果图，使模型能根据紧迫性动态选择决策依据 —- ### 2. 文本推理与轨迹生成的显式一致性约束尽管加入文本推理条件能提升规划性能（如NAVSIM PDMS提升0.4，WOD-E2E RFS提升0.02），但生成的轨迹并不总是严格遵循文本理由。部分性能增益可能源于推理链作为额外上下文提供的隐式信息，而非显式的因果遵循。未来工作可探索： - 在训练目标中加入推理-轨迹对齐损失，强制轨迹与文本理由在逻辑上一致 - 设计可微或基于采样的一致性检验机制，使模型对”为何选择此轨迹”负责 —- ### 3. 跨任务表征的更深层次对齐当前3D感知、视觉问答与运动规划三项任务在输入格式上存在差异： - 感知使用单帧环视图像 - VQA使用帧优先（frame-major）序列化 - 规划使用视角优先（view-major）序列化，且图像分辨率不同（历史帧320p，当前帧720p）这种配置差异可能限制共享表征的迁移效率。未来可探索： - 统一的时空输入表示与分辨率策略 - 更紧密的联合优化目标，使感知特征直接服务于规划需求，反之亦然 —- ### 4. 强化学习策略的进一步精细化闭环仿真（AlpaSim）显示，RL在显著降低off-road率（24.0% → 12.0%）的同时，progress从54.0%下降至48.0%，表现为更安全但更保守的策略。此外，at-fault AlpaSim得分（0.37）仍低于Alpamayo-1.5（0.45）。可探索： - 在奖励函数中更精细地平衡安全性与通行效率 - 探索除PDMS、RFS、ADE外的更多闭环优化目标（如社会合规性、乘客舒适度） - 缩短视觉历史采样间隔（当前为0.5s × 4帧），提升对快速动态场景的响应能力 —- ### 5. 数据规模与跨数据集泛化图12表明，在PAI-AV上从0.17M增至1.38M样本时，5s ADE与FDE持续下降且未饱和。同时，跨数据集占用预测（OpenScene）受限于机器生成标签的伪影，联合训练改善有限。未来可探索： - 继续扩展规划数据的训练规模 - 开发更鲁棒的跨数据集标签对齐与去噪方法，尤其是占用预测的体素级语义一致性 —- ### 6. 未见相机配置的定量迁移定性实验（图13）表明，BEV感知头在未参与训练的相机rig（WOD-E2E的8相机环视、PAI-AV的6相机rig）上仍能输出视觉上合理的3D框、占用与地图。然而，由于缺乏统一真值，未能建立可靠的定量评估。未来可探索： - 构建跨rig的基准测试协议 - 开发轻量级的域自适应或相机几何编码方法，提升跨平台部署时的3D精度 —- ### 7. 感知-规划-推理的端到端联合强化当前Stage 4强化学习仅优化Planning Expert，而VLM与视觉编码器保持固定。未来可探索： - 在保障通用能力的前提下，部分解锁VLM参数进行端到端驾驶强化学习 - 将BEV感知头的输出（如碰撞风险、可行驶区域）作为RL的状态输入或奖励塑造（reward shaping）来源，实现感知-规划的闭环优化 Q6: 总结一下论文的主要内容这篇论文提出了 Qwen-Drive-1.0，一个面向自动驾驶的视觉-语言基础模型，旨在将 3D 感知、驾驶场景理解与运动规划统一到单个预训练视觉-语言模型（VLM）中，同时保留其通用视觉-语言能力。 ### 1. 研究动机与问题当前驾驶视觉-语言-动作（VLA）模型主要通过驾驶场景的视觉问答（VQA）对预训练 VLM 进行领域适配，但存在两个关键局限： - 缺乏显式 3D 约束：文本监督无法直接要求或评估 3D 空间布局、深度与占用预测，导致模型在 3D 空间中可能不精确。 - 灾难性遗忘：过度领域适应会损害预训练获得的通用视觉与世界知识，而这些知识对罕见和分布外（OOD）场景至关重要。此外，量产车辆趋向座舱-驾驶一体化部署，要求单一模型同时服务驾驶任务与通用座舱交互，因此必须在获得驾驶能力的同时保留通用视觉-语言理解。 ### 2. 方法框架 Qwen-Drive-1.0 以 Qwen3.5-4B 为共享 VLM 基座，不修改其内部架构，并引入两个外部模块： #### 2.1 BEV 感知头（3D 探针）作为显式 3D 探针，联合执行： - 3D 目标检测 - 语义占用预测 - *BEV 地图分割该头融合视觉编码器的低层特征 F_i^v 与 VLM 的高层语义特征 F_i^m ，通过深度视角变换构建 3D 体素，再经 BEV Transformer 聚合为鸟瞰图表征 B$：

V(p) = ∑_(i ∈ Omega(p)) D_i(u_i, v_i, d_i) F_i^v(u_i, v_i)

2.2 规划专家（Planning Expert）基于 VLM 缓存的键值（keys/values），通过 32 层扩散 Transformer 与流匹配（flow matching）生成未来自车轨迹。采用端点预测参数化，直接估计干净轨迹 τ_1 ：

τt = (1-t)τ_0 + tτ_1
训练目标结合流匹配损失与时序正则项：
L(plan) = L(fm) + 2 × 10^(-4) L(Delta 1) + 2 × 10^(-5) L_(Delta 2)

2.3 分阶段训练策略 - Stage 1：冻结 VLM，预训练 BEV 感知头。 - Stage 2：联合训练感知头、视觉编码器与 VLM，混合 3D 感知、驾驶 VQA 与通用视觉-语言数据（感知头学习率为 VLM 的 20 倍）。 - Stage 3：冻结 VLM，通过流匹配预训练 Planning Expert。 - Stage 4：基于任务级奖励（PDMS、Rater Score、ADE）对 Planning Expert 进行强化学习优化，引入低维子空间随机探索与恢复分数稳定训练。 #### 2.4 跨数据集数据统一 - 标签统一：将 nuScenes 与 OpenScene 的异构标注映射到共享的 7 类检测、10 类占用、6 类地图空间，并通过离线补全处理缺失类别。 - 空间统一：保留各数据集原生体素网格，通过可微三线性采样实现模型前向过程中的空间对齐。 - 规划数据统一：将 NAVSIM、OpenScene、WOD-E2E、PAI-AV 的未来轨迹转换为当前自车坐标系下的 50 航点（5 秒，10 Hz）标准表示。 ### 3. 实验结果 #### 3.1 3D 感知在 nuScenes 与 OpenScene 上，Qwen-Drive-1.0-SFT 达到： - nuScenes：43.95 mAP，60.99 map mIoU - OpenScene：43.45 mAP，71.27 map mIoU 相比仅训练感知头的基线，联合适配 VLM 后 nuScenes mAP 提升超过 10 点，证明预训练特征需经适配才能释放 3D 感知能力。 #### 3.2 驾驶视觉-语言理解在 LingoQA、Ego3D-Bench、VLADBench、SURDS、WaymoQA 及自建的 PAI-AV-CoC 基准上： - 驾驶 QA 平均达 69.43，较 Qwen3.5-4B 提升 5.91 分。 - 因果推理（CoC）综合准确率达 41.26，远超对比方法（次优仅 5.73）。 - Ego3D 距离估计 RMSE 降至 7.78。 #### 3.3 通用视觉-语言能力在 14 个通用基准上，知识/推理组平均 66.41（较基线下降不到 1 分），空间理解/grounding 组平均 53.96（反超基线），表明驾驶适应后通用能力基本保持。 #### 3.4 运动规划 - WOD-E2E（开环）：测试集 RFS 达 7.91（RL 后），为对比方法最优。 - NAVSIM（伪闭环）：PDMS 达 90.7（RL 后），Best-of-6 采样可达 91.4。 - AlpaSim（闭环）：RL 将 off-road 率从 24.0% 降至 12.0%，at-fault close encounter 保持 11.0%。 ### 4. 局限与未来方向 - 多时间尺度因果推理：当前 CoC 推理对共存原因的时间紧迫性区分不稳定。 - 推理-轨迹一致性：文本理由与生成轨迹之间缺乏显式约束。 - 跨任务输入对齐：感知、VQA、规划在时序、分辨率上的差异可能限制表征迁移。 - 数据规模：规划性能随数据量增加仍未饱和，可继续扩展。 - 闭环效率与安全平衡：RL 后策略更安全但也更保守，progress 有所下降。 ### 5. 核心贡献 - 首次在不修改预训练 VLM 架构的前提下，将 3D 感知、驾驶 VQA 与运动规划统一于单一视觉-语言基础模型。 - 引入外部 BEV 感知头作为显式 3D 探针，使 VLM 具备可检验的 3D 场景输出。 - 提出分阶段训练与数据配方，在获得驾驶能力的同时显著缓解灾难性遗忘。 - 设计基于流匹配与强化学习的 Planning Expert，在开放/伪闭环/闭环评估中均取得竞争力表现。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xin Zhou,Zongchuang Zhao,Zhibo Yang,Mingsheng Li,Humen Zhong,Shuai Bai,Du Chu,Ruizhe Chen,Zhaohai Li,Jun Tang,Qiuyue Wang,Mingkun Yang,Jiazhao Zhang,Dayiheng Liu,Dingkang Liang,Xiang Bai

Categories:

PDF URL: https://arxiv.org/pdf/2609.00111.pdf

Arxiv URL: https://arxiv.org/abs/2609.00111

Arxiv ID: 2609.00111

CoolPaper URL: https://papers.cool/arxiv/2609.00111

Published: 2026-09-03T01:26:26.906Z

Updated: 2026-09-03T01:26:26.906Z

3. SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

Abstract:Looped Transformers increase effective depth by iterating a shared block of layers, but most evaluations compare at fixed model size, conflating architectural advantage with extra FLOPs. We study looping on Mixture-of-Experts Transformers while closely matching per-token FLOPs, total non-embedding parameters, and KV cache. Through a series of ablations, we arrive at a recipe we call SMELT (Sparse MoE Transformer, middle layers Loop Twice), which loops the middle half of layers twice while matching the unlooped Baseline on all three budgets. We scale SMELT across four sizes up to 54B non-embedding parameters and fit a separate Chinchilla-style scaling law for each architecture. SMELT’s loss drops faster with compute, saving 6.8—18.0\% of training FLOPs on the compute-optimal frontier. The advantage transfers to downstream benchmarks beyond what validation loss predicts, is largest on Code, and grows with sample length and the number of in-context examples. Mechanistic analysis shows that the second visit reduces the attention sink and redirects mass toward content-relevant tokens, an inductive bias that may underlie the observed performance gains. These results show that looping can improve Transformers even under budget matching, offering a practical recipe that turns depth reuse into measurable gains.

中文摘要

摘要：循环变压器通过迭代共享的层块来增加有效深度，但大多数评估是在固定模型规模下进行的，这将架构优势与额外的 FLOPs 混为一谈。我们研究了在 Mixture-of-Experts 变压器上的循环，同时严格匹配每个 token 的 FLOPs、总非嵌入参数和 KV 缓存。通过一系列消融实验，我们得出了一种称为 SMELT（Sparse MoE Transformer，中间层循环两次）的方案，它对中间一半的层循环两次，同时在三个预算上匹配未循环基线。我们将 SMELT 扩展到四种规模，最大达到 540 亿非嵌入参数，并为每种架构拟合了单独的 Chinchilla 风格的扩展定律。SMELT 的损失随计算量下降更快，在计算最优前沿节省了 6.8—18.0% 的训练 FLOPs。这一优势传递到下游基准测试中，超出了验证损失的预测，在代码任务中表现最大，并随着样本长度和上下文示例数量的增加而增强。机理分析显示，第二次访问减少了注意力汇聚，并将注意力重新导向内容相关的 token，这一归纳偏置可能是观察到性能提升的基础。这些结果表明，即使在预算匹配的情况下，循环也能提升变压器性能，提供了一种将深度重用转化为可衡量收益的实用方案。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决循环Transformer（Looped Transformers）在评估时面临的\*\*计算预算混淆问题\*\*，并验证其在严格资源约束下是否真正具备架构层面的优势。具体而言，论文试图解决以下几个核心问题： --- ### 1. 剥离额外计算带来的虚假优势现有研究在评估循环Transformer时，通常固定模型参数量但增加循环次数，这导致循环模型消耗了更多的每token FLOPs和更大的KV缓存。这种设置无法区分性能提升究竟来自\*\*架构本身的归纳偏置\*\*，还是仅仅来自\*\*额外的计算开销\*\*。论文明确指出，一个干净的答案需要同时固定三大预算： - \*\*每token FLOPs\*\*（训练与推理的计算成本） - \*\*总非嵌入参数量\*\*（模型容量与知识存储上限） - \*\*KV缓存大小\*\*（可服务的上下文长度上限） --- ### 2. 在MoE架构下实现三重预算匹配在Dense Transformer中，同时匹配上述三项预算极为困难：循环带来的额外FLOPs迫使模型变窄，从而不可避免地损失参数量。论文利用\*\*混合专家模型（MoE）解耦总参数量与每token激活参数\*\*的特性，通过以下方式实现预算匹配： - 缩小隐藏维度（narrowing hidden dimension）以抵消循环带来的FLOPs增长 - 增加专家数量（raising expert count）以恢复总参数量 - 调整注意力头大小与GQA比例以控制KV缓存在此基础上，论文通过消融实验确定了最优循环配置——\*\*SMELT\*\*（Sparse MoE Transformer, middle layers Loop Twice）。 --- ### 3. 验证循环优势的规模外推性与量化节省论文不仅希望在单点实验上证明SMELT有效，更试图回答： - 该优势是否能在\*\*完整的扩展阶梯\*\*（从0.1B到54B非嵌入参数）上持续存在？ - 能否为两种架构分别拟合\*\*Chinchilla风格的扩展规律（Scaling Laws）\*\*，从而将点状观察转化为可外推的、可归因的量化结论？为此，论文在四个规模、四个稀疏度级别上训练了匹配模型对，并独立拟合了各自的损失曲面。结果显示，SMELT的扩展前沿（compute-optimal frontier）下降更快，可在相同损失下节省 \*\*6.8%–18.0%\*\* 的训练FLOPs。 --- ### 4. 探究下游任务与内部机制论文进一步验证循环优势是否超越验证损失（validation loss），并试图解释其内在机制： - \*\*下游任务\*\*：SMELT在DCLM Core、MMLU等基准上的提升超出了验证损失差距所预测的程度，且在\*\*代码\*\*、\*\*长序列\*\*和\*\*上下文学习（ICL）\*\*场景下优势最为显著。 - \*\*机制分析\*\*：通过探针实验发现，第二次循环访问会减少\*\*注意力汇聚点（attention sink）\*\*，将注意力质量重新导向内容相关的token，同时残差更新幅度更大且与第一次访问方向一致，表明第二次访问是对第一次的\*\*放大与精炼\*\*，而非覆盖。 --- ### 总结该论文试图解决的根本问题是：\*\*在完全匹配计算成本、模型容量和推理内存的前提下，循环Transformer是否仍能系统性地提升语言建模性能？\*\* 论文通过MoE架构下的SMELT配方、跨规模扩展规律拟合以及机制分析，给出了肯定的答案，证明深度权重复用是一条在预算约束下切实可行的模型改进轴心。 Q2: 有哪些相关研究？根据论文第2节（Related Work），相关研究围绕四个主要方向展开： --- ### 1. 循环Transformer（Looped Transformers）这一类研究关注通过权重共享跨深度迭代计算，以解耦有效深度与独立参数数量： - \*\*Universal Transformer\*\*

18
：最早引入跨层权重共享，通过迭代应用共享块实现。 - **Huginn**
22
：将循环扩展至3.5B参数，采用”prelude–recur–coda”布局（如2–4–2层），循环中间50%的层，成为后续工作的模板。 - **Ouro**
68
：采用不同分区策略，循环整个 L 层堆栈（100%循环）。 - **Saunshi et al.**
54
：在等参和等FLOP基线下比较循环模型，发现循环中间块（middle-block looping）在困惑度上优于全栈循环，且对推理任务有不成比例的改进。 - **Kapl et al.**
30
：发现在其测试的块放置方案中，局部中间块适应循环效果最强。 - **SOLAR**
32
：采用非绑定的深度上缩放（depth-up-scaling），同样针对中间层进行复制以扩展预训练模型。 - **ALBERT**
35
：跨所有层共享权重，是早期全跨层绑定的实例。 - **Relaxed Recursive Transformers**
4
：引入每层LoRA适配器以放松严格的权重绑定。 - **Mixture-of-Recursions**
5
：为每个token路由到学习的递归深度。 - **Schwethelm et al.**
55
：在固定每token FLOPs下比较Dense循环模型，发现 r 次循环相当于 r^(0.46) 个独立块，但固定FLOPs也缩小了独立参数，难以分离参数损失与循环本身的影响。 - **RINS**
3
：通过减少训练token来匹配总训练计算量，而非匹配每token预算。 - **Prairie et al.**
47
：在固定唯一参数下拟合计算最优循环，但深度、推理FLOPs和KV缓存均随循环次数增长。 —- ### 2. 混合专家模型（MoE）与循环递归利用MoE解耦总参数量与每token激活参数的特性，使三重预算匹配（FLOPs、参数、KV缓存）成为可能： - **MoEUT**

15
：首次提出基于MoE的通用Transformer，在语言建模上匹配标准Transformer。 - **Lee et al.**
36
：发现稀疏层对扩展循环模型至关重要，因为跨访问的路由发散（routing divergence）恢复了因权重绑定而损失的表达能力。 - **LoopMoE**
10
：在3B和9B规模下同时匹配总参数和每token FLOPs。 - **Gao et al.**
21
：在6B和20B规模下匹配墙钟训练时间，独立发现两步循环最优，与本文的循环次数消融结果相互印证。 - **Knupp et al. (DREAMER)**
33
：在匹配FLOPs、参数和内存的条件下，将单层MoE递归应用16–32次，并引入跨先前深度的注意力机制；论文将其视为更接近隐式深度模型而非块级循环。 - **Chen et al.**
11
：跨层共享通用专家池，将深度转换为虚拟MoE宽度而非循环完整层块。 —- ### 3. 扩展规律（Scaling Laws） - **Kaplan et al.**

31
：建立了损失、模型大小与训练token之间的幂律关系。 - **Hoffmann et al. (Chinchilla)**
27
：精炼了计算最优分配策略，证明参数与token应随计算量以大致相等的速率扩展。 - **Clark et al.**
12
与 **Abnar et al.**
1
：将扩展规律扩展至MoE模型，引入专家数量、路由变量（如稀疏度 S ）等参数。 - **Li et al.**
38
：研究在严格同等资源下MoE超越Dense模型的条件。 - **Schwethelm et al.**
55
：在固定有效深度（因此FLOPs与KV缓存固定）下拟合联合扩展规律，提出循环块的有效参数为 N(once) + r^(0.46) N(rec) ，指出循环在固定深度下呈次线性收益。 - **Prairie et al.**
47
：在固定唯一参数下拟合计算最优循环，但无法将每参数共享成本与增长的预算分离。 —- ### 4. 注意力汇聚点（Attention Sinks） - **Xiao et al.**

63
：识别自回归Transformer中的注意力汇聚现象（初始token聚集大量注意力质量），并将其用于流式推理。 - **Gu et al.**
23
：表征汇聚点在预训练期间何时出现。 - **Sun et al.**
58
：将汇聚点与残差流中的大规模激活联系起来，并指出视觉模型中存在类似的寄存器效应（register effect）。 - **Barbero et al.**
6
：认为汇聚点对抗过度混合（over-mixing），因此随深度增强。 - **Ruscio et al.**
52
：从几何角度观察到同样的深度趋势。 - **Qiu et al.**
48
：展示在注意力后引入查询依赖的sigmoid门控可显著缓解汇聚点。这些工作均将汇聚点视为训练后模型的静态属性，而本文的机制分析（第6节）补充了动态观察：**在同一次前向传播内，第二次权重绑定访问会降低汇聚点质量，并将其重新导向内容相关token**。 Q3: 论文如何解决这个问题？论文通过一套“预算匹配—消融定配方—规模化验证—机制解释”的完整研究链条，系统性地解决了如何在严格受控的资源条件下评估并优化循环Transformer的问题。具体方法如下： —- ### 1. 建立三重预算匹配框架为了剥离循环带来的额外计算开销，论文首先确立必须同时锁定的三大预算： - **每token FLOPs**：决定训练与推理的算术成本； - **总非嵌入参数量**：决定模型的知识容量上限； - **KV缓存大小**：决定可服务的上下文长度。在Dense Transformer中，同时固定这三者几乎不可能：增加循环深度必然增加FLOPs，若通过缩窄隐藏维度来抵消，则会同步损失参数量与KV缓存。论文利用**MoE解耦总参数量与每token激活参数**的特性，将预算匹配转化为一个计算分配问题： - **缩小隐藏维度 H ** 以抵消循环带来的FLOPs增长； - **增加每层专家数量** 以恢复因缩窄而损失的总参数量； - **调整注意力头大小与GQA比例** 以将KV缓存差异控制在4%以内。最终，论文定义了**计算等价稀疏度** S 来衡量匹配程度：

S = 1 - N(eq)^(act)N, quad N(eq)^(act) = (F) / (F_0)N_0
其中 F_0, N_0 为全激活Dense控制组的每token FLOPs与参数量， F, N 为待评估模型的对应值。所有对比均在 S ≈ 85%, 95%, 97% 及Dense参考控制（ S=0% ）下进行。 —- ### 2. 通过消融实验确定SMELT架构配方在200M活跃参数规模上，论文对循环Transformer的设计空间进行三项关键消融，以锁定最优配方（称为 **SMELT**：Sparse MoE Transformer, middle layers Loop Twice）： - **循环层段选择**：固定物理深度 L=12 ，测试从0%到100%的连续中间循环跨度。验证损失在**中间50%层段**处达到最小，表明首尾层承担专门化功能，不宜共享。 - **有效深度-宽度比**：在固定50%循环跨度的前提下，扫描不同物理深度与有效深度组合。发现循环Transformer的最优有效深度-宽度比**大于**基线（Baseline最优为物理深度12，SMELT最优为物理深度12、有效深度18），表明权重共享使模型能更好地利用额外的串行计算。 - **循环次数**：在固定跨度与物理深度下，测试1至4次访问。由于预算匹配会随循环次数增加而强制缩窄模型，**两次循环（ r=2 ）**在所有指标上均最优；三次或四次循环均因模型过窄而退化。由此确立SMELT的三条设计规则：循环中间一半层、采用更大的有效深度-宽度比、且仅循环两次。循环块内的残差更新按 1/r 缩放，以防止权重绑定导致的残差流膨胀。 —- ### 3. 跨规模训练与独立缩放定律拟合为验证点状观察是否可外推，论文在 **4个规模**（活跃参数100M/200M/600M/1.6B，对应非嵌入参数最高达54B）与 **4个稀疏度级别** 的完整网格上训练，每个配置通过WSD调度器产生6个不同的数据衰减分支，共获得192个评估端点。论文为两种架构分别拟合独立的Chinchilla风格缩放曲面：

L(F, S, D) = E + A((1-S)^b) / (F^a) + (K) / (D^c)
其中 F 为实测每token训练FLOPs， D 为训练token数。拟合结果显示： - SMELT的容量指数 a （0.3892 vs. 0.3703）与数据指数 c （0.7011 vs. 0.6594）均高于基线； - 计算最优前沿指数 γ = (ac) / (a+c) 为0.250，高于基线的0.237； - 在 C=10^(21) FLOPs 时，SMELT可节省 **14.7%** 的训练计算（在 S≈97% 时），且CE Gain随计算量增长而扩大。 —- ### 4. 下游任务与领域级分析论文进一步检验验证损失的降低是否转化为下游任务收益： - 在 **DCLM Core**、**DCLM Completion** 与 **MMLU** 上，SMELT在绝大多数匹配对中胜出； - 通过拟合验证损失到基准成绩的单调Sigmoid映射，发现SMELT的下游优势**超出**验证损失差距本身所预测的程度，且该超额收益随规模单调增长； - 按训练领域分解后，**Code** 领域的计算效率增益最高（20.4%），其次是Math/STEM（16.6%）与Finance（16.8%），表明循环对结构化数据的助益最大； - 按样本长度分析，SMELT的收益**集中于长样本**（512–4096 token区间的增益是32–256 token区间的1.52倍）； - 在上下文学习（ICL）中，SMELT在提供示例后（ k ≥ 1 ）的准确率 gap 从0.9 pp 扩大至1.9 pp，在Dyck Languages等演示敏感任务上优势随示例数持续增加。 —- ### 5. 内部机制探测与解释为理解第二次循环访问的内部行为，论文在1M token保留集上运行探测实验： - **专家路由**：两次访问的专家选择重叠显著高于随机水平（在 S≈97% 时仍有2–3/8的重叠），表明第二次访问复用核心专家子集并适度多样化。 - **残差流更新**：第二次访问的注意力与MoE子层写入范数均**大于**第一次（全网格内更新范数比为1.2–3.5×），且残差更新方向的余弦相似度为正（平均0.56），说明第二次访问**放大**而非覆盖第一次的信号。 - **注意力坐标与值**：查询 Q 与键 K 的跨访问余弦相似度保持在0.89–0.93，而值 V 与输出 O 显著发散（0.49–0.64），表明检索坐标（关注位置）被保留，但读取内容被更新。 - **注意力汇聚点（Attention Sink）**：在Dyck语言案例及通用预训练数据上，第二次访问**显著降低**了对初始token（BOS）的注意力汇聚质量（从0.60降至0.02），并将质量重新分配至内容相关的演示答案token。此效应在常规Transformer中通常随深度增加而增强，但在SMELT的第二次访问中被**逆转**。综上，论文通过严格的预算匹配协议、系统性的架构消融、跨数量级的扩展规律分析以及细粒度的内部机制探测，证明了在完全对等的资源条件下，循环Transformer仍具备可度量、可扩展且可解释的架构优势。 Q4: 论文做了哪些实验？论文围绕“预算匹配下的循环Transformer评估”这一核心，设计并执行了从架构消融、规模化训练到内部机制探测的完整实验体系。以下是主要实验的系统性梳理： —- ### 1. 架构消融实验（锁定SMELT配方）在 **200M活跃参数规模** 上，通过三项消融实验确定循环层段、深度-宽度比与循环次数的最优配置，所有实验均在严格匹配每token FLOPs、总参数量与KV缓存的条件下进行。 - **循环层段选择（Section 3.3 / Table 3）** 固定物理深度 L=12 与两次循环，测试循环层段占全栈比例从0%（基线）到100%（全栈循环）的连续取值，跨越 S ≈ 85% 与 S ≈ 95% 两个稀疏度。 **关键发现**：验证损失在 **50%中间层段** 处达到最小，显著优于全栈循环或浅层循环。 - **有效深度-宽度比（Section 3.4 / Table 4）** 固定50%循环跨度与两次循环，扫描不同的物理深度 L 与有效深度 L_(eff) 组合，重新匹配每配置的架构超参数。 **关键发现**：循环Transformer的最优有效深度-宽度比 **大于** 非循环基线（基线最优为深度12，SMELT最优为物理深度12/有效深度18）。 - **循环次数（Section 3.5 / Table 5）** 固定50%跨度与物理深度，在匹配FLOPs约束下测试 r ∈ 1, 2, 3, 4 次访问（对应有效深度12/18/24/30）。 **关键发现**：**两次循环** 在验证损失与下游指标上均最优；更多循环因强制缩窄模型而退化。 —- ### 2. 规模化训练与缩放定律拟合在消融确定的SMELT配方基础上，构建 ** 4 × 4 完整训练网格**（4个活跃参数规模：100M/200M/600M/1.6B，对应非嵌入参数最高54B；4个稀疏度： S = 0%, 85%, 95%, 97% ），每个配置训练6个余弦衰减分支，共产生192个评估端点。 - **训练动态验证（Section 4.1 / Figure 2, 3, Appendix B）** 记录所有16个网格单元的训练损失曲线（稳定阶段+衰减分支）。结果表明，SMELT（红色）在 **全部16个单元** 中均持续低于基线（蓝色）。Figure 3进一步将token轴转换为累积训练FLOPs，验证在同等计算预算下SMELT的验证损失更低。 - **独立缩放曲面拟合（Section 4.2–4.3 / Table 6, Figure 4, Table 7, Table 8）** 对基线与SMELT分别拟合Chinchilla风格的MoE扩展定律：

L(F, S, D) = E + A((1-S)^b) / (F^a) + (K) / (D^c)
使用72个基线端点与72个SMELT端点（ S ∈ 85%, 95%, 97% ）进行Huber-loss优化。 **关键发现**：SMELT的容量指数 a 与数据指数 c 均更高，计算最优前沿指数 γ = ac/(a+c) 达0.250（基线为0.237）。在 C = 10^(21) FLOPs 时，SMELT节省 **14.7%**（ S≈97% ）至 **18.0%**（ S≈85% ）的训练计算（Table 7）。两者在计算最优分配（tokens per dense-equivalent parameter）上无显著差异（Table 8）。 —- ### 3. 下游任务与领域分析在DCLM Core 22任务集、DCLM Completion（9个自由生成任务）及MMLU 5-shot上评估模型表现。 - **基准性能对比（Section 5.1 / Figure 5–7）** 在96对匹配模型中，SMELT在DCLM Completion上胜出96/96，在DCLM Core上83/96，在MMLU上29/30（排除接近随机水平的基线）。 - **超越验证损失的预测（Section 5.1 / Figure 8–9）** 基于基线数据拟合验证损失到下游指标的Sigmoid映射 m(ell) ，计算SMELT的残差 δ_i 。结果显示SMELT在所有基准上的 **正向残差随规模单调增长**，表明其下游优势超过验证损失差距本身所能解释的程度。 - **领域级计算效率分解（Section 5.2 / Figure 10）** 共享缩放定律指数 (a,b,c) ，仅拟合各领域（Code、Math/STEM、Finance、Knowledge、Web）或基线损失四分位数（Q1–Q4）的独立截距，计算各子集的CE Gain。 **关键发现**：Code领域增益最高（20.4%），Web最低（14.8%）；基线已建模良好的数据（Q1）增益反而高于困难数据（Q3）。 - **样本长度与上下文学习（ICL）分析（Section 5.3 / Figure 11, Appendix C）** - **长度**：将验证集按文档长度分8个桶（32–4096 tokens），SMELT在长样本（512–4096 tokens）上的归一化增益是短样本（32–256 tokens）的 **1.52倍**。 - **ICL**：在16个少样本任务上测试 k ∈ 0,1,2,4,8 （部分任务至32）的示范数量。SMELT与基线的差距从 k=0 时的0.9 pp扩大至 k ≥ 1 时的1.9 pp；在Dyck Languages等示范敏感任务上，差距随 k 持续扩大（Figure 11c）。 —- ### 4. 内部机制探测实验为解释第二次循环访问的内部行为，在1M token保留验证集上执行细粒度探针分析。 - **专家路由稳定性（Section 6.1 / Figure 12）** 统计同一token在同一物理MoE层两次访问的top-8专家集合重叠。在 S≈97% 的大专家池中，重叠仍有2–3个，显著高于随机水平，表明第二次访问 **复用核心专家并适度多样化**。 - **残差流更新幅度与方向（Section 6.2 / Figure 13, 14, 15）** 测量循环块内每次访问的残差更新 Delta x_ell 范数、注意力写入 Delta x_ell^(attn) 范数、MoE写入 Delta x_ell^(moe) 范数及其比值。全网格（ 4×4 ）中第二次访问的更新范数为第一次的 **1.2–3.5倍**；残差更新的跨访问余弦相似度为正（0.42–0.65，均值0.56），表明第二次访问 **沿相似方向放大** 第一次的更新。 - **注意力坐标与内容分解（Section 6.3 / Figure 16, 17）** 计算注意力各阶段（pre-norm输入 X 、查询 Q 、键 K 、值 V 、上下文 PV 、输出 O ）的跨访问余弦相似度。 **关键发现**： Q 与 K 高度相似（0.89–0.93）， V 显著发散（0.65–0.74）， PV 与 O 进一步发散。Top-8注意力token集合的跨访问重叠达 **56–66%**（对照组不同头间仅28–34%），说明 **检索坐标（位置）保留，读取内容（值）更新**。 - **注意力汇聚点（Attention Sink）案例与一般性分析（Section 6.4 / Figure 18, 19, Appendix D）** - **Dyck语言**：在 k=4 的嵌套括号匹配任务中，定位对任务最关键的注意力头。第二次访问将BOS汇聚质量从0.60降至0.02，并将质量转移至演示答案token（从0.24升至0.85）。 - **通用数据**：在1M token全类别数据上，第二次访问 **系统性降低** 了几乎所有头的段首（segment-start）汇聚质量（Figure 19a），且该趋势 **逆转** 了常规Transformer中汇聚质量随深度增加而增强的现象（Figure 19b, Appendix D）。 —- ### 5. 模型配置与训练协议验证 - **预算匹配精度（Section 3.2, Appendix A / Table 9, 10）** 报告全部16个网格单元的完整架构配置（隐藏维度、物理深度、专家总数/激活数、参数量、FLOPs比值、KV缓存比值）。在12个稀疏单元中，per-token FLOPs差异 <4% ，总参数差异 <1% ，KV缓存差异 <4% 。 - **评估协议（Appendix E）** 详细定义DCLM Core中心化准确率、DCLM Completion微损失、10随机种子少样本评估、BOS Q5: 有什么可以进一步探索的点？基于论文的局限性与开放讨论，以下是可以进一步探索的研究方向： —- ### 1. 更大规模下的消融验证与配方迁移论文的设计消融（循环层段、深度-宽度比、循环次数）均在 **200M活跃参数规模**（对应最多3.9B非嵌入参数）上完成。一个直接的问题是：SMELT确定的“中间50%层段循环两次”这一配方是否在 **数十亿乃至百亿参数规模** 上仍然最优？随着模型规模增长，最优循环跨度、最优有效深度-宽度比以及最优循环次数 r 可能发生迁移。未来工作可以在更大规模上独立重复这三项消融，验证SMELT配方的外推鲁棒性，或发现新的规模依赖规律。 —- ### 2. 更丰富的循环与权重共享变体论文仅研究了最简单形式的循环：**完全共享权重的连续块重复**。第7节指出，多种放松此约束的变体值得在预算匹配框架下检验： - **每访问低秩适配器（LoRA）**：如 Relaxed Recursive Transformers

4
，在严格权重绑定基础上为每次访问添加轻量级适配器，可能在不显著增加参数与FLOPs的前提下恢复更多表达能力。 - **Token级自适应递归深度**：如 Mixture-of-Recursions
5
，根据输入内容动态决定循环次数，可能在预算匹配下实现不均匀计算分配。 - **学习停止机制（Learned Halting）**：如 Depth-adaptive Transformer
19
，允许模型自主决定何时退出循环，避免对简单token进行不必要的重复计算。 - **块选择性共享（Block-selective Sharing）**：如 Kapl et al.
30
所探索，不同层块可能适用不同程度的权重共享。 - **跨Token状态重用（Cross-token State Reuse）**：如 T2MLR
9
，在中间层引入时间维度上的跨token递归。关键问题变为：这些变体在同时匹配FLOPs、参数和KV缓存的严格条件下，能否 **保持甚至放大** SMELT所观测到的计算效率增益（CE Gain）？ —- ### 3. 从描述性机制分析到因果解释第6节的探测实验（专家路由、残差流、注意力模式）是 **描述性** 的：它们揭示了第二次访问“做了什么”（如放大残差更新、减少注意力汇聚点），但尚未建立 **因果链接** 以证明这些内部变化是性能提升的根本原因。未来研究可以： - 通过 **干预实验**（如强制固定第二次访问的注意力分布或专家选择）量化各内部现象对下游损失的独立贡献； - 构建 **可解释的循环动力学模型**，将第二次访问的残差放大与注意力重分配形式化为可优化的归纳偏置； - 在更可控的合成任务（如Dyck Languages的变体）上建立从注意力汇聚点减少到上下文检索准确率提升的严格因果链。 —- ### 4. 硬件感知与墙钟效率优化论文的预算匹配以 **算术FLOPs、参数量与KV缓存** 为锚点，而非实际 **墙钟时间（wall-clock time）**。MoE的稀疏路由与循环的串行块重执行可能引入实际的系统效率差距： - **内存带宽瓶颈**：循环架构减少了权重存储量，但重复读取同一权重可能改变内存访问模式； - **稀疏路由开销**：专家选择的动态性可能导致GPU利用率下降； - **流水线并行效率**：串行循环深度可能影响张量并行与流水线并行的最优划分。未来工作可以在保持算法预算匹配的前提下，进行 **联合系统-算法协同设计**（如定制内核融合、循环块的持久化缓存、专家放置策略），将SMELT的理论计算节省转化为实际的训练与推理加速。 —- ### 5. 自适应与动态循环策略论文在所有输入上采用 **固定的两次循环**。然而，不同样本或不同token的难度差异显著： - 是否可以对 **简单token** 仅执行一次循环，而对 **复杂token**（如代码结构、长距离依赖）执行两次或更多次？ - 循环深度是否可以作为 **可学习的函数**，基于当前层的隐藏状态动态决定？这种动态策略在预算匹配框架下更具挑战性，因为它要求 **期望FLOPs** 而非逐token FLOPs 保持恒定，但可能进一步提升有效计算利用率。 —- ### 6. 与测试时计算（Test-Time Compute）的深度结合 SMELT通过在训练时固定循环深度来增加有效计算。一个相关的维度是 **测试时计算扩展**：循环Transformer是否可以作为一种统一的架构，同时容纳训练时的循环与推理时的额外迭代？例如： - 在推理阶段，是否可以在不修改权重的情况下，通过 **增加循环次数** 来换取更高的输出质量？ - 循环块是否可以与 **思维链（Chain-of-Thought）** 或 **潜在推理（Latent Reasoning）** 机制结合，使循环迭代对应于隐式的推理步骤？论文引用的 Huginn

22
和 Ouro
68
在此方向已有探索，但尚未在严格预算匹配下与SMELT框架整合。 —- ### 7. 特定领域的专门化设计第5.2节发现，SMELT在 **Code**（20.4% CE Gain）和 **Math/STEM**（16.6%）等结构化数据上收益最大，而在Web文本上收益相对较小（14.8%）。这提示： - 可以针对 **代码、数学证明、结构化查询** 等高度结构化领域，设计 **领域感知的循环拓扑**（如语法树引导的循环深度、针对括号匹配或缩进结构的注意力偏置）； - 可以探索 **领域自适应的循环稀疏度**：在预训练混合数据中，为不同领域动态调整循环跨度或次数，而非全局固定50%层段。 —- ### 8. 注意力汇聚现象的显式利用第6.4节发现，第二次访问显著 **减少了注意力汇聚点（attention sink）** 并将质量重定向至内容相关token。这一动态特性在标准Transformer中通常随深度增加而增强，但在SMELT中被逆转。未来研究可以： - **显式设计** 循环层的目标函数，鼓励或强制第二次访问进行注意力质量重分配； - 将汇聚点减少作为 **正则化器** 或 **辅助损失**，检验其是否能独立提升上下文学习能力； - 探索该机制与 **长上下文建模** 的联系：汇聚点的减少是否直接缓解了长序列中的信息丢失，从而解释SMELT在长样本上的1.52倍增益集中现象？ Q6: 总结一下论文的主要内容该论文系统性地研究了在严格匹配计算预算的条件下，循环Transformer（Looped Transformer）是否仍具备架构层面的固有优势，并提出了名为 **SMELT**（Sparse MoE Transformer, middle layers Loop Twice）的设计方案。以下为主要内容的结构化总结： —- ### 1. 研究背景与核心问题循环Transformer通过重复共享层块来增加有效深度，但既往研究常固定参数量而放任每token FLOPs与KV缓存随循环次数增长，导致性能提升混淆了**架构归纳偏置**与**额外计算开销**。论文指出，若要干净地回答“循环本身是否有益”，必须同时固定三大预算： - **每token FLOPs**（训练与推理的算术成本） - **总非嵌入参数量**（知识容量） - **KV缓存大小**（可服务的上下文长度）在Dense模型中，三者无法同时匹配：增加循环深度必然增加FLOPs，若缩窄隐藏维度以抵消，则会同步损失参数量与KV缓存。 —- ### 2. SMELT：预算匹配下的循环MoE配方论文利用**混合专家模型（MoE）解耦总参数量与每token激活参数**的特性，将预算匹配转化为计算分配问题： - **缩小隐藏维度**与**调整注意力头大小/GQA比例**，以抵消循环带来的FLOPs增长并控制KV缓存； - **增加专家数量**，以恢复因缩窄而损失的总参数量。在此基础上，通过三项消融实验于200M活跃参数规模锁定了三条设计规则，构成SMELT： 1. **循环中间50%层段**（而非全栈循环），验证损失最优； 2. **赋予循环模型更大的有效深度-宽度比**（如物理深度12、有效深度18），共享权重使额外串行计算更易于优化； 3. **仅循环两次**（ r=2 ），更多循环在匹配FLOPs的强制缩窄下反而退化。循环块内的残差更新按 1/r 缩放，以防止权重绑定导致残差流膨胀。 —- ### 3. 跨规模扩展定律与计算节省为将点状观察转化为可外推的归因结论，论文在 **4个规模**（活跃参数100M/200M/600M/1.6B，对应非嵌入参数最高54B）与 **4个稀疏度级别**（ S ≈ 0%, 85%, 95%, 97% ）的完整网格上训练，共获得192个评估端点，并为基线与SMELT分别拟合独立的Chinchilla风格扩展曲面：

L(F, S, D) = E + A((1-S)^b) / (F^a) + (K) / (D^c)
其中 F 为实测每token训练FLOPs， D 为训练token数。拟合结果显示： - SMELT的容量指数 a （0.3892 vs. 0.3703）与数据指数 c （0.7011 vs. 0.6594）均高于基线； - 计算最优前沿指数 γ = ac/(a+c) 为 **0.250**（基线为0.237），表明SMELT的冗余损失随计算量增加下降更快； - 在 C = 10^(21) FLOPs 时，SMELT可节省 **14.7%**（ S≈97% ）至 **18.0%**（ S≈85% ）的训练计算，且节省幅度随计算量增长而扩大。 —- ### 4. 下游任务表现在DCLM Core 22任务集、DCLM Completion（9个自由生成任务）及MMLU 5-shot上的评估表明： - SMELT在 **96/96** 的DCLM Completion匹配对、**83/96** 的DCLM Core匹配对以及 **29/30** 的MMLU有效匹配对中胜出； - 通过将验证损失映射到下游成绩的Sigmoid校准，发现SMELT的下游优势 **超出** 其验证损失差距本身所预测的程度，且该超额收益随模型规模单调增长； - **领域分解**：计算效率增益在 **Code**（20.4%）上最高，Math/STEM（16.6%）与Finance（16.8%）次之，Web文本最低（14.8%），表明循环对结构化数据助益最大； - **样本长度**：SMELT的收益集中于长样本（512–4096 token区间的增益是32–256 token区间的 **1.52倍**）； - **上下文学习（ICL）**：在提供少样本示例后（ k ≥ 1 ），准确率差距从0.9 pp扩大至1.9 pp；在Dyck Languages等演示敏感任务上，优势随示例数持续扩大。 —- ### 5. 内部机制分析为解释第二次循环访问的行为，论文在1M token保留数据上执行探针实验，发现以下稳定模式： - **专家路由**：两次访问的top-8专家集合存在显著重叠（在大专家池中仍有2–3/8），第二次访问复用核心专家子集并适度多样化； - **残差更新**：第二次访问的注意力与MoE写入范数为第一次的 **1.2–3.5倍**，且残差更新方向的余弦相似度为正（均值0.56），表明其**放大**而非覆盖第一次的信号； - **注意力坐标与内容**：查询 Q 与键 K 高度相似（0.89–0.93），而值 V 与输出 O 显著发散，说明**检索坐标（位置）保留，读取内容更新**； - **注意力汇聚点（Attention Sink）**：在Dyck语言及通用数据上，第二次访问系统性降低了对初始token（BOS）的注意力汇聚质量（从0.60降至0.02），并将其重定向至内容相关的演示答案token。此效应**逆转**了标准Transformer中汇聚质量随深度增加而增强的趋势。 —- ### 6. 结论该论文证明，在严格匹配每token FLOPs、总参数量与KV缓存的条件下，循环Transformer仍具备可度量、可扩展且可解释的架构优势。SMELT通过将MoE的稀疏容量与中间层的循环复用相结合，在计算最优前沿上实现了6.8–18.0%的训练FLOPs节省，并在结构化数据、长序列与上下文学习任务上展现出超出验证损失预测的下游增益。这些结果表明，**深度权重复用是与扩宽、扩深、增专家并列的第四条可行扩展轴心**。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shaowen Wang,Ge Zhang,Kairong Luo,Yuhao Wu,Shaofan Liu,Jiaheng Liu,Wenhao Huang,Shen Yan,Jian Li

Categories:

PDF URL: https://arxiv.org/pdf/2609.01343.pdf

Arxiv URL: https://arxiv.org/abs/2609.01343

Arxiv ID: 2609.01343

CoolPaper URL: https://papers.cool/arxiv/2609.01343

Published: 2026-09-03T01:26:27.271Z

Updated: 2026-09-03T01:26:27.271Z

4. UI-Venus-2 Technical Report

Abstract:Multimodal GUI agents have emerged as a promising paradigm for digital task automation, yet transitioning from benchmark-oriented models to dependable real-world applications remains challenging due to limited environment coverage, brittle task construction, and unreliable reward verification. In this work, we present UI-Venus-2, a general-purpose foundation GUI agent designed to operate across mobile, web, and desktop environments through a unified closed-loop reasoning-action framework. To bridge the gap toward practical deployment, we jointly scale three critical dimensions: (1) Environments, expanding coverage to more than 170 multilingual mobile apps and native desktop operating systems; (2) Tasks, employing a deep-research pipeline for function-grounded instruction generation; and (3) Verification, adopting trace-level and sample-level evaluators with visual keypoints and multi-model voting to ensure reliable RL signals for training. Furthermore, we integrate safety-aware mechanisms to ensure controlled execution of consequential actions. By offering a capable, efficient, and open-source foundation, UI-Venus-2 advances the field toward more generalizable, verifiable, and self-reflective agents for real-world applications.

中文摘要

摘要：多模态 GUI 代理已成为数字任务自动化的有前景的范式，但由于环境覆盖有限、任务构建脆弱以及奖励验证不可靠，从面向基准的模型过渡到可依赖的现实应用仍然具有挑战性。在本工作中，我们提出了 UI-Venus-2，一种通用基础 GUI 代理，旨在通过统一的闭环推理-动作框架在移动、网页和桌面环境中运行。为了弥合朝向实际部署的差距，我们在三个关键维度上同步扩展：（1）环境，将覆盖范围扩展到 170 多个多语言移动应用程序和原生桌面操作系统；（2）任务，采用功能为基础的深度研究指令生成管线；（3）验证，采用基于轨迹级和样本级的评估器，结合视觉关键点和多模型投票，以确保训练中的 RL 信号可靠。此外，我们集成了安全感知机制，以确保关键操作的可控执行。通过提供一个功能强大、高效且开源的基础，UI-Venus-2 推动该领域向更通用、可验证和自我反思的现实应用代理发展。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决多模态 GUI 智能体（Multimodal GUI agents）从\*\*面向基准的模型\*\*向\*\*可靠的现实世界应用\*\*过渡时面临的根本性挑战。具体而言，论文识别出以下三个紧密耦合的核心瓶颈： - \*\*环境覆盖不足（Limited Environment Coverage）\*\* 现有工作往往局限于小规模、单一领域的应用集合（如少量英文应用或特定网站），难以覆盖真实场景中多语言移动生态、动态网页及完整桌面操作系统的多样性。 - \*\*任务构建脆弱且难以扩展（Brittle Task Construction）\*\* 生成的大规模任务查询常与实际应用功能脱节，导致指令在动态变化的界面状态下不可执行，缺乏对真实功能 grounding 的可扩展任务合成机制。 - \*\*奖励验证不可靠（Unreliable Reward Verification）\*\* 用于强化学习的验证信号过于粗糙（如仅依赖最终状态的二元成功/失败标签），容易将部分进展误判为完成、忽略任务关键视觉证据，或产生可被策略利用的脆弱奖励信号，从而影响 RL 训练的可靠性。为系统性克服上述障碍，论文提出 \*\*UI-Venus-2\*\*，通过统一的闭环推理-行动框架，\*\*联合扩展\*\*环境（覆盖 170+ 多语言移动应用及原生桌面 OS）、任务（基于深度研究的功能 grounding 指令生成）与验证（引入轨迹级和样本级评估器，结合视觉关键点和多模型投票）三个维度，并集成安全感知机制，以构建更具通用性、可验证性和自我反思能力的 GUI 智能体基础模型。 Q2: 有哪些相关研究？根据论文第5节，相关研究围绕以下六个核心方向展开： ### 1. Mobile Use（移动设备使用）早期研究主要依赖静态截图、记录轨迹或固定基准进行可复现的测量，但仅部分反映实际交互。近期工作转向在真实应用和动态设备环境中评估智能体，其中界面状态、应用版本、语言、账户及中断因素均可能影响执行。代表性研究包括： - \*\*UI-TARS\*\* (Qin et al., 2025) - \*\*UItron\*\* (Zeng et al., 2025) - \*\*GUI-Xplore\*\* (Sun et al., 2025b) - \*\*Aria-UI\*\* (Yang et al., 2024) - \*\*OS-Genesis\*\* (Sun et al., 2025a) - \*\*AutoGLM\*\* (Liu et al., 2024) - \*\*Step-GUI\*\* (Yan et al., 2025) - \*\*Xiaomi-GUI-0\*\* (Cao et al., 2026) - \*\*HyMobileAgent\*\* (Team et al., 2026b) ### 2. Computer Use（计算机使用/桌面环境）桌面系统与专业软件通常比移动应用具有更密集的界面和更丰富的动作空间，任务可能涉及键盘快捷键、文件操作、文本选择、拖拽、窗口管理及跨应用协调，需要全面的状态理解、规划、记忆与错误恢复能力。代表性研究包括： - \*\*OpenCUA\*\* (Wang et al., 2025b) - \*\*UltraCUA\*\* (Yang et al., 2026) - \*\*EvoCUA\*\* (Xue et al., 2026) - \*\*Qwen-UI-Agent\*\* (Zhou et al., 2026) - \*\*GUI-Owl-1.5 / Mobile-Agent-v3.5\*\* (Xu et al., 2026) - \*\*多轮RL优化工作\*\* (Li et al., 2025b) ### 3. Web Navigation（网页导航）实时网页环境具有固有不确定性：网络故障可能中断执行、内容实时更新、认证流程、弹窗、广告或区域差异均可能改变交互路径。跨站点任务进一步增加了不确定性。代表性研究包括： - \*\*MolmoWeb\*\* (Gupta et al., 2026) - \*\*FARA-7B / FARA-1.5\*\* (Awadallah et al., 2025, 2026) - \*\*BrowserAgent\*\* (Yu et al., 2025) - \*\*Wuying-browser-agent\*\* (Team et al., 2026a) - \*\*Browser-use\*\* (Müller & Žuniˇc, 2024) - \*\*Web Agents 综述\*\* (Ning et al., 2025) ### 4. GUI Grounding（GUI 视觉定位）在高分辨率屏幕和专业软件中，精确的元素定位与领域知识对于区分密集或视觉相似的控件至关重要。目标可能具有歧义、与描述不符或不存在于当前屏幕。代表性研究包括： - \*\*UI-R1\*\* (Lu et al., 2025) - \*\*GUI-R1\*\* (Luo et al., 2025a) - \*\*InfiGUI-R1\*\* (Liu et al., 2025) - \*\*GUI-G1 / GUI-G2\*\* (Zhou et al., 2025c; Tang et al., 2025a) - \*\*LPO\*\* (Tang et al., 2025b) - \*\*OmegaUse\*\* (Zhang et al., 2026a) - \*\*MAI-UI / VenusBench-GD\*\* (Zhou et al., 2025b) - \*\*Autofocus\*\* (Yao et al., 2026) - \*\*Holo2\*\* (H-Company, 2025) - \*\*GTA1\*\* (Yang et al., 2025a) - \*\*MVP\*\* (Zhang et al., 2026b) - \*\*Vista\*\* (Qiu et al., 2026b) ### 5. CAPTCHA Solving（验证码解决）现代验证码已从扭曲文本识别扩展到有序点击、旋转、滑块、拖拽及空间推理。视觉-语言模型通过共享的视觉理解与 GUI 动作应对多种格式，但基准性能未必反映实际部署中的交互模式。代表性工作涉及： - \*\*Seed2.0 / Seed2.1\*\* (Seed, 2026; ByteDance Seed, 2026) - \*\*Qwen3.8-max\*\* (Qwen Team, 2026d) - \*\*Kimi K2.6\*\* (Moonshot AI, 2026a) - \*\*Claude 4\*\* (Anthropic, 2025) ### 6. GUI Agent Safety（GUI 智能体安全）现实部署中，尤其是计算机使用智能体，其动作可能对用户造成昂贵后果，因此安全评估至关重要。早期评估主要考察智能体在显式风险或对抗性场景中避免有害动作的能力；近期工作进一步揭示，看似良性的指令在环境潜藏风险下也可能导致有害后果。代表性研究包括： - \*\*AgentHarm\*\* (Andriushchenko et al., 2025) - \*\*InjecAgent\*\* (Zhan et al., 2024) - \*\*OS-Harm\*\* (Kuntz et al., 2026) - \*\*OSBlind\*\* (Ding et al., 2026) - \*\*SafeAgentBench\*\* (Yin et al., 2024) Q3: 论文如何解决这个问题？为解决多模态 GUI 智能体从基准测试走向实际应用中的环境覆盖不足、任务构建脆弱与验证不可靠三大瓶颈，论文提出了 \*\*UI-Venus-2\*\*，其解决方案可概括为以下核心方面： ### 1. 统一闭环推理–行动框架 UI-Venus-2 采用统一的闭环范式：智能体观察当前界面截图，进行状态推理，执行结构化动作，并将环境反馈纳入下一步决策。该框架覆盖移动应用、网页浏览器和桌面操作系统三大平台，通过共享的视觉感知与动作空间实现跨平台通用性。 ### 2. 三阶段统一训练流水线模型训练遵循从基础能力注入到领域特化、再到能力融合的三阶段策略： - \*\*Stage I：多模态中期训练（Multimodal Mid-Training）\*\* 在大规模异构的合成与交互数据上进行监督微调，以移动、网页和 OS 导航任务为主导。通过模拟广泛的交互环境，结合基于种子查询与功能 grounding 的任务构造，并利用人机协同的轨迹验证过滤低质量交互，注入基础的 GUI 理解与长程规划能力。 - \*\*Stage II：离线强化学习（Offline Reinforcement Learning）\*\* 针对移动、OS 和网页环境，构建大规模\*\*步骤级\*\* RL 轨迹，优化状态感知的动作选择、多步导航一致性与执行可靠性。对于 CAPTCHA 和 Grounding 任务，则利用程序化合成框架，将经过验证的验证码实例与定位目标嵌入真实背景界面中，提供可密集采样的可靠动作级监督。 - \*\*Stage III：多教师在线策略蒸馏（Multi-teacher On-policy Distillation, MOPD）\*\* 为融合来自不同任务分布与训练阶段的能力，同时避免直接合并独立专家导致的干扰，UI-Venus-2 采用学生自采样、教师评分的在线蒸馏范式。针对 GUI 智能体的特殊性，论文进一步引入两项关键设计： \*\*(a) 结构化动作感知蒸馏（Structured Action-Aware Distillation）\*\* 由于动作是改变环境的唯一接口，而动作 token 在响应中占比极小，论文对动作片段施加自适应权重： - 若完整动作正确，则抑制其蒸馏信号； - 若动作类型正确但参数错误，则加强对动作跨度的监督； - 若动作类型错误，则强调类型 token 并屏蔽下游参数（因其语义依赖于类型）。这确保监督信号集中于需要修正的可执行行为，而非均匀分散在整个响应上。 \*\*(b) 教师侧动作类型条件化（Teacher-Side Action-Type Conditioning）\*\* 在教师评分时，向教师提示追加正确的动作类型提示 h(z^*) ，但该提示\*\*不出现在学生输入中\*\*。蒸馏优势计算为：

At^(hint) = sg[ log π(Td)(y_t mid P_T(x, z^*), y(<t)) - log πθ(y_t mid P_S(x), y(<t)) ],
其中 Td 为领域 d 的冻结教师， πθ 为学生策略， P_T(x, z^) 为带提示的教师输入， P_S(x) 为原始学生输入，$sg
·
$ 表示阻断梯度。该设计使教师能够提供更精确的结构化动作监督。 ### 3. 联合扩展三大关键维度 - \*环境（Environments）** 将可执行环境池大幅扩展至 **170+ 个多语言移动应用**（100+ 中文、70+ 英文）及**原生桌面操作系统**，覆盖日常和专业软件的复杂交互场景。 - **任务（Tasks）** 提出基于**深度研究（deep-research）**的查询生成策略：聚合官方文档、帮助页面、用户讨论与历史任务证据，构建动态更新的应用功能目录（capability catalog）。任务生成以可用功能为 grounding，确保指令与真实应用能力对齐；同时通过有效性门控（validity gate）拦截包含不支持功能、模糊目标或缺失依赖的不可执行任务。 - **验证（Verification）** 建立两级验证框架以提供可靠的 RL 奖励信号： **(a) 轨迹级验证：语义引导验证（Semantic Guided Verification, SGV）** 不依赖智能体自我报告的成功状态，而是从任务目标中提取可验证的关键点（keypoints），将轨迹分割为固定窗口，利用多模态模型并行判断各窗口满足哪些关键点，并结合硬规则与多模态终局判断，将轨迹分类为完成/部分完成/不可行/失败。该机制不仅用于数据筛选，还通过反馈闭环动态更新功能目录与任务生成策略。 **(b) 样本级验证（Sample-level Verification）** 在动作执行前进行先验判断，基于当前截图、声明的动作类型与目标、推理过程和任务目标，将每一步分类为：正确（Correct）、探索性（Exploratory）、无效（Ineffective）或错误（Incorrect）。通过区分通用操作（如启动应用、滚动）与任务特定操作，确保“部分信用”仅反映真实的任务相关进展，避免粗糙的二元标签误导强化学习。 ### 4. 安全感知执行机制针对现实部署中的潜在风险，UI-Venus-2 集成了**安全感知机制**，对具有重大后果的动作实施更可靠的控制。在 OSHarm 和 OSBlind 等安全基准上的评估表明，该机制在抵御显式攻击（如提示注入）和识别良性指令中的安全盲点方面均显著优于基线模型。 ### 5. 系统化数据生成与迭代闭环论文设计了一个三阶段数据生成框架： 1. **功能目录构建**：冷启动阶段聚合异构来源的应用证据，运行时动态更新页面状态、UI 控件约束与失败案例； 2. **任务构造**：基于当前目录采样生成单能力、复合、查询式、批处理和场景式任务，并通过严格约束保证可执行性； 3. **轨迹采集**：在真实环境中执行，成功与失败均产生结构化反馈回写至目录，驱动下一轮采样向未充分探索的能力与先前失败场景倾斜。针对桌面环境的特殊复杂性，还引入了任务规格序列化（TaskSpec）、确定性环境设置、分层子目标分割与跨会话依赖管理；针对 CAPTCHA，则通过类型特定的规则引擎与渲染器合成可验证谜题，确保可解性与坐标标注的确定性。综上，UI-Venus-2 通过**统一框架**、**三阶段训练**、**三维联合扩展**与**精细化验证**，系统性解决了 GUI 智能体在环境覆盖、任务质量与奖励可靠性方面的关键障碍，推动其向可部署的通用计算机使用智能体迈进。 Q4: 论文做了哪些实验？论文在 **6 大核心领域** 上开展了系统性实验，涵盖 **移动设备使用、桌面计算机使用、网页导航、GUI 视觉定位、验证码求解** 以及 **智能体安全性**。实验将 UI-Venus-2（9B 与 27B 两个规模）与当前主流通用多模态大模型（General VLMs）及专用 GUI 模型（GUI-specific Models）进行了全面对比。 —- ### 1. 实验设置 #### 1.1 实现细节 - 推理温度：通用智能体任务设为 **1.0**， grounding 任务设为 **0** 以保证确定性输出； - 推理模式：通用任务默认启用深度推理模式（`think`），完整推理历史保留并反馈至上下文；grounding 与 CAPTCHA 任务按需关闭推理或启用多动作解析； - 视觉分辨率：采用 Qwen3.5 默认配置。 #### 1.2 评测基准实验共涉及 **21 个公开或自研基准**，具体包括： - **移动使用（Mobile Use）**：MobileGym、VenusBench-Mobile、AndroidWorld、MobileWorld、KnowUBench、MemGUI - **计算机使用（Computer Use）**：OSWorld-Verified、DeskCraft、OSWorld 2.0 - **网页导航（Web Navigation）**：WebVoyager、Online-Mind2Web、REAL、Odysseys - **GUI 定位（GUI Grounding）**：VenusBench-GD、ScreenSpot-Pro、OSWorld-G-R、UI-Vision - **验证码求解（CAPTCHA Solving）**：VenusBench-CAPTCHA（自研）、MCA-Bench、Spatial-CAPTCHA-Bench、NextGen-CAPTCHAs、Open CaptchaWorld - **智能体安全（GUI Agent Safety）**：OSHarm、OSBlind —- ### 2. 主要实验结果 #### 2.1 移动设备使用（Mobile Use） | 基准 | UI-Venus-2-27B 表现 | 关键对比 | |———|——————————-|—————| | **MobileGym** | **60.5%** | 超越 Seed-2.0-Pro（52.0%）8.5 个百分点，领先此前最优 GUI 专用模型（21.5%）近 39 个百分点 | | **VenusBench-Mobile** | **48.7%** | 超越 Claude-Opus-4.6（36.5%）与 Kimi-K2.6（31.2%） | | **AndroidWorld** | **84.0%** | 在接近饱和的基准上仍较前最优（77.6%）提升 6.4 个百分点 | | **MobileWorld** (50步/100步) | **76.1% / 82.9%** | 27B 模型领先 GPT-5.6-Sol（70.1%）等通用模型；9B 模型达 65.8% / 75.2% | | **KnowUBench** | **59.7%** | 超越 Seed-2.0-Pro（51.6%），显示个性化辅助能力优势 | | **MemGUI** | **70.3%** | 显著领先 Seed-2.0-Pro（65.6%）及 Kimi-K2.6（39.1%），在记忆密集型场景中优势突出 | #### 2.2 计算机使用（Computer Use） - **OSWorld-Verified**：UI-Venus-2-27B 达到 **80.5%**，超越 Qwen-UI-Agent-27B（79.5%）、Seed-2.1-Pro（78.8%）与 GPT-5.5（78.7%），仅次于 Claude-Opus-4.8（83.4%）。 - **DeskCraft**：UI-Venus-2-27B 取得 **55.5%**，大幅领先 Kimi-K2.6（41.4%）与 Seed-2.0-Pro（40.0%），创该基准最优成绩。 - **OSWorld 2.0**：在 150 步预算下，27B 模型的 Partial Score 为 **13.2%**，Binary Accuracy 为 **2.8%**。Partial Score 超越多数基线（如 Claude-Sonnet-4.6 为 20.0%，但 UI-Venus-2 优于 Qwen 与 Seed 系列），显示在长程复杂桌面工作流中仍有提升空间。 #### 2.3 网页导航（Web Navigation） - **WebVoyager**：UI-Venus-2-27B 达到 **93.4%**，刷新最优纪录，超越 Fara1.5-27B（89.3%）与 GPT-5-SoM（90.6%）；9B 模型亦达 **90.8%**。 - **Online-Mind2Web**：27B 模型取得 **78.3%**，9B 模型为 **74.0%**，均超越同规模或更大规模的专用模型。 - **REAL**：27B 模型以 **80.2%** 创纪录，超越此前最优（74.4%）5.8 个百分点。 - **Odysseys**：27B 模型在 Averaged Rubric Score 上达 **80.4**，Perfect Score 达 **66.3**，分别领先此前最优（68.9 / 44.5）11.5 与 21.8 个百分点，展现极强的长程跨站导航能力。 #### 2.4 GUI 视觉定位（GUI Grounding） | 基准 | UI-Venus-2-27B | 关键对比 | |———|————————|—————| | **VenusBench-GD** | **80.1%** | 超越 UI-Venus-1.5-30B-A3B（75.0%）与 Qwen-UI-Agent-27B（76.6%） | | **ScreenSpot-Pro** | **74.1%** | 仅次于 Qwen-UI-Agent-27B（76.6%），但超越 Qwen-3.7-Plus（68.9%）与 Seed-2.1-Pro（65.3%） | | **OSWorld-G-R** | **79.1%** | 在 GUI 专用模型中最高 | | **UI-Vision** | **66.9%** | 仅次于 Qwen-UI-Agent-27B（70.0%），较 UI-Venus-1.5-30B-A3B 提升 12.2 个百分点 | #### 2.5 验证码求解（CAPTCHA Solving）所有结果均以 **Pass@1 (%)** 报告： - **VenusBench-CAPTCHA**：27B 与 9B 分别达 **79.9%** 与 **78.1%**，远超 Qwen3.6-27B（53.0%）与 Seed-2.0-Pro（47.9%）。 - **MCA-Bench**：27B 达 **79.6%**，9B 达 **75.7%**，较最优通用模型（51.7%）分别领先 27.9 与 24.0 个百分点。 - **Spatial-CAPTCHA-Bench**：27B 为 **48.6%**，超越 Seed-2.0-Pro（43.8%）；9B 为 **42.8%**，显著优于同规模 Qwen3.5-9B（4.9%）。 - **NextGen-CAPTCHAs**：27B 达 **54.5%**，9B 达 **47.6%**，而最强通用基线 Seed-2.0-Pro 仅 20.4%，9B 模型已超越基线一倍以上。 - **Open CaptchaWorld**：27B 为 **56.3%**，与 Seed-2.0-Pro（55.6%）接近，但仍保持领先。 #### 2.6 智能体安全性（GUI Agent Safety）以 **攻击成功率（ASR, 越低越好）** 评估： | 基准 | UI-Venus-2-27B | UI-Venus-2-9B | 关键对比 | |———|————————|———————-|—————| | **OSHarm** | **15.3%** | **11.3%** | 显著优于 Qwen3.5-27B（18.0%）、EvoCUA-32B（33.3%）等 | | **OSBlind** | **47.9%** | **48.8%** | 将基线模型普遍 80%-93% 的 ASR 降低近一半，展现对”安全盲点”的识别能力 | —- ### 3. 实验结论实验结果表明，通过在**环境覆盖、任务分布与验证机制**三个维度上的联合扩展，UI-Venus-2 在几乎所有评测基准上均达到或接近当前最优水平，尤其在以下方面表现突出： - **跨平台通用性**：在移动、桌面、网页三大领域同时保持领先； - **高效率**：9B 小规模模型在多数任务上即可媲美甚至超越更大规模的通用模型； - **长程复杂任务**：在 MobileWorld、Odysseys、DeskCraft 等长程基准上优势显著； - **细粒度定位与验证码**：通过合成数据与专用 RL 训练，实现了高精度的空间定位与端到端验证码操作； - **安全性**：在显式攻击与隐式安全盲点场景下均实现了更低的攻击成功率。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与讨论，以下若干方向值得学术界与工业界进一步深入探索： ### 1. 长程复杂桌面任务的规划与执行能力 OSWorld 2.0 的结果表明，UI-Venus-2-27B 的 Binary Accuracy 仅为 **2.8%**，Partial Score 为 **13.2%**，与 GPT-5.5（13.0% / 46.7%）及 Claude-Opus-4.7（4.6% / 20.3%）相比仍存在显著差距。这揭示出在需要协调数百步动作、跨多个桌面应用、处理动态环境与流式更新的长程真实工作流中，智能体的**全局规划、状态记忆、进度评估与错误恢复**能力仍是核心瓶颈。未来可探索分层规划架构、显式记忆机制或基于模型的树搜索来增强长程稳定性。 ### 2. 空间推理与视觉-几何理解在 Spatial-CAPTCHA-Bench 上，即使最优模型也仅达到 **48.6%** 的 Pass@1。论文明确指出，**参考系变换、视角选取与多步空间变换**仍是所有模型的主要错误来源。这暗示当前视觉编码器在深度空间关系与几何推理方面存在固有局限。后续研究可尝试引入显式的 3D 视觉理解模块、几何辅助训练目标，或针对空间变换的专用数据增强与课程学习策略。 ### 3. 安全对齐与有害行为识别尽管 UI-Venus-2 在 OSHarm 与 OSBlind 上将攻击成功率（ASR）大幅降低，但在 **OSBlind**（良性指令触发有害结果）上 ASR 仍高达 **47.9%–48.8%**。这说明智能体在识别**嵌入正常执行上下文中的潜在风险**方面远未达到可部署标准。未来需探索更强健的安全对齐训练、环境风险预检测机制，以及如何在保持任务完成率的同时，对高后果动作实施更严格的约束与人工确认。 ### 4. 验证机制的自动化、可扩展性与泛化当前工作依赖 **VLM-as-a-Judge** 与多模型投票进行轨迹级和样本级验证，虽显著优于粗粒度验证，但仍面临成本高昂、延迟较大以及在未见任务类型上泛化能力有限的问题。可进一步探索： - 基于规则与神经网络混合的轻量级验证器； - 验证器自身的在线学习与领域自适应； - 将验证信号从离线的数据筛选阶段扩展为**在线执行时的实时干预与纠错**机制。 ### 5. 跨平台统一表征与知识迁移 UI-Venus-2 通过统一的动作空间与训练框架覆盖移动、网页和桌面环境，但三类平台在交互范式、控件密度与状态空间上差异巨大。当前方案主要依赖大规模数据混合与多教师蒸馏实现能力聚合，不同域间的知识可能仍存在干扰。未来可研究**跨平台共享的 UI 中间表征**（如统一的控件语义图或交互原语嵌入），以促进正向迁移并减少对单一平台数据的过度依赖。 ### 6. 人机协作与交互式自主性 DeskCraft 基准已涉及人机协作场景（如寻求澄清、处理中断、整合反馈），但论文主要聚焦于自主端到端执行。实际部署中，智能体不可能也不应完全无人监督。进一步探索**可中断、可引导、可回滚**的交互式执行策略，以及如何在推理过程中显式建模用户意图的不确定性，是提升实用性的关键。 ### 7. 强化学习的奖励设计与稳定性论文指出，粗糙或脆弱的验证器易混淆部分进展与真正完成，且奖励信号可能被利用（reward hacking）。尽管 UI-Venus-2 通过结构化动作感知蒸馏与视觉关键点缓解了该问题，但**细粒度、密集型过程奖励（process reward）** 的设计仍不成熟。后续可研究基于界面状态差异的 dense reward、动作结果预测的自监督信号，或验证器与策略模型的联合对抗训练。 ### 8. 动态环境与持续学习当前的数据生成与能力目录更新以批量迭代方式进行。然而真实世界的应用版本、网页内容与桌面环境持续演化。构建支持**在线适应、增量学习与灾难性遗忘抑制**的持续学习框架，使智能体能够随环境变化自我更新，是从“静态基准智能体”迈向“终身可用助手”的必经之路。 ### 9. 模型效率与端侧部署 UI-Venus-2-9B 已展现出与更大规模通用模型相媲美的竞争力，但在移动设备或边缘计算节点上部署仍面临延迟与显存挑战。探索面向 GUI 任务的专用轻量架构、动态分辨率感知推理、或面向动作预测的高效解码策略，将有助于实现真正的端侧自主智能体。 ### 10. CAPTCHA 与通用导航能力的深度耦合论文将 CAPTCHA 解决能力定位为“最后一公里”支撑，但当前训练仍将其作为独立任务族处理。未来可探索将验证码理解融入常规导航的**统一推理流程**，使智能体在面对登录、注册等验证门时无需切换模式，而是以统一的视觉-推理-行动连续体自然完成过渡，进一步提升端到端工作流的流畅性。 Q6: 总结一下论文的主要内容论文提出了 **UI-Venus-2**，一个面向移动、网页和桌面三大平台的通用基础 GUI 智能体，旨在弥合当前多模态 GUI 智能体从基准测试走向真实应用时存在的核心差距。以下是论文的主要内容总结： ### 1. 研究背景与核心问题当前多模态 GUI 智能体面临三大紧密耦合的瓶颈： - **环境覆盖不足**：现有工作多局限于小规模、单一语言或单一平台的应用集合； - **任务构建脆弱**：生成的大规模指令与实际应用功能脱节，在动态界面下难以执行； - **验证不可靠**：粗粒度的二元成功/失败标签易混淆部分进展与真正完成，导致强化学习（RL）的奖励信号不准确，甚至可被利用。 ### 2. 核心方法：UI-Venus-2 论文提出一个统一的**闭环推理–行动框架**，并采用三阶段训练流水线： - **Stage I：多模态中期训练** 在大规模异构交互数据（移动、网页、OS 导航为主）上进行监督微调，注入 GUI 理解、长程规划与动作定位能力。 - **Stage II：离线强化学习** 针对不同域构造步骤级 RL 轨迹（移动/网页/OS），或利用程序化合成框架生成带可靠动作级监督的 CAPTCHA 与 Grounding 数据，以优化状态感知的动作选择与执行一致性。 - **Stage III：多教师在线策略蒸馏（MOPD）** 为融合异构任务能力，引入两项 GUI 自适应设计： - **结构化动作感知蒸馏**：根据动作正确性（类型/参数）对蒸馏信号进行自适应加权，将监督集中于关键的可执行行为； - **教师侧动作类型条件化**：仅在教师评分时提供正确动作类型提示，使学生模型在不改变推理流程的前提下获得更精确的结构化动作监督。 ### 3. 关键扩展维度论文采用**环境、任务、验证联合扩展**的策略： - **环境**：覆盖 **170+ 个多语言移动应用**（100+ 中文、70+ 英文）及**原生桌面操作系统**； - **任务**：基于 **deep-research** 构建动态更新的应用功能目录，生成功能接地的可执行任务，并设置有效性门控保证可执行性； - **验证**： - **轨迹级验证（SGV）**：基于视觉关键点和 VLM-as-a-Judge，将轨迹分类为完成/部分完成/不可行/失败，用于数据筛选与闭环反馈； - **样本级验证**：在动作执行前进行先验判断，区分正确/探索性/无效/错误动作，提供细粒度的步骤级监督。此外，模型集成了**安全感知机制**，以控制高后果动作的执行风险。 ### 4. 实验与结果论文在 **21 个基准**上开展实验，涵盖移动使用、计算机使用、网页导航、GUI 定位、验证码求解与智能体安全性： - **移动使用**：在 MobileGym（60.5%）、VenusBench-Mobile（48.7%）、AndroidWorld（84.0%）、MobileWorld（76.1%）等基准上取得最优或次优成绩； - **计算机使用**：OSWorld-Verified 达 80.5%，DeskCraft 达 55.5%（最优），但 OSWorld 2.0 的长程复杂任务仍有较大提升空间； - **网页导航**：WebVoyager（93.4%）、REAL（80.2%）、Odysseys（80.4）均刷新纪录； - **GUI 定位**：VenusBench-GD（80.1%）与 OSWorld-G-R（79.1%）表现领先； - **验证码求解**：在 VenusBench-CAPTCHA（79.9%）、MCA-Bench（79.6%）等基准上显著超越通用多模态模型； - **安全性**：在 OSHarm 与 OSBlind 上将攻击成功率（ASR）较基线降低近一半。 ### 5. 主要贡献 - **规模化多语言移动环境**：大幅扩展可执行应用范围，并引入基于深度研究的高质量保证任务生成； - **从头构建的桌面使用能力**：将 UI-Venus 家族从移动/网页扩展至桌面 OS，实现三平台统一端到端交互； - **精细化的两级验证机制**：通过视觉关键点与多模型投票，提供可靠的 RL 训练信号并抑制奖励作弊； - **开源基础模型**：公开发布 9B 与 27B 全参数权重及评估基础设施，推动 GUI 智能体领域的可复现研究与社区创新。综上，UI-Venus-2 通过统一框架与三维联合扩展，显著推进了通用、可验证、可自反思的 GUI 智能体基础模型的发展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Venus Team,Zhuohan Cai,Haoxing Chen,Jiaxuan Chen,Weizhi Chen,Changlong Gao,Zhangxuan Gu,Yuan Guo,Yusong Hu,Jianrong Jiang,Jianguo Li,Runze Li,Jinzhen Lin,Zhenyu Ma,Changhua Meng,Han Peng,Xinyu Qiu,Shuheng Shen,Zhongyi Shui,Weiqiang Wang,Ming Wen,Zhuoer Xu,Hang Yan,Kaiwen Yang,Ruilin Yao,Nanjun Yu,Zhengwen Zeng,Lianrui Zhang,Yunzhu Zhang,Zhe Zhao,Beitong Zhou

Categories:

PDF URL: https://arxiv.org/pdf/2609.00028.pdf

Arxiv URL: https://arxiv.org/abs/2609.00028

Arxiv ID: 2609.00028

CoolPaper URL: https://papers.cool/arxiv/2609.00028

Published: 2026-09-03T01:26:27.278Z

Updated: 2026-09-03T01:26:27.278Z

5. H3-World: Turning Language Understanding into World Control

Abstract:We present H3-World, an efficient framework that turns the 33B MiniMax-H3 video generator into an interactive world model. Our key finding is that, as large video generators become more capable, language is emerging as a natural interface for control. MiniMax-H3, for example, already supports zero-shot control of character behavior and camera motion through natural-language instructions. Building on this, H3-World turns this coarse language interface into precise, temporally grounded world control, without introducing dedicated action modules. Specifically, we represent each action as a structured combination of character and camera instructions, and align them with the corresponding temporal video latents. To make the control temporally precise, we further introduce temporal attention routing, which restricts each instruction to its intended time interval and reduces control leakage across actions. Importantly, H3-World directly reuses the semantic representations learned during large-scale video pretraining and requires only lightweight adaptation. With only 8,000 gameplay samples, 10,000 LoRA optimization steps, and 0.199% trainable parameters, H3-World achieves effective character and camera control while preserving strong generation quality. It also generalizes to unseen scenarios. These results show that the control capabilities emerging in large video generators can be efficiently transformed into interactive world control.

中文摘要

摘要：我们提出了 H3-World，这是一个高效的框架，它将 33B MiniMax-H3 视频生成器转变为一个交互式世界模型。我们的关键发现是，随着大型视频生成器能力的增强，语言正在成为一种自然的控制接口。例如，MiniMax-H3 已经支持通过自然语言指令对角色行为和摄像机运动进行零样本控制。在此基础上，H3-World 将这种粗略的语言接口转化为精确的、时间上有根基的世界控制，而无需引入专门的动作模块。具体来说，我们将每个动作表示为角色指令和摄像机指令的结构化组合，并将其与相应的时间视频潜变量对齐。为了使控制在时间上更加精确，我们进一步引入了时间注意力路由，它将每条指令限制在其预定的时间区间内，并减少动作之间的控制泄露。重要的是，H3-World 直接重用在大规模视频预训练中学到的语义表示，仅需轻量级的适配。仅使用 8,000 个游戏样本、10,000 次 LoRA 优化步骤和 0.199% 的可训练参数，H3-World 就实现了有效的角色和摄像机控制，同时保持了强大的生成质量。它还能够推广到未见过的场景。这些结果表明，在大型视频生成器中出现的控制能力可以高效地转化为交互式的世界控制。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*如何将大规模预训练视频生成器高效转化为精确、时序化的交互式世界模型\*\*这一问题，具体体现在以下几个方面： ### 1. 核心问题现有预训练视频生成模型（如 MiniMax-H3）虽具备强大的视觉生成与粗粒度语言理解能力，但其原生接口并不支持精确、细粒度且时间定位的交互控制。传统方法通常将“控制”视为必须在预训练模型之上\*\*重新学习\*\*的能力，需引入额外的专用模块（如离散动作嵌入、特征调制层或相机几何模块），导致： - 需要大量带有动作-视频对齐的额外监督数据； - 增加计算与存储开销； - extensive adaptation 可能破坏预训练阶段获得的生成能力与语义知识。 ### 2. 关键观察与切入点论文发现，随着视频生成器能力增强，\*\*语言正在成为模型内部已理解的、粗粒度的控制接口\*\*。例如，MiniMax-H3 无需任何动作条件训练，即可通过自然语言指令对角色行为和相机运动产生大致正确的零样本响应。这意味着：大型视频生成器内部已经蕴含了实现交互控制所需的部分结构，问题在于如何将其从“粗略响应”提升为“精确、时序可控”的世界模型接口。 ### 3. 所提出的解决方案基于上述观察，论文提出 \*\*H3-WORLD\*\* 框架，其核心思路是\*\*直接在模型已理解的语言空间内表达控制\*\*，而非从头学习新的控制表示。具体解决策略包括： - \*\*语义动作接口\*\*：将外部角色与相机控制状态转换为组合式自然语言指令（如“the character walks backward and strafes left, camera pans right slowly”），直接注入模型的原生文本通路。 - \*\*潜变量对齐的时间绑定（Latent-Aligned Temporal Binding）\*\*：将每一条动作指令与对应的视频潜变量时间区间显式对齐，使控制具备时间分辨率。 - \*\*单出口注意力路由（Single-Egress Routing）\*\*：在自注意力机制中引入确定性掩码，限制每条动作指令只能直接影响其匹配的视频潜变量区间，防止控制信号在时间维度上的泄漏与混淆。 - \*\*轻量级适配\*\*：仅通过 LoRA 微调极少量参数（总参数的 0.199% ），在仅 8,000 个游戏片段和 10,000 步优化下，学习动作条件化的视觉动态，同时冻结预训练骨干，最大程度保留原模型的生成质量与泛化能力。 ### 4. 最终目标实现一种\*\*高效、可组合且能泛化到未见动作组合与视觉场景\*\*的交互式世界控制，证明：通过将低层动作 grounding 到预训练视频生成器的原生语言接口，可以构建一条从“大规模视频生成”到“交互式世界建模”的直接路径，而无需专用的动作模块或繁重的全量微调。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要集中在以下两个方向： ### 2.1 动作条件化的视频世界模型（Action-Conditioned Video World Models） - \*\*早期神经与扩散游戏模拟器\*\*：通过记录的动作直接条件化视觉动态，例如 GameGAN、Diffusion Models are Real-Time Game Engines 以及基于扩散的 Atari 世界建模工作。 - \*\*潜在动作接口\*\*：Genie 提出从原始视频中学习离散的潜在动作空间，无需显式动作标注。 - \*\*近期开放世界与实时系统\*\*：将更强的视频生成器扩展至开放世界生成、设备控制、因果推演、持久化历史与实时推理等场景，代表工作包括 GameGen-X、The Matrix / Matrix-Game 系列、WorldPlay、GameFactorly、ABot-World-0 等。 - \*\*角色与环境交互建模\*\*：如 ReactiveGWM（反应式 NPC 控制）、SCOPE（跨游戏操作模拟）、StatePlay（状态感知机制一致性生成）、WorldMind（解耦状态感知 NPC 行为）等，关注反应式角色、跨游戏交互与显式状态感知行为。 \*\*与 H3-WORLD 的核心差异\*\*：上述方法通常引入\*\*学习的动作嵌入、特征调制（FiLM/AdaLN）、相机几何模块或专用控制通路\*\*，需要额外的动作-视频对齐监督与模型适配，可能增加计算与存储开销，且 extensive adaptation 易干扰预训练能力。H3-WORLD 则将控制直接注入模型已理解的\*\*文本提示空间\*\*，复用预训练语义先验，仅需 0.199% 参数的 LoRA 轻量适配。 ### 2.2 语言动作与时间接地（Language Actions and Temporal Grounding） - \*\*语言作为高层动作接口\*\*：近期研究利用自然语言表达更丰富的干预与世界模型动作，例如 Hunyuan-GameCraft-2、Yume1.5、ActWorld、HelloWorld 等。 - \*\*组合式可控视频生成\*\*：通过轨迹、相机位姿、组合条件指导物体运动与视角变化，代表工作包括 VideoComposer、MotionCtrl、CameraCtrl、Direct-a-Video、DragNUWA 等。 - \*\*Incantation\*\*（最接近的相关工作）：采用每潜变量帧自然语言描述，并结合局部文本交叉注意力（local text cross-attention）实现动作控制。 \*\*H3-WORLD 的架构差异\*\*：现有可控生成与世界模型多基于\*\*独立文本交叉注意力层\*\*的架构。H3-WORLD 面向 MiniMax-H3 的\*\*打包单流自注意力（packed single-stream self-attention）\*\*机制，文本语义条件与视频潜变量共存于同一序列，模型对完整未来范围进行联合去噪。因此，H3-WORLD 的核心问题并非引入新的条件层，而是在这种双向序列中实现语言动作与视频潜变量的\*\*时间接地（temporal grounding）\*\*，防止控制信号在时间维度上的泄漏。 Q3: 论文如何解决这个问题？论文通过提出 \*\*H3-WORLD\*\* 框架，将预训练视频生成器 MiniMax-H3 转化为交互式世界模型。其核心思路是：\*\*不引入额外的专用动作模块，而是将外部控制转化为模型原生理解的自然语言指令，并通过时序对齐与注意力路由机制实现精确控制\*\*。具体解决方案包含以下四个层面： ### 1. 语义动作接口（Semantic Action Interface）将底层的键盘控制状态转换为组合式自然语言描述，直接复用模型的文本理解能力。 - \*\*控制状态分解\*\*：对于第 k 个视频潜变量区间，动作被分解为角色控制 u_k ∈ U 与相机控制 c_k ∈ C ：

a_k = (u_k, c_k)

**文本模板映射**：通过预定义的文本模板将控制对映射为自然语言指令：
pk = T(char)(uk) parallel T(cam)(c_k)
例如，”向后走并向左平移” 与 “相机缓慢向右平移” 组合为完整指令。这种表示将外部动作嵌入到 H3 的原生文本条件空间中，同时保持了动作空间的组合结构。 ### 2. 潜变量对齐的时间绑定（Latent-Aligned Temporal Binding）解决“何时执行何种动作”的时序定位问题，将每条语言指令与特定的视频时间段严格绑定。 - **独立动作编码**：每个区间的动作提示 p_k 经共享 H3 编码器 E 与两层 Token 精炼器 R 编码为动作令牌：

Ak = R(E(p_k))
其中 Token 精炼器采用块对角注意力，保证同一动作跨度内的令牌双向交互，而不同动作跨度相互隔离。 - **打包序列构建**：将静态语义条件 S 、动作序列 A(1:K) 、首帧视觉条件 C0 及目标视频潜变量 V(1:K) 打包为单一序列：
X = [S; A_1; dots; A_K; C_0; V_1; dots; V_K; P]

**时序位置对齐**：动作跨度与其匹配的视频潜变量共享一致的相对时序偏移：
τ(Ak) = τ(V_k) - Delta, quad Delta > 0
这保留了预训练 H3 的”文本先于视频”的位置顺序，为模型提供了一致的时序对齐信号。 ### 3. 单出口注意力路由（Single-Egress Routing）在 MiniMax-H3 的**单流双向自注意力**架构中，防止动作指令在时间维度上发生”控制泄漏”（control leakage）。论文构建了确定性的注意力掩码，严格限制动作令牌的信息出口： - **作为 Key 被读取**：动作跨度 A_k 只能被两类令牌访问——其**自身内部**的令牌，以及其**唯一匹配**的视频潜变量 V_k 。静态令牌、其他动作跨度、不匹配的视频潜变量等均被屏蔽。 - **作为 Query 读取他人**：动作跨度 A_k 作为查询时，允许访问静态上下文、首帧条件、音频上下文、自身令牌及匹配的视频潜变量 V_k ；对其他动作跨度和不匹配的视频潜变量的访问被屏蔽。 - **视频潜变量保持全联通**：所有视频潜变量 V(1:K) 之间保留原始的双向注意力，确保运动连续性与场景一致性在完整时域内传播。由此，每个动作指令只有一个**直接入口**进入视频流（通过其匹配的 V_k ），视觉效应随后通过视频-视频注意力传播。该机制被称为**单出口动作路由**。 ### 4. 轻量级低秩适配（Low-Rank Adaptation）在冻结预训练骨干的前提下，仅学习必要的动作-视觉动态映射。 - **可训练参数**：仅对 H3 自注意力块中的 QKV 投影与输出投影，以及两层 Token 精炼器应用 LoRA 低秩更新。 - **固定组件**：骨干网络、H3 编码器、视觉 VAE 及所有其余模块保持冻结。 - **训练目标**：沿用 H3 原生的去噪目标进行优化，无需设计新的动作重建损失。通过上述设计，H3-WORLD 仅需 8,000 个游戏样本、 10,000 步优化步数以及 0.199% 的可训练参数，即可将 MiniMax-H3 的粗粒度语言理解转化为精确、时序化的世界控制，同时保留预训练模型的生成质量与泛化能力。 Q4: 论文做了哪些实验？论文在第4节中设计了多组实验，从**预训练先验分析**、**动作可控性验证**到**泛化能力测试**，系统评估了 H3-WORLD 的有效性。具体实验内容如下： —- ### 4.1 实验设置 | 项目 | 配置 | |:—-|:—-| | **数据集** | ABot-World-Explorer-500h，训练集 7,872 段，测试集 128 段；每段 124 帧 @ 24 fps，分辨率 832 × 480 ；每段对应 37 个潜变量对齐的动作提示 | | **训练** | Rank-32 LoRA，10,000 优化步，学习率 1 × 10^(-4) | | **推理** | 生成 124 帧，50 步去噪 | | **评估协议** | (1) **Controlled interventions**：固定初始观察、种子和采样配置，仅改变动作调度；(2) **Held-out clips**：以首帧和记录动作序列为条件，比较生成视频与真实视频的运动模式 | | **定量诊断** | Farneback 光流法估计稠密光流，累积每段平均水平光流（正值：左向；负值：右向相机运动） | —- ### 4.2 预训练动作先验与适配作用分析 **目的**：验证轻量 LoRA 适配是否能在预训练 H3 的**粗粒度零样本响应**基础上，进一步实现**精确、时序定位**的控制。 - **测试场景**：相机运动调度在 latent 15 处发生硬切换——前 15 个区间急剧左摇，后 22 个区间急剧右摇。 - **对比条件**： 1. **Frozen H3 + 全局提示**：在场景描述后附加单一全局运动文本； 2. **Zero-LoRA 每潜变量接口**：使用完整的时序动作指令，但 LoRA 权重置零； 3. **H3-WORLD（训练后）**：完整系统。 - **关键结果**： - 全局提示仅产生微弱的右向偏移（ 0.0 to -17.3 ），且完全丢失左向指令； - Zero-LoRA 接口几乎静止（ -0.1 和 0.0 ），说明仅靠时序文本输入不足以驱动动作； - **H3-WORLD** 准确跟随双向调度（ +52.7 to -106.0 ），且反转顺序后同样成立。 - **恒定动作对照**：当整个片段为单一方向时，全局提示与 H3-WORLD 表现相当（ 301.8 vs 300.5 ）。这表明预训练模型已具备粗粒度运动先验，而 LoRA 适配的关键贡献在于将**变化的动作绑定到正确的潜变量时间区间**。 —- ### 4.3 动作可控性验证 #### 4.3.1 文本接口 vs. 直接动作条件化 **目的**：证明将动作 grounding 到预训练**文本通路**优于新增专用动作编码模块。 - **对比方法**： - **Additive-bias**：将 latent 级键盘状态投影为向量后加到视频 token 特征上（类似 ReactiveGWM）； - **FiLM**：在 AdaLN 后执行特征级 scale/shift； - **H3-WORLD**：基于自然语言文本的接口。 - **结果**：Additive 与 FiLM 变体对变化的控制信号产生微弱或不一致的响应；H3-WORLD 在整段序列中产生了**协调的角色运动与相机变化**。 #### 4.3.2 跟随记录的控制序列 **目的**：在 held-out 游戏片段上检验学习到的接口能否复现真实动作。 - **设置**：以测试片段的首帧和记录的动作序列为条件，生成未来视频。 - **结果**：在 5 个 held-out 片段中，H3-WORLD 展现出与记录控制一致的主要角色位移和视角变化，同时保留了初始场景布局与主体外观。 #### 4.3.3 受控动作干预 **目的**：在完全相同的初始观察与随机种子下，隔离动作指令对生成结果的因果效应。 - **设置**：固定所有生成条件，仅系统性改变动作文本（静止/前进、左右平移、慢速/快速相机平移）。 - **结果**： - 相反的方向命令产生了明显不同的横向运动演化； - 快速相机指令产生的视觉变化显著强于慢速指令； - 配对构造表明差异仅由请求的动作引起。 —- ### 4.4 泛化能力测试 #### 4.4.1 组合动作泛化 **目的**：验证模型能否将训练见过的**角色子句**与**相机子句**组合到**未联合出现过的动作对**中。 - **设置**：在 135 个结构有效组合中，83 个见于训练。选取一个 held-out 组合，其角色与相机子句各自在训练中以其他配对形式出现，但从未共同出现。 - **测试域**：Held-out 游戏画面与**分布外（out-of-distribution）初始观察**。 - **结果**：H3-WORLD 在两种视觉上下文中均正确执行了未见组合的**角色组件**与**相机组件**，同时保持场景一致性。 #### 4.4.2 视觉泛化 **目的**：检验同一学习到的动作接口是否适用于与训练游戏画面差异显著的视觉域。 - **测试场景**：6 个风格迥异的初始观察，涵盖： - 第三人称与第一人称视角； - 室内与室外环境； - 奇幻与科幻内容； - 多样化渲染风格。 - **结果**：相同接口在各视觉域上均产生了请求的角色或相机响应，并保留了每一场景的布局、主体身份与视觉风格。这支持了**轻量适配保留预训练模型广泛生成能力**的结论。 —- ### 4.5 结论与局限（第5节补充）实验最终表明，H3-WORLD 在仅需 **8,000 样本、10,000 步、0.199% 可训练参数**的条件下，实现了： - 对记录与干预动作的有效控制； - 对未见动作组合与视觉场景的泛化； - 对预训练生成质量的保持。论文同时指出当前局限：短时段生成为主、缺乏系统性量化可靠性评估、尚未支持持久世界状态与实时交互。 Q5: 有什么可以进一步探索的点？基于论文第5节所述局限及方法框架的延伸空间，可进一步探索的方向包括： ### 1. 长时程生成与持久世界状态当前模型生成固定长度的视频片段，缺乏跨片段的**持久世界状态**维护。未来可探索： - 引入**长程记忆机制**（如 KV-Cache 复用、外部记忆库或世界状态编码器），支持无限长度滚动生成； - 在潜变量空间中维护一致的**场景布局、对象状态与物理属性**，避免长时程漂移； - 结合循环生成或自回归采样，实现 Open-World 的连续推演。 ### 2. 实时交互与策略学习现有框架为离线生成模式，尚未支持**实时控制**。潜在探索点包括： - 模型蒸馏或并行解码加速，将去噪步数从 50 步压缩至极低延迟，满足实时游戏交互需求； - 将 H3-WORLD 作为环境模拟器接入**强化学习（RL）回路**，训练策略网络；语言动作接口天然适合作为高层动作空间，可探索 Language-to-Policy 的映射； - 支持**人-机实时共玩**，在每一帧接收新的动作指令并动态调整未来生成。 ### 3. 系统性的控制可靠性量化当前组合泛化与视觉迁移主要通过**代表性定性示例**展示，缺乏大规模统计验证。后续可建立： - 覆盖全部 135 个有效动作组合的**标准评测协议**，衡量未见组合的控制成功率； - 跨场景、跨随机种子的**定量鲁棒性指标**（如动作准确度、时序定位误差、视觉一致性分数）； - 引入**对抗测试**（参考文中引用的 BadWAM 与 BadWorld），评估语言动作接口在扰动下的稳定性。 ### 4. 动作空间与实体交互的扩展现有动作空间相对紧凑（9 个角色子句与 16 个相机子句）。扩展方向包括： - **细粒度连续控制**：将离散键盘状态扩展为连续或高维动作向量（如鼠标移动幅度、关节级角色控制），同时保留语言 grounding 的可解释性； - **多实体联合控制**：利用 H3 的打包单流注意力特性，对**多个角色、NPC 或动态物体**分别施加独立的语言指令，实现复杂社会交互与群体行为模拟； - **物理与状态感知控制**：结合 StatePlay/WorldMind 等工作中显式的游戏机制与物理状态约束，使语言动作不仅控制视觉外观，还符合底层世界规则。 ### 5. 音视频联合控制与全模态世界模型 MiniMax-H3 原生为**音视频联合模型**，本文主要聚焦于视觉动作控制。进一步可探索： - 将语言动作同时 grounding 到**音频生成**（如环境音效、角色语音）与视觉动态，实现视听一致的世界推演； - 利用音频作为**场景状态信号**（如脚步声、引擎声）辅助动作控制与一致性检验。 ### 6. 更高效的参数迁移与模块化适配当前使用 LoRA 微调全部注意力投影，未来可探索： - **模块化动作插件**：为不同游戏类型或视觉域训练独立的低秩分支，通过路由机制动态切换，实现跨游戏迁移而不干扰基础生成能力； - **零样本/少样本动作组合**：结合上下文学习（in-context learning），通过少量示例提示而非梯度更新来适应新动作描述。 ### 7. 语言动作与几何显式控制的融合当前控制完全依赖自然语言语义，缺乏**显式几何约束**。可研究： - 将相机位姿参数（如旋转矩阵、平移向量）或角色轨迹以**混合模态形式**（文本 + 几何 token）注入，兼顾高层语义灵活性与低层几何精确性； - 在潜变量对齐的基础上引入**显式物理仿真层**，使语言动作服从刚体动力学或碰撞约束。 Q6: 总结一下论文的主要内容该论文提出 **H3-WORLD**，一个将大规模预训练视频生成器（MiniMax-H3）高效转化为交互式世界模型的框架。以下是对主要内容的系统性总结。 ### 1. 研究背景与核心问题世界模型需要根据外部动作生成一致的未来视觉动态。传统范式通常将“控制”视为必须在预训练视频模型之上**额外学习**的能力，需引入专用的动作嵌入、几何模块或条件化网络，导致监督成本高、计算开销大，且容易破坏预训练阶段获得的生成能力。 ### 2. 关键观察：语言作为内生的粗粒度控制接口论文发现，随着视频生成器能力增强，**语言正在成为模型已理解的控制通道**。具体而言，33B 参数的 MiniMax-H3 在未经过任何动作条件训练的情况下，已能通过自然语言指令（如“camera pans left sharply”）对角色行为与相机运动产生大致正确的零样本响应。这表明：大型视频生成器内部已蕴含实现交互控制所需的部分结构，问题在于如何将其从**粗略响应**提升为**精确、时序可控**的世界模型接口。 ### 3. 方法：H3-WORLD 基于上述观察，论文摒弃了“从零学习控制表示”的路径，提出将外部动作直接注入模型已理解的语言空间，并通过三项机制实现精确时序控制： - **语义动作接口（Semantic Action Interface）** 将离散的键盘控制状态分解为角色指令 u_k 与相机指令 c_k ，并通过文本模板映射为组合式自然语言描述：

pk = T(char)(uk) parallel T(cam)(c_k)
例如生成“the character walks backward and strafes left, camera pans right slowly”。此举将动作直接嵌入模型的原生文本条件空间。 - **潜变量对齐的时间绑定（Latent-Aligned Temporal Binding）** 将第 k 个动作提示 p_k 编码为动作令牌 A_k ，并与对应的视频潜变量 V_k 在打包序列中建立严格的时序位置对齐：
τ(A_k) = τ(V_k) - Delta
使每条语言指令具备明确的时间归属。 - **单出口注意力路由（Single-Egress Routing）** 在 MiniMax-H3 的**单流双向自注意力**架构中，引入确定性注意力掩码：动作跨度 A_k 作为 Key 时，仅允许其自身及唯一匹配的视频潜变量 V_k 读取；作为 Query 时，仅允许访问静态上下文、自身及 V_k 。所有视频潜变量之间保持全联通。该机制防止控制信号跨时间区间的“泄漏”，确保每个动作只有**一个直接入口**进入视频流，随后通过视频-视频注意力传播。 - **轻量级 LoRA 适配** 冻结全部预训练参数，仅对自注意力的 QKV 与输出投影及 Token 精炼器应用低秩适配（LoRA），可训练参数仅占 0.199% 。 ### 4. 实验与结果论文通过受控干预与 held-out 测试，系统验证了 H3-WORLD 的有效性： | 实验维度 | 核心发现 | |:—-|:—-| | **预训练先验 vs. 适配** | 全局文本提示仅能产生粗粒度、无时序定位的响应；Zero-LoRA 的时序文本几乎无响应；只有 LoRA 适配后的模型能准确跟随硬切换的动作调度（如先左摇后右摇）。 | | **文本接口 vs. 直接条件化** | 相比 Additive-bias 与 FiLM 等专用动作编码模块，基于文本的 H3-WORLD 展现出更协调、一致的角色与相机控制。 | | **跟随记录控制** | 在 held-out 游戏片段上，H3-WORLD 能复现记录的角色位移与视角变化，同时保持场景一致性。 | | **组合动作泛化** | 对训练集中未共同出现过的角色-相机子句组合，模型仍能正确执行（如在分布内与分布外观察上均有效）。 | | **视觉泛化** | 同一学习接口适用于第三人称/第一人称、室内/室外、科幻/奇幻等多样化视觉域，表明轻量适配保留了预训练模型的广泛生成能力。 | ### 5. 资源效率 H3-WORLD 仅需 **8,000 个游戏样本、10,000 步优化**，在仅训练 **0.199% 参数** 的情况下，即实现了精确的交互控制，同时保留了预训练模型的生成质量。 ### 6. 主要贡献与结论 - **揭示了大规模视频生成器中已涌现的语言控制先验**，证明其可作为世界建模的基础； - **提出了无需专用动作模块的轻量适配框架**，通过“语言动作 + 时序对齐 + 注意力路由”将粗粒度语言理解转化为精确、时序化的世界控制； - **证明了该方法的有效性与泛化性**，包括未见动作组合与视觉场景的迁移。 ### 7. 局限与未来方向论文指出当前工作主要面向**短时程生成**，且缺乏大规模系统性的控制可靠性量化；尚未支持**持久世界状态、实时交互、规划与策略学习**。未来可沿长程记忆、实时推理、多实体联合控制及音视频联合建模等方向进一步扩展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Danze Chen,Zeqing Wang,Ziyue Lin,Xingyi Yang,Yeying Jin

Categories:

PDF URL: https://arxiv.org/pdf/2609.01560.pdf

Arxiv URL: https://arxiv.org/abs/2609.01560

Arxiv ID: 2609.01560

CoolPaper URL: https://papers.cool/arxiv/2609.01560

Published: 2026-09-03T01:26:27.289Z

Updated: 2026-09-03T01:26:27.289Z

6. ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training

Abstract:Robotic manipulation faces a fundamental scaling challenge: robust generalization demands broad physical experience, yet action-labeled robot trajectories are expensive to collect and inherently limited in diversity. Egocentric videos offer a far more scalable source of embodied experience, capturing object interactions, contact dynamics, tool use, and long-horizon behaviors across diverse environments. The central challenge is how to convert this abundant but action-free experience into effective robot control. We introduce ZimaBlue, a scalable framework for learning generalizable World Action Models (WAMs) from large-scale video. ZimaBlue follows a three-stage training curriculum: it first performs causal embodied video pre-training on large-scale human and robot egocentric videos, then grounds the learned visual dynamics in heterogeneous robot trajectories through video-action mid-training with a unified action representation, and finally specializes the model to a target robot for deployment. To make generative WAMs practical for real-time control, ZimaBluefurther adopts an asynchronous Slow-Fast dual-system architecture, where a high-capacity Slow world model provides generalizable spatiotemporal representations and a lightweight Fast branch enables 30 Hz action prediction on NVIDIA RTX 4090. On real-robot zero-shot evaluations, scaling from target-robot data alone to over 120,000 hours of embodied video improves success from 36.1% to 77.8%. ZimaBlue further delivers strong performance across multiple benchmarks, with particularly pronounced gains on unseen tasks.

中文摘要

摘要：机器人操作面临一个根本的规模化挑战：稳健的泛化能力需要广泛的物理经验，但带动作标注的机器人轨迹收集成本高且多样性本质上受限。自我视角视频提供了一个更具可扩展性的具身经验来源，能够捕捉物体交互、接触动力学、工具使用以及跨多样环境的长时间行为。核心挑战在于如何将这种丰富但无动作标注的经验转化为有效的机器人控制。我们提出了 ZimaBlue，一种可扩展的框架，用于从大规模视频中学习可泛化的世界动作模型（WAMs）。ZimaBlue 遵循三阶段的训练课程：首先对大规模的人类和机器人自我视角视频进行因果具身视频预训练，然后通过统一动作表示在异构机器人轨迹中对学习到的视觉动力学进行视频-动作中间训练，并最终将模型专门化以部署到目标机器人上。为了使生成式 WAMs 在实时控制中具有实用性，ZimaBlue 进一步采用了异步慢-快双系统架构，其中高容量的慢世界模型提供可泛化的时空表示，而轻量级快分支可在 NVIDIA RTX 4090 上实现 30 Hz 的动作预测。在真实机器人零样本评估中，从仅使用目标机器人数据扩展到超过 120,000 小时的具身视频后，成功率从 36.1% 提升至 77.8%。ZimaBlue 在多个基准测试中也表现强劲，尤其是在未见过的任务上获得了显著提升。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决机器人操作领域中\*\*数据可扩展性与实时可控性\*\*之间的核心矛盾，具体可归纳为以下三个层面： --- ### 1. 动作标注数据的稀缺性与泛化瓶颈通用机器人策略需要广泛的物理经验来实现鲁棒泛化，但带有动作标签（action-labeled）的机器人轨迹数据收集成本高昂，且在场景、物体和机器人形态上的多样性天然受限。相比之下，第一人称（egocentric）视频数据规模庞大、易于扩展，蕴含丰富的物体交互、接触动力学和工具使用等物理先验，但\*\*缺乏动作标注\*\*，难以被标准的视觉-语言-动作（VLA）模型直接利用。 ### 2. 将无动作视频转化为有效控制信号的表征难题论文指出，简单地将通用视频生成模型（如视频扩散模型）迁移到机器人控制存在多重不匹配： - \*\*目标函数不匹配\*\*：通用视频模型优化的是视觉重建与文本描述的一致性，而机器人需要\*\*指令条件下的、与动作干预后果强相关\*\*的未来状态预测； - \*\*因果结构缺失\*\*：通用模型往往在整段视频上计算注意力或一次性生成长视频，而闭环控制器只能基于\*\*已观测到的历史\*\*进行因果预测； - \*\*物理先验污染\*\*：网络视频包含动画、特效、剪辑过渡等非物理内容，会削弱接触密集型操作所需的物理先验。因此，论文提出需要\*\*面向具身交互的因果视频预训练\*\*，而非直接微调通用视频生成器。 ### 3. 生成式世界-动作模型的实时部署延迟世界-动作模型（WAM）通过联合预测未来视频与动作来建立视觉理解与物理控制的联系，但生成式推理（如迭代去噪）计算开销大，导致闭环延迟高。在接触密集型任务中，机器人需要快速修正失败抓取或意外碰撞，过高的延迟会造成\*\*反应性差距（reactivity gap）\*\*，使模型难以在真实硬件上实时运行。 --- ### 总结 ZimaBlue 旨在通过\*\*大规模具身视频预训练\*\*（利用超过12万小时的无动作视频）联合学习视觉、物理与因果动态，再通过\*\*跨具身动作对齐\*\*和\*\*目标机器人专精\*\*将视频先验 grounded 到可执行控制，并最终通过\*\*异步 Slow-Fast 双系统架构\*\*将大容量世界模型的高频推理与轻量级实时动作生成解耦，从而在 30,Hz 的闭环频率下实现强泛化的机器人操作。 Q2: 有哪些相关研究？论文在第2节（Related Work）中系统梳理了三个密切相关的前沿方向，现将其核心脉络与代表性研究总结如下。 --- ### 1. 视觉-语言-动作模型（Vision-Language-Action Models, VLA）该方向通过扩展预训练的视觉-语言模型（VLM）直接实现端到端的运动控制，主要特点是\*\*以动作监督为核心\*\*。 - \*\*早期大规模策略\*\*：RT-1 与 RT-2 首次展示了将异构机器人演示数据吸收到统一语言条件策略中的可行性。 - \*\*近期代表性系统\*\*：OpenVLA、 π 0 、 π 0.5 、GR00T 以及 Gemini Robotics 等进一步引入预训练 VLM 骨干、基于扩散或流匹配（flow-based）的动作头，以及更广泛的跨具身数据，从而在指令跟随与物体级泛化上取得显著进展。 - \*\*模块化规划路线\*\*：另一支互补工作将基础模型仅用作高层语义规划器，再调用预设技能库或低级控制器完成物理交互，代表性工作包括 SayCan、PaLM-E、VoxPoser 与 ProgPrompt 等。 \*\*局限与缺口\*\*：VLA 的泛化能力仍受限于动作标注的机器人轨迹规模。它们往往继承了丰富的语义先验（“做什么”），却缺乏对物理场景在动作干预下如何演变的显式建模（“怎么做”的时空与接触动力学），这在长程操作、新物理技能及接触密集型交互中尤为突出。 --- ### 2. 世界-动作模型（World Action Models, WAM）该方向主张\*\*联合建模视觉动态与动作生成\*\*，使控制依赖于对世界演变的理解，而非仅仅记忆标注轨迹。 - \*\*技术谱系\*\*：世界模型按状态表示可分为隐空间方法（latent dynamics）、3D 几何方法（点云/粒子预测）以及像素/视频空间方法（直接预测未来视觉观测）。视频空间方法因能提供每帧迁移的密集监督，且便于利用大规模预训练，被认为是通用操作的理想选择。 - \*\*“先想象再行动”（imagine-then-act）\*\*：先由模型生成未来视觉状态，再通过逆动力学或独立策略恢复动作，代表性工作包括 Video Prediction Policy、RoboDreamer 等。其固有缺陷在于开环漂移、生成观测与真实环境不匹配，以及测试时视频生成带来的额外延迟。 - \*\*端到端联合建模（WAMs）\*\*：在单一生成架构内同时输出未来帧与动作。代表性研究包括： - \*\*DreamZero\*\*：将预训练视频扩散模型适配为联合预测未来视频与动作，验证视频物理先验可提升零样本迁移能力； - \*\*LingBot-VA\*\*：以自回归视频-动作扩散形式交错视频与动作 token，配合因果注意力与 KV 缓存维持长程上下文； - \*\*LingBot-VA 2.0 / Cosmos Policy\*\*：倡导原生视频-动作预训练，引入面向具身的视觉-动作分词器、因果预训练与稀疏专家容量，而非简单 retrofit 通用视频生成器。 \*\*局限与缺口\*\*：现有 WAM 面临两大部署挑战：一是高质量视频生成计算昂贵，若每一步闭环控制都依赖完整视频去噪，将严重降低控制频率；二是多数架构将视频预测与动作执行绑定在相同短时域内，忽略了视觉推理与低级运动校正天然应运行在不同时间尺度上的事实。 --- ### 3. 异步双系统策略（Asynchronous Dual-System Policies）该方向通过\*\*解耦慢速 deliberative 推理与快速反应性执行\*\*，缓解大模型推理延迟与实时控制需求之间的矛盾。 - \*\*分层与技能级规划\*\*：HiVLA、SkillDiffuser 等将长程任务分解为可执行子目标或技能，由扩散规划器生成中间里程碑。 - \*\*双策略/快慢系统\*\*：RoboDual、Galaxea G0、Fast-in-Slow 等结合通用大模型与轻量级专家控制器；Reactive Diffusion Policy 则引入快速触觉-视觉反馈通道以完成接触丰富的精细校正。 - \*\*异步 VLA 与动作分块\*\*：AsyncVLA 与 RTC（Real-Time Chunking）等通过将昂贵推理移出控制关键路径，实现高频闭环。 - \*\*面向 WAM 的异步设计\*\*：AHAWAM 将 WAM 显式重组为低频 video-DiT 世界规划器与高频 action-DiT 执行器，通过异步 horizon 自适应与观察引导的上下文路由，复用慢速规划器上下文并适配最新观测。 \*\*与本文的关系\*\*：上述工作为 ZimaBlue 的 Slow-Fast 双系统架构提供了直接铺垫，但 ZimaBlue 进一步将这一原则与\*\*大规模因果具身视频预训练\*\*相结合，使慢速分支不仅承担语义规划，更提供经过海量视频学习的、可泛化的物理动态表征，再由轻量快速分支以 30,Hz 频率执行闭环动作预测。 Q3: 论文如何解决这个问题？ ZimaBlue 通过\*\*三阶段可扩展训练课程\*\*结合\*\*异步 Slow-Fast 双系统架构\*\*，从数据利用与实时部署两个维度系统性地解决了上述挑战。以下从训练范式、统一表征、模型架构与推理加速四个层面展开说明。 --- ### 1. 三阶段训练课程（数据金字塔）该课程将“视频知识”与“动作控制”解耦，使各数据源承担其自然角色： #### Stage I：大规模因果具身视频预训练在无任何动作标注的条件下，将通用文本到视频扩散 Transformer（Wan2.2-TI2V-5B）适配为因果视觉动力学模型。训练数据涵盖超过 120,000 小时的第一人称人类视频（EPIC-KITCHENS、EgoDex 等）、仿真操作轨迹与真实机器人演示。 - \*\*统一视觉接口\*\*：采用三行垂直画布表示多视角观测，缺失视角以掩码填充，统一单/多视角输入格式。 - \*\*块因果注意力（Block-Causal Attention）\*\*：将视频 latent 划分为时序块，每块内 clean 上下文作为因果历史，noisy 块作为并行去噪目标。该设计既保持了自回归 rollout 的因果依赖，又允许多个未来块并行训练。 - \*\*目标\*\*：仅优化视频流匹配损失，鼓励模型在干预条件下学习物体 affordance、接触事件与长程任务结构的物理因果规律。视频流匹配形式化为：

L(vid) = E(z,ε,t)[ | m(vid) odot ( v(θ)^(vid)(zt, c(≤ t), ell) - v^(vid) ) |2^2 ]
其中 z_t = (1-σ_t^(vid))z + σ_t^(vid)ε ， v^(vid) = ε - z ， c(≤ t) 为因果视觉上下文， ell 为语言指令。 #### Stage II：多具身视频-动作中间训练引入 DROID、AgiBot、Galaxea、RoboMIND2-Franka 等异构机器人轨迹，将预训练视觉动态接地到可执行控制。 - **统一动作表征**：将不同机器人的原生控制接口映射到 100 维语义状态-动作空间（见第 2 节），通过 chunk 锚点相对化与 6D 旋转表示实现跨平台兼容。 - **联合视频-动作目标**：Slow 分支同时预测未来视频 latent 与动作块，迫使动作与视频 token 在共享骨干内交互。损失为

L^(sup) = λ(vid)L(vid) + λ(act)L(act)
其中动作损失
L(act) = E(a,eta,t)[ | m(act) odot ( v(θ)^(act)(at, z_t, c(≤ t), st, ell) - v^(act) ) |_2^2 ]
且 a_t = (1-σ_t^(act))a + σ_t^(act)eta ， s_t 为 proprioceptive 状态。噪声级别在视频与动作间耦合，使视觉不确定性对齐于运动指令不确定性。 #### Stage III：目标具身后训练与 Fast 分支训练 - **Slow 专精**：在目标机器人或仿真基准数据上微调全部 DiT 参数，对未见仿真环境附加轻量具身专用编解码器，保留预训练动态与跨具身 grounding。 - **Fast 训练**：冻结 Slow，仅训练轻量级 Fast DiT（0.5B）。为复现异步闭环，采样执行偏移 δ ∈ 0,dots,H-1 ，令 Fast 基于最新观测 (cδ, s_δ) 预测剩余动作后缀；同时引入已提交动作前缀（prefix）的 teacher-forcing，训练时模拟 RTC（Real-Time Chunking）机制以保持动作连续性。 —- ### 2. 统一 100 维状态-动作表征为处理异构机器人（单臂、双臂、移动底座、灵巧手等），论文提出跨具身的 100 维语义槽位布局： | 槽位区间 | 维度 | 语义 | |—-|—-|—-| | [0,9) | 9 | 左末端执行器位姿（3D 平移 + 6D 旋转） | | [9,10) | 1 | 左夹爪 | | [10,19) | 9 | 右末端执行器位姿 | | [19,20) | 1 | 右夹爪 | | [20,27) | 7 | 左臂关节 | | [27,34) | 7 | 右臂关节 | | [34,38) | 4 | 躯干 | | [38,54) | 16 | 移动底座及辅助通道 | | [54,77) | 23 | 左手关节 | | [77,100) | 23 | 右手关节 | - **相对几何**：末端执行器动作相对于动作块首帧锚点 (p_0, R_0) 计算：

Delta p_h = R_0^(-1)(p_h - p_0), quad Delta R_h = R_0^(-1)R_h

**有效性掩码**：未激活槽位零填充并在损失中屏蔽，确保不同具身可在同一模型内协同训练。 —- ### 3. 异步 Slow-Fast 双系统架构该架构将“高容量世界推理”与“高频动作执行”解耦： - **Slow DiT（5B）**：作为视频中心世界模型，处理观测、状态与语言条件，预测未来视频 latent，并在每层自注意力中缓存视频 K/V 特征 K_(slow) 。其辅助动作监督仅用于训练时强化视频-动作语义对齐，推理时 Slow 低频运行。 - **Fast DiT（0.5B）**：专用动作生成模块。其动作 query 在自注意力层中除关注自身观测、状态与动作 token 外，通过**交叉注意力**注入 Slow 缓存的视频 K/V，从而直接利用慢速分支的时空物理先验，无需显式生成完整未来视频。 - **推理模式**：Slow 以较低频率异步更新长程视觉指导；Fast 以最新观测和可用 Slow K/V 高频生成动作块，二者并发执行，避免 Fast 等待 Slow 完成。 —- ### 4. 实时部署加速为使生成式 WAM 满足物理闭环的实时性要求，论文采用三级加速： - **异步推理**：Slow 与 Fast 分属不同线程/进程，Fast 持续使用最新可用 Slow K/V，已提交动作前缀保持执行连续性。 - **扩散步蒸馏（DMD）**：对 Slow 与 Fast 依次应用 Distribution Matching Distillation，将每分支的 DiT 评估次数从 8 步压缩至 2 步。学生生成器保留原始流匹配监督，并通过分布匹配方向

g(DMD)^b = hatx(0,f)^b - x(0,r)^bmean(valid)(|xg^b - x(0,r)^b|) + ε_(num)
对齐教师分布，其中 b ∈ S,F 分别对应 Slow 与 Fast 分支。 - **Torch 编译与 CUDA Graph**：进一步降低系统开销。综合上述技术，系统在 NVIDIA RTX 4090 上将闭环延迟从基线 450 ms 逐步压缩至 **33 ms**，实现 **30 Hz** 的物理机器人控制，同时保持 75.0% 的零样本任务成功率（对比未蒸馏双系统的 77.8%）。 Q4: 论文做了哪些实验？论文在第 6 节及附录中展开了系统的实验验证，涵盖**真实机器人零样本评估**、**双系统架构消融**以及**三大仿真基准测试**。以下是详细梳理： —- ### 1. 真实机器人零样本评估（Zero-Shot Real-Robot Evaluation） #### 1.1 实验设置 - **硬件平台**：7-DoF Franka 机械臂，配备两个外部 RGB 相机与一个腕部相机。 - **评估协议**：所有策略仅在 DROID 数据集上进行后训练（post-training），在**训练数据中未出现过**的 12 个任务上测试。 - **任务套件**： - **Standard（8 项）**：碗碟堆叠、杯子选择、面包转移、积木堆叠、空气炸锅抽屉开启、玩具收集、微波炉关门、烤面包机开关按下。 - **Perturbed（4 项）**：在 Standard 基础上引入受控视觉扰动，包括动态眩光/闪烁光照、背景干扰物、未见桌布与新物体。 - **对比方法**： - **四个 ZimaBlue 变体**（数据缩放消融）： 1. Baseline（仅 DROID 后训练，初始化自 Wan2.2-TI2V-5B） 2. + 6K 小时多具身视频-动作数据 3. + 6K 多具身 + 60K 小时第一人称视频预训练 4. + 6K 多具身 + 120K 小时第一人称视频预训练 - **外部基线**： π 0.5 （使用 >10K 小时机器人数据及网络多模态数据）与 DreamZero（14B 参数 WAM，官方 DROID 后训练检查点）。 - **评估指标**：每项任务 10 次 rollout（Toys 任务含 30 个放置子单元），先计算任务级成功率，再对任务做宏平均。 #### 1.2 核心结果 | 配置 | Standard | Perturbed | 平均 | |—-|—-|—-|—-| | Baseline | 46.7% | 15.0% | 36.1% | | + 多具身 | 57.9% | 22.5% | 46.1% | | + 60K 视频 | 82.9% | 35.0% | 66.9% | | + 120K 视频 | **87.9%** | **57.5%** | **77.8%** | | π 0.5 | 65.4% | 32.5% | 54.4% | | DreamZero | 61.7% | 37.5% | 53.6% | - **缩放趋势**：从仅 300 小时目标机器人数据到 120,000 小时具身视频，零样本平均成功率单调提升至 **77.8%**。 - **多具身数据**主要提升可执行控制（如微波炉关门从 0/10 提升至 9/10）。 - **大规模视频预训练**主要增强视觉泛化与对观测变化的鲁棒性；将视频从 60K 增至 120K 小时，Perturbed 套件提升 **22.5 个百分点**，所有扰动任务均显著改善。 —- ### 2. 双系统架构消融（Dual-System Ablation） #### 2.1 实验设计保持所有训练配置一致，仅改变推理架构： - **Slow**：仅使用 Slow DiT（5B）以较低频率生成 24 步动作块。 - **Slow-Fast**：Slow 异步提供视频 K/V 缓存，Fast DiT（0.5B）以实时频率基于最新观测生成动作。 #### 2.2 性能与延迟结果 | 架构 | Standard | Perturbed | 平均 | 延迟 | |—-|—-|—-|—-|—-| | Slow | 80.8% | 30.0% | 63.9% | 449.6 ms | | Slow-Fast | **87.9%** | **57.5%** | **77.8%** | 145.6 ms | | DMD 蒸馏 + 编译 | 85.0% | 55.0% | 75.0% | **33.0 ms** | - **Slow-Fast** 在 Standard 上提升 7.1 pp，在 Perturbed 上提升 **27.5 pp**，表明其在需要快速视觉反馈与状态修正的任务上优势显著。 - **加速**：异步执行带来 3.1× 加速（145.6 ms）；结合 DMD 步数蒸馏（8 步 → 2 步）与 Torch 编译，总加速达 **13.6×**，闭环延迟降至 **33 ms**（约 30 Hz），且性能仅轻微下降（-2.8 pp）。 —- ### 3. 仿真基准测试（Benchmark Results） #### 3.1 LIBERO-Plus（鲁棒性评估）评估在 7 种扰动（相机视角、机器人初始状态、语言指令、光照、背景、传感器噪声、物体布局）下的表现。 | 设置 | 方法 | 平均成功率 | |—-|—-|—-| | **零样本迁移** | ZimaBlue (Ours) | **86.7%** | | | InternVLA-A1.5 | 85.8% | | | π 0.5 | 85.2% | | **监督微调 (SFT)** | ZimaBlue (Ours) | **92.0%** | | | CAC-VLA | 90.1% | | | ACoT-VLA | 88.5% | - ZimaBlue 在零样本与 SFT 设置下均取得最优或次优表现，尤其擅长初始状态与光照变化。 - 相机视角变化是零样本瓶颈（58.1% → SFT 后 95.4%），表明视角多样性是未来数据缩放的关键目标。 #### 3.2 RoboTwin 2.0（双臂操作与域随机化）在 50 项双臂任务上评估，对比 VLA 与 WAM 方法。 | 方法 | Clean | Randomized | 平均 | |—-|—-|—-|—-| | ZimaBlue (Ours) | **94.7%** | **94.3%** | **94.5%** | | ABot-M0.5 | 94.0% | 94.2% | 94.1% | | Qwen-RobotManip | 93.7% | 94.0% | 93.9% | - ZimaBlue 在 Clean 与 Randomized 设置下均排名第一，且两者差距仅 0.4 pp，证明其在视觉域随机化下的强稳定性。 #### 3.3 RoboCasa365（大规模日常操作与零样本泛化）在 365 项任务上预训练，评估 50 项任务（18 项 Atomic-Seen、16 项 Composite-Seen、16 项 Composite-Unseen）。 | 方法 | Atomic-Seen | Composite-Seen | Composite-Unseen | 平均 | |—-|—-|—-|—-|—-| | Xiaomi-Robotics-1 | **80.2%** | **57.1%** | **32.1%** | **57.4%** | | ZimaBlue (Ours) | 78.1% | 50.4% | **16.5%** | 49.5% | | ABot-M0.6 | 79.4% | 48.3% | 7.9% | 46.6% | | ABot-M0.5 | 75.6% | 37.7% | 3.3% | 40.3% | - 在所有 WAM 方法中，ZimaBlue 的 Average、Composite-Seen 与 Composite-Unseen 均为最高。 - **关键发现**：在 Composite-Unseen（未见长程复合任务）上，ZimaBlue（16.5%）**超过 doubling** 此前的 WAM 最优结果 ABot-M0.6（7.9%）。论文将此归因于 120K 小时视频预训练带来的物理与因果先验。 - 定性对比（图 8）显示，去掉预训练与中间训练的模型在长程任务中会出现指代错误（抓取目标物体而非容器）与阶段错误（失败抓取后提前进入下一阶段）。 —- ### 4. 附录补充实验 - **A.1–A.5**：提供了 12 项真实机器人任务的详细定义、成功标准、逐任务成功率表格，以及扰动控制与失败分析。 - **B.1**：LIBERO-Plus 的逐套件（Spatial / Object / Goal / LIBERO-10）细分、SFT 与零样本的差距分析，以及每种扰动的可视化。 - **B.2**：RoboTwin 2.0 全部 50 项任务的逐项成功率。 - **B.3**：RoboCasa365 全部 50 项评估任务的逐项成功率。 Q5: 有什么可以进一步探索的点？基于论文第7节（Conclusion and Future Work）及实验分析中暴露的瓶颈，可进一步探索的方向包括： —- ### 1. 多样化、多具身的评估基准建设现有评估虽覆盖真实机器人与多个仿真环境，但任务分布与具身形态仍相对集中。未来亟需构建： - **跨形态、跨场景的综合性基准**：涵盖轮式、人形、灵巧手等更多具身类型，以及户外、工业等非桌面环境； - **长程复合任务与开放世界协议**：超越当前 50–365 项任务的封闭集合，引入动态人类干扰、不可预期物体状态变化等开放世界变量，以量化视频预训练带来的真实泛化边界。 —- ### 2. 数据与模型规模的同步扩展论文当前使用 120,000 小时视频，但明确指出这“仅是冰山一角”： - **数据维度**：进一步整合更大规模、更多样的第一人称人类视频（如 Ego-Exo4D、EgoScale 等），并探索**视频-动作-语言**三模态的联合 scaling law； - **模型维度**：扩大 DiT 骨干网络容量（如从 5B 迈向 20B+ 参数），研究世界动作模型在参数量与数据量同时增长时的涌现能力，尤其是在物理因果推理与长程预测上的质变。 —- ### 3. 高层认知推理与层次化规划当前 ZimaBlue 的推理主要嵌入在视频-动作联合生成中，缺乏显式的高层符号规划。未来可探索： - **推理模块的显式注入**：在大规模 WAM 之上集成链式思考（Chain-of-Thought）或视觉-语言推理模块，使机器人能够进行**任务分解、子目标生成与动态自校正**； - **世界模型驱动的树搜索 / MCTS**：利用 Slow 分支的未来想象能力，在推理时进行多步 rollout 与代价评估，实现从“单步反应”到“多步规划”的跃迁，解锁复杂长程操作。 —- ### 4. 上下文学习（In-Context Learning）与即时技能获取论文提出将物理演示直接作为推理时的 prompt，无需梯度更新即可执行新行为： - **演示作为视频-动作 prompt**：在推理阶段向模型输入少量同任务的人类或机器人视频片段，利用 WAM 的因果视频先验实现**单次或少次示范迁移**； - **在线情境适应**：结合实时观测历史作为动态上下文，使模型在部署过程中即时适应环境变化（如物体材质、光照突变），突破当前预训练-微调范式的局限。 —- ### 5. 观察视角泛化与多模态感知融合 LIBERO-Plus 实验揭示：**相机视角变化**是零样本迁移的显著瓶颈（58.1% → SFT 后 95.4%）。这提示： - **视角不变性表征学习**：在预训练中引入更强的几何增强、显式 3D 位姿编码或神经辐射场（NeRF）先验，降低对特定相机配置的依赖； - **触觉与力反馈的融合**：当前系统仅依赖 RGB 与本体感知。将触觉传感器、力/力矩信号统一编码进视频-动作 tokenizer，可显著提升接触密集型任务（如抓取打滑检测、装配）的鲁棒性。 —- ### 6. 实时性与动作连续性的进一步优化尽管已通过 Slow-Fast 双系统与 DMD 蒸馏实现 30 Hz 控制，但仍有提升空间： - **单步或零步扩散生成**：探索 consistency model、流匹配直接蒸馏（distilled flow matching）或自回归动作生成，将 Fast 分支压缩至单次前向传播； - **自适应重规划（Adaptive Replanning）**：当前 RTC 机制使用固定前缀长度。可引入基于状态估计不确定性的**动态重规划触发器**，仅在必要时激活 Fast 推理，进一步降低平均计算开销并减少动作抖动。 —- ### 7. 失败恢复与进度感知控制真实机器人实验显示，即使在强基线配置下，扰动场景成功率仍受限（57.5%）。剩余失败多源于： - **局部交互错误后的恢复不足**：如目标位移、接触丢失； - **缺乏显式任务进度监控**。未来可探索： - **进度感知的世界模型**：在 Slow 分支中显式预测任务完成度或子目标里程碑，指导 Fast 分支在失败时触发恢复行为； - **逆向动力学与重抓取策略库**：利用视频预训练学到的“如何纠正”先验（如从失败视频中学习恢复模式），实现闭环错误修正。 Q6: 总结一下论文的主要内容该论文围绕机器人操作的**数据可扩展性**与**实时可控性**两大核心挑战，提出了 **ZimaBlue**，一个基于大规模视频预训练的通用世界-动作模型（World Action Model, WAM）框架。以下是主要内容概括： —- ### 1. 研究背景与核心问题通用机器人策略需要广泛的物理经验以实现鲁棒泛化，但带有动作标签的机器人轨迹数据收集成本高昂且多样性有限。与此同时，第一人称（egocentric）视频数据规模庞大、易于获取，蕴含丰富的物体交互、接触动力学与长程任务结构，却**缺乏动作标注**，难以被标准视觉-语言-动作（VLA）模型直接利用。此外，生成式世界-动作模型通常依赖迭代去噪，推理延迟高，难以满足接触密集型任务的实时闭环控制需求。因此，核心问题在于： - 如何将海量**无动作视频**转化为有效的机器人控制能力； - 如何在保持世界模型强泛化能力的同时，实现**高频实时动作生成**。 —- ### 2. ZimaBlue 方法框架论文提出了一套三阶段训练课程与异步双系统推理架构。 #### 2.1 三阶段数据金字塔训练 - **Stage I：因果具身视频预训练** 在大规模人类与机器人第一人称视频（最多 120,000 小时）上进行无动作标注的预训练。模型基于过去观测与语言指令预测未来视觉状态，学习因果物理动态、物体 affordance 与长程任务结构。采用**块因果注意力**（block-causal attention）机制，在并行训练效率与自回归推理一致性之间取得平衡。 - **Stage II：多具身视频-动作中间训练** 引入异构机器人轨迹（DROID、AgiBot、Galaxea、RoboMIND2-Franka 等），通过**统一的 100 维语义状态-动作表征**将不同具身映射到共享空间。Slow 分支联合预测未来视频 latent 与动作块，迫使视觉动态与运动指令在共享表征中深度耦合。动作采用相对于 chunk 锚点的相对位姿表示：

Delta p_h = R_0^(-1)(p_h - p_0), quad Delta R_h = R_0^(-1)R_h

**Stage III：目标具身后训练与 Fast 分支训练** 将模型专精到目标部署环境。随后冻结 Slow 分支，训练轻量级的 **Fast DiT（0.5B）**。为模拟异步闭环执行，Fast 在训练中采样随机执行偏移与动作前缀，通过 Real-Time Chunking（RTC）机制学习基于最新观测的高频动作修正。 #### 2.2 异步 Slow-Fast 双系统架构 - **Slow DiT（5B）**：作为低频世界模型，生成长程视觉预测的层间 K/V 缓存，提供可泛化的时空物理表征。 - **Fast DiT（0.5B）**：作为高频动作执行器，其动作 query 在自注意力层中**交叉关注** Slow 分支缓存的视频 K/V，无需显式生成完整未来视频即可直接输出动作。 - 两分支并发运行：Slow 异步更新视觉指导，Fast 基于最新观测与可用缓存持续闭环控制。 #### 2.3 实时加速方案通过异步推理、Distribution Matching Distillation（DMD，将扩散步数从 8 步蒸馏至 2 步）以及 Torch 编译优化，系统在 NVIDIA RTX 4090 上将闭环延迟从 450 ms 逐步压缩至 **33 ms**，实现约 **30 Hz** 的物理控制频率。 —- ### 3. 实验验证 #### 3.1 真实机器人零样本评估在 7-DoF Franka 机械臂上评估 12 项训练时未见的零样本任务（含 8 项标准任务与 4 项视觉扰动任务）。数据显示单调的扩展趋势： - 仅目标机器人数据（300 小时）：成功率 **36.1%**； - 加入 6K 小时多具身数据：**46.1%**； - 进一步加入 120K 小时视频预训练：**77.8%**（Standard 套件 87.9%，Perturbed 套件 57.5%），显著优于 π 0.5 （54.4%）与 DreamZero（53.6%）。 #### 3.2 双系统消融引入 Fast 分支后，Perturbed 套件成功率从 30.0% 跃升至 **57.5%**，证明异步高频修正在视觉偏移与接触密集型场景中的关键价值。 #### 3.3 仿真基准测试 - **LIBERO-Plus**：零样本平均成功率 **86.7%**，监督微调后达 **92.0%**，在多种扰动下优于现有 VLA 与 WAM 方法。 - **RoboTwin 2.0**：在 50 项双臂任务上取得 **94.5%** 的平均成功率，且 Clean 与 Randomized 设置差距仅 0.4 pp，展现出色的域随机化鲁棒性。 - **RoboCasa365**：在 WAM 类方法中排名第一，尤其在 **Composite-Unseen**（未见长程复合任务）上达到 **16.5%**，较此前最优 WAM 基线（7.9%）提升超过一倍，验证了大规模视频预训练对零样本泛化的决定性作用。 —- ### 4. 结论与贡献论文的核心贡献包括： - 论证了**大规模具身视频预训练**作为机器人学习独立扩展轴的有效性，提供了从 36.1% 到 77.8% 的系统性数据扩展证据； - 提出了**三阶段训练框架**（视频预训练 → 多具身动作对齐 → 目标专精）与**跨具身统一动作表征**； - 设计了**Slow-Fast 双系统架构**，首次将大容量生成式 WAM 推向 30 Hz 的实时物理闭环控制。该工作表明：机器人智能可以通过“从视频中广泛学习世界动态，再通过解耦的慢速推理与快速控制高效执行”这一范式实现 scalable 的泛化与部署。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xionghao Wu,Yijun Yang,Shiyang Zhou,Haoze Sun,Jianhui Liu,Songsong Yu,Jiyao Zhang,Wenbo Li,Bo Wang,Guoqing Ma,Lin Song,Renjie Liao,Shenghe Zheng,Wei Tang,Xiaojuan Qi,Yanwei Li,Yuan Zhang,Zhuotao Tian,Haoyang Huang,Nan Duan

Categories:

PDF URL: https://arxiv.org/pdf/2609.00188.pdf

Arxiv URL: https://arxiv.org/abs/2609.00188

Arxiv ID: 2609.00188

CoolPaper URL: https://papers.cool/arxiv/2609.00188

Published: 2026-09-03T01:26:31.213Z

Updated: 2026-09-03T01:26:31.213Z

7. From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix

Abstract:Data-residency constraints force enterprises to self-host LLMs, but continuous adoption of newer models without decommissioning their predecessors expands the serving fleet, fragmenting a finite GPU pool. We consolidate traffic from over 200 internal applications onto a single model by closing quality gaps identified through production error analysis along three axes: instruction following, function-calling, and internal task distribution. Quality is tracked by offline benchmarks stratified to production traffic and scored by deterministic verifiers or calibrated LLM judges. Rather than optimising all objectives jointly, which introduces cross-domain reward interference, we train a separate GRPO expert per axis and merge them via two-stage SLERP. Each expert’s reward exposes a distinct failure mode, namely semantic collapse, over-calling, and verbosity hacking, each requiring a domain-specific fix. In non-reasoning mode the recipe surpasses a ${\sim}7\times$ larger by total parameters baseline on the in-house Arena with 69.6 to 65.8, instruction following with 0.85 to 0.83, and function-calling with 0.79 to 0.77, while lifting general dialogue benchmarks. The model absorbs 50% of platform traffic, 116M requests per month, at a fraction of the serving cost.

中文摘要

摘要：数据驻留限制迫使企业自托管大规模语言模型（LLM），但在不退役前代模型的情况下持续采用更新模型会扩大服务群组，从而分散有限的 GPU 资源。我们通过关闭在生产错误分析中发现的三个方面的质量差距——指令遵循、函数调用和内部任务分配，将来自 200 多个内部应用的流量整合到单一模型上。质量通过分层至生产流量的离线基准进行跟踪，并由确定性验证器或校准过的 LLM 裁判评分。与同时优化所有目标（这会引入跨领域奖励干扰）不同，我们为每个轴训练独立的 GRPO 专家，并通过两阶段 SLERP 合并它们。每个专家的奖励都暴露了一个独特的失败模式，即语义崩溃、过度调用和冗长操控，每种模式都需要特定领域的修复。在非推理模式下，该方案在内部 Arena 上的总体参数约 $\sim 7\times$ 更大的基线模型上表现更优，具体表现为 69.6 对 65.8，指令遵循为 0.85 对 0.83，函数调用为 0.79 对 0.77，同时提升了通用对话基准。该模型吸收了平台 50% 的流量，即每月 1.16 亿请求，并且服务成本仅为之前的一小部分。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决企业在自托管大型语言模型（LLM）过程中面临的\*\*模型碎片化与GPU资源低效利用\*\*问题，具体而言，核心问题可归纳如下： - \*\*服务集群膨胀与GPU池碎片化\*\*：由于数据驻留和监管约束，企业必须在本地部署LLM。然而，随着新模型不断被采纳而旧模型未被淘汰，服务集群持续扩张，导致有限的GPU资源被分散到多个模型上，推高了推理成本。 - \*\*生产流量向单一模型的整合难题\*\*：论文目标是将来自200多个内部应用的流量整合到单一模型上。通过生产错误分析，作者识别出阻碍迁移的三个关键质量差距： 1. \*\*指令遵循（Instruction Following）\*\*：格式化与非格式化的指令违反占失败案例的37.9%，是最大的单一改进杠杆； 2. \*\*函数调用（Function Calling）\*\*：约12%的流量涉及工具调用，且生产环境中的工具文档多为俄语，对以英语为中心的基模型构成分布外挑战； 3. \*\*内部任务分布对齐（Internal Task Distribution）\*\*：高频任务与长尾工作流之间存在分布差距，需要模型在保持泛化能力的同时对齐企业内部请求分布。 - \*\*多目标后训练中的奖励干扰\*\*：直接联合优化上述所有目标会导致跨领域奖励干扰（cross-domain reward interference），引发特定的奖励作弊（reward hacking）模式（如语义坍缩、过度调用、冗长作弊）。 - \*\*部署成本与质量的权衡\*\*：最终目标是在非推理模式下，以一个参数量约小7倍的模型，在内部Arena、指令遵循和函数调用等关键指标上超越大型基线模型，同时承担每月1.16亿请求的50%流量，并显著降低服务成本。简言之，论文旨在建立一套从生产流量分析到后训练部署的完整方法论，通过模块化的专家训练与权重空间合并策略，在不牺牲通用能力的前提下，将分散的企业LLM流量高效整合到单一、经济、可持续更新的自托管模型上。 Q2: 有哪些相关研究？该论文的相关研究主要围绕四个维度展开：俄语大语言模型（LLM）的构建路径、指令遵循与函数调用的多语言挑战、后训练对齐算法，以及模型权重合并与内部评估方法论。 ### 1. 俄语大语言模型开发现有俄语LLM研究主要沿两条技术路线推进： - \*\*从头训练\*\*：基于俄语语料预训练专用模型，如早期工作（Kuratov and Arkhipov, 2019）及后续系列模型（Zmitrovich et al., 2024）。 - \*\*多语言骨干适配\*\*：在现有多语言基座（如 Qwen、Llama 系列）上进行俄语适配，通过词汇扩展与嵌入传播等技术提升俄语生成效率（Tikhomirov and Chernyshov, 2024; Nikolich et al., 2024; Stoianov et al., 2026; Mamedov et al., 2025）。论文指出，上述工作主要改善了俄语的通用生成流畅性，但针对\*\*代理式能力\*\*（agentic skills）——如可靠执行指令、结构化工具使用与多步行为稳定性——的可复现后训练方案仍属空白。 ### 2. 指令遵循（IF）与函数调用（FC）的多语言挑战 - \*\*指令遵循\*\*：英语场景下的验证器与基准（AutoIF、IFBench、VerIF）为模板提供了基础（Dong et al., 2025; Pyatkin et al., 2025; Peng et al., 2025），但俄语的形态变化、格位、标点及自由词序导致英语验证器无法直接复用。 - \*\*函数调用\*\*：近期多语言工具使用研究（Chen et al., 2025b; Luo et al., 2026）表明，失败主要源于\*\*执行接口违规\*\*（如参数值与目标语言不匹配），而非意图理解错误。论文因此强调需在数据层面而非推理时进行原生俄语处理，并借鉴了模式感知的合成数据 pipeline（Liu et al., 2024, 2025; Prabhakar et al., 2025; Xu et al., 2025）以及 Tool-N1 奖励函数（Zhang et al., 2026b）。 ### 3. 后训练配方与强化学习 - \*\*主流框架\*\*：现代后训练系统（如 Tulu 3、DeepSeek-R1）建立在 RLHF 与 RLVR 基础上，采用 GRPO 及其变体进行优化（Lambert et al., 2025; Guo et al., 2025; Schulman et al., 2017; Shao et al., 2024; Yu et al., 2025; Zheng et al., 2025）。 - \*\*多目标训练的脆弱性\*\*：联合优化多个奖励信号时，模型易出现奖励作弊（reward hacking）。相关研究记录了多目标 GRPO（Ichihara et al., 2025）、基于评分标准的奖励建模（Gunjal et al., 2026; Huang et al., 2025; Liu et al., 2026; Shen et al., 2026; Zhang et al., 2026a）中的交叉领域干扰现象。论文据此放弃联合训练，转而采用分领域专家训练。 ### 4. 模型合并与内部评估 - \*\*权重空间合并\*\*：为避免联合训练的不稳定性，论文采用模型合并技术整合领域专家。相关工作包括 Model Soups（Wortsman et al., 2022）、Task Arithmetic（Ilharco et al., 2023），以及 Llama 3（Grattafiori et al., 2024）、Command A（Team Cohere et al., 2025）、Aya Expanse（Dang et al., 2024）等大型系统中的实际应用。 - \*\*内部评估基准\*\*：开放基准如 Arena-Hard（Li et al., 2025）与 WildBench（Lin et al., 2025）为开放式对话提供了可复现的评分框架。论文在此基础上扩展了\*\*与生产流量分层匹配的内部基准\*\*，并结合确定性验证器与经过校准的 LLM 评判器进行任务特异性评分。 Q3: 论文如何解决这个问题？该方案采用\*\*“生产诊断 → 共享监督微调 → 分领域强化学习 → 权重空间合并”\*\*的模块化路径，将碎片化流量整合至单一模型。具体解决步骤如下。 --- ### 1. 生产错误诊断与分层内部基准构建论文首先对约10万条月活生产流量进行错误分析，识别出阻碍迁移的三大质量轴： - \*\*指令遵循（IF）\*\*：格式化与非格式化约束违反合计占失败案例的37.9%； - \*\*函数调用（FC）\*\*：约占12%流量，主要失败模式为俄语参数填充与工具描述分布外问题； - \*\*通用对话与内部任务分布（General）\*\*：高频任务与长尾工作流和公开训练分布存在偏差。为精确度量修复效果，论文构建了一套与生产分布对齐的内部基准： - \*\*模板感知采样\*\*：通过掩码变量片段、局部敏感哈希（LSH）分组、在模板内执行贪心最大最小距离采样，并按 √count 分配预算，在保持Jensen-Shannon距离最小化的同时，最大化TF-IDF余弦距离多样性（Table 1）。 - \*\*任务特定评判\*\*：将请求经LLM分类器路由至对应方案。客观任务（分类、信息抽取）采用基于金标准答案的确定性评分；开放式任务（摘要、内容生成）采用结合RubricHub式检查清单的成对侧边（SBS）评判，经人类校准后Cohen’s kappa 从0.62提升至0.85（Table 2）。 --- ### 2. 共享监督微调（SFT）作为统一起点在RL之前，所有目标域（内部生产、通用域、IF、FC）的数据被混合进行\*\*单阶段联合SFT\*\*。实验证实（Table 3），该联合检查点在各域上的质量与单域SFT专家基本持平，因此无需在SFT阶段拆分专家，从而为后续RL提供共享初始策略。 --- ### 3. 分领域GRPO专家训练与针对性修复鉴于联合多目标GRPO存在严重的\*\*跨领域奖励干扰\*\*（Table 23），论文将联合SFT检查点分叉为三个独立的GRPO（Group Relative Policy Optimization）专家，每个专家针对单一奖励信号训练至收敛，并对各自出现的奖励作弊（reward hacking）模式实施域特定修复。 #### 3.1 通用专家（General Expert） - \*\*目标\*\*：保留 broad capabilities 并对齐内部任务分布。 - \*\*数据\*\*：80%开源俄语指令语料 + 20%经模板感知采样与Min-Hash去污染的内部样本，由 Qwen3-235B-A22B-Instruct-2507 重新生成回答以保证目标分布同质性。 - \*\*奖励作弊与修复\*\*：RM存在\*\*冗长偏好（verbosity hacking）\*\*。论文引入\*\*乘性长度惩罚\*\*与\*\*增强KL约束\*\*：

R(x, y) mapsto R(x, y) · (1 - α(x, y))

α(x, y) = sgn(R(x, y)) · clip(L(y)/L0(x) - d(min)d(max) - d(min))
其中 L0(x) 为教师模型 Qwen3-235B-A22B-Instruct-2507 在相同提示上的回答长度， d(min)=0.1, d_(max)=0.3 。同时KL系数从0.001提升至0.01，以约束策略分布漂移（Appendix C）。 #### 3.2 指令遵循专家（IF Expert） - **目标**：提升对未见约束的严格满足能力。 - **数据**：将AutoIF管道适配至俄语，从54条手写种子约束经LLM增广、一致性过滤与回译验证扩展至**43K条验证约束**，生成26K训练样本。 - **奖励作弊与修复**：纯验证器奖励导致**语义坍缩（semantic collapse）**，即模型输出满足形式检查但语义空泛的最小化内容。修复方案为在VerIF风格验证器奖励 V_i 上叠加**提示特定的RM质量修正**：

Ri = V_i + 1, & if V_i > 0 and S_i > α_i, V_i - 0.5, & if V_i > 0 and S_i ≤ α_i, V_i, & if V_i ≤ 0.
其中 S_i 为生成样本的RM分数， α_i 设为同一提示上教师模型8条完成平均RM分数，从而惩罚“形式上通过但质量低于教师基线”的输出（Appendix D）。 #### 3.3 函数调用专家（FC Expert） - **目标**：解决俄语工具描述分布外与参数填充错误。 - **数据**：因公开数据英语中心化且机翻结构不安全，论文从零构建原生合成管道，分离规划与模拟阶段，通过三智能体（用户、助手、工具）在非对称可见性下重放轨迹，生成**1.2M英文 + 300K俄文**样本（Appendix E）。 - **奖励作弊与修复**：二元Tool-N1精确匹配奖励诱发**过度调用（over-calling）**（存疑时默认emit call）。修复通过**数据分布调整**而非修改奖励：在助手文本目标中注入**10%合成无关样本**（从可用工具池中移除目标工具并改写为文本拒绝），并将文本目标占比固定为20%，从而恢复无关检测能力并提升多轮准确率（Table 16, Table 19）。 —- ### 4. 两阶段权重空间合并（SLERP）三个专家训练完成后，通过**两阶段顺序SLERP**合并为单一部署模型： 1. **第一阶段**：将IF专家与FC专家以系数 t_1 合并（按层区分attention、MLP与剩余参数的不同系数）； 2. **第二阶段**：将上述中间结果与General专家以统一系数 t_2=0.8 合并。该顺序经实证验证为最优（Table 7）：先合并两个可验证奖励专家、再融入通用专家，可在所有基准上超越其他顺序。作为对比，联合多领域GRPO在32B规模下需1.7倍预算且仍无法在IF与FC上同时保持竞争力（Table 8），而单阶段联合SLERP或TIES-Merging均逊于该顺序方案（Table 24）。 —- ### 5. 部署与效果验证最终合并模型在非推理模式下运行，其效果包括： - **质量**：内部Arena得分69.57，超越参数量约7倍的 Qwen3-235B-A22B-Instruct-2507（65.83）；内部IF（0.85 vs 0.83）与FC（0.79 vs 0.77）亦优于该大模型基线（Table 6）。 - **成本与流量**：承接平台**50%流量**（月均1.16亿请求，峰值110 RPS），在单GPU FP8 vLLM副本上95分位延迟3.2秒；相比大模型基线，输入/输出token成本降低2.8–3.9倍，部分服务成本降低4–9倍。 - **可复现性**：基于相同配方但不含内部数据训练的公开检查点在公开基准上表现接近部署版本，证实配方本身而非专有数据驱动了主要增益。 Q4: 论文做了哪些实验？论文围绕**内部基准构建、训练配方消融、专家合并策略、最终模型评估**四个层面展开了一系列实验，具体如下： —- ### 一、内部基准构建与验证实验 #### 1. 生产流量采样方法对比为验证模板感知采样策略的有效性，论文在约10万条月活查询上对比了四种采样方法（Table 1）： - **均匀随机采样**：保留生产分布但存在大量近似重复； - **贪心最大最小距离（Greedy max-min）**：追求多样性但严重扭曲服务与模型分布； - **#InsTag**：以主题多样性优先，过度代表稀有任务类别； - **模板感知采样（Template-based）**：掩码变量片段后经LSH分组，在组内执行贪心最大最小采样，并按 √count 分配预算。实验以**平均成对TF-IDF余弦距离**（越高越多样）和**Jensen-Shannon距离**（越低越接近生产分布）为指标。结果证实模板感知采样在达到最高多样性（0.953）的同时，在各维度上的JS距离均显著低于纯多样性采样方法。 #### 2. 任务特定评判方案验证论文验证了“统一侧边（SBS）评判”与“任务特定评判”的人类一致性差异（Table 2）： - 对客观任务（分类、信息抽取，占63.2%流量）采用**基于金标准答案的参考式评分**； - 对开放式任务（摘要、内容生成）采用**结合RubricHub式检查清单的SBS评判**，并对比了基线SBS、清单引导SBS、逐标准评分（客观→主观聚合）、逐标准+总体裁决四种方案。以Cohen’s kappa 衡量与人类标注的一致性，任务特定管道将参考式任务的一致性从0.63提升至0.88，开放式内容生成从0.57提升至0.72（Table 2, Table 12）。 —- ### 二、训练配方消融实验 #### 3. 共享SFT的跨域充分性为验证单阶段联合SFT是否足以保留各域质量，论文对比了三种32B模型（Table 3）： - 基线 Qwen3-32B； - 仅训练单一域的**领域SFT**（General/IF/FC分别训练）； - **共享SFT**（所有域数据混合训练）。结果显示共享SFT在Arena-Hard Ru（92.45 vs 91.96）、ruIFEval（66.00 vs 62.18）、BFCL（68.59 vs 69.37）上与领域SFT基本相当，证实联合SFT可作为后续RL的共享起点。 #### 4. 奖励模型（RM）是否需要内部数据适配在通用专家的GRPO管道中，论文对比了通用RM与经内部偏好对微调的RM（Table 4）。内部适配的RM未带来质量提升（Ru-Arena-Hard 93.51 vs 95.26，内部Arena 68.58 vs 70.73），反而导致响应长度异常增长（362 vs 286 tokens），表明通用RM已捕捉足够信号。 #### 5. 单域GRPO的跨域迁移性从共享SFT检查点分叉训练三个独立的GRPO专家（General、IF、FC），并测试每个专家在非目标域上的性能（Table 5）。实验显示： - General专家提升Arena得分（95.26/70.73），但IF与FC指标接近SFT基线； - IF专家提升ruIFEval至0.827，但FC指标下降； - FC专家提升BFCL Ru至66.73，但Arena和IF指标下降。该实验证实**单域GRPO的增益基本不跨域迁移**，为后续采用专家合并提供了实证依据。 #### 6. 联合GRPO vs. 专家合并（8B与32B规模）这是核心消融之一。论文首先在**8B模型**上进行了大规模联合GRPO超参扫描（Table 23），测试了： - 从混合SFT起点联合优化FC+IF； - 加入General奖励后的三域联合优化； - 每批次单域 vs. 批次内混合； - 不同FC/IF采样比例（50/50, 65/35, 71/29等）； - 从General-GRPO热启动的联合训练。 8B实验发现强跨域干扰：联合优化可验证奖励域会压制另一域（如IF提升时FC从61.2降至54.5）。随后在**32B部署规模**上复现该结论（Table 8），显示从混合SFT起点的联合GRPO在ruIFEval（0.770 vs 0.799）和BFCL Ru（60.88 vs 65.96）上均逊于合并方案；唯一接近合并性能的配置需从General-GRPO热启动且消耗**1.7倍训练预算**。 —- ### 三、专家训练与奖励作弊修复实验 #### 7. General专家：长度惩罚与KL约束消融（8B）为抑制RM的冗长偏好，论文在Qwen3-8B上对比了DPO、带长度再平衡的DPO、带长度惩罚的GRPO、以及联合长度惩罚与增强KL系数的GRPO（Table 13, Figure 1）。关键发现： - 纯DPO使平均长度从1388增至2064 tokens； - 纯GRPO（仅RM奖励）进一步触发长度奖励作弊（自我提问并回答）； - 引入乘性长度惩罚与KL系数从0.001增至0.01后，Ru-Arena-Hard得分达86.02，长度降至1220 tokens。 #### 8. IF专家：奖励设计消融（8B）针对验证器奖励导致的语义坍缩（图2展示了奖励上升同时长度骤降的现象），论文在8B上测试了多种修复方案（Table 14）： - 纯验证器奖励（基准）； - 增加长度惩罚； - 增加LLM-as-a-Judge惩罚； - 基于参考/SFT/教师模型（235B）的RM质量修正。最终采用的**提示特定教师基线RM修正**（RM / 235B）在ruIFEval上取得最佳表现（Prompt-level strict 0.720，Instruction-level strict 0.802）。 #### 9. FC专家：数据混合比例消融（8B与32B）函数调用专家的GRPO混合比例通过分步扫描确定（Table 16, Table 17）： - **Step 1a（文本目标占比）**：在英文多轮子集上测试20%、30%、50%、70%的助手文本目标份额，发现较低文本份额（20%）带来最高多轮准确率（44.8% at 32B, Table 19）； - **Step 1b（无关样本占比）**：在文本目标内注入合成无关样本，测试5%、10%、20%、30%，选定10%以恢复无关检测（88.5% vs 78.3% at 32B）； - **Step 2（英俄比例）**：在8B上扫描40/60至70/30，最终采用70/30（英文/俄文），因俄文性能在扫描范围内波动不超过1.8分。 #### 10. FC专家分阶段贡献（32B）为隔离SFT与GRPO各自的贡献，论文在32B上从基线出发依次叠加FC-only SFT与GRPO（Table 18, Table 15）。在英文基准（BFCLv3 EN、AceBench）上SFT贡献主要增益；在俄文BFCLv3上GRPO贡献最大增益（从58.69升至66.93），这归因于过度调用行为的修正而非语言比例变化。多轮子集准确率从基线21.00/17.75提升至SFT后38.12/29.88，再至GRPO后42.88/37.12（Table 15）。 —- ### 四、权重空间合并实验 #### 11. 合并顺序与算子对比论文枚举了三种两阶段SLERP顺序（Table 7）： - (IF + FC) → Gen.：最优，Ru-Arena-Hard 93.37，内部Arena 68.99； - (IF + Gen.) → FC：次优； - (FC + Gen.) → IF：最差。此外对比了单阶段联合SLERP、TIES-Merging与顺序SLERP（Table 24）。顺序SLERP在Arena（93.87）、ruIFEval（0.799）和BFCL（72.27/65.96）上全面优于其他合并算子。 #### 12. 打磨（Polish）阶段消融论文测试了在合并后对 θ(merged) 进行短SFT打磨以恢复格式一致性，但发现打磨后的检查点在通用指标上持平，却在IF和FC上轻微退化（Table 24: +polish后内部IF从0.799降至0.795，BFCL EN从72.27降至71.83），因此排除了该步骤。 —- ### 五、最终模型评估实验 #### 13. 与基线模型的全面对比（Table 6）最终合并模型（T-pro-2.1）在以下维度与基线对比： - **内部Arena**：69.57，超越Qwen3-235B-A22B-Instruct-2507（65.83）； - **内部IF**：0.85 vs 0.83； - **内部FC**：0.79 vs 0.77； - **公开俄文基准**：ruBFCLv3（65.96 vs 64.42）、ruMultiChallenge（34.1 vs 46.2，差距收窄）、ruWildChat（80.7 vs 85.1）； - **智能搜索（SmartSearch）**：F1R&G达0.557，超越基线Qwen3-32B no-think（0.478）及T-Pro-2.0 think（0.537）。 #### 14. 评判器敏感性分析（Table 27）为排除评判器偏好偏差，论文使用四种不同LLM评判器（DeepSeek-V3、GLM-4.6、Mistral-Large-3、DeepSeek-V3.1-Terminus）对缓存生成结果重新评分。结果证实模型排序稳定：T-pro-2.1（内部/公开）始终位列前二，且均高于Qwen3-32B no-think。 #### 15. 内部BFCL组件分解（Table 28）将工具调用性能分解为：调用/文本决策、工具匹配、必需参数存在、模式有效性、约束参数值。T-pro-2.1在决策（0.88 vs 0.79）和必需参数（0.73 vs 0.61）上相对Qwen3-32B no-think提升最显著，而模式有效性已饱和（≥0.97）。 #### 16. 英语基准验证（Table 25）在英语IFEval（0.7872）、MultiChallenge（37.4）、Arena Hard 2（60.8/70.4）上，T-pro-2.1同样展现出竞争力，证实配方未牺牲通用英文能力。 #### 17. 公开检查点验证公开版T-pro-2.1（无内部数据）与内部部署版在公开基准上得分接近（Table 6），验证了**配方本身而非专有数据**是增益的主要来源。 Q5: 有什么可以进一步探索的点？基于论文的局限性披露与实验观察，以下方向值得进一步探索： —- ### 1. 跨语言与跨域的方法论验证论文的方法目前仅在**俄语与英语**、单一企业部署及 **Qwen3** 模型家族上得到验证。亟待回答的问题包括： - 该配方是否适用于形态更复杂或资源更稀缺的语言（如阿拉伯语、日语、印地语），尤其是当这些语言的词序、格变化或书写系统对指令验证器构造构成不同挑战时； - 模板感知采样与任务特定评判管道在**非企业场景**（如医疗、法律长文本工作流）中的迁移性，特别是当任务分布的尾部更长、A/B测试更不可行时； - 在其他模型家族（如 Llama、Mistral、DeepSeek）上，分领域GRPO与两阶段SLERP合并的**超参敏感性**是否保持一致。 —- ### 2. 联合多目标RL的理论与算法改进论文通过分专家训练规避了联合GRPO中的**跨领域奖励干扰**，但这一解耦带来了额外的训练与存储开销。未来可探索： - 设计**具有理论保证的多目标RL算法**，使IF、FC与General奖励能在单一优化过程中共存而不坍缩。例如，可借鉴多目标优化中的Pareto稳定性或动态偏好权重，而非固定混合比例； - 研究奖励信号之间的**拓扑结构**：论文观察到IF与FC的联合优化存在强竞争（Table 23），是否可以通过奖励分解（reward decomposition）或辅助任务学习显式建模它们之间的正交与冲突维度； - 开发**在线领域识别机制**，在推理时动态路由至对应子策略，从而避免权重合并带来的能力折中。 —- ### 3. 奖励工程与抗奖励作弊（Reward Hacking）论文记录了三种域特定的奖励作弊模式（语义坍缩、过度调用、冗长作弊），并分别采用**数据分布修正**或**RM质量修正**进行修复。更根本的解决方案可能包括： - 为函数调用设计**不可作弊的密集奖励**：当前二元精确匹配奖励（Tool-N1）天然诱发过度调用。是否可构造基于工具执行反事实的边际收益奖励，或利用程序合成与符号执行提供细粒度信用分配； - 在IF领域，将**大型语言模型作为评判器（LLM-as-a-Judge）**深度集成至RL循环中，替代或补充确定性验证器，以同时约束形式正确性与语义充分性，而非仅在RM修正阶段使用； - 建立**奖励作弊的动态监测框架**：在训练过程中实时检测策略是否正在利用验证器的盲点（如长度突降、特定模式频率异常），并自动触发数据增强或奖励重设计。 —- ### 4. 模型合并的理论指导与自动化当前两阶段SLERP的合并顺序与层-wise系数通过**网格搜索**经验确定（Appendix G），缺乏可迁移规则： - 研究不同专家权重在参数空间中的**几何关系**（如功能正交性、干扰子空间），以推导最优合并顺序的解析判据； - 探索**任务算术（Task Arithmetic）或TIES-Merging的扩展变体**，使其能自适应处理三个以上专家且无需逐例调参； - 在合并后引入**轻量自适应层（如LoRA adapters）**而非直接丢弃打磨（polish）阶段，以修复合并导致的表面格式漂移而不损害领域能力。 —- ### 5. 长程多轮交互与端到端优化论文指出，FC专家的GRPO优化的是**单轮工具调用的精确匹配**，而 τ^2 -bench 等端到端会话基准上的增益相对有限（Table 18）。这揭示了： - 需要**会话级而非轮次级**的RL目标函数，例如将整个ReAct轨迹的最终任务成功率作为稀疏奖励，并配合基于步骤的贡献度分配（如Hindsight Experience Replay或信用分配模型）； - SmartSearch展示了FC能力向检索-推理循环的迁移性，但尚未针对**多工具链式调用中的错误恢复**进行显式训练。探索在合成对话中注入工具失败、超时与冗余返回，以提升鲁棒性； - 研究**思考模式（thinking mode）与非思考模式的动态切换**：论文因延迟约束强制使用非思考模式，但未来可探索在关键多轮节点按需触发推理，以弥补32B模型在知识密集型任务上与235B模型的差距（Table 6中ruMultiChallenge与SmartSearch仍有残余差距）。 —- ### 6. 在线适应与持续学习当前配方以**离线的周期性重新训练**为主，而企业内部应用的长尾分布变化速度快于任何单一应用积累足够A/B测试数据的速度： - 构建**流式或增量式后训练管道**，使模型能够持续吸收新上线应用的少量请求，而不遗忘已合并的专家能力； - 研究**专家动态增删机制**：当新增第四个能力轴（如代码生成或视觉理解）时，是否可在不重新训练现有三个专家的前提下，将新专家插入合并结构； - 结合**生产日志的实时奖励反馈**，利用在线RL（而非仅离线GRPO）快速修正新观察到的失败模式，同时通过合并前的独立专家训练隔离分布漂移风险。 —- ### 7. 评估方法论的可扩展校准论文依赖经人类校准的LLM评判器，但指出若迁移至其他分布需**重新校准**： - 开发**自动化的评判器校准协议**，减少对人类标注的依赖。例如，利用主动学习选择评判器与人类分歧最大的样本进行标注，而非全量校准； - 针对开放式生成任务，研究**细粒度评判维度**（如事实性、完整性、风格一致性）的自动解耦与聚合，以替代当前启发式的客观→主观规则（Obj→Subj）； - 在更长的时间窗口上验证内部基准的**稳定性**：论文使用一个月窗口对齐生产周期，但需检验任务分类器与采样分布在季度或年度尺度上的漂移程度。 —- ### 8. 成本-质量-延迟的联合优化论文重点关注了非推理模式下的成本降低，但未来系统需在三维空间中寻优： - 将**模型合并与推测解码（speculative decoding）或级联推理（cascaded inference）**结合，对简单查询使用合并后的轻量模型，对复杂查询动态调用未合并的专家或更大模型； - 量化合并过程中**不同参数组（Attention vs. MLP）对领域能力的敏感度**，以实现结构化剪枝与进一步推理加速，而非仅使用统一的FP8量化。 Q6: 总结一下论文的主要内容该论文提出了一套面向企业自托管场景的生产驱动型大语言模型（LLM）后训练方法论，旨在将分散于多模型的内部流量整合至单一高效模型。核心内容可概括如下： —- ### 1. 研究背景与问题 - **数据驻留与GPU碎片化**：受数据驻留及监管约束，企业需在本地GPU集群上部署LLM。然而，持续引入新模型而不淘汰旧模型导致服务集群膨胀、GPU池碎片化，推高了推理成本。 - **迁移壁垒**：超过200个内部应用共享平台流量，但长尾应用更迭迅速，难以通过A/B测试逐案优化。生产错误分析识别出阻碍单模型承载全部流量的三大质量缺口： - **指令遵循（IF）**：约束违反占失败案例的37.9%； - **函数调用（FC）**：约12%流量涉及工具调用，俄语工具描述与参数填充对英语中心化基模型构成分布外挑战； - **内部任务分布（General）**：高频与长尾工作流和公开训练分布存在偏差。 —- ### 2. 核心方法 #### 2.1 生产对齐的内部评估体系 - **模板感知采样**：针对内部流量中模板化请求占比高的特点，通过掩码变量片段、局部敏感哈希（LSH）分组、组内贪心最大最小距离采样，并按 √count 分配预算，在最大化多样性的同时保持与生产分布的Jensen-Shannon距离最小化。 - **任务特定评判**：通过LLM任务分类器将请求路由至对应评估方案。客观任务采用基于金标准答案的确定性评分；开放式任务采用结合RubricHub式检查清单的成对侧边评判，经人类校准后一致性（Cohen’s kappa ）从0.62提升至0.85。 #### 2.2 分领域专家训练与权重合并为避免联合多目标强化学习中的跨域奖励干扰，论文采用**“共享SFT → 独立GRPO专家 → 两阶段SLERP合并”**的模块化路径： - **共享SFT**：将所有目标域数据混合进行单阶段监督微调，实验证实其质量与分域SFT持平，可作为统一初始策略。 - **独立GRPO专家**：从共享SFT检查点分叉训练三个专家，每专家针对单一域奖励优化，并解决特定奖励作弊： - **通用专家**：通过乘性长度惩罚（基于教师模型长度基线）与增强KL系数（从0.001提至0.01）抑制**冗长作弊**； - **IF专家**：在VerIF风格验证器奖励基础上，叠加**提示特定的奖励模型质量修正**（以教师模型生成质量为阈值），抑制**语义坍缩**； - **FC专家**：通过数据分布调整（20%文本目标中注入10%合成无关样本）抑制**过度调用**，而非修改二元精确匹配奖励。 - **两阶段SLERP合并**：先合并IF与FC专家，再融入通用专家。该顺序经实证优于其他顺序及单阶段联合SLERP、TIES-Merging。 —- ### 3. 关键实验与结果 #### 3.1 配方消融验证 - **共享SFT充分性**：联合SFT在Arena、IFEval、BFCL上与分域SFT质量相当（Table 3）。 - **联合GRPO的脆弱性**：8B与32B规模上的联合多域GRPO扫描显示强跨域干扰，IF提升时FC性能坍缩；唯一竞争配置需从通用GRPO热启动且消耗1.7倍预算（Table 8, Table 23）。 - **单域GRPO不跨域迁移**：各专家仅提升目标域性能，其他域基本不变，证实合并的必要性（Table 5）。 #### 3.2 最终模型性能最终合并模型（T-pro-2.1，基于Qwen3-32B非推理模式）在以下方面显著超越参数量约7倍的Qwen3-235B-A22B-Instruct-2507： - **内部Arena**：69.57 vs 65.83； - **内部IF**：0.85 vs 0.83； - **内部FC**：0.79 vs 0.77； - **公开俄文基准**：ruBFCLv3（65.96 vs 64.42）、AceBench（73.50 vs 70.20）。在英语基准（IFEval、MultiChallenge、Arena Hard 2）上同样保持竞争力。无内部数据训练的公开检查点表现接近部署版本，证实**配方本身而非专有数据**驱动主要增益。 #### 3.3 部署成效模型承担平台**50%流量**（月均1.16亿请求，峰值110 RPS），在单GPU FP8 vLLM副本上运行，95分位延迟3.2秒。相比大模型基线，输入/输出token成本降低2.8–3.9倍，部分服务成本降低4–9倍。 —- ### 4. 主要贡献 - **方法论**：建立了从生产错误分析、流量分层采样、任务特定评估到模块化后训练的完整企业LLM迭代闭环。 - **训练范式**：提出“一专家一目标轴+权重空间合并”的替代方案，规避了多目标RL中的奖励干扰问题，使系统更易调试、审计与扩展。 - **失败模式文档化**：系统记录了语义坍缩、过度调用、冗长作弊三种域特定奖励作弊模式及其修复策略。 - **开源**：发布了基于相同配方但不含内部数据的公开权重检查点（T-pro-it-2.1）。 —- ### 5. 局限性与适用范围 - **语言与范围**：评估与训练验证仅限于俄语和英语，内部基准源自单一企业的自托管平台。 - **模型家族**：全部实验基于Qwen3家族，未在其他骨干上验证。 - **评判器依赖**：开放式评估依赖经人类校准的LLM评判器，迁移至其他分布需重新校准。 - **长程优化**：FC专家的轮次级奖励未直接优化端到端会话成功率，与完整会话基准（如 τ^2 -bench）之间存在改进空间。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Olga Tsymboi,Dmitrii Stoianov,Ramil Latypov,Danil Taranets,Daniil Dryabin,Mikhail Gashkov,Viktor Zelenkovskiy,Aleksandr Fida,Gleb Alektorov,Nikita Gulyakov,Arthur Babkin,Aleksandr Medvedev,Pavel Gein,Anatolii Potapov

Categories:

PDF URL: https://arxiv.org/pdf/2609.01572.pdf

Arxiv URL: https://arxiv.org/abs/2609.01572

Arxiv ID: 2609.01572

CoolPaper URL: https://papers.cool/arxiv/2609.01572

Published: 2026-09-03T01:26:31.229Z

Updated: 2026-09-03T01:26:31.229Z

8. Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering

Abstract:A central bottleneck in multi-hop Question Answering (QA) is that the granularity at which a question is expressed often differs from the granularity at which corpus evidence is retrievable. Existing methods address this mismatch by imposing fixed graph structures over the corpus, by iteratively reformulating the query, or by executing a generated program over it, but these strategies do not explicitly decide when a query unit is already supported by evidence and when it should be refined. We formulate this bottleneck as retrievable granularity discovery and introduce Hi-Q, an evidence-conditioned framework for hierarchical query refinement. At each query node, a resolution operator tests whether retrieved evidence supports the current query unit; resolved nodes terminate, while unresolved nodes are expanded by a dependency-preserving binary operator and checked by a semantic coverage verifier. Hi-Q therefore grows a query tree whose topology is determined by corpus support signals rather than by a fixed decomposition template or a pre-built graph. We evaluate Hi-Q on three multi-hop QA benchmarks, primarily under full-corpus retrieval, where dependent evidence must be located among open-domain distractors rather than within a small annotated pool. In this setting Hi-Q reaches 52.3 EM and 64.0 F1 averaged over the three benchmarks, ahead of the iterative retrieval baseline IRCoT by 15.1 EM / 18.2 F1 on that same average, and ahead of the graph-based RAG baseline PropRAG by 11.5 EM / 12.0 F1 on MuSiQue-full, without corpus-wide graph construction. In the restricted supporting/distractor setting used by prior work, Hi-Q likewise attains the best accuracy, with 57.9 EM and 69.3 F1 on average, ahead of PropRAG by 5.6 EM / 3.9 F1 and IRCoT by 13.7 EM / 15.8 F1. The project page is available at this https URL.

中文摘要

摘要：多跳问答（QA）中的一个核心瓶颈是，问题表达的粒度通常与可检索语料的粒度不同。现有方法通过在语料上施加固定的图结构、迭代地重新构造查询或执行生成的程序来解决这一不匹配，但这些策略并未明确决定何时查询单元已被证据支持，以及何时应进行细化。我们将这一瓶颈形式化为可检索粒度发现，并引入 Hi-Q，一种基于证据的分层查询细化框架。在每个查询节点，分辨操作符会测试检索到的证据是否支持当前查询单元；已解决的节点终止，未解决的节点则通过依赖保持的二元操作符进行扩展，并由语义覆盖验证器检查。因此，Hi-Q 会生成一个查询树，其拓扑由语料支持信号决定，而非由固定分解模板或预先构建的图确定。我们在三个多跳问答基准上评估 Hi-Q，主要在全语料检索下进行，其中依赖证据必须从开放域干扰项中定位，而不是在小型注释池内。在此设置下，Hi-Q 在三个基准上的平均成绩达 52.3 EM 和 64.0 F1，相比迭代检索基线 IRCoT 高出 15.1 EM / 18.2 F1，在 MuSiQue-full 上相比基于图的 RAG 基线 PropRAG 高出 11.5 EM / 12.0 F1，且无需进行全语料图构建。在以往工作使用的受限支持/干扰项设置中，Hi-Q 同样取得最佳准确率，平均为 57.9 EM 和 69.3 F1，高于 PropRAG 的 5.6 EM / 3.9 F1，以及 IRCoT 的 13.7 EM / 15.8 F1。项目页面可在此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*多跳问答（Multi-hop QA）中查询表达粒度与语料库证据可检索粒度之间的结构性不匹配问题\*\*。具体而言，论文将这一核心挑战形式化为\*\*可检索粒度发现（retrievable granularity discovery）\*\*，并围绕以下三个层面展开： ### 1. 核心瓶颈：粒度错位多跳问题通常将多个相互依赖的推理步骤压缩为单个自然语言查询，而所需事实证据却分散在语料库的不同文档中。这导致： - \*\*查询过粗\*\*：单一查询纠缠多个推理约束，造成检索干扰，模型只能匹配孤立表面词项而无法覆盖完整推理链； - \*\*查询过细\*\*：过度分解可能丢失上下文约束，导致桥接实体或关键条件被遗漏。 ### 2. 现有方法的失败模式论文识别出三类既有策略的固有缺陷（如图1所示）： | 方法类型 | 关键局限 | |---------|---------| | \*\*单次检索（Single Retrieval）\*\* | 以固定粗粒度直接检索，难以同时满足多个跳跃的约束条件 | | \*\*图RAG（Graph RAG）\*\* | 在语料库侧预建固定图结构，其粒度决策是查询无关的（query-agnostic），且需承担全语料图构建成本 | | \*\*迭代检索（Iterative Retrieval）\*\* | 虽能动态改写查询，但缺乏对“当前查询是否已被证据充分支持”的显式检验，早期错误中间查询会向后传播并放大 | ### 3. 论文提出的解决思路为克服上述局限，论文引入 \*\*Hi-Q\*\*（Hierarchical Evidence-guided Query Refinement），其关键创新在于将查询细化视为\*\*受证据状态条件控制的在线决策\*\*，而非预先固定的分解模板。具体通过两种耦合机制实现： - \*\*失败感知的粒度控制（Failure-aware Granularity Control）\*\*：在每个查询节点，通过分辨率算子（resolution operator）检验已检索证据是否支持当前查询单元；仅在检测到\*\*未解决支持（unresolved support）\*\*时才触发细化，避免对已有足够证据支持的节点进行不必要的分解。 - \*\*依赖保持的层次分解（Dependency-preserving Hierarchical Decomposition）\*\*：对未解决节点执行二元分解，强制满足依赖约束 q_() prec q_() ，确保先决子查询在依赖子查询之前解析；同时通过语义覆盖验证器（semantic coverage verifier）保证分解不丢失父查询意图。简言之，Hi-Q 并非预先假定某个最优查询粒度，而是通过检索-回答反馈在线\*\*发现\*\*在特定语料库下既可检索又可回答的查询单元，从而构建一棵由证据支持信号而非固定模板决定的查询树。 Q2: 有哪些相关研究？根据论文第2节（Related Work），相关研究可归纳为以下五个主要方向： ### 1. 标准检索增强生成（Standard RAG） - \*\*Dense Passage Retrieval（DPR）\*\*

2
、**NV-Embed-v2**
4
等稠密检索器通过相似度匹配获取外部知识。 - **局限**：假设查询与证据处于相似粒度。在多跳问答中，单一粗粒度查询往往只能匹配孤立的表面词项，无法覆盖完整推理链
5–7
。 ### 2. 图检索增强生成（Graph RAG） - **GraphRAG**

8
、**RAPTOR**
9
：构建层次化摘要图。 - **HippoRAG**
5, 6
、**PropRAG**
7
：通过图或命题级结构进行检索。 - **与Hi-Q的区别**：上述方法在语料库侧预建固定结构，粒度决策是查询无关的（query-agnostic），且需承担全语料预计算成本；Hi-Q则在线构建查询树，无需全语料图构建。 ### 3. 迭代检索（Iterative Retrieval） - **IRCoT**

10
：将检索与思维链推理交错进行。 - **ReAct**
11
：在推理与行动之间交替。 - **Self-Ask**
12
：模型自问自答并触发后续检索。 - **与Hi-Q的区别**：这些方法虽能动态改写查询，但**从不检验当前查询是否已被检索证据充分支持**。一旦早期步骤选错桥接实体或遗漏约束，后续查询会放大错误。 ### 4. 查询分解（Query Decomposition） - **Least-to-Most prompting**

13
、**Decomposed Prompting**
14
：在提示层面进行分解。 - **TRQA**
15
、**Q-DREAM**
16
：学习树形结构或检索导向的子问题。 - **与Hi-Q的区别**：这些方法在观测任何证据前即承诺全部分解，可能产生不必要、过度碎片化或与语料库粒度不对齐的子查询。Hi-Q将分解视为**基于检索反馈的节点级控制决策**，而非预先固定的分解模板。 ### 5. 智能体执行与学习策略选择（Agentic Execution and Learned Strategy Selection） - **Coding agents**

17
：将语料库视为可编程访问的环境。 - **Recursive Language Models**
18
：通过递归子调用处理长上下文。 - **PyRAG**
19
：将推理表示为在检索与回答工具上的可执行程序。 - **Adaptive-RAG**
20
：学习根据预测的问题复杂度路由检索策略（无需检索/单步/多步）。 - **与Hi-Q的区别**：程序执行从执行失败中恢复，查询级路由在未见证据前即提交策略；二者均未保证检索查询的表达与语料库粒度对齐。Hi-Q的核心差异在于**控制信号以证据状态为条件**，而非仅以查询本身或复杂度预测为依据。 Q3: 论文如何解决这个问题？论文通过提出 **Hi-Q**（Hierarchical Evidence-guided Query Refinement）框架，将多跳问答重新形式化为**证据条件化的查询粒度自适应搜索**问题。该框架的核心在于不预先假定最优分解模板，而是依据检索反馈在线决定每个查询节点是否需要细化，从而发现与语料库对齐的可检索粒度。具体解决路径如下： —- ### 1. 问题形式化：可检索粒度发现将原始问题 Q 分解为搜索树中的一组查询节点 q 。每个节点维护一个搜索状态：

x = (q, H, d)
其中 H 为累积交互历史， d 为当前递归深度。框架的目标是在给定语料库 C 下，找到一组**既被检索证据支持、又保持依赖关系**的叶节点查询单元，使其组合能够回答 Q 。 —- ### 2. 失败感知的粒度控制（Failure-aware Granularity Control）该机制决定一个查询节点应当在当前粒度停止（STOP），还是因证据不足而继续细化（EXPAND）。 - **分辨率算子（Resolution Operator）**。对每个节点 q ，算子 G(q, H, C) 执行查询细化、检索 D = R_k(q, C) 并基于检索证据生成答案 a ：

G(q, H, C) to (s, a, D), quad s ∈ RESOLVED, UNRESOLVED
若 a ≠ bot ，节点被视为已解决；若 a = bot ，则触发未解决支持信号。 - **证据条件化策略**。策略 π 以前验状态 x = (x, D) 和分辨率状态 s 为输入：
π(x, s) = STOP & if s = resolved FAIL & if d = d_(max) or q is non-decomposable EXPAND & otherwise

**成本敏感阈值**。扩展决策可被形式化为一个阈值规则。设 Z ∈ R, U 表示查询是否可解析， DeltaR(x) 和 Delta_U(x) 分别为对可解析节点错误扩展和对不可解析节点错误停止的成本：
π^(x) = EXPAND iff Pr[Z = U mid x] ≥ Delta_R(tildex)Delta_R(x) + Delta_U(x)
在实践中，Hi-Q 采用基于阅读器输出的训练自由估计：仅当 a = bot 时才扩展节点，从而避免对已有足够证据支持的查询进行不必要的分解。 —- ### 3. 依赖保持的层次分解（Dependency-preserving Hierarchical Decomposition）当策略选择 EXPAND 时，未解决节点通过二元扩展算子分解为两个子查询，而非 N 元分解，以避免过度碎片化。 - \*二元扩展算子（Binary Expansion Operator）**。 B(q, H, Q) 生成子查询对 (q(), q()) ，满足： 1. **依赖约束**： q() prec q() 。先决分支必须在依赖分支之前解析，确保下游检索可利用已解析的桥接实体。 2. **语义覆盖约束**：通过验证器 V(Q, q, q(), q()) 检查分解是否保留父查询意图，无遗漏、添加或漂移；若无效则进行修复，若修复后仍无效则标记为不可分解。 - **历史更新与顺序执行**。先递归求解 q() ，将其答案、检索证据和中间上下文写入 H ；再基于更新后的 H 求解 q() 。这使得依赖分支的查询能够被具体化，例如将“the performer of III 的出生地”细化为“Stanton Moore 的出生地”。 - **边界控制**。最大递归深度 d(max) 限制搜索成本；若子查询已解决、不可分解或达到深度上限，递归终止。最终通过合成步骤（Synthesize）聚合叶节点答案、证据与历史，生成与 Q 一致的最终回答。 —- ### 4. 查询细化机制（Query Refinement）在每次检索前，框架会先基于历史 H 对当前查询进行**引用感知重写**。具体而言，将此前步骤中已解析的实体（如人名、地点）代入当前查询，替换抽象指代。这降低了检索干扰，同时保留了该节点在原始多跳问题中的信息角色。 —- ### 5. 整体算法流程上述组件集成为一棵**有限深度的依赖有序二元查询树**： 1. 从根节点 Q 开始，执行分辨率算子 G ； 2. 若节点已解决，返回答案（STOP）； 3. 若未解决且满足扩展条件，调用 B 生成依赖有序的子查询对； 4. 经语义验证器 V 检查/修复后，先递归解析左分支，再解析右分支； 5. 最终通过合成生成答案。该树的拓扑结构完全由语料库支持信号决定，而非固定图结构或预定义分解模板。 Q4: 论文做了哪些实验？论文的实验围绕**全语料库检索**与**受限支持/干扰设置**两条主线展开，辅以信号诊断、组件消融、成本分析及大量鲁棒性验证。具体可分为以下六部分： —- ### 1. 实验设置 - **数据集**：MuSiQue

21
、HotpotQA
22
、2WikiMultiHopQA
23
。每数据集采样 1,000 条验证集问题。 - **检索体制**： - **全语料库检索（Primary）**：在完整语料上检索（MuSiQue 139,416 篇、2Wiki 430,225 篇、HotpotQA 5,233,235 篇）。 - **受限支持/干扰池（Controlled）**：仅使用 benchmark 提供的支持文档与干扰文档混合池，用于与既往工作直接对比。 - **指标**：答案层面的 EM 与 token-level F1；检索层面的 Recall@2 与 Recall@5（对多查询方法，合并去重后全局重排）。 - **基线**： - 单次检索：NV-Embed-v2。 - 图 RAG：RAPTOR、GraphRAG、HippoRAG、HippoRAG 2、PropRAG。 - 迭代/分解：Self-Ask、Least-to-Most、IRCoT。 - 智能体：Coding agent、Recursive Language Model（RLM）。 - **实现**：默认 reader 为 GPT-4o-mini，检索器为 NV-Embed-v2， k=5 ，最大递归深度 d_(max)=4 ，温度 0。 —- ### 2. 主实验结果 #### 2.1 全语料库检索（Table 1）在全语料环境下，Hi-Q 平均达到 **52.3 EM / 64.0 F1**： - 较迭代基线 IRCoT 提升 **+15.1 EM / +18.2 F1**（平均分）。 - 较图基线 PropRAG 在 MuSiQue-full 提升 **+11.5 EM / +12.0 F1**，在 2Wiki-full 提升 **+9.9 EM / +12.1 F1**。 - 对 Coding agent 与 RLM 分别提升 **+30.8 EM / +26.8 F1** 与 **+24.4 EM / +26.7 F1**。 #### 2.2 受限支持/干扰设置（Table 2）在受控池中，Hi-Q 平均达到 **57.9 EM / 69.3 F1**： - 较 PropRAG 提升 **+5.6 EM / +3.9 F1**。 - 较 IRCoT 提升 **+13.7 EM / +15.8 F1**。 - MuSiQue 上差距最大（较 PropRAG +7.3 EM，较 IRCoT +13.1 EM），因其捷径推理少、显式依赖多。 —- ### 3. 未解决支持信号（Unresolved-Support Signal）诊断 #### 3.1 触发恢复力（Table 3）在 MuSiQue 上，当根检索失败（Root@5 全金覆盖仅 7.9%）时，分解后的叶节点联合检索（Leaf@5）将全金覆盖提升至 **42.7%**（Clean 子集），Leaf@all 达 **57.7%**。表明分解能恢复根查询遗漏的关键证据，而非仅靠扩大检索预算。 #### 3.2 信号精确性（Table 4）对 100 个随机 a=bot 触发进行人工因果分类： - **粒度不匹配**：66% - **标注错误**：14% - **子查询 malformed**：10% - **假拒绝（False Abstention）**：7% - **阅读器失败**：3% 真正误触发率仅 **10%**，说明 a=bot 在约 90% 情况下对应真实的查询-证据未对齐状态。 #### 3.3 信号鲁棒性（Table 5） - **假拒绝率（FRR）**：在 100 个正常 MuSiQue 查询上为 **11%**，且所有 bot 输出均标注为证据缺失/不完整，非盲目拒绝。 - **假接受率（FAR）**：在 50 个对抗性不可答查询（按 SQuAD 2.0 方法构造）上为 **2%**。表明信号在保守的同时，能有效抑制无证据支撑的幻觉回答。 —- ### 4. 组件消融与推理深度分析 #### 4.1 控制流消融（Table 6） - **移除层次分解**（改为静态一次性分解）：平均从 57.9/69.3 降至 51.5/63.7，说明检索反馈对粒度调整必不可少。 - **移除依赖感知**（子查询不再先决-依赖有序）：降至 47.1/56.0，因先决事实未解析时依赖子查询欠指定。 - **移除失败感知触发**（总是分解）：在 100 题样本上从 60.7/70.8 降至 57.3/68.5，说明无条件分解会破坏本可直接回答的查询。 #### 4.2 语义验证消融（Table 7）移除往返验证（Round-trip verification）对整体影响较小，但随跳数加深差距扩大：在 MuSiQue 的 4-hop 问题上，F1 从 39.2 降至 38.2。验证器在 **14.8–18.8%** 的触发分解中执行了修复。 #### 4.3 按跳数分层（Figure 3）在 MuSiQue 上按 2/3/4-hop 分层： - Hi-Q 在各深度均优于 IRCoT 与 PropRAG。 - 4-hop 时 Hi-Q F1 为 **39.2**，IRCoT 为 **35.4**，PropRAG 为 **26.9**。 —- ### 5. 计算成本分析（Table 8） | 方法 | 延迟 (s) | LLM Calls | Input Tokens | Output Tokens | |———|—————|—————-|———————|———————-| | PropRAG | 23.1 | 1 | 1,411 | 88 | | IRCoT | 6.4 | 2.92 | 43,701 | 74 | | Hi-Q (cost-matched) | 4.8 | 2.93 | 4,641 | 131 | | Hi-Q (full) | 13.5 | 5.7 | 12,343 | 558 | - **Hi-Q (full)**：总输入 token 比 IRCoT 少 **70.5%**，但延迟为其 2.11 倍、LLM 调用 1.95 倍、输出 token 7.54 倍（递归开销）。 - **Hi-Q (cost-matched)**：限制深度为 1 并缩短推理链，使 LLM 调用数与 IRCoT 持平（2.93 vs 2.92），延迟快 25%，API token 成本低 8.6 倍，同时平均仍提升 **+10.4 EM / +11.6 F1**。 —- ### 6. 附录补充实验 - **读者骨干鲁棒性（Appendix F）**：将 reader 替换为 Llama-3.3-70B 与 Qwen3-30B-A3B，Hi-Q 仍保持平均最佳 EM/F1，验证证据条件化细化与具体 reader 无关。 - **嵌入模型鲁棒性（Appendix G）**：使用 text-embedding-3-large、Qwen3-Embedding-8B、NV-Embed-v2 分别测试，Hi-Q 的 Recall@5 提升一致（+8.2 至 +14.3），说明增益来自查询细化而非特定编码器。 - **触发与修复统计（Appendix H）**：HotpotQA 触发率仅 10.7%，MuSiQue 与 2Wiki 分别为 45.2% 与 48.6%，与数据集粒度错位频率一致。 - **严格证据评估（Appendix I）**：在要求文档级引用的严格变体上，Hi-Q 性能几乎不变（47.5/61.9 vs 47.6/61.7）；闭卷控制实验显示无检索时性能大幅落后，排除参数记忆主导。 - **与专用分解基线对比（Appendix J）**：在 TRQA 报告的设置下（GPT-3.5-Turbo, ColBERTv2），Hi-Q 的 Answer Recall（29.3）超过 TRQA（26.8）、Self-Ask（15.6）与 Least-to-Most（13.4）。 - **多分解投票（Appendix K）**：生成 k=2,3 个根分解候选并投票，MuSiQue-full 上 EM 仅微增（37.4 to 39.0），成本近似线性增长，表明单一路径已足够鲁棒。 - **高元分解（Appendix L）**：在强制扩展的 2–5 叶需求控制集上，二元 Hi-Q 的 EM 保持在 95.0–99.0，与变量元分解无显著差异，且优于 IRCoT；而扁平 N 元聚合比顺序二元归并损失 **27.5 EM**。 - **代码能力骨干对比（Appendix M）**：与 PyRAG 共享 Qwen3.6-27B 时，Hi-Q（47.9/59.3）仍优于 PyRAG（41.2/52.9）。 Q5: 有什么可以进一步探索的点？基于论文第N节（Limitations）及方法框架的内在结构，可进一步探索的方向包括： —- ### 1. 超越无环依赖的推理结构当前框架假设查询树中的依赖是**无环的（acyclic）**，且各分支可沿先决-依赖顺序逐层顺序求解。对于以下两类更复杂的推理模式，现有状态表示尚未建模： - **相互依赖（mutually dependent）**的前提：即多个子查询互为条件，无法通过简单的线性先决顺序拆解； - **需联合优化而非顺序求解**的分支：例如某些比较类或约束满足类问题，要求多个叶节点答案在全局层面同时协调，而非独立求解后简单合成。这要求设计支持循环依赖或联合推理的图状态表示，以及相应的迭代收敛或约束传播机制。 —- ### 2. 从二值信号到细粒度证据状态 Hi-Q 当前使用**二值化**的 resolved/unresolved 信号进行路由决策。该信号无法区分： - **部分证据（partial evidence）**：检索结果仅覆盖查询的一个子集约束； - **冲突证据（conflicting evidence）**：多篇文档提供互相矛盾的中间事实； - **多竞争桥接实体（multiple competing bridge entities）**：检索结果暗示多个可能的中间答案，需进一步消歧。未来可探索基于**文本蕴涵（entailment）**或**概率图**的 richer state representation，使控制策略能在更细粒度的证据置信空间内操作，从而支持更 nuanced 的停止/扩展/修正决策。 —- ### 3. 跨领域、跨语言与跨模态扩展现有实验局限于**英文、维基百科来源、基于短文本片段（passage）的短答案**设定。向以下场景迁移需要非平凡的扩展： - **长形式问答**（如 ASQA、ELI5）：答案不再是短跨度，而需综合多源生成长文本； - **多语言问答**（如 XOR-TyDi QA、MKQA）：查询细化模块需处理跨语言实体链接与语义漂移； - **领域特定语料**（如 BioASQ、FinanceBench）：专业术语与隐含领域知识对分解粒度的定义提出不同要求； - **结构化/多模态证据**（如 HybridQA、MultiModalQA）：需要异构检索算子（表格、图像、文本），且二元分解的语义覆盖验证器必须适配跨模态对齐。 —- ### 4. 策略学习与成本-精度联合优化论文附录C显示，用一个训练过的、经过 Platt 校准的分类器替换训练自由的 a=bot 触发器，并未在精度或成本上取得显著改进。然而，这仅在**根节点**层面进行了概念验证。未来可探索： - 在完整查询树上进行**分层强化学习或模仿学习**，让策略网络基于证据表示学习成本敏感的阈值； - 引入**显式的推理预算约束**（如 token 预算、延迟预算），将 Delta_R(x) 与 Delta_U(x) 的估计转化为可微或可学习的成本模型，实现帕累托前沿上的自适应控制。 —- ### 5. 验证与合成模块的轻量化和可解释性 Hi-Q 的语义覆盖验证器（verifier）与最终合成器（synthesizer）目前均依赖 LLM 调用，构成了递归开销的主体。探索方向包括： - 开发**更小规模、专用**的验证模型（如基于 NLI 的轻量级分类器）来降低分解节点的判定成本； - 将验证器的修复决策与最终答案合成过程**解耦并可视化**，提升系统在关键决策点的可解释性与人工审计能力。 —- ### 6. 与语料库侧结构的动态交互 Hi-Q 完全避免全语料图构建，但也因此无法利用语料中显式的事先结构（如知识图谱、文档层级）。一条中间道路是： - **在线构建局部子图**：仅在查询展开过程中动态抽取与当前查询树相关的局部实体-关系子图，作为检索的补充通道； - **混合索引**：将动态查询树与轻量级语料库侧索引（如实体链接表、段落聚类）结合，在不承担全局图构建成本的前提下，提升桥接实体的召回。 Q6: 总结一下论文的主要内容该论文针对**多跳问答（Multi-hop QA）**中查询表达粒度与语料库证据可检索粒度之间的结构性不匹配问题，提出了 **Hi-Q**（Hierarchical Evidence-guided Query Refinement）框架。以下从问题背景、方法设计与实验结论三方面进行总结。 —- ### 1. 核心挑战：可检索粒度发现多跳问题通常将多个相互依赖的推理步骤压缩为单个自然语言查询，而所需证据分散在语料库的不同文档中。这导致： - **查询过粗**：单一查询纠缠多个推理约束，检索器只能匹配孤立表面词项，无法覆盖完整推理链； - **查询过细**：过度分解可能丢失上下文约束，导致桥接实体或关键条件被遗漏。论文将此挑战形式化为**可检索粒度发现（retrievable granularity discovery）**：即识别在给定语料库下，某个推理步骤在何种查询粒度上既“可检索”又“可回答”。 —- ### 2. 现有方法的不足论文识别出三类既有策略的缺陷： | 方法类型 | 关键局限 | |————-|————-| | **单次检索** | 以固定粗粒度直接检索，难以同时满足多跳约束 | | **图 RAG** | 预建语料库侧固定结构，粒度决策查询无关，且需全语料预计算成本 | | **迭代检索** | 虽能动态改写查询，但**不检验当前查询是否已被证据充分支持**，早期错误会向后传播放大 | —- ### 3. Hi-Q 框架与核心机制 Hi-Q 将多跳问答重新定义为**证据条件化的自适应搜索**，通过在线构建一棵查询树来发现与语料对齐的粒度，其拓扑由检索反馈决定，而非固定模板。 #### 3.1 失败感知的粒度控制在每个查询节点 q ，分辨率算子 G(q, H, C) 先执行检索与回答，返回状态 s ∈ RESOLVED, UNRESOLVED 。策略 π 仅当检测到未解决支持时才选择扩展：

π(x, s) = STOP & if s = resolved EXPAND & if s = unresolved and decomposable FAIL & otherwise
该决策可被形式化为成本敏感阈值：
π^(x) = EXPAND iff Pr[Z = U mid x] ≥ DeltaR(tildex)Delta_R(x) + Delta_U(x)
其中 Delta_R 与 Delta_U 分别为对可解析节点错误扩展和对不可解析节点错误停止的成本。实践中，Hi-Q 采用基于阅读器输出 a = bot 的训练自由估计，避免对已有足够证据的节点进行不必要分解。 #### 3.2 依赖保持的层次分解未解决节点通过二元扩展算子 B(q, H, Q) 分解为 (q(), q_()) ，满足： - \*依赖约束**： q() prec q() ，先决分支必须在依赖分支之前解析； - **语义覆盖约束**：验证器 V 确保分解后的子查询在重组后能恢复父查询的完整意图，无遗漏或漂移。先递归求解 q() ，将其答案与证据写入历史 H ，再基于更新后的 H 求解 q() 。这使得下游查询可被具体化（如将“the performer of III 的出生地”细化为“Stanton Moore 的出生地”），从而减少欠指定检索与错误传播。 #### 3.3 查询细化与有界递归在每次检索前，框架基于历史 H 对当前查询进行**引用感知重写**，将已解析实体代入以降低检索干扰。搜索以最大深度 d_(max) 为界，最终通过合成步骤聚合叶节点答案生成最终响应。 —- ### 4. 实验结果论文在 **MuSiQue**、**HotpotQA**、**2WikiMultiHopQA** 上评估，覆盖全语料库检索与受限支持/干扰池两种设置。 #### 4.1 主结果（全语料库） Hi-Q 平均达到 **52.3 EM / 64.0 F1**： - 较迭代基线 IRCoT 提升 **+15.1 EM / +18.2 F1**； - 较图基线 PropRAG 在 MuSiQue-full 上提升 **+11.5 EM / +12.0 F1**，在 2Wiki-full 上提升 **+9.9 EM / +12.1 F1**； - 无需全语料图构建。 #### 4.2 受限设置 Hi-Q 平均达到 **57.9 EM / 69.3 F1**，较 PropRAG 提升 **+5.6 EM / +3.9 F1**，较 IRCoT 提升 **+13.7 EM / +15.8 F1**。 #### 4.3 信号与组件验证 - **触发信号**：人工分析显示 a=bot 触发在约 **90%** 情况下对应真实的查询-证据未对齐状态； - **消融实验**：移除层次分解、依赖感知或失败感知触发均导致显著性能下降； - **成本**：Hi-Q (cost-matched) 在 LLM 调用数与 IRCoT 持平（2.93 vs 2.92）的情况下，延迟快 25%，API token 成本低 8.6 倍，同时仍提升 **+10.4 EM / +11.6 F1**。 —- ### 5. 主要贡献 - **可检索粒度发现**：将多跳 RAG 重新定义为识别查询单元在何种粒度下既被检索证据支持又可被回答的问题； - **失败感知的证据条件化控制**：提出基于检索反馈的节点级扩展策略，将分解视为条件决策而非预设模板； - **依赖保持的层次细化**：通过二元、有序、语义验证的分解，抑制欠指定检索与错误传播； - **全语料库下的系统优势**：在三个基准上超越图基线、迭代基线与代码智能体基线，且不依赖全语料知识图构建。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jueun Kim,Sungho Park,Wook-Shin Han

Categories:

PDF URL: https://arxiv.org/pdf/2608.30468.pdf

Arxiv URL: https://arxiv.org/abs/2608.30468

Arxiv ID: 2608.30468

CoolPaper URL: https://papers.cool/arxiv/2608.30468

Published: 2026-09-03T01:26:31.272Z

Updated: 2026-09-03T01:26:31.272Z

9. Evaluating Multimodal LLMs as Generalist Vision-Language-Action Agents for Drone Control: Commanding, Approaching, Tracking and Searching

Abstract:Multimodal Large Language Models (MLLMs) are strong perceivers of images and video. We ask how far that reach extends into acting: dropping an MLLM directly into a drone’s control loop, with its entire action space declared solely in the prompt. Recent systems approach this setting but increasingly narrow the model’s decision-making. We widen it back. We introduce DroneCATS-Agent, an architecture where the MLLM is a swappable component, and DroneCATS, a benchmark treating the model as the independent variable. Beyond merely flying toward a pixel, our agent entrusts the model to yaw and search, deliberate when unsure, and self-declare arrival—-all without fine-tuning or function-calling schemas. Evaluating frontier and open models across four core capabilities—-approaching a visible target, tracking a moving one, searching outside the initial view, and commanding a multi-drone fleet—-reveals that even the simplest embodied settings are far from solved. Crucially, to identify what breaks first at the edge, our roster scales down to 2B parameters. The findings expose a stark paradox: it is not the flying that fails. Small open models often navigate into the success radius more reliably than frontier models, yet lose the episode by declaring arrival prematurely or not at all. Multi-drone commanding amplifies this divide, with small models failing by blindly copying a single coordinate across distinct views. Viewed as vision-language-action agents, the models’ spatial perception holds up, but their action protocol does not. What separates a deployable edge model from a frontier model is not navigation, but the discipline to sustain a declared protocol and emit the correct terminating action. The open problem is closing this gap at onboard compute costs—-yielding a fast model that plans persistently and knows exactly when it is done—-and DroneCATS is built to measure that distance.

中文摘要

摘要：多模态大型语言模型（MLLMs）在图像和视频感知方面表现出色。我们探讨其在行动领域的能力：将MLLM直接置入无人机的控制回路，其完整的动作空间仅通过提示声明。近期系统已经接近这种设置，但逐渐限制了模型的决策能力。我们将其重新扩展。我们引入了DroneCATS-Agent，一种将MLLM作为可替换组件的架构，以及DroneCATS，一个将模型视为自变量的基准测试。除了简单地飞向像素点，我们的代理允许模型进行偏航和搜索、在不确定时进行思考，并自我宣布到达——所有这些都无需微调或函数调用方案。在评估四项核心能力——接近可见目标、追踪移动目标、搜索初始视野之外的区域以及指挥多无人机编队——的前沿模型和开放模型时结果显示，即便是最简单的具身场景也远未解决。至关重要的是，为了识别在边缘环境中最先出错的环节，我们的模型规模缩小至20亿参数。研究结果揭示了一个明显的悖论：飞行本身并不会失败。小型开放模型往往比前沿模型更可靠地进入成功半径，但由于提前或根本未宣布到达而导致任务失败。多无人机指挥放大了这种差异，小型模型的失败通常是因为在不同视角间盲目复制单一坐标。作为视觉-语言-行动代理来看，这些模型的空间感知仍然可靠，但其行动协议却不完善。可部署的边缘模型与前沿模型的差别不在于导航能力，而在于坚持已声明协议并发出正确终止动作的能力。当前的开放问题是如何在机载计算成本下缩小这一差距——即生成一个能够持续规划且准确判断完成时机的快速模型——而DroneCATS正是为测量这一差距而设计的。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：\*\*在多模态大语言模型（MLLMs）直接作为无人机闭环控制器的完整决策核心时，模型的真实能力边界在哪里，以及现有系统研究未能充分暴露的瓶颈究竟是什么。\*\* 具体而言，论文针对以下三个层面展开： ### 1. 现有系统研究过度工程化，掩盖了模型本身的能力缺口现有工作（如 TypeFly、PIVOT、SPF、Fly0、OnFly 等）普遍通过以下方式"绕过"模型： - 将模型限制在语义定位（grounding）环节； - 由外部检测器、LiDAR 规划器或验证器接管终止判断与轨迹生成； - 使用函数调用（function-calling）或微调（fine-tuning）固化动作映射。这些做法虽能提升系统成功率，但将\*\*模型从"自主决策代理"降格为"感知模块"\*\*，导致文献无法回答一个根本问题：\*\*当模型必须独立承担搜索、推理、导航和终止判断时，真正制约其表现的是什么？\*\* ### 2. 构建"模型即唯一变量"的评估协议论文提出 \*\*DroneCATS-Agent\*\* 与基准 \*\*DroneCATS\*\*，其设计意图在于： - \*\*冻结系统其余部分\*\*：动作空间完全通过自然语言提示（prompt）声明，无微调、无函数调用、无模型专属控制头； - \*\*将 MLLM 作为可替换的独立变量\*\*：只更换模型，不更换提示、控制器或仿真环境； - \*\*扩展模型的决策职责\*\*：除指向（pointing）外，模型必须自行决定何时原地旋转搜索（\`rotate\`）、何时悬停思考（\`think\`）、以及最关键的——何时自我声明到达（\`finished\`）。这使得失败分析可以精确归因于\*\*模型自身对协议的理解与遵循能力\*\*，而非下游控制器的误差。 ### 3. 揭示"小模型在边缘部署"时的隐性失败模式论文刻意将评估 roster 下探至 2B 参数级别，以探索机载计算（onboard compute）的可行性。研究发现一个与直觉相悖的悖论： - \*\*导航能力并非瓶颈\*\*：小模型（如 Qwen3.5-9B）进入成功半径（ δ = 5,m ）的频率甚至高于部分前沿模型； - \*\*协议遵循才是瓶颈\*\*：小模型频繁因\*\*过早声明到达\*\*（如 Qwen3.5-2B 在距起始点 1.28× 初始距离时就声明 \`finished\`）或\*\*始终不声明\*\*而失败； - \*\*多机指挥放大该缺陷\*\*：小模型在控制四机编队时，倾向于将同一坐标盲目复制到四个不同视角，导致舰队无法分工探查。因此，论文试图解决的问题可凝练为：\*\*在提示级动作空间下，如何系统性地度量 MLLM 作为自主具身代理的"闭环决策协议遵循能力"，并识别从可部署的边缘模型到前沿模型之间，真正决定任务成败的差距所在。\*\* Q2: 有哪些相关研究？根据论文第2节（Related Work）的梳理，相关研究可归纳为以下三个方向： --- ### 1. 基于MLLM的无人机控制系统这些工作探索了如何将多模态大语言模型用于无人机控制，但普遍通过缩减模型职责来提升成功率： - \*\*TypeFly\*\* (Chen et al., 2025) 将模型置于控制循环之外，仅作为高层语言规划器，依赖外部检测器输出进行决策。 - \*\*PIVOT\*\* (Nasiriany et al., 2024) 一种通用视觉提示方法，将控制任务简化为在图像上从若干预绘候选点中进行选择；后续无人机系统常将其作为基线。 - \*\*See, Point, Fly (SPF)\*\* (Hu et al., 2025) 将飞行控制重新定义为视觉定位问题：模型在图像上标注2D航路点与行进距离，由几何控制器提升为3D位移指令。 - \*\*Fly0\*\* (Xu et al., 2026) 将MLLM严格限制在语义定位环节（输出点、区域、关系词与置信度，约0.5 Hz），轨迹生成交由Ego-Planner（50 Hz）执行，在AerialVLN上达到70.4%成功率。 - \*\*OnFly\*\* (Zheng et al., 2026) 分离目标生成与进度监控，并在模型输出到达执行器前引入验证器修正，将成功率从26.4%提升至67.8%。 - \*\*PX4 Dialogue\*\* (Lim et al., 2025) 在开源PX4栈上评测文本LLM与VLM的组合，最佳配对在搜索-接近任务中达到40%。 - \*\*AirHunt\*\* (Chen et al., 2026b) 面向语义空中搜索的连续规划 pipeline。 --- ### 2. 无人机智能体评测基准现有基准多覆盖任务空间的一部分，且不少采用多项选择或需要训练动作映射： | 基准 | 主要覆盖能力 | 关键特点 | |------|-------------|----------| | \*\*BEDI\*\* (Guo et al., 2026) | 六种子技能 | 13个MLLM参评，多数题为多项选择，动态场景依赖人工逐步评分 | | \*\*DeTrack\*\* (Hu et al., 2026) | 跟踪 | — | | \*\*UAV-Track VLA\*\* (Zhang et al., 2026b) | 跟踪 | VLA模型，动作空间内嵌于权重 | | \*\*UAV-ON\*\* (Xiao et al., 2025) | 搜索 | — | | \*\*ESARBench\*\* (Zhang et al., 2026a) | 搜索 | — | | \*\*AerialVLN\*\* (Liu et al., 2023b) | 指令跟随 | — | | \*\*CognitiveDrone\*\* (Lykov et al., 2025) | 指令跟随、实时推理 | VLA模型，从演示中学习动作映射 | | \*\*ActiveFly-Bench\*\* (Zhang et al., 2026c) | 主动感知、问答、精细控制 | MLLM规划器+训练好的VLA控制器，侧重单无人机内部的任务抽象层级 | | \*\*AirCopBench\*\* (Zha et al., 2026) | 多无人机"协作"感知 | 40个MLLM回答14,610道多选题；仅理解多视角图像，\*\*不输出动作\*\* | | \*\*UrbanVideo-Bench\*\* (Zhao et al., 2025) | 城市空间具身推理 | 动作项仍为多项选择 | 论文指出，上述基准均未将\*\*接近（approaching）、跟踪（tracking）、搜索（searching）\*\*置于同一闭环协议下评估，也未将骨干模型（backbone）作为主变量，或让单一智能体同时指挥多架无人机。 --- ### 3. 多无人机/集群设置该方向研究相对稀疏，且现有工作尚未实现"单一MLLM在闭环中直接控制多机"： - \*\*AeroDuo\*\* (Wu et al., 2025) 提出双高度协作视觉-语言导航任务。 - \*\*Chen et al., 2026a\*\* 综述多无人机空中VLN，将其列为开放问题。 - \*\*RALLY\*\* (Wang et al., 2025) 在多个UAV上运行闭环，但每架无人机配备独立LLM，基于结构化本地状态推理，并由独立控制策略飞行。 - \*\*AirCopBench / OnFly\*\* 前者仅做多视角理解，后者的"双智能体"指单架无人机内部的两条推理流，而非多机协同。论文强调，\*\*尚无 prior work 评估单一MLLM从多视角观测中在闭环内同时控制多架无人机\*\*；DroneCATS 的 Commanding 设置正是为填补这一空白而设计。 Q3: 论文如何解决这个问题？论文通过\*\*DroneCATS-Agent\*\*架构与\*\*DroneCATS\*\*基准的协同设计，将多模态大语言模型（MLLM）作为唯一变量嵌入闭环控制回路，从而系统性地暴露并度量模型在自主决策中的真实瓶颈。具体解决路径如下： --- ### 1. 构建模型无关的代理架构，冻结系统其余部分 \*\*DroneCATS-Agent\*\* 的核心设计原则是：任何能够阅读自然语言提示的MLLM均可直接接入，无需微调、无需函数调用模式、无需动作头。 - \*\*标准化接口\*\*：模型仅接收单目RGB第一视角图像、自然语言指令与最近五步动作历史，输出单一JSON对象作为动作。 - \*\*规则化下游控制器\*\*：从JSON解析到像素反投影、速度设定点生成、直至飞控底层姿态环，全部为固定几何规则与标准无人机飞控栈，\*\*不随模型更换而改变\*\*。 - \*\*坐标顺序自适应\*\*：根据模型训练时的坐标习惯自动调整$

x, y
或
y, x
，确保不因轴序差异惩罚特定模型。 —- ### 2. 在提示中声明四维动作空间，将关键决策交还模型代理不将模型限制为“视觉定位模块”，而是赋予其四类必须自主判断的动作，全部仅在提示中定义： | 动作 | 功能 | 解决的决策缺口 | |———|———|————————| | go | 输出图像上的点 (x, y) 与估计深度 d ，控制器反投影为三维位移 | 视觉定位与路径推进 | | rotate | 原地偏航，角度 θ ∈

-90^circ, +90^circ
$ | **搜索视野外目标**，避免无目标时盲目平移 | | `think` | 悬停并启用扩展推理，下一步可生成更长的推理内容 | **在不确定时主动增加计算**，而非在运动中仓促决策 | | `finished` | 声明已到达 | **终止判断内化为模型自身的主张**，而非依赖外部距离阈值 | 其中，`finished`的设计尤为关键。它使终止成为模型向验证器提交的**声明（claim）**，验证器事后根据真实距离与可见性判断是否成立。这直接解决了此前系统通过隐藏距离阈值“替模型决定何时结束”所带来的评估盲区。 —- ### 3. 建立统一、可比的闭环评估协议 **DroneCATS** 基准将任务沿两个二元轴展开，覆盖四种任务类型（图3）： - **目标运动**：静止（Stationary） vs. 移动（Moving） - **初始可见性**：视野内（In view） vs. 视野外（Out of view）四组合分别为：Approaching、Tracking、Searching、Search-and-Track。 **统一成功准则**（Algorithm 1）：

success = ∃, i ∈ declarations : dist_i ≤ δ land visible_i
其中 δ = 5,m 。该准则具备三个关键属性： - **跨任务可比**：同一规则适用于所有四种任务，仅场景难度变化； - **计数所有声明**：只要在任意时刻的合格声明即算成功，吸收“目标临时被遮挡”或“进入后漂移”的无辜失败； - **轨迹穿越≠成功**：无声明则失败，即使轨迹曾进入 δ 范围，防止模型“飘过”目标却未自知。 —- ### 4. 引入多无人机指挥（Commanding）维度为评估模型在多视角上下文中的推理与分配能力，论文增设 N=4 的指挥场景： - 单一模型在同一上下文中接收四路视角，**必须为每架无人机输出一条指令**； - 场景包含多个外观一致的候选目标（仅近距可辨别的铭文不同），迫使舰队**分工探查**而非趋同； - 成功准则将四机声明池化，但保留单机失败模式分析（如“将同一坐标复制到四个不同视角”）。 —- ### 5. 跨尺度模型评估与失败归因论文刻意构建从2B到前沿API模型的评估梯队（GPT-5、Claude Opus 5、Gemini系列、Qwen3.5系列、Cosmos3-Edge-2B），以定位瓶颈： - **小模型导航能力被低估，协议遵循能力被高估**：Qwen3.5-9B进入 δ 的频率（90%）超过多数前沿模型，但成功率仅35%，因其**过早声明**或**从不声明**； - **失败模式分解**：将每段轨迹归类为“从未定位目标”“到达未声明”“声明过早”“振荡”“超时”等六种模式，发现小模型的失败集中于**协议违背**而非感知或控制； - **方差审计**：通过重复飞行确认观测到的差异源于模型行为随机性而非pipeline不稳定，确保结论可信。 —- ### 6. 结论：将“动作空间”从提示移至权重作为下一步论文最终指出，既然瓶颈在于模型对提示级动作协议的遵循能力，则解决方案的下一步是**将动作空间从提示移入模型权重**——即在相同场景中收集 episode 数据，训练模型直接输出符合协议的动作，从而针对性地修复声明与终止行为。DroneCATS 的设计正是为了度量这一迁移前后的距离。 Q4: 论文做了哪些实验？论文中的实验围绕 **DroneCATS** 基准展开，分为**单无人机闭环飞行**、**多无人机指挥**、以及**诊断性与方差审计**三类，共计 **100 个标准 episode**（80 单无人机 + 20 多无人机指挥），并在 AirSim 仿真器中完成。所有实验共享同一套基于声明（declaration）的统一成功准则，仅替换 MLLM 作为独立变量。 —- ### 1. 实验环境与任务设置 **仿真平台** AirSim 1.8.1（Unreal Engine），使用内置 SimpleFlight 飞控，前视相机分辨率 1280 × 720 ，水平视场角 φ = 90^circ ，以 2,Hz 的决策步频运行闭环。 **地图** - **Residential**：手工放置可命名颜色的重绘车辆目标； - **Campus**：利用场景固有物体作为目标，需通过描述消歧； - **Blocks**（仅用于多无人机指挥）：AirSim 自带几何场景，目标以近距铭文（车牌/标牌）区分。 **任务设计（单无人机）** 沿两条二元轴组合出四种任务，每种各 **20 episodes**（两地图各 10 个），共 **80 episodes**： | 任务类型 | 目标运动 | 初始可见性 | 关键难点 | |—————|—————|——————|—————| | **Approaching** | 静止 | 视野内 | 基本接近与终止判断 | | **Searching** | 静止 | 视野外 | 需原地旋转搜索后接近 | | **Tracking** | 移动 | 视野内 | 跟踪移动目标（速度 0.3,m/s 或 0.15,m/s ）并声明到达 | | **Search-and-Track** | 移动 | 视野外 | 搜索与跟踪的组合 | **多无人机指挥（Commanding）** 共 **20 episodes**（Residential 与 Blocks 各 10 个）， N=4 。每场景设置 4 个外观高度相似的候选目标，仅铭文不同，且铭文仅在近距可读。单一模型在同一上下文中接收 4 路视角，需为每架无人机输出指令。成功定义为：四机中**任一**无人机在目标可见且距离 ≤ δ 时声明到达。 —- ### 2. 评估模型实验覆盖 **9 个模型**，包括前沿 API 模型与同一家族的不同规模开源模型，以隔离尺度效应： | 模型 | 类型 | 规模/访问方式 | 备注 | |———|———|———————-|———| | GPT-5 | 前沿 API | 通用大模型 | — | | Claude Opus 5 | 前沿 API | 通用大模型 | — | | Gemini 3.7 Flash | 前沿 API | 通用大模型 | — | | Gemini Robotics-ER 2 | 前沿 API | 具身推理专用 | 与 Gemini 3.7 Flash 对比专用性收益 | | Qwen3.5-27B | 开源 | 27B | API 服务 | | Qwen3.5-9B | 开源 | 9B | API 服务 | | Qwen3.5-4B | 开源 | 4B | 本地 vLLM 服务 | | Qwen3.5-2B | 开源 | 2B | 本地 vLLM 服务 | | Cosmos3-Edge-2B | 开源 | 2B | 物理 AI 专用边缘模型 | —- ### 3. 核心实验一：单无人机闭环飞行（80 episodes）所有模型在完全相同的 DroneCATS-Agent 上零样本运行，动作空间仅由提示定义，无微调。 **主要结果（表 3）** 以 δ = 5,m 的声明准则（SR）与轨迹进入准则（OSR，诊断用）报告成功率： - **Approaching**（最简单单元）：最佳模型 Gemini 3.7 Flash 为 **65%**（OSR 70%），仍未解决； - **Searching**（初始不可见）：最佳模型 Gemini 3.7 Flash 降至 **40%**，无模型超过此值； - **Tracking**：Gemini 3.7 Flash 达到 **80%**，但 GPT-5 仅 **15%**，显示模型排序跨任务不稳定； - **Search-and-Track**：最佳为 Gemini Robotics-ER 2 的 **50%**。 **关键诊断（表 4、图 7）** 对 Approaching 任务进一步分解为三个嵌套量： 1. 轨迹是否曾进入 δ （OSR）； 2. 是否发出过 `finished` 声明； 3. 声明是否在合格状态下发出（SR）。发现： - **前沿模型**：三项指标基本同步，导航是主要瓶颈； - **小模型（Qwen3.5-9B）**：进入 δ 的比例高达 **90%**（超过所有前沿模型），但成功率仅 **35%**，声明距离/起始距离比为 **0.63**，存在严重过早声明； - **Qwen3.5-2B**：声明率仅 **25%**，且平均声明距离为起始距离的 **1.28 倍**（尚未接近即声明），成功率为 **0%**； - **Cosmos3-Edge-2B**：进入 δ 占 **25%**，但从未声明，成功率为 **0%**。 —- ### 4. 核心实验二：多无人机指挥（20 episodes, N=4 ）测试单一上下文同时指挥 4 架无人机向相似候选目标飞行的能力。 **主要结果（表 5、图 8）** - **Gemini 3.7 Flash**：成功率 **80%**，舰队到达率 **80%**，声明率 **90%**； - **GPT-5**：单无人机 Approaching 成功率 **60%**，指挥时骤降至 **20%**； - **Claude Opus 5**：单无人机 **35%**，指挥时降至 **0%**； - **Qwen3.5-9B / 27B**：出现“坐标复制”错误——在 70% / 58% 的全 `go` 步骤中，将同一像素点与深度粘贴到 4 个不同视角，导致至多一架无人机可能正确接地； - **Cosmos3-Edge-2B**：从未声明，与单无人机表现一致。 **发现**：指挥设置放大了协议遵循能力的两极分化——会声明的模型因多机冗余受益，不会声明或盲目复制的模型则完全失效。 —- ### 5. 辅助与诊断实验 #### 5.1 方差审计（Variance Audit）使用 **Gemini 3.7 Flash** 在相同设置下完整重复飞行 **3 次**（共 240 个单无人机 episode），验证结果稳定性。每次 80 episode 的总成功数分别为 46、50、35，标准差约 **7.8 episode**（~9.7%），与二项分布期望（ 1.7 – 2.5 成功数/单元，即 9 – 13 百分点）一致。表明观测到的差异主要源于模型行为随机性，非 pipeline 不稳定。 #### 5.2 失败模式分类对全部 80 个单无人机 episode 按主导失败模式人工标注，建立六类分类体系（图 13）： 1. **从未定位目标（Never grounded）** 2. **定位但未缩短距离（Grounded, never closed）** 3. **振荡无进展（Oscillated）** 4. **到达但未声明（Arrived, never declared）** 5. **过早声明（Declared prematurely）** 6. **超时（Timed out）** 统计结果显示：前沿模型的失败集中在**声明时机错误**；小模型则**六种模式均有分布**；Cosmos3-Edge-2B 主要因停滞与振荡失败。 #### 5.3 Test-Time Scaling（`think` 动作）效力分析 `think` 动作在运行中被调用 **1,797 次**。对比分析发现： - 调用 `think` 后的三步内，步均接近增益仅 **+0.03 m**（基于 739 次样本）； - `think` 打破停滞的比例（ 1/230 ）低于普通步骤（ 103/8401 ）； - 目标出框后，调用 `think` 与普通步骤的再捕获率几乎相同（ 13.5% vs 13.4% ）； - 本地部署模型在 746 次“思考中”回复里，仅 3 次包含实质性推理文本。结论：在当前物理闭环（约 2,Hz ）下，简单的 test-time 推理扩展未显著改善结果，**“思考”作为物理动作的收益仍属开放问题**。 #### 5.4 准则消融（附录 B）对成功准则的三种替代方案进行离线重算： - **仅判首次声明**：会将 95 个成功判为失败； - **仅判末次声明**：会将 58 个成功判为失败； - **轨迹进入即成功**：会使 61 个“从未声明”的失败被错误计入成功，虚增成功率约 1/3。验证了当前“计数所有声明、取首个合格者”准则的鲁棒性。 Q5: 有什么可以进一步探索的点？基于论文的发现与讨论，以下是可以进一步探索的研究方向： —- ### 1. 将动作空间从提示移入模型权重论文的核心发现是：小模型的瓶颈不在导航，而在**遵循提示声明的动作协议**（如正确使用 `finished` 终止、避免在多机指挥中复制坐标）。最直接的后续步骤是收集 DroneCATS 场景中的 episode 数据，将动作空间从自然语言提示迁移到**模型权重或动作头**中（通过监督微调或强化学习），并度量这种迁移能恢复四种能力（接近、跟踪、搜索、搜索-跟踪）中的哪些，以及是否能根本性解决声明过早/缺失的问题。 —- ### 2. 层级化多无人机指挥（Hierarchical Commanding）当前的多机实验（Commanding）是由单一模型直接控制 N=4 架无人机。论文指出，由于每架无人机能自我声明到达（`finished`），代理天然具备**可委托性（delegability）**。下一步应评估层级架构：一个高层指挥官负责上下文理解与任务分配，每个无人机运行一个边缘子代理负责局部闭环。这种层级结构是否能在保持协调的同时降低单上下文认知负荷，尚未被验证。 —- ### 3. 仿真到现实的迁移（Sim-to-Real Validation） DroneCATS-Agent 向下层飞控输出的是标准自驾仪（如 PX4）的 **offboard 模式速度设定点**（`moveByVelocityBodyFrameAsync`）。仿真器中理想化的是设定点跟踪层，而非接口本身。因此，同一控制循环可直接部署到真实四旋翼硬件上。需要回答的关键问题是：在真实视觉退化、光照变化、定位漂移和推理延迟下，基于声明的终止准则与提示级动作空间是否仍然成立，以及导航误差（NE）会如何变化。 —- ### 4. 物理闭环中的测试时扩展（Test-Time Scaling）论文发现 `think` 动作在当前 2,Hz 级别的物理闭环中几乎未带来收益——多数“思考”回复为空或仅重复动作。这与静态推理任务中 test-time scaling 的成功形成鲜明对比。需要重新设计**物理智能体的 deliberation 机制**：例如，是否应将推理外化为对环境的状态-动作-观察历史进行显式规划，而非单步悬停？如何在令牌延迟与世界运动之间取得新的平衡？ —- ### 5. 边缘部署的计算-延迟-鲁棒性三角论文记录了小模型在边缘的严苛资源约束：Cosmos3-Edge-2B 在 H100 上仅达约 2,Hz ，实际机载会更低。进一步探索包括： - **模型架构优化**：为边缘物理 AI 设计超低延迟的视觉-语言-动作架构，而非直接复用通用 MLLM； - **速率抖动鲁棒性**：实验发现主机负载导致的控制步延迟会降低移动目标跟踪成功率。需要设计对推理时间抖动不敏感的控制策略（如预测性设定点或自适应步长）。 —- ### 6. 失败模式的自动化诊断与课程学习论文通过人工分类建立了六类失败模式（从未定位、振荡、过早声明等）。下一步可构建**自动化的 episode 诊断器**，实时识别当前失败模式并触发纠正策略。更进一步，可基于这些失败模式设计**课程学习**：从“目标始终在视野中心且静止”的最简单场景开始，逐步引入遮挡、移动、多机分工等复杂性，专门训练模型克服已知的协议失败。 —- ### 7. 深度估计与到达判断的置信度校准小模型频繁在远离目标时过早声明 `finished`（如 Qwen3.5-2B 在 1.28× 起始距离处声明），或在已到达时沉默。这表明模型对**单目深度估计**和**自身与目标距离**的置信度校准存在系统偏差。可以探索： - 让模型输出深度/到达判断的**不确定性量化**（如深度分布而非点估计）； - 在提示中加入显式的尺寸-距离参考（如“目标占据帧的百分比”到“米数”的映射）以改善零样本深度推理。 —- ### 8. 动态环境与对抗性场景当前基准的目标运动是固定速度、已知路径的。可扩展至： - **非协作动态目标**：目标主动规避无人机； - **密集障碍物与动态遮挡**：测试搜索与重新获取（re-acquisition）能力； - **对抗性视觉场景**：如光照骤变、运动模糊、目标与背景纹理相似，以检验视觉 grounding 的极限。 —- ### 9. 跨模型家族的协议遵循机制分析论文观察到不同模型家族（GPT、Claude、Gemini、Qwen）在协议失败模式上存在差异（Gemini 集中于声明时机错误，Qwen 分布于所有模式）。通过**机制可解释性**方法（如探测模型隐藏状态中的“导航阶段”与“终止意图”表征），可以定位协议遵循能力在模型内部的神经基础，为针对性编辑或蒸馏提供靶点。 —- ### 10. 开放协议与社区基准维护论文已将 DroneCATS 开源。作为社区基准，可进一步： - 纳入更多模型（如更新的开源 VLA 模型）； - 建立标准化机载推理报告协议（记录实际控制频率、功耗、声明日志）； - 扩展至其他具身平台（如地面机器人、机械臂），验证“提示级动作空间 + 模型自主声明完成”这一范式的跨域适用性。 Q6: 总结一下论文的主要内容这篇论文研究了**多模态大语言模型（MLLM）作为自主无人机闭环控制器的真实能力边界**，核心贡献在于揭示：当前无人机系统研究通过外部模块接管关键决策（如终止判断、轨迹规划）而掩盖的模型短板，并非导航或视觉定位，而是**对提示级动作协议的遵循与自律能力**。 —- ### 1. 研究动机：现有系统过度缩减模型职责近期工作（如 TypeFly、PIVOT、SPF、Fly0、OnFly）将 MLLM 限制为语言规划器或视觉定位模块，把终止判断交给隐藏的距离阈值、把飞行控制交给传统规划器。这种“做减法”的系统设计虽提升了成功率，却导致文献无法回答一个根本问题：**当模型必须自主决定何时搜索、何时悬停推理、何时声明任务完成时，其真实瓶颈究竟在哪里？** —- ### 2. DroneCATS-Agent：模型无关的自主代理论文提出 **DroneCATS-Agent**，一个将 MLLM 视为可替换组件的架构。其关键设计包括： - **动作空间完全由自然语言提示声明**，无需微调、无需函数调用模式、无动作头； - **下游控制链完全冻结**：从 JSON 解析、像素反投影、速度设定点到飞控姿态环，均为规则化标准组件，不随模型更换而改变； - **扩展模型职责至四类动作**： - `go`：输出图像上的点 (x,y) 与估计深度 d ，用于接近可见目标； - `rotate`：原地偏航，用于搜索视野外目标； - `think`：悬停并启用扩展推理，用于不确定时主动增加计算； - `finished`：**由模型自主声明到达**，事后由验证器根据真实距离与可见性判定是否成立。将终止判断内化为模型的自我声明（而非外部阈值），使代理具备**可委托性**——这是层级化多机指挥的前提。 —- ### 3. DroneCATS 基准：统一协议下的多能力评估基准沿两条二元轴展开四种单无人机任务（共 80 个 episode）： - **目标运动**：静止 vs. 移动 - **初始可见性**：视野内 vs. 视野外组合出 **Approaching、Searching、Tracking、Search-and-Track** 四类任务。此外，增设 **Commanding（多无人机指挥）** 套件（20 个 episode， N=4 ），要求单一模型从同一上下文同时指挥四架无人机分辨外观相似、仅近距铭文不同的候选目标。 **统一成功准则**为：

success = ∃, i ∈ declarations : dist_i ≤ δ land visible_i
其中 δ = 5,m 。该准则跨任务可比，且要求必须有合格的 `finished` 声明——单纯飘过目标区域而未声明者不计成功。 —- ### 4. 实验设计与模型阵容在 AirSim 仿真器中，9 个模型零样本运行同一代理，包括 GPT-5、Claude Opus 5、Gemini 3.7 Flash、Gemini Robotics-ER 2，以及 Qwen3.5（2B/4B/9B/27B）和 Cosmos3-Edge-2B。实验刻意覆盖至 2B 参数级别，以探测机载边缘部署的可行性。 —- ### 5. 核心发现 #### 5.1 简单任务仍未解决，模型排序跨任务不稳定即使结构最简单的 **Approaching**（目标初始可见且静止），最佳模型（Gemini 3.7 Flash）成功率也仅 **65%**；将目标移出初始视野（Searching）后，最佳模型降至 **40%**。GPT-5 在 Approaching 中与 Gemini 接近（60%），但在 Tracking 中骤降至 **15%**，显示导航能力并非跨任务一致。 #### 5.2 “声明悖论”：小模型的瓶颈在协议遵循，而非导航诊断实验揭示了一个与直觉相悖的悖论： - **Qwen3.5-9B** 在 Approaching 中进入成功半径 δ 的比例高达 **90%**（超过所有前沿模型），但成功率仅 **35%**，因其频繁**过早声明** `finished`（平均在起始距离的 0.63 倍处声明）； - **Qwen3.5-2B** 在 **25%** 的 episode 中声明到达，但平均声明距离为起始距离的 ** 1.28 倍**（尚未接近即宣布完成），成功率为 **0%**； - **Cosmos3-Edge-2B** 能飞入 δ （占 25%），但**从未声明** `finished`，成功率亦为 0。这表明：**空间感知与导航本身不是小模型的瓶颈；瓶颈在于长期维持提示声明的动作协议，并正确使用终止动作。** #### 5.3 多无人机指挥放大协议分化在 N=4 的指挥场景中： - **Gemini 3.7 Flash** 成功率从单机的 65% **提升至 80%**，因其能正确分配四机探查不同候选目标，且声明纪律性强； - **GPT-5** 从 60% **骤降至 20%**，多数 episode 因无声明而超时； - **Qwen3.5-9B / 27B** 出现**坐标复制**错误：在 70% / 58% 的全 `go` 步骤中，将同一像素点与深度盲目粘贴到四个不同视角，导致至多一架无人机可能正确接地； - **Claude Opus 5** 成功率降至 **0%**。 #### 5.4 Test-Time Scaling 在物理闭环中收益不显著 `think` 动作被调用 1,797 次，但统计上未显著改善接近速率或打破停滞。在约 2,Hz 的物理闭环中，推理延迟与世界运动竞争，传统 test-time scaling 的获益机制在此失效。 —- ### 6. 结论与展望论文的主要结论可概括为：**在提示级动作空间下，将可部署的边缘模型与前沿模型区分开来的不是飞行或视觉定位能力，而是维持协议纪律并准确发出终止动作的“自律性”。** 现有系统通过外部模块替模型“决定何时结束”，恰恰掩盖了这一差距。论文建议的下一步是将动作空间从提示移入模型权重（通过微调或强化学习），针对性地修复声明行为；并将同一闭环迁移至真实硬件，验证 sim-to-real 的可行性。DroneCATS 作为开源基准，旨在持续度量这一距离的缩小。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jaewoo Park,Minyoung Lee,Sukmin Seo,Moonbin Yim,Hyunwook Yoon,Dohoon Ryu,Daehee Kim,Myungseo Song,Jihyuk Byun,Seunggyu Chang,Taeho Kil,Jiseob Kim,Bado Lee,Geewook Kim

Categories:

PDF URL: https://arxiv.org/pdf/2609.01404.pdf

Arxiv URL: https://arxiv.org/abs/2609.01404

Arxiv ID: 2609.01404

CoolPaper URL: https://papers.cool/arxiv/2609.01404

Published: 2026-09-03T01:26:31.726Z

Updated: 2026-09-03T01:26:31.726Z

10. Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System

Abstract:While unified multimodal models (UMMs) jointly perform visual understanding and generation within a single model, functional unification does not guarantee learning synergy: the two objectives may reinforce each other, compete for capacity, or merely coexist. We investigate their relationship at the representation, task, and system levels in a controlled, structurally native setting without pretrained vision priors. At the representation level, we find that each objective provides useful signal to the other: generation enriches the visual features learned for understanding, while understanding strengthens vision—language alignment for generation. However, when both objectives are forced through the same computation path, one tends to dominate. A task-decoupled architecture that specializes conflicting visual computation while preserving semantic interaction avoids this asymmetric degradation. At the task level, through three case studies, we find positive bidirectional transfer when understanding and generation tasks rely on shared knowledge. At the system level, we show that an end-to-end UMM outperforms a matched planner—executor pipeline on complex tasks that explicitly require both image understanding and generation. Together, these results show that the value of UMMs extends beyond a unified interface: appropriate specialization, shared task knowledge, and end-to-end optimization can turn coexistence into synergy.

中文摘要

摘要：虽然统一的多模态模型（UMMs）在单一模型中同时执行视觉理解与生成，但功能上的统一并不能保证学习的协同：两个目标可能相互强化、争夺容量，或仅仅共存。我们在一个受控的、结构上原生的设置下，且未使用预训练的视觉先验，研究了它们在表示、任务和系统层面的关系。在表示层面，我们发现每个目标都为另一个目标提供有用信号：生成丰富了理解任务中学习到的视觉特征，而理解任务则强化了用于生成的视觉-语言对齐。然而，当两个目标被迫通过相同的计算路径时，通常会出现一个目标主导的情况。一个任务解耦的架构，通过专门处理冲突的视觉计算，同时保持语义交互，可以避免这种不对称的退化。在任务层面，通过三个案例研究，我们发现当理解和生成任务依赖于共享知识时，存在正向的双向迁移。在系统层面，我们展示了端到端的UMM在显式要求同时进行图像理解和生成的复杂任务中，比匹配的规划器-执行器流水线表现更优。综合来看，这些结果表明UMMs的价值超越了统一接口：适当的专门化、共享的任务知识以及端到端优化可以将共存转化为协同效应。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决统一多模态模型（Unified Multimodal Models, UMMs）中视觉\*\*理解\*\*与视觉\*\*生成\*\*之间的内在关系问题——即二者在联合学习时究竟产生协同（synergy）、竞争（interference）还是简单共存（coexistence），以及何种条件决定了这种关系的性质。具体而言，论文围绕以下核心问题展开系统研究： - \*\*表示层面\*\*：理解与生成目标如何共同塑造视觉表示？参数共享与架构专业化如何决定知识迁移或特征干扰？当两者被迫通过同一计算路径时，为何会出现一方主导、另一方退化的非对称现象？ - \*\*任务层面\*\*：当理解与生成任务依赖相同的领域知识或底层能力时，联合训练能否实现双向正迁移？共享知识在哪些具体任务中能够相互强化？ - \*\*系统层面\*\*：对于需要理解、推理与生成紧密耦合的复杂任务，端到端统一的UMM是否优于将独立理解模型与生成模型拼接而成的模块化流水线？通过在原生（native）、像素进-像素出的受控环境中排除外部视觉先验的干扰，论文旨在揭示：统一理解与生成的价值不仅在于提供一个统一的交互接口，更在于通过适当的架构专业化、共享任务知识与端到端优化，将"共存"转化为真正的"协同"。 Q2: 有哪些相关研究？该论文的相关研究主要集中在以下三个方向： ## 1. 统一多模态模型（Unified Multimodal Models, UMMs）近年来，一系列工作将视觉理解与生成整合进单一模型，支持文本与图像作为交错内容被统一消费和产出。代表性研究包括： - \*\*Chameleon\*\*（Team, 2024）：采用早融合架构处理混合模态序列。 - \*\*Show-o\*\*（Xie et al., 2025b）：以单一Transformer统一多模态理解与生成。 - \*\*Janus\*\*（Wu et al., 2025a）与 \*\*Janus-Pro\*\*（Chen et al., 2025b）：通过解耦视觉编码路径支持双向任务。 - \*\*Transfusion\*\*（Zhou et al., 2025）：将离散自回归文本建模与连续扩散/流匹配图像生成结合。 - \*\*Tuna\*\*（Liu et al., 2025）与 \*\*SenseNova-U1\*\*（Diao et al., 2026c）：探索原生（native）视觉接口下的统一建模。这些工作主要证明了两种能力可以在同一模型中共存，但对其\*\*内在是否相互促进\*\*缺乏一致结论。 ## 2. 原生多模态模型（Native Multimodal Models） “原生”可从训练与结构两个维度理解： - \*\*训练原生\*\*：指模型从预训练初期即接触多模态数据，而非先训练纯文本大语言模型再引入视觉能力。相关探索包括 \*\*Kimi K3\*\*（Team et al., 2026）、\*\*Cambrian-1\*\* 后续的多模态预训练研究（Tong et al., 2026）、\*\*Interaction Models\*\*（Lab, 2026）以及 Han et al.（2026）对多模态预训练物理机制的分析。 - \*\*结构原生\*\*：指视觉输入与输出直接由多模态主干处理，减少对外部视觉编码器、图像分词器或 VAE 的依赖。代表性工作如 \*\*Fuyu-8b\*\*（Bavishi et al., 2023）以及 Diao et al.（2026b;c）的像素进-像素出（pixel-in, pixel-out）设计。本文采用\*\*结构原生\*\*设定，以排除外部视觉先验对理解-生成交互分析的干扰。 ## 3. 视觉理解与生成：冲突还是协同？现有研究对理解与生成是否内在互益尚无共识，大致可分为三类： - \*\*干扰与解耦\*\*：部分研究发现两个目标存在显著竞争，主张显式分离表示或计算路径。例如，\*\*Janus\*\*（Wu et al., 2025a）通过解耦视觉编码缓解任务冲突；\*\*MetaQueries\*\*（Pan et al., 2025）探索跨模态迁移的界限。 - \*\*理解信号向生成的单向迁移\*\*：为增强生成侧性能，一些方法引入额外模块或辅助目标。例如，\*\*RecA\*\*（Reconstruction Alignment, Xie et al., 2025a）以密集理解特征条件化图像重建；\*\*UNO\*\*（Liu et al., 2026）向生成表示注入描述与视觉回归监督。 - \*\*双向知识流与协同\*\*：近期并发研究表明，在精心设计任务或架构下，理解与生成可通过知识流动相互促进（Kang et al., 2026; Han et al., 2026）。然而，上述效果往往与专门模块、辅助损失、任务特定公式或预训练视觉组件的变化\*\*纠缠在一起\*\*，难以孤立揭示理解与生成之间的\*\*内在关系\*\*。本文正是在受控的原生设定下，从表示、任务与系统三个层次对这一基础问题进行了系统研究。 Q3: 论文如何解决这个问题？该论文通过构建一个\*\*受控的原生多模态环境\*\*（像素输入、像素输出，无外部视觉编码器或图像分词器），从\*\*表示、任务、系统\*\*三个递进层次对视觉理解与生成的交互机制进行了系统性拆解。具体解决方法如下： ### 1. 表示层：通过架构路由控制隔离交互机制为排除外部视觉先验的干扰，研究以 Qwen3-1.7B 语言模型为起点，仅添加随机初始化的预缓冲层（pre-buffer layers）处理图像块。通过对比三种路由架构，揭示参数共享如何决定迁移或干扰： - \*\*Dense Sharing\*\*：文本、理解视觉token、生成视觉token全部通过同一 LLM 层。实验表明联合训练虽提升理解，但生成能力显著退化，说明理解目标在共享空间中占据主导，生成退化为正则项。 - \*\*Modality-decoupled MoT\*\*：文本保留在预训练 LLM 分支，所有视觉token走从零初始化的独立视觉分支。此时生成能力提升，但理解能力下降，呈现与 Dense 设置相反的非对称性。线性 CKA 探针证实理解监督能改善生成侧的图文对齐，但强制共享视觉计算路径导致竞争。 - \*\*Task-decoupled MoT\*\*：将\*\*干净视觉token\*\*（理解）保留在语言分支，将\*\*加噪视觉token\*\*（生成）路由至专门的生成分支。两者通过跨分支注意力共享语义上下文，并以图像重建任务作为软对齐桥梁。该架构在理解与生成基准上同时取得增益，证明冲突并非源于统一本身，而是源于计算路径的强制重叠。辅以层-wise探针实验（ImageNet 分类、ADE20K 语义分割、NYUv2 单目深度估计）与特征可视化，量化验证了联合训练对视觉表征的富集作用，以及不同架构下非对称退化的根源。 ### 2. 任务层：通过配对任务验证共享知识的迁移在固定 50% 通用数据 + 50% 任务特定数据的协议下，研究选取三个依赖相同底层知识的领域，检验双向迁移： - \*\*几何推理\*\*：将几何问题求解（理解）与几何图生成/编辑（生成）配对。通过对比“仅理解”、“理解+同数据文本描述”、“理解+生成”三种设置，证明生成目标作为辅助监督比单纯增加文本描述数据更能提升几何与一般数学推理能力。 - \*\*SVG 理解与生成\*\*：将渲染图→SVG代码（理解）与SVG代码→渲染图（生成）配对。联合训练在双向均取得提升。研究进一步构造\*\*SVG Blind VQA\*\*诊断基准（仅提供 SVG 代码，要求推断视觉外观）并检查单步去噪输出，证实联合训练强化了模型对矢量程序的内部“心智可视化”能力。 - \*\*3D 空间智能\*\*：理解侧涵盖单图/多图/视频 3D 问答；生成侧涵盖自我运动过渡、多视角重建、视图序列补全、布局到图像生成。联合训练在 3D SI 理解与生成基准上均实现正向迁移。 ### 3. 系统层：通过匹配的对照实验比较端到端与模块化流水线针对需要理解与生成紧密耦合的复杂任务，研究设计严格的控制对比： - \*\*任务\*\*：推理密集型图像编辑（模型需理解源图、推理隐式请求、生成目标图）。 - \*\*基线\*\*：Planner→Executor 流水线。Planner（仅理解模型）将隐式指令转化为显式编辑指令；Executor（仅生成模型）据此生成图像。两个模块与端到端模型从\*\*同一 Task-decoupled MOT 检查点\*\*初始化，使用\*\*相同数据监督\*\*。 - \*\*端到端 UMM\*\*：在单一模型内学习从源图与隐式指令到显式推理再到目标图像的完整映射。在 RISEBench 与 KRIS-Bench 上的评估显示，端到端 UMM 在匹配条件下优于模块化流水线，证明当理解、推理与生成需要在任务内部深度交互时，端到端统一建模具有系统级优势。 ### 总结论文的解决路径可概括为：\*\*先通过受控架构隔离表示冲突，再通过配对任务识别知识共享边界，最后在系统级验证端到端优化的必要性\*\*。这三层证据共同说明：理解与生成的协同并非自动产生，而是取决于\*\*视觉计算的专业化分工\*\*、\*\*任务知识的重叠程度\*\*以及\*\*推理-生成链路的端到端整合\*\*。 Q4: 论文做了哪些实验？该论文的实验围绕\*\*表示、任务、系统\*\*三个递进层次展开，具体包括以下内容： --- ### 1. 表示层面实验（Representation Level） #### (1) 三种路由架构的受控对比在相同的 Qwen3-1.7B 预训练语言模型基础上，构建并对比了三种视觉 token 路由策略： - \*\*Dense Sharing\*\*：文本、理解视觉 token、生成视觉 token 共享全部 LLM 层； - \*\*Modality-decoupled MoT\*\*：文本走预训练 LLM 分支，所有视觉 token（理解与生成）走从零初始化的独立视觉分支； - \*\*Task-decoupled MoT\*\*：文本与理解视觉 token 走 LLM 分支，生成视觉 token（加噪）走专门的生成分支，通过跨分支注意力与图像重建任务实现软对齐。 #### (2) 理解与生成基准评估 - \*\*理解基准\*\*（分组平均）： - \*\*General\*\*：MME、MMBench、MMStar、SEED Bench、MMMU - \*\*OCR\*\*：DocVQA、ChartQA、InfoVQA、OCRBench、AI2D - \*\*Vision-centric & SI（空间智能）\*\*：PerceptionBench、P2GB、BLINK、MME-Realworld、DA2K、CV-Bench、MindCube、3DSR、ViewSpatial - \*\*生成基准\*\*：GenEval2、DPGBench、HPSv3、Aesthetic Score #### (3) 视觉表示探针（Layer-wise Probing）冻结不同架构的骨干网络，在各层提取视觉特征，训练轻量探测头以评估表示质量： - \*\*ImageNet\*\* 线性分类（全局语义信息） - \*\*ADE20K\*\* 语义分割（密集空间信息，mIoU） - \*\*NYU-Depth V2\*\* 单目深度估计（几何结构，RMSE） #### (4) 特征可视化与对齐分析 - \*\*PCA 投影\*\*：将 patch 级视觉特征投影到共享三维 PCA 基，可视化 RGB 图，比较理解单任务与联合训练的特征空间结构； - \*\*CKA（Centered Kernel Alignment）\*\*：测量语言分支的文本特征与视觉分支的生成图像特征在各层的相似度，验证联合训练对图文对齐的影响。 --- ### 2. 任务层面实验（Task Level）所有任务层面实验均采用 \*\*50% 通用数据 + 50% 任务特定数据\*\* 的混合协议，以排除通用能力变化的干扰。 #### Case I：几何问题求解 - \*\*数据\*\*： - 理解：965K 几何问题求解与通用数学推理数据（源自 Geometry3K、PGPS9K、MathVerse、MathVista 等公开数据集）； - 生成：MATHCANVAS-IMAGEN（几何图形文生图）与 MATHCANVAS-EDIT（几何图编辑）。 - \*\*对比设置\*\*： - UND（仅理解） - UND + Textual-Desc（将相同生成数据转为文本描述任务） - UND + GEN（联合训练） - \*\*评估基准\*\*：Geometry3K、PGPS9K、MathVerse-testmini、MathVista-testmini。 #### Case II：SVG 理解与生成 - \*\*数据\*\*：UniSVG 的 359K SVG 代码-图像对。 - \*\*任务配对\*\*： - 理解：渲染图 → SVG 代码； - 生成：SVG 代码 → 渲染图。 - \*\*评估指标\*\*：SSIM、LPIPS、CLIP 相似度的加权和（沿用 UniSVG 协议）。 - \*\*诊断实验\*\*： - \*\*SVG Blind VQA\*\*：构造 3,000 个多项选择 VQA，要求模型仅凭 SVG 代码推断视觉外观（经基础模型过滤后保留 1,370 个非平凡样例）； - \*\*单步生成预测\*\*：检查仅经过一步去噪后预测的干净图像，评估模型从代码快速形成全局视觉规划的能力。 #### Case III：3D 空间智能 - \*\*理解数据\*\*：涵盖单图、多图、视频形式的 3D VQA（空间关系、视角推理、深度、相机运动）。 - \*\*生成数据\*\*（四种任务）： - \*\*Ego-motion Transition\*\*：源图 + 相机运动描述 → 目标视角（SpatialEdit-500K + 自建 1.6M ScanNet/ScanNet++ 样本）； - \*\*Multi-view Reconstruction\*\*：给定 2 个物体视角 → 生成第 3 个视角（Objaverse, 248K）； - \*\*View Sequence Completion (VSC)\*\*：给定 5 帧序列的首尾各 2 帧 → 预测中间帧（880K, ScanNet/ScanNet++/ARKitScenes）； - \*\*Layout-to-image Generation\*\*：结构化 3D 布局或自然语言空间描述 → 图像（Omni3D, 332K）。 - \*\*评估基准\*\*： - 理解：VSI-Bench、SPAR-Bench、CV-Bench、DA-2K、MindCube-tiny、ViewSpatial、3DSRBench、MMSI、All-Angles； - 生成：SpatialEdit（Viewpoint Error、Framing Error）、VSC（PSNR、SSIM、LPIPS）。 --- ### 3. 系统层面实验（System Level） #### 推理密集型图像编辑（Reasoning-intensive Image Editing） - \*\*任务定义\*\*：给定源图像与隐式编辑请求，模型需理解图像内容、推理出显式编辑指令、并生成目标图像。 - \*\*受控对比设置\*\*（均从同一 Task-decoupled MOT 检查点初始化，使用相同数据监督）： - \*\*Planner → Executor 流水线\*\*： - Planner（仅理解）：源图 + 隐式指令 → 显式编辑指令； - Executor（仅生成）：源图 + 隐式指令 + 显式指令 → 目标图像。 - \*\*End-to-end UMM\*\*：源图 + 隐式指令 → 内部推理 + 目标图像。 - \*\*评估基准\*\*： - \*\*RISEBench\*\*：Temporal、Causal、Spatial、Logical、Overall； - \*\*KRIS-Bench\*\*：Factual、Conceptual、Procedural、Overall。 --- ### 附录中的补充实验 - \*\*训练配置消融\*\*：学习率、优化器、分辨率、时间步采样等超参数（见附录 A.3 表 7）； - \*\*逐基准详细结果\*\*：附录 A.4 提供理解基准（表 8）与生成基准（表 9、表 10）的完整细分分数； - \*\*探测协议细节\*\*：附录 A.5 说明 ImageNet 线性探测的 LARS 优化器设置，以及分割/深度估计中上采样探测头的结构。 Q5: 有什么可以进一步探索的点？基于论文的发现与讨论，以下几方面值得进一步探索： ### 1. 其他建模范式下的普适性验证论文采用\*\*离散自回归文本 + 连续流匹配图像\*\*的混合公式作为研究基础。尽管作者预期关于参数共享、任务迁移与系统设计的结论可推广至其他范式，但其普适性仍需在以下设定中实证检验： - \*\*完全离散的多模态建模\*\*（如基于离散 token 的统一自回归或离散去噪目标）； - \*\*完全连续的建模\*\*（如基于连续扩散或流匹配处理文本与图像）。不同模态表示空间的一致性差异可能改变理解与生成之间的干扰-协同边界。 ### 2. 更广泛的架构设计空间 Task-decoupled MOT 仅是一种实现\*\*选择性专业化与语义交互平衡\*\*的路径。未来可在更大设计空间中探索： - \*\*任务/Token 条件化的专家混合架构（Mixture-of-Experts, MoE）\*\*：以稀疏激活的方式动态路由理解与生成计算，而非静态分支； - \*\*动态权重共享机制\*\*：根据输入内容或训练阶段自适应调整共享层与专用层的比例； - \*\*分层解耦策略\*\*：在底层视觉编码、中层语义融合、高层推理规划等不同深度实施差异化的共享-分离权衡。 ### 3. 向物理世界与具身智能扩展论文在 3D 空间智能（Case III）中发现，理解与生成可因共享空间知识而相互强化。这一逻辑可延伸至更广泛的物理交互场景： - \*\*世界模型（World Models）\*\*：联合训练视觉状态理解、未来帧预测与动作生成，验证统一模型是否比分离的动力学模型与策略模型更具优势； - \*\*具身智能与机器人学习\*\*：将视觉感知、空间推理与动作规划纳入统一框架，探索端到端优化在机器人操作与导航中的系统级增益； - \*\*物理推理与因果生成\*\*：在需要遵守物理约束的生成任务（如物体 permanence、流体模拟）中检验理解监督能否提升生成的物理一致性。 ### 4. 复杂 Agent 流程的内生化系统层面的研究表明，端到端 UMM 在需要理解-推理-生成紧密耦合的任务中优于模块化流水线。未来可探索将更复杂的 Agentic 过程原生内化为模型能力： - \*\*多模态搜索 + 生成\*\*：让模型自主决定何时检索外部视觉知识、何时基于内部表示生成； - \*\*迭代式视觉细化\*\*：支持生成过程中的多轮自我理解、自我批判与局部重绘，而非单步生成； - \*\*长程交错推理\*\*：处理需要理解与生成交替进行的超长序列任务（如多页图文报告生成、复杂视觉叙事）。 ### 5. 理论层面的机制解析论文的实验揭示了“协同是条件性的”这一经验规律，但其深层机制尚待理论阐释： - \*\*优化景观分析\*\*：从损失函数几何角度分析理解与生成目标在共享参数空间中的竞争与正交性； - \*\*表示空间的定量刻画\*\*：利用互信息、CCA 或信息瓶颈（Information Bottleneck）等方法，严格度量联合训练前后视觉表示中语义信息与生成信息的压缩与保留； - \*\* scaling law 研究\*\*：检验随着模型规模、数据量与计算量的增长，理解与生成之间的协同效应是否增强或饱和。 ### 6. 数据工程与训练策略优化论文表明任务级协同依赖于共享知识，但如何最大化这种迁移仍属开放问题： - \*\*配对数据构造\*\*：在缺乏自然配对任务的领域，如何设计伪任务或自动构造“理解-生成”镜像数据以诱导双向迁移； - \*\*课程学习\*\*：是否应在训练初期优先学习某一能力（如先理解后生成，或反之）以优化收敛与最终性能； - \*\*损失平衡与动态采样\*\*：在联合训练中，针对理解与生成损失的量级差异与收敛速度差异，开发自适应重加权或动态数据混合策略。 Q6: 总结一下论文的主要内容该论文系统研究了\*\*统一多模态模型（UMMs）中视觉理解与视觉生成的内在关系\*\*，探讨二者在联合训练时究竟产生协同、竞争还是简单共存，并揭示了决定这种关系性质的关键条件。 ### 核心问题功能层面的统一（单个模型同时具备理解与生成能力）并不自动意味着学习层面的协同。论文试图回答：理解与生成何时相互促进、何时相互干扰？统一的真正价值体现在何处？ ### 研究设定为排除外部视觉先验的干扰，研究采用\*\*原生（native）像素进-像素出\*\*的受控环境：图像直接以 patch 形式输入，无需预训练视觉编码器；图像通过流匹配直接在像素空间生成，无需图像分词器或 VAE。所有模型均从 Qwen3-1.7B 初始化，通过不同的路由架构实现理解与生成能力的组合。 ### 三个层次的研究与发现 #### 1. 表示层面：架构决定协同还是干扰通过对比三种路由策略，发现理解与生成能够互相提供有用信号（生成丰富视觉表征，理解改善图文对齐），但\*\*强制共享计算路径会导致非对称退化\*\*： - \*\*Dense Sharing\*\*：联合训练提升理解、损害生成，因为理解目标在共享空间中主导； - \*\*Modality-decoupled MoT\*\*：将所有视觉 token 路由至独立视觉分支，结果相反——生成提升、理解下降； - \*\*Task-decoupled MoT\*\*（本文提出）：将干净视觉 token（理解）保留在语言分支，将加噪视觉 token（生成）路由至专用生成分支，通过跨分支注意力与图像重建任务保持语义交互。该架构避免了非对称退化，使双向能力同时提升。 \*\*结论\*\*：协同并非统一所固有，适当的计算专业化与语义交互缺一不可。 #### 2. 任务层面：共享知识驱动双向迁移当理解与生成任务依赖相同底层知识时，联合训练产生正迁移。通过三个案例验证： - \*\*几何推理\*\*：几何问题求解（理解）与几何图生成/编辑（生成）联合训练，不仅提升几何理解，还迁移至通用数学推理；且生成目标比将相同数据转为文本描述更有效； - \*\*SVG 理解与生成\*\*：双向任务（图像→SVG 代码，SVG 代码→图像）联合训练使双方均受益。诊断实验（SVG Blind VQA 与单步生成可视化）表明联合训练强化了从符号代码到视觉外观的内部“心智模拟”能力； - \*\*3D 空间智能\*\*：涵盖自我运动预测、多视角重建、视图补全、布局到图像生成等生成任务，与 3D VQA 理解任务联合训练，在理解与生成基准上均实现正向迁移。 \*\*结论\*\*：任务级协同的涌现条件是\*\*底层知识或能力的重叠\*\*。 #### 3. 系统层面：端到端优于模块化流水线对于需要理解与生成紧密耦合的复杂任务（如\*\*推理密集型图像编辑\*\*），研究对比了： - \*\*端到端 UMM\*\*：在单一模型内完成“理解源图 → 推理显式指令 → 生成目标图”； - \*\*Planner→Executor 流水线\*\*：理解模型输出显式指令，生成模型执行编辑（模型容量与监督数据均匹配）。在 RISEBench 与 KRIS-Bench 上，端到端 UMM 显著优于流水线。这表明当理解、推理与生成需要在任务内部深度交互时，端到端统一建模具有系统级优势。 ### 主要贡献 - 在受控原生设置下，首次从表示、任务、系统三个层面全面解构理解与生成之关系； - 揭示理解与生成可互益，但 mutual gains \*\*高度依赖架构设计\*\*，提出 Task-decoupled MOT 实现无退化的统一； - 通过几何、SVG、3D 空间智能的广泛案例，验证共享知识是任务级协同的关键； - 证明对于复杂多模态任务，端到端 UMM 优于能力匹配的分段式流水线。 ### 核心启示统一多模态模型的价值超越单一接口的便利性。只有通过\*\*冲突计算路径的专业化\*\*、\*\*共享任务知识的识别与利用\*\*、以及\*\*理解-推理-生成链路的端到端优化\*\*，才能将两种能力的简单共存转化为真正的学习协同。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是Uncovering%20Understanding-Generation%20Synergy%20in%20Native%20Unified%20Multimodal%20Models%3A%20From%20Representation%2C%20Task%20to%20System，链接是https://arxiv.org/pdf/2609.01607，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2609.01607。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Penghao Wu,Haiwen Diao,Weichen Fan,Lewei Lu,Dahua Lin,Ziwei Liu

Categories:

PDF URL: https://arxiv.org/pdf/2609.01607.pdf

Arxiv URL: https://arxiv.org/abs/2609.01607

Arxiv ID: 2609.01607

CoolPaper URL: https://papers.cool/arxiv/2609.01607

Published: 2026-09-03T01:26:32.085Z

Updated: 2026-09-03T01:26:32.085Z

11. Safin-1: Safety from Within through Memory-Native State Evolution

Abstract:Long-horizon complex tasks require foundation models to accumulate information, maintain internal states, and adapt over extended interactions. Safety should be an intrinsic property of the model itself, rather than a behavioral constraint relying solely on external safeguards or post-hoc alignment such as supervised fine-tuning. This motivates Safety from Within, where safety-relevant capabilities are represented and invoked through the model’s native computation. We present Safin-1, a family of foundation models realizing this principle through memory routing and state evolution. Safin-1 is built on Memory-Anchor Routing across Context History (MARCH), a network architecture that maintains structured memory states and selectively retrieves relevant historical information through content-conditioned routing. It supports test-time adaptation of persistent capability states without repeatedly modifying the backbone, enabling controlled specialization over a shared foundation. We investigate this interface on downstream safety tasks through a Safety State, demonstrating effective state-based adaptation with substantial safety improvements. More broadly, the routed-state interface unifies contextual memory and persistent capability adaptation within the model’s native computation, reframing memory from a passive record of prior context into an active substrate for maintaining and evolving model behavior. Evaluations across general capabilities, long-context understanding, retrieval, and efficiency further validate Safin-1. These findings provide a path toward safety as a state-native and adaptively maintainable capability. This work is only an initial architectural exploration of Safety from Within, and substantial further work is needed to realize this broader vision.

中文摘要

摘要：长时间跨度的复杂任务要求基础模型能够积累信息、维护内部状态，并在长时间交互中进行适应。安全性应是模型自身的内在属性，而不是仅依赖外部保护措施或事后对齐（如监督微调）的行为约束。这促使提出“内在安全”（Safety from Within）的概念，其中与安全相关的能力通过模型的原生计算进行表示和调用。我们提出了 Safin-1，这是一系列通过记忆路由和状态演化实现该原则的基础模型。Safin-1 基于跨上下文历史的记忆锚点路由（Memory-Anchor Routing across Context History，MARCH）构建，这是一种网络架构，能够维护结构化的记忆状态，并通过内容条件路由选择性地检索相关的历史信息。它支持在测试时对持久能力状态进行适应，而无需反复修改主干网络，从而在共享基础上实现可控的专业化。我们通过“安全状态”（Safety State）在下游安全任务中研究了这一接口，展示了基于状态的有效适应能力，并显著提升了安全性。更广泛地说，路由状态接口在模型的原生计算中统一了上下文记忆和持久能力适应，将记忆从先前上下文的被动记录重新定义为维护和演化模型行为的主动基底。在通用能力、长上下文理解、检索及效率方面的评估进一步验证了 Safin-1。这些发现提供了一条将安全作为状态原生且可适应维持的能力的路径。本研究仅是对“内在安全”架构的初步探索，实现这一更广阔愿景仍需要大量进一步工作。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*长期复杂任务中基础模型的记忆保持与安全性内化\*\*问题，具体可从以下三个层面展开： --- ### 1. 核心问题：模型状态如何同时支撑上下文记忆与持久化能力长期任务要求基础模型具备两种连续性： - \*\*上下文连续性\*\*：在扩展交互中保留历史信息（accumulate information across extended interactions）； - \*\*能力连续性\*\*：根据当前情境可靠地调用合适的行为约束（maintain and invoke appropriate behavioral constraints）。现有方法通常将二者割裂处理：上下文通过token级的Key–Value缓存或循环状态保留，而可复用能力（如安全性）则依赖模型权重更新、低秩适配（LoRA）或推理时的外部干预。论文提出一个统一问题：\*\*模型状态能否不仅作为上下文的前缀压缩，更成为持久化且可被选择性调用的能力的原生载体？\*\* --- ### 2. 具体技术挑战 #### （1）循环模型的单状态瓶颈（Single-State Bottleneck）传统循环或线性注意力模型将因果前缀压缩为单一固定尺寸状态，仅暴露最新状态供读取。一旦早期信息被衰减或覆盖，后续token无法从当前状态中恢复历史关联（prior representation is no longer recoverable from the current state alone），导致长程检索失败。 #### （2）安全性作为外部约束而非内在属性现有安全对齐多依赖事后监督微调（SFT）或外部防护栏（external safeguards），将安全性视为施加于模型行为之上的约束，而非模型原生计算（native computation）的一部分。这导致安全能力难以在测试时自适应维护，且易与通用能力产生冲突（如过度拒绝）。 #### （3）长序列上的记忆存储与检索效率保留额外历史状态会引入存储与检索开销，需要一种紧凑且内容可寻址（content-addressable）的接口，使历史状态能根据当前上下文高效检索，而非线性扫描。 --- ### 3. 论文提出的解决路径为应对上述挑战，论文提出并探索了 \*\*"Safety from Within"（内存原生安全）\*\* 的架构原则，并通过 \*\*Safin-1\*\* 模型家族实现： #### （1）通过 MARCH 架构实现可寻址的历史状态记忆论文设计了 \*\*Memory-Anchor Routing across Context History (MARCH)\*\*，其核心机制包括： - \*\*状态锚点（State Anchors）\*\*：在循环状态演化过程中周期性地创建检查点（checkpoint），将累积前缀状态保存为可寻址的矩阵值记忆单元； - \*\*内容条件路由（Content-Routed Retrieval）\*\*：每个token通过路由查询与锚点键的匹配，选择性检索相关历史状态，并与当前状态路径融合：

ot = S_t q_t + ∑(j ∈ C) π_(t,j) A^((j)) q_t

**稀疏 Top-K 路由**：限制每次检索的候选数量，降低长序列下的计算开销。 #### （2）通过持久能力状态实现安全内化在上下文锚点之外，MARCH 的路由状态库（state bank）可容纳**可学习的持久能力状态（Persistent Capability States）**。论文以安全性为例，实例化为 **Safety State**： - 在冻结语言模型主干（frozen backbone）的情况下，仅学习一个持久的矩阵值安全状态； - 该状态与上下文锚点共享同一路由接口，由模型原生路由器根据当前token和上下文动态决定其贡献权重； - 实现了**测试时自适应（test-time adaptation）**：安全特化无需修改主干参数，可随时附加或移除，同时保持共享的通用基础。 #### （3）统一框架：从被动记录到主动基质该架构将模型记忆重新定义为**维护和演化模型行为的主动基质（active substrate）**，而非仅作为先前上下文的被动记录。记忆路由与持久状态的统一接口，使上下文记忆与能力适应均在模型原生计算内完成。 —- ### 4. 验证结论论文通过两阶段实验验证所提方案： - **0.8B 控制实验**：验证 MARCH 在语言建模、长上下文理解（LongBench）、关联召回（RULER NIAH）和长度外推上的优势； - **4B 与 35B-A3B 规模实验**：验证 Safin-1 在持续预训练与监督微调后，通用能力（尤其是推理与数学）提升的同时，通过 Safety State 将越狱攻击成功率（ASR）分别降低 **42.3%** 和 **52.3%**，且过度拒绝（over-refusal）显著低于训练匹配的 LoRA 对照组。综上，该论文试图通过**内存原生的状态演化与路由架构**，解决长期任务中历史信息可恢复性、安全能力内化以及长序列效率的三重挑战，为“安全性作为模型内在状态属性”提供初步的架构级证据。 Q2: 有哪些相关研究？根据论文第5节（Related Works）及前文引用，相关研究可分为以下三大方向： —- ### 1. 高效长上下文序列建模（Efficient Long-Context Sequence Modeling）该方向致力于降低标准自注意力的二次复杂度，同时保留长程内容检索能力。 - **受限感受野与核近似**：通过局部/滑动窗口注意力限制邻域范围，或利用特征映射替代Softmax核实现线性复杂度，代表性工作包括 **Performer**、**Nyströmformer**、**Linear Attention** 等。 - **系统级优化**：**FlashAttention-2** 通过I/O感知的分块计算加速精确稠密注意力；序列并行算法改善线性注意力的扩展性。 - **稀疏注意力**：早期方法采用预定义稀疏模式，如 **Sparse Transformer**（因子化注意力图）、**Longformer** 与 **BigBird**（局部窗口+全局/随机连接）；后续方法发展为输入依赖的选择机制，如 **Routing Transformer**（按内容聚类）、**H2O**（驱逐低效用缓存项）、**Quest**（按查询选择KV缓存页）。 - **可训练稀疏架构**：近期工作将路由融入模型本身，如 **MoBA**（将查询分配到相关键值块）与 **Native Sparse Attention**（结合局部、压缩与选择检索分支）。 **与本文关系**：上述方法仍在token或块级键值表示上操作，而 Safin-1 的 MARCH 架构则在**状态级记忆**（state-level memories）上执行长程路由，即检索循环状态的累积快照而非原始token表示。 —- ### 2. 循环状态与可扩展记忆（Recurrent State and Expandable Memory）该方向关注如何将因果前缀压缩为固定大小的循环状态，并缓解单状态瓶颈。 - **基础循环架构**：状态空间模型（如 **S4**、**Mamba**）与门控线性循环（如 **RetNet**、**RWKV**、**HGRN2**）将前缀压缩为固定状态以实现常数内存解码；**Linear Attention** 揭示了外积状态更新与查询检索的关联。 - **状态更新精细化**：**Gated Linear Attention** 引入输入依赖衰减，**DeltaNet** 及其变体（**GDN**、**GDN2**）利用Delta规则修正关联更新，提升细粒度记忆控制。 - **单状态瓶颈**：研究表明，传统循环模型仅暴露最新状态，早期关联一旦衰减或覆盖便无法恢复（**Zoology** 等系列工作）。 - **可扩展记忆方法**： - **多状态/层次化组织**：**Multi-State RNNs**、**HGRN2**、**Log-Linear Attention** 维护多个或层次化循环状态。 - **稀疏与参数化记忆**：**MoM**、**Sparse Delta Memory**、**Raven**、**Product-Key Memories** 通过稀疏访问的状态库或记忆专家解耦记忆容量与稠密计算。 - **上下文压缩**：**Gist Tokens**、**Activation Beacon**、**UniGist** 等方法学习压缩表示或选择性地重新打开相关压缩块。 **与本文关系**：MARCH 采取互补路径——保留模型原生循环状态轨迹的**累积快照**（cumulative snapshots），通过内容条件路由使其可个体寻址，而非替换为更大的外部学习记忆。这分离了状态演化（循环更新）与历史访问（路由选择）。 —- ### 3. 数据高效与模块化安全对齐（Data-Efficient and Modular Safety Alignment）该方向探索如何在有限数据下实现安全对齐，并避免过度拒绝或能力侵蚀。 - **数据高效对齐**：**Safety-Tuned LLaMAs** 证明数百条演示即可显著提升安全性；**STAR-1** 仅用1K精选示例实现对推理模型的安全对齐。 - **对抗与良性评估**：**WildJailbreak** 等对抗套件与 **XSTest** 等良性提示诊断强调，单纯降低攻击成功率不足以衡量成功，需同时报告过度拒绝（over-refusal）。 - **参数高效适配**：低秩适配（**LoRA**）及其安全变体（**SaLoRA**、**Safe LoRA**、**Safe Pruning LoRA**、**LSSF**）通过低秩更新或子空间组合在微调时保留安全性。 - **表示层干预**：**ReFT**、**Representation Engineering**、**Contrastive Activation Addition** 及拒绝方向分析（refusal-direction analyses）通过低维激活方向操控行为；安全聚焦方法包括 **Circuit Breakers**（内部表示重路由）、**MoGU**（模型变体路由）、**SAFEx**（安全关键专家分析）、**Single Token Alignment**（学习输入前缀）等。 **与本文关系**：Safin-1 的 **Safety State** 将安全特化表示为**持久矩阵值循环状态**，通过模型原生路由路径与上下文记忆一同被调用。与低秩适配不同，它不修改共享主干；与每token激活干预不同，它以可路由记忆候选的形式持续存在，支持测试时附加或移除，实现状态原生（state-native）的能力特化。 —- ### 4. 宏观安全框架背景在更高层面，论文还引用了关于可扩展安全应与模型能力协同演进的视角，如 **R2AI**（Safe AI Should be Resistant and Resilient）与 **AI-45° Law** 路线图，强调安全性需兼具对已知威胁的抵抗力和对未知风险的韧性。 Q3: 论文如何解决这个问题？论文通过 **Safin-1** 模型家族及其底层的 **MARCH（Memory-Anchor Routing across Context History）** 架构解决该问题。核心思路是将模型自身的循环状态轨迹（recurrent-state trajectory）转化为可寻址、可路由的内部记忆库，并在此统一接口上承载上下文派生记忆与持久化能力状态。具体解决方案可从以下四个层面展开： —- ### 1. MARCH 状态路由架构：将循环历史转化为可寻址记忆 MARCH 的核心机制是在不修改底层循环更新规则的前提下，使历史循环状态可被后续 token 选择性检索。 #### 1.1 上下文派生状态锚点（Context-Derived State Anchors）在文本序列的特定边界处（例如每 C=512 个 token），架构对当前累积的循环状态创建检查点（checkpoint），形成**状态锚点**：

A^((m,ell)) = S^((ell))(b_m) ∈ R^(d_v × d_k), quad m=1,dots,M
其中 S^((ell))(b_m) 是第 ell 层在处理完第 m 个边界位置 b_m 后的累积循环状态。关键设计在于：**循环不在边界处重置**，因此 A^((m,ell)) 编码的是从序列开头到 b_m 的完整前缀信息，而非仅最近片段。 #### 1.2 状态感知的内容路由键（Content-Conditioned Routing Keys）每个锚点位置关联一个紧凑的路由键，用于后续的内容寻址。锚点位置 xi_m 读取其对齐的状态检查点，并通过投影生成路由键：

kappa^((ell))_m = W^((ell))_k u^((ell))_m ∈ R^(d_r)
由于锚点表示 u^((ell))_m 在第一层后即依赖于其关联的状态检查点 A^((m,ell)) ，路由键天然成为**状态感知**的——路由器根据锚点保留的内容而非单纯的时间索引进行寻址。 #### 1.3 内容路由检索与当前路径融合（Content-Routed Retrieval and Fusion）对于位置 t 的文本 token，路由模块将其隐藏状态投影为路由查询 rho_t ，并与所有因果可见锚点的键计算相似度：

a(t,j) = rho_t^top kappa_j, quad j ∈ C_t
为避免在无关时强制检索，候选集扩展包含一个**可学习的空选项（null option）** ∅ ，其负载固定为零。所有候选通过 softmax 归一化得到路由权重 π(t,j) 。检索到的历史状态与当前循环路径通过加法融合：
ot = S_t q_t + ∑(j ∈ C) π_(t,j) A^((j)) q_t
该加法形式**保留了原始循环路径的完整性**，将历史检索作为辅助分支引入，不修改底层循环更新规则，且支持端到端优化。 —- ### 2. 持久能力状态：实现 Safety from Within MARCH 的路由状态库不仅容纳上下文派生的动态锚点，还可托管**可学习的持久能力状态（Persistent Capability States）**，使安全等能力成为模型原生计算的一部分。 #### 2.1 统一的状态库接口在每一层中，非空候选集扩展为动态锚点与持久状态的并集：

Ct = V_t ∪ p_1, dots, p_J, quad A^((p_j)) = P_j
持久状态 P_j 具有与动态锚点相同的矩阵值结构，其路由键 kappa(pj) 通过相同的状态感知元数据路径生成。它们从第一个文本 token 起即可用，且不占用输入序列位置。 #### 2.2 Safety State 的实例化与测试时适配论文以安全性为例，将各层的持久状态集合 P^((ell))(safe)ell 定义为 **Safety State**。其训练与部署遵循以下原则： - **主干冻结**：在 Safin-1 的监督微调（SFT）检查点基础上，冻结所有语言模型参数； - **仅优化状态**：仅训练持久 Safety State 的参数，通过标准的 token 级因果交叉熵优化； - **混合监督**：使用有害请求（STAR-1）与良性请求（STAR-benign）的配对数据，并在 0、512、2048 token 的良性前缀变种下训练，确保 Safety State 在不同历史记忆配置下均有效； - **即插即用**：学习完成后，Safety State 可被附加到路由状态库或从中移除，无需修改共享主干，实现**受控的测试时特化（test-time adaptation）**。通过模型自身的路由接口，Safety State 获得**token 级且上下文依赖的贡献权重**，而非以固定权重全局叠加，从而在安全对齐与有用性之间实现更精细的权衡。 —- ### 3. 高效实现：生产者–读者分离与稀疏路由为解决长序列下状态库存储与检索的效率问题，论文设计了硬件友好的实现方案。 #### 3.1 生产者–读者解耦计算被组织为两个分离阶段： - **生产者（Producer）**：继承底层循环混合器（如 Gated DeltaNet）的高效分块（chunkwise）核，按块处理循环更新，在锚点边界处生成状态检查点； - **读者（Reader）**：遵循 FlashAttention 的 I/O 感知原则，联合分块查询 token 与状态候选，复用候选块 across 查询块，并将路由分数计算、归一化与加权状态读入融合为流式归约（streaming reduction）。该调度避免了物化稠密的 token-to-candidate 路由矩阵，也避免了更大的矩阵值读出示张量，显著降低高带宽内存（HBM）流量。 #### 3.2 稀疏 Top-K 路由论文默认采用 **Top-4 稀疏路由**：仅对分数最高的 K 个候选执行昂贵的矩阵值状态读入。在 128K token 长度下，Top-4 路由相对于稠密路由： - 将端到端训练吞吐量提升逾一倍； - 将核心序列混合运算的运行时降低约一个数量级。这提供了**状态级稀疏性**（state-level sparsity）， analogous to 稀疏注意力中的 token-level 稀疏性，但操作对象是压缩后的循环记忆而非原始 token。 —- ### 4. 分阶段实证验证论文通过互补的两阶段实验验证上述方案的有效性： #### 4.1 小规模架构隔离验证（0.8B）在 50B token 的严格控制条件下，将 MARCH 应用于 Gated DeltaNet、Kimi Delta Attention 和 Gated DeltaNet-2 三种循环主干。结果表明： - 通用语言建模（8 项常识基准）优于所有循环基线，甚至略超全注意力对照； - 长上下文检索（LongBench、RULER NIAH）和长度外推（32K/64K，远超 16K 训练长度） consistently 提升； - 消融实验验证了路由维度 d_r 、空选项、锚点间隔 C 及稀疏路由设计的合理性。 #### 4.2 大规模持续训练与 Safety State 验证（4B 与 35B-A3B）基于 Qwen3.5 混合主干（GDN 与全注意力层交错）进行匹配的持续预训练（CPT）与监督微调（SFT）： - **通用能力**：Safin-1 在 10 项能力基准中的 7 项（4B）和 9 项（35B-A3B）上取得提升，尤其在 AIME 2025 数学推理上分别提升 +8.02 和 +8.22 分； - **Safety State 效果**：在冻结主干下，Safety State 将平均越狱攻击成功率（ASR）在 4B 上降低 42.3% （从 6.65 降至 3.84），在 35B-A3B 上降低 52.3% （从 5.89 降至 2.81）； - **安全–效用权衡**：与训练匹配的 rank-8 LoRA 对照相比，Safety State 在实现更低 ASR 的同时，引入的过度拒绝（XSTest ORR）显著更少（例如 35B-A3B 上 ORR 增加 2.00 分 vs. LoRA 的 10.00 分），且通用能力保持更一致。 —- ### 总结论文的解决方案可概括为：**通过 MARCH 架构将循环模型的状态轨迹转化为可内容寻址的动态记忆库，并在此统一接口上嵌入可学习的持久能力状态（以 Safety State 为实例），使安全性成为模型原生计算中可被选择性调用、测试时适配且即插即用的内在属性，同时通过稀疏路由与硬件感知实现保持长序列效率。** Q4: 论文做了哪些实验？论文中的实验分为**两个阶段**：第一阶段是在 **0.8B 参数规模**下对 MARCH 架构进行隔离验证；第二阶段是将 **Safin-1 扩展到 4B 和 35B-A3B 规模**，评估其在持续预训练与监督微调后的通用能力，并专门验证持久 Safety State 的安全特化效果。 —- ### 1. 小规模 MARCH 架构验证（0.8B）该阶段旨在隔离 MARCH 架构本身的贡献，在匹配的训练数据（50B token）、序列长度（16K）、优化协议下，从零开始预训练多个循环模型。 #### 1.1 基线模型与训练配置 - **循环基线**：Gated DeltaNet (GDN)、GDN w/ Log-Linear Attention、Kimi Delta Attention (KDA)、Gated DeltaNet-2 (GDN2)。 - **全注意力对照**：深度匹配（21 层，693M）与参数匹配（24 层，778M）的 Transformer。 - **MARCH 变体**：分别应用于 GDN、KDA、GDN2。 - 共享配置：隐藏维度 1,536，21 层， d_r=64 ，锚点间隔 C=512 。 #### 1.2 通用语言建模在 **8 个零样本常识推理基准**上评估，包括 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-Easy、ARC-Challenge、OpenBookQA 与 CommonsenseQA。结果显示 MARCH 在每个基准上均优于最强循环基线，平均从 40.1 提升至 41.5，且略超两个全注意力对照。 #### 1.3 长上下文与检索能力 - **长度外推与关联召回（RULER NIAH）**：评估 6 项 Needle-in-a-Haystack 任务（3 项单针、3 项多针）在 4K、8K、16K、32K、64K 上下文长度下的表现。所有模型仅在 16K 内训练，32K/64K 为零样本外推。MARCH 在 24 个设置中的 19 个优于最强循环基线，在多针任务和长距离外推上增益最显著。 - **长上下文理解（LongBench）**：覆盖单文档 QA、多文档 QA、摘要与少样本学习共 12 项任务。MARCH 将循环基线的平均从 11.9 提升至 14.9（+25%），在多文档 QA 和摘要上提升最大。 - **真实世界上下文内检索**：在 SQuAD、TriviaQA、SWDE、FDA、Natural Questions 和 DROP 上评估。MARCH 将最佳基线平均从 20.5 提升至 23.3（+14%）。 #### 1.4 架构消融实验 - **跨循环参数泛化**：在 GDN、KDA、GDN2 上应用 MARCH，验证其在 12 个主干–长度组合中的 11 个提升 NIAH 性能，同时保持训练困惑度与短上下文性能。 - **位置编码与长度外推**：在混合模型（3:1 循环-注意力比）中对比使用/不使用 RoPE。发现去除 RoPE 后，MARCH 在所有上下文长度（4K–64K）均受益，实现更平滑的长度外推；而 GDN 基线在外推改善的同时会损失近程检索性能。 - **锚点间隔 C **：在 256 至 2048 范围内变化。 C=512 取得最佳综合权衡；同时发现 C=512 的检查点可在推理时适配更密集的锚点（如 C=256 ）以提升性能，或采用更稀疏的布置以节省开销，甚至对训练时未见过的 Fenwick-tree 组织也具备一定迁移能力。 - **路由设计**：消融路由维度 d_r （64 vs 192）、稀疏 Top-4 路由、以及空选项（null option）。结果表明： - d_r=64 为最佳综合权衡； - Top-4 路由在 NIAH 上略低于稠密路由，但保留了大部分通用性能，是高效的精度-效率折中； - **去除空选项会在所有聚合指标上造成一致退化**，证明显式允许忽略无关历史状态的重要性。 #### 1.5 效率与可扩展性对比 FlashAttention-2、GDN、稠密 MARCH 与 Top-4 MARCH 的**训练吞吐量**和**核心序列混合运算前向-反向运行时**。在 **128K token** 长度下，Top-4 MARCH 相较稠密 MARCH： - 训练吞吐量提升逾一倍； - 核心运行时降低约一个数量级； - 且在该长度下吞吐量超过 FlashAttention-2。 —- ### 2. Safin-1 大规模实验（4B 与 35B-A3B）该阶段验证架构收益在更大规模下的保持性，并测试持久 Safety State 的特化能力。 #### 2.1 持续预训练（CPT）与监督微调（SFT）设置 - **初始化**：Qwen3.5-4B（稠密）与 Qwen3.5-35B-A3B（MoE）。 - **架构**：在主干 10–30 层中选取 16 个 GDN 层装备 MARCH，锚点间隔 C=512 ，采用 Top-4 稀疏路由。 - **训练**：匹配的数据混合、50B token CPT（序列长度 32K）+ 30B token SFT。 - **对照**：同一起始检查点、相同训练流程的 Qwen3.5 基线。 #### 2.2 通用能力与安全评估（Table 8）在 10 项能力基准与 5 项越狱基准 + XSTest 上评估： | 评估类别 | 具体基准 | |————-|————-| | 知识推理 | MMLU, MMLU-Pro, GPQA-Diamond | | 数学 | GSM8K, MATH, AIME 2025 (Avg@64) | | 指令遵循与长上下文 | IFEval, LongBench v2 | | 代码 | MBPP, HumanEval | | 安全鲁棒性（ASR ↓） | WildJailbreak, FORTRESS, StrongREJECT, Jailbreak-R1, JailbreakBench | | 过度拒绝（ORR ↓） | XSTest | **主要结果**： - **4B**：Safin-1 在 10 项能力基准中的 7 项上优于 Qwen3.5，平均 ASR 从 7.25 降至 6.65，ORR 基本不变（8.80 → 8.60）。 - **35B-A3B**：在 10 项能力基准中的 9 项上优于 Qwen3.5，AIME 2025 提升 8.22 分；平均 ASR 从 6.89 降至 5.89。 - 收益集中在**困难推理与竞赛级数学**，而经典基准（如 GSM8K、MATH）保持稳定。 #### 2.3 Safety State 特化实验（Table 9）在冻结 Safin-1 SFT 主干的前提下，仅训练持久 Safety State，并与**训练匹配的 rank-8 LoRA 对照**进行比较。 - **训练数据**：1,000 条 STAR-1 有害请求 + 915 条 STAR-benign 良性请求，每条构造 0、512、2,048 token 良性前缀的三种上下文变体，共 5,745 个训练样本。 - **评估维度**： 1. **越狱鲁棒性（ASR）**：5 项基准的平均与分项攻击成功率； 2. **过度拒绝（ORR）**：XSTest 上良性提示的拒绝率； 3. **能力保持**：MMLU-Pro、MATH (Minerva)、AIME 2025 (Avg@64)、MBPP。 **主要结果**： - **安全提升**：Safety State 在 4B 上降低平均 ASR 从 6.65 → 3.84（−42.3%），在 35B-A3B 上从 5.89 → 2.81（−52.3%）；LoRA 对照分别为 5.33 和 3.04。 - **过度拒绝权衡**：Safety State 的 ORR 增长远小于 LoRA。例如 35B-A3B 上，Safety State ORR 仅增加 2.00 分（17.60 → 19.60），而 LoRA 增加 10.00 分（至 27.60）。 - **能力保持**：在 4B 上，Safety State 在全部四项能力基准上均优于 LoRA，且与未适配基线差距在 2.60 分以内；在 35B-A3B 上，Safety State 在 MATH 和 AIME 上保持更好，LoRA 在 MMLU-Pro 和 MBPP 上略优。 —- ### 3. 实验总结 | 阶段 | Q5: 有什么可以进一步探索的点？基于论文第6节（Discussion and Conclusion）及实验局限性，以下是可以进一步探索的研究方向： —- ### 1. 状态存储与记忆管理的效率优化当前 MARCH 架构中的状态库随上下文长度线性增长，稀疏 Top- K 路由虽降低了**读取**计算开销，却并未减少**存储**开销。此外，固定间隔（如每 C=512 tokens）创建锚点可能保留冗余检查点。 - **自适应锚点机制**：开发基于内容重要性或信息增益的自适应锚点创建、合并与淘汰策略，避免在信息密度低的区域浪费状态存储。 - **状态压缩与量化**：探索对历史状态锚点的低秩近似、量化或分层摘要，以进一步压缩内存占用，使其在极长上下文（如百万级 tokens）下仍具备实用性。 —- ### 2. 安全评估的广度与深度现有安全性研究存在若干边界： - **攻击面扩展**：当前基准主要集中在英文场景，未来需覆盖**多语言攻击**、**自适应对抗攻击**（adaptive attacks）以及针对路由路径本身的**状态篡改**（state tampering）或持久状态移除/替换攻击。 - **完整性保护**：Safety State 的“可拆卸性”要求建立相应的完整性机制，确保恶意行为体无法轻易绕过或抑制该状态。如何密码学或架构层面保护状态库免受对抗性抑制，是一个未解决的工程与安全交叉问题。 - **更细粒度的安全–效用权衡**：在更大规模或更复杂的能力维度上，进一步降低 35B-A3B 模型在知识（MMLU-Pro）和代码（MBPP）上的任务依赖性能力损失。 —- ### 3. 多持久状态的共存与可组合性论文指出，同一接口理论上可容纳多个持久能力状态，但这一点尚未验证： - **状态间干扰**：当多个持久状态（例如安全状态、工具调用状态、领域特化状态）同时驻留于路由库时，路由器能否在不同上下文下正确选择并组合它们，而不会产生**路由冲突**或**能力干扰**（capability interference）。 - **组合机制**：需要研究状态间的可交换性、叠加性，以及是否存在“状态叠加”导致的性能退化或涌现行为。 —- ### 4. 扩展至更广泛的模型家族与训练范式 - **模型架构泛化**：当前大规模证据仅限于 Qwen3.5 的稠密 4B 与 MoE 35B-A3B 配置及单一的 CPT–SFT 流程。需在更多基础架构（如纯 Transformer、其他线性注意力或状态空间模型）和不同训练 pipeline（如强化学习、在线对齐）上验证 MARCH 与 Safety State 的普适性。 - **在线与持续学习**：探索在模型持续部署过程中，如何在线更新或微调持久状态，而无需重新触发完整的预训练或后训练流程。 —- ### 5. 替代与互补架构路径论文强调，Safin-1 仅代表“Safety from Within”的**初步架构探索**。未来亟需研究： - **其他原生计算范式**：除了基于循环状态路由的 MARCH，是否存在其他使安全能力成为模型**原生可表示、可维护、可选择性调用**的架构？例如，基于可微记忆的图神经网络、或具有内置安全偏置的元学习机制。 - **与外部防护的协同**：探讨“内在安全状态”与“外部防护栏”如何形成互补的纵深防御体系，而非互斥方案。 —- ### 6. 持久能力状态的应用扩展 Safety State 只是持久能力状态接口的第一个实例。该框架可扩展至： - **领域特化**：为法律、医学、科学推理等领域学习专门的持久状态，实现同一主干上的模块化专家化。 - **个性化与用户对齐**：为不同用户或组织学习定制化的行为约束或偏好状态，在共享主干基础上实现轻量级个性化。 - **工具与执行边界**：通过持久状态编码对特定工具使用的约束或权限边界，增强智能体的可控性。 Q6: 总结一下论文的主要内容该论文介绍了 **Safin-1**，一个旨在探索**模型内在状态（memory-native）作为长期记忆与持久化安全能力载体**的基础模型家族。以下从研究动机、核心方法、实验验证与结论四个层面进行总结。 —- ### 1. 研究动机：Safety from Within 长期复杂任务要求基础模型在扩展交互中保持信息连续性，并自适应地调用行为约束。传统做法通常将二者割裂： - **上下文记忆**依赖 token 级的 Key–Value 缓存或单一循环状态； - **安全等持久能力**则通过外部防护、后对齐监督微调（SFT）或低秩适配（LoRA）施加。这种分离导致安全能力难以在测试时灵活维护，且易与通用能力产生冲突（如过度拒绝）。论文由此提出 **Safety from Within** 的核心问题：**安全能力能否作为模型原生计算（native computation）的一部分，通过模型自身的状态系统被表示、检索与演化，而非仅作为外部约束？** —- ### 2. 核心方法：MARCH 架构与持久能力状态 #### 2.1 MARCH（Memory-Anchor Routing across Context History） Safin-1 的底层架构 MARCH 通过以下机制将循环状态的瞬态轨迹转化为可寻址、可路由的内部记忆： - **上下文派生状态锚点（Context-Derived State Anchors）**：在文本序列的固定边界（例如每 C=512 tokens）处，对累积循环状态 S^((ell))(b_m) 创建检查点，形成矩阵值的状态锚点：

A^((m,ell)) = S^((ell))(b_m) ∈ R^(d_v × d_k)
循环不在边界处重置，因此锚点编码完整前缀信息。 - **内容条件路由（Content-Routed Retrieval）**：每个锚点生成状态感知的路由键 kappa_j ，文本 token 的路由查询 rho_t 与之匹配，通过 softmax 计算检索权重 π(t,j) 。系统包含一个可学习的**空选项（null option）**，允许模型在无需历史记忆时主动绕过检索。 - **状态融合**：检索到的历史状态与当前循环路径通过残差加法融合：
ot = S_t q_t + ∑(j ∈ C) π(t,j) A^((j)) q_t
该设计保留原始循环更新不变，将历史检索作为辅助分支。 - **稀疏 Top- K 路由**：默认仅读取分数最高的 4 个候选状态，显著降低长序列开销。 #### 2.2 持久能力状态（Persistent Capability States） MARCH 的路由状态库不仅容纳动态锚点，还可托管**可学习的持久状态**。论文以安全性为例，提出 **Safety State**： - 在冻结语言模型主干的前提下，仅将安全状态 P^((ell))(safe)_ell 作为持久候选插入路由库； - 通过有害与良性示例（STAR-1 / STAR-benign）进行训练，使路由器根据当前 token 和上下文动态决定其贡献； - 学习完成后可**附加或移除**，无需修改共享主干，实现测试时受控特化（test-time adaptation）。 —- ### 3. 实验验证 #### 3.1 小规模架构隔离实验（0.8B）在严格匹配的 50B token 预训练条件下，将 MARCH 应用于 Gated DeltaNet (GDN)、Kimi Delta Attention (KDA) 和 Gated DeltaNet-2 (GDN2)： - **通用语言建模**：在 8 项零样本常识基准上，MARCH 平均 41.5，优于所有循环基线（40.0–40.1）及全注意力对照。 - **长上下文与检索**：LongBench 平均提升 +25% ，RULER NIAH 在 24 个设置中的 19 个超越最强基线，且在 **32K/64K 实现零样本长度外推**。 - **真实世界检索**：在 SQuAD、SWDE、FDA 等 6 项数据集上平均提升 +14% 。 - **消融研究**：验证了锚点间隔 C 、路由维度 d_r 、空选项必要性及稀疏 Top-4 路由的效率–精度权衡。 #### 3.2 大规模持续训练（4B 与 35B-A3B）基于 Qwen3.5 混合主干（GDN 与全注意力交错）进行匹配的持续预训练与监督微调： - **通用能力**：Safin-1 在 10 项能力基准中的 7 项（4B）和 9 项（35B-A3B）上提升。AIME 2025 (Avg@64) 分别提升 +8.02 和 +8.22 分，而 GSM8K/MATH 基本稳定。 - **安全鲁棒性**：平均越狱攻击成功率（ASR）在 4B 上从 7.25 降至 6.65，在 35B-A3B 上从 6.89 降至 5.89。 #### 3.3 Safety State 特化实验在冻结的 Safin-1 SFT 检查点上，对比持久 Safety State 与训练匹配的 rank-8 LoRA： | 指标 | 4B 效果 | 35B-A3B 效果 | |———|————-|———————| | **ASR 降低** | 6.65 → 3.84（−42.3%） | 5.89 → 2.81（−52.3%） | | **ORR 增加** | +0.40 | +2.00 | | **LoRA 对照 ORR** | +5.00 | +10.00 | Safety State 在实现更低 ASR 的同时，引入的过度拒绝（XSTest ORR）显著少于 LoRA，且通用能力保持更一致。 —- ### 4. 局限与未来方向论文明确指出当前工作仅为初步探索，存在以下局限与开放问题： - **存储效率**：状态库随上下文长度线性增长，固定间隔锚点可能冗余；需研究自适应创建、合并与淘汰机制。 - **评估边界**：大规模证据限于 Qwen3.5 的两种配置和单一训练流程；安全评估未覆盖自适应、多语言攻击及状态篡改。 - **多状态组合**：多个持久状态能否在路由库中共存与可靠组合，尚待验证。 - **架构多样性**：需探索替代或互补架构，以进一步实现安全能力的原生可表示、可维护与可选择性调用。 —- ### 5. 结论 Safin-1 通过 MARCH 架构展示了模型状态的双重角色：**既是可寻址的上下文记忆基质，也是持久化能力（如安全）的适配接口**。受控的 0.8B 实验与匹配的 4B/35B-A3B 扩展实验表明，状态路由能一致地提升长程推理与检索能力；而 Safety State 则初步验证了 **Safety from Within** 的可行性——将安全特化置于模型原生状态系统内部，在增强越狱防御的同时，保持了优于传统参数高效微调（LoRA）的安全–效用权衡。该工作为“安全作为模型内在状态属性”提供了具体的架构级证据，并开辟了后续在记忆管理、状态组合与替代架构上的研究议程。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ming Zhang,Kaisen Yang,Shu Yu,Ermo Hua,Zhekai Chen,Cheng Jin,Jingnan Zheng,Yi Zhang,Zhongtian Ma,Jiawei Zhou,Sirui Chen,Qiaosheng Zhang,Xiang Wang,Ning Ding,Xia Hu,Bowen Zhou,Youbang Sun,Chaochao Lu

Categories:

PDF URL: https://arxiv.org/pdf/2609.00092.pdf

Arxiv URL: https://arxiv.org/abs/2609.00092

Arxiv ID: 2609.00092

CoolPaper URL: https://papers.cool/arxiv/2609.00092

Published: 2026-09-03T01:26:34.455Z

Updated: 2026-09-03T01:26:34.455Z

12. AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

Abstract:LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.

中文摘要

摘要：LLM（大语言模型）评审员被广泛用于评估自主工具调用系统，但它们在结构化、依赖驱动的工作流上的可靠性仍 largely 未被检验。我们提出了 AgentJudgeBench，这是第一个系统研究 LLM 作为评审员在工作流 DAG（有向无环图）上对自主工具调用的可靠性的基准测试，这与更广泛的 LLM 作为评审员进行开放式文本或偏好评估任务不同。该基准测试包含 3,808 个实例，涵盖六种 DAG 拓扑结构和三个难度级别，并使用五个生成器（3B-70B 开放权重模型和 GPT-5.4）及六个评审员（从 20B 到前沿规模）在有与没有真实答案的配对条件下进行评估。评审员的一致性随任务难度单调下降，没有真实答案时下降速度快 1.5 倍，对于没有真实答案的困难查询，所有六个评审员无论规模如何都收敛于狭窄的 77-82% 区间，显示了主要由任务难度驱动的结构性上限，尽管对于较弱生成器，上限的高度部分依赖于提示，而仅靠模型容量无法克服。接触真实答案并非均为有利：它降低了 GPT-5.4（1.5 个百分点）和 Gemini-2.5-Pro（3.9 个百分点）的一致性，这与过度锚定现象一致。在缓解策略中，连锁思维推理和评审员温度几乎没有影响，而结构化评估标准可将一致性提高最多 6.5 个百分点，但并不能在评审员-生成器配对之间均匀推广。获取真实答案时，QwQ-32B 最符合程序化参考，而人类验证研究发现 GPT-OSS-120B 是最与人类一致的评审员；没有真实答案时，前沿评审员仅在共享上限内略有领先。这些结果揭示了当前 LLM 评审员的基本局限性，并为自主系统中的可靠评估提供了实用指南。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*大语言模型（LLM）作为评判者（judge）在评估agentic工具调用（tool-calling）系统时的可靠性校准问题\*\*，尤其针对结构化、依赖驱动的多步工作流场景。具体而言，其试图解决的核心问题包括： 1. \*\*评估空白\*\*：现有LLM-as-a-judge研究主要集中于开放式文本生成或偏好排序任务，对于需要严格验证工具选择、参数结构、调用顺序和查询覆盖率的agentic工作流，其可靠性尚未被系统刻画。 2. \*\*评估粒度不足\*\*：现有工具调用benchmark通常仅报告单一的聚合通过率（pass-rate agreement），缺乏对任务结构（如DAG拓扑）、难度层级以及ground-truth可用性的控制与分解，导致无法识别judge在何种条件下失效。 3. \*\*实际部署中的认知偏差\*\*：在无ground-truth的真实部署场景中，judge必须仅凭用户查询和工具模式推断正确性，这是一个根本更难的推理问题；现有工作未对此进行paired with-GT/without-GT的系统性对比，因此无法量化ground-truth暴露带来的“锚定效应”（over-anchoring）等偏差。 4. \*\*配置与选择的实证指导缺失\*\*：从业者目前缺乏关于如何选择judge模型、是否提供ground-truth、是否使用链式思考（CoT）、温度设置以及prompt格式等关键配置决策的实证依据。为解决上述问题，该研究构建了AgentJudgeBench基准，通过3,808条记录、六种DAG拓扑、三种难度层级、五种生成器和六种judge的配对实验，系统量化了LLM judge在结构化学术任务上的对齐度（alignment）及其失效模式，并为可靠的agentic系统评估提供了可操作的实践指南。 Q2: 有哪些相关研究？根据论文第2节（Related Work）及附录V的综述，相关研究可划分为以下三个领域： ### 1. 智能体数据与工具调用基准（Agentic Data & Tool-Calling Benchmarks） | 研究 | 核心内容 | 与本文的关系 | |------|---------|-------------| | \*\*BFCL\*\* (Patil et al., 2025) | 单轮函数调用排行榜，基于AST的确定性评分 | 本文采用其数据格式，但扩展至多步DAG工作流与难度分层 | | \*\*τ-bench\*\* (Yao et al., 2024) | 基于模拟用户的工具-智能体-用户交互，提出pass@k可靠性指标 | 评估智能体而非评判者本身 | | \*\*FuncBenchGen\*\* (Maekawa et al., 2025) | 将多步调用建模为DAG遍历，复杂度可控 | 结构上最相近，但目的为训练/评估生成器，而非评判者可靠性 | | \*\*TaskBench\*\* (Shen et al., 2024) | 工具依赖图框架，聚焦任务分解质量 | 关注分解而非评判对齐度 | | \*\*Mind2Web\*\* (Deng et al., 2023) | 真实网站上的人类标注用户轨迹 | 属于轨迹标注类基准 | | \*\*WebArena\*\* (Zhou et al., 2024)、\*\*WorkArena\*\* (Drouin et al., 2024)、\*\*AppWorld\*\* (Trivedi et al., 2024) | 基于真实或虚拟环境的执行反馈评估 | 依赖环境执行而非结构化静态评分 | | \*\*AgentTrek\*\* (Xu et al., 2025a) | 将网络教程转换为可执行智能体轨迹 | 面向数据合成 | | \*\*Synthetic pipelines\*\* (Wang et al., 2023b; Xu et al., 2025b; Cui et al., 2024) | 合成数据生成 | 面向模型训练而非评估基准 | ### 2. LLM 作为评判者（LLM-as-Judge） | 研究 | 核心内容 | 与本文的关系 | |------|---------|-------------| | \*\*MT-Bench\*\* (Zheng et al., 2023) | 确立LLM-as-judge范式，识别位置偏好、冗长偏见与自我增强偏差 | 针对开放域对话，本文则针对结构化工具调用 | | \*\*JudgeBench\*\* (Tan et al., 2025) | 在可验证的困难响应对上评估评判者 | 面向文本质量而非工具调用正确性 | | \*\*Arena-Hard-Auto\*\* (Li et al., 2024b) | 自动化成对评判评估，高人类一致性 | 同样聚焦偏好排序而非结构正确性 | | \*\*JudgeLM\*\* (Zhu et al., 2023) | 微调7B–33B评判模型，识别位置、知识与格式偏见 | 其偏见分类学启发了本文的prompt格式消融 | | \*\*Prometheus 2\*\* (Kim et al., 2024) | 开源权重、基于评分细则的直接评估模型 | 本文将其作为judge-specialised基线，但发现其表现接近随机 | | \*\*PandaLM\*\* (Wang et al., 2024)、\*\*Auto-J\*\* (Li et al., 2024a) | 专门训练的评判模型 | 面向指令微调优化 | | \*\*Jury-of-judges\*\* (Verga et al., 2024) | 集成多模型评判以减少个体偏见 | 本文验证了在结构化任务上，集成仍无法突破共享天花板 | ### 3. 用于工具调用评估的 LLM 评判者（LLM Judges for Tool-Calling） | 研究 | 核心内容 | 与本文的关系 | |------|---------|-------------| | \*\*ToolLLM / ToolEval\*\* (Qin et al., 2024) | 使用ChatGPT计算API轨迹通过率，报告87.1%人类一致性 | 仅报告聚合指标，无难度或GT条件变化 | | \*\*StableToolBench\*\* (Guo et al., 2024) | GPT-4-turbo评估虚拟化API环境 | 作为实现细节而非研究对象 | | \*\*MCP-AgentBench\*\* (Guo et al., 2025) | 混合规则与LLM评判的任务完成评分 | 同样未系统研究评判者可靠性 | | \*\*GeoBenchX\*\* (Krechetova and Kochedykov, 2025) | 三评判者小组，达成88–96%一致性 | 小样本、单点报告 | | \*\*Agent-as-a-Judge\*\* (Zhuge et al., 2024) | 智能体评估智能体的框架 | 未分解指标或控制难度 | | \*\*Auto-Eval Judge\*\* (Bhonsle et al., 2025) | 模块化检查清单式评估框架 | 未进行paired with/without-GT分析 | | \*\*ToolSandbox\*\* (Lu et al., 2024) | 质疑LLM评判者可靠性，但选择以程序化评分替代 | 本文采取互补立场：保留评判者范式并系统刻画其失效模式 | ### 关键区分点现有工作（无论通用文本评判还是工具调用评判）均存在以下至少一项缺失： - \*\*缺乏按指标分解\*\*：未将正确性拆分为工具选择、参数结构、序列准确性、查询覆盖率四个独立维度； - \*\*缺乏难度控制\*\*：未系统变化查询难度以观测可靠性退化； - \*\*缺乏GT条件对比\*\*：未进行paired with-GT/without-GT实验，无法量化ground-truth暴露带来的锚定偏差； - \*\*缺乏确定性参考\*\*：未使用可扩展的程序化评分器作为无偏参考信号。 AgentJudgeBench首次将上述四个维度整合，填补了agentic工具调用场景下LLM评判者可靠性系统研究的空白。 Q3: 论文如何解决这个问题？论文通过构建 \*\*AgentJudgeBench\*\* 基准测试与配套评估协议，从数据生成、参考信号设计、配对实验到多维消融，系统性地量化了 LLM 评判者在 agentic 工具调用场景中的可靠性边界。具体解决路径可分为以下六个层面： --- ### 1. 构建可控的合成数据集由于真实企业轨迹难以获取可验证的参考执行路径且无法独立控制结构变量，研究采用合成数据管道生成 \*\*3,808 条 BFCL 风格记录\*\*： - \*\*领域与规模\*\*：覆盖 15 个企业领域，每条记录暴露 8–19 个工具，期望调用序列长度为 2–5。 - \*\*DAG 拓扑控制\*\*：显式标注六种常见依赖模式——线性（linear）、扇出（fan-out）、扇入（fan-in）、菱形（diamond）、可选增强（optional enrichment）与类循环（loop-like）——以隔离结构复杂度对评判难度的影响。 - \*\*三级难度分层\*\*：每条记录通过查询重写生成 easy、medium、hard 三个变体，在保持 ground-truth（GT）轨迹不变的前提下递增查询歧义性。元评判验证表明，medium→hard 的严格加难在 \*\*93.9%\*\* 的记录上获得一致认可。 - \*\*质量门控\*\*：GT 轨迹通过 JSON Schema 验证、参数类型检查与轨迹一致性校验；另经 120 条 hard 记录的人类标注验证，程序化参考与人工判断的度量级一致率达 \*\*92.7%\*\*。 --- ### 2. 建立确定性程序化参考评分体系为避免“用 LLM 评判 LLM”导致的循环可靠性问题，研究以\*\*基于规则的程序化评判者\*\*作为可扩展、可复现的参考信号。其对每条记录输出四个独立的 $

0,1
分数： - 工具选择准确性 p_{tool}$：度量预测工具集合与期望集合的对称差异：
p_(tool) = max(0, 1 - (|G setminus E| + |E setminus G|) / (max(|E|, 1)))

**序列准确性** p(seq) ：逐位置比较工具标识符的一致性：
p(seq) = (1) / (max(|E|, 1)) ∑_(i=1)^(min(|G|,|E|)) I[name(g_i) = name(e_i)]
**参数结构准确性** p_(param) ：基于参数键集合（而非取值）的匹配，允许 0.5 的部分 credit：
s(g) = 1.0 & if A_g = A_g^ 0.5 & if A_g^ ⊂eq A_g and A_g setminus A_g^ = ∅ 0.0 & if A_g^ not⊂eq A_g or A_g^* undefined

p(param) = ∑(g ∈ G) s(g)max(|G|, 1)

**查询覆盖率** p(cov) ：期望工具被预测覆盖的比例：
p(cov) = 1 & if E = ∅ 0 & if G ∩ E = ∅ |G ∩ E|/|E| & otherwise
对齐度（alignment）通过评判者输出 ell(j,r,c)^m ∈ 0, 0.5, 1 与程序化参考的逐度量绝对差定义：
μ(j,r,c)^m = 1 - |pr^m - ell(j,r,c)^m|

align(j,g,d,c) = (100) / (N(g,d)) ∑(r=1)^(N(g,d)) μ(j,r,c)
—- ### 3. 设计配对 With-GT / Without-GT 评估协议为模拟真实部署场景（无参考轨迹）与理想审计场景（有参考轨迹），研究对每条记录实施**配对条件评估**： - **With-GT**：提示词向评判者暴露 GT 工具调用序列作为参考块。 - **Without-GT**：提示词完全移除 GT，要求评判者仅依据用户查询与工具模式推断正确性。通过比较两种条件下的对齐度差异（GT lift），可显式量化 ground-truth 暴露带来的**过度锚定（over-anchoring）**效应。 —- ### 4. 实施全因子实验设计实验采用完全交叉的因子设计： - **生成器** g ∈ G （5 个）：SmolLM3-3B、Llama-3.1-8B、Qwen3-32B、Llama-3.3-70B、GPT-5.4。 - **评判者** j ∈ J （6 个主评判者 + Prometheus-2 基线）：覆盖 20B 开源至前沿闭源模型。 - **难度** d ∈ D ：easy / medium / hard。每个 (g, j, d) 单元格均在两种 GT 条件下运行，共产生 **90 个因子单元格**与 **321,648 次独立评估**，支撑统计稳健的 bootstrap 置信区间与细粒度失效模式分析。 —- ### 5. 围绕六个研究问题（RQ）展开系统性分析论文将可靠性问题解构为六个可检验的子问题： - **RQ1**： hardest 的度量与 DAG 拓扑是什么？（序列准确性 vs. 扇入/类循环） - **RQ2**：评判者间一致性如何？（Cohen’s kappa ≈ 0.42 with GT） - **RQ3**： hard 无 GT 时对齐为何收敛至 77–82%？（任务级天花板 vs. 提示默认偏差） - **RQ4**：评判温度是否影响对齐？（ Delta ≤ 0.6 pp，可忽略） - **RQ5**：思维链（CoT）推理是否改善对齐？（ Delta ≤ 0.3 pp，可忽略） - **RQ6**：提示输出格式是否影响对齐？（结构化 JSON 细则带来 +4.8–+6.5 pp，但存在配对依赖性） —- ### 6. 关键控制实验与消融验证为区分不同失效机制，论文引入针对性控制： - **C2 消融（0.5-default 提示）**：将无 GT 提示的默认评分从 1.0 改为 0.5。对强生成器对齐度仅提升 ≤ 1.0 pp，确认 hard 无 GT 天花板主要由**任务难度**驱动；对弱生成器提升 4.1–5.6 pp，揭示提示默认偏差对低质量输出的影响。 - **C3 污染 GT 控制（Corrupted-GT）**：将 GT 替换为来自不同记录的随机错误轨迹。Gemini-2.5-Pro 在污染 GT 下与标准 GT 对齐度几乎相同，而 QwQ-32B 退化为无 GT 水平，直接验证部分前沿模型存在**结构性过度锚定**。 - **温度与格式消融**：在第二组（评判者，生成器）配对上复现关键发现，确认温度不敏感性，同时表明提示格式优势存在生成器/评判者依赖性。 —- 通过上述路径，论文不仅首次系统刻画了 LLM 评判者在 agentic 工具调用场景中的可靠性边界（包括任务难度天花板、GT 锚定偏差、评判者间结构性共识不足），还提供了面向实际部署的决策指南（如：有 GT 时优选 QwQ-32B，无 GT 时前沿模型优势有限，结构化评分细则因场景而异等）。 Q4: 论文做了哪些实验？论文围绕 **AgentJudgeBench** 基准，设计并执行了一套覆盖全因子网格、多维度分解与严格控制的实验体系，共完成 **321,648 次独立评判调用**。实验可归纳为以下五个层面： —- ### 1. 主实验：全因子网格对齐度评估（§4.1–4.2）研究构建了完全交叉的因子设计，系统测量 LLM 评判者与程序化参考之间的对齐度： - **因子一：生成器** g ∈ G （5 个）：SmolLM3-3B、Llama-3.1-8B、Qwen3-32B、Llama-3.3-70B、GPT-5.4。 - **因子二：评判者** j ∈ J （6 个主评判者 + Prometheus-2 基线）：GPT-OSS-20B、QwQ-32B、GPT-OSS-120B、Claude Sonnet 4.5、Gemini-2.5-Pro、GPT-5.4。 - **因子三：难度** d ∈ easy, medium, hard 。 - **条件**：paired with-GT / without-GT。共计 **90 个因子单元格**，每个单元格包含 N_(g,d) ≈ 3,600 – 3,800 条记录。核心因变量为对齐度百分比：

align(j,g,d,c) = (100) / (N(g,d)) ∑(r=1)^(N(g,d)) μ(j,r,c)
以及 GT 提升值 lift(j) = align(GT)(j) - align(without GT)(j) 。 —- ### 2. 核心发现验证实验（§4.2）基于全因子网格，论文验证了三项核心发现： **Finding 1：单调难度退化** - 对所有 30 个（生成器，评判者）配对，对齐度从 easy 到 hard 严格单调下降。 - Without-GT 条件下的退化斜率约为 with-GT 的 **1.5 倍**。 - Hard without-GT 条件下，六种评判者收敛至 **77–82%** 的狭窄区间，揭示任务级天花板。 **Finding 2：Ground-truth 暴露的非单调效益** - 计算每位评判者的 lift(j) ：QwQ-32B 与 GPT-OSS-120B 为正；GPT-5.4（ -1.5 pp）与 Gemini-2.5-Pro（ -3.9 pp）为负，表明存在**过度锚定（over-anchoring）**。 - **C3 污染 GT 控制实验**（附录 J，Table 1）：将参考轨迹替换为来自不同记录的错误 GT。Gemini-2.5-Pro 在污染 GT 下与标准 GT 对齐度几乎一致（差异 ≤ 1.8 pp），而 QwQ-32B 立即退化为 without-GT 水平（差异 ≤ 0.2 pp），验证了其锚定机制的差异。 **Finding 3：最优评判者依赖配置** - 在 with-GT 条件下，QwQ-32B 在 15 个（生成器，难度）单元格中 10 次领先。 - 在 without-GT 条件下，前沿模型（Gemini-2.5-Pro、GPT-5.4）仅 narrowly 领先。 —- ### 3. 六维研究问题（RQ1–RQ6）分解实验（§4.2） | 研究问题 | 实验设计 | 关键结果 | |————-|————-|————-| | **RQ1**： hardest 的度量与 DAG 拓扑？ | 将 μ(j,r,c) 分解至四个独立指标（tool / param / seq / cov），并按六种 DAG 拓扑聚合 | With-GT 时**序列准确性（seq）**最难（极差 22 pp）；without-GT 时各指标压缩至 ≤ 3 pp 区间。拓扑上 fan-out 最易，fan-in / loop-like 最难（Figure 3, Table 28） | | **RQ2**：评判者间一致性？ | 两两计算精确一致率与 Cohen’s kappa | With-GT 平均一致率 79.1%（ kappa=0.419 ）；without-GT 为 92.6%（ kappa=0.559 ），但后者反映的是提示驱动的压缩而非真正共识（Table 3） | | **RQ3**： hard without-GT 为何收敛？ | 分析 per-metric 压缩模式 + **C2 消融（0.5-default 提示）**：将 without-GT 提示的默认评分从 1.0 改为 0.5 | 对强生成器（Llama-3.3-70B、Qwen3-32B、GPT-5.4），对齐度仅提升 ≤ **1.0 pp**，确认任务难度是主要驱动；对弱生成器（Llama-3.1-8B、SmolLM3-3B）提升 **4.1–5.6 pp**，表明提示默认偏差对低质量输出有显著影响（Table 4） | | **RQ4**：评判温度是否影响对齐？ | 对 Qwen3-32B × Llama-3.3-70B 及 GPT-OSS-120B × Llama-3.1-8B，在 T ∈ 0.3, 0.7, 1.0 下评估 | 所有（难度，条件）切片上的最大扩散 ≤ **0.6 pp**（首轮）与 ≤ **0.25 pp**（复现），温度效应可忽略（Figure 4, Table 25, 27） | | **RQ5**：CoT 推理是否改善对齐？ | 对 QwQ-32B，在 thinking-on / thinking-off 两种模式下评估 4 个生成器 × 3 难度 × 2 条件 | 24 个配对单元格的均值差异为 **+0.11 pp**，最大单元格差异 **0.3 pp**，CoT 无实质增益（Table 5） | | **RQ6**：提示输出格式是否影响对齐？ | 对比结构化 JSON 评分细则与自由文本（free-form）提示，在 Qwen3-32B × Llama-3.3-70B 及 QwQ-32B × SmolLM3-3B 上测试 | 首轮配对中结构化格式提升 **+4.8–+6.5 pp**（with-GT）；但第二配对在 hard 难度上效应逆转（ -0.8 pp），表明该效应为评判者/生成器依赖型，非普适主导杠杆（Figure 5, Table 31） | —- ### 4. 评分尺度与集成实验（附录 T） - **二元 vs. 三元评分尺度消融**：将 0, 0.5, 1 坍缩为二元（0.5 按程序化参考方向重映射为 0 或 1）。发现高 0.5 比率的评判者（GPT-5.4：28.2%；GPT-OSS-20B：26.5%）获得系统性优势（+11.9–+13.0 pp），标准与二元排名 Spearman rho = 0.03 ，几乎不相关。这证明 0.5 分承载了方向性不确定性信息，不应丢弃（Table 29）。 - **软陪审团（soft jury）**：六评判者集成在 hard with-GT 下达到 82.5%，与最优个体（GPT-5.4，79.8%–82.5% 范围内）持平，未超越，表明失败模式具有跨模型结构性相关性。 —- ### 5. 验证与稳健性实验 - **人类验证研究（附录 G）**：对 120 条 hard 记录（六种拓扑各 20 条，覆盖所有不完美预测），单标注员独立验证程序化评分。度量级一致率达 **92.7%**，其中参数结构最低（82.5%，主要因程序化 scorer 惩罚 schema-valid 的额外键），序列准确性（97.5%）与查询覆盖率（98.3%）接近完美。该验证支持程序化参考的有效性边界。 - **GPT-5.4 自偏好检查（附录 O）**：利用既有网格数据，对比 GPT-5.4 作为评判者评估自身生成 vs. 其他生成时的偏差。聚合偏差（+0.012）处于跨生成器范围内，但在**序列准确性**上出现 +0.172 的局部自偏信号，被报告为未隔离的相关性发现。 - **重写验证（附录 N）**：对 198 个 triplet（33 × 6 拓扑），使用 Claude Sonnet 4.5、GPT-5.4、Gemini-2.5-Pro 作为元评判者，验证难度重写是否保留任务与严格加难。Hard strictly harder than Q5: 有什么可以进一步探索的点？基于论文 Limitations 及 Extended Limitations Discussion（附录 B）中的分析，以下方向具有明确的拓展价值： —- ### 1. 评判失效模式向训练时风险的迁移论文明确将此项列为“具体且动机充分”的未来工作。当前研究仅刻画了**评估时**的失效模式（如 GT 过度锚定、无 GT verdict 压缩天花板、跨评判者结构性共识不足），但尚未验证这些偏差在作为**训练信号**（例如 RLHF/DPO 中的奖励模型、模型选择门控）时是否会放大： - **GT 锚定偏差**：若将参考轨迹输入奖励模型，可能驱动智能体模仿表面形式而非真正纠正缺失步骤； - **无 GT 压缩天花板**：在困难查询上供给近似恒定的奖励，会削弱梯度信号，恰好阻碍智能体最需要纠正的场景； - **跨评判者相关失效**：集成当前六个评判者无法缓解该风险，因为它们在相同记录上因相同结构原因而共同失败。直接验证需要在大规模工具调用数据上，以受控的评判者偏差条件训练智能体，并测量其泛化性能。 —- ### 2. 程序性参考信号的语义增强当前程序化评分器基于严格结构匹配，与人类判断在参数结构（82.5% 一致率）和工具选择上存在系统性分歧： - **Schema-aware 参数等价**：当前规则对 schema-valid 的额外参数键（extra keys）施加 0.5 惩罚，而人类标注者通常接受。未来可构建基于 JSON Schema 的等价性判断，仅当额外键违反 schema 时才扣分。 - **工具冗余与功能等价**：当前评分器不建模工具冗余（例如用专用聚合工具 vs. 组合两个简单工具达成等价结果）。需开发工具语义等价图或基于描述嵌入的替换检测机制。 - **多注释者人类共识验证**：当前 120 记录人类研究为单注释员设计，未来需收集多注释员独立判断以计算人类间一致性，并据此校准程序化评分器的“黄金标准”边界。 —- ### 3. 从合成数据到真实企业轨迹的验证论文采用合成数据以保证每记录可验证的参考轨迹与结构变量的独立控制，但承认存在**领域漂移（domain drift）**风险： - 在可获取真实内部工具模式与重放环境的企业系统中，对比合成记录与真实日志上的评判者失效模式分布； - 验证 headline 发现（如困难无 GT 天花板、序列准确性作为最难维度）是否迁移至真实多步工作流； - 探索交互式多轮执行（论文当前限定为单轮、无状态规划），这是真实 agentic 系统的常见部署形态。 —- ### 4. 专门化评判者模型的设计与训练论文仅引入 Prometheus-2 作为专门化评判者基线，发现其表现与通用模型完全脱簇（低 20–30 pp，接近随机）。这暗示： - 需要针对**结构化工具调用**微调专门的评判者（类似 JudgeLM 但面向 {0, 0.5, 1} 离散 verdict 空间与 DAG 依赖推理）； - 探索在合成 agentic 数据上蒸馏程序化评分器信号，训练开源尺度的专用评判模型，以在无 GT 场景下突破当前 77–82% 的天花板； - 研究此类专门模型是否保留过度锚定偏差，或因其训练目标而展现出不同的失效拓扑。 —- ### 5. 消融实验的全网格扩展与更精细的配置搜索当前 RQ4（温度）与 RQ6（提示格式）的二次验证仅在第二组（评判者, 生成器）配对上完成： - 在完整的 6 × 5 评判者×生成器网格上运行温度和提示格式消融，以量化交互效应； - 系统搜索其他提示变体（如 few-shot 示例、动态 rubric 选择、不同默认分数基线）在困难无 GT 场景下的影响，特别是对于弱生成器（当前显示 +4.1–+5.6 pp 的敏感性）； - 探索少样本上下文学习（in-context exemplars）对评判者结构对齐度的影响，论文当前为零样本设定。 —- ### 6. 难度分层与重写管道的精细化当前 easy→medium 的严格加难仅在 58.1% 记录上获得元评判者一致认可，而 medium→hard 达 93.9%： - 改进查询重写策略（如引入更激进的指称消歧、意图分解、条件分支隐藏），使 medium 成为真正独立的校准层级而非稳健性检查； - 探索超出三级的连续难度谱系，以建立难度与评判者对难度更细粒度的预测关系； - 引入基于程序化评分器预测难度的自适应机制，而非仅依赖静态重写。 —- ### 7. 动态与更复杂的 DAG 模式论文覆盖六种静态拓扑，但真实工作流可能包含： - **动态条件分支**：工具调用图在运行时才展开，评判者需评估条件计划而非固定序列； - **嵌套循环与递归**：超越当前“类循环”（loop-like）单轮抽象，评估迭代收敛性； - **跨记录状态共享**：多轮对话中的工具状态传递，要求评判者追踪累积上下文。 —- ### 8. 公平性与跨语言扩展在伦理考量部分，论文指出合成数据可能欠代表非英语或边缘化工作流： - 构建多语言 AgentJudgeBench 变体，检验评判者偏差（如 GT 锚定、序列准确性敏感度）是否随语言资源丰度而变化； - 检验工具模式中的文化或领域先验是否导致跨语言评判可靠性不一致。 Q6: 总结一下论文的主要内容该论文针对**大语言模型（LLM）作为评判者（LLM-as-a-judge）在评估智能体工具调用（agentic tool-calling）系统时的可靠性校准问题**，提出了首个面向结构化、依赖驱动工作流的系统性基准测试与实证分析。 —- ### 1. 研究背景与问题 - 现有 LLM-as-a-judge 研究主要聚焦于开放式文本生成或偏好排序任务，对于需要验证**工具选择、参数结构、调用顺序与查询覆盖率**的 agentic 工作流，其可靠性缺乏系统刻画。 - Agentic 工具调用的正确性由四个正交维度定义（工具选择、参数结构、序列准确性、查询覆盖），失败模式相互独立且与文本质量评估存在本质差异。 - 在真实部署中，ground-truth（GT）执行轨迹通常不可用，评判者必须仅依据用户查询与工具模式推断正确性，这是一个更难的推理问题。 —- ### 2. AgentJudgeBench 基准研究构建了 **AgentJudgeBench**，其核心设计包括： - **数据规模**：3,808 条 BFCL 风格记录，覆盖 15 个企业领域，每条记录暴露 8–19 个工具。 - **DAG 拓扑控制**：显式标注六种依赖模式——线性、扇出（fan-out）、扇入（fan-in）、菱形（diamond）、可选增强（optional enrichment）与类循环（loop-like）。 - **三级难度分层**：每条记录通过查询重写生成 easy、medium、hard 三个变体，在保持 GT 轨迹不变的前提下递增查询歧义性。 - **评估框架**：采用**确定性程序化评判者**作为可扩展参考信号，对每条记录输出四维度分数向量 p_r = (p(tool), p(param), p(seq), p_(cov)) ，并定义对齐度：

align(j,g,d,c) = (100) / (N(g,d)) ∑(r=1)^(N(g,d)) (1 - (1) / (4)∑(m=1)^(4)|pr^m - ell(j,r,c)^m|)

**配对协议**：所有记录在 **with-GT**（提供参考轨迹）与 **without-GT**（不提供参考）两种条件下并行评估，共计完成 **321,648 次**评判调用。 —- ### 3. 核心实验发现基于五种生成器（3B–70B 开源及 GPT-5.4）与六种评判者（20B 开源至前沿闭源模型）的全因子实验，论文得出以下关键结论： - **单调难度退化**：所有 30 个（生成器，评判者）配对的对齐度从 easy 到 hard 严格单调下降；without-GT 条件下的退化斜率约为 with-GT 的 **1.5 倍**。 - **无 GT 结构性天花板**：在 hard without-GT 条件下，六种评判者收敛至 **77–82%** 的狭窄区间，无论模型规模如何均无法突破，表明存在任务级而非模型级的可靠性上限。 - **Ground-truth 的双刃剑效应**：GT 暴露并非 universally 有益。QwQ-32B 与 GPT-OSS-120B 因 GT 获得提升，但 GPT-5.4（ -1.5 pp）与 Gemini-2.5-Pro（ -3.9 pp）的对齐度反而下降，这与**过度锚定（over-anchoring）**一致——评判者机械比对参考轨迹而非独立验证结构正确性。 - **缓解策略的有限性**： - **Chain-of-Thought 推理**：开启/关闭 thinking 模式的差异 ≤ 0.3 pp，可忽略。 - **评判温度**：在 T ∈ 0.3, 0.7, 1.0 范围内，对齐度最大扩散 ≤ 0.6 pp，可忽略。 - **结构化评估标准**：结构化 JSON 评分细则在特定（评判者，生成器）配对上提升最多 **+6.5 pp**，但在其他配对（如 hard 难度）可能逆转，效果不具备普适性。 - **最优评判者依赖场景**：有 GT 时，**QwQ-32B** 最匹配程序化参考；无 GT 时，前沿模型仅微弱领先，且受共享天花板限制，实际差异 ≤ 2 pp。 —- ### 4. 实践指导与局限性 - **部署建议**： - 有 GT 时优先选用 QwQ-32B；追求与人类直觉一致则选用 GPT-OSS-120B。 - 无 GT（常见场景）时，Gemini-2.5-Pro 与 GPT-5.4 narrowly 领先，但 hard 查询上评判者选择差异极小。 - 对弱生成器评估时，建议调整 without-GT 提示的默认评分基线（如从 1.0 改为 0.5），以减少对错误输出的过度宽容。 - **当前局限**：合成数据可能存在领域漂移；程序化评分器在参数结构维度与人类判断存在分歧（82.5% 一致率）；GPT-5.4 同时充当生成器、评判者与重写元评判者，存在不可复现性；中等难度层级的严格性验证率较低（58.1%）。 —- ### 5. 主要贡献 1. **公开数据集**：3,808 条覆盖六种 DAG 拓扑与三级难度的记录，附带程序化验证的 GT 轨迹。 2. **四维度评估框架**： paired with-GT/without-GT 协议与 bootstrap 置信区间，支持细粒度可靠性分析。 3. **系统性实证研究**：围绕六个研究问题（RQ1–RQ6）量化了任务难度、GT 可用性、模型规模、解码配置与提示格式对评判可靠性的影响，揭示了当前 LLM 评判者在结构化 agentic 评估中的根本性局限。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Abhigya Verma,Amit Kumar Saha,Seganrasan Subramanian,Sai Harshitha Aluru

Categories:

PDF URL: https://arxiv.org/pdf/2608.26623.pdf

Arxiv URL: https://arxiv.org/abs/2608.26623

Arxiv ID: 2608.26623

CoolPaper URL: https://papers.cool/arxiv/2608.26623

Published: 2026-09-03T01:26:35.403Z

Updated: 2026-09-03T01:26:35.403Z

13. DiagEvo: Diagnosis-Guided Self-Evolution via Hierarchical Error Memory

Abstract:Self-play is an effective paradigm for language-model self-evolution, but without guidance, solver performance can plateau or decline across rounds. Unguided methods steer question generation with signals such as difficulty, learnability, or diversity. These signals keep questions challenging and varied but do not specify which unresolved reasoning weaknesses later rounds should target. Guided methods obtain direction from external task resources, including human examples, document corpora, or specified difficulty targets, and therefore rely on task information supplied outside the self-play loop. We show that the needed direction can instead be derived from the solver’s own failure history. We introduce DiagEvo, whose diagnostician extracts recurring error causes from this history and stores them in a hierarchical error-cause memory. The memory groups related causes under skill nodes and tracks each as Active or Mastered according to self-consistency on targeted questions. The challenger uses these states and recurrence counts to balance cause-targeted generation with free exploration. Double-confidence filtering retains intermediate-difficulty questions only when the most common solver answer has a clear vote lead. DiagEvo derives its curriculum from information produced during self-play, without external task resources. With the default 4B diagnostician, DiagEvo outperforms every baseline in mean accuracy across all nine benchmarks for each of the three solvers: Qwen3-4B, Qwen3-8B, and OctoThinker-8B. On Qwen3-8B, it reaches 72.3% mean accuracy across five mathematical reasoning benchmarks, 4.5 percentage points above R-Zero. Its mean accuracy across all nine benchmarks is 57.4%, 1.1 percentage points above DARC. Ablations show that the hierarchical error-cause memory and double-confidence filtering both contribute to these gains.

中文摘要

摘要：自我对弈是语言模型自我进化的一种有效范式，但在没有指导的情况下，解题器的性能可能在多个轮次中达到平台期或下降。无指导方法通过难度、可学习性或多样性等信号引导问题生成。这些信号能够保持问题的挑战性和多样性，但并不能明确指出后续轮次应针对哪些未解决的推理弱点。指导方法则从外部任务资源中获取方向，包括人工示例、文档语料或指定的难度目标，因此依赖于自我对弈循环之外提供的任务信息。我们展示了所需的方向可以从解题器自身的失败历史中获取。我们提出了DiagEvo，其诊断器从失败历史中提取重复发生的错误原因，并将其存储在分层错误原因记忆中。该记忆将相关原因归类到技能节点下，并根据在目标问题上的自我一致性将每个原因标记为“活跃”或“已掌握”。挑战者使用这些状态和重复次数来在针对原因的生成与自由探索之间取得平衡。双重置信度过滤仅在最常见的解答有明显票数领先时保留中等难度的问题。DiagEvo的课程来自自我对弈过程中产生的信息，无需外部任务资源。使用默认的4B诊断器，DiagEvo在所有三个解题器（Qwen3-4B、Qwen3-8B和OctoThinker-8B）的九个基准测试中，平均准确率均超过所有基线。在Qwen3-8B上，其在五个数学推理基准上的平均准确率达到72.3%，比R-Zero高出4.5个百分点。在所有九个基准上的平均准确率为57.4%，比DARC高出1.1个百分点。消融实验显示，分层错误原因记忆和双重置信度过滤都贡献了这些性能提升。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决自博弈（self-play）范式下语言模型自我进化过程中的\*\*性能停滞与训练方向缺失\*\*问题。具体而言，其核心关切可归纳为以下三方面： --- ### 1. 无指导自博弈的局限性现有无指导方法（如 R-Zero、Absolute Zero）通常依赖难度、可学习性或多样性等信号来驱动问题生成。这些信号虽能维持问题的挑战性与表面多样性，但\*\*无法指明求解器尚未解决的具体推理弱点\*\*。其结果是，生成的问题可能在表面复杂度上持续增长（例如问题长度显著增加），却不针对重复出现的错误根源，导致求解器性能在多轮训练后停滞甚至衰退。 ### 2. 有指导方法对外部资源的依赖现有有指导方法（如 R-Few、SPICE、DARC）通过人类标注示例、文档语料库或外部难度标签等\*\*外部任务资源\*\*来稳定训练并指引生成方向。这些方法虽然有效，但其持续改进依赖于自博弈循环之外的信息输入，从而限制了系统的完全自主性与可扩展性。 ### 3. 失败历史未被结构化地转化为课程信号论文指出，求解器在训练过程中产生的失败轨迹蕴含了丰富的课程学习信号。然而，现有方法未能系统性地： - 跨问题诊断失败中的\*\*可迁移错误原因\*\*（transferable error causes）； - 将错误原因结构化组织，并追踪其是否已被求解器掌握； - 利用这些诊断结果直接指导下一轮的问题生成。 --- ### 解决思路：DiagEvo 为解决上述问题，论文提出 \*\*DiagEvo\*\* 框架，其核心创新在于\*\*完全从自博弈内部产生的信息\*\*（即求解器自身的失败历史）推导动态课程信号，具体机制包括： - \*\*错误原因诊断与层次化记忆\*\*：通过轻量级诊断员（diagnostician）对比一致/不一致的推理轨迹，提取重复出现的可迁移错误原因，并以层次化记忆（Hierarchical Error-Cause Memory）将其归类于技能节点（skill nodes）下。 - \*\*状态驱动的课程调度\*\*：为每个错误原因维护 \*\*Active\*\*（待解决）或 \*\*Mastered\*\*（已掌握）状态，依据其复发频率与自洽性动态调度“原因靶向生成”与“自由探索”的混合策略。 - \*\*双置信度过滤（Double-Confidence Filtering）\*\*：在构建求解器训练集时，不仅要求问题的多数答案投票占比处于中等范围（ p_(low) ≤ p_1 ≤ p_(high) ），还要求领先答案相对于次优答案具有明显优势（ p_1 ≥ τ · p_2 ），从而剔除高冲突、不稳定的伪标签。综上，DiagEvo 试图在\*\*不依赖任何外部任务资源\*\*的前提下，将求解器的失败历史系统地转化为可操作、可追踪的课程指导，从而实现持续且定向的自我进化。 Q2: 有哪些相关研究？论文在第2节（Related Work）中从三个方向梳理了相关研究，分别是\*\*大语言模型的自博弈\*\*、\*\*历史经验与课程学习\*\*，以及\*\*无监督强化学习中的噪声抑制\*\*。 --- ### 2.1 大语言模型的自博弈（Self-Play for Large Language Models）自博弈通过“挑战者（challenger）生成问题—求解器（solver）回答问题”的循环来改进模型。现有工作可分为两类： - \*\*无标签方法（Label-free）\*\*：如 \*\*R-Zero\*\*

Huang et al., 2026
与 **Absolute Zero**
Zhao et al., 2025
，在无需人工标注的情况下同时更新两个模型。但随轮次推进，生成的问题可能变得过易或过难，且伪标签的可靠性会下降。 - **有指导方法（Guided）**：如 **R-Few**
Yu et al., 2025
利用人类示例引导问题生成；**SPICE**
Liu et al., 2025a
引入文档语料库；**DARC**
Fan et al., 2026
使用外部难度标签、文档以及特权教师（privileged teacher）来稳定训练。与上述方法不同，DiagEvo 同样不依赖外部任务资源，但额外利用求解器自身的**失败历史**来诊断并靶向生成问题。 —- ### 2.2 历史经验与课程学习（Historical Experience and Curriculum Learning） #### 语言智能体的记忆机制过往研究通过存储历史交互来指导后续决策或策略更新： - **Reflexion**

Shinn et al., 2023
与 **ExpeL**
Zhao et al., 2024
存储早期交互的摘要； - **CER**
Liu et al., 2025b
、**ReasoningBank**
Ouyang et al., 2026
与 **ReMe**
Cao et al., 2026
从成功与失败的交互中构建记忆； - **SkillRL**
Xia et al., 2026
将轨迹转化为技能库，并在策略训练过程中持续更新。 #### 课程学习（Curriculum Learning）课程学习关注“模型在何时看到何种训练样本”

Bengio et al., 2009
。近期工作包括： - **在线难度过滤**
Bae et al., 2026
：依据当前策略的成功率，从现有池中筛选可学习的问题； - **SvS**
Liang et al., 2026
：在具有可验证奖励的强化学习（RLVR）中，保持答案不变的前提下生成标注问题的新变体，以维持数据多样性。 DiagEvo 将**结构化记忆**与**课程学习**相结合：它从求解器的失败历史中构建层次化记忆，通过 Active/Mastered 状态追踪每个错误原因的掌握情况，并据此指导挑战者的问题生成；求解器仅使用生成的“问题—伪标签”对进行训练，从而使过往失败成为自博弈内部的课程信号。 —- ### 2.3 无监督强化学习与降噪（Unsupervised Reinforcement Learning and Noise Reduction）在免标签训练中，多数投票（majority voting）可能引发**自我确认偏见**（self-confirmation bias）：若求解器在同一问题上重复犯相同错误，该错误可能占据多数并成为伪标签，进而被强化

Fan et al., 2026; Zhang et al., 2025
。现有降噪手段包括： - **投票份额阈值**
Huang et al., 2026; Yu et al., 2025
； - **完整响应序列的置信度分数**
Li et al., 2025
； - **特权教师**
Fan et al., 2026
。上述方法多使用**绝对置信度约束**（对多数答案的投票份额设定固定上下界），但未将该份额与次常见答案进行比较。DiagEvo 提出**双置信度过滤（double-confidence filtering）**，在绝对约束之外增加**相对置信度约束**：仅当多数答案的票数相对于次优答案具有明显领先优势（即满足 p_1(x) ≥ τ · p_2(x) ）时才保留该问题，从而排除高冲突样本。 Q3: 论文如何解决这个问题？论文通过提出 **DiagEvo** 框架，将求解器在自博弈过程中产生的失败历史转化为结构化的课程信号，从而在无外部任务资源的情况下实现定向、持续的自我进化。其解决方案可分解为以下四个相互衔接的模块： —- ### 1. 总体框架：诊断反馈闭环 DiagEvo 每轮包含四个阶段（如图2所示）： - **挑战者更新**：基于当前记忆混合生成问题； - **求解器训练**：通过双置信度过滤构建训练集，并以 GRPO 优化； - **记忆维护**：从失败的优化轨迹中提取、去重、分配并更新错误原因； - **记忆提交**：更新后的层次化记忆调度下一轮生成。两模型交替更新：一轮中挑战者生成问题并更新，求解器基于过滤后的数据训练；求解器的失败轨迹反过来更新记忆，供下一轮挑战者使用。 —- ### 2. 层次化错误记忆的构建与维护该记忆是 DiagEvo 的核心数据结构，负责存储并追踪求解器的推理弱点。 #### 2.1 比较式错误原因提取对于每个被保留的训练问题，诊断员（diagnostician）对比**与伪标签一致**（ r^+ ）和**不一致**（ r^- ）的优化轨迹，定位二者最早出现分歧的推理步骤，并将其抽象为可迁移的、10–20 词的动词-名词短语形式错误原因：

e(new) = D(ext)l(x, y(x), r^-, r^+r), quad r^- notsim y(x),; r^+ sim y(x).

2.2 层次化存储结构记忆在每一轮 t 被维护为一个层次结构：

Mt = (V_t, E_t, a_t),
其中 V_t 为技能节点（skill nodes）集合， E_t 为错误原因集合， a_t: E_t to V_t 将原因分配到对应节点。每个原因 e 记录： - 文本描述 d_e 与语义向量 h_e ； - 课程状态 s_t(e) ∈ Active, Mastered ； - 当前活跃周期的失败频次 f_t(e) 。 #### 2.3 去重、分配与状态更新 - **去重**：新提取的原因经嵌入相似度初筛后，由诊断员判定是否与现有原因机制相同，避免重复条目稀释信号； - **节点分配**：新原因被归入现有技能节点或触发创建新节点； - **状态转换**： - **晋升（Promotion）**：若 Active 原因靶向问题的平均自洽得分 p_1 ≥ θ(up) ，则该原因转为 Mastered，频次清零； - **再激活（Reactivation）**：若 Mastered 原因在后续训练中再次出现失败，则重新变为 Active，并以新的失败计数开启活跃周期。 —- ### 3. 诊断引导的混合问题生成挑战者利用记忆状态与频次，在“自由探索”与“原因靶向生成”之间动态平衡。 #### 3.1 频率驱动的混合策略令 Ft = ∑(e ∈ E_t) f_t(e) 为当前所有 Active 原因的失败总数。以第一轮自由探索产生的 F_1 为基准，定义探索概率：

varepsilon(t+1) = (F_1) / (F_1 + F_t/k), qquad p(t+1)(e) = (ft(e)) / (F_t).
其中 k 控制探索与利用的平衡。完整的问题分布为：
q(t+1)(x mid Mt) = varepsilon(t+1) qθ^(free)(x) + (1-varepsilon(t+1)) ∑(e ∈ E_t) p(t+1)(e), q_θ^(tar)(x mid e, M_t).
当 Active 原因的失败累积越多，靶向生成概率越高；若所有原因均被掌握（ F_t=0 ），则完全退回自由探索。 #### 3.2 跨状态拼接（Cross-State Stitching）在同一个技能节点下，挑战者可将一个 Active 原因与一个 Mastered 原因组合为**单一复合问题**。这要求求解器同时运用“已巩固技能”与“待纠正弱点”，避免孤立地测试某个错误，从而提升生成问题的复杂性与真实性。 —- ### 4. 双置信度过滤（Double-Confidence Filtering）在将生成的问题送入求解器训练前，需确保伪标签可靠。DiagEvo 同时施加绝对与相对两类约束：

D(train) = l x ;|; p(low) ≤ p1(x) ≤ p(high),; p_1(x) ≥ τ · p_2(x) r.

**绝对约束**（ p(low) ≤ p_1 ≤ p(high) ）：保留中等自洽度的问题，剔除过易（缺乏学习信号）或过难（不稳定）的样本； - **相对约束**（ p1 ≥ τ · p_2 ）：要求多数答案对次优答案具有明显票差，排除高冲突问题，防止因伪标签摇摆而强化错误。构造响应（construction responses）用于确定伪标签与过滤条件；优化响应（optimization responses）则提供策略梯度信号，并作为诊断输入。 —- ### 5. 闭环协同机制上述模块形成完整的自我进化循环： 1. 记忆记录求解器**尚未掌握**的错误原因（Active）； 2. 挑战者据此生成靶向问题，并结合自由探索维持覆盖； 3. 双置信度过滤筛选出**高信噪比**的训练数据； 4. 求解器训练后，新的失败轨迹被回传至记忆； 5. 若某原因对应的靶向问题自洽性达标，则晋升关闭；若旧错误复发，则再激活追踪。通过这一机制，DiagEvo 将原本分散、无结构的失败轨迹转化为**可追踪、可复用、可组合**的内部课程信号，从而在无需外部标注、文档或难度标签的情况下，持续将生成问题锚定在求解器的能力边界上。 Q4: 论文做了哪些实验？论文在第4节及附录中进行了系统的实验验证，涵盖**主实验对比**、**诊断模型缩放分析**、**跨域迁移测试**、**消融研究**、**共进化动态分析**以及**超参数敏感性分析**。以下是详细梳理： —- ### 1. 实验设置（4.1） - **求解器（Solver）**：Qwen3-4B-Base、Qwen3-8B-Base、OctoThinker-8B-Hybrid-Base - **诊断员（Diagnostician）**：默认使用 Qwen3-4B-Instruct-2507，另测 30B-A3B 与 235B-A22B 两个更大模型 - **基线方法**： - 无标签自博弈：R-Zero、Absolute Zero - 有指导方法（依赖外部资源）：SPICE、R-Few、DARC - 未训练的 Base 模型 - **评测基准**： - **数学推理**：MATH-500、GSM8K、OlympiadBench、Minerva Math、AMC（共5项） - **通用推理**：MMLU-Pro、SuperGPQA、GPQA-Diamond、BBEH（共4项） - **评测协议**：数学题目使用 simple-evals 协议并以 GPT-4o 自动评判；通用题目使用精确匹配（exact-match）。AMC 报告 mean@32。 —- ### 2. 主实验结果（4.2） #### 2.1 与先前方法的对比（表1）使用默认 4B 诊断员时，DiagEvo 在**全部三个求解器上均取得最高总体平均分**，且完全不依赖外部任务资源。 | 求解器 | 方法 | 数学平均 | 通用平均 | 总体 | |:—-|:—-|:—-|:—-|:—-| | Qwen3-8B | Base | 63.4 | 33.2 | 50.0 | | | R-Zero | 67.8 | 36.2 | 53.8 | | | DARC | 71.1 | 37.8 | 56.3 | | | **DiagEvo (4B)** | **72.3** | **38.8** | **57.4** | | Qwen3-4B | DARC | 66.7 | 34.1 | 52.2 | | | **DiagEvo (4B)** | **68.3** | **35.0** | **53.5** | | OctoThinker-8B | DARC | 51.2 | 27.3 | 40.6 | | | **DiagEvo (4B)** | **52.7** | **28.4** | **41.9** | - 在 Qwen3-8B 上，DiagEvo 的数学平均分比 R-Zero **高 4.5 个百分点**，总体平均分比 DARC **高 1.1 个百分点**。 - 在 Qwen3-4B 与 OctoThinker-8B 上，总体分均比 DARC **高 1.3 个百分点**。 #### 2.2 诊断员规模的影响 - 将诊断员从 4B 放大至 235B-A22B，**数学平均分**在三个求解器上分别提升 1.0、1.0 与 1.2 点；在较难的 OlympiadBench 上提升约 2.4–2.8 点。 - **通用推理**对诊断员规模不敏感，变化仅 0.2–0.5 点。 - 结论：默认 4B 配置已足以超越所有基线，诊断员缩放并非性能提升的主因。 #### 2.3 跨域泛化 - 求解器**仅在数学问题上训练**。尽管如此，通用推理平均分仍显著提升： - Qwen3-8B：33.2% → 38.8% - Qwen3-4B：27.8% → 35.0% - OctoThinker-8B：10.7% → 28.4% —- ### 3. 消融实验（4.3，表2）在 Qwen3-8B-Base 上逐一移除或替换组件，验证各部分贡献： | 实验组 | 配置 | 数学平均 | 通用平均 | |:—-|:—-|:—-|:—-| | **问题生成策略** | 冻结挑战者 | 68.5 | 36.9 | | | 纯自由探索 | 69.5 | 37.2 | | | 纯原因靶向生成 | 70.1 | 37.6 | | **记忆状态与拼接** | 无状态更新 | 70.1 | 37.1 | | | 无跨状态拼接 | 70.8 | 37.5 | | | 随机配对拼接（非同类节点） | 71.3 | 37.9 | | **伪标签过滤** | 无过滤 | 69.4 | 36.7 | | | 仅绝对置信度约束 | 70.9 | 37.5 | | **完整系统** | **DiagEvo (full)** | **72.3** | **38.8** | 关键发现： - 冻结挑战者导致最大降幅（-3.8），证明挑战者更新至关重要。 - 自由探索与原因靶向生成互为补充，单一模式均不如混合策略。 - 跨状态拼接优于随机配对拼接（+1.0），证明“同一技能节点下 Active+Mastered”组合的有效性。 - 双置信度过滤优于单一绝对约束（+1.4），也优于无过滤（+2.9）。 —- ### 4. 共进化动态分析（4.4，图3）追踪 Qwen3-8B-Base 在逐轮训练中的行为与记忆演变： - **逐轮性能（图3a）**：DiagEvo 在前 5 轮持续提升，数学平均在第 5 轮达到峰值 72.3%，随后第 6–7 轮略微回落。纯自由探索在第 3 轮后即停滞于约 69.0%。 - **记忆生命周期（图3b）**： - 错误原因总数从 151 增长至 244；技能节点数在 3 轮后稳定在约 36 个。 - Active 原因数量在第 2 轮达到峰值 188，第 5 轮降至 117；Mastered 原因增至 127，占半数以上。 - 晋升机制关闭活跃周期后，将采样概率释放回自由探索，从而引入新问题。 - **Oracle 一致性（图3c）**：衡量伪标签与 Oracle（GPT-5）标签的吻合度。 - 纯自由探索 + 仅绝对约束：从 83% 降至 65%。 - 加入记忆后：第 5 轮回升至 72%。 - 再加入相对置信度约束后：进一步升至 75%。 - 说明记忆与双置信度过滤均显著提升了伪标签质量。 —- ### 5. 问题属性与覆盖分析（附录H，图4–5） - **问题长度与多样性（图4）**： - 纯自由探索的问题平均长度从 45.6 词膨胀至 168.9 词，但多样性提升仅发生在长度剧增之后。 - DiagEvo 的长度稳定在 73 词左右，同时 2-gram 多样性从 33.3 升至 36.5，表明难度提升并非来自表面复杂度膨胀。 - **问题覆盖（图5）**： - 自由探索覆盖区域稳定且广泛；原因靶向生成随记忆演化进入新区域。 - 两种模式在嵌入空间上互补，支持混合生成的必要性。 —- ### 6. 超参数敏感性（附录G）在 Qwen3-8B-Base 上测试关键超参数： - **探索-利用比例 k （式1）**： - k=0.2 ：71.4 / 38.1 - k=0.5 （最佳）：72.3 / 38.8 - k=2.0 ：71.3 / 37.8 - **相对置信度阈值 τ （式2）**： - τ=1.2 ：71.6 / 38.4 - τ=1.6 （最佳）：72.3 / 38.8 - τ=2.0 ：71.3 / 38.1 —- ### 7. 案例追踪（附录I，图6）论文以可视化轨迹展示了一个具体错误原因在多轮中的完整生命周期： - **第 t 轮**：从 log_2(x-1)+log_2(x-5)=3 的失败中提取原因——“代数变换后未检查候选解是否满足原定义域限制”； - **第 t+1 轮**：通过跨状态拼接生成复合问题，要求同时运用“定义域传播”与“等号可达性验证”； - **后续轮次**：靶向该原因的问题上，求解器平均自洽率从 48.2% → 65.6% → 75.0%，超过 θ(up)=70% 后该原因被晋升为 Mastered。 —- ### 8. 运行时分摊（附录E，表6）在默认配置下，诊断与记忆维护（DiagEvo 相较于 R-Zero 的额外开销）仅占总时间的 **5.7%**（其中错误原因提取 3.9%，去重与节点分配 1.3%，层次合并 0.4%）。核心计算仍集中于策略优化与问题生成。 Q5: 有什么可以进一步探索的点？基于论文内容，尤其是附录 A（Limitations and Future Work）及全篇方法论设计，可从以下几个方向进一步探索： —- ### 1. 更可靠的伪标签验证机制当前的双置信度过滤仅依赖求解器自身响应的**内部一致性**（ p1 与 p_2 的相对/绝对关系），而非外部真值。这导致一种潜在风险：若求解器对某类问题存在**系统性偏见**，多数响应可能一致地落入同一错误答案，从而通过过滤并被强化。 - **探索方向**：挖掘自博弈循环内产生的其他验证信号，例如： - 跨轮次稳定性：同一问题在相邻轮次的伪标签是否保持一致； - 推理路径多样性：错误答案的推理路径是否呈现聚集模式； - 引入轻量级外部验证（如代码执行、符号求解器）对数学问题伪标签进行抽查。 —- ### 2. 自适应的训练终止与轮次调度当前框架预设固定轮数（主实验采用 5 轮）。动态分析显示，Qwen3-8B 在第 5 轮达到峰值后，第 6–7 轮出现轻微回落，暗示存在**最优停止点**。 - **探索方向**：设计基于记忆状态与求解器能力边界的**自适应停训准则**，例如： - 当 Active 原因集合的更新率低于阈值； - 当全局自洽性（self-consistency）在连续多轮不再提升； - 利用 F_t （活跃失败总数）的收敛行为自动调节 varepsilon(t+1) ，而非仅依据式 (1) 的固定比例 k 。 —- ### 3. 向非数学领域与开放式任务的扩展 DiagEvo 目前的课程完全基于**数学问题**构建。实验虽观察到向通用推理基准的迁移，但未验证在其他领域直接执行诊断-记忆-生成循环的有效性。 - **探索方向**： - **长程交互任务**：如多轮工具使用（multi-turn tool use）或编程调试，其中失败轨迹更长、错误原因可能涉及工具选择或状态跟踪； - **开放式生成与对齐**：在创意写作、摘要或对话安全等缺乏明确答案的领域，如何定义“错误原因”并构建可验证的伪标签； - **跨领域记忆迁移**：将在数学领域学到的“检查定义域”等元技能，通过技能节点（skill nodes）的泛化表示迁移至物理或化学推理任务。 —- ### 4. 记忆结构的深化与动态压缩当前层次化记忆为两层结构（skill node → error cause），随着训练进行，条目数从 151 增长至 244。 - **探索方向**： - **更深层的层次结构**：在 skill nodes 之上引入“领域（domain）”或“元技能（meta-skill）”层，形成三级甚至多级层次，以支持更复杂的跨状态拼接； - **主动遗忘与记忆压缩**：当 Mastered 原因长期未被再激活时，是否可将其压缩为“技能摘要”而非保留完整轨迹，防止记忆无限膨胀； - **节点合并的精细化**：当前合并基于阈值 θ_(merge) 与单次 LLM 判断，未来可探索基于图聚类或动态规划的冗余节点合并策略。 —- ### 5. 诊断模型与路由机制的专门化论文默认使用通用指令模型（Qwen3-Instruct）作为诊断员，并发现缩放诊断模型带来的增益有限（数学平均提升约 1.0 点）。 - **探索方向**： - **诊断专用模型**：针对“对比两条推理轨迹并提取最早分歧点”这一任务，训练或微调专门的诊断模型，可能降低对超大模型的依赖； - **检索增强的诊断**：当记忆规模扩大时，为新错误原因检索最相关的历史案例，而非仅依赖嵌入相似度与短列表（shortlist）； - **多诊断员集成**：使用多个诊断员独立提取错误原因，通过一致性投票降低单模型遗漏或误判的风险。 —- ### 6. 跨状态拼接的策略优化当前的跨状态拼接（cross-state stitching）将同一 skill node 下的一个 Active 原因与一个 Mastered 原因组合为单一问题。 - **探索方向**： - **多原因组合**：不仅拼接两个原因，而是将多个 Active 或 Mastered 原因编织为更复杂的复合问题； - **可控难度生成**：根据 Mastered 原因的数量与类型，显式建模生成问题的预期难度分布，而非依赖均匀采样； - **组合问题的可解性验证**：确保拼接后的问题确实存在唯一或明确的答案，避免因原因冲突导致问题本身无解或歧义。 —- ### 7. 理论分析论文通过实验验证了 DiagEvo 的有效性，但缺乏形式化理论支撑。 - **探索方向**： - **课程学习的收敛性**：在 Active/Mastered 状态转换与频率驱动采样的框架下，证明求解器性能在特定条件下单调提升或收敛； - **伪标签错误率的边界**：在双置信度过滤下，量化被保留问题中伪标签错误的概率上界； - **错误原因空间的覆盖性**：分析层次化记忆在极限情况下能否覆盖求解器完整的错误分布。 Q6: 总结一下论文的主要内容这篇论文提出 **DiagEvo**，一种**诊断引导的自演化（Diagnosis-Guided Self-Evolution）**框架，旨在解决语言模型自博弈（self-play）过程中性能停滞与对外部任务资源依赖的问题。 —- ### 1. 研究背景与核心问题自博弈是提升大语言模型推理能力的有效范式，由挑战者（challenger）生成问题、求解器（solver）回答并学习。现有方法面临两大瓶颈： - **无指导方法**（如 R-Zero）仅依赖难度、多样性等表面信号，无法定位求解器反复出现的具体推理弱点，导致问题表面复杂度膨胀而性能停滞； - **有指导方法**（如 DARC、SPICE）依赖人类示例、文档语料或外部难度标签等**外部任务资源**，限制了系统的自主性与可扩展性。论文的核心洞察是：**求解器在自博弈中产生的失败历史本身即可构成课程信号**，无需外部资源。 —- ### 2. 方法：DiagEvo 框架 DiagEvo 通过四个紧密衔接的模块实现自我进化闭环： #### （1）层次化错误原因记忆（Hierarchical Error-Cause Memory）一个轻量级诊断模型（diagnostician）对比求解器在同一问题上**与伪标签一致**（ r^+ ）和**不一致**（ r^- ）的轨迹，定位最早推理分歧，提取可迁移的错误原因：

e(new) = D(ext)l(x, y(x), r^-, r^+r).
这些原因被组织成层次化记忆：
Mt = (V_t, E_t, a_t),
其中 V_t 为技能节点（skill nodes）， E_t 为错误原因， a_t 将原因分配到对应节点。每个原因 e 维护： - **课程状态** s_t(e) ∈ Active, Mastered ； - **活跃周期失败频次** f_t(e) 。 **状态转换机制**： - **晋升（Promotion）**：当针对某 Active 原因生成的题目上，求解器平均自洽得分 p_1 ≥ θ(up) 时，该原因转为 Mastered，频次清零； - **再激活（Reactivation）**：若 Mastered 原因后续再次出现失败，则重新变为 Active，以新的失败数开启新周期。 #### （2）频率驱动的混合问题生成挑战者根据当前 Active 原因的失败总数 Ft = ∑(e) f_t(e) 动态平衡“自由探索”与“原因靶向生成”：

varepsilon(t+1) = (F_1) / (F_1 + F_t/k), qquad p(t+1)(e) = (ft(e)) / (F_t).
完整的问题分布为：
q(t+1)(x mid Mt) = varepsilon(t+1) qθ^(free)(x) + (1-varepsilon(t+1)) ∑(e) p(t+1)(e), q_θ^(tar)(x mid e, M_t).
此外，**跨状态拼接（cross-state stitching）**将同一技能节点下的 Active 原因与 Mastered 原因组合为单一复合问题，要求求解器同时运用已巩固技能和待纠正弱点。 #### （3）双置信度过滤（Double-Confidence Filtering）在构建求解器训练集前，对伪标签施加双重约束，剔除高冲突样本：

D(train) = l x ;|; p(low) ≤ p1(x) ≤ p(high),; p_1(x) ≥ τ · p_2(x) r.

**绝对约束**（ p(low) ≤ p_1 ≤ p(high) ）确保题目难度适中； - **相对约束**（ p_1 ≥ τ p_2 ）确保多数答案对次优答案具有明显票差，抑制自我确认偏见。 #### （4）交替更新闭环每轮中，挑战者基于当前记忆生成问题并更新；求解器在过滤后的数据上通过 GRPO 训练；其失败轨迹回传至记忆维护模块，更新状态与频次，供下一轮调度使用。 —- ### 3. 实验结果在 **Qwen3-4B、Qwen3-8B** 和 **OctoThinker-8B** 上的九项基准测试（5 项数学 + 4 项通用推理）中： - **整体性能**：默认 4B 诊断员的 DiagEvo 在**全部三个求解器上均超越所有对比基线**（包括依赖外部资源的 DARC、SPICE、R-Few 以及无标签的 R-Zero、Absolute Zero）。 - **数学推理**：Qwen3-8B 上达到 **72.3%** 平均准确率，较 R-Zero 提升 **4.5** 个百分点；总体平均分 **57.4%**，较 DARC 高 **1.1** 个百分点。 - **通用推理迁移**：求解器仅训练于数学题，但在通用推理基准上仍显著提升（如 Qwen3-8B 从 33.2% 提升至 38.8%）。 - **诊断员缩放**：将诊断员从 4B 增大至 235B-A22B 仅带来约 1.0 点的数学性能提升，表明默认轻量配置已足够有效。 **消融实验**（表2）验证了各组件的必要性： - 冻结挑战者导致最大降幅（-3.8）； - 纯自由探索或纯原因靶向均不如混合策略； - 双置信度过滤优于单一绝对约束（+1.4）和无过滤（+2.9）； - 同节点跨状态拼接优于随机配对拼接（+1.0）。 **动态分析**（图3）显示： - DiagEvo 在前 5 轮持续提升，而纯自由探索第 3 轮后即停滞； - 记忆逐步增长并趋于紧凑，Mastered 原因占比过半时，探索概率自动回升，持续引入新问题。 —- ### 4. 主要贡献 1. **内部课程信号的提取**：证明求解器的失败历史可被系统性地转化为动态课程信号，无需外部任务资源。 2. **层次化记忆与状态机**：提出带 Active/Mastered 状态的层次化错误记忆，通过晋升与再激活机制精准追踪未解决弱点。 3. **双置信度过滤**：结合绝对与相对约束，有效提升伪标签可靠性。 4. **全面实验验证**：在多个模型与九项基准上，DiagEvo 以完全自洽的闭环取得最佳整体性能，并详细分析了共进化动态与各设计选择的影响。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xincheng Wei,Yifan Ding,Yoshua Li,Dongsheng Ma,Rongxiang Weng,Xunliang Cai,Wenjian Ding,Yao Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2609.00768.pdf

Arxiv URL: https://arxiv.org/abs/2609.00768

Arxiv ID: 2609.00768

CoolPaper URL: https://papers.cool/arxiv/2609.00768

Published: 2026-09-03T01:26:35.712Z

Updated: 2026-09-03T01:26:35.712Z

14. Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement

Abstract:This paper studies autonomous software development, in which LLM-based coding agents transform high-level requirements into complete, functional, and usable software systems without human intervention. We introduce Harness-of-Harness (HoH), a framework that enables coding agents to continually improve software during autonomous development. HoH operates on existing coding-agent harnesses, and organizes their executions into iterative planning-coding-testing loops. To sustain improvement across loops, HoH balances repair with capability growth, scopes development into small and verifiable increments, separates implementation-time testing from independent evaluation, and constrains verifiable outputs rather than prescribing agent workflows. It progressively exposes deliverables, role-specific tools, and skills, encourages reuse rather than recreation, and maintains versioned project histories. On GameCraft-Bench, FrontierSWE, and ProgramBench, three harness-model pairs (Codex with GPT-5.5, OpenCode with DeepSeek-V4-Pro, and Pi with MiniMax-M3), HoH consistently outperforms the corresponding standalone harnesses, achieving an average relative gain of 52.25 percent and a maximum gain of 82.86 percent after three iterations. In a multi-day deployment with more than 70 iterations, HoH autonomously develops a first-person-shooter game, featuring a coherent storyline, fully implemented core mechanics, human-playable experience, polished visuals and integrated audio. Github: this https URL Project Page: this https URL

中文摘要

摘要：本文研究了自主软件开发，其中基于大语言模型（LLM）的编码代理将高级需求转化为完整、功能齐全且可用的软件系统，无需人工干预。我们介绍了 Harness-of-Harness（HoH）框架，该框架使编码代理在自主开发过程中能够持续改进软件。HoH 在现有的编码代理工具链上运行，并将其执行组织为迭代的规划-编码-测试循环。为了在循环中持续改进，HoH 在修复与能力增长之间保持平衡，将开发划分为可验证的小增量，将实现时测试与独立评估分离，并约束可验证的输出而不是规定代理的工作流程。它逐步暴露交付成果、角色特定的工具和技能，鼓励复用而非重新创造，并维护版本化的项目历史。在 GameCraft-Bench、FrontierSWE 和 ProgramBench 上，三对工具链模型（Codex 与 GPT-5.5、OpenCode 与 DeepSeek-V4-Pro 以及 Pi 与 MiniMax-M3）中，HoH 始终优于对应的独立工具链，在三次迭代后平均相对增益达到 52.25%，最大增益为 82.86%。在一次超过 70 次迭代的多日部署中，HoH 自主开发了一款第一人称射击游戏，其具有连贯的故事情节、完全实现的核心机制、可供人类游玩的体验、精美的视觉效果和整合的音频。Github：这个 HTTP URL 项目页面：这个 HTTP URL

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*自主软件开发（Autonomous Software Development）中的长程连续改进与 coherence 维持问题\*\*。具体而言，其核心研究问题可概括为以下几个方面： - \*\*从"人在回路"到完全自主的范式转换\*\* 现有大多数基于大语言模型（LLM）的编码代理仍依赖持续的人类监督——人类需定义任务、指导中间决策、审查生成代码并在失败时干预。论文追求一个更具雄心的目标：仅给定高级需求，编码代理便能\*\*完全独立地\*\*从零开始构建完整、可运行、可部署的软件系统，无需进一步的人类引导或干预。 - \*\*长程开发轨迹中的连贯性与有效性维持\*\* 端到端的软件开发本质上是一个长周期问题。随着开发轨迹的增长，代理面临多种退化风险： - 遗忘早期需求与设计决策； - 局部修复破坏其他模块的约束； - 失败尝试与次优决策不断累积； - 新测试证据推翻先前假设； - 陷入重复的"检查-修复"循环，或对已完成组件进行冗余验证； - 过早宣称功能已完成，但实际存在缺失或错误。 - \*\*在迭代中持续改进而非单次生成\*\* 论文指出，自主软件开发不仅仅是"执行得更久"，真正的挑战在于\*\*如何在时间跨度上保持连贯且有效的持续进步\*\*。为此，需要一种机制，使得代理能够在连续的规划–编码–测试循环中： - 基于前序迭代的证据动态调整开发计划； - 以小型、可验证的增量推进，避免不受控的改动； - 将开发时的自测与独立的第三方评估分离，确保验收的客观性； - 保留已验证的行为记录，防止回归，并支持失败后的恢复与重用。简言之，论文试图回答：\*\*如何在不修改底层编码代理（harness）实现的前提下，通过高层 orchestration 机制，使现有 LLM-based coding agents 能够在多天的自主开发过程中持续迭代、不断修复缺陷并扩展能力，最终交付高质量、人类可玩的完整软件系统。\*\* Q2: 有哪些相关研究？论文在第2节（Related Work）中从两个主要维度梳理了相关研究，并阐明了Harness-of-Harness（HoH）与这些工作的关系： ### 1. Agent Harnesses（智能体执行框架） Agent harness 被定义为决定大语言模型接收何种信息、可执行何种动作、以及执行结果如何反馈至后续决策的操作层。该领域的相关研究包括： - \*\*提示工程与上下文管理\*\* 通过 prompting 和 context engineering 塑造模型面对的状态，以及利用外部记忆（external memory）扩展跨交互的可用状态。 - \*\*推理-行动耦合与多智能体编排\*\* ReAct 将推理与环境动作相结合；GPTSwarm 则将多智能体编排表示为一个可优化的图结构。 - \*\*Harness 自身的自动优化\*\* 近期研究开始将 harness 本身作为优化目标： - \*\*AutoHarness\*\*：从环境反馈中自动合成代码 harness； - \*\*Meta-Harness\*\*：在 harness 代码空间中进行搜索； - \*\*Self-Harness\*\*：迭代地诊断并修改自身的 harness。 \*\*与 HoH 的关系\*\*：上述方法通过改变操作层来改善代理行为；而 \*\*HoH 并不修改底层 harness 的实现\*\*，而是在现有 harness 之上运行，通过重复的规划–编码–测试循环来迭代改进一个不断演化的软件项目。 --- ### 2. Agentic Systems for Software Development（面向软件开发的智能体系统）该领域的研究已从局部代码生成和自包含程序，逐步扩展到更复杂的任务： - \*\*仓库级问题修复与代码重构\*\* 包括 SWE-Bench 等推动的仓库级 issue 解决、代理-计算机接口（ACI）设计，以及自动软件重构（如 RefAgent）。 - \*\*基于预定义角色的多智能体生成框架\*\* - \*\*MetaGPT\*\* 与 \*\*ChatDev\*\*：利用预定义的角色分工协作生成软件； - \*\*AgileCoder\*\* 与 \*\*EvoDev\*\*：围绕 sprint 或功能依赖关系组织增量开发； - \*\*EvoMAC\*\*：基于测试反馈自适应地调整多智能体工作流。 - \*\*长程演化与退化研究\*\* SWE-EVO 与 SlopCodeBench 关注代码代理在长周期迭代任务中的性能演化与退化问题。 - \*\*从零构建完整项目的基准与方法\*\* - \*\*Commit0\*\*、\*\*ProjDevBench\*\*、\*\*ProgramBench\*\*、\*\*GameCraft-Bench\*\*：评估从空白开始构建完整库或可运行项目的能力； - \*\*FrontierSWE\*\*：同时涵盖从零实现、开放式性能优化与研究目标。 \*\*与 HoH 的关系\*\*：现有的 coding harness 通常在一个有限的 episode 内组织开发，对\*\*跨多次修订保存项目决策、已验证功能和评估证据\*\*的支持有限。HoH 在这些 harness 的基础上进行扩展，通过维持规划、实现与评估循环之间的\*\*连续性（continuity）\*\*，支持迭代式的 greenfield（从零开始）开发。 Q3: 论文如何解决这个问题？论文通过引入 \*\*Harness-of-Harness (HoH)\*\* 框架解决自主软件开发中的长程连续改进问题。HoH 不修改底层编码代理（coding agent）的实现，而是在现有 harness 之上通过结构化的迭代循环与跨循环状态管理，将单次开发扩展为持续演进的过程。具体解决方案可从以下维度阐述： --- ### 1. 迭代式规划–编码–测试循环 HoH 将端到端的软件开发组织为重复的闭环迭代。每一轮循环包含三个严格分离的阶段：

(A(t-1), E(t-1)) loop t under S (A(t), E(t))
其中 S 为软件规格说明， A(t) 为第 t 轮迭代后的软件制品状态， E(t) 为对应的执行证据状态。该循环确保开发以**小型、可验证的增量**推进，避免一次性大规模改动导致的不可控风险。 —- ### 2. 三角色分离与权限隔离每一轮迭代固定调用三次相同的 harness–model 配置，但通过角色特定的提示（role-specific prompt）与运行时契约（Runtime contract）赋予不同职责与权限： - **Project Planner（项目规划器）** 综合全局规格 S 与上一轮证据 E(t-1) ，在只读访问当前制品 A(t-1) 的前提下，制定本轮的开发文档 D(t) 。该文档定义**有界且局部完整**的增量目标、需保留的已验证行为，以及可观测的验收条件。规划器无权修改代码。 - **Developer（开发者）** 基于 A(t-1) 与开发文档 D(t) 实施增量开发，拥有对制品的**唯一写权限**。开发过程中嵌入基线–改动–重测的左移测试（shift-left testing），确保局部失败在产生附近即被暴露。开发者自测仅用于判断实现是否可提交为候选版本，**不构成最终验收**。 - **QA Tester（质量保障测试器）** 以**只读、冻结**的方式独立评估候选制品 A(t) ，通过黑盒测试（用户可观测行为、状态转移、端到端流程）与白盒测试（源码、配置、运行时日志）相结合的多维评估，生成结构化测试报告 E(t) 。该角色与实现者分离，防止验收 collapsed 为开发者的自我声明。 —- ### 3. 跨循环双状态管理为克服长轨迹中的遗忘与信息丢失，HoH 显式维护两种互补的跨循环状态： - **制品状态（Artifact State）** A(t) 承载当前源码、配置、资源与项目元数据，为下一轮开发提供可延续的实现基础，避免从零重建。 - **证据状态（Evidence State）** E(t) 记录已验证行为、未满足需求、观测到的失败、回归风险及证据不足的声明。该状态使后续规划能够： - 基于新观测重新优先级排序； - 保留未解决缺陷的可见性； - 将已验证行为转化为**保护约束（preservation constraints）**，防止后续改动导致回归。形式化地，证据被划分为已验证集合 E(t)^(ver) 与缺口集合 E_(t)^(gap) ：

E(t) = E(t)^(ver) ∪ E(t)^(gap), quad E(t)^(ver) ∩ E_(t)^(gap) = ∅
—- ### 4. 关键设计原则除上述循环架构外，HoH 通过以下机制解决长程开发的具体挑战： - **平衡修复与能力增长** 规划器优先处理阻塞性缺陷与回归，再扩展产品功能，防止开发 collapsed 为无意义的重复局部修复。 - **约束可验证输出，而非规定代理工作流** 每个角色必须返回符合预定义 schema 的结构化产物（如开发文档、测试报告），违反 schema 将触发重试。此举约束了**可验证的结果**，但保留代理在推理路径、工具选择与实现策略上的自主性。 - **渐进式信息披露（Progressive Disclosure）** 不依赖专用记忆模块，而是通过文件系统持久化计划、报告与历史记录。运行时仅向代理暴露一个简洁的分类索引，详细内容仅在相关时按需检索，从而避免上下文窗口溢出。 - **角色特定工具与技能的渐进暴露** 工具（如 MCP 服务器、专家模型、领域算法）按角色组织，并通过轻量级 Markdown 技能文档提供按需指引。代理被鼓励复用现有资源，而非在常规工程任务上重复造轮子。 - **版本化项目历史** 在代理角色级别与迭代级别均维护版本记录。通过保存软件状态与变更摘要，HoH 能够在重大回归后回退至先前已验证状态，并在类似失败再次出现时利用历史证据辅助诊断。 —- ### 5. 运行时契约与算法流程一个确定性的 **Runtime** 冻结每个角色的输入、强制执行其权限边界、将证据绑定到被测候选版本，并记录项目状态。完整流程可概括为算法：

D(t) &arrow ProjectPlanner(S, E(t-1); readonly(A(t-1))) A(t) &arrow Developer(A(t-1); S, D(t)) E(t) &arrow QATester(readonly(A(t)); S, D(t), Runtime.check(A(t)))
通过这一架构，HoH 将单次 harness 调用扩展为**可持续数月、数十次迭代**的自主开发过程，在基准测试与多天的第一人称射击游戏开发案例中均展现出持续的性能提升与项目连贯性维持。 Q4: 论文做了哪些实验？论文通过**两大互补的实验设置**验证 Harness-of-Harness (HoH) 的有效性：一是受控的基准测试评估（少量迭代），二是开放域的多日自主游戏开发（长程迭代）。 —- ## 一、基准测试评估（第4节） ### 1. 实验配置 | 维度 | 详情 | |———|———| | **基准测试** | GameCraft-Bench（45/140个任务，15个游戏家族）、FrontierSWE（15/17个任务）、ProgramBench | | **Harness–模型组合** | Codex + GPT-5.5 (high)、OpenCode + DeepSeek-V4-Pro、Pi + MiniMax-M3 | | **对比方法** | Vanilla（单次标准开发） vs HoH@1/2/3（1/2/3次规划–编码–测试迭代） | | **评估指标** | GameCraft-Bench Overall（0–100）、FrontierSWE 官方奖励与 Dominance、ProgramBench Avg. Test Pass Rate | ### 2. 主要结果（表1） - **一致性提升**：HoH@3 在三项基准、所有三个配置下均优于 Vanilla。 - **GameCraft-Bench**：Overall 分数分别提升 **+21.93**（Codex）、**+22.08**（OpenCode）、**+16.62**（Pi）。 - **FrontierSWE**：Dominance 提升 **+27**、**+19**、**+29** 个百分点；Codex 配置从 22% 奖励均值提升至 0.54。 - **ProgramBench**：Pass Rate 提升 **+6.09**、**+12.29**、**+16.85**。 - **迭代收益递增**：绝大多数配置下，HoH@1 → HoH@2 → HoH@3 单调提升。 ### 3. 深入分析与消融 - **多维度质量分解（图4）** 在 GameCraft-Bench 上，HoH@3 在 Core Mechanics、Content Depth、Functional Visuals、Art and Presentation 四个维度全面优于 Vanilla，增益范围达 11–35 分。 - **长程持续改进（图5）** 在 FrontierSWE 上，Codex + GPT-5.5 配置延续至 **10 次迭代**，Dominance 从 Vanilla 的 27.33% 提升至 **72.67%**（HoH@10），第 9 轮达到峰值 76.00%。 - **预算控制对比（表2）** 与“单纯重复多次 Vanilla 开发（Vanilla Continuation）”相比，在相同开发 pass 数（1/2/3 次）下，HoH consistently 产出更高质量制品。例如，2-pass HoH（64.84 分，5.67M tokens）优于 3-pass Vanilla（58.24 分，6.33M tokens），证明增益源于 HoH 的结构化循环，而非单纯的计算量堆砌。 - **定性比较（图6）** 展示了 Momentum Lab（平台跳跃）、Kitchen Rush（经营模拟）、Ant Empire（放置策略）三款游戏的 Vanilla vs. HoH@3 画面对比，HoH 版本在视觉主题、玩法机制完整性、工作流丰富度和长期进度系统上显著更优。 - **消融实验（表3）** 在 GameCraft-Bench（Codex + GPT-5.5）上验证三个跨迭代机制： - **移除 Plan Update**（固定使用首轮开发文档）：分数下降 **−8.13**； - **移除 Evidence Feedback**（Planner 看不到前序测试证据）：分数下降 **−6.28**； - **移除 Warm-Start**（每轮从零重建项目）：分数下降 **−7.85**，且 token 消耗增加 32%（从 8.41M 增至 11.12M）。 —- ## 二、多日自主 FPS 游戏开发（第5节）这是一个长程、开放域的案例研究，旨在检验 HoH 在**数十轮迭代、跨天运行**下的项目连贯性维持能力。 ### 1. 任务设定 - **项目**：Fusepoint，一款单人叙事向第一人称射击游戏。 - **需求**：基于一份高层产品需求文档（PRD），实现 5 分钟单人拆弹任务，包含有序占领两个控制点、三阶段拆弹、18 名固定分布敌人、成功/引爆双结局等。 - **配置**：Codex CLI + GPT-5.6-Sol（high reasoning effort），共完成 **70 次开发循环**。 - **人类介入**：仅限于恢复网络或 API 可用性，不参与规划、编码、调试、测试或验收。 ### 2. 领域特定扩展不同于基准测试的轻量配置，此案例为 HoH 装备了： - **Godot MCP**：用于引擎级开发、运行与调试； - **资产生成与获取技能**：规范视觉风格、尺寸、格式，获取 CC0/CC BY 授权的图像、3D、音频资产； - **UI/UX 与测试技能**：指导视觉一致性、场景化测试与 Godot MCP 调试； - **版本控制**：通过 GitHub 提交代码与角色产物，保留完整的 commit 与 issue 历史。 ### 3. 开发动态分析（图1、第5.2节）通过追踪 GitHub issue 的创建、关闭与 reopen 记录，70 轮开发呈现三个阶段： - **初始构建（Loops 1–27）**：建立可执行项目与核心交互路径，随着制品可测试性提升，活跃 issue backlog 同步增长； - **能力扩展（Loops 28–49）**：新增功能与持续诊断修复并行，后期局部改动可能影响先前建立的系统（任务状态、战斗、UI 等）； - **稳定化（Loops 50–70）**：功能添加放缓，issue 修复占主导，活跃 backlog 开始下降。至第 70 轮，共记录 81 个 issue，其中 65 个已关闭，16 个未解决；17 个 issue 曾因后续改动引发回归（regression）而被重新打开。版本化工作空间与证据包使回归修复可作为显式项目工作被后续规划处理，无需从历史代码中重建上下文。 ### 4. 产出经过 70 轮自主迭代，HoH 交付了包含连贯剧情、完整核心机制（战斗、武器、敌人交互）、玩家引导（HUD、小地图）、菜单设置、过场动画、打磨的视觉与音频效果的**人类可玩 FPS 游戏**。完整的开发轨迹、代码与游戏视频已公开发布。 Q5: 有什么可以进一步探索的点？基于论文内容，以下是可以进一步探索的研究方向： —- ### 1. 向更广泛的软件类型与真实场景扩展论文在基准测试中以游戏开发、程序重建和系统实现为主，并在案例研究中验证了一款第一人称射击游戏。未来可将 Harness-of-Harness 框架应用于更广泛的软件系统，包括但不限于： - 大规模分布式后端服务与云原生应用 - 跨平台移动应用与桌面软件 - 数据科学与机器学习流水线 - 嵌入式系统与硬件协同设计 - 企业级业务系统与遗留代码重构 ### 2. 自适应迭代结构与动态角色编排当前 HoH 采用固定的三阶段（规划–编码–测试）循环与固定的角色分离。未来可探索： - 根据项目复杂度、失败模式或证据状态**动态调整迭代粒度**，例如在高度不确定的早期采用更短循环，在稳定期延长验证周期 - 引入更多专业化角色（如架构师、安全审计员、UX 研究员）或根据项目需求动态合并/拆分角色 - 让循环结构本身可被优化（meta-optimization），而非预先硬编码 ### 3. 高效的长程记忆与上下文压缩机制论文目前通过文件系统持久化和渐进式披露缓解上下文窗口限制。随着项目规模与迭代次数增长，可进一步研究： - 基于向量检索或层次化摘要的**显式记忆模块**，替代或补充文件索引 - 项目知识图谱的自动构建，用于追踪跨文件的依赖关系与设计决策 - 上下文的主动遗忘与归档策略，在保留关键证据的同时减少噪声 ### 4. 证据驱动的学习与策略进化当前 QA Tester 依据预设策略生成证据包。未来可探索： - 让 Planner 与 Tester 从历史证据中学习，**预测高风险的回归区域**或识别反复出现的故障模式 - 引入基于强化学习或模仿学习的规划策略，优化任务优先级排序与资源分配 - 跨项目的经验迁移：将先前项目中的失败模式、验证模式与解决方案复用到新项目 ### 5. 自我改进的 Harness 编排层论文在第 2 节提及 AutoHarness、Meta-Harness 和 Self-Harness 等通过修改 harness 本身来提升性能的研究。一个自然的延伸是： - 让 HoH 的编排层本身具备自我诊断与自我修改能力，例如自动调整开发文档模板、输出 schema 或 Runtime 权限边界 - 联合优化底层 harness 与高层循环协议，实现端到端的全栈自我改进 ### 6. 回归预防与自动恢复机制在 70 轮 FPS 开发中，17 个 issue 曾被重新打开，表明回归是长程开发中的持续挑战。未来可研究： - 形式化方法或契约式编程的自动集成，在编码阶段即强制执行接口不变性 - 更细粒度的影响分析工具，帮助 Planner 预判改动可能波及的已验证组件 - 自动化的 Git bisect 与最小回滚单元，缩短回归定位时间 ### 7. 成本效率与推理预算优化多日自主开发消耗了显著的计算资源（例如 GameCraft-Bench 上 HoH@3 平均消耗 8.41M tokens）。可探索： - 不同迭代阶段的资源自适应分配，例如早期使用轻量级模型进行原型验证，后期仅对关键路径调用最强模型 - 测试用例的优先级排序与增量回归测试，避免全量验证的冗余开销 - 缓存与复用先前迭代的中间产物，减少重复推理 ### 8. 完全去除人类干预的基础设施韧性当前多案例部署中，人类仍被允许恢复网络或 API 可用性。未来需要： - 构建具备自我修复能力的运行时环境，自动处理工具链故障、服务中断与依赖不可用 - 设计安全的沙箱与故障隔离机制，防止自主代理在异常状态下对系统造成不可逆破坏 - 实现无需人类监控的长时间（数周至数月）稳定运行 ### 9. 安全漏洞与可信赖性保障自主开发的软件在部署前需要保证安全与可靠： - 将静态安全分析、依赖漏洞扫描与模糊测试（fuzzing）整合进 QA Tester 的评估维度 - 研究对抗性测试与红队（red-teaming）机制，主动挖掘自主生成代码中的潜在攻击面 - 建立可解释的开发轨迹审计标准，确保最终产物满足合规与可追溯性要求 ### 10. 与人类开发工作流的协同探索 HoH 并非完全替代人类，而是作为**自主协作者**融入现有软件工程实践： - 与 CI/CD 流水线、代码审查平台和问题追踪系统的深度集成 - 支持人类在关键节点（架构决策、产品方向调整）进行轻量干预，同时保持其余过程的自主性 - 多智能体人类-AI 混合团队中的任务分配与沟通协调机制 Q6: 总结一下论文的主要内容该论文围绕**自主软件开发（Autonomous Software Development）**展开，旨在使基于大语言模型（LLM）的编码代理能够在仅给定高级需求的情况下，无需人类干预地从头构建完整、可运行且可部署的软件系统，并在长程开发过程中实现持续改进。 ### 1. 研究动机与核心挑战传统编码代理多在“人在回路（human-in-the-loop）”模式下运行，依赖人类持续监督、指导与纠错。论文指出，完全自主的软件开发不仅是执行时间更长的问题，其根本难点在于**如何在长周期迭代中维持连贯且有效的持续进步**。具体挑战包括：早期需求与设计决策的遗忘、局部修复引发的全局回归、失败尝试的累积、新证据对旧假设的推翻，以及开发过程陷入无意义的重复检查-修复循环。 ### 2. Harness-of-Harness (HoH) 框架为解决上述问题，论文提出 **Harness-of-Harness (HoH)**。其核心思想是：**不修改现有编码代理（coding agent）的底层 harness 实现，而是在其之上构建一个编排层，将单次开发扩展为迭代的规划–编码–测试循环**。 #### 2.1 三角色分离与权限隔离每一轮迭代固定调用三次相同的 harness–model 配置，通过角色特定的提示与运行时契约赋予不同职责： - **Project Planner（项目规划器）**：综合全局需求规格 S 与上一轮测试证据 E(t-1) ，制定本轮的开发文档 D_t 。该文档定义有界且局部完整的增量目标、需保留的已验证行为及验收条件。规划器**只读**当前制品，无权修改代码。 - **Developer（开发者）**：基于当前制品 A(t-1) 与开发文档 D_t 实施增量开发，拥有制品的**唯一写权限**。开发过程中嵌入“基线–改动–重测”的左移测试，确保局部失败就近暴露。开发者自测仅用于判断实现是否可提交，**不构成最终验收**。 - **QA Tester（质量保障测试器）**：以**只读、冻结**方式独立评估候选制品 A_t ，通过黑盒测试（用户可观测行为）与白盒测试（源码、配置、运行时状态）相结合的多维评估，生成结构化证据报告 E_t 。 #### 2.2 跨循环双状态管理 HoH 显式维护两种互补的跨迭代状态，避免信息在长轨迹中丢失： - **制品状态（Artifact State）** A_t ：承载当前源码、配置与资源，使开发可增量延续，避免每轮从零重建。 - **证据状态（Evidence State）** E_t ：记录已验证行为、未满足需求、观测失败与回归风险。该状态将已验证功能转化为**保护约束（preservation constraints）**，并指导后续规划优先处理阻塞性缺陷与未解决缺口。 #### 2.3 关键设计原则 - **约束可验证输出，而非规定工作流**：每个角色必须返回符合预设 schema 的结构化产物，违反则触发重试，但保留代理在推理路径、工具选择与实现策略上的自主性。 - **渐进式信息披露（Progressive Disclosure）**：计划、报告与历史记录持久化于文件系统，运行时仅暴露简洁的分类索引，详细内容按需检索，缓解上下文窗口压力。 - **鼓励复用与版本化历史**：角色特定工具与技能按需渐进暴露；通过版本控制记录项目演化，支持重大回归后的状态回退与历史经验复用。 ### 3. 实验验证论文通过两类互补实验验证 HoH 的有效性： #### 3.1 控制基准测试在 **GameCraft-Bench**（游戏开发）、**FrontierSWE**（软件工程）和 **ProgramBench**（程序重建）三项基准上，使用三种 harness–模型配置（Codex + GPT-5.5、OpenCode + DeepSeek-V4-Pro、Pi + MiniMax-M3）进行评估： - **一致且显著的提升**：HoH@3（三轮迭代）在所有配置与基准上均优于 Vanilla（单次开发）。GameCraft-Bench Overall 分数平均提升 16.62–22.08 分，FrontierSWE 平均提升 19–29 个百分点，ProgramBench 平均测试通过率提升 6.09–16.85 分。 - **持续迭代收益**：FrontierSWE 上 Codex 配置延续至 10 轮迭代，Dominance 从 Vanilla 的 27.33% 提升至 72.67%。 - **消融与预算控制**：对比实验证明，HoH 的增益源于其结构化循环机制，而非单纯的计算量堆砌；移除计划更新、证据反馈或制品热启动任一机制，性能均显著下降。 #### 3.2 多日自主 FPS 游戏开发在 **Fusepoint** 案例中，HoH 仅基于一份产品需求文档（PRD），通过 **70 轮自主迭代**、跨多天的运行，从零构建了一款人类可玩的单人叙事第一人称射击游戏。该游戏包含有序的关卡进程、完整的战斗与武器系统、敌人 AI、玩家引导（HUD、小地图）、过场动画及打磨的视觉与音频效果。开发轨迹通过 GitHub 版本控制与问题追踪完整保留，期间 81 个 issue 中的 65 个被关闭，展现了长程开发中的能力增长、缺陷修复与回归管理动态。 ### 4. 结论 Harness-of-Harness 为现有编码代理 harness 提供了一种实用的路径，使其能够参与长程、端到端的自主软件开发。通过将固定 harness–模型配置组织为持续的规划–编码–测试循环，并显式维护制品与证据双状态，HoH 在受控基准与开放域复杂项目中都实现了显著的、可持续的质量提升，展示了向完全自主软件工程迈进的潜力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Haoyang Yan,Min-le Su,Hangfan Zhang,Zhanhao Li,Chen Zhang,Shao Zhang,Yang Chen,Lei Bai,Shuyue Hu

Categories:

PDF URL: https://arxiv.org/pdf/2609.01481.pdf

Arxiv URL: https://arxiv.org/abs/2609.01481

Arxiv ID: 2609.01481

CoolPaper URL: https://papers.cool/arxiv/2609.01481

Published: 2026-09-03T01:26:35.799Z

Updated: 2026-09-03T01:26:35.799Z

15. EM^2Mem: Event-Centric Multimodal Memory for Large Language Models

Abstract:Multimodal memory offers a scalable interface for long-video question answering, but existing methods often retrieve captions, frames, transcripts, summaries, or graph facts as isolated fragments. Although searchable, such fragments are not generation-ready: language models must reconstruct cross-modal and temporal alignments at inference time, when context is limited and attribution is difficult. We propose EM^2Mem, an event-centric multimodal memory framework that binds heterogeneous evidence to event anchors during memory construction. Each event-indexed memory cell aligns multimodal records, temporal context, graph-linked relations, semantic facts, and provenance, enabling compact evidence readout over grounded multimodal events rather than modality-specific fragments. Across three long-video QA benchmarks, EM^2Mem improves average accuracy over the strongest memory baseline by 2.0, 2.4, and 3.7 points, improves strict event-level Top-5 evidence recall by 7.0 points, and reduces per-query latency by 4.67 times and total inference tokens by 63.66% (The code will be integrated into this https URL).

中文摘要

摘要：多模态记忆为长视频问答提供了可扩展的接口，但现有方法通常将字幕、帧、文字记录、摘要或图谱事实作为孤立片段进行检索。尽管这些片段可搜索，但并不适合生成：语言模型在推理时必须重建跨模态和时间对齐，而此时上下文有限且归因困难。我们提出了 EM^2Mem，一种以事件为中心的多模态记忆框架，在记忆构建过程中将异质证据绑定到事件锚点上。每个事件索引的记忆单元对齐多模态记录、时间上下文、图谱关联关系、语义事实和来源信息，使得可紧凑地读取以事件为基础的多模态证据，而不是特定模态的片段。在三个长视频问答基准中，EM^2Mem 相较最强的记忆基线平均准确率提高了 2.0、2.4 和 3.7 点，严格事件级 Top-5 证据召回率提高了 7.0 点，并将每次查询延迟降低了 4.67 倍，总推理 tokens 数量减少了 63.66%（代码将集成到此 https URL）。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.00551 (HTTP 429)

Authors: Yijun Chen,Yaqi Zheng,Yanya Li,Boyi Xiao,Buqiang Xu,Shuofei Qiao,Jizhan Fang,Xinle Deng,Yunzhi Yao,Xuehai Wang,Liuxin Zhang,Hui Li,Huajun Chen,Shumin Deng

Categories:

PDF URL: https://arxiv.org/pdf/2609.00551.pdf

Arxiv URL: https://arxiv.org/abs/2609.00551

Arxiv ID: 2609.00551

CoolPaper URL: https://papers.cool/arxiv/2609.00551

Published: 2026-09-03T01:26:36.454Z

Updated: 2026-09-03T01:26:36.454Z

16. Agents in the Large: Perception-Centered Architecture for Persistent Agents

Abstract:Cognitive language agents have achieved substantial progress by equipping language models with memory, tools, and decision-making procedures, enabling agents to reason and act in interactive environments. Existing frameworks largely cast these agents as systems for solving user-specified, bounded tasks. An increasingly important goal is for language agents to provide persistent assistance in long-lived settings where user needs, context, and service procedures persist and change, and to remain useful across the broad range of tasks that arise over time. Yet we still lack a framework to characterize persistent AI agents, organize existing work, and guide future development. To this end, we propose a Perception-Centered Architecture for Persistent Agents (Pera). Pera describes a persistent agent organized around perception and control components that continually perceive service-relevant signals from episodic task executions, internal context, and changes in the surrounding environment, and use these signals to construct lifecycle tasks. These tasks drive the ongoing operation and adaptation of the agent’s service procedures. We use Pera to retrospectively organize recent work, examine a detailed case study, and offer forward-looking insights for building more capable persistent agents. Just as software engineering moved from programming in the small to programming in the large, Pera frames the evolution of language agents as an analogous architectural transition toward long-lived, adaptive intelligence systems.

中文摘要

摘要：认知语言代理通过为语言模型配备记忆、工具和决策程序，实现了显著进展，使代理能够在交互环境中推理和行动。现有框架在很大程度上将这些代理作为用于解决用户指定的、有界任务的系统。一个日益重要的目标是，使语言代理能够在长期环境中提供持续的帮助，在这些环境中用户需求、上下文和服务程序持续存在并不断变化，并能够在随时间出现的各种任务中保持有用。然而，我们仍然缺乏一个框架来描述持久的人工智能代理、组织现有工作并指导未来发展。为此，我们提出了面向感知的持久代理架构（Pera）。Pera 描述了一个围绕感知和控制组件组织的持久代理，这些组件持续感知来自情节性任务执行、内部上下文以及周围环境变化的服务相关信号，并利用这些信号构建生命周期任务。这些任务驱动着代理服务程序的持续操作和适应。我们使用 Pera 对近期工作进行回顾性组织，审视一个详细的案例研究，并提供建设更强大持久代理的前瞻性见解。正如软件工程从小型编程向大型编程发展一样，Pera 将语言代理的演变框架化为一种类似的架构转变，迈向长期存在的、自适应的智能系统。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2608.30478 (HTTP 429)

Authors: Shihan Dou,Haoxiang Jia,Shichun Liu,Feng Chen,Chenhao Huang,Yujiong Shen,Shaofan Liu,Jiayi Chen,Jiahang Lin,Honglin Guo,Qianyu He,Minghao Guo,Ziyi Ye,Pluto Zhou,Tao Gui,Qi Zhang,Xuanjing Huang

Categories:

PDF URL: https://arxiv.org/pdf/2608.30478.pdf

Arxiv URL: https://arxiv.org/abs/2608.30478

Arxiv ID: 2608.30478

CoolPaper URL: https://papers.cool/arxiv/2608.30478

Published: 2026-09-03T01:26:38.704Z

Updated: 2026-09-03T01:26:38.704Z

17. Control-Data Flow Separation: Stable Prompt Optimization in Multi-Agent LLMs

Abstract:Prompt optimization can improve multi-agent LLM systems, but the prompts being optimized often serve two entangled roles: generating task-relevant content and specifying execution-critical protocols, such as message routing, output formatting, and termination signals, on which the underlying code relies. As a result, a prompt edit intended to improve content generation can inadvertently corrupt the protocol and cause the entire agent pipeline to fail. Our key observation is that these two roles have different representations: execution protocols are typically structured, while task-relevant content is usually expressed in unstructured language. Based on this, we propose control-data flow separation, where execution-critical control is represented as typed, validated program objects, while task-relevant language remains the optimizable data flow for agent communication. This design allows optimizers to improve multi-agent behavior without exposing the routing or formatting interface to prompt drift. Across synthetic reasoning, collaborative review generation, and insurance rating workflows, our framework empirically achieves 100% eventual protocol validity while consistently improving task performance.

中文摘要

摘要：提示优化可以改善多智能体大语言模型（LLM）系统，但被优化的提示通常承担两个交织的角色：生成与任务相关的内容以及指定执行关键的协议，例如消息路由、输出格式和终止信号，而这些协议是底层代码依赖的。因此，本意在于改善内容生成的提示编辑可能会无意中破坏协议，从而导致整个智能体流程失败。我们的关键观察是，这两个角色具有不同的表示方式：执行协议通常是结构化的，而与任务相关的内容通常以非结构化语言表达。基于此，我们提出了控制-数据流分离，其中执行关键的控制被表示为类型化、验证过的程序对象，而与任务相关的语言保持为可优化的数据流，用于智能体通信。这种设计允许优化器在不暴露路由或格式接口给提示漂移的情况下改善多智能体行为。在合成推理、协作审查生成以及保险评级工作流程中，我们的框架在经验上实现了 100% 的最终协议有效性，同时持续提升任务性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.00621 (HTTP 429)

Authors: Wentao Zhang,Syed Shariyar Murtaza,Junaid Ahmad Bhatti,Utkarsh Soni,Yifan Nie,Eugene Wen,Yuntian Deng

Categories:

PDF URL: https://arxiv.org/pdf/2609.00621.pdf

Arxiv URL: https://arxiv.org/abs/2609.00621

Arxiv ID: 2609.00621

CoolPaper URL: https://papers.cool/arxiv/2609.00621

Published: 2026-09-03T01:26:40.251Z

Updated: 2026-09-03T01:26:40.251Z

18. E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

Abstract:Long-horizon agentic tasks go beyond chaining short tasks over more interaction turns. Their evolving dynamic environments and long-range dependencies require Large Language Models (LLMs) to continually explore, learn from experience, and adapt their policies over thousands of steps. We introduce E-Commerce Bench, the first open-source benchmark that integrates multi-round counterpart negotiation and dynamic events into a year-long business operation. Over a 365-day year, an LLM agent concurrently runs multiple online stores, researching the market, negotiating with suppliers to source inventory, optimizing sales strategies, fulfilling orders, handling returns, and managing cash flow to maximize its end-of-year total assets. To construct a realistic merchant-side operating environment, the product and supplier data are derived from a real e-commerce platform, while a year-long calendar of promotions, natural disasters, and supply-chain shocks continually reshapes demand. For reproducibility, both sides of the market are deterministic: customer purchases and returns follow a fixed demand model, while a negotiation kernel determines supplier pricing, concessions, and decisions, with an LLM used only to verbalize them. We evaluate 18 frontier models across seven dimensions, including year-end assets, and find that no single model dominates. GPT-5.6 Sol earns the most, growing the 100,000 opening stake into 1,431,425, yet it ranks 16th of 18 on fraud avoidance and trails Fable5 in operational efficiency. Among open-weight models, Qwen3.8-Max-Preview leads with 416,252, 38% above GLM 5.2 (high), and achieves the strongest learning over the horizon, progressively bargaining down prices across repeated orders. Our code is available at this https URL.

中文摘要

摘要：长期代理任务不仅仅是通过更多交互回合将短期任务串联起来。其不断发展的动态环境和长期依赖性要求大型语言模型（LLMs）能够持续探索、从经验中学习，并在数千步中不断调整其策略。我们引入了 E-Commerce Bench，这是第一个将多轮对手谈判和动态事件整合到为期一年的商业运营中的开源基准。在365天的一年中，LLM代理同时运营多个在线商店，进行市场调研，与供应商谈判以获取库存，优化销售策略，履行订单，处理退货，并管理现金流，以最大化年末总资产。为了构建一个真实的商家端运营环境，产品和供应商数据来源于真实电商平台，同时一年中的促销活动、自然灾害和供应链冲击不断重塑需求。为了确保可重复性，市场双方都是确定性的：顾客购买和退货遵循固定的需求模型，而谈判内核决定供应商的定价、让步和决策，LLM仅用于口头表达结果。我们在七个维度上评估了18个前沿模型，包括年末资产，发现没有单一模型占据绝对优势。GPT-5.6 Sol 收益最高，将10万的初始资金增长至1,431,425，但在防欺诈方面排名18个中第16位，并且在运营效率上落后于 Fable5。在开源权重模型中，Qwen3.8-Max-Preview 以416,252领先，高出 GLM 5.2（高）38%，并在长期学习能力上最强，通过重复订单逐步降低价格。我们的代码可在此 https URL 获得。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*现有长程智能体（long-horizon agentic）基准测试在评估大型语言模型（LLM）自主商业运营能力时的关键缺陷\*\*。具体而言，其核心试图解决以下三方面问题： --- ### 1. 现有基准测试未能真实刻画动态商业环境当前的长期任务基准主要分为两类，但均存在明显局限： - \*\*Episodic 基准\*\*（如 SWE-bench、OSWorld）：设定明确目标并在达成后终止，无法评估智能体在\*\*无终止状态的持续运营环境\*\*中，如何追踪跨数百个子任务的长期依赖、从意外失败中恢复，以及将累积经验转化为更优决策的能力。 - \*\*Continuing 基准\*\*（如 Vending-Bench、YC-Bench、MerchantBench）：虽模拟持续运营，但要么： - 依赖 LLM 生成的供应商反馈，导致\*\*高度随机且易受操纵的谈判对手\*\*； - 完全缺失多轮供应商谈判或对抗性动态； - 使用模拟数据而非真实平台数据，偏离真实市场机制。 --- ### 2. 基于 LLM 采样的谈判对手引入不可重复的评估噪声在涉及多轮谈判的任务中，若谈判对手完全由 LLM 驱动，则存在双重问题： - \*\*采样随机性\*\*：不同运行中对手的报价、让步和决策因采样而异，导致智能体表现的差异可能源于运气而非策略。 - \*\*可操纵性\*\*：足够"雄辩"的智能体可能通过对话诱导对手突破其预设底线，使基准测试沦为\*\*越狱提示（jailbreaking）竞赛\*\*，而非对经济决策能力的严谨评估。 --- ### 3. 单一维度的总分无法揭示能力的结构性缺陷现有商业模拟基准通常仅以年末总资产等单一指标排名。这种" leaderboard "式的评估会掩盖关键失败模式： - 一个模型可能总资产最高，但在\*\*欺诈规避\*\*、\*\*运营效率\*\*或\*\*长期学习\*\*上表现极差； - 无法区分"靠冒险和投机获利"与"靠稳健运营和谈判技巧获利"的不同策略质量。 --- ### 论文的回应：E-Commerce Bench 的设计目标针对上述问题，本文提出 \*\*E-Commerce Bench\*\*，并明确其三大贡献： 1. \*\*构建首个融合真实数据、确定性谈判与动态事件的年度商业运营开源基准\*\* 基于淘宝与天猫平台的脱敏数据，涵盖 6,886 种商品、 576 家供应商及全年促销/灾难事件日历，要求智能体在 365 天内并发运营最多 4 家网店，完成从市场调研、库存采购到现金流管理的完整闭环。 2. \*\*双边确定性机制确保可重复性\*\* - \*\*需求侧\*\*：客户购买与退货遵循固定的多因子需求模型，随机性仅由 episode 种子控制； - \*\*供给侧\*\*：引入\*\*确定性谈判内核（deterministic negotiation kernel）\*\*，所有定价、让步及接受/拒绝决策由固定策略函数决定，LLM 仅负责将决策渲染为自然语言对话。这消除了采样噪声，确保同一策略序列必然产生同一经济结果。 3. \*\*七维能力画像替代单一排行榜\*\* 除年末总资产（primary score）外，独立评估六项核心能力：\*\*谈判质量\*\*、\*\*欺诈规避\*\*、\*\*偿债能力\*\*、\*\*运营效率\*\*、\*\*运营执行\*\*与\*\*跨年度学习\*\*。这揭示了不同模型的\*\*能力剖面极度不均衡\*\*——例如，盈利最高的 GPT-5.6 Sol 在欺诈规避上排名第 16/18 ，而谈判最强的 Claude Opus 4.7 仅位列总资产的中间梯队。简言之，该论文试图将 LLM 智能体评估从\*\*短程、静态、单一维度、不可重复的实验\*\*，推进到\*\*长程、动态、多维度、严格可重复的真实商业运营检验\*\*。 Q2: 有哪些相关研究？该论文在第 2 节（Related Work）中系统梳理了长程智能体（long-horizon agentic）评估的相关研究，并将其按照强化学习中的经典分类组织为\*\*情节式（episodic）\*\*与\*\*持续性（continuing）\*\*两大范式。 --- ### 1. 情节式长程智能体任务（Episodic Long-Horizon Agentic Tasks）此类研究设定明确的终止状态与最终目标，评估聚焦于任务完成质量或最终交付物，不考察智能体在无终点环境中的持续适应能力。论文引用的代表性工作包括： - \*\*工作价值评估类\*\* - \*\*GDPval\*\*（Patwardhan et al., 2025）：评估知识型工作的经济价值，由专家打分。 - \*\*TheAgentCompany\*\*（Xu et al., 2025）：在模拟软件公司中完成员工任务。 - \*\*真实环境交互类\*\* - \*\*SWE-bench\*\*（Jimenez et al., 2024）：基于真实 GitHub issue，要求智能体修改代码并通过测试。 - \*\*OSWorld\*\*（Xie et al., 2024）：在真实操作系统 GUI 上执行开放式任务。 - \*\*探索驱动类\*\* - \*\*UltraHorizon\*\*（Luo et al., 2025）：在部分可观测世界中隐藏规则，考察推理能力。 - \*\*EdgeBench\*\*（Zhu et al., 2026）：智能体在单一环境中持续学习 12–72 小时。 \*\*局限性\*\*：无论轨迹多长，任务在目标达成瞬间即终止，无法评估智能体对动态环境的长期跟踪、失败恢复以及基于累积历史优化未来行动的能力。 --- ### 2. 持续性长程智能体任务（Continuing Long-Horizon Agentic Tasks）此类任务没有终止状态，智能体无限期运行，评估基于累积收益。该领域又可细分为： #### 2.1 金融交易与自我进化智能体 - \*\*实时交易\*\*（Qian et al., 2025; Chen et al., 2026）：评估 LLM 在多市场实时交易中的累积回报。 - \*\*自我进化系统\*\*：如 \*\*Voyager\*\*（Wang et al., 2023）扩展技能库，以及 \*\*Darwin Gödel Machine\*\*（Zhang et al., 2026b）重写自身代码。 #### 2.2 商业运营模拟（Business-Operation Simulation）这是与本文最直接相关的子领域，论文重点对比了以下基准： | 基准 | 核心特点 | 与本文的关系 | |------|---------|-------------| | \*\*Vending-Bench\*\*（Backlund & Petersson, 2025） | 首个自动售货机长程基准，约 2000 步，引入 LLM 生成的供应商回复。 | 供应商对话高度随机，缺乏可重复性。 | | \*\*Vending-Bench 2\*\*（Andon Labs, 2026） | 扩展至全年运行，加入对抗性供应商，但仍由 LLM 驱动。 | 保留了随机性，且为闭源评估。 | | \*\*YC-Bench\*\*（He et al., 2026） | 运行确定性的创业首年，客户为基于规则的智能体。 | 缺失供应商谈判环节。 | | \*\*MerchantBench\*\*（Shi et al., 2026） | 基于真实平台数据的 365 天卖家运营，供应商以随机事件形式出现。 | 无谈判机制，无对抗性供应商。 | | \*\*RetailBench\*\*（Zhang et al., 2026c） | 180 天超市运营，面对特权级 oracle。 | 无谈判、无多店协调、无真实数据驱动的对抗动态。 | | \*\*TERMS-Bench\*\*（Zhang et al., 2026a） | 双边价格谈判诊断基准，对手为基于规则的脚本。 | 仅聚焦谈判本身，缺乏将谈判结果嵌入真实经济运行的环境。 | --- ### 3. 现有研究的共性问题与本文定位论文指出，现有基准存在\*\*两难困境\*\*： - \*\*Vending-Bench 系列\*\*虽包含谈判与对抗供应商，但依赖 LLM 采样驱动对手，导致运行间存在显著随机噪声，且使用模拟数据； - \*\*MerchantBench / RetailBench\*\*虽基于真实数据并保证可重复性，但完全放弃了谈判与对抗性动态。此外，现有谈判基准（如 TERMS-Bench）仅诊断单次或双边讨价还价，未将谈判结果置于持续运营的经济环境中检验其长期影响。 \*\*E-Commerce Bench 的定位\*\*：首次在单一开源基准中同时实现以下六项属性： - \*\*真实数据\*\*（Real data）：基于淘宝 & 天猫脱敏数据； - \*\*多轮供应商谈判\*\*（Negotiation）：确定性内核驱动，LLM 仅渲染对话； - \*\*多智能体/对手\*\*（Multiagent）：数百个独立供应商； - \*\*对抗性欺诈\*\*（Adversarial）：152 家欺诈供应商运行五种诈骗脚本； - \*\*可重复性\*\*（Reproducible）：双边市场完全确定性； - \*\*开源\*\*（Open source）：代码与数据公开。通过这一设计，论文将评估从“单次任务完成”推向“全年持续运营中的多维能力画像”，从而填补了长程智能体在商业决策评估上的关键空白。 Q3: 论文如何解决这个问题？论文通过构建 \*\*E-Commerce Bench\*\* 这一开源基准环境，从架构设计、确定性机制与评估范式三个层面系统性地解决了上述问题。具体方案可归纳为以下五个维度： --- ### 1. 构建基于真实数据的全年持续运营环境为突破现有基准在“真实市场动态”与“可重复性”之间的两难，论文设计了一个跨度为 365 天、无终止状态的电商运营模拟。 - \*\*真实数据 grounding\*\*：产品目录、供应商成本底线、品类需求参数均来源于淘宝与天猫平台的脱敏或 empirical 日志校准数据，涵盖 6,886 个 SKU、 60 个品类、 576 家供应商（其中 152 家为欺诈供应商）及 12 种店铺类型（§3.6.1）。 - \*\*动态事件系统\*\*：全年日历固定嵌入 8 场可选择的促销活动与 10 场不可规避的市场事件（如自然灾害、供应链冲击），通过需求乘数与交货延迟因子持续重塑市场环境（§3.4.6，图 15）。 - \*\*三相账户延迟结算\*\*：资金在\*\*银行账户\*\*（即时支付所有成本）、\*\*平台待结算账户\*\*（发货后 9 天到账）与\*\*平台钱包\*\*（需主动提现）之间流转，强制产生营运资金缺口，使偿债能力成为独立的评估维度（§3.4.2，图 6）。 - \*\*多店并发与声誉系统\*\*：智能体最多并发运营 4 家不同类型的店铺，每家店铺的声誉随发货履约率动态变化，并直接乘以需求函数，使短期投机行为在长期产生销售损失（§3.4.1，§3.4.5）。 --- ### 2. 引入“确定性谈判内核”消除评估噪声针对 LLM 驱动谈判对手导致的采样随机性与可操纵性问题，论文提出\*\*双层供应商架构\*\*（§3.5.2），将经济决策与语言渲染完全解耦： #### Layer 1：确定性谈判内核（Deterministic Negotiation Kernel）所有定价、让步及接受/拒绝决策均由固定的策略函数产生，而非由 LLM 采样决定。内核状态包含： - 保留价格（reservation price）与成本底线，由数据层校准； - 行为模板（behavior template），决定供应商的激进程度与让步模式； - 基于逻辑斯谛分布的接受概率与退出阈值（§D.1）：

a_k = 1[δ_k ≥ 0] · σ(α δ_k + β kappa_B - γ (1 - (k) / (K)) + rho_f s_m + xi_f g_m)

ωk = 1[δ_k < 0] 1[k ≥ k(walk)] · σ(φ0 + φ_Delta (-δ_k) + φ_t k - k(walk)K - k(walk))
其中 δ_k 为报价相对于供应商保留价格的有利程度， kappa_B 为紧迫度， (rho_f, xi_f) 为模板特定的互惠系数。还价遵循互惠原则（Faratin et al., 1998）：
λ^B = clip(λ_0 + λ_1 kappa_B - λ(2,f) c_m - λ_3 1_a + λ_4 1_c, 0, 1)

pk^B = clip(p(k-1)^B - λ^B (p(k-1)^B - r_B) + varepsilon, r_B, p(k-1)^B)
内核实例的随机流由供应商 ID、SKU 与周期索引的哈希种子固定，确保**相同的智能体动作序列在任何运行中都产生完全相同的供应商响应**（§D.2）。 #### Layer 2：NPC 渲染器（Renderer）一个独立的轻量级 LLM 仅负责将内核决策转化为自然语言对话，其语调由内核隐变量（sentiment cue, posture）约束。为防止渲染器篡改经济结果： - 接受报价时，智能体提交的接受价格必须与内核当前报价匹配到 ± 0.005 元，否则交易失败（§D.4）； - 渲染器无法修改内核已决定的数字或接受/拒绝状态。由此，只有语言风格的“表层”存在运行间方差，所有经济实质完全确定（§3.5.2，§4.1）。 —- ### 3. 强制信息非对称，激励探索与推断为避免智能体依赖预训练知识“背诵”答案，环境系统性地隐藏关键参数（§3.6.2）： | 智能体可见 | 智能体不可见 | 推断成本 | |—————-|——————|————-| | 品类参考价与“低/中/高”利润标签 | 供应商真实成本底线 cj^s | 需通过多轮谈判逐次逼近 | | 品类定性退货描述（可能低估） | SKU 自然退货率 θ_j^(nat) | 需采购后通过 `trace_return_sources` 观测 | | 自身零售价与昨日销量 | 需求弹性族与曲率参数 eta_c | 需控制实验，但受周末、促销、饱和项混淆 | | 店铺难度等级与运营费 | 店铺/品类需求容量上限 kappaτ, kappa_c | 需长期运营后统计推断 | 这种设计将“市场调研—谈判—验证—记忆”的闭环转化为必要的生存策略，而非可选的辅助行为。 —- ### 4. 长程上下文与持久记忆支持 365 天的运营涉及数千次工具调用，远超现有上下文窗口的可靠承载范围。论文通过以下机制维持长程一致性： - **基于模拟时间的回合制循环**：每次模型调用可批量请求多个工具，但每个工具消耗模拟分钟（如查余额 10 分钟、谈判 30 分钟），迫使智能体在时间预算内权衡信息获取与行动执行（§3.2.1）。 - **分组上下文驱逐**：当 transcript 超过 120,000 token（预算 128,000 ）时，按“模型回复 + 其全部工具结果”为组，从最旧组开始驱逐，直至释放 60,000 token；系统消息、首轮用户指令与最近两组永远保留（§3.2.2，图 5）。 - **持久化记忆存储**：提供 20 条笔记的独立存储空间，完全由智能体自主管理（创建、更新、删除），不受上下文驱逐影响，用于保存战略知识（如已谈判出的底价、欺诈供应商身份）（§3.2.3）。 —- ### 5. 七维能力画像替代单一排行榜为解决“总资产掩盖结构性缺陷”的问题，论文将评估分解为 1 个主要分数与 6 个独立维度（§3.7）： 1. **主要分数**：年末总资产（Asset Multiplier）。 2. **谈判质量**（Negotiation Quality）：以 CSE^+ 衡量，即诚实交易中智能体获取的议价区间份额。 3. **欺诈规避**（Fraud Avoidance）：以 BadSpend% 衡量，即流向欺诈供应商的采购资金占比。 4. **偿债能力**（Solvency）：以峰值回撤比 D_D / Peak 衡量，反映现金流管理稳健性。 5. **运营效率**（Operational Efficiency）：以“每次工具调用的平均利润”衡量。 6. **运营执行**（Operations Execution）：以“可控退货率”衡量，反映定价与物流策略的合理性。 7. **长期学习**（Learning over the Horizon）：以 AnchorRatio 衡量，检验智能体是否能在对同一供应商的重复采购中，将历史最低价锚定为后续谈判基准。该设计揭示了模型间的显著能力分化：例如，年末资产最高的 **GPT-5.6 Sol** 在欺诈规避上排名第 16/18 ，而谈判最强的 **Claude Opus 4.7** 仅列总资产第 8 位；开源模型中 **Qwen3.8-Max-Preview** 在跨年度学习上显著优于其他模型（§4.2，§4.3，图 2，图 9）。 —- ### 总结简言之，论文通过 **“真实数据 + 确定性内核 + 多维诊断”** 的三位一体设计，将 LLM 智能体评估从短程、随机、单一维度的任务完成测试，转化为长程、可重复、细粒度分化的商业运营能力检验。其中，确定性谈判内核是方法论层面的核心创新，证明了复杂多方交互中的评估噪声可以通过规则层与渲染层的分离而被根除。 Q4: 论文做了哪些实验？论文在 **Section 4** 中系统开展了面向 18 个前沿模型的全年电商运营实验，核心实验设计与发现如下。 —- ### 1. 实验设置（§4.1） - **被测模型**： 18 个模型，其中 8 个为专有/闭源模型（如 GPT-5.6 Sol、Fable5、Claude Opus 系列、Gemini 系列）， 10 个为开放权重模型（如 Qwen3.8-Max-Preview、GLM 5.2、Kimi K3、DeepSeek-V4-Pro-Preview 等）。详见 Table 10。 - **运行次数**：每个模型运行 5 个独立 episode，共计 90 个模拟年份。 - **环境控制**：所有模型共享同一个固定世界（fixed world），环境种子统一设为 `20260122`。除 Layer-2 渲染器（NPC 对话措辞）存在默认采样外，客户购买、退货与供应商谈判内核均为确定性（§3.5.2），确保差异仅源于智能体策略。 - **调用配置**：使用各提供商的默认解码参数（不指定 temperature 或 top_p），在支持思考模式的模型上强制启用该功能。 - **运行上限**：每回合最多 4,000 次模型调用，所有 90 个 episode 均在达到上限前结束——或以 365 天完成全年，或因连续 10 日银行余额为负而破产。 —- ### 2. 总体性能（§4.2）实验首先呈现 18 个模型的年末总资产 leaderboard（Table 2 与 Figure 1）。 - **资产差距悬殊**：在相同的 ¥ 100,000 本金下，最优与最差模型相差逾 1,264 倍。 - **GPT-5.6 Sol** 均值最高，达 ¥ 1,431,425 （ 14.31× 本金）。 - **Qwen3.5-Plus** 均值最低，仅 ¥ 1,100 （ 0.01× 本金），且 4/5 次运行破产。 - **闭源与开源分层**：专有模型包揽前四；开源模型中 **Qwen3.8-Max-Preview** 以 ¥ 416,252 （ 4.16× ）位列第五，领先次优开源模型 GLM 5.2 (high) 约 38% 。 - **破产现象**： 90 个 episode 中 10 次破产，集中于 GPT-5.5（ 2/5 ）、Claude Opus 4.6（ 2/5 ）、Gemini 3.1 Pro（ 2/5 ）与 Qwen3.5-Plus（ 4/5 ）。其中 GPT-5.5 的两次破产发生在第 17 天，尚未有任何销售收入结算。论文强调，按总资产单一排序仅反映了部分能力（Figure 2 雷达图显示顶尖盈利者并非最优谈判者或最高效运营者）。 —- ### 3. 多维度诊断实验（§4.3）除总资产外，实验独立测量了六个核心能力维度，每个维度均有专门的指标定义（§3.7，Appendix E）。 #### 3.1 谈判质量（§4.3.1） - **指标**： CSE^+ （Conditional Surplus Efficiency），衡量在达成交易的诚实供应商中，智能体从议价区间 $

cj^s, v_j
内获取的剩余份额。 - 结果： 18 个模型的 CSE^+ 介于 0.596 （Kimi K2.6）到 0.811 （Claude Opus 4.7）。接受首报价即得 0.50 ，因此所有模型仅在此基础上获得 0.10 – 0.31 的改进。 - 发现：协议率普遍饱和（ >96% ），差异主要来自成交价的压低程度；最难的供应商模板仅占诚实采购额的 4.8% ，反映智能体倾向于回避强硬对手。 #### 3.2 欺诈规避（§4.3.2） - 指标： BadSpend% ，即流向欺诈供应商的采购资金占总采购资金的比例。 - 结果：最优（Claude Opus 4.7， 0.12% ）与最差（Qwen3.5-Plus， 20.11% ）相差逾 160 倍。 - 发现：损失主要发生在成交后（post-deal），即短装与缺陷货（合计占欺诈损失的 >80% ）；会员费诈骗几乎未得手。模型在“接触”欺诈供应商的比例上差异不大，关键差异在于“将接触转化为订单”的比例（从 4.0% 到 31.7% ）。 #### 3.3 现金流与偿债能力（§4.3.3） - 指标：峰值回撤比 D_D / Peak ，即总资产从最高点下跌的幅度占峰值的比例。 - 结果： 5 个模型的平均回撤超过峰值的 50% ，且这 5 个模型恰好包含所有发生破产的模型。 - 发现：由于销售收入在发货后 9 天才进入平台钱包，且需主动提现， 49/90 个 episode 在一月份触及资产低谷。 17 个 episode 曾出现早晨负余额，其中 10 个最终破产。 #### 3.4 运营效率（§4.3.4） - 指标：Profit per tool call，即（年末总资产 - 本金）/ 全年工具调用次数。 - 结果：Fable5 以 ¥ 479 / 次居首，高于资产冠军 GPT-5.6 Sol（¥ 363 / 次）； 3 个模型（Kimi K2.6、Qwen3.6-Plus、Qwen3.5-Plus）的每次调用平均亏损。 - 发现： 71.8% 的工具调用集中于日常循环（等待下一天、发货、上架、提现、查询状态），而用于定价更新的调用仅占 0.66% 。持久记忆存储的使用率极低（占全场调用的 2.1% ）。 #### 3.5 运营执行（§4.3.5） - 指标：Controllable return rate（可控退货率），即由智能体自主定价高于参考价所额外导致的退货百分点。 - 结果：Qwen3.7-Max 为 -0.05 （即整体低于参考价），而 Qwen3.5-Plus 高达 5.88 个百分点。 - 发现：运费速度选择呈现高度路径依赖—— 72/88 个有销售的 episode 将至少 98% 的包裹置于同一速度档位。开店次数与盈利无稳定正相关。 #### 3.6 跨年度学习（§4.3.6） - 指标： AnchorRatio ，衡量智能体在对同一供应商重复采购同一 SKU 时，是否将历史最低价锚定为后续报价基准。值为 1.0 表示与随机重排无差异，低于 1.0 表示存在有效学习。 - 结果：仅 Qwen3.8-Max-Preview（ 0.834 ）与 Gemini 3.5 Flash（ 0.918 ）优于随机 null；其余 16 个模型显著劣于随机（中位数 1.369 ，最高 1.860 ）。 - 发现： 16/18 个模型在重复订单中的支付价格呈“向上漂移”——即后期订单反而比前期更差，表现出典型的锚定偏差（anchoring bias）。此外， 17/18 个模型在年末比年初更频繁地与欺诈供应商成交。 —- ### 4. 错误模式分析（§4.4）实验最后通过 10 条机械检测规则（Appendix G.5，Table 18 与 Figure 30）对 90 个 episode 进行系统性失败案例挖掘： - 破产路径：典型模式为年初过度采购导致库存积压、仓储费用滚雪球，最终资金链断裂（如 Qwen3.5-Plus 在第 0 集于 1 月 3 日大举进货后， 5 月 11 日破产，Figure 11）。 - 欺诈集中： 943/1,141 笔欺诈供应商订单发生在“同一供应商-同一 SKU”的二次及以上复购中，说明智能体未能从首次受损中识别并拉黑对手。 - 信息冗余： 2,180 次目录查询中 746 次为对已驱逐出上下文的先前查询的重复，而持久记忆几乎未被用于保存此类信息。 - 履约失误：订单因错过 2 天发货期限而取消的现象集中于年初前两周（尚未建立流程）与年末最后两周（提前停止运营）。论文进一步指出，某些常被归因于长程失败的假设（如频繁关店、忽视促销、年末集中崩溃）在数据中未被证实或仅获部分支持。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与架构设计，以下方向值得进一步探索： —- ### 1. 长程经验固化与策略优化机制论文发现，在 8,647 次重复采购中， 16/18 的模型未能将历史最低价锚定为后续谈判基准，反而呈现价格“向上漂移”（§4.3.6）。这暴露了当前 LLM Agent 在长程轨迹中缺乏有效的信用分配（credit assignment）与策略更新机制。 - 可探索点：如何将强化学习（RL）或在线策略梯度方法与 LLM Agent 结合，使其能在单一年度 episode 内部根据实际盈亏反馈调整谈判与定价策略，而非仅依赖上下文内的推理。 - 关键引用：§4.3.6 指出 “no gradient reaches inside an episode, so improvement must come from an agent reasoning over its own record”。 —- ### 2. 结构化记忆与信息检索架构尽管论文提供了独立于上下文的持久化记忆存储（persistent memory），但 18 个模型对该模块的调用率极低（仅占全场工具调用的 2.1% ），导致大量已驱逐的关键信息（如供应商底价、欺诈身份）被重复查询或彻底遗忘（§4.3.4, §4.4）。 - 可探索点：设计针对商业运营场景的分层记忆架构（如情节记忆-语义记忆-程序记忆），或引入基于向量检索的 RAG 机制，使 Agent 能主动存取结构化商业情报（供应商画像、需求弹性估计），而非依赖易失的上下文窗口。 - 关键引用：§3.2.3 及 §4.4 指出研究查询被大量重复（ 746 次重复查询），而记忆存储几乎闲置。 —- ### 3. 对抗性供应商的自适应演化当前 benchmark 中的欺诈供应商遵循五种固定脚本与确定性内核（§3.5.4, §D.5）。尽管这保证了可重复性，但与真实世界中动态演化、针对 Agent 行为调整策略的对手仍有差距。 - 可探索点：构建自适应对抗供应商内核，使其能根据 Agent 的历史谈判模式（如让步速度、复购规律）动态切换诈骗策略；或引入多智能体竞争环境，让供应商之间也存在竞争与信誉机制。 - 关键引用：§3.5.2 明确将确定性内核设计为可重复的 baseline，并指出 Layer-2 渲染器的采样是唯一变异源。 —- ### 4. 多 Agent 市场竞争与协作 E-Commerce Bench 当前为单 Agent 独占市场（§3.4）。所有需求与供应环境对单一 Agent 开放，缺乏同类智能体间的竞争或上下游协作。 - 可探索点：扩展为多 Agent 同时运营的共享市场，引入价格竞争、库存外部性（库存容量约束下的竞合）、甚至供应链协作（如联合采购以获得批量折扣）。这将考验 Agent 的博弈论推理与市场均衡感知能力。 - 关键引用：§3.4.3 的需求饱和项（category/store capacity）已为竞争效应埋下机制基础，但未在评估中激活。 —- ### 5. 主动学习与信息获取策略环境存在系统性的信息不对称（§3.6.2）：Agent 无法直接观测需求弹性、供应商成本底线、欺诈标签等关键参数，必须通过实验性采购、定价与谈判来推断。 - 可探索点：将商业运营形式化为部分可观测马尔可夫决策过程（POMDP），研究 Agent 如何执行最优实验设计（optimal experimental design）——例如，如何权衡“探索性定价”与“ exploitation 利润”，或如何通过最小化样本量的谈判轮次来校准供应商底线。 - 关键引用：§3.6.2 详细列出了每一项隐藏参数及其发现成本。 —- ### 6. 动态定价与库存联合优化实验显示，Agent 对定价工具的使用率极低（全年平均不足 3 次调用，占 0.66% ），导致大量商品价格在季节、促销与声誉变化下长期固定（§4.3.4, §4.3.5）。同时，库存积压是破产的主因之一（§4.4, Figure 11）。 - 可探索点：将运营决策分解为战略层（品类选择、供应商组合）与战术层（每日动态定价、库存补货点），引入基于价格弹性的收益管理（revenue management）算法，或让 Agent 内生地维护需求预测模型。 - 关键引用：§3.4.3 给出了确定性需求模型的完整公式，但未被任何 Agent 显式学习或利用。 —- ### 7. 现金流危机预警与鲁棒决策 10/90 的 episode 以破产告终，且许多模型在银行余额已为负时仍持续大额采购（§4.3.3, Figure 11）。Agent 缺乏对营运资金缺口（working capital gap）的显式建模。 - 可探索点：为 Agent 嵌入财务规划模块（如现金流预测、风险约束下的采购规划），或引入鲁棒优化（robust optimization）框架，使其在供应延迟、退货冲击与平台结算周期下保持偿债能力。 - 关键引用：§3.4.2 的三账户延迟结算机制明确设计了 9 天 escrow 窗口与 10 天破产规则，但 Agent 未能内化此时间结构。 —- ### 8. 跨领域迁移与通用商业智能当前 benchmark 局限于单一电商场景（中国在线零售）。不同商业模式（如 SaaS 订阅、制造业 B2B、跨境贸易）具有不同的现金流结构、谈判模式与风险来源。 - 可探索点：将 E-Commerce Bench 的四层架构（Agent Loop / Tool / Environment / Data）迁移至其他商业领域，验证 LLM Agent 的通用商业决策能力（如跨领域迁移学习、商业模式理解的少样本泛化）。 - 关键引用：§5 指出该 benchmark 提供了 “a foundational blueprint for next-generation agent evaluation”。 —- ### 9. 可解释性与决策归因在长程运营中，年末资产的差异是数千个微观决策（单次定价、某笔采购、某次提现）的复合结果。当前评估以聚合指标为主，难以追溯关键决策节点。 - 可探索点：开发面向长程商业 Agent 的因果归因方法（如反事实模拟：若 Agent 在第 t 天未向某欺诈供应商复购，其年末资产将如何变化），以生成可解释的商业审计报告。 - 关键引用：§4.4 的故障检测规则（Table 18）是初步的归因尝试，但仅覆盖 10 类预设模式。 —- ### 10. 人机混合谈判与真实市场接入论文的谈判内核由规则驱动，虽保证了可重复性，但无法捕捉人类谈判中的非理性、关系构建与创造性妥协。未来的终极验证是将 Agent 接入真实供应商 API 或人类众包谈判对手。 - 可探索点：设计人机混合 benchmark，其中内核决策由真实人类卖家做出（或通过平台历史对话数据训练的高度拟人化模型），在保留部分可重复性的同时检验 Agent 对真实社会信号的解读能力。 - 关键引用：§3.5.2 强调当前设计避免了 “sampling noise” 与 “jailbreaking contests”，但也承认渲染器的措辞是唯一的运行间变异源。 —- 简言之，这篇论文不仅为当前 LLM Agent 的商业运营能力提供了诊断基线，更通过其确定性架构与多维指标，为后续在记忆增强、对抗演化、多智能体博弈、主动学习与鲁棒财务决策等方向的研究奠定了可扩展的实验平台。 Q6: 总结一下论文的主要内容这篇论文围绕长程自主商业运营中的 LLM Agent 评估展开，提出了一个高度真实、可重复、多维度的基准测试框架。以下是主要内容的结构化总结： —- ### 1. 研究动机与问题现有长程智能体基准存在两个核心缺陷： - 评估可信度不足：涉及多轮谈判的持续性商业任务中，现有基准要么使用 LLM 生成的供应商反馈（引入采样噪声与可操纵性），要么完全放弃谈判与对抗动态，无法同时保证真实市场机制与严格可重复性。 - 单一维度遮蔽能力短板：现有商业模拟通常仅以年末总资产排名，掩盖了智能体在欺诈识别、现金流管理、运营效率等方面的结构性缺陷。 —- ### 2. 核心方案：E-Commerce Bench 论文构建了一个覆盖 365 天模拟经营周期 的开源电商运营基准，其关键设计包括： #### 2.1 真实数据驱动的经济环境 - 基于淘宝 & 天猫平台脱敏/校准数据，包含 6,886 个 SKU、 60 个品类、 576 家供应商（其中 152 家为欺诈供应商）。 - 全年嵌入 8 场可选促销与 10 场不可规避的市场事件（自然灾害、供应链冲击等），通过确定性需求模型重塑市场。 #### 2.2 确定性双边市场机制为消除评估噪声，环境在供需两侧均实现确定性： - 需求侧：客户购买与退货遵循固定的多因子需求模型，唯一的随机性由 episode 种子控制。 - 供给侧：引入确定性谈判内核（Deterministic Negotiation Kernel）。所有定价、让步、接受/拒绝决策由固定策略函数产生；LLM 仅作为渲染器将决策转化为自然语言对话，且渲染器无法篡改经济结果（接受报价需与内核报价匹配至 ± 0.005 元）。 #### 2.3 三相账户与延迟结算设计银行账户—平台待结算账户（escrow）—平台钱包的三层资金体系： - 成本（采购、运营、仓储、运费）即时从银行账户扣除； - 销售收入在发货后进入 escrow， 9 天后才成熟进入钱包，且需主动提现才能用于再投资。这强制产生营运资金缺口，使偿债能力成为独立评估维度。连续 10 天银行余额为负即触发破产。 #### 2.4 信息非对称与探索激励智能体无法直接观测供应商成本底线、SKU 真实退货率、需求弹性参数等关键变量，必须通过谈判实验、库存周转和反复交互逐步推断。 #### 2.5 长程上下文支持 - 分组上下文驱逐：当 transcript 超过 120,000 token 时，按“模型回复+工具结果”为组从旧到新驱逐，系统消息与最近两组永久保留。 - 持久化记忆存储：提供 20 条笔记的独立存储空间，完全由智能体自主管理，不受上下文驱逐影响。 —- ### 3. 多维度评估体系论文将评估从单一 leaderboard 扩展为 1 个主要分数 + 6 个独立维度的能力画像： | 维度 | 排名指标 | 核心含义 | |:—-|:—-|:—-| | 主要分数 | 年末总资产倍数 M = A / A_0 | 全年最终盈利 | | 谈判质量 | CSE^+ | 诚实交易中获取的议价区间剩余份额 | | 欺诈规避 | BadSpend% | 流向欺诈供应商的采购资金占比 | | 偿债能力 | 峰值回撤比 D_D / Peak | 总资产从最高点的最大相对下跌 | | 运营效率 | Profit per tool call | 每次工具调用的平均利润 | | 运营执行 | 可控退货率 θ(ctl) | 因定价高于参考价而额外产生的退货 | | 长期学习 | AnchorRatio | 重复采购同一 SKU 时，是否将历史最低价锚定为后续基准 | —- ### 4. 实验设计与主要结果 - 被测模型： 18 个前沿模型（ 8 专有 + 10 开源），各运行 5 个独立 episode。 - 总资产差异悬殊：最优模型 GPT-5.6 Sol 将本金增值至 14.31× （¥ 1,431,425 ），而最差模型 Qwen3.5-Plus 仅剩 0.01× （ 4/5 次破产），差距超 1,264 倍。 - 无模型全面领先： - GPT-5.6 Sol 盈利最高，但在欺诈规避上排名 16/18 ，运营效率低于 Fable5。 - Claude Opus 4.7 谈判最强（ CSE^+ = 0.811 ）且欺诈损失最低（ 0.12% ），但总资产仅列第 8 。 - Qwen3.8-Max-Preview 领衔开源阵营（ 4.16× ），且在长期学习维度表现最优。 - 破产与现金流危机： 10/90 个 episode 破产，部分发生在第 17 天（尚无收入结算），揭示智能体严重缺乏营运资金管理意识。 - 长期学习普遍缺失：在 8,647 次重复采购中， 16/18 的模型支付价格呈“向上漂移”， AnchorRatio 显著劣于随机重排（中位数 1.369 ，随机为 1.0 ），表现出典型的锚定偏差，仅 Qwen3.8-Max-Preview 与 Gemini 3.5 Flash 展现出有效学习。 - 持久记忆几乎未被利用：记忆存储调用仅占全场工具调用的 2.1%$，大量已驱逐的关键信息（如底价、欺诈身份）被重复查询或遗忘。 —- ### 5. 核心贡献 1. 首个融合真实电商数据、确定性多轮谈判、动态事件与对抗性供应商的全年持续运营开源基准。 2. 确定性内核设计：通过规则层与渲染层分离，根除复杂多方交互中的评估噪声，证明严格可重复的长程智能体评估在实践上可行。 3. 多维度诊断方法论：将单一 leaderboard 转化为能力画像，揭示顶尖盈利者并非最优谈判者或最高效运营者，暴露出现有 LLM Agent 在长程经验固化、欺诈识别与现金流管理上的关键短板。论文最后指出，E-Commerce Bench 的架构（确定性内核控制 + 多维诊断）为下一代更长程、更复杂的智能体评估提供了可扩展的基础蓝图。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Wei Fan,Xinjie Shen,Xudong Guo,Jianhong Tu,Yang Su,Yinger Zhang,Lianghao Deng,Fengyu Wang,Baohua Dong,Yangqiu Song,Dayiheng Liu

Categories:

PDF URL: https://arxiv.org/pdf/2608.30730.pdf

Arxiv URL: https://arxiv.org/abs/2608.30730

Arxiv ID: 2608.30730

CoolPaper URL: https://papers.cool/arxiv/2608.30730

Published: 2026-09-03T01:26:41.958Z

Updated: 2026-09-03T01:26:41.958Z

19. InternReviewer & InternAdvocate: Objective Reward and Evaluation for Agentic Reinforcement Learning in Peer Review and Rebuttal

Abstract:Generating professional scholarly content, such as peer reviews and rebuttals, requires an intricate synergy between domain reasoning and factual grounding. This work presents a comprehensive framework for the development and evaluation of specialized scholarly agents, InternReviewer and InternAdvocate. We first establish a large-scale, high-quality scholarly dataset and integrate a high-efficiency arXiv retrieval tool to enable active evidence gathering. To optimize these agents, we implement an agentic Reinforcement Learning (RL) paradigm driven by a unified objective metric and reward system. This system avoids the biases of subjective model-based judging by employing multi-dimensional criteria, including reference-anchored semantic alignment, structural compliance, and a strict verification mechanism that cross-checks citations against real-time interaction logs to eliminate hallucinations. Experimental results demonstrate that agents trained within this closed-loop framework exhibit significant improvements in reasoning depth and citation accuracy.

中文摘要

摘要：生成专业的学术内容，例如同行评审和反驳，需要领域推理与事实依据之间的复杂协同。本文提出了一个用于开发和评估专门学术代理——InternReviewer 和 InternAdvocate 的综合框架。我们首先建立了一个大规模、高质量的学术数据集，并整合了高效的 arXiv 检索工具以实现主动证据收集。为了优化这些代理，我们实施了一种以统一目标指标和奖励系统驱动的代理式强化学习（RL）范式。该系统通过采用多维标准，包括基于参考文献的语义一致性、结构合规性以及严格的验证机制（将引用文献与实时交互日志交叉检查以消除虚构）、避免了主观模型评判的偏差。实验结果表明，在该闭环框架下训练的代理在推理深度和引用准确性方面表现出显著提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2608.28612 (HTTP 429)

Authors: Xuerui Su,Liya Guo,Qizhi Pei,Qipeng Guo,Zhongbo Tian,Lijun Wu,Kai Chen,Zun Wang

Categories:

PDF URL: https://arxiv.org/pdf/2608.28612.pdf

Arxiv URL: https://arxiv.org/abs/2608.28612

Arxiv ID: 2608.28612

CoolPaper URL: https://papers.cool/arxiv/2608.28612

Published: 2026-09-03T01:26:42.142Z

Updated: 2026-09-03T01:26:42.142Z

20. Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You

Abstract:Test-time adaptation (TTA) typically assumes that model parameters can be updated at inference time. This assumption is restrictive for inference-only accelerators, frozen or third-party models, and memory-constrained deployments, and standard BatchNorm-based TTA configurations may also become inactive on architectures without BatchNorm. We study adaptation when the learned model must remain frozen. We introduce CASTER, a gradient-free method that stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation from target-batch moments, and analytically transports the source class distributions before classification. CASTER requires no backward pass, optimizer state, or stored source feature bank. Across four backbones and seven datasets, it outperforms k-NN on identical frozen features in 27 of 28 backbone-dataset settings while retaining a median of 18x less state. Affine transport is not always reliable. On ImageNet-C, where batches contain only 64 samples for 1000 classes, unconditional transport loses 21.2 top-1 points. We therefore introduce an empirical residual-to-margin transportability certificate. Across 307 evaluation cells, every transport losing more than 10 points has certificate value above 3.9, although benign and destructive regimes are not perfectly separated. Gating converts an average $-3.35$-point effect of unconditional transport into a +1.69-point gain, and performance remains within 0.3 points of the best threshold over a broad threshold range. Finally, we show that this certificate is mechanism-specific: when applied to Tent, it accepts only $4.3\%$ of updates and preserves 0.6% of Tent’s available gain. These results position CASTER as a lightweight adaptation mechanism for frozen-model deployment, together with an explicit account of when its safety signal is informative and when it is not.

中文摘要

摘要：测试时适应（TTA）通常假设模型参数可以在推理时更新。对于仅推理加速器、冻结或第三方模型以及受内存限制的部署，这一假设具有局限性，而且基于标准BatchNorm的TTA配置在没有BatchNorm的架构上也可能失效。我们研究在学习到的模型必须保持冻结时的适应方法。我们提出了CASTER，一种无梯度方法，它在判别子空间中存储源类别统计数据，从目标批次矩估计类别共享仿射变换，并在分类前解析性地传输源类别分布。CASTER无需反向传播、优化器状态或存储的源特征库。在四种骨干网络和七个数据集上，在28个骨干-数据集设置中，它在27个设置上优于在相同冻结特征上使用的k-NN，同时保持中位状态减少约18倍。仿射传输并非总是可靠。在ImageNet-C上，批次仅包含1000类的64个样本时，无条件传输会损失21.2的top-1准确率。因此，我们引入了经验性残差-边际可传输性证书。在307个评估单元中，每个损失超过10点的传输，其证书值均高于3.9，尽管良性和破坏性状态未完全分开。门控将无条件传输的平均-3.35点效应转化为+1.69点增益，并且在广泛的阈值范围内，性能仍保持在最佳阈值的0.3点内。最后，我们展示了该证书的机制特异性：当应用于Tent时，它只接受4.3%的更新，并保留Tent可用增益的0.6%。这些结果使CASTER成为冻结模型部署的轻量级适应机制，并明确说明其安全信号何时具有信息性，何时不具有信息性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.00374 (HTTP 429)

Authors: Salim Khazem,Ibrahim Mohamed Serouis

Categories:

PDF URL: https://arxiv.org/pdf/2609.00374.pdf

Arxiv URL: https://arxiv.org/abs/2609.00374

Arxiv ID: 2609.00374

CoolPaper URL: https://papers.cool/arxiv/2609.00374

Published: 2026-09-03T01:26:45.390Z

Updated: 2026-09-03T01:26:45.390Z

HuggingFace Papers 2026-09-03

Latest Papers

1. StudentSim: Training LLM-based Student Simulators

2. Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

2.2 规划专家（Planning Expert） 基于 VLM 缓存的键值（keys/values），通过 **32 层扩散 Transformer** 与 **流匹配（flow matching）**生成未来自车轨迹。采用端点预测参数化，直接估计干净轨迹 τ_1 ：

3. SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

4. UI-Venus-2 Technical Report

5. H3-World: Turning Language Understanding into World Control

6. ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training

7. From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix

8. Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering

9. Evaluating Multimodal LLMs as Generalist Vision-Language-Action Agents for Drone Control: Commanding, Approaching, Tracking and Searching

10. Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System

11. Safin-1: Safety from Within through Memory-Native State Evolution

12. AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

13. DiagEvo: Diagnosis-Guided Self-Evolution via Hierarchical Error Memory

2.2 层次化存储结构 记忆在每一轮 t 被维护为一个层次结构：

14. Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement

15. EM^2Mem: Event-Centric Multimodal Memory for Large Language Models

16. Agents in the Large: Perception-Centered Architecture for Persistent Agents

17. Control-Data Flow Separation: Stable Prompt Optimization in Multi-Agent LLMs

18. E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

19. InternReviewer & InternAdvocate: Objective Reward and Evaluation for Agentic Reinforcement Learning in Peer Review and Rebuttal

20. Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You

2.2 规划专家（Planning Expert）基于 VLM 缓存的键值（keys/values），通过 32 层扩散 Transformer 与流匹配（flow matching）生成未来自车轨迹。采用端点预测参数化，直接估计干净轨迹 τ_1 ：

2.2 层次化存储结构记忆在每一轮 t 被维护为一个层次结构：