HuggingFace Papers 2026-10-07

数据来源：HuggingFace Papers

Latest Papers

1. Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents

Abstract:Multimodal agents commonly generate free-form reasoning before each action. For small models, limited model capacity can result in lengthy reasoning that provides little useful guidance for action generation while incurring substantial inference cost. To address this challenge, we introduce Selection-based Structured Reasoning (SSR), a framework that reformulates reasoning as selection instead of open-ended generation. SSR represents recurring high-level reasoning as pre-specified, reusable natural-language candidates. At each turn, the model selects from these reasoning candidates based on their likelihoods given the current context, without requiring an auxiliary task head. Using pre-specified reasoning traces enables parallel scoring, where teacher-forced prefilling computes token likelihoods concurrently within and across candidates using a shared context KV cache. We evaluate SSR on seven multimodal search benchmarks using 2B and 4B models. Across multiple reinforcement learning objectives and supervised fine-tuning, SSR delivers significant efficiency gains without sacrificing task performance. SSR achieves an average success rate competitive with leading search agents of the same scale, while reducing per-turn reasoning latency by over 90% and total per-question model inference latency by 28-54%. Project page: this https URL.

中文摘要

摘要：多模态代理通常在每次动作之前生成自由形式的推理。对于小模型来说，有限的模型容量可能导致冗长的推理，这些推理对动作生成提供的有用指导很少，同时会带来大量推理开销。为了解决这一挑战，我们引入了基于选择的结构化推理（SSR）框架，该框架将推理重新定义为选择而非开放式生成。SSR将重复出现的高层次推理表示为预先指定的、可重用的自然语言候选项。在每一轮中，模型根据当前上下文选择这些推理候选项，而无需辅助任务头。使用预先指定的推理路径能够实现并行评分，其中教师强制填充并发计算在共享上下文KV缓存中候选项内和候选项之间的token概率。我们在七个多模态搜索基准上，使用2B和4B模型评估SSR。在多个强化学习目标和监督微调下，SSR在不牺牲任务性能的情况下实现了显著的效率提升。SSR在平均成功率方面与同规模的领先搜索代理具有竞争力，同时将每轮推理延迟降低超过90%，将每题模型总推理延迟降低28%至54%。项目页面：此 https URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*小规模多模态搜索代理在每一步行动前进行自由形式推理时面临的效率与效能失衡问题\*\*。具体而言，论文针对以下核心挑战： - \*\*自由形式推理的推理成本高昂\*\* 现有ReAct风格的代理通常通过自回归解码（autoregressive decoding）逐令牌生成推理痕迹（reasoning trace）。对于参数量较小的设备端模型，这一过程引入了显著的序列生成延迟，且推理文本往往冗长重复，对后续行动生成的实际指导价值有限。 - \*\*小模型容量受限导致推理质量低下\*\* 受限于模型容量，小型多模态语言模型（MLLM）在生成开放式自然语言推理时，容易产生缺乏信息量的冗长 deliberation，浪费了生成成本却未能有效提升行动质量。 - \*\*现有压缩方法未能消除顺序依赖瓶颈\*\* 当前高效推理研究主要通过提示工程（如Chain-of-Draft）或训练目标（如效率奖励强化学习）来缩短推理长度。这些方法虽减少了生成令牌数量，但仍保留了令牌间的自回归顺序依赖，未能从根本上改变推理的表示与计算方式。 - \*\*多模态搜索任务中高层推理的高度重复性未被利用\*\* 论文观察到，在不同搜索查询中，虽然实体、查询和观察结果各异，但采取下一步行动的高层推理逻辑（如“需识别图中实体”“需查找特定事实”）具有高度复用性。现有方法未有效利用这一结构特性来避免重复的开放式生成。为应对上述问题，论文提出\*\*基于选择的结构化推理（Selection-based Structured Reasoning, SSR）\*\*，将推理从“开放式生成”重新形式化为“从预定义的可重用自然语言候选集中进行选择”，并通过并行推理解码（parallel reasoning decoding）消除逐令牌生成的顺序延迟，从而在保持任务成功率的同时，将每轮推理延迟降低超过90%。 Q2: 有哪些相关研究？根据论文第2节，相关研究可分为以下三个方向： ### 1. 多模态搜索代理（Multimodal Search Agents）该方向关注如何训练多模态代理以交错执行感知、检索与工具调用，主要工作包括： - \*\*MMSearch-R1\*\* 与 \*\*DeepMMSearch-R1\*\*：训练模型使用文本与图像搜索工具进行检索； - \*\*Visual-ARFT\*\* 与 \*\*DeepEyes\*\*：引入图像操作（如裁剪、缩放）以增强视觉推理； - \*\*DeepEyesV2\*\*：进一步结合图像操作、代码执行与网页搜索； - \*\*SenseNova-MARS\*\*、\*\*TAPO\*\* 与 \*\*WebWatcher\*\*：研究多轮强化学习、工具感知信用分配与深度研究行为； - \*\*VSearcher\*\*：在文本、图像与网页上进行长程搜索； - \*\*ProMMSearchAgent\*\*：在静态沙箱中引入过程导向奖励，再迁移至真实搜索环境。上述工作主要聚焦于训练数据混合、梯度路由与信用分配以提升任务性能，而本文探索的是与之正交的\*\*推理效率\*\*方向。 --- ### 2. MLLM代理的高效推理（Efficient Reasoning for MLLM Agents）该方向致力于控制模型思考过程中的计算开销，代表性方法包括： - \*\*令牌预算与测试时计算控制\*\*：通过设定令牌预算、提前停止、压缩思维链或自适应测试时计算来减少推理量（如 Token-budget-aware reasoning、Stop overthinking 等）； - \*\*推理时间预算控制\*\*：显式建模检索、交互与答案提交之间的预算权衡（Fang et al., 2026）； - \*\*HyperEyes\*\*：将推理效率作为核心训练目标，在单轮内并发调度多个有依据的查询，并奖励避免冗余工具调用的轨迹，从而减少交互轮数； - \*\*语法约束解码\*\*：通过 Grammar-constrained decoding 及 XGrammar 等引擎降低结构化输出生成时的约束检查开销。与上述方法不同，SSR并非缩短或压缩开放式推理文本，而是\*\*改变推理本身的表示方式\*\*，通过并行评分完整候选并直接插入选定文本来消除自回归解码开销。 --- ### 3. 可复用推理与代理技能（Reusable Reasoning and Agent Skills）该方向探索如何将推理知识或技能抽象为可复用组件，主要工作包括： - \*\*思维模板（Thought templates）\*\*、\*\*上下文感知指导原则（Context-aware guidelines）\*\*、\*\*推理记忆库（Reasoning memories）\*\* 与 \*\*任务工作流（Task workflows）\*\*：从先验知识中提炼可复用的推理模式； - \*\*StraTA\*\*：在轨迹级别生成初始策略并在整个交互中保持固定，而非根据观察动态调整； - \*\*程序化技能方法\*\*：将可复用技能编码为固定的可执行程序（如 Voyager、SkillWeaver）。 \*\*SSR与上述工作的核心区别在于\*\*： - \*\*无需辅助模块\*\*：直接利用执行代理自身的语义理解能力，通过上下文条件似然从候选库中选择，无需额外的知识管理、检索系统或分类头； - \*\*逐轮动态适配\*\*：每轮基于更新的交互历史重新选择推理候选，允许新观察改变后续行动的指导； - \*\*自然语言引导而非控制流预设\*\*：候选提供自然语言层面的行动指导，但不规定具体的可执行控制流，从而使查询内容、工具参数与最终答案保持灵活，同一候选可在不同上下文中支持不同行动。 Q3: 论文如何解决这个问题？论文通过提出\*\*基于选择的结构化推理（Selection-based Structured Reasoning, SSR）\*\*框架，从表示方式与计算机制两个层面系统性解决了小规模多模态搜索代理的推理效率问题。具体解决方案包含以下核心环节： ### 1. 将推理重新形式化为选择任务 SSR摒弃了传统的开放式自由生成范式，转而将每一步的推理轨迹 z_t 视为从一个预定义的、可重用的自然语言候选库 R = r_1, dots, r_N 中进行选择。该候选库由描述高层决策逻辑的短文本构成（例如“通过图像搜索识别实体”“基于已有证据作答”），覆盖搜索代理在不同上下文中反复出现的信息需求状态。这一设计将\*\*可复用的推理模式\*\*与\*\*实例特定的执行细节\*\*解耦：候选文本提供行动原理，而后续生成过程负责产生具体的工具参数（如搜索查询、裁剪框坐标）。 ### 2. 并行推理解码（Parallel Reasoning Decoding）为了消除自回归生成的顺序延迟，SSR利用语言模型自身作为候选分类器，通过长度归一化的对数似然为每个候选评分：

Sθ(r_i mid h_t) = (1) / (K_i^α) ∑(j=1)^(Ki) log pθ(r(i,j) mid h_t, r(i,<j))
其中 Ki 为候选 r_i 的令牌数，$α ∈
0,1
控制长度归一化（论文采用 α=1$）。基于该评分，选择策略构成一个类别分布：
qθ(ri mid h_t) = (exp(Sθ(ri mid h_t)/τ)) / (∑(k=1)^N exp(Sθ(r_k mid h_t)/τ))
模型依此分布采样推理候选 z_t sim qθ(· mid ht) 。由于所有候选文本预先完全确定，该机制支持两重并行： - **令牌级并行**：通过教师强制（teacher forcing）在单次前向传播中并行计算同一候选内所有令牌的条件概率； - **候选级并行**：所有候选共享同一历史上下文 h_t 的KV缓存，从而并发评分。这使得推理阶段的计算关键路径从自由形式的 O(L log(H+L)) 降至 O(log(H+K(max)) + log N) ，彻底移除了生成长度 L 带来的顺序因子。 ### 3. 自然语言引导的实例化行动生成选定推理候选 zt 后，框架将其文本直接插入对话上下文，作为自然语言指导信号。随后，模型基于增强后的上下文 pθ(· mid h_t, z_t) 自回归生成具体行动 a_t （如工具调用或最终答案）。此过程确保代理无需在任何阶段生成自由形式的推理痕迹，同时保留了模型根据当前观察灵活调整行动参数的能力。 ### 4. 端到端训练适配 SSR兼容监督微调（SFT）与强化学习（RL）目标，且无需额外的分类头或SFT热启动： - **监督微调**：联合优化推理选择的类别交叉熵与行动生成的令牌级交叉熵：

L(SFT) = -∑_t [ λ(SFT)^(reason) log qθ(z_t mid h_t) + (1) / (|a_t|) ∑(k=1)^(|at|) log pθ(a(t,k) mid h_t, z_t, a(t,<k)) ]

**强化学习（GRPO/GSPO/SAPO）**：将自由形式推理的令牌级重要性比率替换为**单个类别比率** rhot^(reason) = qθ(zt mid h_t) / q(old)(zt mid h_t) ，而行动令牌保留常规划率。目标函数结合裁剪代理与参考策略KL正则化：
J(GRPO)(θ) = E(g ∈ G) [ ∑(t=0)^(Tg-1) ( γ(RL)^(reason) ellε(rho(g,t)^(reason), Ag) + ∑_k ellε(rho(g,t,k)^(action), A_g) ) ] - β K(ref)(θ)
为降低计算开销，论文进一步采用**分离竞争者（detached-competitor）近似**，在反向传播时仅对选中候选计算梯度，而将非选中候选的评分固定为 rollout 阶段的旧值，从而避免遍历整个候选库的完整反向传播。 ### 5. 推理空间的有效约束通过将模型的推理输出限制在预定义候选库内，SSR天然约束了模型的推理空间。相较于自由形式生成中模型可能偏离结构化意图的风险，选择机制确保推理轨迹始终落在语义明确、可解释且可复用的高层策略集合中，同时显著降低了对小模型开放式文本生成能力的依赖。 Q4: 论文做了哪些实验？论文在第四部分及附录中开展了一系列实验，涵盖任务性能、推理效率、方法消融与行为分析等维度。具体实验内容可归纳如下： ### 1. 实验设置 - **模型与规模**：基于 Qwen3-VL 的 2B 与 4B 参数模型进行训练和评估。 - **训练数据**：使用 VisualProbe、DeepEyes-4K 及 FVQA-train 的混合数据（共 3,859 例）进行训练。 - **评估基准**：在七个公开多模态搜索基准上测试，包括 MMSearch、HR-MMSearch、FVQA-test、InfoSeek、SimpleVQA、LiveVQA 与 MAT-Search。 - **训练目标**：覆盖监督微调（SFT）、GRPO、GSPO 与 SAPO 四种训练范式。 - **评估指标**：任务成功率（Success Rate）、每轮推理延迟（per-turn reasoning latency）、每问题总模型延迟（per-question model latency，含均值与 95 分位数）、有效推理吞吐量（effective reasoning throughput）。 - **推理库**：默认采用包含六个手工设计候选的推理库（涵盖图像搜索、事实查找、图像细节检查、基于证据作答、基于图像作答、通用知识作答等情形）。 —- ### 2. 与最先进方法的性能对比（Table 1）将 SSR 与当前领先的多模态搜索代理进行比较，包括： - **零样本闭源/开源模型**：GPT-4o、GPT-5、Gemini-3 系列、Qwen3-VL 各尺寸指令模型等； - **训练后的同规模代理**：MMSearch-R1-4B、SenseNova-MARS-4B、TAPO+GRPO/GSPO/SAPO（4B）等。结果显示，**4B 的 SSR 模型平均成功率为 61.37%**，与同规模最佳模型 TAPO+GSPO（61.25%）持平，并优于 MMSearch-R1 与 SenseNova-MARS 的 4B 版本；2B SSR 模型亦达到 51.26%，接近零样本 8B 模型的表现。 —- ### 3. 与自由形式推理的全面对比（Table 2）在相同训练配置下，系统对比了自由形式推理（Freeform）与 SSR： - **任务性能**：在 GRPO、GSPO、SAPO 与 SFT 四种目标下，SSR 的平均成功率与自由形式模型相当（部分设置略高或略低，差异在较小范围内）。 - **推理延迟**：SSR 的**每轮推理延迟降低超过 90%**（例如 4B GRPO 从 0.896s 降至 0.061s）。 - **总模型延迟**：每问题总模型推理延迟降低 **28%–54%**（如 4B GRPO 从 5.456s 降至 2.514s）。 - **吞吐量**：有效推理吞吐量提升超过 30 倍（例如 4B GRPO 从 72.7 tok/s 提升至 3029.9 tok/s）。 —- ### 4. 与现有高效推理基线的效率对比（Table 3）选取四类代表性高效推理方法作为基线，在 GRPO-freeform 管道上重新实现并比较： - **提示压缩类**：Chain-of-Draft、Sketch-of-Thought； - **学习压缩类**：基于效率奖励的强化学习（Efficiency-reward RL）； - **可选推理解码类**：Probe & Prefill。实验表明，SSR 在取得**最高子集成功率（58.36%）**的同时，**平均推理延迟（0.061s）与 95 分位延迟（0.071s）均显著低于所有基线**，且问题级延迟（均值 2.514s，p95 4.620s）亦低于最快的对比基线。 —- ### 5. 推理机制消融实验（Table 4）为验证 SSR 各组件的有效性，设计了以下变体： - **完整文本选择（Entire reasoning）**：默认 SSR，基于候选完整文本的并行评分； - **仅索引选择（Index only）**：仅对候选索引（如 `

1
`）进行评分，再插入对应文本。结果显示平均成功率下降 3.9%，说明候选文本的语义信息对上下文匹配至关重要； - **自回归解码（Autoregressive decoding）**： - 经 SFT 预热后，模型可复现库中候选，性能接近并行解码； - 无 SFT 时，提示与格式奖励无法约束模型，其推理退化为自由形式。该实验证明了**并行全文本评分**在效果与延迟上的双重优势，以及 SSR 选择机制对约束推理空间的必要性。 —- ### 6. 推理库规模与选择行为分析 - **库规模影响（Figure 3）**：测试了包含 1、2、4、6 个候选的推理库。随着库规模增大，平均成功率单调提升（从 37.24% 升至 61.37%），表明更细粒度的候选策略有助于指导行动生成。 - **跨基准选择分布（Figure 4）**：统计了同一模型在不同基准上的推理选择分布。结果显示不同任务呈现显著差异的分布模式（如 SimpleVQA 更多选择“Answer from image”，HR-MMSearch 更多选择“Examine image detail”），说明 SSR 能够根据任务特性自适应地选择合适的推理策略。此外，**99.9%** 的回合中，生成的行动类型与所选候选的预期行动类型一致。 —- ### 7. 补充对比：无推理、自由形式与 SSR（Appendix G, Figure 5）在 Qwen3-VL-4B 上使用 GRPO 训练，额外对比了三种模式： - **无推理（No thinking）**：直接生成行动； - **自由形式推理（Freeform）**：标准链式思考； - **SSR**。结果表明，无推理的平均成功率为 58.91%，自由形式为 58.65%，而 **SSR 达到 61.37%**。SSR 在全部七个基准上均优于无推理，而自由形式仅在两个基准上优于无推理，进一步验证了 SSR 在降低延迟的同时能提供更稳定的决策指导。 Q5: 有什么可以进一步探索的点？基于论文的局限性与未充分展开的论述，以下几个方向值得进一步探索： ### 1. 自动化推理库的构建与演化当前工作采用固定规模的六条手工设计候选库。附录A.1已指出，未来可借鉴 **SkillOpt** 等技能演化方法，从成功的交互轨迹中自动抽取高频推理模式，并迭代优化候选集合。开放性问题包括： - 如何从噪声轨迹中自动归纳高层推理模板； - 候选库规模与任务覆盖度之间的最优权衡； - 在线交互过程中动态增删候选的机制，以避免灾难性遗忘或候选膨胀。 ### 2. 更大规模与层次化推理空间 Figure 3 显示平均成功率随库规模单调上升（1→2→4→6 条候选），但尚未验证更大规模（如数十至上百条）时的表现边界。未来可探索： - **层次化选择结构**：先通过粗粒度分类器选择策略族（如“感知类”vs“检索类”），再在细粒度子库中精选具体推理，以在扩大覆盖面的同时控制单次评分的计算量； - **可学习的候选嵌入**：将离散文本候选参数化为连续向量，通过检索或聚类动态激活子集，降低大库的线性评分开销。 ### 3. 向更广的代理任务迁移论文的验证集中于多模态搜索领域（工具空间为图像搜索、文本搜索、裁剪与作答）。SSR 的范式可迁移至： - **网页导航与操作**：将“滚动页面”“点击元素”“填写表单”等高层意图固化为候选； - **代码生成与工具调用**：以候选形式编码“需要循环”“需调用外部API”“应进行异常处理”等决策点； - **机器人与具身智能**：用候选描述“接近物体”“抓取”“绕行障碍”等高层行为规划。迁移的关键挑战在于不同领域的高层推理模式是否同样具备低熵、可复用的特性。 ### 4. 训练算法的稳定性提升 Table 2 显示，在 GSPO 与 SAPO 目标下，SSR 相较于自由形式出现轻微性能下降。论文归因于 **分离竞争者（detached-competitor）近似** 在多步梯度更新中的累积误差。未来研究可： - 推导更精确的推理选择梯度估计，或在多次复用 rollout 时自适应降低学习率； - 设计针对类别策略的方差缩减技术，改善 PPO/GRPO 变体在离散推理选择上的信用分配。 ### 5. 与现有高效推理技术的正交结合 SSR 从“表示层面”消除自回归，而现有方法（Chain-of-Draft、Sketch-of-Thought、效率奖励 RL）从“内容层面”压缩推理长度。二者具有互补性： - 在行动生成阶段引入草稿或草图推理，进一步缩短实例特定参数的解码长度； - 为 SSR 增加自适应退出机制：若所有候选评分置信度均低于阈值，则回退到轻量级的自由形式推理或触发查询重构。 ### 6. 推理库的多语言与跨模态扩展当前候选库为纯自然语言文本。对于跨语言或多模态代理，可探索： - **多语言推理候选**：为同一推理逻辑配备多语言版本，根据用户查询语言动态切换候选子集； - **视觉/结构化推理标记**：将推理候选扩展为包含视觉 token 或结构化符号（如 JSON 片段）的混合表示，强化对视觉细节或结构化工具参数的指导。 ### 7. 理论刻画：选择与生成的表达能力边界论文通过实证表明小模型在搜索任务中无需遍历完整语言空间，但缺乏理论分析。未来可研究： - 对于给定任务分布，最小充分推理库规模的上下界； - 选择式推理与自由形式生成在代理决策过程中的样本复杂度差异； - 长度归一化与温度 τ 对策略收敛性的影响。 ### 8. 长程记忆与上下文感知的候选个性化当前所有问题共享同一全局库。长程或个性化代理可考虑： - **会话级动态库**：根据用户历史交互或当前会话主题，临时注入领域特定的推理候选； - **检索增强的候选扩展**：在运行时从外部记忆库中检索与当前状态最相关的若干候选，与基础库合并后供模型选择。 Q6: 总结一下论文的主要内容这篇论文针对小规模多模态搜索代理中**自由形式推理成本高昂且效率低下**的问题，提出了**基于选择的结构化推理（Selection-based Structured Reasoning, SSR）**框架。以下从核心问题、方法、实验与贡献四个方面进行总结。 —- ### 1. 核心问题现有 ReAct 风格的代理在每一步行动前通过自回归解码生成开放式推理痕迹（reasoning trace）。对于参数量受限的设备端小模型而言，这一过程存在显著缺陷： - **推理延迟高**：逐令牌顺序生成长度为 L 的推理文本，计算关键路径为 O(L log(H+L)) ； - **性价比低**：小模型容量有限，生成的冗长推理往往缺乏有效信息，未能为后续行动生成提供充分指导； - **可复用性未被利用**：多模态搜索任务中，虽然查询与观察各异，但“下一步该做什么”的高层决策逻辑高度重复。 —- ### 2. 方法：基于选择的结构化推理（SSR） SSR 将推理从**开放式生成**重新形式化为**从预定义候选库中选择**，核心机制如下： - **可重用推理库**：构建包含 N 条高层自然语言推理候选的固定库 R = r_1, dots, r_N 。每条候选描述当前状态下应采取的策略（如“通过图像搜索识别实体”“基于已收集证据作答”）。 - **并行推理解码**：利用语言模型自身作为分类器，对每个候选 r_i 计算其在当前历史 h_t 下的长度归一化对数似然：

Sθ(r_i mid h_t) = (1) / (K_i) ∑(j=1)^(Ki) log pθ(r(i,j) mid h_t, r(i,<j))
通过 softmax 得到选择策略 qθ(r_i mid h_t) 并采样。由于候选文本完全预定义，所有令牌可通过 **teacher forcing** 在单次前向传播中并行处理（令牌级并行），且所有候选共享同一 KV 缓存并发评分（候选级并行）。计算深度降至 O(log(H+K(max)) + log N) ，彻底消除生成长度 L 的顺序瓶颈。 - **行动生成引导**：将选中的推理文本直接插入上下文，模型随后基于 pθ(· mid h_t, z_t) 自回归生成具体行动（工具调用或答案），实现“策略指导”与“实例执行”的解耦。 - **端到端训练**：兼容 SFT 与 RL（GRPO/GSPO/SAPO）。在 RL 中，将自由形式推理的令牌级重要性比率替换为**单个类别比率** rho_t^(reason) = qθ(zt mid h_t) / q(old)(z_t mid h_t) ，并采用分离竞争者近似降低反向传播开销，无需额外分类头或 SFT 热启动。 —- ### 3. 实验结果论文在 **7 个多模态搜索基准**（MMSearch、HR-MMSearch、FVQA-test、InfoSeek、SimpleVQA、LiveVQA、MAT-Search）上使用 **Qwen3-VL（2B/4B）** 进行验证： - **任务性能**：4B SSR 在 GRPO 训练下平均成功率达 **61.37%**，与同规模最先进模型 TAPO+GSPO（61.25%）持平；2B SSR 达 51.26%，接近零样本 8B 模型水平。 - **效率增益**：相较于自由形式推理，SSR 的**每轮推理延迟降低超过 90%**（如从约 0.9s 降至约 0.06s），**每问题总模型推理延迟降低 28–54%**，有效推理吞吐量提升逾 30 倍。 - **基线对比**：与 Chain-of-Draft、Sketch-of-Thought、效率奖励 RL 及 Probe & Prefill 等高效推理基线相比，SSR 在取得更高成功率的同时，推理延迟与 95 分位延迟均显著更低。 - **消融分析**：完整文本评分优于仅索引评分（提升 3.9%）；无 SFT 的自回归解码无法约束推理至候选库内；推理库规模从 1 增至 6 条候选时，成功率单调提升。 —- ### 4. 主要贡献 - **推理范式的转变**：首次将小规模代理的推理从开放式生成系统性地重构为结构化选择，证明有限且可复用的推理空间足以支持竞争性任务表现。 - **并行推理解码机制**：利用预指定候选实现令牌级与候选级双重并行，无需辅助分类头，在保持模型语义理解能力的同时消除自回归推理开销。 - **性能与效率的兼顾**：在多种训练目标（SFT、GRPO、GSPO、SAPO）与模型规模（2B/4B）下，SSR 均实现了与同规模自由形式模型相当或更优的成功率，同时带来实质性的推理延迟缩减。论文的结论是，对于小规模多模态搜索代理，组织高频高层推理为紧凑、可复用的候选空间，能够构建更高效且仍具竞争力的代理系统。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Feiyu Gavin Zhu,Xiaoyu Zhu,Jiqi Yang,Rui Yang,Arnab Kumar Mondal,Yancheng Wang,Xinke Deng,Jean Oh,Reid Simmons,Joerg Liebelt,Xiang Kong,Zhongyu Jiang

Categories:

PDF URL: https://arxiv.org/pdf/2610.01892.pdf

Arxiv URL: https://arxiv.org/abs/2610.01892

Arxiv ID: 2610.01892

CoolPaper URL: https://papers.cool/arxiv/2610.01892

Published: 2026-10-07T02:41:41.745Z

Updated: 2026-10-07T02:41:41.745Z

2. AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents

Abstract:As agents rapidly evolve, existing benchmarks can become saturated, limiting their ability to distinguish capabilities and reveal remaining failure modes. Particularly in scientific domains, constructing and updating benchmarks requires substantial time, labor, and domain expertise, making it difficult to keep evaluation aligned with advances in agent capabilities. We address this challenge by investigating whether scientific-agent benchmarks can be automatically generated and iteratively adapted as agent capabilities evolve. We introduce AutoSciBench, a framework that represents each task as a high-level concept specifying the scientific domain, data modality, and required reasoning approach, together with a low-level recipe specifying how the question, environment, and ground-truth answer are constructed and verified. Agents attempt to solve each task, producing solver trajectories and corresponding judge feedback which AutoSciBench uses to revise the recipe or concept, closing observed shortcuts and shifting tasks toward raw-data re-examination, interpretation of intermediate results, and evidence integration. Experience distilled from completed refinement trajectories further guides new concept generation, allowing lessons from earlier task refinement to inform subsequent benchmark construction. Starting from existing benchmarks, we evaluate AutoSciBench across computational biology, materials science, and clinical imaging. Generated benchmarks reduce average solver accuracy by 22.4 and 25.5 percentage points relative to the human-curated benchmarks in computational biology and materials science, respectively, while generated tasks receive higher average quality ratings across all three domains, suggesting that scientific-agent evaluation can adapt as agent capabilities advance.

中文摘要

摘要：随着智能体的快速发展，现有基准测试可能会变得饱和，从而限制它们区分能力和揭示剩余失败模式的能力。尤其在科学领域，构建和更新基准测试需要大量时间、劳动和领域专业知识，这使得保持评估与智能体能力进展的同步变得困难。我们通过研究科学智能体基准是否能够自动生成并随着智能体能力的发展进行迭代调整来应对这一挑战。我们提出了 AutoSciBench 框架，该框架将每个任务表示为一个高级概念，指定科学领域、数据模态和所需的推理方法，同时提供低级配方，说明如何构建和验证问题、环境以及真实答案。智能体尝试解决每个任务，产生解算路径和相应的评审反馈，AutoSciBench 利用这些反馈修订配方或概念，封闭观察到的捷径，并将任务转向原始数据重新审查、中间结果解释和证据整合。从完成的优化轨迹中提炼的经验进一步指导新的概念生成，使早期任务优化的经验能够为后续基准构建提供参考。从现有基准出发，我们在计算生物学、材料科学和临床影像学中评估了 AutoSciBench。生成的基准在计算生物学和材料科学中，平均解算准确率分别比人工整理的基准降低了 22.4 和 25.5 个百分点，同时生成的任务在三个领域中的平均质量评分更高，这表明科学智能体的评估能够随着智能体能力的提升而自适应调整。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*科学智能体（scientific agents）基准测试的自动化构建与动态适配问题\*\*。随着智能体能力的快速演进，现有基准测试容易迅速饱和，难以持续区分能力差异并揭示新的失败模式；而在科学领域，人工构建和更新基准测试又需要大量时间、劳动力与领域专业知识，导致评估体系难以跟上智能体能力的进步。具体而言，论文针对以下核心挑战展开研究： - \*\*基准测试的快速饱和\*\*：现有手动构建的基准测试在面向快速进化的智能体时，很快失去区分度，无法有效识别能力边界与剩余失败模式。 - \*\*科学领域评估的高昂成本\*\*：在计算生物学、材料科学、临床成像等领域，构建可靠的基准测试需要深厚的领域专家知识，且往往依赖昂贵的专家标注，使得持续更新极为困难。 - \*\*科学智能体评估的特殊复杂性\*\*： - \*\*交互式信息获取（Information Acquisition through Interaction）\*\*：与传统 LLM 任务不同，科学智能体需要通过与环境（数据与工具）的交互来获取信息，涉及规划、工具执行、观察与分析。因此评估不仅需要设计问题，还必须构建相应的科学数据环境与操作空间。 - \*\*基于间接证据的科学推理（Scientific Reasoning from Indirect Evidence）\*\*：与一般智能体任务中常见的显式反馈（如执行错误或状态变化）不同，科学分析中的中间输出通常只是关于某数量或假设的证据，而非对分析正确性的直接确认。这要求智能体能够重新检视原始数据、验证中间结果，并整合多步证据。 - \*\*基准测试的自适应演化需求\*\*：随着更强模型的出现（如论文所示，后续模型在生成基准上的准确率显著高于生成时所使用的模型），固定基准测试的挑战性会迅速下降，因此需要一种能够随智能体能力演进而自适应更新的评估机制。围绕上述问题，论文提出了一个更广泛的研究问题：\*\*科学智能体评估能否被自动构建，并根据所评估智能体的能力与失败模式进行迭代改进？\*\* 为回答该问题，论文开发了 \*\*AutoSciBench\*\* 框架，通过高层概念（concept）与底层配方（recipe）的双层规划、基于求解器反馈的迭代细化，以及经验引导的新概念生成，实现科学智能体基准测试的自动化构建与持续适配。 Q2: 有哪些相关研究？该论文的相关研究主要分布在\*\*人工构建的基准测试\*\*与\*\*自动基准生成\*\*两个方向，具体如下： ### 1. 人工构建的 LLM 与智能体基准测试 - \*\*传统 LLM 基准\*\*：现有大量基准测试用于评估模型的通用知识、数学推理、代码生成与科学推理能力，但主要依赖固定问题，答案可从给定输入或模型的参数化知识中直接获得。代表性工作包括 MMLU（Hendrycks et al., 2021）、GSM8K（Cobbe et al., 2021）、HumanEval（Chen et al., 2021）以及 GPQA（Rein et al., 2024）。 - \*\*通用智能体基准\*\*：随着 LLM 发展为智能体，评估重点转向需要规划、工具使用与外部环境交互的可执行任务。例如，SWE-bench 评估仓库级软件工程任务（Jimenez et al., 2024），WebArena 与 OSWorld 分别评估智能体在真实网页与计算机环境中的表现（Zhou et al., 2024; Xie et al., 2024）。 - \*\*科学智能体基准\*\*：近期工作开始关注科学领域的智能体评估，如 LABBench 评估语言模型在生物学研究中的能力（Laurent et al., 2024），ScienceAgentBench 评估面向数据驱动科学发现的智能体（Chen et al., 2025），以及 CompBioBench 评估计算生物学中的智能体系统（Nair et al., 2026）。 \*\*共同局限\*\*：上述人工构建的基准测试需要大量人力与领域专业知识，且难以随着智能体能力的快速提升而持续更新，容易导致基准饱和。 ### 2. 自动基准生成为降低人工构建成本，近期研究探索利用 LLM 自动生成评估实例，主要分为两类： - \*\*基于目标或质量准则的生成\*\*：AutoBencher 与 BenchMaker 从声明式目标或预定义质量准则出发生成评估实例（Li et al., 2025; Yuan et al., 2026）。 - \*\*多阶段扩展与自演化\*\*：BenchAgents 通过多智能体系统分阶段组织基准构建（Butt et al., 2024）；Benchmark SelfEvolving 通过预定义变换扩展现有基准（Wang et al., 2025）。 - \*\*安全评估的自动构建\*\*：S-Eval 基于层次化风险分类学生成并筛选用于安全评估的提示（Yuan et al., 2025）。 \*\*与本文的区别\*\*：现有自动基准生成方法主要面向传统 LLM 评估，而非科学智能体任务。科学智能体评估不仅需要生成问题，还必须同时构建科学数据与交互式环境，以测试\*\*通过交互获取信息\*\*与\*\*基于间接证据进行科学推理\*\*的能力。AutoSciBench 通过引入高层概念与底层配方的双层规划、基于求解器行为的反馈引导迭代细化，以及经验引导的新概念生成，填补了上述空白。 Q3: 论文如何解决这个问题？论文通过提出 \*\*AutoSciBench\*\* 框架，将科学智能体基准测试的构建与适配形式化为一个自主迭代循环。该框架的核心思想是：将任务构造分解为可独立修订的高层目标与底层实现计划，利用求解器（solver）的实际行为作为反馈信号，持续增加任务难度，并将历史优化经验迁移到后续的新任务设计中。具体解决方法可分为以下五个层次： --- ### 1. 双层计划机制：概念（Concept）与配方（Recipe）为了将“评估科学智能体何种能力”与“如何具体构造题目”解耦，论文引入了两层规划抽象： - \*\*概念（Concept）—— 高层评估计划\*\*：表示为一个三元组 c = (d, m, O) ，其中 d 为科学领域， m 为数据模态， O 为所需操作集合。概念仅规定任务应测试的分析能力（如“整合多模态证据推断因果调控”），而不涉及具体的数据文件或问题措辞。 - \*\*配方（Recipe）—— 底层构造计划\*\*：在概念约束下，配方规划具体的问题文本、数据来源与构建方式、答案的隐藏机制、 ground-truth 的计算与验证路径、答案格式规范，以及问题隐藏策略（避免在题干中泄露解题步骤）。这种分离使得同一概念可通过不同配方实例化为多个任务，也为后续的定向修订提供了明确的操作对象。 --- ### 2. 基于多源先验的初始概念生成为保证概念的科学性与覆盖面，AutoSciBench 从两类外部来源提取先验知识： - \*\*现有基准\*\*：从人工构建的科学智能体基准（如 CompBioBench、MatTools、MedCTA）中抽取种子概念。 - \*\*科学文献\*\*：检索目标领域近五年的文献，提取具体研究工作流（workflow），并进一步泛化为跨研究的分析模式（pattern）。这些模式保留了 recurring 的分析步骤与决策点，同时去除研究特异性细节。基于上述先验，框架生成新概念的候选池，确保评估目标扎根于真实科学研究实践。 --- ### 3. 反馈引导的迭代细化（Feedback-guided Iterative Refinement）初始实现的任务往往存在两类缺陷：一是求解器可通过捷径（如单次工具调用）直接得到答案，无需进行原始数据重检或中间结果解释；二是问题或数据设计存在歧义，导致答案不唯一。为此，框架引入了基于求解器轨迹的迭代细化： - \*\*任务实现\*\*：根据当前概念 c_t 与配方 r_t 生成具体任务实例 Q_t = (q_t, F_t, a_t) ，包括问题文本、数据文件与参考答案。 - \*\*求解与评判\*\*：对 Q_t 运行 K 次独立求解试验。评判者（judge）基于求解轨迹与最终答案，评估两项指标： - \*\*可验证性（Verifiability）\*\*：问题与数据是否支持唯一、可精确匹配的答案； - \*\*难度（Difficulty）\*\*：求解器在有效试验中的经验成功率（全部正确为“简单”，部分正确为“中等”，全部失败为“困难”）。 - \*\*配方修订\*\*：若任务可验证但过于简单，或不可验证但概念本身无误，则保留概念（ c_(t+1) = c_t ），修订配方 r_(t+1) 。修订方向包括增加隐藏数据复杂度、引入干扰项、要求对中间结果进行解释，或强制整合多源证据，以消除捷径。 - \*\*概念修订\*\*：若连续多次配方修订仍无法同时满足可验证与困难，则回溯修订概念 c_(t+1) ，调整其领域、模态或操作目标，使评估需求转向更深层的推理行为，随后重新设计配方。该迭代过程最多进行 10 轮，逐步将任务从“可直接利用中间输出”推向“必须重访原始数据、解释测量伪影、整合跨步骤证据”。 --- ### 4. 经验引导的概念生成（Experience-guided Concept Generation）单个概念的迭代历史蕴含了关于“何种设计导致捷径、何种修订有效提升难度”的宝贵信息。为避免在后续概念生成中重复遭遇同类失败，框架设计了经验蒸馏与复用机制： - \*\*经验卡片（Experience Card）\*\*：在每次概念细化结束后，智能体自动审阅该轨迹中的任务设计、评判反馈与求解行为，总结为包含以下字段的经验卡片：设计教训（experience summary）、有效模式（useful design patterns）、反模式（anti-patterns）、选择指导（selection guidance）与生成指导（generation guidance）。 - \*\*经验记忆（Experience Memory）\*\*：累积的经验卡片构成记忆库。在生成后续新概念时，框架将记忆库中的相关卡片与外部先验（基准概念、文献模式）共同输入，指导新概念的提出。这样，早期任务中发现的有效修订策略（如“要求从观测中识别分析方法并恢复目标量”）可跨领域、跨模态迁移，催生结构相似但科学内容全新的更具挑战性的评估目标。 --- ### 5. 面向科学智能体评估的针对性设计区别于一般 LLM 或通用智能体基准的自动生成方法，AutoSciBench 针对科学领域的两个本质特征进行了特殊设计： - \*\*交互式信息获取\*\*：配方阶段即规划“哪些信息直接提供于题干、哪些必须通过工具与数据交互获得”，强制求解器执行规划、工具调用、观察与分析的完整循环，而非仅依赖参数化知识作答。 - \*\*基于间接证据的科学推理\*\*：通过迭代细化刻意消除“执行错误即显式反馈”的通用智能体模式，转而要求求解器面对仅提供间接证据的中间输出时，能够重新检验原始数据（raw-data re-examination）、验证中间结果（interpretation of intermediate results），并跨步骤整合证据（evidence integration）。 --- 综上，AutoSciBench 通过“概念-配方”双层规划提供了可解释、可修订的任务构造中间表示；通过求解器反馈驱动的迭代细化关闭了已知捷径并持续提升任务难度；通过经验记忆的跨任务迁移实现了评估目标的自适应演化。三者协同，使科学智能体的基准测试能够伴随被测智能体能力的提升而自主进化。 Q4: 论文做了哪些实验？论文在 \*\*计算生物学（computational biology）、材料科学（materials science）和临床成像（clinical imaging）\*\* 三个领域开展了系统实验，以验证 AutoSciBench 生成基准的有效性、迭代细化的作用以及经验引导概念生成的价值。实验围绕以下三个核心问题展开：(1) 自动生成的基准是否具有足够的挑战性与实用性；(2) 反馈引导的迭代细化能否系统性地提升任务质量；(3) 先前细化经验能否改善后续基准生成。各实验的具体内容如下： --- ### 1. 基准生成设置实验以 \*\*CompBioBench\*\*（计算生物学）、\*\*MatTools\*\*（材料科学）和 \*\*MedCTA\*\*（临床成像）作为种子基准。使用 \*\*Claude Opus 4.8\*\* 与 \*\*GPT-5.6 Sol\*\* 作为生成器，每个生成器同时充当细化阶段的求解器。每个领域通过五轮经验引导的概念生成迭代，共构造 50 个任务；每个概念最多经历 10 轮细化（含初始轮），最终从每次细化轨迹中选取难度最高的可验证任务构成输出基准。 --- ### 2. 原始基准与生成基准上的模型性能对比实验在人工整理的原始基准与 AutoSciBench 生成的基准上，评估了涵盖 Claude 系列（Opus 5、Opus 4.8、Opus 4.7、Sonnet 5、Haiku 4.5）与 GPT 系列（GPT-6 Astra、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna、GPT-5.5）的共 10 个求解器。 \*\*主要发现：\*\* - \*\*生成基准显著更难\*\*：在计算生物学和材料科学领域，生成基准的平均求解准确率相比人工基准分别下降 \*\*22.4\*\* 和 \*\*25.5 个百分点\*\*。例如，Claude Opus 4.8 在原始 CompBioBench 上准确率为 90.4% ，而在 AutoSciBench 生成基准上降至 50.7% ；在材料科学原始基准上多家模型准确率接近天花板（平均 95.7% ），但生成基准上平均降至 70.2% （Opus 4.8）与 77.6% （GPT-5.6 Sol）。 - \*\*难度具有跨模型迁移性\*\*：即使使用与生成器不同的求解器，生成基准仍普遍表现出更低的准确率，说明任务难度并非仅针对特定生成器-求解器对。 - \*\*基准更新对应对能力演进的需求\*\*：后续发布的更强模型（如 Opus 5、GPT-6 Astra）在生成基准上准确率显著高于生成时所用模型（分别高出 19.5pp 和 15.1pp），印证了固定基准会迅速饱和，迫切需要自适应更新机制。 --- ### 3. 基准质量评估为评估任务质量是否因难度提升而牺牲，实验引入了两名独立评判者（Claude Opus 4.8 与 GPT-5.6 Sol），从以下三个维度对人工基准与生成基准进行 1–5 分评分： - \*\*可验证性（Verifiability）\*\*：问题是否有唯一可复现的答案； - \*\*有用性（Usefulness）\*\*：是否评估了真实研究中有科学意义的任务； - \*\*适合性（Fitness）\*\*：是否适合评估智能体（需观察、规划、工具执行、多步适应等）。 \*\*主要发现：\*\* - \*\*生成基准质量全面优于人工基准\*\*：在两个评判者、三个领域下，生成基准的平均得分均高于人工基准。GPT-5.6 Sol 生成的基准在三项指标上平均得分最高（计算生物学 4.28 、材料科学 4.06 、临床成像 4.02 ）。 - \*\*适合性显著提升\*\*：生成基准的 Fitness 得分普遍更高，说明评判者认为这些任务更能有效测试智能体的规划、工具使用与多步适应能力。 - \*\*有用性保持或提升\*\*：Opus 4.8 生成的任务在计算生物学和材料科学的有用性得分（ 4.27 和 4.17 ）高于人工基准（ 3.62 和 1.49 ），表明增加难度并未以牺牲科学意义为代价。 --- ### 4. 反馈引导迭代细化的效果实验追踪了细化轮次（最多 9 轮修订）中任务难度的分布变化，并分析了任务科学推理需求的具体转变。 - \*\*难度逐步提升\*\*：初始生成的任务以“简单”为主；随着迭代进行，“困难”任务比例持续上升，而“简单”任务比例下降。如图 4（左）所示，多轮细化后困难任务成为主导。 - \*\*推理类型的转变\*\*：以 UMI（Unique Molecular Identifier）纠错任务为例（图 4 右），初始数据中 UMI 序列无错误，求解器可直接计数；经细化后，数据被引入模拟测序错误（altered bases），求解器必须重新检视原始数据，区分真实 UMI 与错误诱导的序列变异，并结合读段支持信息进行纠错。该修订后的任务在三次独立求解试验中均导致智能体失败。 - \*\*生成器差异\*\*：Claude Opus 4.8 在利用自身求解反馈构造困难任务方面效果尤为显著。 --- ### 5. 经验引导概念生成的效果为验证经验记忆的作用，实验在材料科学领域以 Claude Opus 4.8 为生成器，对比了\*\*使用经验引导\*\*与\*\*不使用经验引导\*\*的概念生成。 - \*\*消融实验结果\*\*（表 3）：无经验引导时，求解成功率为 66.7% ，困难任务占比仅 15.0% ；引入经验引导后，求解成功率降至 35.0% ，困难任务占比提升至 50.0% 。这表明复用先前细化经验能够指导生成更具挑战性的概念。 - \*\*跨领域行为迁移\*\*：如表 7 所示，早期概念（半导体结电学特性分析）的细化经验强调“从观测中识别分析方法、恢复潜变量、检查数据一致性”等高层推理行为。后续新生成的概念（半导体光谱/带隙测定）在领域和模态上完全不同，但继承了相同的高层分析结构（识别、恢复、一致性检查），且生成的任务被评为“困难”，而早期概念仅达到“中等”。这说明经验可跨领域迁移，指导围绕高层推理行为设计新任务。 --- ### 6. 概念与配方规划的效果实验通过消融验证了两层规划结构的必要性，比较了三种设置： - \*\*完整框架\*\*（Full）：保留概念与配方规划； - \*\*无配方\*\*（w/o R）：移除配方，直接基于概念生成任务后迭代修订； - \*\*无概念与配方\*\*（w/o C+R）：同时移除两层规划，直接修订任务实例。结果表明（图 5），完整框架中求解成功率随细化轮次下降最为显著；而移除配方或同时移除概念与配方后，成功率始终较高且下降平缓。这说明概念与配方作为显式的结构化中间表示，为基于求解器反馈的定向修订提供了有效抓手，比直接修改任务实例更能系统性地提升难度。 --- ### 7. 生成任务的定性分析论文在附录中提供了大量生成任务的完整示例（覆盖三个领域、两个生成器），以定性展示任务特征： - \*\*计算生物学\*\*：包括抗原呈递预测、基因必需性筛选、激酶-底物鉴定、宏基因组污染检测等任务，要求智能体执行序列分析、读段处理、统计检验与证据整合。 - \*\*材料科学\*\*：包括比表面积测定（BET 法）、光学带隙确定、合成路线选择、应力张量分析等任务，要求智能体从模拟或真实数据中提取特征、执行专业计算并处理单位与坐标变换。 - \*\*临床成像\*\*：包括心胸比计算、RECIST 1.1 疗效评估、心脏 MRI 水肿-增强模式判读、空间细胞组成分析等任务，要求智能体解析医学图像、结合标注文件进行定量测量与临床规则应用。这些示例共同表明，生成任务无法仅通过题干文本或参数知识作答，而必须主动审阅科学数据、解释中间结果并整合多源证据，从而有效测试智能体的科学推理能力。 Q5: 有什么可以进一步探索的点？基于论文内容，以下方向值得进一步探索： --- ### 1. 经验记忆的显式结构化与跨领域迁移机制论文中的经验以自然语言卡片形式存储和复用。未来可探索将经验蒸馏为\*\*结构化的推理模式库\*\*（如分析流程图、决策树或知识图谱），并量化其在不同科学领域间的迁移效用。例如，计算生物学中“从含噪测序数据恢复潜变量”的经验，能否通过形式化的中间表示自动适配至天文学的光谱分析或金融经济学的时序隐变量推断？建立跨域迁移的度量与匹配机制，将提升经验复用的可控性。 ### 2. 多模态与复杂交互环境的扩展当前实验涵盖序列数据、表格、图像等模态，但科学实践中普遍存在\*\*多模态深度融合\*\*场景（如电镜图像+谱学数据+文本文献的联合分析）。进一步研究可探索： - 如何自动生成需要\*\*跨模态对齐与联合推理\*\*的任务； - 如何构建动态交互环境（如可操作的实验模拟平台），而非仅提供静态数据文件； - 是否可引入\*\*多智能体协作或对抗\*\*设定，评估科学团队模拟场景下的分布式推理能力。 ### 3. 人工专家在环的验证与偏差审计论文的质量评判主要依赖 LLM 评委。未来需要系统引入\*\*人类领域专家\*\*进行： - \*\*效度验证（Validity）\*\*：确认自动生成任务是否确实测量了目标科学能力，而非仅测量代码执行或格式解析技巧； - \*\*偏差审计\*\*：检查生成基准是否系统性地偏向某些求解策略（如过度依赖 Python 数据分析而忽略领域特定软件），或是否因生成器的知识盲区而遗漏关键的科学推理类型； - \*\*伦理与安全审查\*\*：尤其在临床成像领域，需确保模拟病例不隐含对特定人群的诊断偏见，且不会泄露真实患者数据模式。 ### 4. 生成成本与效率的优化附录显示单题生成成本可达数十至百余美元（Claude Opus 4.8 平均约 \ 35– 58，GPT-5.6 Sol 可达 \ 110）。可探索： - **成本感知的细化策略**：在迭代早期使用轻量级求解器进行快速筛选，仅在后期引入前沿强模型进行精确难度标定； - **生成缓存与复用**：将已验证成功的配方模块（如特定数据损坏模式、干扰项构造模板）参数化为可复用库，减少重复生成开销； - **人机协同生成**：由框架提出概念与初版配方，人类专家仅进行关键节点审核，以平衡自动化率与成本。 ### 5. 从评估工具到训练工具的转化 AutoSciBench 生成的难度递进任务天然适合**课程学习（Curriculum Learning）**或**强化学习训练**。未来可研究： - 如何利用自动生成的、难度可控的任务序列，系统性地训练科学智能体的特定能力短板； - 是否可将反馈引导的迭代细化框架直接嵌入智能体的自我对弈（self-play）训练循环，实现评估标准与模型能力的协同进化。 ### 6. 基准饱和动态与自适应理论论文观察到后续模型（如 GPT-6 Astra）在生成基准上准确率显著回升，暗示基准-求解器之间的“军备竞赛”动态。可进一步建立： - **基准寿命（Benchmark Lifespan）**的量化模型，预测特定任务在何种求解器能力阈值下会失效； - **自适应下界理论**：是否存在自动生成基准的难度理论极限？当求解器具备足够的领域知识与工具使用能力后，自动构造是否必然收敛至“仅依赖更长上下文或更多计算”即可求解的任务？ - **对抗性生成**：借鉴对抗样本或生成对抗网络思想，使基准生成器与求解器形成显式的 minimax 博弈，以最大化有效区分度。 ### 7. 更细粒度的认知诊断与过程评估当前评判主要依赖最终答案的正确率（easy/moderate/hard）。未来可扩展至**过程级评估**： - 利用求解轨迹进行**错误模式自动分类**（如数据预处理错误、单位换算遗漏、统计假设误用），使反馈不仅驱动难度提升，更针对性地训练特定推理环节； - 构建**部分 credit 的评分机制**：科学任务中，中间步骤的正确性（如选择正确的统计检验）往往比最终数字更有认知诊断价值，如何在不泄露 ground-truth 的前提下设计此类评估？ ### 8. 开放域与持续演化的基准平台论文框架是面向特定领域批处理生成。长期可探索构建**持续自主演化的开放基准平台**： - 自动监控新发布的科学文献与模型能力进展，触发新一轮概念生成； - 建立社区贡献接口，允许研究人员提交新的分析模式或失败案例，由平台自动整合为新的评估任务； - 设计**版本控制与回溯机制**，记录基准演化历史，确保不同时期模型性能的可比性。 Q6: 总结一下论文的主要内容这篇论文围绕**科学智能体基准测试的自动构建与动态适配**展开，核心内容与贡献可概括如下： --- ### 1. 研究背景与问题随着智能体（agents）能力的快速演进，现有基准测试容易迅速饱和，难以持续区分模型能力并揭示新的失败模式。在科学领域（如计算生物学、材料科学、临床成像），人工构建和更新基准测试需要大量的时间、劳动力与领域专家知识，导致评估体系严重滞后于智能体能力的发展。特别地，科学智能体评估面临两个独特挑战： - **交互式信息获取**：智能体需通过与外部数据、工具的交互获取信息，而非仅依赖输入上下文或参数知识； - **基于间接证据的科学推理**：科学分析中的中间输出通常仅提供关于假设的间接证据，而非显式的正确性反馈，要求智能体具备重访原始数据、验证中间结果与整合多源证据的能力。 --- ### 2. AutoSciBench 框架论文提出 **AutoSciBench**，一个用于自动生成并迭代优化科学智能体基准测试的框架，其核心机制包括： - **双层规划表示**： - **概念（Concept）**：高层计划 c=(d,m,O) ，规定科学领域 d 、数据模态 m 和所需分析操作 O ，明确“测什么”； - **配方（Recipe）**：底层计划，规定具体的问题构造、数据来源、答案隐藏机制与验证路径，明确“怎么构造”。 - **反馈引导的迭代细化**：将生成的任务交由求解器（solver）执行，基于求解轨迹与评判者（judge）的反馈（可验证性与难度），迭代修订配方（消除捷径、增加推理步骤）或回溯修订概念（调整评估目标与分析深度），逐步将任务推向“必须重访原始数据、解释中间结果、整合跨步骤证据”的方向。 - **经验引导的概念生成**：将历次细化轨迹蒸馏为可复用的经验卡片（experience cards），形成经验记忆库。后续新概念生成时结合外部先验（文献、现有基准）与这些经验，使历史教训（如某种捷径模式、有效的修订策略）跨任务迁移，指导构建更具挑战性的新任务。 --- ### 3. 实验验证论文在**计算生物学、材料科学、临床成像**三个领域开展实验，以 Claude Opus 4.8 和 GPT-5.6 Sol 为生成器，主要结果包括： - **生成基准显著更具挑战性**：在计算生物学和材料科学中，生成基准的平均求解准确率较人工基准分别降低 **22.4** 和 **25.5 个百分点**；且难度提升具有跨模型迁移性，不局限于特定生成器-求解器对。 - **生成基准质量更高**：在可验证性（Verifiability）、有用性（Usefulness）和适合性（Fitness）三项质量指标上，生成基准的平均评分均高于人工基准，说明难度提升并未牺牲科学意义或评估适切性。 - **迭代细化有效提升难度**：随着细化轮次增加，“困难”任务比例持续上升；定性分析表明，细化能将任务从“直接利用中间输出”转变为“解释测量伪影并整合多源证据”。 - **经验引导生成更有效**：消融实验显示，引入经验记忆后，求解成功率从 66.7\% 降至 35.0\% ，困难任务比例从 15.0\% 提升至 50.0\%$，且经验中的高层推理模式可跨领域、跨模态迁移。 - \*\*规划结构不可或缺\*\*：移除概念或配方规划后，迭代细化对难度的提升效果明显减弱，验证了双层结构化规划的必要性。 --- ### 4. 结论与意义论文表明，科学智能体基准测试可以\*\*自动构建并随智能体能力演进而自适应更新\*\*。通过将求解器行为作为反馈信号、将历史优化经验迁移至新任务设计，AutoSciBench 实现了基准难度的持续迭代提升，为科学智能体的可靠评估提供了一条可扩展、自适应的路径。这一工作不仅缓解了人工基准构建的成本瓶颈，也为应对智能体能力快速迭代背景下的“基准饱和”问题提供了系统性解决方案。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是AutoSciBench%3A%20Autonomous%20Benchmark%20Generation%20for%20Evaluating%20Scientific%20Agents，链接是https://arxiv.org/pdf/2610.05140，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.05140。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Dongki Kim,Namkyeong Lee,Surag Nair,Carl Edwards,Xiner Li,Edward De Brouwer,Jenna Lynn Collier,Sung Ju Hwang,Gabriele Scalia,Ehsan Hajiramezanali

Categories:

PDF URL: https://arxiv.org/pdf/2610.05140.pdf

Arxiv URL: https://arxiv.org/abs/2610.05140

Arxiv ID: 2610.05140

CoolPaper URL: https://papers.cool/arxiv/2610.05140

Published: 2026-10-07T02:41:41.686Z

Updated: 2026-10-07T02:41:41.686Z

3. DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation

Abstract:Streaming video generation has benefited from distribution matching distillation (DMD), which matches the joint distribution of video frames to a video teacher’s approximation of the real video distribution. Although this joint matching mitigates drift during autoregressive rollouts, limitations remain in visual quality and semantic alignment. To address these limitations, we propose DuoMatching, a distribution matching framework that approximates the real video distribution through a unified joint-marginal formulation. On top of existing joint matching formulations, the additional marginal matching objective provides dedicated frame-level supervision from an image generator, transferring complementary visual and semantic priors from it. To apply this frame-level supervision in video generation, we introduce LatentBridge to resolve the latent representation mismatch between the video student and the image teacher. Latent Variation Sampling further distributes such frame-level supervision across distinct temporal segments, reducing redundancy. Experiments demonstrate that DuoMatching improves visual quality, composition, and semantic alignment while largely preserving motion dynamics. Human evaluations show overall preference rates above 80% against all evaluated baselines. The project page is available at this https URL.

中文摘要

摘要：流媒体视频生成受益于分布匹配蒸馏（DMD），该方法将视频帧的联合分布匹配到视频教师对真实视频分布的近似。虽然这种联合匹配在自回归展开过程中可以缓解漂移，但在视觉质量和语义对齐方面仍存在局限性。为了解决这些局限性，我们提出了DuoMatching，一种通过统一的联合-边缘表述逼近真实视频分布的分布匹配框架。在现有联合匹配表述的基础上，额外的边缘匹配目标提供了来自图像生成器的专门帧级监督，从而转移其互补的视觉和语义先验。为了在视频生成中应用这种帧级监督，我们引入了LatentBridge来解决视频学生网络与图像教师网络之间的潜在表示不匹配问题。潜变量变化采样（Latent Variation Sampling）进一步将这种帧级监督分布到不同的时间片段上，从而减少冗余。实验表明，DuoMatching在维持运动动态的同时，提高了视觉质量、构图和语义对齐。人工评估显示，与所有评估的基线相比，整体偏好率超过80%。项目页面可通过此HTTPS链接访问。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.03543 (HTTP 429)

Authors: Jiahao Zhan,Yan Wang,Yongrui Ma,Qunliang Xing,Ruchang Yao,Runtao Liu,Shijie Zhao,Tianfan Xue

Categories:

PDF URL: https://arxiv.org/pdf/2610.03543.pdf

Arxiv URL: https://arxiv.org/abs/2610.03543

Arxiv ID: 2610.03543

CoolPaper URL: https://papers.cool/arxiv/2610.03543

Published: 2026-10-07T02:41:42.107Z

Updated: 2026-10-07T02:41:42.107Z

4. ALIVE: Interaction-Aligned Object Insertion for First-Frame-Guided Video Editing

Abstract:Current video editors can insert objects but often struggle to make them participate in interactions such as being picked up or manipulated. We introduce ALIVE, a framework that makes inserted objects “alive” through coherent interactions with the source video’s contents, using an edited first frame and an instruction naming only the added object. We curate 35,800 editing pairs combining 3D-rendered, model-generated, and real-world videos with general editing pairs from ROSE. Each pair differs in the target object’s presence while preserving the surrounding action, teaching editors coordinated object behavior and source preservation. We further train a vision-language model (VLM) to predict interaction guidance from the same inputs. We introduce the ALIVE-interaction benchmark to assess interaction fidelity, source preservation, and visual coherence using a unified VLM-based protocol, and evaluate on the general video object insertion benchmark. Without VLM guidance, ALIVE improves Overall over the strongest evaluated baseline by 43.9% and 4.4% on the two benchmarks, respectively. VLM-predicted guidance further improves the ALIVE-interaction score by 0.95 points without additional user inputs.

中文摘要

摘要：当前的视频编辑器可以插入对象，但通常难以让它们参与诸如被拾起或操纵等互动。我们介绍了ALIVE，一个通过与源视频内容的连贯互动使插入对象“活起来”的框架，该框架使用编辑后的第一帧和仅命名所添加对象的指令。我们整理了35,800对编辑案例，结合了3D渲染、模型生成和现实世界视频，以及来自ROSE的一般编辑对。每对案例在目标对象的存在上有所不同，同时保留周围动作，从而教会编辑器协调对象行为并保持源内容。我们进一步训练了一个视觉-语言模型（VLM），以从相同输入中预测互动指导。我们提出了ALIVE-interaction基准，用于通过统一的VLM协议评估互动保真度、源内容保留和视觉连贯性，并在一般视频对象插入基准上进行评估。在没有VLM指导的情况下，ALIVE在两个基准上的整体表现分别比最强基线提高了43.9%和4.4%。VLM预测的指导在不需要额外用户输入的情况下，进一步将ALIVE-interaction评分提高了0.95点。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08779 (HTTP 429)

Authors: Zhenghong Zhou,Zhe Lin,Jiebo Luo,Yuqian Zhou

Categories:

PDF URL: https://arxiv.org/pdf/2610.08779.pdf

Arxiv URL: https://arxiv.org/abs/2610.08779

Arxiv ID: 2610.08779

CoolPaper URL: https://papers.cool/arxiv/2610.08779

Published: 2026-10-07T02:41:42.129Z

Updated: 2026-10-07T02:41:42.129Z

5. Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution

Abstract:Tool-augmented speech assistants typically serialize automatic speech recognition, large language model inference, and external tool execution. As a result, tool latency is incurred only after the user has finished speaking and the LLM has identified the required tool calls. We present speculative tool execution for on-device cascaded voice agents, which predicts tool requests from partial ASR hypotheses and initiates tool execution while speech is still being received, thereby reducing end-to-end response latency. Our approach introduces a Predictor module that anticipates tool calls during speech recognition, executes them speculatively, and caches the results. The cached outputs are then injected into the LLM prompt, enabling faster responses. Additionally, to mitigate errors caused by user self-corrections during speech, we employ a rule-based validation mechanism that selectively injects only valid cached results. As a final safeguard, the LLM retains the ability to issue tool calls directly, ensuring that the latency of our framework is upper-bounded by the baseline serial execution pipeline in the worst case. We evaluate our method using live measurements from a fully implemented Android voice assistant. Our approach reduces the median time-to-first-audio from 5.79,s to 4.60,s and decreases the standard deviation from 3.49,s to 2.81,s, resulting in more predictable response latency.

中文摘要

摘要：增强工具的语音助手通常将自动语音识别、大型语言模型推理和外部工具执行串行化。因此，工具延迟仅在用户完成讲话并且LLM确定所需的工具调用之后才会产生。我们提出了用于设备端级联语音代理的推测性工具执行，该方法从部分ASR假设中预测工具请求，并在语音仍在接收时启动工具执行，从而减少端到端的响应延迟。我们的方法引入了一个预测器模块，在语音识别过程中预测工具调用，推测性执行并缓存结果。然后将缓存的输出注入到LLM提示中，从而实现更快的响应。此外，为了减轻用户在讲话过程中自我更正所造成的错误，我们采用基于规则的验证机制，仅选择性地注入有效的缓存结果。作为最终保障，LLM仍保留直接发起工具调用的能力，确保在最坏情况下，我们框架的延迟不会超过基线串行执行管道。我们通过在完全实现的Android语音助手上的实时测量评估了该方法。我们的方式将首次音频输出的中位时间从5.79秒减少到4.60秒，并将标准差从3.49秒降低到2.81秒，从而实现更可预测的响应延迟。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07641

Authors: Kyudan Jung,Hyunsin Park,Yoonhyung Lee,Jinhwan Park,Jinhyeok Yang,KiHyun Nam,Jaegul Choo,Jinkyu Lee

Categories:

PDF URL: https://arxiv.org/pdf/2610.07641.pdf

Arxiv URL: https://arxiv.org/abs/2610.07641

Arxiv ID: 2610.07641

CoolPaper URL: https://papers.cool/arxiv/2610.07641

Published: 2026-10-07T02:41:41.759Z

Updated: 2026-10-07T02:41:41.759Z

6. Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment

Abstract:Chain-of-thought (CoT) traces often serve as a proxy for how Large Language Models (LLMs) arrive at their answers. However, growing evidence shows that models’ CoT often fails to reflect their internal computations and can be changed without affecting their final answers. In this work, we measure and improve the alignment between the reasoning described in an LLM’s CoT and what it computes internally. We propose CoT-Interpretability Alignment (CIA), a metric that measures the agreement between a model’s CoT traces and its internal reasoning strategies as detected by interpretability tools. We evaluate CIA on three tasks (two-hop question answering, hint intervention, and integer multiplication) across three LLMs, finding that LLMs exhibit limited alignment across all tasks (44.8-75.9%). We then experiment with improving CIA via post-training, setting both the task accuracy and parametric faithfulness signals as a reward. Experiments show that we can substantially improve CoT parametric faithfulness while maintaining or improving the task accuracy. We provide rich analysis, such as their generalization patterns. Our work provides both a framework for auditing CoT parametric faithfulness and a pathway toward making models’ explicit reasoning more trustworthy. Code and data are available at this https URL.

中文摘要

摘要：思路链（Chain-of-thought, CoT）经常被用作大型语言模型（LLMs）得出答案的代理。然而，越来越多的证据表明，模型的CoT往往无法反映其内部计算，并且可以在不影响最终答案的情况下发生变化。在本研究中，我们测量并改进LLM的CoT中描述的推理与其内部计算之间的一致性。我们提出了CoT-可解释性对齐（CIA），这是一种衡量模型的CoT轨迹与通过可解释性工具检测到的内部推理策略之间一致性的指标。我们在三个任务（两跳问答、提示干预和整数乘法）和三种LLM上评估了CIA，发现LLM在所有任务中表现出有限的一致性（44.8%-75.9%）。随后，我们尝试通过后训练改进CIA，将任务准确性和参数化可信度信号同时作为奖励。实验表明，我们可以显著提高CoT的参数化可信度，同时保持或提升任务准确性。我们提供了丰富的分析，例如它们的泛化模式。本研究提供了用于审计CoT参数化可信度的框架，并为使模型的显式推理更加可信提供了一条途径。代码和数据可在此https URL获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.38972 (HTTP 429)

Authors: Yihuai Hong,Shauli Ravfogel,Chen Zhao,Eunsol Choi

Categories:

PDF URL: https://arxiv.org/pdf/2609.38972.pdf

Arxiv URL: https://arxiv.org/abs/2609.38972

Arxiv ID: 2609.38972

CoolPaper URL: https://papers.cool/arxiv/2609.38972

Published: 2026-10-07T02:41:46.312Z

Updated: 2026-10-07T02:41:46.312Z

7. VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

Abstract:Self-improving policies continually expose new failure patterns, changing what their judges must be able to verify. However, current fixed judges constrain both optimization feedback and the discovery of useful training examples, limiting further self-improvement. This challenge is even more acute in embodied reasoning, where reliable evaluation must account for spatial grounding, causal reasoning, and safety-aware decision-making. We introduce VeriFine, an agent harness framework that scales verification through the co-evolution of the policy, training curriculum, and judge. The Policy Improvement Loop uses a rubric judge to diagnose recurring failures, construct an adaptive curriculum, and optimize the policy. When progress plateaus and verification becomes a bottleneck, the Judge Improvement Loop selectively queries human guidance on informative failure cases and refines the judge through coactive calibration, in which humans and agents resolve disagreements and converge toward the objective rubric of physical reasoning. The revised judge then guides the next stage of data selection and policy optimization. Experiments on driving and robot navigation tasks demonstrate continuous self-improvement in both policy and judge capability across reinforcement and supervised fine-tuning. These results show how scaling verification supports continuous self-improvement as policy failure patterns evolve.

中文摘要

摘要：自我改进的策略会不断暴露新的失败模式，从而改变裁判必须能够验证的内容。然而，目前固定的裁判既限制了优化反馈，也限制了有用训练样本的发现，从而限制了进一步的自我改进。这一挑战在具身推理中尤为严重，因为可靠的评估必须考虑空间定位、因果推理以及安全意识决策。我们引入了VeriFine，一个利用策略、训练课程和裁判共进化来扩展验证的智能体框架。策略改进循环使用评分标准裁判来诊断重复出现的失败，构建自适应课程，并优化策略。当进展停滞且验证成为瓶颈时，裁判改进循环会在信息性失败案例上选择性地请求人为指导，并通过协作校准改进裁判，其中人类与智能体解决分歧并朝着物理推理的目标评分标准趋同。修改后的裁判随后引导下一阶段的数据选择和策略优化。在驾驶和机器人导航任务上的实验表明，在强化学习和监督微调过程中，策略和裁判能力均实现了持续自我改进。这些结果展示了在策略失败模式演变过程中，扩展验证如何支持持续自我改进。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08761

Authors: Zewei Zhou,Rachel Luo,Yulong Cao,Chaowei Xiao,Chensheng Peng,Boyi Li,Thomas Tian,Zheng Lian,Yan Wang,Jiaqi Ma,Boris Ivanovic,Marco Pavone,Wenhao Ding

Categories:

PDF URL: https://arxiv.org/pdf/2610.08761.pdf

Arxiv URL: https://arxiv.org/abs/2610.08761

Arxiv ID: 2610.08761

CoolPaper URL: https://papers.cool/arxiv/2610.08761

Published: 2026-10-07T02:41:46.686Z

Updated: 2026-10-07T02:41:46.686Z

8. Building Rome from a Single Image

Abstract:Single-image scene generation aims to produce a complete 3D scene mesh from a single image, including surfaces the camera did not observe. While pretrained 3D object generators encode a strong shape prior, they are mainly designed for isolated objects in a fixed canonical volume and focus mostly on indoor scenes, since diverse 3D data for outdoor scenes are quite limited. In this work, we present a method that redesigns such an object-centric generator, e.g., Trellis 2, to work on both indoor and outdoor scenes while retaining its prior. We accomplish this by (a) partitioning the scene into adaptive chunks that scale relative to the distance to the camera; nearby chunks have a smaller size to keep the finer detail, while distant structures, e.g., buildings, are covered by large chunks; (b) making the generator capture explicit 2D-3D correspondence by lifting image features and making the model aware of the free space, observed surface, and unobserved region; (c) synthesizing around 4,000 outdoor scenes to broaden the training data, as existing scene datasets are largely indoor. Experiments on Tanks and Temples, ScanNet++, and in-the-wild images show that our method outperforms all baselines in geometric accuracy and perceptual quality across both indoor and outdoor scenes.

中文摘要

摘要：单图像场景生成旨在从单张图像生成完整的三维场景网格，包括相机未观察到的表面。尽管预训练的三维物体生成器编码了强大的形状先验，但它们主要为固定标准体积中的孤立物体设计，并且主要关注室内场景，因为户外场景的多样化三维数据相当有限。在这项工作中，我们提出了一种方法，重新设计了这种以物体为中心的生成器，例如 Trellis 2，使其能够在室内和室外场景中工作，同时保留其先验。我们通过以下方式实现这一目标：(a) 将场景划分为自适应块，其尺寸相对于与相机的距离进行缩放；靠近的块尺寸较小以保留更精细的细节，而远处的结构，例如建筑物，由较大的块覆盖；(b) 使生成器通过提升图像特征并使模型了解自由空间、观察到的表面和未观察的区域，从而捕捉显式的二维到三维对应关系；(c) 合成约 4,000 个户外场景以扩展训练数据，因为现有的场景数据集主要是室内的。在 Tanks and Temples、ScanNet++ 以及野外图像上的实验证明，我们的方法在几何精度和感知质量方面均优于所有基线方法，并适用于室内和室外场景。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08790

Authors: Jiraphon Yenphraphai,Fang Li,Tianshuo Xu,Depu Meng,Quentin Herau,Yihan Hu,Raymond A. Yeh,Wei Zhan

Categories:

PDF URL: https://arxiv.org/pdf/2610.08790.pdf

Arxiv URL: https://arxiv.org/abs/2610.08790

Arxiv ID: 2610.08790

CoolPaper URL: https://papers.cool/arxiv/2610.08790

Published: 2026-10-07T02:41:51.391Z

Updated: 2026-10-07T02:41:51.391Z

9. EVISKILL: Grounding Skill Evolution in Replayable Evidence

Abstract:Continual skill evolution enables LLM agents to accumulate and refine reusable procedural knowledge from interaction experience without updating model parameters. Its effectiveness depends on determining not only what to change, but also why a change is justified and when it should become persistent guidance. However, existing experience-driven methods can lose the behavioral evidence and task contexts supporting edits. Moreover, a global validation outcome provides an incomplete judgment of its constituent changes: locally supported corrections may be discarded with a rejected revision, while evidence may require further experience to inform useful updates. To this end, we introduce EVISKILL, an evidence-driven framework that organizes execution observations into Replayable Evidence Cards and synthesizes edits with explicit links to their supporting contexts. Targeted replay verifies these edits through re-execution and provides feedback for correction. Across epochs, EVISKILL preserves evidence and provisionally retains supported edits for further refinement, while global validation governs their incorporation into the final skill. Experiments on three interactive benchmarks across six LLM backbones demonstrate the effectiveness of this approach.

中文摘要

摘要：持续的技能演化使大型语言模型（LLM）代理能够从交互经验中积累和完善可复用的操作性知识，而无需更新模型参数。其有效性不仅取决于确定需要改变的内容，还取决于了解为什么某种改变是合理的以及何时应将其作为持久指导。然而，现有的经验驱动方法可能会丢失支持编辑的行为证据和任务上下文。此外，整体的验证结果对其组成修改的判断是不完整的：局部支持的修正可能会因整体修订被拒而被舍弃，而证据可能需要进一步经验来指导有用的更新。为此，我们引入了EVISKILL，一个证据驱动的框架，将执行观察组织为可重放的证据卡，并合成与其支持上下文明确关联的编辑。针对性的重放通过重新执行验证这些编辑并提供修正反馈。在多个周期中，EVISKILL保存证据并暂时保留支持的编辑以便进一步完善，而全局验证则决定其是否整合入最终技能。在六个不同LLM骨干模型上的三个交互基准实验证明了这一方法的有效性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.05030 (HTTP 429)

Authors: Yan Zhou,Yili Wang,Yiwei Dai,Qinggang Zhang,Xin Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.05030.pdf

Arxiv URL: https://arxiv.org/abs/2610.05030

Arxiv ID: 2610.05030

CoolPaper URL: https://papers.cool/arxiv/2610.05030

Published: 2026-10-07T02:41:52.107Z

Updated: 2026-10-07T02:41:52.107Z

10. DiVeR: Decision-Critical Verifier Learning for VLA Test-Time Scaling

Abstract:Scaling robot data and model capacity has improved Vision-Language-Action (VLA) policies, but further progress is constrained by the high cost of robotic data. Verifier-guided test-time scaling offers an efficient alternative by sampling multiple action candidates and selecting the one most likely to lead to task success at inference time. Existing classification-based verifiers learn from trajectory-level outcomes but treat all visited states equally, even though their value for candidate discrimination can vary across a trajectory. At many states, plausible actions are similar and provide limited discrimination signal, while only a sparse set of decision-critical states admits meaningfully different actions that can substantially affect downstream outcomes. To address this, we propose DiVeR, which estimates decision criticality from the dispersion of sampled action representations. DiVeR then uses this signal to reweight verifier learning toward states where action selection is most consequential, without requiring step-level annotations or additional environment interaction. Across LIBERO, RoboCasa, and real-world experiments on a Franka Research 3 robot, DiVeR consistently improves task success through more effective verifier-guided action selection, while adding negligible verifier inference overhead.

中文摘要

摘要：扩展机器人数据和模型容量已经提升了视觉-语言-动作（VLA）策略，但机器人数据的高成本限制了进一步的进展。验证器引导的测试时扩展提供了一种高效的替代方法，它通过在推理时采样多个动作候选并选择最有可能导致任务成功的动作。现有的基于分类的验证器从轨迹级结果中学习，但对所有访问的状态一视同仁，即使它们对动作候选的区分价值在轨迹中可能有所不同。在许多状态下，可行动作相似，并提供有限的区分信号，而只有少数关键决策状态允许有实质性差异的动作，从而显著影响后续结果。为了解决这一问题，我们提出了DiVeR，它通过采样动作表示的分布来估计决策关键性。DiVeR随后使用该信号重新加权验证器学习，重点关注动作选择最关键的状态，而无需步骤级注释或额外的环境交互。在LIBERO、RoboCasa以及Franka Research 3机器人上的真实实验中，DiVeR通过更有效的验证器引导动作选择持续提高任务成功率，同时几乎不增加验证器推理开销。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.04933 (HTTP 429)

Authors: Seongheon Park,Heecheol Kim,Shulin Tian,Lilika Makabe,Namiko Saito,Katsushi Ikeuchi,Sharon Li,Yasuyuki Matsushita

Categories:

PDF URL: https://arxiv.org/pdf/2610.04933.pdf

Arxiv URL: https://arxiv.org/abs/2610.04933

Arxiv ID: 2610.04933

CoolPaper URL: https://papers.cool/arxiv/2610.04933

Published: 2026-10-07T02:41:53.515Z

Updated: 2026-10-07T02:41:53.515Z

11. Harness Engineering for Software Engineering via Modular Executable Dev-Primitives

Abstract:Large language models (LLMs) equipped with terminal access have demonstrated strong capabilities in automating software engineering tasks. However, existing agents remain brittle on long-horizon workflows, where they must repeatedly reconstruct program state scattered across source files, configurations, tests, dependencies, and runtime behavior, leading to increasingly long interaction histories, context explosion, and semantic drift. Large repositories further complicate the identification of task-relevant components. To address these challenges, we introduce \textbf{Dev-Primitives} (\emph{Development Primitives}), a modular and executable abstraction that transforms repository components from passive software artifacts into active participants in software engineering. Each Dev-Primitive pairs a repository artifact with a resident LLM, which gives the artifact an agent-native interface grounded in its own implementation and dependencies, enabling natural-language reasoning, inter-component communication, and localized self-modification. Building on Dev-Primitives, we propose \textbf{HERMES}, a Harness Engineering framework for software engineeRing via Modular Executable Dev-PrimitiveS, which instantiates these primitives at repository scale through a dependency-aware dynamic activation mechanism and a bug diagnosis mechanism that maps execution evidence back to the components that must be revised. Extensive experiments on four software engineering benchmarks demonstrate that HERMES outperforms matched baseline harnesses by 12.4\% on average. Moreover, when paired with strong activation and diagnosis models, HERMES, even with Qwen3-8B Dev-Primitives, remains within 4.5\% of the homogeneous GPT-5.6 Sol configuration across all four benchmarks, while reducing inference cost by 26.2\% on Terminal-Bench 4.0, highlighting the importance of harness design in software engineering agents.

中文摘要

摘要：配备终端访问的大型语言模型（LLM）在自动化软件工程任务中展示了强大的能力。然而，现有代理在长周期工作流程中仍然脆弱，在这些流程中，它们必须反复重建分散在源文件、配置、测试、依赖项和运行时行为中的程序状态，从而导致交互历史越来越长、上下文信息爆炸以及语义漂移。大型代码库进一步增加了识别与任务相关组件的复杂性。为了解决这些挑战，我们提出了\textbf{Dev-Primitives}（\emph{开发原语}），一种模块化且可执行的抽象，将代码库组件从被动的软件工件转变为软件工程中的主动参与者。每个 Dev-Primitive 将一个代码库工件与一个驻留的 LLM 配对，使该工件拥有一个以其自身实现和依赖为基础的代理原生接口，从而实现自然语言推理、组件间通信以及局部自我修改。在 Dev-Primitives 的基础上，我们提出了\textbf{HERMES}，即通过模块化可执行 Dev-Primitives 实现的软件工程框架（Harness Engineering framework for software engineeRing via Modular Executable Dev-PrimitiveS），该框架通过依赖感知的动态激活机制和将执行证据映射回必须修改的组件的错误诊断机制，在代码库规模上实例化这些原语。在四个软件工程基准上的大量实验表明，HERMES 平均比匹配的基线框架高出 12.4%。此外，当与强大的激活和诊断模型配合使用时，即使使用 Qwen3-8B Dev-Primitives，HERMES 在所有四个基准上与同质的 GPT-5.6 Sol 配置的差距也保持在 4.5% 以内，同时在 Terminal-Bench 4.0 上将推理成本降低了 26.2%，突显了框架设计在软件工程代理中的重要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07832

Authors: Haibo Jin,Xinjie Li,Peng Kuang,Haohan Wang

Categories:

PDF URL: https://arxiv.org/pdf/2610.07832.pdf

Arxiv URL: https://arxiv.org/abs/2610.07832

Arxiv ID: 2610.07832

CoolPaper URL: https://papers.cool/arxiv/2610.07832

Published: 2026-10-07T02:41:55.453Z

Updated: 2026-10-07T02:41:55.453Z

12. EmbodiedSmith: Scaling Embodied Data through Recursive Self-Improvement Flywheel in Simulation

Abstract:Scaling robotic foundation models requires diverse training data and reliable evaluation environments. Simulation offers a scalable solution, yet existing generation pipelines remain constrained by predefined assets and skills, a disconnect between scene generation and task generation, and limited support for complex embodiments and physics. We introduce EmbodiedSmith, a framework for scalable embodied data generation through recursive self-improvement (RSI). EmbodiedSmith unifies asset, scene, and task generation in a pipeline that supports autonomous creation and language-driven customization. Its core is an agentic refinement loop: scene generation anticipates downstream task requirements, while task generation guides targeted scene edits, allowing scenes and tasks to iteratively improve one another. This joint refinement improves task generation success, including for long-horizon tasks. The framework further supports mobile manipulators, humanoids, and dexterous hands, as well as interactions involving deformable objects and fluids, broadening the range of behaviors and physical phenomena represented in generated data. Together, these capabilities provide a flexible simulation engine for both robot pretraining and evaluation. Extensive experiments validate the quality, diversity, and generation efficiency of the resulting data, while downstream policy experiments demonstrate that increased data diversity improves generalization.

中文摘要

摘要：扩展机器人基础模型需要多样化的训练数据和可靠的评估环境。仿真提供了可扩展的解决方案，但现有的生成流程仍受制于预定义的资产和技能、场景生成与任务生成之间的脱节，以及对复杂体现方式和物理现象的有限支持。我们提出了 EmbodiedSmith，一种通过递归自我改进（RSI）进行可扩展体现数据生成的框架。EmbodiedSmith 在一个管道中统一了资产、场景和任务生成，支持自主创建和基于语言的定制。其核心是一个智能优化循环：场景生成预见下游任务需求，而任务生成引导目标场景修改，使场景与任务能够相互迭代改进。这种联合优化提升了任务生成的成功率，包括长周期任务。该框架进一步支持移动操作器、人形机器人和灵巧手，以及涉及可变形物体和流体的交互，拓展了生成数据中行为和物理现象的范围。这些能力共同提供了一个灵活的仿真引擎，用于机器人预训练和评估。大量实验验证了生成数据的质量、多样性和生成效率，而下游策略实验则表明，增加数据多样性能够提升泛化能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07969

Authors: Yikai Qin,Yifei Deng,Mingjian Liang,Wenxuan Song,Zepeng Lin,Zhiyi Jiang,Jiajun Fu,Qiao Sun,Huashuo Lei,Xicheng Gong,Jiayi Chen,Han Zhao,Shuanghao Bai,Pengxiang Ding,Pengwei Wang,Haoang Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.07969.pdf

Arxiv URL: https://arxiv.org/abs/2610.07969

Arxiv ID: 2610.07969

CoolPaper URL: https://papers.cool/arxiv/2610.07969

Published: 2026-10-07T02:41:58.114Z

Updated: 2026-10-07T02:41:58.114Z

13. World Models’ Last Exam in Physics

Abstract:Video world models can produce visually convincing yet physically inconsistent sequences, raising concerns about their reliability for prediction and planning in embodied AI systems. Existing evaluations often rely on model-based judgments or reference videos, while direct physical tests largely focus on mechanics. We introduce World Models’ Last Exam in Physics, a measurement-based benchmark for evaluating physical consistency in video world models. The benchmark comprises 40 controlled tasks spanning mechanics, optics, fluids, thermal and phase-change phenomena, electromagnetism, and surface tension. Each task pairs an initial image and a generation prompt with predefined physical criteria, enabling interpretable tests of observable physical relationships without requiring reference videos. Its evaluator combines task-observability screening with task-specific quantitative physical measurements. Experiments on eight video generation models across 1,280 videos reveal persistent physical inconsistencies and substantial variation across tasks, with the best model achieving an overall score of 57.76 out of 100. Evaluation on synthetic videos with known physical relationships provides evidence for the validity of the measurement module under controlled conditions. The evaluator also achieves higher agreement with human judgments than a direct vision-language model baseline in both within-task rankings and pairwise comparisons. By combining coverage across physical domains with scores grounded in measurable evidence and explicit measurement limitations, the benchmark provides an interpretable basis for diagnosing physical inconsistencies and tracking progress toward physically consistent video world models.

中文摘要

摘要：视频世界模型可以生成视觉上令人信服但物理上不一致的序列，这引发了人们对其在具身人工智能系统中用于预测和规划的可靠性担忧。现有评估通常依赖于基于模型的判断或参考视频，而直接的物理测试大多集中于力学领域。我们提出了“世界模型物理期末考试”，这是一个基于测量的基准，用于评估视频世界模型中的物理一致性。该基准包含40个受控任务，涵盖力学、光学、流体、热学及相变现象、电磁学和表面张力。每个任务将初始图像和生成提示与预定义的物理标准配对，从而无需参考视频即可进行可解释的可观测物理关系测试。其评估器结合了任务可观测性筛选与任务特定的量化物理测量。在1280个视频上对八个视频生成模型的实验显示，物理不一致性仍然存在，并且各任务间差异显著，表现最好的模型总体得分为100分中的57.76分。对具有已知物理关系的合成视频进行评估提供了在可控条件下验证测量模块有效性的证据。评估器在任务内排名和成对比较方面，与直接视觉-语言模型基线相比，也实现了更高的人类判断一致性。通过结合物理领域的覆盖范围，以及基于可测量证据和明确测量限制的评分机制，该基准为诊断物理不一致性和跟踪实现物理一致的视频世界模型提供了可解释的依据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08791

Authors: Mingju Gao,Qingle Liu,Yuzhao Peng,Xinjie Lin,Ziming Qin,Zheng Jiang,Wenyi Li,Calvin Xiao,Youjie Zheng,Kaisen Yang,Qinhuai Na

Categories:

PDF URL: https://arxiv.org/pdf/2610.08791.pdf

Arxiv URL: https://arxiv.org/abs/2610.08791

Arxiv ID: 2610.08791

CoolPaper URL: https://papers.cool/arxiv/2610.08791

Published: 2026-10-07T02:42:00.516Z

Updated: 2026-10-07T02:42:00.516Z

14. HiPLEX: Hierarchical Policy Factorization for Full Duplex Speech Language Models

Abstract:As human—AI interactions become more conversational, full-duplex speech language models capable of natural real-time dialogue are growing in importance. Beyond generating appropriate responses, these models must coordinate turn-taking, backchanneling, and floor management in real time. Reinforcement learning (RL) provides a way to refine these behaviors through direct feedback on interaction outcomes. However, existing RL methods either apply timing feedback to a token policy or optimize semantic content, leaving the joint improvement of timing and content unresolved. We introduce HiPLEX, an RL framework that factorizes a pretrained full-duplex text policy into a control policy that decides when to emit content and a conditional content policy that decides what to emit. The first factor selects among ‘pad’, ‘epad’, and ‘con’. The second selects a token only when ‘con’ is chosen. This hierarchy describes conditional actions within each frame and uses the model’s existing text head. We route timing advantages to the token-group factor through event-causal masks derived from generated speech episodes, and route an LLM-judge semantic advantage to the conditional content factor. Across three Moshi seeds on Full-Duplex-Bench v1, HiPLEX reduces takeover rates during natural user pauses and backchannel opportunities, and shortens post-interruption response latency relative to GRPO, while maintaining comparable judged interruption-response quality. On Moshi and PersonaPlex, HiPLEX better matches pooled human turn-timing and backchannel-rate marginals than GRPO.

中文摘要

摘要：随着人类与人工智能的互动变得更加会话化，能够进行自然实时对话的全双工语音语言模型的重要性日益增长。除了生成适当的响应之外，这些模型还必须实时协调轮次交替、回声回应和发言管理。强化学习（RL）提供了一种通过直接反馈交互结果来优化这些行为的方法。然而，现有的RL方法要么将时序反馈应用于令牌策略，要么优化语义内容，而时序与内容的联合改进仍未解决。我们提出了HiPLEX，一种RL框架，它将预训练的全双工文本策略分解为一个控制策略（用于决定何时输出内容）和一个条件内容策略（用于决定输出什么内容）。第一个因子在“pad”、“epad”和“con”之间选择。第二个因子仅在选择“con”时选择一个令牌。这个层次结构描述了每个帧内的条件动作，并使用模型现有的文本输出头。我们通过从生成的语音片段中导出的事件因果掩码，将时序优势传递给令牌组因子，并将LLM-judge的语义优势传递给条件内容因子。在Full-Duplex-Bench v1的三个Moshi随机种子实验中，HiPLEX在自然的用户暂停和回声机会期间减少了接管率，并在相较于GRPO缩短了中断后响应延迟，同时保持了可比较的中断响应质量评估。在Moshi和PersonaPlex上，HiPLEX比GRPO更好地匹配了汇总的人类轮次时序和回声率边际分布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07727

Authors: Kyudan Jung,Hyunsin Park,Yoonhyung Lee,Jinhwan Park,Jinhyeok Yang,KiHyun Nam,Jaegul Choo,Jinkyu Lee

Categories:

PDF URL: https://arxiv.org/pdf/2610.07727.pdf

Arxiv URL: https://arxiv.org/abs/2610.07727

Arxiv ID: 2610.07727

CoolPaper URL: https://papers.cool/arxiv/2610.07727

Published: 2026-10-07T02:42:02.178Z

Updated: 2026-10-07T02:42:02.178Z