HuggingFace Papers 2026-10-06

数据来源：HuggingFace Papers

Latest Papers

1. ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience

Abstract:A large language model (LLM) agent solves long-horizon tasks through many reasoning-action turns, with one verification signal at termination. Deployed agents face streams of related tasks, making their trajectories a natural resource for improvement. In-context adaptation agents store reflections, memories, or skills as text, so reuse depends on retrieving the right experience and on a frozen policy executing it. We study Online Agentic Test-Time Training (OaTTT), which trains the LLM’s weights on its own execution trajectories during deployment. The agent executes each task once, in one pass over the stream, and the executed trajectory with its verification result is the only learning signal for weight updates that persist across tasks. Directly imitating or reinforcing the generated tokens of this single attempt destabilizes the policy. We introduce ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time), which instead self-distills verified experience. A stable version of the LLM, its frozen initial copy, receives the verified trajectory as privileged information and predicts next-token distributions along it with this hindsight. Distilling them into persistent LoRA fast weights updates the agent for later tasks, without an external reference solution or stronger teacher. By further removing invalid-action turns, ASCENT distills enhanced privileged experience for more efficient execution. We characterize its population target and the limits of sparse outcome selection. Across ALFWorld, WebShop, and AppWorld at varied model scales, ASCENT improves task success and interaction efficiency as experience accumulates, outperforms online adaptation methods, and transfers to held-out scenes, showing that an agent can consolidate verified experience into its weights without a separate training phase or memory retrieval. Project page: this https URL

中文摘要

摘要：大型语言模型（LLM）代理通过多次推理-行动回合解决长时间跨度的任务，并在终止时获得一次验证信号。部署的代理面临一系列相关任务，使它们的轨迹成为改进的自然资源。上下文适应型代理将反思、记忆或技能以文本形式存储，因此重用取决于检索到正确的经验以及执行该经验的固定策略。我们研究了在线代理测试时训练（OaTTT），该方法在部署期间使用 LLM 自身的执行轨迹训练其权重。代理对每个任务只执行一次，对任务流进行单通道处理，执行轨迹及其验证结果是权重更新的唯一学习信号，这些更新在不同任务之间保持。直接模仿或强化这次单次尝试生成的 token 会导致策略不稳定。我们引入了 ASCENT（测试时跨任务进化的代理自我蒸馏），它改为自我蒸馏经过验证的经验。LLM 的稳定版本，即其冻结的初始副本，将经过验证的轨迹作为特权信息，并基于该事后信息预测下一个 token 的分布。将这些分布蒸馏到持久的 LoRA 快速权重中，能够在后续任务中更新代理，而无需外部参考方案或更强的教师。通过进一步移除无效动作回合，ASCENT 蒸馏增强的特权经验以实现更高效的执行。我们描述了其群体目标和稀疏结果选择的限制。在 ALFWorld、WebShop 和 AppWorld 的不同模型规模测试中，ASCENT 随着经验积累提高了任务成功率和交互效率，优于在线适应方法，并能迁移到未见场景，表明代理可以将验证过的经验整合进其权重，而无需单独的训练阶段或记忆检索。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.05303

Authors: Haodong Lu,Dong Gong

Categories:

PDF URL: https://arxiv.org/pdf/2610.05303.pdf

Arxiv URL: https://arxiv.org/abs/2610.05303

Arxiv ID: 2610.05303

CoolPaper URL: https://papers.cool/arxiv/2610.05303

Published: 2026-10-06T03:19:49.092Z

Updated: 2026-10-06T03:19:49.092Z

2. Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency

Abstract:Efficient long-video understanding with vision-language models (VLMs) is often framed as selecting informative frames or visual tokens at a fixed native resolution. We show that per-frame resolution can instead be traded for denser temporal coverage, while front-end decoding latency depends on the size of the candidate pool rather than the final token budget. An empirical study across multiple VLMs and long-video benchmarks yields three findings: dense low-resolution sampling outperforms sparse native-resolution sampling at matched token budgets; resolution-sensitive tasks benefit from selected high-resolution frames; and front-end decoding dominates wall time for hour-long videos. Motivated by these findings, we introduce LoHi, a training-free, single-pass framework that combines a dense low-resolution video stream with sparse high-resolution image frames through the VLM’s native video and image pathways. LoHi-Anchor selects high-resolution frames using codec I-frame metadata, while LoHi-SemDiv uses query relevance and visual diversity over CLIP features. Across three long-video benchmarks, LoHi improves average accuracy by 10.6 percentage points over the native-resolution baseline at a matched token budget and by 5.2 percentage points over the strongest prior efficiency method. It also reduces front-end decoding latency by up to 7x on hour-long videos. Project page: this https URL

中文摘要

摘要：使用视觉-语言模型（VLM）高效理解长视频通常被表述为在固定的原生分辨率下选择有信息量的帧或视觉令牌。我们表明，每帧分辨率可以以更密集的时间覆盖率来替代，而前端解码延迟取决于候选池的大小，而不是最终的令牌预算。针对多个VLM和长视频基准的实证研究得出三点发现：在匹配的令牌预算下，低分辨率密集采样优于稀疏原生分辨率采样；对分辨率敏感的任务受益于选择的高分辨率帧；前端解码在小时级视频中主导了实际计算时间。基于这些发现，我们提出了LoHi，这是一种无需训练的单次处理框架，通过VLM的原生视频和图像路径，将低分辨率密集视频流与稀疏高分辨率图像帧结合。LoHi-Anchor使用编解码器I帧元数据选择高分辨率帧，而LoHi-SemDiv则根据CLIP特征的查询相关性和视觉多样性进行选择。在三个长视频基准测试中，LoHi在匹配的令牌预算下相比原生分辨率基线，平均准确率提高了10.6个百分点，相比最强的先前高效方法，提高了5.2个百分点。它还将小时级视频的前端解码延迟最多减少了7倍。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.04318 (HTTP 429)

Authors: Sixun Dong,Wei Li,Andong Deng,Qi Qian,Victor Zhu,Zhengping Ji,Chen Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.04318.pdf

Arxiv URL: https://arxiv.org/abs/2610.04318

Arxiv ID: 2610.04318

CoolPaper URL: https://papers.cool/arxiv/2610.04318

Published: 2026-10-06T03:19:49.065Z

Updated: 2026-10-06T03:19:49.065Z

3. PluginRSI: Recursive Improvement of Agent Harnesses with Reusable Plugins

Abstract:The harness surrounding a language model is a central determinant of agent performance. Recent methods optimize harnesses by searching over complete programs, where individual mechanisms are difficult to isolate and reuse. We introduce PluginRSI, which represents a harness as a composition of atomized plugins and organizes harness evolution around these plugins. Individual plugins are improved independently and accumulated in a shared library, then recombined into new harnesses at each iteration. PluginRSI improves over existing harness optimization methods across software engineering, command-line interaction, and question-answering tasks. The resulting harnesses retain their advantage when transferred to other solver models without further optimization. The evolved plugin library accelerates subsequent optimization from the initial harness, which helps faster and higher convergence on unseen tasks. These results show that accumulating reusable mechanisms provides an effective basis for continued harness improvement.

中文摘要

摘要：围绕语言模型的外壳是决定代理性能的核心因素。近年来的方法通过搜索完整程序来优化外壳，其中单个机制难以分离和重复使用。我们引入了PluginRSI，它将外壳表示为原子插件的组合，并围绕这些插件组织外壳的演化。单个插件独立改进并积累在共享库中，然后在每次迭代中重新组合成新的外壳。PluginRSI在软件工程、命令行交互和问答任务中优于现有的外壳优化方法。生成的外壳在转移到其他求解模型时无需进一步优化仍然保持其优势。演化的插件库能够加速从初始外壳开始的后续优化，从而在未见任务上实现更快和更高的收敛。这些结果表明，积累可重复使用的机制为持续改进外壳提供了有效基础。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*递归式 harness 优化\*\*中因对完整程序进行整体搜索与重写而导致的\*\*机制耦合\*\*和\*\*可复用性缺失\*\*问题。具体而言，现有方法通过迭代重写完整的 harness 实现来优化智能体性能，这带来了两个核心限制： - \*\*新机制探索受限\*\* 多种交互机制（如工具、角色、技能等）被耦合在单一的 harness 实现中，难以独立地对某一机制进行探索与改进。这种耦合导致优化过程容易重复收敛到相似的设计，阻碍了新颖有效机制的发现。 - \*\*有效机制难以保留与复用\*\* 整体重写可能覆盖或丢弃局部有效的机制，使得历史迭代中发现的改进无法被持续积累和跨候选复用，限制了优化经验的长期沉淀。为此，论文提出将 harness 表示为\*\*原子化插件（atomized plugins）的组合\*\*，通过围绕插件进行独立变异、评估与共享库积累，实现机制的解耦、持续发现与复用，从而在固定策略模型的前提下提升 agent 的期望任务回报

J(H) = E_(xsimD), τsimPhi(·|x,H,Theta)[r(τ, x)]
并加速后续优化收敛。 Q2: 有哪些相关研究？根据论文第 5 节及相关实验设置，与本文直接相关的研究可归纳为以下三个方向，另包含实验部分用于对比的代表性基线。 —- ### 1. 自我改进智能体（Self-Improving Agents）该方向关注如何让智能体在运行过程中持续提升能力，主要包括两类途径： - **策略学习（Policy Learning）** 通过让智能体自动生成任务与交互轨迹，并以强化学习（RL）或监督微调（SFT）更新底层模型参数。代表性工作包括基于在线课程强化学习的 WebRL（Qi et al., 2025）、自博弈推理的 Agent0 / Absolute Zero（Zhao et al., 2026; Xia et al., 2026b）、以及 R-Zero（Huang et al., 2026）等。 - **外部工件优化（Artifact Optimization）** 在固定模型权重的前提下，优化 prompt、上下文或记忆结构。例如： - Prompt 优化器：OPRO / TextGrad（Zhou et al., 2022; Yuksekgonul et al., 2024）以及 GEPA（Agrawal et al., 2026b）； - 上下文与记忆：ACE 的上下文剧本（Zhang et al., 2026d）、ReasoningBank（Ouyang et al., 2026）、Reflexion（Shinn et al., 2023）、以及可 revisit 的记忆机制（Shi et al., 2026b; Yan et al., 2026）； - 技能获取：Voyager（Wang et al., 2024）、SkillRL（Xia et al., 2026a）与 SkillClaw（Ma et al., 2026）。与上述工作不同，PluginRSI 并不更新模型参数，也不仅优化单一 prompt 或静态上下文，而是将 harness 视为**可执行机制及其协调工作流**的组合进行递归改进。 —- ### 2. 递归式 Harness 优化（Recursive Harness Optimization）该方向直接面向 harness 设计的搜索与进化，现有方法通常以**完整 harness 实现**为操作对象进行迭代重写： - **局部组件优化** 针对工作流结构（Hu et al., 2025; Zhang et al., 2025）、提示与角色分配（Agrawal et al., 2026b,a）、或可执行组件（Yang et al., 2026b; Yu et al., 2026; Fei et al., 2025; Shi et al., 2026a）进行迭代调整。 - **整体实现优化** 将算法本身或智能体的完整可执行代码作为搜索对象，例如用于科学发现的 AlphaEvolve（Romera-Paredes et al., 2024; Novikov et al., 2025）、Darwin-Gödel Machine（Zhang et al., 2026b）、Meta-Harness（Lee et al., 2026）、Hyperagents（Zhang et al., 2026c）、Continual Harness（Karten et al., 2026）以及 Self-Harness（Zhang et al., 2026a）。 **共同局限**：在上述方法中，各类机制（工具、角色、技能、记忆等）在迭代重写过程中始终**高度耦合**于单一 harness 实现内部，导致： - 难以独立评估某一机制对整体性能的贡献； - 有效局部机制容易被后续重写覆盖，无法跨候选复用与长期积累。 PluginRSI 通过**插件化参数化表示**解耦了这些机制，使得单个插件可以独立变异、评估，并被持久化到共享库中供后续重组复用。 —- ### 3. 模块化 Harness 设计（Modular Harness Design）该方向强调以模块化方式组织人类设计的机制： - **专家 curated 的插件化系统** 如 DeepSeek Harness（DeepSeek-AI, 2026）将运行时能力封装为可替换插件；Anthropic Claude Code、OpenAI Codex 等也采用类似思路。 - **自动化组合与配置编辑** AgentSquare（Shang et al., 2025）、LEGO-RL（Du et al., 2026b）、LegoMem（Han et al., 2025）等将人类设计的机制纳入 harness 工程；HarnessX（Chen et al., 2026）与基于门控语义质量-多样性方法（Luo et al., 2026）则通过类型化处理器自动编辑 harness 组件与配置。这些工作主要聚焦于**人类设计机制的模块化组织**或**静态/半自动化的组合**。PluginRSI 在此基础上进一步探索了**递归式、自动化的插件发现、积累与重用**，即插件库在优化过程中动态增长，并通过重组持续催生更优 harness。 —- ### 4. 实验对比的代表性基线在软件工程、命令行交互与问答任务的实验中，论文还与以下具体基线进行了对比： | 基线 | 类型 | 核心特点 | |———|———|—————| | **ReAct** (Yao et al., 2023) | 专家设计 | 推理-行动循环的零样本/少样本 harness | | **ACE** (Zhang et al., 2026d) | 专家设计 | 通过上下文剧本在线积累任务经验 | | **GEPA** (Agrawal et al., 2026b) | 自动优化 | 基于执行反馈在提示层面进行反思式进化 | | **DGM** / **Darwin-Gödel Machine** (Zhang et al., 2026b) | 自动优化 | 对完整 harness 实现进行开放式进化 | | **Meta-Harness** (Lee et al., 2026) | 自动优化 | 端到端的 model harness 优化 | | **SkillOPT** (Yang et al., 2026b) | 自动优化 | 自进化智能体技能的执行策略 | | **A-Evolve** (Lin et al., 2026b) | 自动优化 | 面向 LLM 智能体进化的立场与方法 | | **AHE** (Lin et al., 2026a) | 自动优化 | 可观测性驱动的编码智能体 harness 自动进化 | 这些基线与 PluginRSI 的关键区别在于：它们均以**完整 harness** 或**单一 prompt** 为修改对象，而非围绕可独立评估与复用的原子化插件进行优化。 Q3: 论文如何解决这个问题？论文提出 **PluginRSI** 算法，通过将 harness 表示为**插件化参数化结构**（plugin-parameterized harnesses），并围绕插件组织独立的局部改进与全局重组，从而解决机制耦合与可复用性缺失的问题。具体解决方案包含以下三个层面： —- ### 1. 插件化参数化的 Harness 表示论文将传统完整程序式的 harness 解构为**插件集合**与**协调工作流**的组合：

H = H(W, P)
其中： - P 表示选定的插件集合，每个插件 p ∈ P 是一个通过标准化接口暴露的独立机制实现（如角色、工具、技能、记忆）。每个插件由两部分构成：（1）YAML 规范，定义接口模式、配置、提示与元数据；（2）Python 可执行代码。 - W 表示工作流，负责决定插件的调用时机以及输出如何在后续交互中传递。 - H 为确定性编译函数，将 W 与 P 组装为可执行的 agent harness。这种表示天然支持两种互补操作：**固定工作流与其余插件时单独改进某一插件**，以及**从库中重新选择插件并修订工作流**。 —- ### 2. 基于共享插件库的递归优化循环 PluginRSI 维护一个跨迭代持续增长的**共享插件库** L 。优化从初始 harness H_0 = H(W_0, P_0) （其中 P_0 ⊂eq L ）出发，在每一迭代 t 中顺序执行以下两个阶段： #### 阶段一：插件变异（Plugin Mutation）该阶段旨在**独立探索新机制**，同时保持 harness 的其余部分完全不变，从而精确隔离单一机制的贡献。 - **并行探索**：每轮迭代并行生成 N 个变异分支。每个分支基于独立采样的任务子集 M （大小为 b ，且包含等量当前 harness 已解决与未解决的任务，以提供多样化反馈）。 - **局部修改**：Proposer 分析当前 harness 在 M 上的执行轨迹与反馈，选择某一插件 p_i ∈ P 并生成修改后的实现 p’_i 。 - **固定上下文重组**：保持工作流 W 及其余插件 P setminus p_i 不变，仅替换目标插件，编译得到

H_i = H(W, (P setminus p_i) ∪ p’_i)

评估与积累：在相同 minibatch M 上评估 Hi 并与原 harness 分数比较。若 $S(M)
H_i

S(M)
H
，则将 p’_i 加入共享库 L 。 #### 阶段二：Harness 重组（Harness Recomposition）该阶段旨在全局整合已积累的有效机制，探索新的 harness 架构设计。 - Proposer 综合审视先前 harness 的完整验证集反馈以及本轮插件变异的结果。 - 从更新后的插件库 L 中选择插件子集 P’ ⊂eq L 。 - 修订工作流 W to W’ ，优化插件间的协调逻辑（调用顺序、信息流、上下文组织等）。 - 编译新候选 H’ = H(W’, P’) 并在完整验证集 D(val) 上评估。 - 若 S

H’

S
H
，则接受 H’ 为新的最佳 harness，进入下一轮迭代。 —- ### 3. 算法特性与解决思路的对应关系通过上述设计，PluginRSI 针对性地化解了现有方法的两大局限： | 现有局限 | PluginRSI 的解决方式 | |————-|——————————-| | 机制耦合导致探索受限 | 插件变异阶段通过标准化接口将单一机制从 harness 中解耦，允许在固定工作流和其余插件的前提下独立评估新机制，避免优化陷入相似的整体设计 | | 有效机制难以保留复用 | 共享插件库 L$ 显式积累经验证有益的插件实现；harness 重组阶段可跨迭代调用这些插件，使改进持续沉淀并支持构建更复杂的 harness（如图 5 所示，插件库从 75 增长至 132 个，而工作流始终保持在 300 行代码以内） | 此外，实验表明这种积累-复用闭环能够显著加速后续优化：复用进化后的插件库从初始 harness 出发，仅需两步进化即可在 held-out 任务上达到 69% 的解决率，而无复用条件下同等步数仅为 65%。 Q4: 论文做了哪些实验？论文在软件工程、命令行交互与问答任务上开展了系统实验，涵盖性能对比、跨模型迁移、优化效率、消融分析与插件积累机制验证。 —- ## 1. 实验设置 ### 基准测试与协议 - 软件工程：SWE-bench Verified（Chowdhury et al., 2024），划分为 400 个 held-in 优化任务与 100 个 held-out 测试任务。 - 命令行交互：Terminal-Bench-2.1（Merrill et al., 2026），划分为 59 个 held-in 与 30 个 held-out 任务。 - 问答（QA）：从 OlympiadBench、SciCite、SuperGPQA-Economics 中采样 150 个任务作为 held-in 优化集；在 FinanceQA、FrontierScience、Physics、Law、Medicine 等 5 个 held-out 领域各采样 50 个任务进行测试。 ### 模型配置 - Proposer（优化器）：GPT-5.6 Terra 与 Kimi-K3（reasoning effort 设为 xhigh）。 - Solver（求解器）：Kimi-K3（默认）、GPT-5.6 Terra、GLM-5.2（用于跨模型迁移评估，reasoning effort 设为 none 或 disabled）。 ### 对比基线 - 专家设计：ReAct（Zero-Shot / Few-Shot）、ACE（在线上下文剧本积累）。 - 自动优化：GEPA（提示层面反思进化）、Darwin-Gödel Machine（DGM，完整 harness 开放式进化）、Meta-Harness（端到端 harness 优化）。 - 附录补充对比：SkillOPT、A-Evolve、Agentic Harness Engineering（AHE）。 —- ## 2. 主要实验结果 ### 2.1 SWE-bench Verified 如 Table 1 所示，PluginRSI 在两种优化 backbone 上均取得最优表现： | 优化器 | 方法 | Held-In (400) | Held-Out (100) | |————|———|———————-|————————| | GPT-5.6 Terra | Meta-Harness | 54.50 | 55.00 | | GPT-5.6 Terra | PluginRSI | 58.50 | 65.00 | | Kimi-K3 | Meta-Harness | 64.25 | 63.00 | | Kimi-K3 | PluginRSI | 66.75 | 69.00 | 在 GPT-5.6 Terra 优化设置下，held-out 解决率较最强基线提升 10.00 个百分点；在 Kimi-K3 设置下提升 6.00 个百分点。此外，held-out 增益普遍大于 held-in 增益，表明发现的改进具有超出优化任务集的泛化性。 ### 2.2 Terminal-Bench-2.1 如 Table 2 所示，使用 Kimi-K3 作为 solver 时： | 方法 | Held-In (59) | Held-Out (30) | |———|———————|———————-| | Meta-Harness | 64.4 | 66.7 | | PluginRSI | 69.5 | 73.3 | PluginRSI 在 held-out 任务上的提升（+6.6 点）大于 held-in（+5.1 点），再次验证了机制改进的迁移性。 ### 2.3 QA Benchmarks 如 Table 3 所示，使用 Kimi-K3 进行优化与评估： | 方法 | Held-In Avg. (150) | Held-Out Avg. (250) | Overall | |———|——————————|——————————-|————-| | Meta-Harness | 0.753 | 0.568 | 0.638 | | PluginRSI | 0.820 | 0.588 | 0.675 | 尽管不同 QA 领域之间策略差异较大（如数学推理与法律问答的策略重叠有限），PluginRSI 仍在 held-in 与整体上取得提升。 ### 2.4 跨模型迁移（Transfer across Backbone Models）将优化后的 harness 固定，直接迁移至未参与优化的 solver 模型： - 经 GPT-5.6 Terra 优化的 harness，在 Kimi-K3 上 held-out 达到 60.00%（较基线 +7.00 点），在 GLM-5.2 上达到 52.00%（较基线 +4.00 点）。 - 经 Kimi-K3 优化的 harness，在 GPT-5.6 Terra 与 GLM-5.2 上 held-out 均达到 64.00%，分别较基线提升 +3.00 与 +5.00 点。 —- ## 3. 优化动态分析如图 3 所示，论文对比了 PluginRSI 与 Meta-Harness 在 SWE-bench Verified 上的优化曲线（held-in / held-out 解决率随累计 solver rollouts 变化）： - 收敛速度：PluginRSI 以更少的 solver rollouts 达到并超过 Meta-Harness 的最终 held-in 性能。 - 泛化一致性：PluginRSI 的 held-in 提升与 held-out 提升呈现更好的一致性；Meta-Harness 的 held-out 性能波动较大且最终仍低于 PluginRSI。此外，附录 L 的 token 成本分析表明，尽管 PluginRSI 因插件变异阶段引入额外 proposer 开销，导致每 solver rollout 的输入/输出 token 分别增加约 7.5% 与 19.8%，但 solver 侧的 token 消耗与基线基本持平。 —- ## 4. 消融实验如 Table 4 所示，在 SWE-bench Verified 上以 Kimi-K3 为优化器进行消融： | 方法 | Held-Out (Kimi-K3) | |———|——————————| | Meta-Harness | 63.00 | | + Plugin Library | 64.00 | | PluginRSI (完整) | 69.00 | | w/o Initial Plugins | 67.00 | | w/o Plugin Mutation | 57.00 | | w/o Harness Recomposition | 59.00 | 关键发现： - 仅提供插件库（Meta-Harness + Plugin Library）带来的增益有限（64.00%），说明库本身需与插件级优化配合使用。 - 移除初始插件后，PluginRSI 仍保持强劲性能（67.00%），表明算法可从空库或极简库出发自主发现机制。 - 移除插件变异（-12.00 点）或移除 harness 重组（-10.00 点）均导致显著性能下降，验证了局部机制改进与全局协调重构的互补必要性。 —- ## 5. 插件积累与重用分析 ### 5.1 插件库增长与 Harness 复杂度如图 5(a) 所示，经过 15 轮进化，插件库从初始 75 个增长至 132 个，覆盖角色、工具、技能、记忆四类。如图 5(b) 所示，最终 harness 候选的 Python 代码行数（LoC）约为 1300 行（Meta-Harness 约 400 行），其中大部分增长来自插件实现，而工作流始终保持在 300 行以内。这表明插件积累支持了更复杂的 harness 结构，同时维持了工作流的简洁性。 ### 5.2 插件重用对后续优化的加速如图 4 所示，在 held-out 任务上对比三种初始化方式： - 初始 harness + 初始库：两步进化后 held-out 解决率为 65%。 - 初始 harness + 进化后的库：两步进化后达到 69%，接近继续从进化 harness 出发三步进化后的 70%。 - 进化 harness + 进化库：三步进化后达到 70%。该结果表明，进化后的插件库保留了有效的机制改进，能够加速从不同初始 harness 出发的后续优化，更快达到更高收敛水平。 Q5: 有什么可以进一步探索的点？基于论文内容，尤其是附录 D 所讨论的限制与展望，以下是可以进一步探索的研究方向： —- ### 1. 长期进化与动态任务分布下的 harness 优化现有实验在固定的任务集上运行了有限轮次（15–25 轮）的进化。未来可探索： - 持续进化（continual evolution）：当任务分布随时间变化或呈现开放式流（open-ended task streams）时，插件库如何自适应地增长与淘汰，避免过时插件的积累。 - 库生命周期管理：随着插件库规模从数十扩展至数百甚至更多，如何设计有效的索引、去重、遗忘与压缩机制，在保持检索效率的同时防止库膨胀。 —- ### 2. 跨域与跨模型的机制迁移实验观察到，在 QA 任务中，不同领域（如数学推理与法律问答）之间的策略迁移增益有限。这提示： - 多域联合优化：同时在多个异构领域上优化 harness，迫使插件学习更具通用性的元机制（meta-mechanisms），从而提升跨域复用率。 - 模型自适应插件：当前插件实现主要面向特定 solver 的能力特点。未来可探索模型无关的插件接口或针对新 solver 模型的自动适配机制，减少迁移时的性能波动。 —- ### 3. 插件与工作流的联合优化当前插件变异阶段采取固定工作流、单插件修改的策略，其局限在于： - 某些有效机制可能需要多插件协同变化或工作流与插件同步调整才能生效（例如，新记忆插件需要工作流显式调用其接口）。 - 未来可探索插件-工作流联合搜索空间，在保持模块化评估优势的同时，允许小范围的组合变异或层次化优化（如先固定工作流优化插件，再基于新插件空间优化工作流，交替进行）。 —- ### 4. 理论分析：插件化对优化效率的影响论文实证表明 PluginRSI 能以更少的 solver rollouts 达到更高性能，但尚缺乏理论刻画： - 样本复杂度：插件化表示是否降低了 harness 搜索空间的有效维度，从而减少了所需的执行反馈样本量？ - 收敛性保证：共享插件库的积累过程能否被建模为一种经验贝叶斯或模块化遗传算法，从而给出收敛速率的边界分析？ —- ### 5. 插件发现中的安全性、对齐与可解释性递归式自我改进系统必然面临安全风险： - 插件行为审计：进化出的插件可能包含对隐藏测试的过度拟合、对环境的意外副作用，甚至生成有害代码。需要建立插件级沙箱验证与形式化规约检查。 - 可解释的机制归因：虽然插件变异隔离了单一机制的贡献，但 harness 重组后多插件交互可能产生涌现行为。如何为最终 harness 提供模块化的归因解释（即哪些插件对成功/失败负主要责任），是一个值得探索的方向。 —- ### 6. 从单智能体到多智能体的插件生态当前插件库为单个 harness 服务。若将视角扩展至多智能体系统： - 分布式插件共享：多个异构智能体能否共享同一个进化插件库，甚至通过协作发现各自特化的插件变体？ - 插件市场与组合博弈：不同插件可能由不同 proposer 或智能体贡献，如何设计组合激励机制，确保有益插件被优先选用并持续维护。 Q6: 总结一下论文的主要内容这篇论文围绕递归式 harness 优化展开，提出一种以插件为中心的演化框架，旨在解决传统方法中对完整 harness 程序进行整体重写所带来的机制耦合与经验积累困难。以下是主要内容概括。 —- ### 1. 研究背景与核心问题大型语言模型（LLM）agent 的性能不仅取决于底层模型参数，还严重依赖于其外部 harness（工具、角色、技能、记忆等交互机制的组织方式）。现有递归优化方法通过迭代重写完整的 harness 实现来寻求改进，但这导致两个关键局限： - 机制耦合：多种交互机制纠缠在单一程序中，难以独立探索与评估新机制，优化易陷入相似设计的局部最优。 - 经验流失：重写过程可能覆盖局部有效的设计，使得历史迭代中发现的有益机制无法被保留和复用。论文主张 harness 演化应以发现可复用机制并跨候选复用为核心，而非反复重写整体实现。 —- ### 2. 核心方法：PluginRSI 论文提出 PluginRSI（Plugin-oriented Recursive Self-Improvement），其关键思想是将 harness 解构为原子化插件的组合，并通过共享插件库实现机制的独立改进与持续积累。 #### 2.1 插件参数化 Harness 表示 Harness 被形式化为：

H = H(W, P)
其中： - P 为选定的插件集合。每个插件 p ∈ P 是一个独立机制的可执行实现，通过标准化接口（YAML 规范 + Python 代码）暴露功能，涵盖角色、工具、技能与记忆四大类别。 - W 为工作流，负责协调插件的调用时机与信息传递。 - H 为确定性编译函数，将工作流与插件组装为可执行 agent。 #### 2.2 两阶段优化循环每一迭代包含以下两个顺序阶段： 阶段一：插件变异（Plugin Mutation） - 并行生成 N 个变异分支，每个分支在独立采样的任务子集（minibatch）上运行。 - 在固定工作流 W 及其余插件 P setminus pi 的前提下，proposer 根据执行反馈选择单个插件 p_i 并生成改进实现 p’_i 。 - 重组得到 H_i = H(W, (P setminus p_i) ∪ p’_i) 并在 minibatch 上评估。 - 若改进得到验证（$S(M)

H_i

S(M)
H
），则将 p’_i 加入共享插件库 L 。 阶段二：Harness 重组（Harness Recomposition） - Proposer 基于完整验证集反馈与本轮变异结果，从更新后的库 L 中选择插件子集 P’ ⊂eq L 。 - 修订工作流 W to W’ 以优化插件协调逻辑。 - 编译新候选 H’ = H(W’, P’) 并在完整验证集 D(val)$ 上评估；若性能提升则成为新的最佳 harness。 —- ### 3. 实验验证论文在软件工程、命令行交互与问答任务上进行了系统实验。 #### 3.1 主要性能提升 - SWE-bench Verified：使用 GPT-5.6 Terra 与 Kimi-K3 作为优化器时，PluginRSI 的 held-out 解决率分别达 65.00% 与 69.00%，较最强基线 Meta-Harness 提升 10.00 与 6.00 个百分点。 - Terminal-Bench-2.1：Kimi-K3 设置下，held-out 解决率达 73.3%，较 Meta-Harness 的 66.7% 显著提升。 - QA 基准：Overall 准确率从最强基线的 0.638 提升至 0.675。 #### 3.2 跨模型迁移优化后的 harness 在固定工作流与插件配置的前提下，直接迁移至未参与优化的 solver 模型（GPT-5.6 Terra、Kimi-K3、GLM-5.2）仍保持优势，表明发现的机制具有跨模型泛化性。 #### 3.3 优化效率 PluginRSI 以更少的 solver rollouts 达到并超过基线的最终性能，且 held-in 与 held-out 性能的一致性优于基线。 #### 3.4 消融与插件积累分析 - 两阶段缺一不可：移除插件变异或 harness 重组均导致 held-out 性能大幅下降（分别从 69.00% 降至 57.00% 与 59.00%）。 - 插件库本身不足以提升性能：仅向 Meta-Harness 提供插件库而不进行插件级优化，增益有限。 - 插件持续积累：15 轮迭代后插件库从 75 个增长至 132 个，harness 总代码量显著增加，但工作流始终保持在约 300 行以内，体现了“复杂机制、简洁协调”的结构。 - 复用加速收敛：将进化后的插件库用于从新初始 harness 出发的优化，两步即达 69% 的 held-out 解决率，而无复用时仅为 65%，验证了机制积累对后续优化的加速作用。 —- ### 4. 主要贡献 - 问题界定：揭示了现有递归 harness 优化中因整体重写导致的机制耦合与经验流失问题。 - 方法创新：提出 PluginRSI 算法，通过插件化参数化表示与共享插件库，实现了机制的独立评估、持续积累与跨候选复用。 - 实证验证：在多个具有代表性的 agent 任务上展示了性能优势、更高的优化效率、跨模型迁移能力以及插件重用的加速效应，为递归自我改进 agent 提供了一种可扩展的 harness 演化范式。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yaorui Shi,Yuchun Miao,Yuxin Chen,Jiayuan Zhang,Yueqing Sun,Xierui Song,Xiang Wang,An Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2609.32423.pdf

Arxiv URL: https://arxiv.org/abs/2609.32423

Arxiv ID: 2609.32423

CoolPaper URL: https://papers.cool/arxiv/2609.32423

Published: 2026-10-06T03:19:49.441Z

Updated: 2026-10-06T03:19:49.441Z

4. OSWorld-Pro: Process-based Evaluation for Computer Use Agents

Abstract:Evaluation of Computer-Use Agents (CUAs) is often limited to the final deliverables they create (at the end of hundreds of steps) and assessed with functional verifiers, as seen in OSWorld. However, such evaluation of end-state performance lacks transparency into how and why agents fail in various tasks, obfuscating critical insight for subsequent improvement. For instance, agents that err during keyboard inputs would require a different mitigation strategy from those that fail to precisely provide click-based inputs on the graphical UI. We introduce OSWorld-Pro: a set of over 300 tasks containing over 2800 subgoals to enable the procedural evaluation of CUAs grounded in over 67,000 human annotations. We use robust human-aligned LLM-Judges to evaluate the fulfillment of OSWorld-Pro subgoals and thereby reveal the progress that models make throughout a series of sequentially dependent subgoals. Our findings reveal that OSWorld-Pro is challenging even for state-of-the-art LLMs, with top performers like Claude Opus 5 achieving only 75.7% vs. 83.4% on OSWorld. Furthermore, we identify critical process-focused failure modes of various models (e.g. subgoal-irrelevant actions and click-based mistakes) to provide insights to improve performance and efficiency of CUAs.

中文摘要

摘要：对计算机使用代理（CUAs）的评估通常仅限于它们创建的最终成果（在数百个步骤结束时）并通过功能验证器进行评估，如在OSWorld中所见。然而，对最终状态性能的这种评估缺乏对代理在各种任务中失败原因和方式的透明度，从而掩盖了后续改进的关键洞察。例如，在键盘输入过程中出错的代理需要与在图形用户界面上无法精确提供点击输入的代理不同的缓解策略。我们引入了OSWorld-Pro：一组包含超过300个任务和2800多个子目标的数据集，以实现基于超过67,000条人工标注的CUAs过程性评估。我们使用与人类对齐的稳健LLM评审者（LLM-Judges）来评估OSWorld-Pro子目标的完成情况，从而揭示模型在一系列连续依赖的子目标中取得的进展。我们的发现表明，即使是最先进的LLM，OSWorld-Pro也具有挑战性，像Claude Opus 5这样的顶级模型也仅达到75.7%，而在OSWorld上为83.4%。此外，我们识别了各种模型的关键过程性失败模式（例如与子目标无关的操作和基于点击的错误），以提供改进CUAs性能和效率的洞察。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.24890 (HTTP 429)

Authors: Zhilin Wang,Shaokun Zhang,Yifan Zhang,Hao Zhang,Jin Xu,Binfeng Xu,Jian Hu,Yunheng Zou,Karan Sapra,Andrew Tao,Jan Kautz,Yi Dong

Categories:

PDF URL: https://arxiv.org/pdf/2609.24890.pdf

Arxiv URL: https://arxiv.org/abs/2609.24890

Arxiv ID: 2609.24890

CoolPaper URL: https://papers.cool/arxiv/2609.24890

Published: 2026-10-06T03:19:49.446Z

Updated: 2026-10-06T03:19:49.446Z

5. Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Abstract:Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5$\times$ training speedup compared to full attention, while surpassing it in generation quality.

中文摘要

摘要：在更高分辨率下原生训练联合视频-音频生成模型，使其能够学习更丰富的视觉细节和更清晰的运动动态。然而，完整注意力机制会产生二次计算开销，而且随着分辨率的增加，注意力会分布在越来越冗余的令牌上，从而削弱了对信息内容的学习信号，并扰乱预训练先验。现有的稀疏注意力方法要么针对无需训练的加速，要么忽略了联合视频-音频数据的独特结构，即跨模态交互本质上集中在发声区域。为了解决这一问题，我们提出了Prism，一种用于在2K分辨率下原生训练联合视频-音频生成模型的动态稀疏注意力框架。具体来说，Prism将令牌序列组织为时空宏区域，使注意力结构能够适应局部内容。对于每个区域，它通过沿通道的视频特征方差和来自音频到视频的交叉注意力的特征范数来估计局部信息结构，联合捕捉视觉内容沿方向的变化以及音频对每个视觉区域的影响强度。基于这些信号，Prism会动态为每个区域分配定制的块形状，在视觉内容快速变化和音视频强耦合的轴上应用更精细的划分。这鼓励每个块内的令牌保持语义一致，使块级特征能够捕捉视觉内容和联合视频-音频交互模式。Prism进一步采用混合块选择策略，以动态确定每个查询的稀疏性。实验表明，Prism相比完整注意力实现了2.5倍的训练加速，同时在生成质量上超越了完整注意力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.05416 (HTTP 429)

Authors: Shuyuan Tu,Qi Tian,Yinming Huang,Yue Wu,Xintong Han,Kaihang Pan,Weijie Kong,Jiangfeng Xiong,Jian-Wei Zhang,Zuxuan Wu,Yu-Gang Jiang

Categories:

PDF URL: https://arxiv.org/pdf/2610.05416.pdf

Arxiv URL: https://arxiv.org/abs/2610.05416

Arxiv ID: 2610.05416

CoolPaper URL: https://papers.cool/arxiv/2610.05416

Published: 2026-10-06T03:19:49.436Z

Updated: 2026-10-06T03:19:49.436Z

6. PaLoRA: Paced Low-Rank Adaptation for Continual Learning

Abstract:LoRA-based continual learning methods mitigate catastrophic forgetting through various mechanisms, yet nearly all complement these with small learning rates as a heuristic to restrict gradient scaling magnitude. Such fixed heuristics lack theoretical guidance on how the strength of this restriction should evolve as tasks accumulate. We reveal that even under directional constraints such as nullspace projection, finite-precision updates inevitably leak into the subspace of accumulated prior knowledge along multiple directions. While small learning rates attenuate such leakage, they cannot prevent the accumulated forgetting from intensifying as the effective rank of historical knowledge grows. We show that the optimal magnitude restriction should adaptively increase with this effective rank to balance stability and plasticity, i.e., preservation of previous knowledge and acquisition of new task information. Under an anisotropic leakage model, we derive a pacing law $s^*=\sqrt{R/c}$ that characterizes the optimal scaling of gradient steps, i.e., the magnitude restriction itself, where $R$ is the effective rank of past updates. Based on this insight, we propose PaLoRA, which compresses historical knowledge via adaptive SVD truncation, projects gradients onto the nullspace of prior tasks, and applies rank-aware adaptive pacing. Experiments demonstrate consistent improvements over prior methods, with particularly strong performance in long-horizon settings, achieving substantial gains of 4% accuracy on challenging 50-task ImageNet-A and ImageNet-R benchmarks.

中文摘要

摘要：基于LoRA的持续学习方法通过多种机制减轻灾难性遗忘，但几乎所有方法都以较低的学习率作为限制梯度尺度的启发式来补充这些方法。此类固定启发式缺乏理论指导，说明随着任务积累，限制强度应如何演变。我们揭示，即使在零空间投影等方向约束下，有限精度更新也不可避免地沿多方向渗透到积累的先验知识子空间中。虽然较低的学习率减弱了这种泄漏，但它们无法阻止随着历史知识有效排名的增长而加剧累积的遗忘。我们表明，最佳幅度限制应随着有效排名的自适应性增加，以平衡稳定性与可塑性，即保持先前知识并获取新任务信息。在各向异性泄漏模型下，我们推导出一个节奏定律 $s^*=\sqrt{R/c}$，该律表征梯度步长的最优缩放，即幅度限制本身，其中$R$为过去更新的有效排名。基于这一见解，我们提出了PaLoRA，它通过自适应SVD截断压缩历史知识，将梯度投影到先前任务的空空间，并应用秩感知的自适应节奏。实验显示出相较以往方法持续改进，在长视野环境中表现尤为出色，在挑战50任务的ImageNet-A和ImageNet-R基准测试中实现了4%的显著准确率提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.04226

Authors: Yuxuan Li,Fanhu Zeng,Hao Tang

Categories:

PDF URL: https://arxiv.org/pdf/2610.04226.pdf

Arxiv URL: https://arxiv.org/abs/2610.04226

Arxiv ID: 2610.04226

CoolPaper URL: https://papers.cool/arxiv/2610.04226

Published: 2026-10-06T03:19:54.272Z

Updated: 2026-10-06T03:19:54.272Z