HuggingFace Papers 2026-10-27
数据来源：HuggingFace Papers
Latest Papers
1. WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control
Abstract:Precise camera control is essential for cinematic character video generation, yet existing methods struggle to follow large-angle trajectories with combined rotation, translation, and radius variation from arbitrary initial azimuths. Such viewpoint changes also reveal character regions unseen in the initial frame, causing geometric distortions, appearance degradation, and identity drift. To systematically study these coupled challenges, we introduce CLACT, a large-scale Character-centric dataset and benchmark covering diverse Large-Angle Camera Trajectories, with accurate camera geometry and multi-view character observations for training and evaluation. We further propose WorldCast, a framework for world-consistent character video generation under diverse large-angle camera motions. Specifically, we back-project the initial frame into a 3D point cloud using estimated depth, align the point-cloud scale with the target camera trajectory, and render it along the trajectory to obtain explicit geometric guidance and coverage masks. To complement the incomplete character information, we introduce Geometry-Aligned Memory Attention (GAMA). Using relative camera poses estimated jointly from the initial frame and multi-view character anchors, we express anchor and target-view geometry in a common coordinate frame. GAMA uses this geometric alignment to guide the retrieval and injection of view-relevant character features during generation. Evaluations across diverse large-angle camera trajectories demonstrate accurate trajectory following while preserving character geometry, appearance, and identity.
中文摘要
摘要：精确的相机控制对于电影级人物视频生成至关重要，但现有方法难以从任意初始方位跟随结合旋转、平移和半径变化的大角度轨迹。这类视角变化还会揭示初始帧中未出现的人物区域，从而导致几何失真、外观退化和身份漂移。为了系统研究这些耦合挑战，我们引入了CLACT，这是一个大型以人物为中心的数据集和基准，覆盖多样的大角度相机轨迹，并提供准确的相机几何和多视角人物观测，可用于训练和评估。我们进一步提出了WorldCast，这是一个在多样大角度相机运动下实现世界一致人物视频生成的框架。具体而言，我们利用估计深度将初始帧反投影为3D点云，将点云尺度与目标相机轨迹对齐，并沿轨迹渲染以获取明确的几何指导和覆盖掩码。为了补充不完整的人物信息，我们引入了几何对齐记忆注意机制（GAMA）。通过从初始帧和多视角人物锚点联合估计的相对相机位姿，我们在公用坐标系中表示锚点和目标视图几何。GAMA利用这种几何对齐在生成过程中指导视图相关人物特征的检索和注入。针对多样大角度相机轨迹的评估表明，该方法能够精确跟随轨迹，同时保持人物几何、外观和身份一致性。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33135
Authors: Lei Cao,Yu Liu,Wenhua Liao,Peng Zhang,Fei Wang,Hao Zhang,Jiajun Le,Daiguo Zhou,Jian Luan,Jiayi Ma
Categories:
PDF URL: https://arxiv.org/pdf/2610.33135.pdf
Arxiv URL: https://arxiv.org/abs/2610.33135
Arxiv ID: 2610.33135
CoolPaper URL: https://papers.cool/arxiv/2610.33135
Published: 2026-10-27T02:24:54.182Z
Updated: 2026-10-27T02:24:54.182Z
2. Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
Abstract:Continual learning is the ability of LLM agents to improve over time by acquiring, refining, and applying knowledge from experience while retaining useful prior knowledge. It is essential for agents learning over long time horizons, yet current evaluations largely assess individual task performance rather than improvement through accumulated experience. We introduce Continual Learning Exam (CLE), a large-scale benchmark developed by 50+ domain experts to measure experience-driven improvement in realistic professional workflows. CLE comprises 120 human-authored tasks, each organised as a five-level ladder, yielding 600 levels spanning 89 professional roles across 12 occupational domains. Agents must pass each level to unlock the next, with later levels building on experience accumulated during earlier assignments. An evaluation agent assesses each submission against human-authored rubrics. We compare a single-submission setting with one that provides diagnostic feedback after failure and allows one revision. Across 17 harness-model configurations using frontier LLMs, feedback and revision yield a median completion gain of 5.3 percentage points. Yet the best-performing system clears only 47.7% of levels and completes all five levels in just 23.3% of tasks, highlighting the difficulty of sustained learning from experience for existing frontier LLMs. As such, the dataset can also be used to post-train LLMs to strengthen their continual learning capabilities.
中文摘要
摘要：持续学习是大型语言模型（LLM）代理通过从经验中获取、优化和应用知识，同时保留有用的已有知识，从而随时间提升能力的能力。这对于在长期时间范围内学习的代理至关重要，但当前的评估主要侧重于单个任务的表现，而非通过累积经验取得的改进。我们引入了持续学习考试（CLE），这是一个由50多位领域专家开发的大规模基准，用于衡量在真实职业工作流程中基于经验的改进。CLE包括120项由人工编写的任务，每项任务组织成五级梯子结构，共有600个级别，覆盖12个职业领域中的89个职业角色。代理必须通过每一级才能解锁下一阶段，后续级别建立在之前任务积累的经验之上。评价代理会根据人工编写的评分标准评估每次提交的结果。我们比较了单次提交设置与在失败后提供诊断反馈并允许一次修正的设置。在使用前沿LLM的17种不同模型配置中，反馈和修正带来的中位完成率提升为5.3个百分点。然而，表现最佳的系统仅通过47.7%的级别，并且仅在23.3%的任务中完成所有五个层级，这凸显了现有前沿LLM从经验中持续学习的困难。因此，该数据集也可用于后期训练LLM，以增强其持续学习能力。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 该论文旨在解决\*\*现有基准测试无法有效评估大语言模型（LLM）代理持续学习能力\*\*的问题，具体而言： ### 核心问题 当前代理基准测试主要评估\*\*单个任务的独立执行性能\*\*，而非代理通过\*\*长期积累经验\*\*实现\*\*持续改进\*\*的能力。论文指出： - 通用能力基准（如 GAIA）衡量代理是否解决独立问题，但任务之间彼此隔离，其分数表征的是任务求解性能，而非通过持续学习带来的性能提升； - 记忆基准（如 LoCoMo）测试对交互历史的检索与推理，但不评估保留的知识如何改善后续任务执行； - 涉及状态化环境的自动化助手基准（如 WildClawBench）支持工作流连续性，但仅凭持久状态本身并不能证明代理因经验积累而变得更强。 ### 论文提出的解决方案 为填补上述评估空白，论文引入了 \*\*Continual Learning Exam (CLE)\*\*，一个由 50 余名领域专家开发的大规模基准，其核心设计目标包括： - \*\*经验驱动的改进评估\*\*：通过 120 个人工编写的任务（每个任务包含 5 个递进级别，共 600 个级别），要求代理在通过前一级别后才能解锁下一级别，后续级别会依赖早期积累的知识、工具使用经验、数据产物、策略、用户上下文及领域知识； - \*\*真实专业工作流模拟\*\*：提供 23,981 个真实输入文件、19 个状态化模拟应用（暴露 1,024 个 API），使早期操作的环境状态能延续到后续级别； - \*\*诊断反馈与修订机制\*\*：对比单次提交（ K=1 ）与带诊断反馈的修订提交（ K=2 ），量化反馈和经验重用带来的性能增益。 ### 关键发现与定位 实验表明，即使提供诊断反馈和修订机会，表现最佳的系统（Claude Code / Opus 5）也仅完成 \*\*47.7%\*\* 的级别，全部完成五项级别的任务仅占 \*\*23.3%\*\*。这突显出：
持续学习 ≠ 单任务求解能力的简单叠加
现有前沿 LLM 在长时间跨度内通过经验积累实现 sustained learning 仍面临重大挑战，而 CLE 提供了评估和强化这一能力的系统性环境。 Q2: 有哪些相关研究？ 该论文在第 5 节（Related Work）及附录 B 中系统梳理了相关研究，大致可分为**通用代理能力基准**、**记忆与上下文学习基准**、**经验积累与重用基准**，以及** continual learning 理论机制**四个层面。以下按类别归纳： —- ### 1. 通用代理能力基准（General Agent Capability Benchmarks） 这类基准侧重于评估推理、信息搜集、规划、工具使用等单任务或独立任务执行能力，通常以答案正确性或任务完成度为指标，**不直接测量跨任务经验积累带来的性能提升**。 - **GAIA**
40
：评估通用 AI 助手解决独立问题的能力，任务间无关联，分数反映单次任务求解性能。 - **Agents’ Last Exam**
61
：覆盖多行业的专家级长期任务，具有可验证结果，但仍以独立任务性能为主。 - **ClawMark**
38
：建模多日期工作流，状态化服务在不同轮次间变化，使用确定性验证器检查服务状态。 - **WildClawBench**
17
：在真实命令行代理框架中运行任务，结合规则检查、环境状态审计与模型判断进行验证。 - **WebArena**
96
、**OSWorld**
80
、**Terminal-Bench**
39
、**τ-bench**
82
等：分别面向网页环境、操作系统、命令行界面及工具-代理-用户交互的评估。 —- ### 2. 记忆与上下文学习基准（Memory and Context Learning Benchmarks） 这类工作聚焦于代理对交互历史信息的**保留与检索**，但通常不评估这些记忆如何**改善后续任务执行**。 - **LoCoMo**
36
：通过问答、事件摘要和多模态对话生成评估极长期对话记忆。 - **LongMemEval**
75
：研究跨会话推理、知识变化追踪以及在历史证据不足时的拒答能力。 - **LongMemEval-V2**
76
：评估对特定环境经验（网页代理状态变化、工作流、反复失败模式）的记忆。 - **CL-bench**
18
：评估代理从上下文中获取并应用新知识（规则、程序、经验模式）的能力。 —- ### 3. 经验积累与重用基准（Experience Accumulation and Reuse Benchmarks） 近年来出现了一批评估**知识迁移、记忆使用、技能演化与序列任务适应**的基准，与 CLE 的目标更为接近。 - **LifelongAgentBench**
92
：构建基于技能的相互依赖任务（数据库、操作系统、知识图谱环境），验证知识迁移。 - **MemoryArena**
23
：将记忆形成与后续行动耦合，设计跨网页导航、偏好约束规划、信息检索和形式推理的相互依赖子任务。 - **SkillFlow**
88
：将任务组织为共享工作流的任务家族；代理从零开始存储技能，根据执行轨迹和评分反馈更新技能，并在后续任务中重用。 - **StuLife**
10
：在模拟大学生活各阶段（入学、学术工作、个人发展）中研究经验积累。 - **SEA-Eval**
27
：追踪顺序任务流中的成功率与 token 消耗，以刻画适应性与效率。 —- ### 4. Continual Learning 相关概念与学习机制（附录 B / 第 2.3 节） 论文从统一形式化框架（参数更新 θ_n 与持久状态 s_n ）出发，辨析了与持续学习相关的多种范式与机制： | 概念类别 | 代表机制 | 核心特点 | |—-|—-|—-| | **学习设定** | Continual / Lifelong Learning | 随时间积累、精炼并保留知识，避免灾难性遗忘
49, 52, 67
| | | Online Learning | 预测、反馈与更新交错进行，强调累积损失最小化
55
| | | Transfer Learning | 利用源任务知识提升目标任务性能
48
| | | Multi-Task Learning | 通过共享表征联合学习多个任务
11
| | | Curriculum Learning | 按 purposeful sequence（通常由易到难）组织学习
8
| | | Meta-Learning | 优化学习器如何利用跨任务经验快速适应
3, 19, 25
| | **更新与重用机制** | Parametric Learning | 将知识融入模型权重，但需缓解遗忘
78, 79
| | | In-Context Learning | 通过上下文保留经验，支持后续推理
9
| | | Test-Time Training (TTT) | 在测试时根据输入优化目标以更新权重或自适应记忆
62, 63
| | | Case-Based Reasoning (CBR) | 检索并改编过往案例的解决方案
1, 94
| | | Reflection | 利用反馈评估行为、提取教训并修订知识
58, 71, 94
| | | Skill Learning | 获取可复用程序并在后续任务中保留、组合与调整
70, 73, 95
| | **自我改进框架** | Harness Self-Evolution | 利用累积反馈修订代理行为与经验管理方式
2, 86
| | | Recursive Self-Improvement (RSI) | 保留能改进后续改进过程的自我修改
84, 91
| —- ### 与 CLE 的定位差异 论文通过表 2 系统对比了上述基准与 CLE 的关键维度。与多数现有基准不同，CLE 同时满足：**人工编写与验证的任务**、**状态化环境**、**多级递进任务**、**跨级别知识重用**、**可配置的提交与反馈机制**、**基于工具的代理化评分**以及**可审计的评判轨迹**。这一设计使其专门用于测量代理在真实人机协作场景中，通过经验积累实现持续改进的能力。 Q3: 论文如何解决这个问题？ 该论文通过构建 **Continual Learning Exam (CLE)** 这一大规模基准测试，系统性地解决了“如何评估大语言模型（LLM）代理在长时间跨度内通过经验积累实现持续改进”的问题。其核心解决路径可从以下几个维度展开： —- ### 1. 构建阶梯式递进任务结构（Task Ladders） 为解决现有基准中任务彼此孤立、无法测量经验积累效应的缺陷，CLE 设计了**逐级解锁的五级阶梯（five-level ladder）**结构： - **120 个人工编写任务** × **5 个级别**，共 **600 个级别**，覆盖 12 个职业领域的 89 个专业角色； - 代理必须**通过当前级别才能解锁下一级别**（gated progression）； - 后续级别并非独立问题，而是**基于前期经验、产物和知识**的新任务，从而强制要求代理在跨级别间进行知识的**获取、保留与重用**。 这一结构将“持续学习”从抽象概念转化为可度量的通关率与完成率指标。 —- ### 2. 定义五种可迁移知识形式 为确保经验积累具有明确的评估维度，论文围绕真实工作流中常见的知识复用场景，定义了五级阶梯间的**五种可迁移知识类型**： | 知识类型 | 作用机制 | |—-|—-| | **Tools and Skills** | 将在前期级别习得的工具使用方法与任务程序应用于后续工作 | | **Data Dependency** | 后续任务需要检索、调用或整合前期生成的信息、文件与产物 | | **Strategy** | 复用前期验证有效的策略，并避免已发现的反复出错陷阱 | | **User Context** | 将在前期交互中学习的用户偏好用于指导后续决策与输出 | | **Domain Knowledge** | 将在前期建立或推断出的专业规则与行业惯例应用于新任务要求 | 通过这五种连接机制，CLE 将“经验”具体化为跨级别可检验的知识依赖关系。 —- ### 3. 部署状态化模拟环境与真实工作负载 为复现真实世界中“工作流具有连续性”的特征，CLE 提供了可执行的状态化环境： - **19 个状态化模拟应用**，暴露 **1,024 个 API**，支持协作工作流（如 Git 仓库变更整合、跨应用项目同步等）； - **23,981 个真实输入文件**，涵盖 77 种文件扩展名，保留真实噪声（如重复记录、冲突信息）； - 同一任务阶梯内，应用数据库在各级别间保持状态连续性：前期操作产生的记录修改、文件更新会**直接延续到后续级别**。 这使得代理无法将每个级别当作独立静态问题处理，而必须在**持续变化的环境状态**中执行决策。 —- ### 4. 设计受控的反馈与修订协议 为量化“从经验中学习”的效果，论文引入了两种严格控制的评估设置： - **Trial 1 ( K=1 )**：每级别仅允许一次提交，失败无诊断反馈； - **Trial 2 ( K=2 )**：首次提交失败后，返回基于评分标准（rubric）类别的**诊断反馈**，代理可据此修订并再提交一次。 通过对比两种设置下的完成率差异，可以分离出**诊断反馈与即时修订**带来的学习增益。论文将这一过程形式化为部分可观察马尔可夫决策过程（POMDP），其中：
M_(A) = langle X, A, O, P, Omega, R rangle
环境状态 X 包含工作区文件与应用记录，动作 A 包含文件操作、API 调用与提交，观测 O 包含工具返回与评分反馈，奖励 R 在提交动作时根据评分结果给出 1 （通过）或 0 （失败）。 —- ### 5. 建立基于人工评分标准的自动化评估体系 为保证评估的客观性与可审计性，CLE 构建了独立于被测代理的**多轮评估代理（evaluation agent）**： - **16,125 条人工编写的评分标准（rubric criteria）**，平均每级 26.9 项； - 每项标准均指定**单一、明确的预期结果**及所需验证证据； - 评估代理在隔离的 Docker 环境中，使用工具从提交产物与环境状态中提取证据，对照人工设定的目标进行逐条判定； - 仅当某级别的**所有评分项均满足**时，该级别才视为通过。 该机制实现了对人类专业判断的高保真对齐：在验证样本上，评估代理与人类标注的**单项一致率达到 96.86%**，且三次重复运行的一致性达 99.46%。 —- ### 6. 通过大规模实验定位当前能力边界 论文在上述框架下评估了 **17 种 harness–model 配置**（涵盖 4 种代理框架与 11 种前沿骨干模型），在模型参数冻结的条件下进行全量测试。实验设计的关键在于： - 所有配置按**固定顺序**串行执行全部 120 个任务阶梯； - 代理框架的持久状态（记忆、技能、反思记录等）**跨任务保留**，但模型权重不变； - 通过对比 Trial 1 与 Trial 2 的结果，测量**经验重用与反馈修正**带来的改进空间。 实验结果揭示了现有系统的持续学习瓶颈：即使是最优配置（Claude Code / Opus 5），在 Trial 2 中也仅完成 **47.67%** 的级别，全部五级通关率仅为 **23.33%**；中位系统从反馈中获得的完成率提升为 **5.3 个百分点**。这些数据证明 CLE 尚未被现有方法饱和，从而为后续算法改进提供了明确的优化目标与测量工具。 —- ### 总结 简言之，该论文通过**“递进式任务阶梯 + 状态化环境 + 受控反馈协议 + 可审计的自动化评分”**四位一体的设计，将 LLM 代理的持续学习能力从不可观测的“黑箱”转化为**可量化、可对比、可复现**的评估指标，从而系统性地解决了该领域缺乏针对性基准的问题。 Q4: 论文做了哪些实验？ 论文在第 4 节及附录 F 中报告了系统性实验，围绕 **17 种 harness–model 配置**在 CLE 基准上的持续学习表现展开。实验可归纳为**主实验**、**附加分析**与**模型代际对比**三个层面。 —- ### 1. 实验设置 #### 1.1 系统配置 共评估 **17 个配置**，涵盖 4 个代理框架（harness）与 11 个骨干模型： - **Claude Code**
13
：Claude Opus 5、Claude Sonnet 5 - **Codex**
14
：GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna - **Hermes-Agent**
24
：Gemini 3.7 Flash、Doubao-Seed-Evolving、Qwen3.8-Max、Hy3、DeepSeek V4 Pro、GLM 5.3 - **OpenClaw**
46
：Gemini 3.7 Flash、Doubao-Seed-Evolving、Qwen3.8-Max、Hy3、DeepSeek V4 Pro、GLM 5.3 #### 1.2 评估协议 - 任务流：全部 120 个任务按固定顺序串行执行，每个任务包含 L1 至 L_5 五个级别。 - 状态保留：模型参数 θ 冻结，代理框架的持久状态 s_n （记忆、技能、反思记录等）跨任务保留；每开始新任务时重新初始化任务专属文件与应用数据库。 - 提交预算： - Trial 1 ( K=1 )：每级别允许 1 次提交，失败无诊断反馈。 - Trial 2 ( K=2 )：首次提交失败后，返回基于评分标准类别的诊断反馈，代理可修订并再提交 1 次。 #### 1.3 评估指标 - 总体完成率（Compl. %）：通过的级别总数 / 600。 - 各级累计通过率（ L_1 – L_5 ）：通过前 k 级的任务比例（如 L_5 为完整通关率）。 - 资源消耗：Actor Tok.（代理消耗的总 token 数）、Time（累计活跃运行时间，排除队列等待）、Cost（端到端美元成本）。 —- ### 2. 主实验结果（表 1、图 9、图 10） #### 2.1 整体表现 即使是最强配置，持续学习仍面临显著瓶颈： - Claude Code / Opus 5 在 Trial 2 达到最高总体完成率 47.67%，但仅完整通关 23.33% 的任务（28/120）。 - 17 个配置在 Trial 2 的 L_1 中位通过率为 62.50%，而 L_5 中位通过率仅 8.33%。 - 全部配置的 Trial 2 完成率均未超过 50%，表明 CLE 对当前前沿 LLM 代理仍具挑战性。 #### 2.2 反馈与修订收益（Trial 1 vs. Trial 2） 对比两次完整基准运行以隔离诊断反馈与即时修订带来的增益： - 16/17 的配置在 Trial 2 中完成率提升，中位增益为 5.3 个百分点（pp）。 - Claude Code / Sonnet 5 的绝对增益最大，达 +13.17 pp（从 27.00% 升至 40.17%），完整通关任务从 8 个增至 23 个。 - 然而，Trial 1 的高完成率并不必然对应更大的 Trial 2 增益；例如 Opus 5 虽领先 Trial 1，但增益仅 +5.50 pp。 #### 2.3 Harness 差异 在 6 个共享骨干上对比 Hermes-Agent 与 OpenClaw： - Hermes-Agent 的 Trial 2 总体完成率全面高于 OpenClaw，平均领先 11.42 pp（28.17% vs. 16.75%）。 - 两者在反馈利用上差距显著：例如 DeepSeek V4 Pro 在 Hermes-Agent 上提升 +5.50 pp，而在 OpenClaw 上下降 1.33 pp。 #### 2.4 资源成本分析 - 成本–完成率前沿：Codex / GPT-5.6-Terra 与 Sol 的 Trial 2 总体完成率相同（33.17%），但 Terra 成本仅 83.16、耗时 20.20h，Sol 则达 210.83 与 28.20h；不过 Sol 的完整通关任务更多（21 vs. 15）。 - 时间–完成率前沿：Hermes-Agent / Hy3 以 16.18 实现 27.33% 完成率，但耗时高达 80.30h，说明成本与运行时间为独立约束。 —- ### 3. 附加分析实验（附录 F） #### 3.1 任务进度与早期终止（图 13） - 在 Trial 1 中，所有配置均有超过半数任务止步于 0 或 1 个级别（中位数 87/120，即 72.50%）。 - Trial 2 中该中位数降至 80/120（66.67%），仅 Claude Code / Opus 5 降至 52/120（43.33%）。 - L_1 通过率与总体完成率的 Spearman 相关系数为 rho = 0.75 ，但 L_1 与 L_5 通过率的相关性仅 rho = 0.42 ，说明通过第一级并不保证能完成整个阶梯。 #### 3.2 条件通过率（图 14） 计算“在已通过 L_k 的前提下进入 L(k+1) ”的条件通过率： - Trial 2 的中位条件通过率从 L_1 to L_2 的 55.17% 上升至 L_4 to L_5 的 80.00%。 - 需注意，该上升部分源于样本选择效应（能坚持到后期的任务本身更简单或代理已积累有效经验），且后期分母迅速缩小（中位数从 75 个任务降至 14 个）。 - 仍有 8/17 的配置在某个后期转换处的条件通过率低于其 L_1 to L_2 率，例如 OpenClaw / Qwen3.8-Max 在 L_3 to L_4 的通过率仅 15.38%。 #### 3.3 各级反馈收益分解（图 15） - Trial 2 相对 Trial 1 的中位绝对提升： L_2 为 +7.50 pp， L_5 为 +3.33 pp。 - 中位相对提升（以 Trial 1 为基线）： L_2 为 +22.50%， L_5 为 +75.00%。 - 部分配置呈现“前级下降、后级上升”：如 Hermes-Agent / DeepSeek V4 Pro 在 L_1 下降 0.83 pp，但在 L_5 提升 +9.17 pp，表明反馈收益可体现在完整通关而非早期单级通过上。 #### 3.4 Harness 对比（图 16） 在 6 个共享骨干上，Hermes-Agent 的完整通关率（ L_5 ）在 Trial 2 全面优于 OpenClaw，优势从 1 个任务到 10 个任务不等；其 Trial 2 平均 token 消耗与成本分别为 OpenClaw 的 1.90 倍 与 1.71 倍。 —- ### 4. 模型代际对比实验（表 7） 为检验模型迭代是否直接转化为持续学习性能提升，论文在 Hermes-Agent 框架下对比了 Gemini 3.6、3.7 与 3.8 Flash： - Gemini 3.7 Flash 在两个 trial 中均表现最优：Trial 2 总体完成率 33.67%，完整通关 19/120 个任务。 - Gemini 3.8 Flash 的 Trial 2 总体完成率为 30.67%（+9.50 pp 相比自身 Trial 1），但仍低于 3.7；且其 token 消耗（1,741.21M）与成本（ 569.26）远高于 3.7 的 901.82M 与 394.84。 - Gemini 3.6 Flash 的 Trial 2 完成率最低（23.50%）。 该实验表明，更新一代的模型并不必然在持续学习场景下表现更好，即使 Q5: 有什么可以进一步探索的点？ 基于论文的实验发现与框架设计，以下六个方向具有显著的进一步探索价值： —- ### 1. 融合参数更新与 Harness 状态进化的混合持续学习机制 当前 CLE 实验在模型参数冻结（ θ_n equiv θ_0 ）的条件下进行，所有学习仅通过 harness 持久状态 s_n （记忆、技能、反思）实现。论文明确指出， continual learning 的完整形式应允许 θ_n 与 s_n$ 同时更新：
(θ(n+1), s(n+1)) = U_n(θ_n, s_n, e_n)
未来可探索： - 阶段性参数微调（SFT）：在任务流的关键节点，利用累积的交互轨迹与反馈对基础模型进行监督微调或强化学习（RL），检验参数级更新能否突破当前 47.7% 的完成率瓶颈； - 元学习初始化：训练一个对 CLE 式任务 ladder 更敏感的初始参数 θ_0 ，使代理在面临新任务时能更快从经验中适应； - 参数高效持续学习：引入适配器（adapters）、提示学习（prompt tuning）或低秩更新，在避免灾难性遗忘的同时实现跨任务知识累积。 —- ### 2. 向更高阶自主性学习层级（T3–T5）扩展评估 论文在图 3 中提出了五层累积的能力层级（T1–T5），但当前 CLE 主要覆盖 T1（规则指导） 与 T2（自主决策）。后续研究可系统评估： - T3（跨域持续学习）：将 CLE 的任务 ladder 跨领域重排或组合，检验代理在无人工重新设计流程的情况下，能否将金融领域的审计策略迁移至法律合规领域； - T4（发现驱动）：在 CLE 框架中引入开放式研究问题，要求代理自主设计调查方案、生成并验证新知识，而非执行预设任务； - T5（自驱研究）：赋予代理自主设定研究议程、提出并优先排序新任务的能力，评估其能否在长时间跨度内构建自我导向的改进循环。 —- ### 3. 诊断反馈机制的精细化设计 实验显示，Trial 2（ K=2 ，带诊断反馈）的中位增益仅为 5.3 pp，且该收益并不总是延伸到后续级别（如 Qwen3.8-Max 在 L_4 – L_5 无提升）。这提示： - 细粒度反馈 vs. 类别级反馈：当前反馈仅披露评分标准的类别（rubric category），探索提供更具体的子项提示或对比参考输出，能否显著提升修订效率； - 主动查询反馈：允许代理在失败后主动向评估代理提问，而非被动接收诊断信息，形成交互式教学（interactive teaching）； - 负样本利用：建立从失败提交中提取“反事实经验”的机制，使代理不仅能记住成功路径，还能系统化地规避已知的失败模式。 —- ### 4. Harness 架构的自动化进化与成本优化 论文揭示不同 harness（如 Hermes-Agent vs. OpenClaw）在相同骨干模型上存在高达 17.3 pp 的完成率差距（Trial 2，DeepSeek V4 Pro），且资源消耗差异显著。未来可研究： - 自适应记忆管理：当前 harness 的记忆写入、检索与压缩策略多为启发式设计，可引入可学习的记忆控制器，动态决定何时、何物、以何种粒度保留； - 技能抽象与组合：在 CLE 的跨级别复用中，自动提取可复用程序（skills）并检测其组合性，减少冗余计算； - 成本–性能帕累托前沿：当前最优系统完成 47.7% 需花费 720.56 与 58.90h，需探索轻量级 harness 设计，使持续学习在有限预算下可行。 —- ### 5. 利用 CLE 作为后训练（Post-Training）数据资源 论文在摘要与结论中明确指出，CLE 数据集可用于 post-train LLMs 以增强其持续学习能力。具体路径包括： - 持续预训练：将 CLE 的 23,981 个真实输入文件与 1,024 个 API 交互模式融入预训练语料，提升模型对状态化专业工作流的先验理解； - 拒绝采样与 DPO：利用 Trial 2 中“失败–反馈–成功”的成对轨迹，训练偏好模型，使模型天然具备更强的错误修正与反馈响应能力； - 多轮强化学习：将 CLE 的 POMDP 形式化环境作为 RL 训练场，通过策略梯度方法直接优化长期累积奖励 J(θ, h) ，而非仅优化单步任务成功率。 —- ### 6. 失败模式的系统性归因与理论分析 当前最佳系统仍有 52.33% 的级别失败，且大量任务在早期（ L_1 或 L_2 ）终止。深入理解失败根源至关重要： - 灾难性遗忘的代理表现：尽管参数冻结，harness 状态 s_n 仍可能出现“经验覆盖”或“检索失败”。量化 s_n 随任务数量增长时的遗忘曲线，可为记忆架构设计提供理论依据； - 知识可迁移性量化：CLE 定义了五种知识类型（Tools/Skills, Data Dependency, Strategy, User Context, Domain Knowledge），需建立指标分别测量各类知识在跨级别迁移时的保留率与增益； - 长程依赖的上下文瓶颈：后期级别依赖早期产物（如 L_5 需复用 L_1 的 bug 修复列表），探索长上下文窗口与外部记忆在检索此类远距离依赖时的互补机制。 —- ### 7. 动态与对抗性任务序列 当前 CLE 采用固定顺序的任务流。未来可引入： - 自适应课程（Adaptive Curriculum）：根据代理的实时表现动态调整任务难度与领域分布，检验代理在非平稳环境下的稳健性； - 对抗性任务注入：在序列中插入与先前经验冲突的任务要求，测试代理的知识修正与冲突解决能力，而非单纯的正向知识累积。 Q6: 总结一下论文的主要内容 该论文围绕大语言模型（LLM）代理的持续学习（continual learning）能力展开，核心内容与贡献可概括如下。 —- ### 研究动机与问题 现有基准测试（如 GAIA、SWE-bench、WildClawBench 等）主要评估代理在独立任务上的单次求解性能，或仅测试其对历史信息的检索能力，缺乏对以下关键能力的系统性度量：代理能否在长时间跨度内，通过 successive professional assignments 积累经验、保留有用知识、并将之复用于后续任务，同时避免遗忘先前习得的能力。论文将这一缺口归结为“评估的是任务求解性能，而非通过累积经验实现的性能提升”。 —- ### 核心方法：Continual Learning Exam (CLE) 为填补上述空白，论文构建了 CLE，一个由 50 余名行业专家开发的大规模基准，其设计要点包括： - 阶梯式任务结构（Task Ladders）：共 120 个任务，每个任务包含顺序递进的 5 个级别（ L_1 至 L_5 ），总计 600 个级别。代理必须通过当前级别才能解锁下一级别；后续级别会依赖前期产生的文件、知识或策略。 - 五种可迁移知识：明确设计跨级别的知识复用机制，包括 Tools and Skills、Data Dependency、Strategy、User Context 与 Domain Knowledge。 - 状态化执行环境：提供 19 个状态化模拟应用（暴露 1,024 个 API）与 23,981 个真实输入文件，确保前期操作的环境状态（如数据库记录、Git 仓库、邮件）能延续到后续级别。 - 受控评估协议： - Trial 1 ( K=1 )：每级别仅允许一次提交，失败无反馈。 - Trial 2 ( K=2 )：首次失败后返回基于评分标准类别的诊断反馈，代理可修订并再提交一次。 - 自动化评分体系：基于 16,125 条人工编写的评分标准（rubric criteria），由独立的多轮评估代理逐条验证提交产物与环境证据；仅当某级别所有标准均满足时才通过。 —- ### 实验设计与结果 论文在模型参数冻结的前提下，评估了 17 种 harness–model 配置（4 个代理框架 × 11 个前沿模型），按固定顺序串行执行全部 120 个任务，允许 harness 的持久状态（记忆、技能等）跨任务保留。主要发现如下： - 整体完成率极低：表现最优的系统（Claude Code / Opus 5）在 Trial 2 中也仅完成 47.67% 的级别，完整通关全部 5 级的任务仅占 23.33%；17 个配置的中位 L_5 通过率仅为 8.33%。 - 反馈与修订收益有限但普遍：Trial 2 相对 Trial 1 的中位完成率提升为 5.3 个百分点；16/17 的配置均受益，但增益大小与 Trial 1 基线性能无单调关系。 - Harness 差异显著：在相同骨干模型下，Hermes-Agent 的完成率系统性地高于 OpenClaw（Trial 2 平均领先 11.42 个百分点），表明经验保留与复用机制的设计至关重要。 - 后期级别仍是瓶颈：多数任务在早期（ L_1 或 L_2$）即终止；即使代理能通过前几级，后期条件通过率虽有所上升，但分母迅速缩小，且部分配置在后期出现显著滑坡。 —- ### 主要贡献 - 基准层面：提出首个面向真实人机协作场景的大规模持续学习评估基准，通过五级阶梯、状态化环境与人工验证的评分标准，将“经验驱动的改进”转化为可量化的通关指标。 - 工程层面：构建了包含 19 个状态化应用、23,981 个真实文件与可审计评估代理的完整执行与评分基础设施。 - 诊断层面：通过 17 种前沿配置的系统性评估，揭示当前 LLM 代理在长时间跨度持续学习上的显著不足，为后续算法（如参数微调、自适应记忆、强化学习后训练）提供了明确的优化靶点与测量工具。 论文最后指出，CLE 不仅是一个评估工具，其累积的任务数据与交互轨迹也可直接用于后训练（post-training），以系统性增强 LLM 代理的持续学习能力。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Haoyu Zhao,Sitian Tu,Yuxuan Huang,Huichi Zhou,Zhangyue Yin,Jiahao Huang,Jingyuan Xu,Tianmiao Shi,Jin Shi,Nianxi Zhang,Yangmiao Zhang,Zhuolang Chan,Huiyan Hu,Chenchao Sheng,Yaqing Luo,Yue Chen,Huaxiu Yao,Meng Fang,Jun Wang
Categories:
PDF URL: https://arxiv.org/pdf/2610.33956.pdf
Arxiv URL: https://arxiv.org/abs/2610.33956
Arxiv ID: 2610.33956
CoolPaper URL: https://papers.cool/arxiv/2610.33956
Published: 2026-10-27T02:24:54.224Z
Updated: 2026-10-27T02:24:54.224Z
3. Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
Abstract:LLM agents are increasingly used to solve real-world problems, and their effectiveness depends on both the underlying models and the harnesses that support their operation. However, most existing benchmarks focus on model capabilities and overall agent performance, with limited attention to the evaluation of agent harnesses. To address this gap, we introduce TraceTrial-Bench, which organizes harness reliability into seven components covering context, execution, governance, lifecycle, observability, tools, and verification. We construct 95 expert-level, mechanism-oriented tasks with executable or state-based ground truth to support semantically equivalent comparisons while preserving the native behavior of each harness. We design a Trajectory Tracing (TT) module to capture agent execution traces and introduce a two-layer evaluation framework that separately assesses agent performance and harness reliability. In addition, we design a Multi-source Evidence Acquisition (MEA) module to provide evidence from the agent context, harness, and execution environment for LLM-based evaluation, and develop a Failure Attribution (FA) module that uses explicit mechanism chains to support attribution at the run level. Across 4 harnesses, 9 models, and 95 tasks, our evaluation of 3,420 runs yields macro-averaged harness scores ranging from 59.8% to 72.0%, while 31.1% of runs achieve task success despite failing at least one harness criterion. TraceTrial-Bench provides an auditable and reproducible foundation for comparing agent harnesses, diagnosing their failures, and studying how harness design interacts with model behavior.
中文摘要
摘要：LLM代理越来越多地被用于解决现实世界的问题，其有效性既依赖于基础模型，也依赖于支持其运行的框架。然而，目前大多数现有基准测试主要关注模型能力和代理整体性能，对于代理框架的评估关注有限。为了解决这一空白，我们引入了TraceTrial-Bench，将框架可靠性组织为涵盖上下文、执行、治理、生命周期、可观测性、工具和验证的七个组件。我们构建了95个专家级、面向机制的任务，这些任务具有可执行或基于状态的真实标准，以支持语义上等效的比较，同时保留每个框架的原生行为。我们设计了一个轨迹追踪（Trajectory Tracing, TT）模块来捕获代理执行轨迹，并引入了一个两层评估框架，分别评估代理性能和框架可靠性。此外，我们设计了一个多源证据获取（Multi-source Evidence Acquisition, MEA）模块，为基于LLM的评估提供来自代理上下文、框架和执行环境的证据，并开发了一个失败归因（Failure Attribution, FA）模块，使用明确的机制链支持运行级别的归因。在4个框架、9个模型和95个任务上的3,420次运行评估中，我们得到的宏平均框架得分范围为59.8%到72.0%，同时31.1%的运行尽管至少未满足一个框架标准，仍然完成了任务。TraceTrial-Bench为比较代理框架、诊断其失败以及研究框架设计如何与模型行为相互作用提供了可审计和可复现的基础。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.32285 (HTTP 429)
Authors: Zhiyong Cao,Hengjie Zhu,Yongxin Wang,Xuchen Li,Jintao Li,Shuxia Liu,Dunqiang Liu,Bo Wang,Kairan Zhang,Cong Lin,JiangDi Yu,Siyuan Liu,Sijia Yao,Yi-Liang Wei,Lingxu Ma,Aijia Wang,Anxin Chen,Zixian Wei,Xiang Ruan,Ruizhi Xu,Ruqian Shi,Baihua Xiao,Sicheng Zhou
Categories:
PDF URL: https://arxiv.org/pdf/2610.32285.pdf
Arxiv URL: https://arxiv.org/abs/2610.32285
Arxiv ID: 2610.32285
CoolPaper URL: https://papers.cool/arxiv/2610.32285
Published: 2026-10-27T02:24:54.238Z
Updated: 2026-10-27T02:24:54.238Z
4. InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
Abstract:People have long dreamed of an assistant that is always there to guide them and remind what they forget, from new dishes to lost keys. Powered by multimodal large language models (MLLMs), egocentric AI assistants on wearable devices are bringing this dream within reach: they see what the user sees and give instructions for user’s physical work when necessary. However, testing such assistance is challenging and usually requires real people. The expensive and rare real interaction data leaves a key question unanswered: Can today’s MLLMs truly help people in physical world? To answer this question, we propose InteractiveWorld, the first verifiable environment for closed-loop interaction between human and AI assistant. Unlike existing robot-centric simulators, InteractiveWorld lets the assistant guide a human agent who observes the scene, understands instructions, and acts independently. It thus realistically simulates how AI assistant collaborates with human: the assistant instructs, the human acts, and the environment executes actions and updates what they see next. Building on it, we introduce InteractiveBench, the first dynamic benchmark for egocentric AI assistants, with 120 multi-turn tasks across six categories. In each task, the assistant guides the human in real time, and every instruction shapes the outcome, which is scored by verifiable, state-based rewards. Experiments with 12 frontier MLLMs show they are still far from reliable assistants. Even the strongest model, Claude Fable 5.1, achieves at most 20% and 25% on long-horizon Guidance and Planning tasks, respectively. Overall, our work offers a verifiable platform and a rigorous evaluation set, laying a solid foundation for research on interactive MLLM assistants that truly help people in the physical world.
中文摘要
摘要：人们长期以来一直梦想拥有一个随时指导他们并提醒他们忘记事项的助手，从新的菜肴到丢失的钥匙。借助多模态大语言模型（MLLMs），穿戴设备上的以自我为中心的人工智能助手正让这一梦想触手可及：它们能看到用户所看到的内容，并在必要时为用户的物理工作提供指示。然而，测试这种助手充满挑战，通常需要真实的人参与。昂贵且稀缺的真实交互数据让一个关键问题尚未得到回答：当今的MLLMs能否真正帮助人们在现实世界中？为回答这一问题，我们提出了InteractiveWorld，这是第一个可验证的人与AI助手闭环交互环境。与现有以机器人为中心的模拟器不同，InteractiveWorld允许助手引导观察场景、理解指令并独立行动的人类代理。因此，它真实地模拟了AI助手与人类的协作过程：助手提供指令，人类执行动作，环境执行动作并更新他们接下来看到的内容。在此基础上，我们推出了InteractiveBench，这是第一个针对以自我为中心的AI助手的动态基准，包括六类共120个多轮任务。在每个任务中，助手实时指导人类，每条指令都会影响结果，结果通过可验证的状态奖励进行评分。对12个前沿MLLMs的实验显示，它们仍然远未成为可靠的助手。即使是最强的模型Claude Fable 5.1，在长周期指导和规划任务中，其最高也仅分别达到20%和25%。总体而言，我们的工作提供了一个可验证的平台和严格的评估集，为研究真正能够在现实世界中帮助人类的交互式MLLM助手奠定了坚实基础。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33966
Authors: Qinsi Wang,Wei Wen,Chong Zhou,Saksham Suri,Zechun Liu,Lemeng Wu,Hai Helen Li,Yiran Chen,Raghuraman Krishnamoorthi,Qi Qian
Categories:
PDF URL: https://arxiv.org/pdf/2610.33966.pdf
Arxiv URL: https://arxiv.org/abs/2610.33966
Arxiv ID: 2610.33966
CoolPaper URL: https://papers.cool/arxiv/2610.33966
Published: 2026-10-27T02:24:54.210Z
Updated: 2026-10-27T02:24:54.210Z
5. World-in-Context: Interactive Video World Modeling with In-Context Conditioning
Abstract:Interactive video world models require coordinated control over viewing perspectives, character actions, and camera motion. Existing methods typically leave view modes implicit in text captions, conflate action with camera motion, and inject controls through fragmented architectural pathways that capture interdependencies only indirectly. In this work, we present World-in-Context, an interactive world modeling framework powered by In-Context Conditioning (ICC). Rather than relying on specialized conditioning pathways, World-in-Context unifies view, action, and camera controls into explicit tokens contextualized directly within a shared self-attention space. Our formulation reveals that (i) explicit view tokens disentangle conflicting dynamics and unlock emergent view switching from single-view data, while (ii) action and camera inputs play complementary roles in governing local responsiveness and global stability. To preserve temporal continuity across execution intervals, we further introduce Interaction-Transport RoPE (IT-RoPE), parameterizing temporal attention with accumulated control transitions. On WBench, World-in-Context-5B achieves navigation performance on par with 22B EchoWM ($81.5$ vs. $81.6$) and attains a $93.8\%$ perspective-switching success rate, substantially outperforming existing 5B baselines ($18.8\%$). Controlled analyses further demonstrate compounding advantages of World-in-Context under richer conditioning mixtures, favorable data efficiency, and natural applicability to causal rollouts.
中文摘要
摘要：交互式视频世界模型需要对观察视角、角色动作和摄像机运动进行协调控制。现有方法通常将视角模式隐含在文本说明中，将动作与摄像机运动混合，并通过零散的架构路径注入控制，仅间接捕捉相互依赖关系。在本工作中，我们提出了World-in-Context，一个由上下文条件（In-Context Conditioning, ICC）驱动的交互式世界建模框架。World-in-Context并不依赖于专门的条件路径，而是将视角、动作和摄像机控制统一为明确的标记，直接在共享的自注意力空间中进行上下文化。我们的公式揭示了：(i) 明确的视角标记能解开冲突的动态，并从单视角数据中解锁新兴的视角切换；(ii) 动作和摄像机输入在控制局部响应性和全局稳定性方面具有互补作用。为了在执行间隔中保持时间连续性，我们进一步引入了交互传输 RoPE（Interaction-Transport RoPE, IT-RoPE），通过累积控制转移参数化时间注意力。在WBench上，World-in-Context-5B的导航性能与22B EchoWM相当（81.5 vs. 81.6），并实现了93.8%的视角切换成功率，显著超越现有的5B基线（18.8%）。受控分析进一步显示，World-in-Context在更丰富的条件混合下展现出叠加优势，同时具有良好的数据效率，并自然适用于因果推演。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33169
Authors: Harold Haodong Chen,Rui Peng,Rongjin Guo,Lingteng Qiu,Kejie Qiu,Chao Xu,Zilong Dong
Categories:
PDF URL: https://arxiv.org/pdf/2610.33169.pdf
Arxiv URL: https://arxiv.org/abs/2610.33169
Arxiv ID: 2610.33169
CoolPaper URL: https://papers.cool/arxiv/2610.33169
Published: 2026-10-27T02:24:54.304Z
Updated: 2026-10-27T02:24:54.304Z
6. Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents
Abstract:Successful tool-use trajectories are not necessarily useful supervision. Even successful interactions may underrepresent multi-step dependencies or contain actions that are unjustified by the information visible to the agent at decision time. We identify two coupled requirements for effective trajectory supervision: compositional coverage, so that important observation-action dependencies are represented, and decision grounding, so that each supervised action is supported by the learner-visible interaction history. We introduce Trajectory2Gym, which constructs executable interactions around under-supported compositional structures and derives supervision only from grounded decisions in their realized executions. Structural-support selection allocates the resulting experience, while parent-normalized supervised fine-tuning preserves the semantic interaction as the unit of training weight. This reframes trajectory generation as the deliberate construction of learnable interaction experience, rather than the collection of successful trajectories. Across five Qwen3 scales, Trajectory2Gym improves Tau1, Tau2, and BFCL at every tested scale, increasing the equal-weight three-benchmark mean by 16.9-29.8 percentage points. The gains are strongest in stateful and multi-turn interaction, where later decisions depend on earlier observations and feedback. Our results suggest that scaling tool-use agents depends not only on collecting more successful trajectories, but on constructing interactions whose dependencies are represented and whose decisions are learnable from the agent’s visible history.
中文摘要
摘要：成功的工具使用轨迹并不一定是有用的监督。即使是成功的交互，也可能低估多步骤依赖性，或者包含在决策时代理可见信息下无法证明合理的动作。我们确定了有效轨迹监督的两个耦合要求：组合覆盖性，以便重要的观察-动作依赖关系得到体现；以及决策基础，使每个受监督的动作都由学习者可见的交互历史支持。我们引入了Trajectory2Gym，它围绕支持不足的组合结构构建可执行的交互，并仅从其实现执行中的有基础决策中获得监督。结构支持选择分配由此产生的经验，而父归一化监督微调则将语义交互保持为训练权重单位。这将轨迹生成重新构建为可学习交互经验的有意构建，而不是单纯收集成功轨迹。在五个Qwen3规模下，Trajectory2Gym在每个测试规模上都提高了Tau1、Tau2和BFCL，将等权三基准平均值提高了16.9-29.8个百分点。增益在有状态和多轮交互中最强，其中后续决策依赖于早期观察和反馈。我们的结果表明，扩展工具使用代理不仅依赖于收集更多成功轨迹，还取决于构建其依赖关系得到体现、其决策可从代理可见历史中学习的交互。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33568
Authors: Yihao Hu,Zhihao Wen,Yitong Lin,Siyuan Lu,Pan Wang,Wei Wu,Jiang-Ming Yang,Tao Lin
Categories:
PDF URL: https://arxiv.org/pdf/2610.33568.pdf
Arxiv URL: https://arxiv.org/abs/2610.33568
Arxiv ID: 2610.33568
CoolPaper URL: https://papers.cool/arxiv/2610.33568
Published: 2026-10-27T02:25:04.517Z
Updated: 2026-10-27T02:25:04.517Z
7. Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model
Abstract:Frontier black-box Large Language Model (LLM) agents are proficient at long-horizon reasoning and precise action generation. However, when it comes to a specific agentic task, they have no internalized knowledge of how that particular environment unfolds. A world model offers a natural remedy, providing the agent with environment specific knowledge by foreseeing how the environment will respond to the action it is about to take. Prior world models for LLM agents mainly predict next observations at each step, which is costly and often uninformative because individual observations provide limited task-relevant guidance and not every step requires call for foresight. This raises a key question: what a world model should predict and when should it be invoked for agentic tasks? Our pilot study suggests that world model guidance is most useful when it anticipates pitfalls within a bounded multi-step future. Motivated by this, we introduce Pitfall Anticipation World Model (PAWM), which selectively intervenes when a potential pitfall arises and predicts the impending failure to steer the agent away from it. PAWM is trained in two stages: Supervised Fine-Tuning (SFT) on synthetic data labeled with agent pitfalls, followed by GRPO co-training with a black-box LLM to further optimize it in the target environment. PAWM improves Claude Sonnet 4.5 performance by 24.3% on ScienceWorld and 7.7% on WebArena-Lite, outperforming a range of baselines. These results demonstrate that PAWM provides an effective form of world model guidance for black-box LLM agents.
中文摘要
摘要：前沿的黑箱大语言模型（LLM）代理在长期推理和精确动作生成方面表现出色。然而，当涉及到特定代理任务时，它们对该特定环境如何发展缺乏内化知识。世界模型提供了一种自然的解决方案，通过预测环境对即将采取的动作的反应，为代理提供特定环境的知识。此前的LLM代理世界模型主要预测每一步的下一次观察，这代价高昂且 often 没有信息量，因为单个观察提供的任务相关指导有限，而且并非每一步都需要前瞻性思考。这引出了一个关键问题：世界模型应该预测什么，以及在何时应在代理任务中调用？我们的初步研究表明，当世界模型能够预见到有限多步未来中的陷阱时，其指导最为有用。基于此，我们提出了陷阱预判世界模型（PAWM），在潜在陷阱出现时选择性介入，预测即将发生的失败，以引导代理远离该陷阱。PAWM 的训练分为两个阶段：首先在带有代理陷阱标签的合成数据上进行监督微调（SFT），随后与黑箱LLM进行GRPO联合训练，以在目标环境中进一步优化。PAWM 在 ScienceWorld 上将 Claude Sonnet 4.5 的性能提升了24.3%，在 WebArena-Lite 上提升了7.7%，优于一系列基线方法。这些结果证明，PAWM 为黑箱LLM代理提供了一种有效的世界模型指导形式。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*如何有效利用世界模型（world model）为黑盒大语言模型（LLM）智能体提供环境特定知识，以提升其在具体任务中的可靠性和成功率\*\*的问题。 具体而言，论文围绕以下三个层面展开： ### 1. 黑盒LLM智能体的核心缺陷 前沿黑盒LLM（如Claude Sonnet 4.5、GPT-5）具备强大的通用推理、规划与动作生成能力，但在具体智能体任务中缺乏\*\*环境特定的动态知识\*\*（environment-specific dynamics）。这些模型无法通过微调参数来内化特定环境的状态转移规则，因此需要外部模块在推理时注入环境知识。 ### 2. 现有世界模型方法的不足 已有研究尝试用世界模型预测未来状态以指导智能体，但主要存在两方面缺陷： - \*\*预测内容失当\*\*：多数方法仅预测\*\*下一步观察\*\*（next observation），单步预测信息有限，难以提供有效的任务指导；而预测整个剩余轨迹（full remaining trajectory）则容易累积误差，干扰原本正确的决策。 - \*\*介入时机低效\*\*：现有方法通常在\*\*每一步\*\*都调用世界模型，导致成本高昂，且不必要的干预可能误导能力本就较强的黑盒LLM。 ### 3. 论文提出的关键问题与解决路径 论文通过系统性的预实验（pilot study）回答了两个核心设计问题： - \*\*世界模型应输出什么？\*\* 预测应覆盖\*\*有界的多步未来\*\*（multi-step future），且以上一有意义的里程碑（milestone/subgoal）为边界，而非单步或全程。 - \*\*世界模型何时介入？\*\* 指导的价值集中在\*\*潜在陷阱\*\*（pitfalls）处——即当智能体即将采取的动作可能导致失败、停滞或无效循环时。论文发现，仅在预见陷阱时介入，即可达到接近全程干预的性能，同时大幅降低调用成本。 基于上述发现，论文提出\*\*Pitfall Anticipation World Model (PAWM)\*\*：一个训练得到的世界模型，它监控黑盒LLM智能体的行为，仅在预见到即将发生的失败时输出前瞻性指导（pitfall anticipation），引导智能体避开陷阱；而在动作安全时保持静默（输出\`\`）。该模型通过两阶段训练获得：先在合成陷阱数据上进行监督微调（SFT），再通过GRPO与黑盒LLM协同训练，以优化实际的下游任务成功率。 Q2: 有哪些相关研究？ 该论文的相关研究主要集中在两大方向：\*\*黑盒LLM的引导（Steering Black-box LLMs）\*\* 与 \*\*世界模型（World Models）\*\*。以下结合论文第2节与附录A进行系统梳理。 --- ### 1. 黑盒LLM的引导（Steering Black-box LLMs） 由于前沿LLM（如GPT-5、Claude）通常仅通过API访问，无法直接微调参数，研究者转向外部适配方法： | 类别 | 代表工作 | 核心思想 | 局限性 | |------|---------|---------|--------| | \*\*静态提示优化\*\* | Shin et al. (2020); Fernando et al. (2024) | 自动搜索适用于所有输入的固定提示模板 | 无法针对单个任务或状态进行自适应调整 | | \*\*自适应辅助模型\*\* | Li et al. (2023) | 训练轻量级模型，根据输入动态生成指导性刺激（directional stimulus） | 主要针对单轮文本生成，未涉及多步智能体交互 | | \*\*智能体顾问模型\*\* | Li et al. (2024); Asawa et al. (2025); Lingam et al. (2026); Liu et al. (2026a) | 在智能体任务中，训练外部顾问提供高层级规划或子目标分解 | 强化的是黑盒LLM已具备的通用推理能力，\*\*并未补充其缺乏的环境特定知识\*\* | 与上述工作不同，PAWM并非提供通用规划建议，而是以\*\*世界模型\*\*的形式注入黑盒LLM所不具备的\*\*环境动态知识\*\*。 --- ### 2. 世界模型（World Models） 世界模型旨在学习环境动态以支持规划与决策。在LLM智能体领域，其应用可细分为以下几类： #### （1）生成合成经验 - \*\*代表工作\*\*：Gao et al. (2025); Chen et al. (2025); Ding et al. (2026) - \*\*机制\*\*：利用世界模型替代真实环境进行 rollout，生成大量合成轨迹用于训练智能体 - \*\*特点\*\*：缓解真实环境交互昂贵的问题，但世界模型与智能体决策过程解耦 #### （2）内化环境动态 - \*\*代表工作\*\*：Zhang et al. (2025); Yu et al. (2025, 2026b) - \*\*机制\*\*：将世界模型能力直接集成到智能体参数中，使其在执行动作前能自主推演后果 - \*\*特点\*\*：需要修改智能体自身权重，不适用于黑盒LLM #### （3）联合进化世界模型与智能体 - \*\*代表工作\*\*：Liu et al. (2026b, 2026c) - \*\*机制\*\*：在训练过程中同时更新世界模型与智能体策略，使两者协同进化 - \*\*特点\*\*：同样要求智能体参数可训练，与黑盒设定不兼容 #### （4）模拟与搜索辅助动作选择 - \*\*代表工作\*\*：Zhao et al. (2023); Gu et al. (2024); Chae et al. (2025); Zheng et al. (2026); Guan et al. (2026) - \*\*机制\*\*：利用世界模型模拟候选动作或支持树搜索（MCTS等），通过评估未来轨迹排序选择最优动作 - \*\*局限\*\*：计算成本高，世界模型需为每个候选动作多次推演，\*\*多数模拟轨迹最终被丢弃\*\* #### （5）持续介入智能体循环的世界模型 - \*\*代表工作\*\*：Qian et al. (2026); Zhang et al. (2026) - \*\*机制\*\*：世界模型在智能体执行过程中持续提供指导，而非仅用于离线模拟 - \*\*关键不足\*\*：现有工作\*\*未系统研究\*\*世界模型应输出何种信息（单步观察 vs. 全轨迹 vs. 有界子目标），也未明确何时介入最有效（每步介入 vs. 选择性介入）。Qian et al. (2026) 甚至发现，无论自适应还是每步调用，生成式世界模型均未能带来稳定收益。 --- ### 3. 与PAWM的定位差异 PAWM属于第（5）类，但明确回应了上述不足： - \*\*在输出内容上\*\*：不预测单步观察，也不预测无界全轨迹，而是预测\*\*以子目标为界的多步未来轨迹\*\*（SubGoal-Traj），特别聚焦于\*\*陷阱预警\*\*（pitfall anticipation）。 - \*\*在介入时机上\*\*：摒弃每步调用的模式，采用门控机制——仅当预见到潜在失败时才输出指导，否则输出 \`\` 保持静默。 - \*\*在优化目标上\*\*：通过GRPO与黑盒LLM\*\*协同训练\*\*，使世界模型的预警能力直接优化下游任务成功率，而非仅拟合环境转移动态。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*Pitfall Anticipation World Model (PAWM)\*\* 来解决该问题。PAWM 是一个可训练的世界模型，它并不在每一步都干预黑盒 LLM 智能体，而是仅在预见到即将发生的失败（pitfall）时才介入，提供有界的多步前瞻性指导。具体解决方案包含\*\*核心机制设计\*\*与\*\*两阶段训练流程\*\*两个方面。 --- ### 1. 核心机制：门控式陷阱预警 PAWM 在标准世界模型基础上引入了一个关键的门控机制。在每一时间步 t ，黑盒智能体首先提出一个试探性动作 a_t sim π(·|h_t) 。PAWM 根据当前历史 h_t 和该动作进行前向推演，然后决定输出：
gt sim ωθ(·|h_t, a_t) ∈
其中
a_t = a_t, & if g_t =
这一机制同时回答了两个关键设计问题： - **何时干预**：仅在预见潜在陷阱时开口，避免对已在正确轨迹上的智能体造成不必要的干扰和 API 调用开销。 - **输出什么**：输出的是从当前动作推演至**下一个里程碑（subgoal）** 的多步轨迹预测，而非单步观察或无界的全程轨迹。该预测聚焦于“该动作将导致何种失败或无效循环”，从而提供最具信息量的纠正信号。 —- ### 2. 阶段一：基于合成陷阱数据的监督微调（SFT） 该阶段旨在教会 PAWM 识别陷阱位置并生成相应的预警语言。 #### 2.1 轨迹收集与对比标注 首先，使用黑盒 LLM（Claude Sonnet 4.5）在训练集上重复采样任务轨迹（温度设为 1.0），保留成功与失败轨迹。随后，利用另一个 LLM 作为标注器，通过以下策略构造监督数据： - **对比标注（Contrastive Labeling）**：对同一任务的成功与失败轨迹进行对比，定位失败轨迹中**最早**偏离成功路径的动作（`fail_start_step`），并预测从该动作起将引发的失败后果，生成 g_t 。若失败仅由环境噪声（如步数限制、非确定性事件）导致，则标记为无陷阱。 - **成功轨迹的残余陷阱标注**：对仅有成功轨迹的任务，识别其中次优但非致命的绕路（detour），避免模型退化成全静默。 - **失败轨迹的引导成功**：对仅有失败轨迹的任务，注入人工指导重新运行以获得成功轨迹，再进行对比标注。 所有标注被约束为仅基于当前步可见信息的抽象描述，避免未来信息泄露。最终得到数据集 D = (h_t, a_t, g_t) 。 #### 2.2 训练与类别平衡 SFT 通过最小化负对数似然进行：
L(SFT)(θ) = -E((ht,a)_t,g_t)sim D [ log ωθ(gt|h_t, a_t) ]
由于绝大多数步骤被标注为
J(GRPO)(θ) = E(q sim Q, {τi)(i=1)^K sim ω(θ_old)(g|h,a)} [ (1) / (K) ∑(i=1)^K (1) / (|τi|) ∑(j=1)^(|τi|) (1) / (|g(i,j)|) ∑(t=1)^(|g(i,j)|) ell(i,j,t)(θ) ]
其中单 token 损失 ell(i,j,t)(θ) 定义为：
ell(i,j,t)(θ) = min( rho(i,j,t) Ai, clip(rho(i,j,t), 1-ε, 1+ε) Ai ) - β D(KL)( ωθ | ω(ref) )
重要性采样比率 rho(i,j,t) 为：
rho(i,j,t) = ωθ(g(i,j,t)|h(i,j),tildea(i,j),g(i,j,<t)){ω(θold)(g(i,j,t)|h(i,j),a(i,j),g(i,j,<t))}
组相对优势 A_i 基于最终任务奖励 r_i ∈ 0,1 计算：
A(i,t) = r_i - mean(r)std(r)
3.2 训练稳定性技巧 - **动态采样过滤**：采用 DAPO 的策略，丢弃组内所有轨迹获得相同奖励的样本（零优势），以避免无效梯度。 - **任务预过滤**：在 WebArena-Lite 上，由于基线成功率已较高（约 70%），预先过滤掉那些被 SFT-PAWM 连续三次全部解决的任务，确保 RL 阶段有足够的学习信号。 —- ### 4. 推理流程 在实际推理时，PAWM 按以下循环工作： 1. 智能体基于历史 ht 提出试探动作 a_t ； 2. PAWM 评估 a_t ：若预测无陷阱，输出 ，智能体直接执行 a_t ；若预测有陷阱，输出前瞻性指导 g_t ； 3. 若收到 g_t ，智能体将其追加至上下文，重新决策得到 a_t ； 4. 环境执行 a_t ，返回新观察 o (t+1) ，进入下一步。 为避免历史指导的累积干扰，每一步的历史 h_t 均从 scratch 重建，且不保留过往的世界模型输出。 Q4: 论文做了哪些实验？ 论文的实验围绕验证 **PAWM** 的有效性展开，涵盖**基准测试对比**、**消融分析**与**迁移性检验**三个层面。所有实验均以 Claude Sonnet 4.5 作为黑盒智能体基座，世界模型基于 Qwen3.5-27B 构建。 —- ### 1. 实验设置 - **数据集** - **ScienceWorld**：在 30 类任务上评估，训练集 708 条、测试集 271 条任务变体。 - **WebArena-Lite**：使用经人工验证的 165 条任务作为测试集，剩余 647 条作为训练集；通过 WebServ/Incus 容器隔离写操作，避免状态污染。 - **模型与训练** - 智能体：Claude Sonnet 4.5（通过 Amazon Bedrock API 访问）。 - 世界模型：Qwen3.5-27B。 - PAWM 训练分两段：先在合成陷阱数据集上进行 SFT，再从该检查点出发进行 GRPO 协同训练。 - **评估指标** - **Task Success Accuracy (Acc)**：任务成功率，取 3 次独立运行的平均值与标准差。 - **Pass@3**：3 次运行中至少成功 1 次的比例。 - **Action Change Rate (ACR)**：被引导步骤中智能体修改试探动作的比例。 - **Intervention Rate (IR)**：实际向智能体传递指导的步骤占比。 - **#Calls**：单任务平均调用黑盒智能体的次数。 - **基线方法** - **N/A**：无外部引导的裸黑盒智能体。 - **RAG**：通过嵌入模型检索最相似的成功轨迹并注入上下文。 - **Pre-Task Guidance**：训练模型在任务开始前生成一次性高层规划。 - **Next-Obv / Full-Traj / SubGoal-Traj WM**：每一步均介入，但分别预测下一步观察、全程剩余轨迹、到下一子目标的轨迹。 —- ### 2. 主实验结果（与基线对比） Table 4 报告了各方法在 ScienceWorld 与 WebArena-Lite 上的 Acc 与 Pass@3： | Steering Method | ScienceWorld Acc | ScienceWorld Pass@3 | WebArena-Lite Acc | WebArena-Lite Pass@3 | |:—-|:—-:|:—-:|:—-:|:—-:| | N/A | 54.6 | 66.8 | 72.7 | 80.0 | | RAG | 70.2 | 78.6 | 73.3 | 81.8 | | Pre-Task Guidance | 69.2 | 79.3 | 74.3 | 81.8 | | Next-Obv WM | 58.5 | 71.6 | 73.1 | 81.2 | | Full-Traj WM | 65.6 | 80.1 | 71.1 | 80.6 | | SubGoal-Traj WM | 67.6 | 79.0 | 74.3 | 81.8 | | **PAWM (Ours)** | **71.4** | **84.5** | **75.0** | **85.5** | | **PAWM + GRPO** | **78.9** | **87.5** | **80.4** | **86.1** | 关键发现： - PAWM (+GRPO) 在两项基准上均取得最优，ScienceWorld 上相对裸智能体提升 **24.3%**，WebArena-Lite 上提升 **7.7%**。 - SFT 阶段的 PAWM 已显著优于各基线；GRPO 进一步拉大差距，且对 Acc 的提升远大于 Pass@3，说明 SFT 设定了能力上限（Pass@3），而 GRPO 提高了实现的可靠性（Acc）。 - 在 ScienceWorld 上，Pre-Task Guidance 与 RAG 等基线经 GRPO 后仍不及 PAWM（见图 2）。 —- ### 3. 预实验（Pilot Study）：设计空间的系统性探索 在提出 PAWM 前，论文先通过预实验回答“世界模型应输出什么”与“何时介入”两个问题。 #### 3.1 世界模型应输出什么？ 保持每步介入，对比三种输出粒度（Table 1）： | WM Output | ScienceWorld Acc | ScienceWorld ACR | WebArena-Lite Acc | WebArena-Lite ACR | |:—-|:—-:|:—-:|:—-:|:—-:| | N/A | 54.6 | — | 72.7 | — | | Next-Obv | 58.5 | 20.1 | 73.1 | 15.9 | | Full-Traj | 65.6 | 19.4 | 71.1 | 24.6 | | SubGoal-Traj | 66.7 | 18.2 | 74.1 | 17.7 | 结论：**SubGoal-Traj** 在两项基准上均表现最佳，说明有界多步预测优于单步观察与无界全程预测。 #### 3.2 世界模型何时介入？ 对 SubGoal-Traj 设置门控，比较三种条件（Table 3）： | Gate | ScienceWorld Acc | ACR | IR | Calls | WebArena-Lite Acc | ACR | IR | Calls | |:—-|:—-:|:—-:|:—-:|:—-:|:—-:|:—-:|:—-:|:—-:| | All | 66.7 | 18.2 | 100 | 36.5 | 74.1 | 17.7 | 100 | 20.0 | | Pitfall-only | 65.2 | 37.1 | 44.4 | 26.7 | 72.9 | 45.9 | 27.5 | 12.8 | | Non-pitfall-only | 58.4 | 4.0 | 52.7 | 28.8 | 70.5 | 7.0 | 75.0 | 16.8 | 同时通过**词法分析**（加权对数比，表 2/表 6）与**语义分析**（LLM 二分类器， chi^2=181.1, p<0.001 ）验证：导致动作修改的指导中，\*\*76.8%\*\* 包含陷阱预警，而未修改组仅 \*\*29.0%\*\*。 结论：仅传递陷阱预警即可在大幅降低调用成本（IR 降至约 27–44%）的同时，保持接近全程介入的性能。 --- ### 4. 内部消融实验 #### 4.1 -to-anticipation 比例 SFT 阶段需平衡静默标签与预警标签的比例。Table 5 显示不同比例下的 PAWM 性能： | Ratios | ScienceWorld Acc | Pass@3 | IR | WebArena-Lite Acc | Pass@3 | IR | |:—-|:—-:|:—-:|:—-:|:—-:|:—-:|:—-:| | 0.5 | 69.9 | 81.6 | 47.0 | 72.3 | 84.2 | 39.2 | | 0.75 | 70.0 | 82.7 | 32.8 | **75.0** | **85.5** | 31.0 | | 1.0 | **72.3** | **84.9** | 26.4 | 72.5 | 83.0 | 24.1 | | 1.5 | 72.1 | 81.6 | 19.8 | 72.5 | 81.2 | 26.7 | | 2.0 | 69.8 | 83.8 | 19.0 | 71.9 | 82.4 | 20.1 | | orig | 67.2 | 78.6 | 3.2 | 69.9 | 81.8 | 14.6 | 最终采用 ScienceWorld 上 **1.0**、WebArena-Lite 上 **0.75** 作为默认初始化。 #### 4.2 GRPO 对基线方法的提升 在 ScienceWorld 上，对 Pre-Task Guidance 及各世界模型变体同样施加 GRPO（图 2）。结果显示： - GRPO 普遍提升各方法； - PAWM 在 SFT 与 GRPO 两个阶段均保持最优，说明陷阱预警机制本身具有优势，而非仅受益于强化学习。 —- ### 5. 迁移性实验 为验证 PAWM 学到的环境知识是否绑定于特定智能体，论文将其直接接入多种未参与协同训练的黑盒 LLM（图 3），包括： - Claude 系列：Haiku 4.5、Opus 4.5 - 开源模型：GLM 5、Kimi K2.5 结果：PAWM 在所有测试基座上均一致提升任务成功率，表明其习得的陷阱知识具有**跨智能体迁移性**。 —- ### 6. 定性案例 附录 H 提供了可视化案例（图 5–7），展示 PAWM 如何在具体任务中预见陷阱并纠正智能体： - **ScienceWorld**（物质状态改变任务）：智能体试图对“tin cup”执行 focus，PAWM 预警该对象实为容器而非纯物质 tin，避免不可逆错误。 - **ScienceWorld**（种植任务）：智能体即将在未满足前提条件时执行 focus，PAWM 提前指出步骤缺失。 - **WebArena-Lite**（购物任务）：智能体即将基于错误筛选条件终止任务，PAWM 指出评价数量与价格条件未经验证。 Q5: 有什么可以进一步探索的点？ 基于论文的局限性与整体研究框架，以下方向值得进一步探索： —- ### 1. 跨环境与跨领域的通用世界模型 论文中的世界模型是**任务特定**的，针对单一智能体环境（如 ScienceWorld 或 WebArena-Lite）独立训练。一个自然延伸是构建能够跨环境、跨领域迁移的**通用世界模型**。这需要： - 在多样化的智能体环境（如操作系统、数据库、物理仿真器）上联合训练，学习通用的环境动态表示； - 设计环境无关的抽象动作与状态表示，使模型具备“元认知”式的环境适应能力； - 探索通用世界模型在新环境中的少样本或零样本迁移性能。 —- ### 2. 与多样化黑盒智能体的深度协同优化 当前 PAWM 主要与 **Claude Sonnet 4.5** 进行 GRPO 协同训练，再迁移至其他模型。尽管迁移实验显示一定泛化性，但不同智能体的错误分布、推理风格与动作空间存在差异。未来可研究： - 针对不同黑盒 LLM（如 GPT 系列、开源模型）分别进行协同训练，比较最优陷阱预测模式的异同； - 探索**智能体无关的奖励塑形**或**元学习策略**，使单一 PAWM 能快速适配新的黑盒智能体； - 分析智能体能力边界（如长上下文、指令遵循精度）如何影响世界模型的最优干预策略。 —- ### 3. 多模态观察空间的扩展 论文环境以文本观察为主（HTML 页面、文本模拟器）。现实世界中智能体常面临**视觉-语言-动作（VLA）**输入，如 GUI 截图、机器人传感器数据。扩展方向包括： - 训练多模态 PAWM，使其能够基于视觉观察预见陷阱（如预测点击错误坐标、误读图表）； - 研究图像序列的未来帧预测与文本化陷阱预警之间的对齐问题； - 在视觉丰富的基准（如 OSWorld、VisualWebArena）上验证陷阱预测机制的有效性。 —- ### 4. 合成监督数据的质量与偏差消解 PAWM 依赖 LLM（Claude Sonnet 4.5） hindsight 标注合成陷阱数据，这可能引入**教师模型偏差**（如过度标注某些类型错误、忽略其他失败模式）： - 引入**人工校验**或**多模型投票机制**（ensemble of annotators）提升标签质量； - 设计自动化的**陷阱覆盖率评估**，检测训练集中未被充分表示的失败模式； - 探索**主动学习**或**好奇心驱动**的数据收集策略，让模型主动寻找当前预测盲区中的陷阱案例。 —- ### 5. 干预机制与指导形式的精细化 当前 PAWM 采用二元门控（`` 或 ``），指导形式为自然语言文本。更精细的设计可能提升效能： - **分级预警**：不仅区分“有/无陷阱”，还预测陷阱的严重程度（致命 vs. 可恢复）或置信度，实现风险感知的弹性干预； - **结构化指导**：除自然语言外，尝试输出结构化信号（如子目标状态约束、动作屏蔽列表），降低智能体重决策时的认知负荷； - **自适应时间跨度**：根据当前状态动态调整预测的“多步未来”长度，而非固定到下一里程碑。 —- ### 6. 理论层面的理解与分析 论文通过实证发现“有界多步陷阱预测”最为有效，但其底层机制缺乏形式化分析： - 从**信息论**或**决策理论**角度，量化不同预测粒度（单步、子目标、全程）所提供的**任务相关信息增益**； - 建立**干预时机**与**智能体策略熵/不确定性**之间的数学关系，证明仅在预见陷阱时干预的最优性条件； - 分析 GRPO 协同训练过程中，世界模型与黑盒智能体之间形成的**隐式博弈**或**协同演化动态**。 —- ### 7. 计算效率与系统部署优化 尽管 PAWM 已降低 API 调用次数，但在大规模部署中仍有优化空间： - **模型蒸馏**：将训练好的 PAWM 蒸馏为更小模型（如 7B 或更少参数），在保持预警能力的同时降低推理延迟； - **推测执行（Speculative Execution）**：利用轻量级世界模型并行推演多个候选动作的未来后果，批量筛选后再调用昂贵的大模型重决策； - **缓存与检索增强**：对常见状态-动作对建立陷阱预测缓存，避免重复计算。 —- ### 8. 在线适应与持续学习 当前 PAWM 的训练分为离线的 SFT 与有限的在线 GRPO，尚未涉及部署后的持续演进： - 设计**在线学习机制**，使 PAWM 在真实用户任务流中实时收集新出现的陷阱模式，并增量更新； - 引入**人类反馈（RLHF）**或**环境反馈**，修正合成标注中的噪声，解决“陷阱定义漂移”问题； - 探索**终身学习**设置，防止模型在学习新任务环境时遗忘旧环境的陷阱知识。 Q6: 总结一下论文的主要内容 这篇论文研究了如何利用世界模型为黑盒大语言模型（LLM）智能体注入环境特定的动态知识，以提升其在具体任务中的可靠性。 ### 1. 研究背景与动机 前沿黑盒LLM（如Claude Sonnet 4.5）具备强大的通用推理、规划与动作生成能力，但在特定智能体环境中缺乏状态转移与任务展开的专有知识。由于模型权重不可访问，这种知识无法通过微调直接内化。现有世界模型方法通常每一步都预测下一步观察或全程轨迹，存在信息有限、成本高昂或误差累积等问题。这引发两个核心设计问题：世界模型应输出什么？何时介入最有效？ ### 2. 预实验发现 作者首先在ScienceWorld和WebArena-Lite上开展系统性的预实验，得出两个关键设计原则： - **预测内容**：预测**到下一子目标（subgoal）的有界多步未来**最有效，显著优于单步观察预测和全程轨迹预测。 - **介入时机**：世界模型的指导仅在**预见潜在陷阱（pitfall）**时才显著改变智能体行为。仅传递陷阱预警即可在大幅降低API调用成本的同时，保持接近全程介入的性能。 ### 3. 方法：PAWM 基于上述发现，论文提出**Pitfall Anticipation World Model (PAWM)**。其核心机制为门控式选择性干预：
gt sim ωθ(·|h_t, a_t) ∈
a_t = a_t, & if g_t =
若试探动作 a_t 无风险，PAWM输出
Authors: Jiongxiao Wang,Han Ding,Youzhi Luo,Yawei Wang,Yun Zhou,Linbo Liu,Panpan Xu
Categories:
PDF URL: https://arxiv.org/pdf/2610.29139.pdf
Arxiv URL: https://arxiv.org/abs/2610.29139
Arxiv ID: 2610.29139
CoolPaper URL: https://papers.cool/arxiv/2610.29139
Published: 2026-10-27T02:25:06.259Z
Updated: 2026-10-27T02:25:06.259Z
8. Principia: Test-Time Hypotheses to Principle Construction for Scientific Discovery
Abstract:Scientific discovery requires identifying the scientific principles underlying observed phenomena to guide further investigation. As these empirical principles are often unknown in complex discovery processes, they are constructed via a hypotheses-to-principle pipeline to obtain recurring causalities from progressively accumulated observations during test-time discovery. However, constructing this knowledge requires substantial domain expertise, time, and effort, making this translation stage a bottleneck for scientific discovery. To address this limitation, we propose Principia, an LLM-based framework that constructs and continually refines scientific principles at test time. Drawing on how human researchers develop principles, Principia forms comparative causal hypotheses from related inputs and their observed outcomes, then synthesizes recurring relationships across these hypotheses into inductive principles. By applying the constructed hypotheses and inductive principles to the task, it obtains new observations, revises the hypotheses used based on these new observations, and reconstructs principles from the updated hypotheses, allowing scientific knowledge to continuously evolve throughout test-time discovery. Across benchmarks spanning molecular optimization, protein engineering, gene perturbation, and molecular property prediction, Principia outperforms baselines relying on internal knowledge, external sources, or experience summaries, while generating principles that are plausible and consistent with the scientific literature, demonstrating its effectiveness in constructing and refining task-specific hypotheses and principles at test time for scientific discovery. Our code is available at this https URL.
中文摘要
摘要：科学发现需要识别观察到的现象背后的科学原理，以指导进一步的研究。由于在复杂的发现过程中这些经验性原理通常未知，它们是通过从假设到原理的流程构建的，以从测试时发现过程中逐步积累的观察中获得重复出现的因果关系。然而，构建这些知识需要大量的领域专业知识、时间和精力，这使得这一转化阶段成为科学发现的瓶颈。为了解决这一限制，我们提出了Principia，一个基于大型语言模型（LLM）的框架，可以在测试时构建并持续优化科学原理。借鉴人类研究者发展原理的方式，Principia 从相关输入及其观察结果中形成比较因果假设，然后将这些假设中的重复关系综合成归纳原理。通过将构建的假设和归纳原理应用于任务，它能够获得新的观察结果，并根据这些新观察结果修正所使用的假设，并从更新后的假设中重建原理，从而使科学知识在测试时发现过程中不断演进。在涵盖分子优化、蛋白质工程、基因扰动和分子属性预测的基准测试中，Principia 的表现优于依赖内部知识、外部资源或经验总结的基线方法，同时生成的原理在科学文献中是合理且一致的，从而证明了其在测试时构建和优化特定任务假设及原理以实现科学发现的有效性。我们的代码可在此 https URL 获取。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.32195 (HTTP 429)
Authors: Dongki Kim,Sangwoo Park,Jinheon Baek,Soyeong Jeong,Sung Ju Hwang
Categories:
PDF URL: https://arxiv.org/pdf/2610.32195.pdf
Arxiv URL: https://arxiv.org/abs/2610.32195
Arxiv ID: 2610.32195
CoolPaper URL: https://papers.cool/arxiv/2610.32195
Published: 2026-10-27T02:25:07.289Z
Updated: 2026-10-27T02:25:07.289Z