数据来源：HuggingFace Papers

Latest Papers

1. Rollback: Experience Backtracking in World Models for Policy Improvement

Abstract:Action-conditioned world models offer a scalable alternative to costly real-world interaction for improving robot policies. However, existing world-model-based methods largely treat world models as forward-only surrogates of the physical environment, leaving untapped a capability no physical environment affords: rewinding to past decision points to explore counterfactual futures. We introduce Rollback, a policy improvement paradigm that turns world models from passive simulators into counterfactual engines: it rolls back to critical decision points, branches into alternative actions, and contrasts their outcomes to attribute success to individual decisions. This concentrates imagination where it matters most and distills counterfactual outcomes into fine-grained, action-level supervision without a separately learned value model. We build a scalable training system that unifies distributed world-model search with asynchronous real-robot execution, forming a self-reinforcing cycle: real-world experience continually sharpens the world model, and a sharper world model in turn drives further policy improvement. We term the world-model side of this cycle test-time physics grounding, a capability that hand-built physics simulators lack: while the world model serves as the training environment, real transitions from the policy it trains correct its dynamics through a lightweight LoRA pipeline. Experiments on three challenging real-world tasks show that Rollback improves success rates over the strongest baseline by an absolute 10.67%, 11.11%, and 11.85% on block extraction, ball tossing, and tabletop curling, respectively, while achieving more stable improvement throughout training. Although initialized from teleoperated demonstrations far below human level, Rollback surpasses the average success rate of human players on both ball tossing and tabletop curling within 8 hours of training.

中文摘要

摘要：基于动作条件的世界模型为提升机器人策略提供了一种可扩展的替代方案，从而减少昂贵的真实世界交互。然而，现有的基于世界模型的方法大多将世界模型仅视为物理环境的前向替代，未能利用一种物理环境无法提供的能力：回溯到过去的决策点以探索反事实未来。我们提出了Rollback，一种策略改进范式，它将世界模型从被动模拟器转变为反事实引擎：它回溯到关键决策点，分支出替代动作，并对其结果进行对比，以将成功归因于单个决策。这样可以将想象力集中在最重要的地方，并将反事实结果提炼为精细、动作级别的监督，而无需单独学习的价值模型。我们建立了一个可扩展的训练系统，将分布式世界模型搜索与异步真实机器人执行统一起来，形成一个自我强化循环：真实世界经验不断优化世界模型，而更精确的世界模型反过来推动进一步的策略改进。我们将这一循环中世界模型一侧称为测试时物理基础，这是一种手工构建的物理模拟器所不具备的能力：当世界模型作为训练环境时，由其训练的策略生成的真实转移通过轻量级LoRA管道校正其动力学。在三个具有挑战性的真实任务上的实验表明，Rollback在积木抓取、投球和桌面冰壶三个任务上的成功率相比最强基线分别提高了绝对值10.67%、11.11%和11.85%，同时在整个训练过程中实现了更稳定的改进。尽管从远低于人类水平的遥操作演示初始化，Rollback仍在8小时训练内在投球和桌面冰壶任务上超过了人类玩家的平均成功率。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36068 (HTTP 429)

Authors: Jiayi Luo,Yang Zhang,Liliang Chen,Nan Wang,Chen Gao,Boxiang Qiu,Zhuoxuan Li,Baorui Peng,Chuankang Li,Yuxiang Yan,Si Liu,Qingyun Sun,Shuicheng Yan,Maoqing Yao,Jianxin Li,Guanghui Ren

Categories:

PDF URL: https://arxiv.org/pdf/2610.36068.pdf

Arxiv URL: https://arxiv.org/abs/2610.36068

Arxiv ID: 2610.36068

CoolPaper URL: https://papers.cool/arxiv/2610.36068

Published: 2026-10-28T02:34:33.201Z

Updated: 2026-10-28T02:34:33.201Z

2. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence

Abstract:Training a spatial VLM to answer which side an object lies on does not require it to preserve the metric displacement that determines that answer, while supervision for a distance estimate may leave categorical relations largely unconstrained. When post-training emphasizes one readout, improvements can therefore concentrate on that interface while transfer to others remains weak or even degrades; we call this observed specialization interface lock-in. ChronoReplay addresses it by replaying heterogeneous spatial supervision as chronologically ordered episodes, retaining source-native targets, and balancing supervision across families. Under the same observation access, a single ChronoReplay checkpoint improves OVO-S-Bench, OST-Bench, and UCS-Bench together, including a 13.41-point gain on OST-Bench, and achieves the highest three-benchmark mean among the supervision settings compared here. Same-data controls further separate the ingredients of this transfer: answer serialization redistributes gains across OST and UCS, family-balanced learning improves over ordinary joint SFT and natural turn weighting, and chronological replay exceeds a shifted-order control by about 2.41 OST points across two paired seeds. Adaptive frame selection then changes evidence access while keeping the trained model fixed, providing an additional inference-time gain at lower visual cost. Streaming spatial performance depends on what distinctions supervision preserves, how heterogeneous histories are organized during learning, and what causal evidence inference makes available at test time.

中文摘要

摘要：训练一个空间视觉语言模型（VLM）来回答物体位于哪一侧，并不要求它保留决定该答案的度量位移，而用于距离估计的监督可能在很大程度上不限制类别关系。因此，当训练后强调某一输出时，改进可能集中在该接口上，而向其他接口的迁移仍然较弱甚至下降；我们称这种观察到的专门化为接口锁定。ChronoReplay 通过将异构空间监督作为按时间顺序排列的情节重放来解决这一问题，保留源本地目标，并在各家族间平衡监督。在相同观察访问条件下，单个 ChronoReplay 检查点可同时提升 OVO-S-Bench、OST-Bench 和 UCS-Bench，包括 OST-Bench 上 13.41 点的提升，并在此处比较的监督设置中实现三基准平均最高。使用相同数据的对照进一步区分了这种迁移的组成部分：答案序列化使 OST 和 UCS 的提升重新分配，家族平衡学习优于普通联合 SFT 和自然回合加权，按时间顺序的重放比顺序错位的对照在两个配对种子上平均提升约 2.41 个 OST 点。自适应帧选择在保持训练模型不变的情况下改变证据访问，在较低视觉成本下提供额外的推理时增益。流式空间性能依赖于监督保留了哪些区分、学习过程中异构历史如何组织，以及在测试时推理能够获取哪些因果证据。

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文试图解决\*\*流媒体空间智能（Streaming Spatial Intelligence）\*\*中，异构空间监督信号联合训练时的\*\*接口锁定（Interface Lock-in）\*\*问题，以及由此引发的多维度空间推理能力碎片化现象。具体而言，论文针对以下三个核心挑战： ### 1. 接口锁定：单一家族监督的迁移瓶颈 现有方法通常针对单一答案接口进行后训练（例如仅优化分类判断或仅优化度量估计），导致模型在特定接口上性能提升的同时，向其他答案格式（如从分类到度量，或从度量到时间戳）的迁移能力极弱，甚至出现性能退化。论文将这一现象称为\*\*接口锁定（Interface Lock-in）\*\*。例如，仅使用分类监督训练的模型在 OVO-S-Bench 上表现优异，却会损害 OST-Bench 上的连续状态估计能力；而仅使用轨迹监督训练对 OST-Bench 的整体提升也十分有限。 ### 2. 异构目标与原生答案空间的冲突 空间查询的答案格式本质上是异构的：同一个视频流可能需要回答 - \*\*分类式\*\*问题（如物体在左侧还是右侧）， - \*\*度量式\*\*问题（如距离多少米）， - \*\*时间戳式\*\*问题（如何时经过某物体）。 将这些目标强制转换为单一规范格式会丢失各任务原生的语义细节（如单位、精度、选项结构）。论文指出，简单地拼接不同来源的数据而不保留其\*\*原生目标格式（Native-Format Targets）\*\*，无法在共享参数中同时保留粗粒度区域划分和细粒度度量分辨能力。 ### 3. 因果历史前缀的时序依赖性 度量值或时间戳答案的有效性严格依赖于产生它的\*\*因果观测历史（Causal Prefix）\*\*。例如，观察者先朝北再前进，与先朝东再前进，虽然近期观测和局部位移相同，但针对先前所见物体的后续查询答案却完全不同。若训练时将目标从其合法的时序前缀中剥离（如将多轮对话打乱为独立的问答对），会导致监督信号本身产生歧义。因此，必须保证每个监督目标都与其\*\*时序对齐的因果前缀（Chronologically Aligned Prefix）\*\*绑定。 ### 4. 在固定观测访问下的统一表示学习 论文进一步追问：在不引入新的视觉记忆模块、不增加新的场景标注、不改变模型架构的前提下，仅通过重新组织监督数据与训练目标，能否让单一模型检查点同时支持分类、连续度量和时间因果推理？这要求学习一个\*\*可复用的统一空间状态表示（Reusable Spatial State）\*\*，使其能服务于多种答案接口的原生读出。 为应对上述问题，论文提出了 \*\*ChronoReplay\*\*，其核心思想是通过\*\*时序回放（Causal Replay Construction）\*\*保留异构监督的原生格式与因果前缀，并通过\*\*家族平衡学习（Family-Balanced Learning）\*\*在共享参数中显式平衡不同监督家族的损失贡献，从而在固定观测访问条件下，实现跨接口的协同提升。 Q2: 有哪些相关研究？ 相关研究可从以下两条主线展开： ### 1. 流媒体空间智能（Streaming Spatial Intelligence） \*\*长视频与流式理解架构\*\* 该方向关注如何在因果观测约束下处理持续输入，代表性方法包括： - \*\*视觉记忆机制\*\*：压缩视觉记忆（visual memories）、层次化摘要、循环记忆桥（recurrent memory bridges）、有限键值缓存（bounded key–value caches）、主动响应机制等，如 MA-LMM、Video-XL、MovieChat、LongVU、StreamMem、VideoLLaMB、Flash-VStream、TimeChat、Streaming long video understanding with large language models 等； - \*\*流式基准\*\*：StreamingBench 与 OVO-Bench 形式化了在因果访问下的时间戳评估；SimpleStream 刻画了近期感知与历史保留之间的权衡。 \*\*具身与空间记忆\*\* 针对视觉智能体的记忆设计，包括： - \*\*L2-VMAS\*\*：将感知与思考分离为潜变量记忆； - \*\*AtlasVA\*\*：结合空间热图、视觉样本与符号技能以保留视觉 grounded 经验。 \*\*空间基准测试\*\* 从 3D 问答（ScanQA）、具身空间测试（EmbSpatial-Bench）、长格式第一人称视频（EgoSchema）到多视角、4D 与心理模型探测（STI-Bench、Spatial4D-Bench）；其中 \*\*OVO-S-Bench、OST-Bench、UCS-Bench\*\* 将评估扩展到了因果视频流上的分类、连续值与时间戳依赖查询。 ### 2. 可复用的空间表示学习（Learning Reusable Spatial Representations） \*\*空间多模态大语言模型（MLLM）\*\* 研究通过以下方式获取几何能力： - \*\*几何感知视觉特征、多视图或 3D 重建输入\*\*（如 SpatialBot、SpatialRGPT、VLM-3R、GPT4Scene、Video-3D LLM）； - \*\*空间指令数据或强化学习\*\*（如 SpaceR、Spatial-MLLM、Cambrian-S）。 \*\*持久空间状态表示\*\* 包括 3D 场景 token、自适应快速权重（fast weights）、体素化 allocentric 地图、文本场景描述、演化场景图（evolving scene graphs）以及动作条件化信念历史（action-conditioned belief histories），如 3D-LLM、Spatial-TTT、SpaMEM 等。 \*\*多任务学习与灾难性遗忘\*\* 该方向探讨共享表示在竞争目标下保留哪些区别、如何平衡损失，以及微调如何擦除已有知识： - \*\*多任务优化\*\*：GradNorm、多目标视角下的多任务学习、任务分组选择等； - \*\*持续微调与遗忘\*\*：大语言模型和多模态大语言模型在持续微调中的灾难性遗忘问题。 \*\*序列状态跟踪\*\* PAR（Progress-Aligned Recurrence）通过对齐循环预测与中间状态来改善长度泛化，与本文关注训练 episode 的时序组织形成互补。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*ChronoReplay\*\* 框架解决上述问题。该框架包含两个核心阶段，分别对应数据构造与目标优化，共同作用于学习一个可复用的统一空间状态表示。 --- ### 一、整体思路 ChronoReplay 的核心假设是：\*\*单一答案接口不足以支撑完整的流式空间智能\*\*。为避免接口锁定，必须在共享模型参数中同时保留： - \*\*分类判别能力\*\*（粗粒度区域划分） - \*\*度量与演化状态估计\*\*（细粒度连续值分辨） - \*\*时间戳-因果推理\*\*（事件顺序与历史检索） 为此，ChronoReplay 将异构的空间监督数据重新组织为\*\*按时间顺序排列的 episode\*\*，保留每种监督的原生目标格式，并通过显式的家族平衡策略控制不同监督信号对共享参数的相对影响。 --- ### 二、阶段 I：因果回放构造（Causal Replay Construction） 该阶段解决"目标历史前缀被剥离导致的歧义"以及"原生答案语义丢失"的问题。 #### 1. 保留原生格式目标（Native-Format Targets） 不同于将异构答案统一编码为单一规范形式（如全部文本化或全部 JSON 化），ChronoReplay 让每个监督目标留在其来源任务的原生值空间中： - \*\*分类目标\*\*：保留候选选项结构（如 \`LEFT\` / \`RIGHT\`）； - \*\*度量目标\*\*：保留数值、符号、单位与标注精度（如 \`2.7m\`）； - \*\*时间目标\*\*：保留时间戳、事件索引与相对转换量（如 \`Turn 2\`）； - \*\*参考帧信息\*\*：与查询耦合，不单独抽离。 \*\*理论动机\*\*：对于固定表示 Z = F_θ(C) 和充分灵活的读出函数 G_kappa ，接口 kappa 的最优风险满足

∈f(G_kappa) R_kappa(Fθ, G_kappa) = H(Y^kappa mid Z, Q) = H(Y^kappa mid C, Q) + I(Y^kappa; C mid Z, Q).
低熵 H(Y^kappa mid Z, Q) 要求 Z 必须保留恢复该原生目标所需的全部信息。将不同接口的监督都施加于同一 Z ，迫使表示保留跨接口的互补空间区分。 #### 2. 时序对齐的状态轨迹（Chronologically Aligned State Trajectories） 该组件解决”度量/时间目标脱离其有效因果前缀则产生歧义”的问题（挑战 ❷）。 **Episode 形式化**：每个 episode 被表示为

Ei = (c(ij), q(ij), y(ij), kappa(ij))(j=1)^(mi), quad c(ij) preceq c(i,j+1),
其中 c(ij) 是第 j 轮的**合法因果前缀**（包含该时刻之前所有观测与交互历史）， y(ij) 是在此前缀下有效的目标， preceq 表示因果前缀包含关系。 **关键设计**： - **单轮保留示例**（ m_i=1 ）：用于静态空间关系与分类判断； - **多轮轨迹示例**（ m_i>1 ）：用于度量、计数、判断与时间定位，形成**嵌套前缀序列**。 通过按原始视频时间轴顺序回放，模型在 successive prefixes 上诱导出隐式状态轨迹：
z(ij) = Fθ(c(ij)), quad Zi = (z(i1), dots, z_(im_i)).
这使模型不仅学习孤立快照，而是学习**状态如何随观测累积而演化**——包括位移如何从原点累积、事件顺序如何在时间轴上展开。任何打乱因果前缀顺序的构造（如将多轮标注扁平化为独立问答对）都会破坏目标与历史之间的绑定。 —- ### 三、阶段 II：家族平衡学习（Family-Balanced Learning） 该阶段解决”单一监督家族在数据量上主导共享参数，导致联合训练内部重现接口锁定”的问题。 #### 1. 家族风险归一化 ChronoReplay 将训练数据划分为两个家族： - **保留家族** D_P ：33,180 条单轮示例（30,635 分类 + 2,545 数值）； - **轨迹家族** D_T ：6,381 个有序 episode，共 45,006 个受监督的度量/计数/判断/时间轮次。 定义家族级风险：

LP = ∑(r ∈ D)P w_r ell(Pr)∑(r ∈ D)_P w_r, quad L_T = (1) / (|T|) ∑((i,j) ∈ T) ell(Tij),
其中 ell(Pr) 和 ell_(Tij) 分别是原生格式的 token 级负对数似然（已做答案长度归一化）， w_r 为来源权重。 #### 2. 显式平衡目标函数 为避免行数差异导致某一家族主导梯度，ChronoReplay 不显式学习权重，而是直接设定显式比例：

L(replay) = (1-λ) L_P + λ L_T, quad λ = (α) / (1+α).
其中 α 是轨迹损失质量相对于保留损失的比值。主实验取 α = 0.5 ，即轨迹家族获得总损失的 1/3 ，保留家族获得 2/3 （再均分给分类与数值目标）。 **设计内涵**： - **答案长度归一化**：防止长文本回答仅因 token 数量多而主导损失； - **轮次等权重**：轨迹家族内每轮监督损失平等贡献，使长 episode 按监督轮次比例贡献； - **家族质量解耦**：将”响应长度”、”监督频率”与”家族间平衡”在目标函数中显式分离。 —- ### 四、推理时补充：自适应帧选择（Adaptive Frame Selection） 在训练完成后，ChronoReplay 进一步通过**固定模型参数下的推理时策略**降低视觉成本并提升性能。该策略根据查询的**时间范围**动态选择观测： - **局部采样**（Local）：针对当前状态查询，密集采样最近 8 帧； - **多尺度采样**（Multiscale）：针对运动与事件顺序查询，按 60%/30%/10% 分配 128 帧预算至最近 30 秒、30–300 秒及更早历史； - **全局采样**（Global）：针对布局与历史引用查询，均匀覆盖完整因果前缀。 这一推理时干预与训练阶段正交，可在不重新训练的情况下进一步获得性能增益（如在 OVO-S-Bench 上额外提升约 4.09 个百分点）。 —- ### 五、各组件的协同效应 | 组件 | 解决的核心问题 | 关键操作 | |———|————————|—————| | 原生格式保留 | 异构答案空间的语义丢失 | 分类/度量/时间目标不强制统一序列化 | | 时序对齐回放 | 目标脱离因果前缀导致的歧义 | 按原始时间轴顺序嵌套前缀，保留 episode 起源 | | 家族平衡目标 | 数据量差异导致的内部接口锁定 | 归一化家族风险，显式设置 α 控制相对质量 | | 自适应帧选择 | 推理时观测冗余或不足 | 根据查询时间范围动态分配帧预算 | 通过上述设计，ChronoReplay 在相同观测访问条件下，于三个异构基准上同时取得提升：OVO-S-Bench（分类） +4.91 、OST-Bench（连续状态） +13.41 、UCS-Bench（时间因果） +7.44 ，且在三基准均值上优于任何单一监督设定。 Q4: 论文做了哪些实验？ 论文围绕四个研究问题（RQ1–RQ4）及补充诊断展开系统性实验，所有对照实验均从同一 **Qwen3-VL-8B-Instruct** 检查点独立初始化，并在固定观测协议或匹配训练设置下进行。以下是实验的主要内容： —- ### 1. 实验设置与基准 - **基准测试**： - **OVO-S-Bench**：12 个分类推理任务族，测试自我中心感知、物体恒存与异中心映射（Uniform-128 固定帧访问）。 - **OST-Bench**：15 个细分类型的多轮探索任务，涵盖智能体状态、可见信息、时序定位、计数与智能体-物体关系（场景不相交评估）。 - **UCS-Bench**：8,114 个时间戳-因果问题，覆盖轨迹、位姿、邻近性、物体身份与数量。 - **训练数据**：33,180 条单轮保留示例（Preservation family）与 6,381 个有序轨迹 episode（Trajectory family，共 45,006 个受监督状态）。 - **主要比较**：Official base model → ChronoReplay（完整方法），并配合多种匹配干预（matched interventions）。 —- ### 2. 跨接口迁移验证（RQ1） 在**完全相同的观测访问**下，评估 ChronoReplay 是否能在三种异构答案接口上同时提升： | 基准 | 主要指标 | 提升幅度 | |———|—————|—————| | **OVO-S-Bench** | Overall（12 任务族未加权平均） | 48.98 arrow 53.89 （**+4.91**） | | **OST-Bench** | Overall（15 子类型） | 50.52 arrow 63.93 （**+13.41**） | | **UCS-Bench** | Overall（8,114 题） | 45.33 arrow 52.77 （**+7.44**） | - 在 OST 上，方向估计（+26.86）、顺序判断（+20.57）和距离-时序定位（+18.36）等依赖多轮状态累积的子类型增益最大。 - 在 UCS 上，数量（+10.73）、物体轨迹（+8.46）和观察者轨迹（+7.38）提升最显著。 - OVO-S 的 4 个层级全部提升，L4（最难）仍提高 5.01 点。 —- ### 3. 单一家族与联合训练诊断（RQ2） 通过**单一家族监督**验证接口锁定（Interface Lock-in）现象： - **CATEGORICAL-ONLY**：OVO-S 提升至 58.03，但 OST 从 50.52 **下降至 47.48**，UCS 仅 46.72。 - **TRAJECTORY-ONLY**：OST 几乎持平（51.03），OVO-S 为 52.03，UCS 为 49.22。 - **ChronoReplay（联合）**：在三个基准上同时取得 53.89 / 63.93 / 52.77，**三基准均值 56.86**，显著高于两个单一家族变体（约 50.74–50.76）。 该实验直接证实了：单一接口训练会在其他接口上产生弱迁移甚至退化，而完整 ChronoReplay 实现了最高的跨接口平均性能。 —- ### 4. 关键组件归因（RQ3） 在**相同回放池、相同初始化、相同训练预算**下，进行多项匹配干预： #### (a) 联合训练目标对比 对比三种目标函数： - **Ordinary token SFT**：标准 token 级监督微调。 - **Natural turn weighting**：保留答案长度归一化与家族内加权，但家族质量由轮次自然决定。 - **ChronoReplay（Family-balanced）**：显式通过 α=0.5 设定轨迹与保留家族的相对质量。 结果（三基准均值）：Ordinary SFT 54.10，Natural weighting 55.57，ChronoReplay **56.86**。在三组配对种子中，完整目标均稳定优于自然轮次加权。 #### (b) 答案格式控制（Native vs. Canonical） - **NATIVE**：保留来源原始回答格式。 - **CANONICAL**：将每个目标无损序列化为 `{“value”: “original answer”}` JSON 包装。 交叉结果：Canonical 在 OST 上高 1.48 点，Native 在 UCS 上高 2.92 点。说明答案格式**重新分配**了跨接口增益，而非在所有端点上一致提升；论文因此保留 Native 以维护来源语义。 #### (c) 时序顺序控制（Chronological vs. Shifted） - **SHIFTED**：循环偏移 episode 内的轮次块，保留每块的局部内容与监督权重，但破坏因果前缀与目标的时序绑定。 在两个配对种子中，时序回放相比偏移控制分别领先 **2.42 和 2.41 OST 点**（平均 2.41 点），支持保留源时序与合法因果前缀的贡献。 #### (d) 轨迹监督权重敏感性（ α 扫参） 在独立匹配运行集中测试 α ∈ 0.25, 0.50, 1.00 （轨迹损失相对质量）。 α=0.50 在 OVO-S（Adaptive）与 OST 上均取得最高均值 61.20，支持中间配比最优。 #### (e) 训练拓扑鲁棒性 将训练从 8 GPU（梯度累积 2）复制到 4 GPU（梯度累积 4），三基准均值从 56.86 变为 57.20，差异仅 0.34 点，证明结果对分布式拓扑不敏感。 —- ### 5. 观测访问的正交分解（RQ4） 将系统级分数分解为**训练效应**与**推理访问效应**（固定模型，改变观测策略）： | 分解项 | OVO-S Overall | 帧数 | |————|———————-|———| | Official base + Uniform-128 | 48.98 | 128 | | ChronoReplay + Uniform-128 | 53.89 | 128 | | ChronoReplay + Adaptive access | **57.98** | 80.50（平均） | - **训练效应**（Uniform-128）：**+4.91** - **访问效应**（Adaptive − Uniform-128）：**+4.09** 此外，Uniform-81（约等视觉成本下的均匀采样）仅得 52.40，而 Adaptive access 在 80.50 帧平均下达到 57.98，说明**将时间覆盖与查询范围匹配**本身即可在更低视觉成本下获得显著增益。 —- ### 6. 补充与负向诊断实验 - **关系监督诊断（Appendix H）**：测试添加辅助二元兼容性判断（relation supervision）是否能学习更可复用的表示。结果显示，虽然辅助任务本身的 withheld readout 可提升，但**原生三基准端点均值反而下降或持平**，说明辅助可分离性不足以保证原生跨接口迁移。 - **定性空间分析（Appendix F）**：通过可视化案例展示时序回放与偏移控制在历史状态检索、参考帧变换、累积位移上的具体失败模式，并记录了一个固定观测下的全局布局回归案例（L4.3）。 —- ### 7. 实验结论 所有实验共同支持以下论断：流式空间性能取决于**监督保留哪些空间区分**、**异构历史在学习期间如何组织**，以及**测试时推理可获取哪些因果证据**。ChronoReplay 通过原生格式保留、时序对齐回放与家族平衡目标，在不引入新记忆模块或新标注的情况下，实现了跨分类、连续与时间戳接口的协同提升。 Q5: 有什么可以进一步探索的点？ 基于论文的贡献与局限，以下几方面值得进一步探索： ### 1. 与显式空间记忆机制的融合 论文在固定模型架构下验证了数据组织与目标平衡的作用，未引入新的记忆模块。未来可将 **ChronoReplay** 的时序回放与显式空间表示（如 3D 场景图、体素化 allocentric 地图、神经辐射场或视觉 SLAM 后端）结合，检验显式几何记忆是否能进一步缓解接口锁定，并提升 L4 级全局布局推理等当前仍较薄弱的能力。 ### 2. 动态与自适应的家族平衡策略 当前采用固定的相对质量系数 α=0.5 进行家族平衡。可探索基于训练动态的自动平衡机制，例如： - 依据梯度冲突或任务不确定性实时调整 α （如 GradNorm、PCGrad、UW 等方法）； - 根据模型在验证集上各接口的实时表现，自适应地重新加权保留家族与轨迹家族，实现课程式多任务学习。 ### 3. 更广泛的监督家族与异构接口扩展 论文仅涉及分类、度量与时间戳三类接口。未来可纳入更多空间监督家族，例如： - **动作规划与导航指令**（如 “走向沙发”）； - **结构化空间描述**（如 JSON 格式的场景图或 3D 边界框序列）； - **多模态监督**（深度图、IMU 轨迹、音频线索）。 这要求重新设计原生格式保留与因果前缀对齐机制，以处理更高维度的异构传感器流。 ### 4. 接口锁定的深层机制与表示理论 论文通过实验记录了接口锁定现象，但其背后的理论机制仍待阐明。后续研究可从以下角度深入： - 分析单一家族训练在损失景观中如何引入参数干扰或任务间排斥； - 量化不同空间区分（粗粒度区域划分 vs. 细粒度度量分辨）在共享表示空间中的几何相容性； - 建立跨接口可复用性的信息论下界（如扩展 Proposition 1 至多接口联合优化场景）。 ### 5. 自监督与自动化轨迹监督生成 当前轨迹家族依赖人工或半自动标注的多轮 episode。未来可探索利用： - **视觉里程计与 SLAM** 自动生成相机位移与位姿监督； - **时序一致性损失** 或 **对比学习** 从原始视频中自监督地构造因果前缀-目标对； 从而降低对昂贵标注的依赖，并扩展至更大规模的未标注视频数据。 ### 6. 跨环境泛化与开放世界场景 论文实验集中于室内静态场景，并明确指出 “other environments remain untested”。后续需在以下场景验证方法： - **室外大规模环境**（城市街道、自然环境），其中动态遮挡、光照变化和尺度范围与室内显著不同； - **开放世界物体集**，测试对训练时未见物体类别的空间推理保持能力； - **更长的时间尺度**（小时级甚至终身学习），超越当前 episode 级别的时序对齐。 ### 7. 推理时观察策略的联合优化 当前的自适应帧选择是基于查询文本启发式规则的固定策略。可进一步探索： - **可学习的观察策略**：使用强化学习或可微分采样训练一个与 VLM 联合优化的帧选择器； - **测试时训练（Test-Time Training）**：在推理过程中利用当前视频流的时序一致性进行在线表示更新； - **视觉成本-性能帕累托前沿**：系统研究不同帧预算下的最优时间分配方案。 ### 8. 输出序列化与结构化解码的系统性研究 Native 与 Canonical 格式的对照实验显示出**交叉效应**（crossed result）：不同序列化方式在不同基准上各有优劣。未来可系统研究： - 约束解码（constrained decoding）对数值型空间目标精度的影响； - 结构化生成（如强制 JSON schema）是否会改变模型的内部空间推理路径； - 答案格式是否可作为超参数进行任务级或接口级优化。 ### 9. 负向诊断的反向工程 附录 H 的关系监督实验表明，增加辅助可分离性任务并未提升原生接口性能。这提示： - **辅助任务设计**：需检验何种辅助监督真正促进而非干扰共享表示； - **梯度路径分析**：通过路径积分或激活修补（activation patching）定位关系监督与原生读出之间的梯度冲突点； - **防火墙机制**：验证状态路径防火墙（state-path firewall）在何种条件下有效。 ### 10. 安全关键部署的鲁棒性审计 论文明确声明未审计 surveillance、自主导航等高风险场景。未来工作应： - 在具身智能体和自动驾驶模拟器中测试 ChronoReplay 的闭环决策安全性； - 审计模型对罕见空间配置（如镜像房间、重复纹理）的鲁棒性； - 评估长时间流式观察中的隐私与伦理风险，特别是关于人物与位置的持续跟踪能力。 Q6: 总结一下论文的主要内容 这篇论文研究**流式空间智能（Streaming Spatial Intelligence）**中异构空间监督的联合学习问题，提出在单一模型检查点上同时支持分类、度量与时间戳因果推理的训练方案。以下是主要内容总结： —- ### 1. 核心问题：接口锁定（Interface Lock-in） 训练空间视觉-语言模型（VLM）回答“物体在左侧还是右侧”时，模型未必保留决定该答案的度量位移信息；反之，仅监督距离估计也可能使分类关系未被充分约束。当后训练强调单一答案接口时，改进往往集中于该接口，向其他接口的迁移微弱甚至退化。论文将这一经验性现象命名为**接口锁定**。 在流式场景下，同一视频流需回答三种异构问题： - **分类决策**：如左右判断； - **连续状态**：如距离估计（米）； - **时间戳因果推理**：如何时经过某物体。 现有工作通常只针对单一接口训练与评估，无法检验单一模型能否在同一因果历史上服务多种原生答案格式。 —- ### 2. 关键挑战 除接口锁定外，论文指出空间监督的两大特性使表示复用变得困难： - **接口相互精化**：分类目标划分粗粒度区域，度量目标则分辨区域内的连续变化；仅保留粗分区无法支持细粒度读出。 - **历史前缀依赖性**：相同局部位移在不同朝向起源下会导致不同的世界状态。若将目标从其合法因果前缀剥离，监督信号本身会产生歧义。因此，每个目标必须绑定到产生它的时序历史。 —- ### 3. 方法：ChronoReplay 为应对上述问题，论文提出 **ChronoReplay**，包含两个互补阶段： #### (a) 因果回放构造（Causal Replay Construction） - **保留原生格式目标**：分类、度量、时间戳等目标保留其来源任务的原生值空间（选项语义、单位与精度、时间索引），不强制统一为单一规范形式。 - **时序对齐的状态轨迹**：将多轮监督按原始时间轴组织为有序 episode，每个目标 y(ij) 绑定到其合法的因果前缀 c_(ij) ，形成嵌套前缀序列：

Ei = (c(ij), q(ij), y(ij), kappa(ij))(j=1)^(mi), quad c(ij) preceq c_(i,j+1).
这迫使模型学习状态如何随观测累积而演化，而非孤立的快照。 #### (b) 家族平衡学习（Family-Balanced Learning） 为防止数据量差异导致某一监督家族主导共享参数，论文将数据分为**保留家族**（单轮分类与数值示例，33,180 条）与**轨迹家族**（有序多轮 episode，6,381 个 episode，45,006 个监督状态），并显式平衡其风险：

L_(replay) = (1-λ)L_P + λL_T, quad λ = (α) / (1+α),
其中 α=0.5 控制轨迹损失相对于保留损失的相对质量（轨迹占 1/3，保留占 2/3）。损失在答案长度、监督轮次与家族间三个层面进行归一化。 —- ### 4. 实验结果 所有实验从 **Qwen3-VL-8B-Instruct** 独立初始化，并在固定观测访问或匹配训练设置下进行。 - **跨接口同时提升**：在相同观测访问下，ChronoReplay 将 - **OVO-S-Bench**（分类）从 48.98 提升至 53.89 （+4.91）； - **OST-Bench**（连续状态）从 50.52 提升至 63.93 （+13.41）； - **UCS-Bench**（时间戳因果）从 45.33 提升至 52.77 （+7.44）， 取得所比较监督设置中最高的三基准均值。 - **接口锁定验证**：仅分类训练使 OVO-S 达到 58.03 ，但将 OST 压低至 47.48 ；仅轨迹训练对 OST 提升微弱（ 51.03 ）。完整 ChronoReplay 在三基准均值为 56.86 ，显著优于单一家族变体（约 50.74 – 50.76 ）。 - **机制归因**： - **时序顺序**：相比循环偏移轮次顺序的 SHIFTED 控制，时序回放在两个配对种子上平均领先 **2.41 OST 点**，支持保留因果前缀的价值。 - **答案格式**：Native 与 Canonical 格式呈现交叉效应（Canonical 在 OST 上高 1.48，Native 在 UCS 上高 2.92），表明格式会重新分配跨接口增益。 - **目标平衡**：相比普通 token SFT 与自然轮次加权，家族平衡目标分别在三基准均值上领先 **2.76** 与 **1.29** 点。 - **推理时自适应帧选择**：在固定训练模型上，根据查询时间范围动态选择观测（局部/多尺度/全局），在 OVO-S 上额外获得 **+4.09** 点，且平均仅使用 80.50 帧。 —- ### 5. 结论 流式空间性能取决于三个因素： 1. **监督保留了哪些空间区分**（分类、度量、时间）； 2. **异构历史在学习期间如何组织**（原生格式、时序对齐、家族平衡）； 3. **测试时推理可获取哪些因果证据**（自适应观测选择）。 ChronoReplay 通过时序回放异构空间监督、保留原生目标格式并显式平衡监督家族，在不引入新记忆模块或新标注的条件下，实现了单一检查点跨分类、连续与时间戳接口的协同提升。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yihao Hu,Yitong Lin,Pan Wang,Zhihao Wen,Hang Wang,Yiwen Zhao,Deyuan Liu,Yutong Li,Mingda Wan,Yuchen Mao,Tao Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.34283.pdf

Arxiv URL: https://arxiv.org/abs/2610.34283

Arxiv ID: 2610.34283

CoolPaper URL: https://papers.cool/arxiv/2610.34283

Published: 2026-10-28T02:34:33.144Z

Updated: 2026-10-28T02:34:33.144Z

3. LociArt: A Unified Paradigm for Free-Style Local Video Stylization

Abstract:Video stylization typically transforms entire scenes, while local artistic editing requires precise region—style association, spatial control, and temporal consistency. We introduce LociArt, a unified paradigm for free-style local video stylization that explicitly specifies where to stylize and what style to apply while preserving non-target content. At its core, GRNStyle builds on Generative Refinement Networks (GRN) and introduces a polar style-aware mask that embeds style identities as equal-norm directions within selected regions. Complementary representation—geometry conditioning combines encoded mask features with raw-mask spatial support, integrating spatiotemporal context with geometric control. To provide paired supervision, we develop an automated pipeline combining global stylization, video object removal, matting, and compositing, and construct the LociArt-100K Dataset with 100K local stylization pairs. We further establish the LociArt Benchmark, comprising 80 source videos and 84 target masks covering 168 foreground/background stylization cases, with a Style Prototype Similarity (SPS) evaluation scheme for regional style quality and complementary measures of non-target preservation and temporal consistency. Experiments show that GRNStyle outperforms existing methods in regional style quality and spatial control while maintaining strong temporal consistency. Qualitative examples further illustrate joint stylization of multiple regions with the same or different learned styles, despite training only on single-region, single-style pairs. Together, these components provide a unified foundation for learning and evaluating controllable local video stylization. Project page: this https URL.

中文摘要

摘要：视频风格化通常会对整个场景进行转换，而局部艺术编辑则需要精确的区域-风格关联、空间控制和时间一致性。我们提出了 LociArt，一种自由风格局部视频风格化的统一范式，它明确指定了要风格化的位置和应用的风格，同时保留非目标内容。在其核心，GRNStyle 构建于生成精炼网络（GRN）之上，并引入了极性风格感知掩码，将风格标识嵌入为所选区域内的等范方向。互补的表示-几何条件将编码的掩码特征与原始掩码空间支持相结合，将时空上下文与几何控制整合。为了提供配对监督，我们开发了一个自动化流程，结合全局风格化、视频对象移除、抠图和合成，并构建了包含 10 万个局部风格化对的 LociArt-100K 数据集。我们进一步建立了 LociArt 基准，包含 80 个源视频和 84 个目标掩码，涵盖 168 个前景/背景风格化案例，并提供了一种区域风格质量的风格原型相似度（SPS）评价方案，以及非目标保留和时间一致性的互补测量。实验表明，GRNStyle 在区域风格质量和空间控制方面优于现有方法，同时保持出色的时间一致性。定性示例进一步展示了多个区域的联合风格化，无论是相同还是不同的学习风格，尽管训练仅基于单区域、单风格的样本。综上，这些组件为可控局部视频风格化的学习与评估提供了统一基础。项目页面：此 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36456

Authors: Yuxuan Chen,Feng Xie,Jiagao Hu,Fuhao Li,Zepeng Wang,Fei Wang,Daiguo Zhou

Categories:

PDF URL: https://arxiv.org/pdf/2610.36456.pdf

Arxiv URL: https://arxiv.org/abs/2610.36456

Arxiv ID: 2610.36456

CoolPaper URL: https://papers.cool/arxiv/2610.36456

Published: 2026-10-28T02:34:33.189Z

Updated: 2026-10-28T02:34:33.189Z

4. Hy-Nomas: Towards Free-form Interactive World Generation

Abstract:Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

中文摘要

摘要：交互式世界生成要求模型在遵循连续指令的同时，保留相关的历史记录和动作后果。我们提出了 Hy-Nomas，一种具备 8B 扩散骨干的视频世界模型，支持自由形式的文本指令和跨多个交互轮次的连续相机控制。它在当前输入和缓存历史的条件下生成可变长度的视频片段。我们的核心设计将结构化的视频字幕与动作感知的因果注意力对齐：描述性上下文可跨片段访问，而动作指令仅限于其预定的时间窗口。视觉-语言提示增强器（Prompt Enhancer，PE）将用户请求和多模态交互历史转换为下一个片段的结构化条件。多阶段课程逐步引入因果生成、文本交互、相机控制以及在模型生成的历史数据上训练，随后进行扩散蒸馏。在人工评测中，Hy-Nomas 显示出优于现有世界模型的性能。我们发布了模型权重、代码和基准测试，以及一个轻量级适配工作流程，以支持可重复的交互式世界生成研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36729

Authors: Qiaoling Chen,Jiaxiang Cheng,Xueqing Deng,Tiankai Hang,Ji Hou,Jiaqi Li,Yifan Liu,Tao Lu,Junshu Tang,Yu Tang,Yao Teng,Yu Tian,Heng Wang,Weizhi Wang,Xiyao Wang,Xilun Wu,Mingyu Yang,Yangbin Yu,Rui Zhao,Longjun Cao,Linghao Chen,Haoyi Duan,Jiaming Han,Mingji Han,Enhua Jiang,Shunkai Li,Yanzhe Liang,Qinwei Ma,Cong Wang,Lei Wang,Bing Wu,Ke Xing,Ray Ying,Zhentao Yu,Key Zhang,Yuan Zhou,Zhengguang Zhou,Kai Zou

Categories:

PDF URL: https://arxiv.org/pdf/2610.36729.pdf

Arxiv URL: https://arxiv.org/abs/2610.36729

Arxiv ID: 2610.36729

CoolPaper URL: https://papers.cool/arxiv/2610.36729

Published: 2026-10-28T02:34:33.182Z

Updated: 2026-10-28T02:34:33.182Z

5. RSI Arena: Towards Recursive Self-Improvement with Human Feedback

Abstract:Can AI agents autonomously train useful language models and improve them using feedback from users? We introduce RSI Arena, a two-stage study of autonomous post-training as a step toward recursive self-improvement. Ten frontier models act as training agents, each starting from NVIDIA Nemotron 3.5 Lightning 30B-A3B Base. During a six-day first stage, each agent has 1,000 GPU-hours and $300 in API credit on a shared 64-GPU cluster, independently selecting data, implementing training procedures, and choosing checkpoints. We evaluate their models on 20 benchmarks and through blind human evaluations. All ten agents produce working assistants, with the strongest model, trained by GPT-6 Astra, closing a median of 76% of the base-to-Instruct gap across 12 capability benchmarks. Its human-preference rating is also close to NVIDIA Instruct after statistical adjustment for answer length and formatting. In Stage 2, each agent receives the comparison records and votes involving its Stage 1 model and is given three additional days for further training. Using NVIDIA Instruct as a common reference across the two evaluation rounds, we observe an improvement from Stage 1 to Stage 2 in the style-adjusted relative rating of eight of the ten models. We show that benchmark gains were modest, with no clear link to preference gains, while some agents encouraged longer responses and one model showed increased harmful compliance on StrongREJECT. RSI Arena provides an auditable setting for studying how human feedback can guide autonomous model development. It takes a step toward recursive self-improvement with human feedback (RSIHF), in which people help define what improvement means for the AI systems they use.

中文摘要

摘要：人工智能代理能否自主训练有用的语言模型，并利用用户反馈改进它们？我们介绍了RSI竞技场，这是一项为实现递归自我改进而进行的自主后训练两阶段研究。十个前沿模型作为训练代理，每个代理都从NVIDIA Nemotron 3.5 Lightning 30B-A3B Base开始。在为期六天的第一阶段中，每个代理在共享的64-GPU集群上拥有1,000 GPU小时和300美元的API额度，独立选择数据、实施训练程序并选择检查点。我们通过20个基准测试和盲人的人工评估来评估它们的模型。所有十个代理均生成了可工作的助手，其中最强的模型由GPT-6 Astra训练，在12个能力基准中中位数缩小了基础模型与Instruct模型之间76%的差距。经过统计调整后，其人工偏好评分在答案长度和格式上也接近NVIDIA Instruct。在第二阶段，每个代理接收涉及其第一阶段模型的比较记录和投票，并获得额外三天的进一步训练时间。使用NVIDIA Instruct作为两个评估轮次的共同参考，我们观察到十个模型中有八个在风格调整后的相对评分上从第一阶段到第二阶段有所提高。我们显示，基准测试的提升是有限的，并且与偏好提升没有明确关联，同时一些代理鼓励更长的回答，有一个模型在StrongREJECT上的有害顺从性有所增加。RSI竞技场提供了一个可审计的环境，用于研究人类反馈如何指导自主模型开发。它向着利用人类反馈实现递归自我改进（RSIHF）迈出了一步，其中人们帮助定义对他们使用的人工智能系统来说什么是改进。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.33624 (HTTP 429)

Authors: Yue Huang,Yanbo Wang,Lichi Li,Yuanyuan Chen,Andreas Haupt,Xiaonan Luo,Zheyuan Liu,Jihye Choi,Felix Juefei-Xu,Xiangliang Zhang,Radha Poovendran,Misha Sra,Ying Liu,Ben Burtenshaw,Thomas Wolf,Alex Pentland,Zichen Chen,Zhangchen Xu

Categories:

PDF URL: https://arxiv.org/pdf/2610.33624.pdf

Arxiv URL: https://arxiv.org/abs/2610.33624

Arxiv ID: 2610.33624

CoolPaper URL: https://papers.cool/arxiv/2610.33624

Published: 2026-10-28T02:34:33.168Z

Updated: 2026-10-28T02:34:33.168Z

6. Cross-modal Steering Vectors Exist Across Both Image and Text Generation

Abstract:Are concepts and mechanisms unified across modalities in current AI models, or instead implemented separately for each one? We operationalize this broad question of modality unification by studying cross-modal steering: 1) finding vectors that successfully steer generation on tokens of one modality, which then 2) transfer zero-shot to steer generation when added to tokens of another modality. Our study goes beyond simple correlational alignment (e.g. representational similarity) because steering is fundamentally causal. We study cross-modal steering in several unified multimodal models (UMMs), since they possess shared parameters for language and image generation, focusing on these two modalities. Across diverse steered concepts such as emotion and object size, we show that steering vectors transfer zero-shot in both directions (text-to-image & image-to-text). Even for concepts that are highly unique to one modality (e.g. formal vs. colloquial language), steering vectors often induce a consistent, interpretable effect in the other modality, such as formal clothing and design. This transfer has a geometric signature too: despite a clear modality gap separating text and image representations, steering vectors with strong cross-modal transferability tend to point in similar directions for the same concept. Our findings shed light on how vision and language interact inside unified multimodal models and point towards more general, modality-agnostic approaches for controlling their behavior.

中文摘要

摘要：在当前的人工智能模型中，概念和机制是在各模态间统一的，还是针对每个模态分别实现的？我们通过研究跨模态引导来操作性地探讨模态统一这一广泛问题：1）找到能够成功引导一个模态的生成的向量，然后2）当将这些向量添加到另一个模态的标记时，实现零样本转移以引导该模态的生成。我们的研究超越了简单的相关对齐（例如表示相似性），因为引导本质上是因果的。我们在多个统一多模态模型（UMMs）中研究了跨模态引导，因为它们拥有语言和图像生成的共享参数，主要关注这两种模态。在情感和物体大小等多样化的引导概念中，我们证明了引导向量可以在两个方向上实现零样本转移（文本到图像和图像到文本）。即使是高度特有于某一模态的概念（如正式语言与口语），引导向量也通常会在另一模态中产生一致且可解释的效果，例如正式的服装和设计。这种转移也具有几何特征：尽管文本和图像表示之间存在明显的模态差距，但具有强跨模态可转移性的引导向量在相同概念上往往指向相似方向。我们的研究结果揭示了视觉与语言在统一多模态模型中的交互方式，并指向了更通用、与模态无关的控制其行为的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36269

Authors: Donghao Zeng,Nishant Subramani,Tamar Rott Shaham,Benno Krojer

Categories:

PDF URL: https://arxiv.org/pdf/2610.36269.pdf

Arxiv URL: https://arxiv.org/abs/2610.36269

Arxiv ID: 2610.36269

CoolPaper URL: https://papers.cool/arxiv/2610.36269

Published: 2026-10-28T02:34:43.915Z

Updated: 2026-10-28T02:34:43.915Z

7. HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory

Abstract:In long-term interactions with large language model (LLM) agents, users reveal habits through their choices and actions. These habits capture implicit user information that agents must infer across conversations. However, individual observations may provide only partial evidence about a habit or when it applies. Retaining past interactions alone does not ensure that agents can infer habits and apply them appropriately. We introduce HABIT-Bench to evaluate how well agent memory systems infer habits from weak evidence and apply them to later requests. We construct synthetic user histories from task-oriented dialogue data and controlled habit graphs. The histories span hundreds of sessions across food, finance, software, and travel. Four-choice tasks assess agents’ ability to infer user habits and apply them appropriately. They include temporary exceptions, changes in habits, and suggestions that users have not accepted. Sampled tasks undergo independent human review. We evaluate eight memory methods with Qwen3-235B-A22B and GLM-5.3-Flash. The best-performing memory method achieves 33.61\% macro accuracy across the four domains. Performance remains limited even when annotated evidence is supplied directly. These results expose a persistent gap between access to past interactions and the ability to infer and appropriately use user habits.

中文摘要

摘要：在与大型语言模型（LLM）代理的长期互动中，用户通过他们的选择和行为展现出习惯。这些习惯捕捉了隐含的用户信息，代理必须在多次对话中进行推断。然而，单次观察可能仅提供关于习惯或其适用时机的部分证据。仅保留过去的互动并不能确保代理能够推断习惯并适当地应用它们。我们提出了HABIT-Bench，用于评估代理记忆系统在从微弱证据中推断习惯并将其应用于后续请求的能力。我们从面向任务的对话数据和控制的习惯图中构建了合成用户历史。这些历史跨越了食品、金融、软件和旅游等数百个会话。四选一任务评估代理推断用户习惯并适当应用的能力，这些任务包括临时例外、习惯变化，以及用户未接受的建议。抽样任务经过独立人工复审。我们使用Qwen3-235B-A22B和GLM-5.3-Flash评估了八种记忆方法。表现最佳的记忆方法在四个领域的宏观准确率达到33.61%。即便直接提供带注解的证据，性能仍然有限。这些结果揭示了访问过去互动与能够推断并适当使用用户习惯之间的持续差距。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.24520 (HTTP 429)

Authors: Junming Zhang,Rubin Wei,Xu Cheng,Hao Sun,Jiarui Wang,Ruoxi Cheng,Xiquan Wang,Peisong Wu,Mingsong Chen,Zhouhan Lin

Categories:

PDF URL: https://arxiv.org/pdf/2610.24520.pdf

Arxiv URL: https://arxiv.org/abs/2610.24520

Arxiv ID: 2610.24520

CoolPaper URL: https://papers.cool/arxiv/2610.24520

Published: 2026-10-28T02:34:44.068Z

Updated: 2026-10-28T02:34:44.068Z

8. What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents

Abstract:Generative models increasingly expose a reasoning effort setting that lets users scale inference-time compute, trading higher cost for potentially improved performance. Users must choose an effort level before knowing whether extra reasoning will help, and even a successful run does not reveal whether the effort purchased was necessary. Reasoning effort is therefore a credence good: buyers observe the outcome but cannot assess the marginal value of the computation they paid for. In this work, we measure the counterfactual effect of effort levels on both proprietary and open-weight models on four benchmarks, spanning single-call reasoning and long-horizon agentic tasks. Effort, it turns out, does not consistently preserve tasks that lower effort solves, can overspend, and can change trajectory behavior. First, we find that although higher effort can raise accuracy in aggregate, it frequently fails on tasks that lower effort solved. Second, on the subset of easy tasks that every effort level solves, higher effort is generally more costly, with the highest effort level costing up to 42x as much as the lowest. Lastly, effort changes not only how many tokens are used, but also how agents solve tasks: at higher effort, agents verify their own work more heavily and more often search for solutions than work through problems directly, both of which lengthen trajectories without necessarily altering the outcome. These findings show that naively choosing the highest level is not only cost-inefficient but also offers no guarantee of the best instance-level performance. A simple alternative, starting at the lowest effort and escalating only after a verified failure, matches or improves on fixed top effort across all models and benchmarks at lower cost for most proprietary models.

中文摘要

摘要：生成模型越来越多地暴露出一种推理努力设置，允许用户在推理时增加计算量，用更高的成本换取潜在的性能提升。用户必须在不知道额外推理是否有帮助的情况下选择努力水平，即使一次成功的运行也无法揭示所花费的努力是否必要。因此，推理努力是一种信赖商品：购买者可以观察结果，但无法评估他们支付的计算的边际价值。在本研究中，我们测量了在四个基准测试上，不同努力水平对专有模型和开源模型的反事实影响，这些基准覆盖了单次推理任务和长周期代理任务。结果表明，努力并不总是保留低努力能解决的任务，可能会过度消耗资源，并可能改变行为轨迹。首先，我们发现虽然更高的努力总体上可以提高准确率，但在低努力能够解决的任务上，它经常失败。其次，在每个努力水平都能解决的简单任务子集上，更高的努力通常更昂贵，最高努力水平的成本可高达最低努力水平的42倍。最后，努力不仅改变了使用的令牌数量，还改变了代理解决任务的方式：在较高努力下，代理更多地验证自己的工作，并且比直接解决问题更频繁地寻找解决方案，这会延长任务轨迹，但不一定改变结果。这些发现表明，简单地选择最高努力水平不仅成本效率低，而且不能保证获得最佳的实例级性能。一种简单的替代方案是从最低努力开始，仅在验证失败后才升级，在大多数专有模型中，以更低的成本在所有模型和基准测试上匹配或优于固定最高努力水平。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.34491 (HTTP 429)

Authors: Kaiser Sun,Yongchan Kwon,Zain Hasan,Shang Zhu,Kaitlyn Zhou,Federico Bianchi

Categories:

PDF URL: https://arxiv.org/pdf/2610.34491.pdf

Arxiv URL: https://arxiv.org/abs/2610.34491

Arxiv ID: 2610.34491

CoolPaper URL: https://papers.cool/arxiv/2610.34491

Published: 2026-10-28T02:34:45.646Z

Updated: 2026-10-28T02:34:45.646Z

9. Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?

Abstract:Recent \emph{test-time training} (TTT) frameworks have enabled open-weight large language models (LLMs) to outperform inference-only frameworks powered by frontier models on scientific discovery tasks. However, TTT introduces additional computational cost for online weight updates during the discovery process, making computational efficiency an important consideration when scaling to larger models. This motivates us to explore an efficient \emph{test-time adaptation} method for scientific discovery. We introduce \emph{Test-Time Memory Evolution} (TTME), a plug-and-play test-time adaptation method, as an alternative to TTT. TTME continually updates the external memory by distilling the experience to guide subsequent discovery without updating model weights. To have a clean comparison, we evaluate TTME and TTT under the same discovery framework, replacing only the test-time adaptation method. Our evaluation shows that TTME outperforms TTT on all five mathematical tasks, while reducing computational cost by $82.8$-$84.6\%$ in FLOPs and $47.7$-$58.4\%$ in runtime. These results establish TTME as an effective and computationally efficient alternative to TTT in the evaluated discovery settings.

中文摘要

摘要：近期的\emph{test-time training}（TTT）框架使开权大语言模型（LLM）在科学发现任务中优于仅依赖前沿模型的推理框架。然而，TTT在发现过程中在线权重更新会带来额外的计算成本，使得计算效率在扩展到更大模型时成为重要考量。这促使我们探索一种高效的\emph{测试时间适应}科学发现方法。我们引入了\emph{Test-Time Memory Evolution}（TTME），一种即插即用的测试时间适应方法，作为TTT的替代方案。TTME通过提炼经验不断更新外部内存，指导后续发现，且不更新模型权重。为实现清晰对比，我们在同一发现框架下评估TTME和TTT，仅替代测试时间适应方法。我们的评估显示，TTME在所有五项数学任务中均优于TTT，同时在FLOP计算成本减少了82.8美元至84.6美元，运行时间减少了47.7美元至58.4美元。这些结果证明TTME在评估的发现环境中是一个有效且计算高效的TTT替代方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.32046 (HTTP 429)

Authors: Yepeng Liu,Shengmai Chen,Xuandong Zhao,Chengzhi Liu,Dawn Song,Xin Eric Wang,Yuheng Bu

Categories:

PDF URL: https://arxiv.org/pdf/2610.32046.pdf

Arxiv URL: https://arxiv.org/abs/2610.32046

Arxiv ID: 2610.32046

CoolPaper URL: https://papers.cool/arxiv/2610.32046

Published: 2026-10-28T02:34:46.409Z

Updated: 2026-10-28T02:34:46.409Z

10. SearchHorizonBench: A Benchmark for Search Value in AI Agents

Abstract:AI agents must decide when another search is worth its cost. Answer-success probabilities capture question difficulty, while this decision requires estimating the additional benefit of search. We introduce SearchHorizonBench, a benchmark for learning and evaluating search value from execution experience. Paired continuations and repeated executions separate expected search gain from generation noise and connect prediction quality to decision utility. The resource contains 45,632 executions across 3,168 questions. On 1,632 held-out questions, historical calibration reduces Brier error by 16.2%, with the improvement concentrated in success-level information. Search gains have a standard deviation of 21.4 percentage points, and tested historical estimators explain less than 2% of this variance in point estimates. Matched-configuration learning curves probe this distinction across training scales. At the reference token price, free selection observations yield a 2.49-point utility opportunity over the best constant action, driven primarily by gain information. Reusable histories, frozen splits, strong baselines and scoring tools provide a common foundation for developing and evaluating value-aware search agents.

中文摘要

摘要：AI代理必须决定何时进行额外搜索是值得其成本的。答案成功概率捕捉了问题的难度，而这一决策需要估计搜索的额外收益。我们引入了SearchHorizonBench，这是一个用于从执行经验中学习和评估搜索价值的基准。配对续作和重复执行将预期搜索收益与生成噪声分离，并将预测质量与决策效用联系起来。该资源包含跨3,168个问题的45,632次执行。在1,632个保留问题上，历史校准将Brier误差降低16.2%，改进主要集中在成功级别信息上。搜索收益的标准差为21.4个百分点，而测试的历史估计器在点估计中解释的方差不到2%。匹配配置的学习曲线在不同训练规模下探测了这种区别。在参考标记价格下，自由选择观察所产生的效用机会比最佳固定动作高2.49点，主要由收益信息驱动。可重复使用的历史记录、冻结的划分、强基线和评分工具为开发和评估价值感知型搜索代理提供了共同基础。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.34714 (HTTP 429)

Authors: Jingjie Ning,Xueqi Li,Yibo Kong

Categories:

PDF URL: https://arxiv.org/pdf/2610.34714.pdf

Arxiv URL: https://arxiv.org/abs/2610.34714

Arxiv ID: 2610.34714

CoolPaper URL: https://papers.cool/arxiv/2610.34714

Published: 2026-10-28T02:34:54.540Z

Updated: 2026-10-28T02:34:54.540Z

11. Can LLMs Uncover Hidden Physical Laws through Free Exploration?

Abstract:Scientific discovery often begins with an unexpected observation that prompts a new research question. In a world with altered physical laws, can large language models (LLMs) notice unexpected behavior, such as heavier objects falling more slowly, and discover the law through experiments without being told what to investigate? To evaluate this ability, we introduce LongChang, an automated framework that creates simulated worlds with altered physics, where one or more laws differ from ordinary physics. The evaluated LLMs act as explorers, manipulating objects and building tools to investigate their own questions without research tasks or hints about these laws. Separate LLM agents generate and review scenes, review tool designs, and evaluate reports for correctness and experimental support using the altered physical laws and exploration records. These records guide scene evolution for further exploration, allowing the full cycle to run without human intervention. Among 12 LLMs, GPT-6-Astra achieves a discovery rate of 16.7%, while the other 11 score 0%. The exploration records reveal uninvestigated anomalies and only partial identification of the altered physical laws.

中文摘要

摘要：科学发现往往始于一个意外的观察，这促使提出新的研究问题。在物理定律被改变的世界中，大型语言模型（LLM）能否注意到意外现象，例如更重的物体下落更慢，并通过实验发现物理定律，而无需被告知要研究什么？为了评估这种能力，我们引入了 LongChang，这是一种自动化框架，用于创建物理规律改变的模拟世界，其中一个或多个规律与普通物理不同。被评估的 LLM 扮演探索者的角色，操作物体并建造工具来调查自身的问题，而无需研究任务或这些物理定律的提示。独立的 LLM 代理生成并审查场景、审查工具设计，并使用改变的物理定律及探索记录评估报告的正确性及实验支持。这些记录指导场景演化以进行进一步探索，使完整循环可以在无人干预下运行。在 12 个 LLM 中，GPT-6-Astra 的发现率为 16.7%，而其他 11 个 LLM 的得分为 0%。探索记录揭示了未被调查的异常情况，以及对改变物理定律的部分识别。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37649 (HTTP 429)

Authors: Zhen Yang,Wen Wang,Xander Xu,Ying-Cong Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.37649.pdf

Arxiv URL: https://arxiv.org/abs/2610.37649

Arxiv ID: 2610.37649

CoolPaper URL: https://papers.cool/arxiv/2610.37649

Published: 2026-10-28T02:34:55.556Z

Updated: 2026-10-28T02:34:55.556Z

12. Harness-Model Collaboration for Long-Horizon Continual Learning

Abstract:Long-horizon agents continuously encounter reusable procedural knowledge, yet existing systems typically rely either on model adaptation or external memory, trading persistent learning for rapid reuse. This limitation is especially important for Web agents that repeatedly execute related multi-step workflows. We propose HaMo, a Harness-Model collaborative framework that combines fast non-parametric experience accumulation with slow parametric adaptation. HaMo distills trajectories into strategy-level experience cards for immediate retrieval, while an experience-conditioned continual learning objective trains the model to interpret, ground, and execute retrieved strategies across changing contexts. A retrieval-coverage-based selection mechanism further identifies compact and complementary trajectories for parameter updates. Experiments show that HaMo outperforms harness-only and model-only adaptation under within-domain and cross-domain shifts, improving both retention and adaptation. These results highlight the importance of jointly preserving procedural experience and internalizing the competence to transfer and execute it across tasks.

中文摘要

摘要：长期视野的智能体持续遇到可重复使用的程序性知识，但现有系统通常要么依赖模型适应，要么依赖外部记忆，在持久学习和快速重用之间权衡。这一限制对于反复执行相关多步骤工作流程的Web智能体尤其重要。我们提出了HaMo，一种Harness-Model协作框架，它将快速的非参数化经验积累与缓慢的参数化适应相结合。HaMo将轨迹提炼为策略级经验卡以供即时检索，同时基于经验的持续学习目标训练模型在不断变化的上下文中解释、落地并执行检索到的策略。基于检索覆盖率的选择机制进一步识别用于参数更新的紧凑且互补的轨迹。实验表明，在同域和跨域变化下，HaMo优于仅使用harness或仅使用模型适应的方法，同时提升了记忆保持能力和适应能力。这些结果强调了共同保存程序性经验并内化将其迁移和执行到不同任务中能力的重要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.34724 (HTTP 429)

Authors: Zhen Bi,Zhizhi Peng,Yan Wang,Xueshu Chen,Haofei Zhang,Yaobo Zhang,Zeyu Yang,Qing Shen,Jungang Lou

Categories:

PDF URL: https://arxiv.org/pdf/2610.34724.pdf

Arxiv URL: https://arxiv.org/abs/2610.34724

Arxiv ID: 2610.34724

CoolPaper URL: https://papers.cool/arxiv/2610.34724

Published: 2026-10-28T02:34:56.820Z

Updated: 2026-10-28T02:34:56.820Z

13. Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation

Abstract:We propose Nemotron-Labs-Diffusion-Uni (NLD-Uni), a unified discrete diffusion large language model (DLLM) for visual understanding and generation tasks. Compared with prior unified diffusion models, NLD-Uni introduces two major innovations. First, we propose a unified cross-paradigm on-policy distillation (OPD) framework that successfully transfers the visual understanding ability of autoregressive VLMs and visual generation ability of continuous flow models, to a unified DLLM. Second, NLD-Uni incorporates a novel progressive self-refining diffusion process that gradually corrupts each token across multiple steps during training, as opposed to adopting the conventional masked diffusion formulation that directly corrupts a clean image token to an uninformative mask token. At inference, this design allows NLD-Uni to make intermediate commit to a token, enabling progressive self-refinement for better visual quality. Through extensive experiments, we show that NLD-Uni achieves state-of-the-art performance among unified DLLMs on diverse tasks including visual question-answering, multi-modal reasoning, object grounding, text-to-image generation, and image editing.

中文摘要

摘要：我们提出了 Nemotron-Labs-Diffusion-Uni（NLD-Uni），一种用于视觉理解和生成任务的统一离散扩散大语言模型（DLLM）。与以往的统一扩散模型相比，NLD-Uni 引入了两个主要创新。首先，我们提出了一种统一的跨范式在线策略蒸馏（OPD）框架，成功地将自回归视觉语言模型（VLMs）的视觉理解能力以及连续流模型的视觉生成能力，转移到统一的 DLLM 中。其次，NLD-Uni 融入了一种新颖的渐进自我优化扩散过程，在训练过程中逐步对每个标记进行腐化，而不是采用传统的掩码扩散方法，将干净的图像标记直接腐化为无信息的掩码标记。在推理阶段，这一设计使 NLD-Uni 能够中间提交标记，从而实现渐进的自我优化，以获得更好的视觉质量。通过大量实验，我们展示了 NLD-Uni 在包括视觉问答、多模态推理、目标定位、文本到图像生成以及图像编辑等多种任务上，在统一 DLLM 中达到了最先进的性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36466

Authors: Shufan Li,Hanrong Ye,Greg Heinrich,Yonggan Fu,Haotian Zhang,Sifei Liu,Aditya Grover,Pavlo Molchanov

Categories:

PDF URL: https://arxiv.org/pdf/2610.36466.pdf

Arxiv URL: https://arxiv.org/abs/2610.36466

Arxiv ID: 2610.36466

CoolPaper URL: https://papers.cool/arxiv/2610.36466

Published: 2026-10-28T02:34:57.781Z

Updated: 2026-10-28T02:34:57.781Z

14. On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

Abstract:Diffusion language models (DLMs) promise parallel text generation, but in practice face an unresolved speed-quality trade-off. Exact decoding fills in only one masked position per model pass, while faster multi-token decoding schemes are lossy. Speculative decoding is the standard lossless acceleration for autoregressive models. However, it does not transfer directly to DLMs, which must choose both what to generate and where. We show that this order is the missing piece: the model’s own predictions from the previous pass already give the right token at over $90\%$ of positions, but not which position comes next. We introduce Speculating Positions Order Trajectory (SPOT), a 0.62M-parameter model that reads only the target’s output distributions, predicts this order and proposes a tree of candidate continuations, which the target verifies in a single pass by state equality. Coupled-noise match, which shares Gumbel noise between drafter and target, keeps this verification exact at any temperature. This approach also inspired us to introduce SPOT-Sets for dynamic threshold decoding, where a pass commits several positions: SPOT-Sets drafts whole commit sets together with their tokens. Our comprehensive experiments show that SPOT cuts target passes by up to $6.8\times$ and reaches up to $3.4\times$ the throughput of standard decoding on SDAR-8B, matching or beating the calibrated and training-free drafting baselines in every task and budget at $T=0$ and $T=1$. In addition, we show that SPOT’s learned drafter transfers across models, demonstrating successful transfer across six different DLMs; with a light calibration, the SPOT-Sets drafter transfers as well. On top of dynamic threshold decoding, SPOT-Sets improves the throughput of SDAR-8B by 59% on average over the threshold decoder alone. Project page: this https URL

中文摘要

摘要：扩散语言模型（DLMs）承诺能够进行并行文本生成，但在实际应用中面临未解决的速度与质量权衡问题。精确解码每次模型运行只能填充一个被掩盖的位置，而更快的多标记解码方案则是有损的。推测解码是自回归模型的标准无损加速方法。然而，它不能直接转移到DLMs，因为DLMs必须决定生成内容以及位置。我们表明，这一顺序是缺失的关键：模型在前一次运行中的自身预测已经在超过90%的位置上给出了正确的标记，但并不知道下一个位置是哪一个。我们引入了推测位置顺序轨迹（SPOT），这是一个拥有0.62M参数的模型，仅读取目标的输出分布，预测生成顺序并提出候选延续树，目标通过状态相等在一次运行中进行验证。联合噪声匹配（Coupled-noise match）在拟定者与目标之间共享Gumbel噪声，使得这种验证在任何温度下都保持精确。该方法还启发我们引入了SPOT-Sets用于动态阈值解码，其中一次运行可以提交多个位置：SPOT-Sets同时拟定整个提交集及其标记。我们的综合实验表明，SPOT将目标运行次数减少了最多6.8倍，并在SDAR-8B上达到了标准解码吞吐量的最多3.4倍，在T=0和T=1的每个任务和预算中匹配或超过了校准和无训练拟定基线。此外，我们展示了SPOT的拟定者学习能够跨模型迁移，在六种不同的DLMs中成功实现迁移；通过轻量级校准，SPOT-Sets拟定者同样可以迁移。在动态阈值解码基础上，SPOT-Sets使SDAR-8B的吞吐量平均提高了59%，超越了仅使用阈值解码器的性能。项目页面：这个https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22543 (HTTP 429)

Authors: Eliezer Shlomi,Eliron Rahimi,Avi Mendelson,Chaim Baskin

Categories:

PDF URL: https://arxiv.org/pdf/2610.22543.pdf

Arxiv URL: https://arxiv.org/abs/2610.22543

Arxiv ID: 2610.22543

CoolPaper URL: https://papers.cool/arxiv/2610.22543

Published: 2026-10-28T02:35:03.677Z

Updated: 2026-10-28T02:35:03.677Z