ArXiv Domain 2026-11-04

Created2019-06-18|Updated2026-11-04|AI

|Word count:49.8k|Reading time:193min|Post View:

数据来源：ArXiv Domain

LLM Domain Papers

1. From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings

Abstract:Embedding models underpin virtually every modern AI system, from search engines to recommendation systems. Despite shared mathematical foundations, research on embedding models remains fragmented by modality: the communities develop largely in isolation, seldom exchanging insights. We argue that this fragmentation obscures a deeper convergence. Driven by contrastive learning, Transformer architectures, and a granularity shift, embedding research across modalities is converging toward a common set of principles, even as modality-specific challenges remain underexplored. To reason across this convergence without conflating it, we propose a framework of three progressively harder capabilities: coverage, comparability, and compositionality. Three paths toward unification satisfy these in turn: transformation broadens coverage, alignment enables comparability, and joint embedding, the terminus we advocate, aims at compositionality. This position paper traces the resulting evolution, providing the first unified, cross-cutting treatment of omnimodal embedding research.

中文摘要

摘要：嵌入模型几乎支撑着所有现代人工智能系统，从搜索引擎到推荐系统。尽管具有共同的数学基础，关于嵌入模型的研究仍然按模态分散：各个社区在很大程度上孤立发展，很少交流见解。我们认为，这种分散掩盖了更深层的趋同。受对比学习、Transformer 架构和粒度转变的驱动，各模态的嵌入研究正在趋向一套共同的原则，即使特定模态的挑战仍未充分探索。为了在不混淆的情况下推理这种趋同，我们提出了一个包含三种逐步增加难度能力的框架：覆盖性、可比性和组合性。三条实现统一的路径依次满足这些能力：变换提高覆盖性，对齐实现可比性，而我们倡导的联合嵌入则旨在实现组合性。本文观点论文追踪了由此产生的演变，提供了首个对全模态嵌入研究的统一、跨领域处理。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00172 (HTTP 429)

Authors: Ziyin Zhang, Yuyu Guo, Ying Zhang, Siqiao Xue, Zihan Liao, Jin Qin, Wenjie Yang, Siyuan Yang, Shijie Li, Cheng Chen, Hao Wu, Zhaoyang Zhu, Ruipeng Li, Zhaokun Jiang, Lei Lei, Rui Wang, Hang Yu, Rui Wang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00172.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00172

Published: 2026-11-04T03:14:03.448Z

2. MEMENTO: Learning Context Management for Long Context Processing Agents

Abstract:LLM agents that operate over long inputs must perform context management: deciding what to retain in a fixed-size context window. A common approach is compaction, where the model replaces its history with a self-generated note. Yet off-the-shelf agentic models, including GPT-5.5 and GLM-5.3, often write ineffective notes, and reinforcement learning (RL) alone rarely discovers useful note-taking behavior. We present MEMENTO, a long-context agent built on Qwen3-8B and trained to manage its context through compaction. We first bootstrap note-taking by fine-tuning on synthetic trajectories annotated with notes generated in hindsight, then reinforce it with RL using a reward that combines answer correctness, note-quality heuristics, and confidence calibration. Although trained only to compact into a fresh window, MEMENTO extends at test time to strategies such as context folding and confidence-based backtracking. On book-level question answering across four benchmarks, with books of up to 2.5M tokens, MEMENTO raises Qwen3-8B’s accuracy from 36.9% to 67.8% while never holding more than 20K tokens in context. It outperforms GPT-5.5 agent in the same harness (13.1%) and full book context (56.7%) at less than 1/50 the cost. It also nearly matches a ~100x larger GLM-5.3 agent (69.3%) at 1/9 the cost, and comes within 6.4 points of GLM-5.3 full context at 1/26 the cost.

中文摘要

摘要：操作长输入的LLM代理必须执行上下文管理：决定在固定大小的上下文窗口中保留什么。常见的方法是压缩（compaction），即模型用自生成的笔记替换其历史。然而，现成的代理模型，包括GPT-5.5和GLM-5.3，往往写出低效的笔记，而单独的强化学习（RL）很少能发现有用的记笔记行为。我们提出了MEMENTO，一个基于Qwen3-8B的长上下文代理，训练其通过压缩管理上下文。我们首先通过在用事后生成的笔记标注的合成轨迹上进行微调，来引导记笔记行为，然后使用结合答案正确性、笔记质量启发式和置信度校准的奖励进行强化学习。虽然训练时仅针对压缩到新的窗口，MEMENTO在测试时扩展到如上下文折叠和基于置信度的回溯等策略。在四个基准上的书籍级问答测试中，涉及多达250万标记的书籍，MEMENTO将Qwen3-8B的准确率从36.9%提高到67.8%，而上下文中从不超过2万标记。其性能优于在相同测试环境下的GPT-5.5代理（13.1%）及完整书籍上下文（56.7%），成本不到前者的1/50。同时，其性能几乎与大约100倍规模的GLM-5.3代理（69.3%）相当，成本仅为其1/9，并且在完整上下文下仅比GLM-5.3低6.4个百分点，成本为其1/26。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*长上下文处理智能体（long-context processing agents）中的上下文管理（context management）问题\*\*，即智能体如何在固定大小的上下文窗口内决定保留哪些历史信息，以完成需要跨越数百万Token的长程任务（如整本书级别的多跳问答）。具体而言，论文聚焦于以下几个核心问题： - \*\*上下文窗口的硬约束与历史信息增长的矛盾\*\* 现有智能体通常遵循ReAct范式，将每一步的思考、动作和观察都追加到上下文中。随着任务进行，历史不断增长，终将耗尽固定大小的上下文窗口。更大的窗口只能推迟问题，且LLM在长输入中信息利用率下降、性能退化。 - \*\*现有模型缺乏有效的上下文压缩（compaction）能力\*\* 即使是最先进的现成模型（如GPT-5.5和GLM-5.3），在标准智能体框架中也不会有效调用笔记工具来记录进度、规划下一步。它们在系统提示中被告知存在压缩笔记工具后，仍然从不或极少生成有效的笔记，导致每次重置上下文时丢失关键进展。 - \*\*纯强化学习难以自发发现笔记行为\*\* 由于有效笔记策略的采样空间稀疏，仅通过RL训练很难从零开始发现“何时记录、记录什么、如何利用笔记继续”的复杂行为。实验表明，没有适当初始化时，RL训练几乎会立即放弃使用笔记工具。 - \*\*长文档问答中证据分散的挑战\*\* 与传统多跳问答仅需几段证据不同，Book QA所需的证据可能散落在一整本书的各个位置（最长达250万Token），要求智能体在多个上下文窗口之间持续积累、传递和回溯调查进度。为此，论文提出了\*\*MEMENTO\*\*，一个基于Qwen3-8B的智能体，通过\*\*事后合成的监督微调（SFT）\*\*注入笔记策略，再经\*\*混合奖励的强化学习（RL）\*\*精炼，使智能体学会在上下文中自主管理压缩笔记，并在测试时泛化到上下文折叠（context folding）和基于置信度的回溯（confidence-based backtracking）等策略，从而在仅保留至多20K Token上下文的情况下，将准确率从36.9%提升至67.8%，接近百倍更大的GLM-5.3全上下文性能，且成本显著降低。 Q2: 有哪些相关研究？根据论文第2节，相关研究可归纳为以下三个方向： ## 1. 长文档问答与阅读智能体（Long-document QA and Reading Agents）该方向关注如何使模型处理整本书或长文档并完成问答任务： - \*\*MemWalker\*\*（Chen et al., 2023）：将文本组织为一棵摘要树，模型通过迭代提示在树中导航以定位信息。 - \*\*ReadAgent\*\*（Lee et al., 2024）：将阅读的情节压缩为要点记忆（gist memories），并在需要时回溯查找原始段落。 - \*\*GraphReader\*\*（Li et al., 2024）：构建基于文档的图结构，让智能体通过探索该图来回答问题。这些系统的共同特点是依赖\*\*预先生成\*\*的文档摘要或图结构；而本文的MEMENTO则在问答过程中实时搜索原始文本，并动态压缩上下文，无需预处理。 ## 2. 智能体的上下文管理与压缩（Context Management and Compaction for Agents）该方向直接研究如何在上下文窗口有限的情况下管理历史信息： - \*\*无需训练参数的方法\*\*： - \*\*MemGPT\*\*（Packer et al., 2023）：采用分层内存分页机制管理上下文。 - \*\*ReSum\*\*（Wu et al., 2025）：在推理时间调用独立的摘要工具压缩上下文。 - \*\*MemGuard\*\*（Ha et al., 2026）：按功能类型分离长期记忆，并选择性检索以减少记忆污染。 - \*\*基于强化学习或监督微调的学习方法\*\*： - \*\*Zhou et al. (2026)\*\*：将压缩视为每轮更新一次的紧凑内部状态。 - \*\*Yu et al. (2026)\*\*：在逐段阅读文档时覆盖固定长度的记忆。 - \*\*Lu et al. (2026); Sun et al. (2026)\*\*：端到端联合优化策略与摘要/折叠子轨迹。 - \*\*AgentFold\*\*（Ye et al., 2026）：仅通过监督微调学习多尺度折叠操作。 - \*\*FoldAct\*\*（Shao et al., 2025）：先用SFT在摘要增强的轨迹上初始化，再通过RL联合优化摘要与动作。本文与上述工作的区别在于：\*\*先通过事后合成（hindsight）方式将压缩笔记注入教师轨迹进行SFT，再用RL精炼该策略\*\*，而非在训练中直接生成摘要或依赖独立模块。 ## 3. 置信度与测试时搜索（Confidence and Test-time Search）该方向研究如何通过增加测试时计算量提升可靠性，以及如何利用置信度信号决策： - \*\*测试时计算增强\*\*： - \*\*Self-consistency\*\*（Wang et al., 2023）：对多条采样推理路径进行多数投票。 - \*\*Tree of Thoughts\*\*（Yao et al., 2023a）：通过前瞻（lookahead）与回溯进行树搜索。 - \*\*Reflexion\*\*（Shinn et al., 2023）：基于言语化自我反思引导重试。 - \*\*置信度校准\*\*： - \*\*Tian et al. (2023)\*\*：发现经RLHF调优模型的言语化置信度（verbalized confidence）比其Token概率更校准。 - \*\*RLCR\*\*（Damani et al., 2026）：在二元正确性奖励基础上增加负Brier分数项，以改善校准性同时保持准确率。本文直接借鉴了RLCR的Brier风格奖励形式，将言语化置信度用于\*\*长程智能体的回溯决策\*\*：当智能体对答案的置信度低于阈值时，自动回溯到早期保存的笔记检查点并生成替代探索路径。 Q3: 论文如何解决这个问题？论文通过\*\*联合设计训练流程与测试时框架\*\*，提出名为 \*\*MEMENTO\*\* 的智能体系统，基于 Qwen3-8B 解决长上下文管理问题。其核心在于让模型学会在固定窗口内自主决定“何时记录、记录什么、如何利用记录继续推理”。具体方法可分为以下四个层面： --- ### 1. 任务定义与工具设计：以压缩笔记（Compaction Note）为中心论文将目标任务设定为\*\*书籍级多跳问答（Book QA）\*\*，书籍长度可达 250 万 Token，远超模型 16–20K 的上下文窗口。智能体仅通过三类工具访问书籍：语义检索（\`semantic\_search\`）、关键词检索（\`ripgrep\_search\`）和原文阅读（\`view\`）。关键设计是引入 \*\*\`create\_notes\` 压缩笔记工具\*\*： - 智能体可在任意时刻调用该工具，将当前发现、已排除的错误路径和后续计划记录为自包含的文本摘要。 - 笔记受三条\*\*启发式规则\*\*约束，以确保有效性： - \*\*频率\*\*：每个非最终上下文窗口至少包含一条笔记，且单条轨迹中笔记总数不超过 5 条； - \*\*位置\*\*：笔记不能作为窗口内的首个动作，也不能连续出现； - \*\*多样性\*\*：任意两条笔记的 Token 集合相似度不得超过 80%。这些笔记在所有上下文管理操作后均保留，并作为后续窗口的前缀，同时充当可回溯的检查点。 --- ### 2. 策略初始化：基于事后合成的监督微调（SFT）论文发现，现成模型（包括 GPT-5.5 和 GLM-5.3）即使在系统提示中被告知笔记工具的存在，也几乎从不生成有效笔记；纯 RL 则因探索空间稀疏而难以自发发现笔记行为。因此，MEMENTO 首先通过\*\*合成数据引导策略\*\*： - \*\*收集教师轨迹\*\*：运行 GLM-5.3 在标准框架下完成问答，保留正确答案且跨越多个窗口的轨迹。 - \*\*事后注入笔记（Hindsight Note Injection）\*\*：去除轨迹中原有笔记，随后提示 GLM-5.3 在关键工具调用或发现之后插入笔记，要求其总结子问题、具体证据（行号、引文）、已排除的死胡同以及下一步计划。 - \*\*筛选与重采样\*\*：对不符合上述三条启发式规则的笔记进行重采样，直至满足条件。搜索动作和最终答案保持原样不变。 - \*\*微调\*\*：在约 6K 条合成轨迹上对 Qwen3-8B 进行 SFT。 SFT 本身并不显著提升最终准确率，但向模型灌输了“何时记录、记录什么”的\*\*先验策略\*\*，为后续 RL 提供了可优化的行为基础。 --- ### 3. 强化学习优化：跨窗口的混合奖励 GRPO 在 SFT 初始化后，论文采用 \*\*GRPO（Group Relative Policy Optimization）\*\* 进一步精炼策略。其关键设计包括： #### 3.1 混合奖励函数轨迹级总奖励 R 由四部分构成：

R = λF F + F · Y + λ_M M + λ_C[1 - (Y - p)^2]
其中各符号含义如下： - F ∈ 0, 1 ：格式合规指标。要求最终答案与言语化置信度可解析，且未检测到对抗性“奖励篡改”（reward hacking）。该指标作为门控，只有 F=1 时其他奖励才生效。 - Y ∈ 0, 1 ：答案正确性。 - M ∈ 0, 1 ：笔记有效性。仅当轨迹中所有笔记均满足启发式规则时才为 1。 - $p ∈
0, 1
：模型言语化置信度的量化层级（如 very low / low / medium / high / very high 映射到离散概率值）。 - λ_F, λ_M, λ_C ：对应项的权重系数。置信度项 1 - (Y - p)^2 为负 Brier 分数，借鉴 Damani et al. (2026) 的形式。该设计同时奖励准确性与校准性：模型不仅答对问题，还需准确表达自身确信程度。 #### 3.2 跨窗口的优势共享 GRPO 对同一问题的 G 条采样轨迹 τ_i(i=1)^G$ 计算组内相对优势：

Ai = R_i - mean(R_j(j=1)^G){std(Rj(j=1)^G)}
随后最大化以下目标：
J(θ) = E(q, τ_i) [ (1) / (G) ∑(i=1)^(G) (1) / (|Oi|) ∑(t ∈ Oi) ( min r(i,t)(θ)Ai, clip(r(i,t)(θ), 1-ε, 1+ε)Ai - β D(KL)(πθ | π(SFT)) ) ]
其中 Oi 为轨迹 i 中所有上下文窗口的助手 Token 集合，重要性比率定义为：
r(i,t)(θ) = πθ(o(i,t) | c(i,t)){π(θold)(o(i,t) | c_(i,t))}
由于**轨迹内所有 Token 共享同一优势值 A_i **，早期窗口中生成的笔记动作也能从最终答案的正确性中获得学习信号。这使得模型能够跨越上下文重置边界进行信用分配，学会“现在记录笔记以便未来窗口成功”。 —- ### 4. 测试时框架：从压缩泛化到折叠与回溯尽管 RL 训练**仅使用“压缩至全新窗口”（compaction to a new window）**这一种模式，但由于所有方法共享相同的笔记结构、提示和上下文布局（任务 + 保存的笔记始终作为前缀），策略在测试时可零样本迁移到更高效的推理模式： - **上下文折叠（Context Folding）**：将最新笔记之前的对话替换为任务与笔记，但**保留笔记之后的近期回合**。这避免了重复已进行的有效工作，在提升准确率的同时减少 Token 消耗（实验中平均节省约 4.7%）。 - **基于置信度的回溯（Confidence-Based Backtracking）**：每条笔记被视作一个可恢复的检查点。当最终答案的置信度低于阈值时，智能体丢弃后续工作，从较早笔记处生成替代探索路径： - 第 1 次重试：回溯至第 lfloor n/2 rfloor 条笔记处继续； - 第 2 次重试：回溯至第 1 条笔记处； - 后续重试：从头开始全新尝试。 - 一旦某次尝试的置信度超过阈值即停止；否则返回置信度最高的答案。 —- ### 5. 整体流程总结 | 阶段 | 作用 | |:—-|:—-| | **SFT** | 通过事后合成笔记初始化策略，解决“RL 无从学起”的冷启动问题 | | **RL** | 用跨窗口的轨迹级混合奖励（正确性 + 笔记质量 + 置信度校准）精炼笔记行为 | | **测试时** | 同一套笔记机制支持压缩、折叠、回溯三种策略，按成本与精度需求灵活部署 | 通过以上设计，MEMENTO 在仅保留至多 20K Token 上下文的情况下，将 Qwen3-8B 的书籍问答准确率从 **36.9%** 提升至 **67.8%**，并接近百倍规模模型的全上下文性能。 Q4: 论文做了哪些实验？论文的实验围绕 **Book QA（书籍级多跳问答）** 展开，在四个英文数据集上评估了 MEMENTO 及其变体，并与多种强基线进行了对比。实验主要涵盖以下方面： —- ## 1. 实验设置 ### 1.1 数据集与任务 - **训练与评估数据集**：LiteraryQA、NovelHopQA、SagaScale（英文子集）。 - **留测数据集**：NovelQA（训练时完全不可见，且超过 30% 的书籍未公开，可降低预训练记忆风险）。 - **数据划分**：按书籍与问题划分，训练 / 验证 / 测试集比例为 8:1:1，共覆盖 600 余本书、17K 训练问题、4.7K 测试问题。 - **答案形式**：自由形式短文本，由 Qwen3-235B-A22B-Instruct 作为 LLM 裁判按 SimpleQA 标准判定正误。 ### 1.2 基线与对比系统实验对比了多类系统： - **现成模型全上下文**：将整本书（截断至模型支持的最大长度）直接输入给 Qwen3-8B、GPT-5.5（232K）和 GLM-5.3（1M）。 - **现成模型 + Agent 框架**：在相同测试时框架（上下文折叠 + 置信度回溯）下运行上述模型，但**不经过 MEMENTO 的训练**。 - **训练后的 Qwen3-8B 变体**：包括仅 SFT、仅 RL、SFT+RL，以及是否启用折叠/回溯的多种组合。 —- ## 2. 主要结果：与 SOTA Agent 和全上下文模型的对比（Table 1） ### 2.1 在相同 Agent 框架下的表现在统一的“上下文折叠 + 置信度回溯”框架中： - **MEMENTO** 在 4.7K 测试问题上达到 **67.8%** 的微观平均准确率。 - **GLM-5.3**（约 753B，百倍参数规模）达到 **69.3%**，但 MEMENTO 仅为其 **1/9 的推理成本**，且每问平均 Token 数更少（23K vs. 47K）。 - **GPT-5.5** 仅达到 **13.1%**。分析显示，GPT-5.5 在 21.4% 的 rollout 中才能输出可解析格式，且**从不调用笔记工具**，导致每次折叠后丢失全部进展。 - **GLM-5.3** 虽表现强劲，但在触发折叠的尝试中，仅 **1.2%** 满足笔记有效性标准，说明其并非真正学会了利用笔记进行上下文管理。 ### 2.2 与全上下文（Full Context）方式的对比 - **GLM-5.3 全上下文**准确率最高，为 **74.3%**，但推理成本是 MEMENTO 的 **26 倍以上**，且需加载 167K Token。 - **MEMENTO**（67.8%）将差距缩小至 **6.4 个百分点**，同时上下文上限不超过 20K Token。 - **GPT-5.5 全上下文**为 **56.7%**，比 MEMENTO 低 **11.2 个百分点**，成本却高达 **54 倍**。 - **Qwen3-8B 全上下文**（截断至 40K）仅 **34.9%**，表明小模型在长输入中信息利用率极低。 —- ## 3. 消融实验 ### 3.1 SFT 初始化的必要性（Table 1, Figure 3, Figure 4）实验对比了三种训练策略在“上下文折叠”设置下的表现： | 模型变体 | 准确率 (Fold) | |:—-|:—-| | SFT 单独 | 42.4% | | RL 单独 | 57.5% | | SFT + RL（MEMENTO 组件） | **66.3%** | - **SFT 本身对最终准确率提升有限**，但改变了模型的行为模式：它使模型在 RL 开始前就具备较高的笔记压缩频率（平均每轮 4 次以上）。 - **RL 单独训练会迅速放弃压缩**：如图 4 所示，无 SFT 初始化的策略在约 20 步内将压缩率降至接近零，并在后续训练中保持该水平，导致最终验证准确率停滞。 - **SFT + RL 协同效果最佳**：如图 3 所示，两者从相近的初始验证准确率出发，SFT + RL 最终比 RL-only **高出约 15 个百分点**。SFT 提供了可优化的行为先验，RL 则在其自身采样轨迹上将其精炼为可靠策略。 ### 3.2 上下文折叠的效果（Table 2）论文在三种训练阶段下，分别测试了“单窗口”、“上下文折叠”以及“折叠 + 回溯”： | 检查点 | Single Window | +Context Folding | +Backtracking | |:—-|:—-|:—-|:—-| | Qwen3-8B (untrained) | 29.6% | 32.6% (+3.0) | 36.9% (+4.3) | | SFT | 34.4% | 46.6% (+12.2) | 59.1% (+12.5) | | MEMENTO (SFT+RL) | 58.6% | 66.9% (+8.3) | 67.8% (+0.9) | - 对 **SFT 模型**，折叠带来最大增益（+12.2%），因为该模型在 40.4% 的尝试中会耗尽首个上下文窗口，折叠使其能够延续调查。 - 对 **未训练模型**，折叠增益很小（+3.0%），因其很少耗尽窗口，且记录的内容通常无用。 - 论文还直接对比了“压缩到新窗口”与“上下文折叠”：在 SFT+RL 策略下，折叠准确率 **66.27%**，略高于压缩到新窗口的 **65.36%**；同时 Token 消耗降低 4.7%（14.3K vs. 15.0K），验证了折叠策略的token效率优势。 ### 3.3 基于置信度的回溯效果（Table 2） - **对弱策略增益显著**：未训练模型 +4.3%，SFT 模型 +12.5%。 - **对强策略增益有限**：MEMENTO 仅提升约 **1.0 个百分点**（66.9% → 67.8%）。 - **原因分析**：RL 训练中后期，策略虽学会了标记错误答案为低置信度，但仅能捕获约 **30–40%** 的错误；许多剩余错误被过度自信地标记，导致无法触发重试。回溯仅占 18.9% 的 rollout，却消耗了 **43% 的 Token**，因此对已较强的策略而言成本效益最低。 —- ## 4. 关键发现总结 - **训练必须与测试框架协同设计**：单纯拥有强大的现成模型（GPT-5.5、GLM-5.3）和完善的测试时框架（折叠、回溯）并不足够；上下文管理行为需要通过 SFT 和 RL **与工具、提示、上下文布局共同学习**。 - **SFT 解决冷启动，RL 解决可靠性**：SFT 通过事后合成笔记提供“可学习的先验”，RL 通过轨迹级奖励（正确性、笔记质量、置信度校准）将其转化为稳定的跨窗口行为。 - **规模与成本的权衡**：一个 8B 参数模型在学会上下文管理后，可在固定小窗口内接近百倍大模型的性能，同时将推理成本降低一个数量级以上。 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与实验观察，以下几个方向值得进一步探索： —- ### 1. 向其他长程任务与模态迁移现有工作仅针对**英文书籍级短答案问答**进行了验证，且依赖 LLM 评判答案正误。上下文管理的笔记机制是否适用于以下场景仍待检验： - **开放域网络研究**（如 BrowseComp 风格的网页浏览） - **软件工程**（长程代码生成与调试） - **多文档综合**（跨数百篇论文或报告的摘要与推理） - **多模态长上下文**（如长视频时序推理、图文交替的复杂任务）这些场景的证据分散方式、工具调用模式和错误类型可能与书籍 QA 显著不同。 —- ### 2. 替代手工启发式的笔记质量建模当前笔记有效性依赖三条**硬编码规则**（频率、位置、多样性），这些规则仅保证形式合规，未必反映笔记对后续推理的真实效用。未来可探索： - **学习化的笔记价值估计**：训练一个辅助模型或价值头，预测某条笔记在未来窗口中被引用或修改的概率，以此替代启发式奖励。 - **基于结果反向筛选**：在 RL 中引入“笔记移除”对照实验——若删除某条笔记后轨迹成功率显著下降，则赋予该笔记更高权重。 - **分层笔记结构**：当前笔记为扁平文本，可尝试结构化记录（如关键实体、待验证假设、已排除路径），并学习何时更新或继承何种字段。 —- ### 3. 将折叠与回溯纳入训练阶段目前 RL 训练**仅使用“压缩到新窗口”**，上下文折叠（folding）和置信度回溯（backtracking）仅在测试时零样本迁移。尽管实验表明迁移效果很好，但仍存在训练-测试不匹配。未来工作可： - 在 RL 中**以一定概率执行折叠操作**，使策略学会在保留近期工作的同时继续推理。 - 将回溯构建为**显式的 MDP 动作**：允许智能体在任意时刻选择“回溯到第 k 条笔记”并采样替代路径，通过树状搜索或蒙特卡洛树搜索（MCTS）联合优化探索与利用。 - 设计**课程式训练**：早期仅在短 horizon（1–2 个窗口）上训练，逐步扩展到更长的多轮折叠与回溯场景。 —- ### 4. 提升对“自信错误”的检测能力实验显示，RL 训练后期策略仅能识别 **30–40%** 的错误答案并标记为低置信度，导致大量错误从未触发回溯，而回溯机制消耗了 **43%** 的 Token。改进方向包括： - **更精细的校准目标**：除 Brier 分数外，可引入分位数回归或预期校准误差（ECE）优化，强制模型在不确定时表达更宽的置信区间。 - **过程级置信度**：不仅在最终答案输出置信度，而是在每步工具调用或关键推理节点后评估局部置信度，提前识别“越走越偏”的轨迹。 - **对抗性自信度微调**：专门采样模型高置信但错误的轨迹作为负例，训练模型对“看似合理实则错误”的推理路径保持警觉。 —- ### 5. 支持更长的时间跨度和更大的笔记库当前训练被限制在**最多 3 个上下文段**（segment），测试时最多允许 7 次折叠。对于数百万 Token 级别的书籍或更复杂的任务，智能体可能需要： - **数十次甚至上百次上下文重置** - **维护一个大规模、可检索的外部笔记库**，而非简单地将所有笔记拼接到提示前缀 - 引入**稀疏检索机制**，在每次决策时动态召回最相关的历史笔记，而非全量加载这要求笔记系统从“提示内摘要”进化为“显式外部记忆”，并与检索增强生成（RAG）更紧密地结合。 —- ### 6. 评估基准与指标扩展 - **更大规模、更多样化的留测集**：SagaScale 测试集仅 37 题，统计波动大；NovelQA 虽有 2,305 题，但领域局限于小说。需要跨体裁（科技、历史、法律）、跨语言的长文档基准。 - **人类评估与细粒度诊断**：当前使用 LLM-as-a-judge 判定正误，难以区分“证据不足导致的错误”与“笔记丢失关键信息导致的错误”。引入人类标注或自动错误归因（如对比有/无笔记的轨迹差异）可更精确地定位上下文管理的瓶颈。 —- ### 7. 理论分析：笔记到底在起什么作用？现有实验主要基于准确率与 Token 效率的宏观指标。更深层的理解需要： - **笔记内容分析**：定量统计笔记中“事实性发现”“死胡同记录”“下一步计划”各占多少比例，以及哪类内容对最终答案的贡献最大。 - **注意力可视化**：分析模型在恢复上下文后，如何重新分配对历史笔记与新检索证据的注意力权重。 - **压缩率与信息保留的权衡**：建立形式化框架，量化不同压缩策略下的信息论损失，为最优笔记长度与频率提供理论指导。 Q6: 总结一下论文的主要内容该论文针对**长上下文智能体的上下文管理问题**展开研究。现有智能体通常遵循 ReAct 范式，将每步推理与观察不断追加至上下文，导致固定大小的上下文窗口在长程任务（如整本书级别的多跳问答）中被迅速耗尽。即便使用更大窗口的先进模型（如 GPT-5.5 与 GLM-5.3），也几乎不会有效调用压缩笔记工具来记录进展，而纯强化学习又因行为空间稀疏难以自发发现高质量的笔记策略。为此，论文提出 **MEMENTO**，一个基于 Qwen3-8B 的长上下文处理智能体，通过联合设计训练流程与测试时框架来学习上下文管理。 MEMENTO 的核心方法分为两阶段。**第一阶段**利用 GLM-5.3 的正确轨迹，通过事后合成（hindsight）方式注入符合启发式规则（频率、位置、多样性）的压缩笔记，构建约 6K 条监督微调（SFT）数据，从而向模型灌输“何时记录、记录什么”的初始策略。**第二阶段**采用 GRPO 进行强化学习优化，使用融合格式合规、答案正确性、笔记有效性与置信度校准（负 Brier 分数）的轨迹级混合奖励，并令跨越多窗口的所有助手 Token 共享同一轨迹优势，使早期窗口中的笔记动作也能从最终答案获得学习信号。尽管训练仅基于“压缩至全新窗口”这一最简单模式，但由于笔记结构与提示布局的一致性，MEMENTO 在测试时可零样本泛化至**上下文折叠**（保留最新笔记后的近期工作）与**基于置信度的回溯**（低置信度时回退至早期笔记检查点重试）。实验在 LiteraryQA、NovelHopQA、SagaScale 与留测集 NovelQA 上进行，书籍最长可达 250 万 Token。结果表明，MEMENTO 将 Qwen3-8B 的准确率从 36.9% 提升至 **67.8%**，且上下文始终不超过 20K Token。在相同测试框架下，其性能接近约 100 倍更大的 GLM-5.3 智能体（69.3%），推理成本仅为其 **1/9**；同时远超 GPT-5.5 在相同框架下的表现（13.1%），甚至超过 GPT-5.5 的全上下文性能（56.7%），成本仅为 **1/54**。与 GLM-5.3 的全上下文最优结果（74.3%）相比，MEMENTO 将差距缩小至 6.4 个百分点，而成本仅约 **1/26**。消融实验进一步表明，SFT 与 RL 缺一不可：SFT 提供可优化的笔记行为先验，RL 则将其转化为可靠的跨窗口策略；上下文折叠能有效提升准确率并降低 Token 消耗，而置信度回溯对强策略的增益相对有限，主因在于模型对部分错误仍保持过度自信。论文结论认为，上下文管理并非可通过简单提示或规模扩大自然涌现的能力，而应与任务及智能体框架**协同学习**。通过显式学习何时压缩、如何记录与怎样回溯，一个 8B 规模的开源模型即可在长上下文任务中逼近百倍大模型的性能，同时实现数量级的成本降低。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yunfan Zhang, Taehoon Hwang, Kathleen McKeown, Smaranda Muresan

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00244.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00244

Published: 2026-11-04T03:14:03.448Z

3. Cross-Lingual Persona Effects in LLM Negotiation

Abstract:Tell an LLM negotiator to be “headstrong” and it should hold firm on price, but does that instruction retain the same behavior in every language? To test this, we use identical buyer and seller instances of Gemini 3.6 Flash to negotiate the same 12 CraigslistBargain scenarios in English and Korean. The pilot-scale 2 x 2 x 3 design crosses interaction language, seller urgency (none or strong), and buyer persona (cooperative, neutral, or headstrong), yielding 432 attempted negotiations. We call this property cross-lingual social-policy fidelity: whether a prompt-defined social policy produces the same behavioral effect regardless of interaction language. It often does not. Korean negotiations reached agreement far more often than English (77.3% vs. 52.5%, a 24.8-point gap, Holm-adjusted p = .0039), but only for neutral and headstrong buyers; cooperative buyers were already near-ceiling in both languages. Buyers’ opening offers barely differed by language; the gap instead emerged later, through larger seller concessions and a smaller final gap in Korean, and agreed prices were also lower in Korean. Repeating the full design with Qwen3.7 Flash as both agents gives directional support: agreement was again higher in Korean (+13.9 points vs. Gemini’s +24.8, with an interval whose lower bound is near zero), and sellers again conceded more. Pragmatic analysis reveals why: while both languages frequently featured face-threatening acts like rejections and counter-offers, Korean dialogue softened these threats with substantially more politeness mitigation, especially among sellers (11.7% vs. 3.6%). These results show that such a policy can produce different simulated negotiation behavior, not just different wording, when only the interaction language changes.

中文摘要

摘要：告诉一个大型语言模型（LLM）谈判者要“固执”，它应该在价格上坚持立场，但这种指令在每种语言中是否都会保持相同的行为？为测试这一点，我们使用相同的 Gemini 3.6 Flash 买家和卖家实例，以英语和韩语进行同样的 12 个 CraigslistBargain 场景的谈判。试点规模为 2 x 2 x 3 的设计跨越了交互语言、卖方紧迫性（无或强）和买方角色（合作型、中立型或固执型），共进行了 432 次尝试谈判。我们称这种属性为跨语言社会政策忠实度：即提示定义的社会政策是否无论交互语言如何都能产生相同的行为效果。实际上，通常并非如此。韩语谈判达成协议的频率远高于英语（77.3% 对 52.5%，差距 24.8 个百分点，Holm 调整后 p = .0039），但仅限于中立型和固执型买家；合作型买家在两种语言中已接近上限。买方的初始报价几乎不因语言而异；差距主要在后期显现，通过卖方更大的让步和韩语中较小的最终差距，同时韩语的达成价格也更低。用 Qwen3.7 Flash 作为两方代理重复完整设计提供了方向上的支持：韩语的协议再次更高（比 Gemini 高出 +13.9 个百分点，而 Gemini 为 +24.8，区间下限接近零），卖方再次做出更多让步。语用分析揭示了原因：虽然两种语言的对话中都频繁出现威胁面子的行为，如拒绝和反报价，但韩语对这些威胁进行了显著的礼貌缓和，尤其是在卖方中（11.7% 对 3.6%）。这些结果表明，当仅改变交互语言时，这类政策可能产生不同的模拟谈判行为，而不仅仅是不同的措辞。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00300 (HTTP 429)

Authors: Saehee Eom, Tejas Khandwekar

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00300.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00300

Published: 2026-11-04T03:14:03.448Z

4. GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport

Abstract:A child learns which words name which things from roughly 100 million words of input. Vision-language models trained at a comparable scale bind words to referents far less reliably, and we argue that part of the gap is structural: the usual next-token captioning objective has no variable standing for “this word refers to that region,” so training applies no direct pressure to ground words. We add such a variable by treating each scene as a small assignment problem between the content words heard and the regions seen, solved as entropic optimal transport under two constraints. First, a word may be assigned to a special NOTHING column instead of any region, which matters because most content words in caregiver speech do not name anything visible. Second, no region may receive more than a bounded share of the assignment mass, a capacity constraint that encodes mutual exclusivity. The alignment step costs about eight Sinkhorn iterations, small next to the vision encoder. In controlled simulation, the naive version of the idea, a row-wise softmax that forces every word onto some region, collapses to 0.000 word-to-picture accuracy under realistic non-reference rates, below the 0.058 of captioning alone, while our two constraints reach 0.075 in that regime and 0.700 on clean input. A one-parameter version of the model reproduces adult cross-situational learning accuracy across three ambiguity conditions (RMSE 0.024). On the SAYCam infant video corpus, adding the alignment loss to a next-token captioning model raises word-to-picture accuracy from 32.4% to 48.7% and localization IoU from 0.18 to 0.38. A contrastive model trained on the same child’s data remains stronger on its own benchmark, so our claim is that the loss improves a captioning objective under high non-reference rates, not that it sets a new best.

中文摘要

摘要：一个孩子通过大约1亿个词的语言输入学习哪些词对应哪些事物。在相当规模下训练的视觉-语言模型将词汇绑定到指称对象的能力远低于人类，我们认为其中一部分差距是结构性的：通常的下一个词预测（next-token captioning）目标中没有用于表示“这个词指向那个区域”的变量，因此训练过程中没有对将词汇与视觉目标关联施加直接压力。我们通过将每个场景视为听到的内容词与看到的区域之间的小型分配问题来添加这样的变量，该问题在两个约束条件下作为熵最优传输问题求解。首先，一个词可以被分配到一个特殊的“无（NOTHING）”列而不是任何区域，这很重要，因为大多数护理者的言语内容词并不指称任何可见事物。其次，任何区域接收到的分配质量不能超过上限，这一容量约束体现了互斥性。对齐步骤大约需要八次 Sinkhorn 迭代，相对于视觉编码器来说代价很小。在受控模拟中，简单版本的想法——按行应用 softmax 将每个词强制指向某个区域——在真实的非指称率下单词与图片的准确率降至0.000，低于仅使用字幕预测的0.058，而我们的两项约束在该情况下达到0.075，在干净输入下达到0.700。模型的一个单参数版本在三种歧义条件下重现了成人跨情境学习的准确率（RMSE 0.024）。在 SAYCam 婴儿视频语料库上，将对齐损失添加到下一个词预测模型中，将单词与图片的匹配准确率从32.4%提高到48.7%，定位 IoU 从0.18提高到0.38。在同一名儿童的数据上训练的对比模型在其自身基准上仍然表现更强，因此我们的主张是该损失可以在高非指称率下改善字幕预测目标，而不是创造新的最佳结果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00319 (HTTP 429)

Authors: Rajdeep Pal, Jotiraditya Banerjee, Saptarshi Pani

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00319.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00319

Published: 2026-11-04T03:14:03.448Z

5. Queering the Audits: Community-Based Auditing of AI Harms to Queer Communities

Abstract:AI systems embed majority-group defaults into training data, evaluation metrics, and category definitions, producing documented harms for queer communities including erasure, misclassification, and discrimination. Standard technical audits often rely on aggregate measures and cannot detect harms that be come visible only through the lived experience of affected communities. We conducted a participatory auditing workshop at EurIPS 2025 where 16 queer community members audited four case studies using the 4Cs harm taxonomy (Content, Conduct, Contact, Contract) applied across the AI lifecycle. Participants used structured worksheets and plenary synthesis to classify harms and trace them to their origins in the development pipeline. Across all four cases, participants traced harms to problem definition and data collection, and they identified contractual structures that extract value from vulnerable populations while providing minimal recourse. These findings illustrate that community-informed auditing surfaces concrete, identity-specific harms that aggregate evaluation methods risk overlooking.

中文摘要

摘要：人工智能系统将多数群体的默认设置嵌入训练数据、评估指标和类别定义中，从而对酷儿群体产生了有据可查的伤害，包括抹除、错误分类和歧视。标准技术审计通常依赖总体指标，无法发现只有通过受影响社区的实际体验才能显现的伤害。我们在EurIPS 2025举办了一次参与式审计工作坊，16名酷儿社区成员使用4Cs伤害分类法（内容、行为、接触、契约）审计了四个案例，并将其应用于整个AI生命周期。参与者使用结构化工作表和全体总结来分类伤害，并追溯其在开发管道中的起源。在所有四个案例中，参与者将伤害追溯到问题定义和数据收集，并发现了从脆弱群体中提取价值、但提供最少救济的契约结构。这些发现表明，社区参与的审计能够揭示具体的、与身份相关的伤害，而总体评估方法则有可能忽视这些伤害。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00345 (HTTP 429)

Authors: Organizers of QueerInAI, A Pranav, Alissa A. Valentine, Alex Markham, Beckett LeClair, Tereza Blazkova, Ekaterina Kornilitsina, Sofie H. Bruun, Gerasimos Spanakis, Anne Lauscher

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00345.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00345

Published: 2026-11-04T03:14:03.448Z

6. Cross-Prompt Reuse of Entity-Replacement Responses

Abstract:With model weights fixed, we measure how much of an entity-replacement response transfers between English factual questions, beyond whether answers change. We add the hidden-state change from two source questions to a target question about the same entity, comparing the predicted log-probability shift between two relations’ published answers, given known answer prefixes, with the measured one. Hidden reuse injects the aligned change at 50% depth before the target’s remaining layers; direct reuse adds source output-score changes. With other-relation sources, hidden reuse removes 45% and 49% of no-change error on 0.5-1B Qwen and Llama. Gemma-2-2B removes 22% and passes one of three comparisons in plain text without its default beginning-of-sequence (BOS) token. A later protocol restoring it yields 58-68%, passing every comparison on three cohorts. Larger checkpoints, chat format and new entities show replication and format- or cohort-dependent failures. On small plain-format checkpoints, other-relation hidden reuse mainly reproduces the shift both relations’ questions share, without reliably lowering relation-selective error. With target-relation sources, hidden reuse’s post hoc advantage over direct reuse is 0.2-0.9 nats outside chat format, unconfirmed and not replacement-specific. The same relation-neutral change at both questions’ entity tokens lowers relation-selective error more than random or other-replacement changes, indicating receiving-question dependence.

中文摘要

摘要：在模型权重固定的情况下，我们测量实体替换响应在英语事实性问题之间的迁移程度，而不仅仅是答案是否发生变化。我们将两个源问题的隐藏状态变化加到关于同一实体的目标问题上，比较在已知答案前缀的情况下，预测的两个关系发布答案的对数概率变化与实际测量的变化。隐藏重用在目标剩余层之前的50%深度注入对齐变化；直接重用则添加源输出分数变化。使用其他关系的源问题时，隐藏重用在0.5-1B Qwen和Llama上分别消除了45%和49%的无变化错误。Gemma-2-2B消除了22%，并在不使用其默认序列开始（BOS）标记的普通文本中通过三次比较中的一次。稍后的协议恢复BOS标记时，消除了58-68%的错误，并在三个组群的所有比较中均通过。更大的检查点、聊天格式以及新实体显示了复制效果以及格式或组群依赖的失败。在小型普通格式检查点上，其他关系隐藏重用主要再现两个关系问题共享的变化，而不可靠地减少关系选择性错误。对于目标关系的源问题，隐藏重用相对于直接重用的事后优势在聊天格式之外为0.2-0.9 nats，未经确认且非特定于替换。在两个问题的实体标记处相同的关系中立变化，相较随机或其他替换变化更能降低关系选择性错误，表明其依赖于接收问题。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00352 (HTTP 429)

Authors: Jinkun Chen, Xuemin Yu, Sijia Han, Vlado Keselj

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00352.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00352

Published: 2026-11-04T03:14:03.448Z

7. Humanized but Still True? Auditing Facts and Detection in AI-Text Humanizers

Abstract:AI “humanizers” rewrite machine-generated text so that detectors classify it as human-written. Public leaderboards score evasion and embedding similarity, but not whether checkable details survive. We check whether numbers, dates, person and organization names, and quoted spans survive each rewrite, using a rule-based checker validated by two AI annotators (precision 0.84-1.00, recall 0.93-0.95; no human annotation). In the October 2026 cycle of a public humanizer leaderboard, all 11 commercial tools changed or dropped at least one of these units in 35-65% of the documents that contained one. Most changes were to quoted spans; counting numbers and names alone, 10 of the 11 tools still altered at least one in 20% or more of the documents. The September 2026 cycle was similar (19-50%). An open 12B humanizer kept at least 97% of numbers and names in fact-dense U.S. federal agency text, but reworded 67-78% of the quoted spans, against its own prompt. Unit retention and detector evasion were not clearly related across tools (Spearman rho = -0.46, 95% CI -0.65 to 0.08), and the open model’s four released files (two of them quantization-aware low-bit files) did not show the pre-registered monotone trade-off. On federal texts with matched human, AI-styled and humanized versions, a general-purpose decision model, Jev, asked a single zero-shot question, separated human originals from humanized rewrites with AUROC 0.864 (0.827-0.902), 0.18-0.22 higher than Binoculars, Fast-DetectGPT and the adversarially trained RADAR, while calling 24% of the human originals AI at a 0.5 threshold. On the AI-styled rewrites by 2026 models, both perplexity-based detectors scored below chance (AUROC 0.37 and 0.39), also with line breaks removed. Hypotheses, data rules and analyses were frozen before the main runs; two earlier data contacts are disclosed. We release the checker and the per-item results.

中文摘要

摘要：AI“人性化工具”会改写机器生成的文本，使其被检测器判定为人工撰写。公开的排行榜会对规避检测和嵌入相似度进行评分，但不会评估可核查细节是否保留。我们检查每次改写中数字、日期、人物和组织名称以及引用片段是否被保留，使用由两名 AI 注释员验证的基于规则的检查器（精确率 0.84-1.00，召回率 0.93-0.95；无需人工注释）。在 2026 年 10 月的公开人性化排行榜周期中，所有 11 款商业工具在包含这些单元的文档中，至少有 35-65% 的文档改变或删除了其中的一个。大多数更改发生在引用片段；仅统计数字和名称，11 款工具中有 10 款在 20% 及以上的文档中仍然至少更改一个。2026 年 9 月的周期情况类似（19-50%）。一款公开的 12B 人性化模型在事实丰富的美国联邦机构文本中保留了至少 97% 的数字和名称，但改写了 67-78% 的引用片段，与其自身提示不符。各工具的单元保留率与检测规避之间没有明显关联（Spearman rho = -0.46，95% CI -0.65 至 0.08），且该公开模型发布的四个文件（其中两个为量化感知低比特文件）未显示预注册的单调权衡。在匹配有人类、AI 风格和人性化版本的联邦文本中，一个通用决策模型 Jev 仅通过一个零次学习的问题，就能区分人类原文与人性化改写，AUROC 为 0.864（0.827-0.902），比 Binoculars、Fast-DetectGPT 和经过对抗训练的 RADAR 高 0.18-0.22，同时在 0.5 阈值下，将 24% 的人类原文误判为 AI 文本。在 2026 年模型生成的 AI 风格改写文本上，两种基于困惑度的检测器均低于随机水平（AUROC 分别为 0.37 和 0.39），且去掉了换行符。假设、数据规则和分析在主要实验前已冻结；公开了两个早期的数据接触记录。我们发布了检查器及每项结果数据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00359 (HTTP 429)

Authors: Ziyuan Wang, Genliang Zhu, Xiaobo Chen

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00359.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00359

Published: 2026-11-04T03:14:03.448Z

8. Circuit Oracle: Automating Attribution Graph Analysis via Natural-Language Queries

Abstract:Attribution graphs, an emerging tool in mechanistic interpretability, use transcoders to decompose language model computations into sparse interpretable features connected by causal edges. However, turning a graph into a safety-relevant insight requires hours of manual analysis by experts. We introduce Circuit Oracle, an off-the-shelf LLM equipped with a multi-agent harness and task-specific authored skills, which answers natural-language questions about a target model by reading the attribution graph through tool calls. We evaluate it on three safety-relevant proxy tasks: detecting spurious features in probe circuits, eliciting hidden knowledge from taboo-finetuned models, and suppression jailbreaking via feature-level interventions. Beyond task scores, the oracle produces pruned subgraphs and context-specific feature explanations that we assess qualitatively. Results are mixed. On spurious-feature detection, Circuit Oracle reaches 78.2 $\pm$ 2.4% accuracy, outperforming single-layer feature-ranking baselines. On secret elicitation, trained self-explainers like Activation Oracles remain the stronger baseline. On refusal suppression over 50 prompts, its single committed intervention is slightly below a diff-in-means baseline, and only exceeds it when allowed the best of five attempts. Results are stable across five runs and across model choices for the agents. We also release the pruned subgraphs and context-specific feature readings that revise existing global labels, and invite future work to develop evaluations that can measure their usefulness directly.

中文摘要

摘要：归因图是机械解释领域的新兴工具，利用转码器将语言模型计算分解为稀疏且可解释的特征，并由因果边缘连接。然而，将图转化为安全相关洞察需要专家数小时的人工分析。我们介绍了Circuit Oracle，一款现成的大型语言模型，配备多智能体工具和任务特定作者技能，通过工具调用读取归因图，回答目标模型的自然语言问题。我们通过三个安全相关代理任务评估其表现：探针电路中的虚假特征检测、从禁忌微调模型中提取隐藏知识，以及通过特征级干预抑制越狱。除了任务评分外，oracle还生成修剪子图和上下文特定特征解释，我们对其进行定性评估。结果参差不齐。在虚假特征检测中，Circuit Oracle 达到 78.2 $\pm$ 2.4% 的准确率，优于单层特征排名基线。在秘密诱发方面，训练有素的自我解释工具如激活预言机仍是更强基线。在 50 个提示的拒绝抑制中，其单次提交干预略低于差异均值基线，且仅在允许五次尝试中最好时才超过。结果在五次运行和各模型选择中保持稳定。我们还发布了修剪后的子图和上下文特定特征读数，这些数据可修订现有全局标签，并邀请未来研究开发可直接衡量其实用性的评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00420 (HTTP 429)

Authors: Shariar Kabir, Hong Kiat Tan, Swastik Agrawal, Sai V R Chereddy, Sriram Balasubramanian

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00420.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00420

Published: 2026-11-04T03:14:03.448Z

9. Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent

Abstract:When a multi-turn agent delivers a tool’s structured records into the model’s context and re-emits them each turn, every turn can corrupt data the tool computed correctly. We measure this in a production award-travel agent: two architectures over identical frozen payloads, lineage-matched prompts and sampling, differing only in delivery architecture. SYNTHESIS feeds full record sets into the planner’s context and answers follow-ups in-head; BYPASS, the deployed system, keeps records in session state, translates follow-ups into arguments for a deterministic filter, and delivers rows over a typed side channel. Across 24 dialogues (339 scored turns per condition), BYPASS scores 92.3% of turns fully correct, SYNTHESIS 45.7% (paired gap +46.6pp [+35.7, +57.1]). Varying delivered-table size by capture date, SYNTHESIS collapses from near-perfect at 10 rows or fewer to 8% or less beyond about 74 rows. On a content-controlled prefix ladder the collapse threshold orders by model capability, from under 10 rows (GPT-4o-mini) to about 198 or more (Gemini 2.5 Pro), while BYPASS stays size-flat for all four models. The collapse is expensive: beyond 100 rows, where almost no SYNTHESIS answer is correct, each correct one costs roughly 200x BYPASS’s flat $0.012. Practitioners converged on typed side-channel delivery for rendering, not correctness; we show it was, unknowingly, also a correctness decision.

中文摘要

摘要：当一个多轮代理将工具的结构化记录传入模型的上下文中并每轮重新输出时，每一轮都可能破坏工具计算正确的数据。我们在一个实际的奖励旅行代理中测量了这一点：两个架构在相同的冻结负载、血统匹配的提示和采样条件下，仅交付架构不同。SYNTHESIS 将完整记录集输入到规划器的上下文中，并在脑内回答后续问题；BYPASS（部署系统）将记录保存在会话状态中，将后续问题转换为确定性过滤器的参数，并通过类型化的旁路渠道交付行。在 24 次对话（每个条件 339 个评分轮）中，BYPASS 有 92.3% 的轮次完全正确，SYNTHESIS 为 45.7%（配对差异 +46.6 个百分点 [+35.7，+57.1]）。通过按捕获日期改变交付表的大小，SYNTHESIS 从 10 行或更少时几乎完美，下降到约 74 行以上时不足 8%。在内容控制前缀阶梯上，崩溃阈值按模型能力排序，从不到 10 行（GPT-4o-mini）到约 198 行或更多（Gemini 2.5 Pro），而 BYPASS 对所有四个模型保持大小稳定。崩溃代价高昂：超过 100 行时，几乎没有 SYNTHESIS 回答是正确的，每个正确答案的成本大约是 BYPASS 固定成本 0.012 美元的 200 倍。实践者趋于采用类型化旁路渠道进行渲染，而非确保正确性；我们展示了这同样是一个关于正确性的决定，只是当时未被意识到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00442 (HTTP 429)

Authors: Tung Thanh Hoang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00442.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00442

Published: 2026-11-04T03:14:03.448Z

10. From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory

Abstract:Retrieval-augmented generation (RAG) helps large language models (LLMs) answer factual questions beyond their training data, but it adds storage and inference costs. Distilling previously retrieved information into parametric memories enables reuse without online retrieval. However, training the memory to mimic a retriever rewards accurate independent predictions, which do not necessarily improve the final output quality when combined with the LLM’s existing predictions. To address this, we introduce ResMem, in which the LLM reads retrieved text offline to generate teacher targets. This design avoids storing massive token representations, unlike existing parametric memory approaches such as MLP Memory, which relies on k-nearest neighbor (kNN) datastores. Furthermore, by using the LLM as an offline teacher that reads privileged retrieved evidence alongside the input, we train a parametric memory to learn an additive logit residual. This residual aligns the predictions of a student sharing the same backbone with the teacher distribution, while self-distillation updates remain confined to the parametric memory. On a Wikipedia subset, ResMem reduces the storage retained for teacher construction by 94.7% compared with the evaluated kNN pipeline. Across five question answering datasets, ResMem raises mean token F1 from 32.83% for the frozen LLM to 34.48%. It also breaks 21% fewer of the LLM’s correct answers than a kNN-trained memory. These findings validate our motivation of treating retrieval as a learning resource, with parametric memory shaped by how retrieved knowledge is used to inform the model’s future predictions. Code and model weights are available at this https URL and this https URL.

中文摘要

摘要：检索增强生成（RAG）帮助大型语言模型（LLM）回答超出其训练数据的事实性问题，但它增加了存储和推理成本。将先前检索的信息提炼到参数化记忆中可以在无需在线检索的情况下重用。然而，训练记忆以模仿检索器会奖励独立预测的准确性，但当与LLM现有预测结合时，这些独立预测不一定改善最终输出质量。为了解决此问题，我们引入了ResMem，其中LLM离线读取检索到的文本以生成教师目标。这种设计避免了存储大量的标记表示，这与依赖k近邻（kNN）数据存储的现有参数化内存方法（如MLP Memory）不同。此外，通过使用LLM作为一个离线教师，同时读取特权检索证据和输入，我们训练参数化记忆以学习一个加性logit残差。该残差使共享相同骨干的学生的预测与教师分布对齐，而自蒸馏更新仍然局限于参数化记忆。在维基百科的一个子集上，ResMem在教师构建的存储需求上比评估的kNN流程减少了94.7%。在五个问答数据集上，ResMem将冻结LLM的平均token F1从32.83%提高到34.48%。它还比经过kNN训练的记忆打破LLM正确答案的比例少21%。这些发现验证了我们将检索视为学习资源的动机，参数化记忆的塑造依据是检索到的知识如何用于指导模型的未来预测。代码和模型权重可通过此https URL和此https URL获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00450 (HTTP 429)

Authors: Changjiang Han, Bowei He, Ye Yuan, Weixu Zhang, Haolun Wu, Xue Liu, Jikun Kang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2611.00450.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00450

Published: 2026-11-04T03:14:03.448Z

Agent Domain Papers

1. A Generalized Sparse Fuzzy Clustering Framework with Automated Cluster Cardinality Estimation Ability

Abstract:Fuzzy clustering provides a robust framework for handling ambiguous and overlapping data boundaries, yet its traditional formulation generates entirely dense membership assignments that limit noise resilience and prevent estimating the true number of clusters, when it is unknown. To address these limitations, we introduce in this paper the Generalized Sparse Fuzzy Clustering (GSFC) framework, which incorporates a continuous sparsity penalty into the fuzzy objective function. Because closed-form solutions are precluded by the simultaneous presence of fuzzifier and sparsity exponents, we propose an efficient primal-dual bisection search coupled with specialized analytic pathways to rigorously enforce the partition constraint while organically driving trace memberships to exact zero. This mathematically enforced sparsity empowers the algorithm to autonomously estimate the true number of clusters by dynamically pruning redundant clusters, provided that it is initialized by a larger than the true number of clusters. Furthermore, we integrate a virtual noise sink to insulate outliers from the rest of the data points. The usage of the proposed framework is also extended to line segment detection. Extensive empirical evaluations across synthetic toy datasets, high-noise geometric stress tests, and real-world benchmarks (UCI wine dataset and hyperspectral images) demonstrate that GSFC effectively exceeds conventional fuzzy benchmarks while autonomously resolving cluster cardinality. Additionally, it significantly outperforms existing sparse possibilistic and probabilistic soft-clustering alternatives in line detection tasks.

中文摘要

摘要：模糊聚类为处理模糊和重叠的数据边界提供了一个稳健的框架，但其传统形式会生成完全密集的隶属分配，这限制了噪声的抗性，并在聚类数量未知时阻碍了真实聚类数量的估计。为了解决这些限制，本文引入了广义稀疏模糊聚类（GSFC）框架，该框架在模糊目标函数中引入了连续稀疏性惩罚。由于模糊化指数和稀疏指数同时存在，闭式解无法获得，我们提出了一种高效的原始-对偶二分搜索方法，结合专门的解析路径，严格执行划分约束，同时自然地将痕迹隶属度驱动到精确为零。这种数学上强制的稀疏性使算法能够通过动态修剪冗余聚类，自主估计真实的聚类数量，前提是初始化时聚类数量大于真实聚类数量。此外，我们整合了虚拟噪声汇，以将异常值从其他数据点中隔离。所提出框架的使用还扩展到线段检测。在合成示例数据集、高噪声几何压力测试以及真实世界基准（UCI葡萄酒数据集和高光谱图像）上的广泛实证评估表明，GSFC在超越传统模糊基线的同时，能够自主解决聚类基数问题。此外，它在直线检测任务中显著优于现有的稀疏可能性和概率软聚类方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00159 (HTTP 429)

Authors: George Stamatelis, Konstantinos Koutroumbas

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00159.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00159

Published: 2026-11-04T03:14:27.163Z

2. Learning to bid and bundle: a posterior-sampling agent for online retail

Abstract:An online retailer launching a perishable product bids for sponsored-search clicks, discounts a bundle with an always-stocked staple and displays its remaining stock, which raises willingness to pay. It knows neither how clicks respond to its bid nor how strong and dispersed its market is, and learns both over repeated seasons from data its own decisions censor: a zero bid reveals nothing about paid clicks, and choices follow only clicks. We design a posterior-sampling agent for it. Each period it draws a market from an exact posterior and posts the bid and discount of that market’s exactly solved season plan, so every action is one a fully informed seller could take. In a simulated online florist it has the lowest regret averaged over markets. In weak markets it gives up 12% to 23% of one season’s revenue over 500 seasons, four to seven times less than drawing once per season. A planner acting on point estimates can stop bidding and never learn that bidding pays. The agent escapes after about three seasons on average, against fifty with one draw per season. Where displayed scarcity keeps willingness to pay above the posted price, the discount needs no learning. Customers waiting for the discount to return to its recent level look like lost sales, so frequent waiting makes the agent underrate its market. One discount per season removes waiting at a cost of 5.9% of clairvoyant revenue in a weak market and none in a strong one.

中文摘要

摘要：一家在线零售商推出易腐产品时，会为赞助搜索点击出价，将其与常备商品捆绑打折，并显示剩余库存，从而提高支付意愿。它既不知道点击量如何响应其出价，也不知道市场的强度和分布情况，而是通过重复季度的数据来学习这两者，而这些数据被自身的决策所屏蔽：零出价无法透露付费点击的情况，且选择只跟随点击量。我们为其设计了一种后验抽样代理。每个时期，它都从精确后验中抽取一个市场，并发布该市场已精确求解的季度计划的出价和折扣，因此每一个行为都是完全知情的卖家可能采取的。在模拟的在线花店中，它在各市场平均看来具有最低的后悔值。在弱市场中，它在500个季度中放弃了12%至23%的季度收入，是每季度抽取一次的四到七倍少。一个根据点估计行动的计划者可能会停止出价，从而永远无法学习出价带来的收益。平均而言，该代理大约三季后便能逃脱，而每季只抽取一次时需要五十季。当显示的稀缺性保持支付意愿高于标价时，折扣无需学习。等待折扣回到最近水平的顾客看起来像是流失的销售，因此频繁等待会导致代理低估其市场价值。每季一次折扣可以消除等待，在弱市场中成本为具有预知能力的收入的5.9%，在强市场中则无成本。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00165 (HTTP 429)

Authors: Hadi Mohammadi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00165.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00165

Published: 2026-11-04T03:14:27.163Z

3. Early Stopping in Large Reasoning Models: A Survey and Empirical Audit of Efficiency and Reliability

Abstract:Large reasoning models can improve accuracy by generating longer reasoning traces, but some of this computation may be unnecessary. Early-stopping methods aim to stop once enough reasoning is available to answer. Evaluating these methods requires accounting for the cost of deciding when to stop and the reliability of the resulting answer. We evaluate different methods across five reasoning models on mathematical and scientific reasoning, code generation, and factuality tasks by using a shared rollout replay protocol. We introduce Target-Integrated Token Efficiency (TITE) to measure efficiency relative to the oracle across accuracy targets. We also examine correctness at later exit positions, transfer across models and tasks, post-stop reasoning continuation, and retained justification quality. In our experiments, correctness can decrease at later positions beyond what the fitted decoding-noise model predicts. Reliability checks also reveal continued reasoning after forced termination and weaker supporting reasoning in some correct early-stopping outputs. The implementation can be found in this https URL.

中文摘要

摘要：大型推理模型可以通过生成更长的推理轨迹来提高准确性，但其中一些计算可能是不必要的。早停方法旨在在有足够推理以得出答案时停止。评估这些方法需要考虑决定何时停止的成本以及结果答案的可靠性。我们通过使用共享的回放执行协议，在数学和科学推理、代码生成以及事实性任务上评估五种推理模型的不同方法。我们引入了目标集成令牌效率（Target-Integrated Token Efficiency，TITE）来衡量相对于参考值在不同准确率目标下的效率。我们还考察了在后续退出位置的正确性、跨模型和任务的迁移性、停止后推理的继续情况以及保留的推理质量。在我们的实验中，后续位置的正确性可能下降，超出拟合解码噪声模型的预测。可靠性检查还显示，在强制终止后推理仍在继续，并且一些正确的早停输出中的支持性推理较弱。实现代码可在此 https URL 找到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00166 (HTTP 429)

Authors: Quang Hung Nguyen, Hanh Nguyen, Thanh Tam Nguyen, Quoc Viet Hung Nguyen, Trinh Pham, Thanh Trung Huynh

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00166.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00166

Published: 2026-11-04T03:14:27.163Z

4. PatchScout: Thematic Web Data Collection via Information Foraging

Abstract:Researchers often need web corpora that are not answers to a single query, but reusable collections of documents spanning many decentralized sources. We refer to this problem as thematic web data collection: assembling semantically relevant documents that share a common theme but are scattered across heterogeneous and structurally disconnected regions of the web. Existing approaches, including traversal-based methods and LLM-driven web agents, are limited by local exploration or short-horizon stopping, preventing comprehensive collection. We formulate this task as a long-horizon information foraging problem over query-induced semantic patches, where the central challenge is deciding when to continue local exploitation and when to switch to new regions. We propose PatchScout, a multi-agent framework that instantiates a class of patch-switching policies to balance local exploitation and adaptive patch switching under a fixed budget. Experiments on four live-web topics show that PatchScout substantially improves yield and domain coverage over traversal-based and search-augmented reasoning agent baselines. In an applied social science setting with an incomplete prior collection, PatchScout discovers 102 previously unidentified entities, illustrating its ability to expand existing thematic datasets.

中文摘要

摘要：研究人员通常需要的网络语料库并不是针对单一查询的答案，而是可重复使用的文档集合，这些文档覆盖多个分散的来源。我们将这个问题称为主题化网络数据收集：组装在语义上相关、共享共同主题但分散在异质且结构不连通的网络区域的文档。现有方法，包括基于遍历的方法和基于大型语言模型的网络代理，受限于局部探索或短期停止，无法进行全面收集。我们将该任务形式化为一个基于查询引发的语义片段的长远信息觅取问题，其中核心挑战是决定何时继续局部利用，何时切换到新区域。我们提出了PatchScout，一种多智能体框架，实现了一类片段切换策略，以在固定预算下平衡局部利用和自适应片段切换。在四个实时网络主题上的实验表明，PatchScout显著提高了产出和领域覆盖率，相较于基于遍历的方法和搜索增强推理代理基线。在应用社会科学的环境中，面对不完整的先前收藏，PatchScout发现了102个先前未识别的实体，展示了其扩展现有主题数据集的能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00169 (HTTP 429)

Authors: Michael West, Eduard Dragut

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00169.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00169

Published: 2026-11-04T03:14:27.163Z

5. Reimagining Text-to-SQL: A Survey of Large Language Model Architectures and Strategies

Abstract:Text-to-SQL systems translate natural language questions into executable SQL queries, democratizing access to relational data. Early approaches relied on handcrafted rules and template matching, while subsequent neural methods introduced encoder-decoder architectures, schema linking, and constrained decoding to handle increasingly complex queries. The emergence of large language models (LLMs), exemplified by systems such as ReFoRCE, Agentar-Scale-SQL, Snowflake’s Arctic-Text2SQL-R1, and the modular XiYan-SQL framework, has dramatically advanced the field, pushing execution accuracy to new state-of-the-art levels on challenging benchmarks such as Spider, Spider 2.0, and BIRD. In parallel, modular frameworks decompose the task into sub-problems (schema retrieval, sketch-based generation, repair, and ranking), while agentic systems coordinate multiple specialized agents that communicate and dynamically allocate sub-tasks. This survey systematically reviews these LLM-driven approaches within a unified taxonomy of five paradigms (in-context learning, supervised and parameter-efficient fine-tuning, agentic and tool-augmented orchestration, retrieval-augmented generation, and reinforcement learning) and characterizes them by model granularity (monolithic vs. modular), level of supervision (zero-shot, fine-tuned, or reinforcement-based), and reasoning style (direct decoding vs. decomposed multi-step reasoning). We further analyze evaluation metrics, datasets, and open challenges, including domain generalization, efficiency, and real-world deployment, and we examine the role of the semantic layer in production systems. As LLMs increasingly access sensitive databases, we also discuss responsible AI practices. We survey over 100 papers and technical resources, focusing on work published between 2022 and 2026.

中文摘要

摘要：文本到SQL系统将自然语言问题翻译为可执行的SQL查询，从而实现对关系数据的普及访问。早期方法依赖人工制定的规则和模板匹配，而后续的神经方法引入了编码器-解码器架构、模式链接和约束解码，以处理日益复杂的查询。大型语言模型（LLMs）的出现，例如ReFoRCE、Agentar-Scale-SQL、雪花公司的Arctic-Text2SQL-R1以及模块化XiYan-SQL框架，极大地推动了该领域的发展，在Spider、Spider 2.0和BIRD等具有挑战性的基准上将执行准确率提升至新的最先进水平。与此同时，模块化框架将任务分解为子问题（模式检索、基于草图的生成、修复和排序），而智能代理系统协调多个专门的代理，它们相互通信并动态分配子任务。本文综述了这些由LLM驱动的方法，并在五种统一范式（上下文学习、监督和参数高效微调、智能代理与工具增强的协调、检索增强生成及强化学习）下进行了系统分类，并根据模型粒度（整体与模块化）、监督水平（零样本、微调或基于强化学习）及推理方式（直接解码或分解多步骤推理）对其进行了特征描述。我们进一步分析了评估指标、数据集及未解决的挑战，包括领域泛化、效率及实际部署，并考察了语义层在生产系统中的作用。随着LLMs越来越多地访问敏感数据库，我们还讨论了负责任的人工智能实践。本文综述了100多篇论文及技术资源，重点关注2022年至2026年间发表的工作。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00171 (HTTP 429)

Authors: Shikhar Dave, Bhaskarjit Sarmah, Stefano Pasquali

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00171.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00171

Published: 2026-11-04T03:14:27.163Z

6. AuroraWorld: Structured 4D World Modeling for Exo-to-Ego Video Generation in Robot Manipulation

Abstract:Egocentric observations provide a robot-centric view of manipulation processes, capturing contact interactions and object-state changes that are important for visuomotor policy learning but difficult to observe from external cameras. However, collecting such data at scale remains expensive due to additional hardware requirements and platform-specific deployment costs. Synthesizing egocentric observations from large-scale exocentric manipulation videos provides a scalable alternative. However, existing methods struggle to synthesize physically consistent and policy-relevant egocentric videos under substantial viewpoint transformations, severe occlusions, complex object interactions, and inherently sparse observations from available exocentric viewpoints.

中文摘要

摘要：自我中心的观察为机器人提供了以自身为中心的操作过程视角，捕捉接触交互和物体状态变化，这些对于视觉运动策略学习非常重要，但从外部摄像机中很难观察到。然而，由于额外的硬件需求和特定平台的部署成本，按规模收集此类数据仍然昂贵。从大规模外中心操作视频合成自我中心观察提供了一种可扩展的替代方案。然而，现有方法在面对显著的视角变化、严重的遮挡、复杂的物体交互以及从可用外中心视角自然稀疏的观察数据时，难以合成物理上一致且与策略相关的自我中心视频。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决机器人操作中\*\*自我中心视频（egocentric video）合成的数据瓶颈与物理一致性问题\*\*。具体而言，其核心问题与动机可归纳如下： --- ### 1. 核心痛点：自我中心观察数据稀缺 - \*\*关键价值\*\*：自我中心观察（如腕部相机视角）能捕捉操作过程中的\*\*接触交互\*\*与\*\*物体状态变化\*\*，对视觉运动策略学习至关重要。 - \*\*收集成本\*\*：此类数据需要额外的传感硬件与平台特定的部署，导致大规模、跨平台的收集成本高昂且难以扩展。 ### 2. 现有外到内（Exo-to-Ego）合成方法的局限为缓解数据稀缺，研究者尝试从更易获取的外部观察（exocentric videos）合成自我中心视频，但现有方法存在根本性不足： - \*\*帧级视图合成\*\*（如基于NeRF或几何重建的方法）仅能逐帧渲染静态视角，\*\*缺乏对时间演化与动态交互的显式建模\*\*，无法保证长程时序连贯性。 - \*\*通用视频生成模型\*\*（如Latent Diffusion或Transformer架构）主要优化视觉真实感与外观一致性，\*\*未显式建模底层的物理世界状态与运动动力学\*\*，在复杂交互下易产生物理不合理的伪影。 - \*\*现有机器人世界模型\*\* 通常依赖额外的观测约束（如首帧真实自我中心图像或稠密外部视角），且\*\*未显式解耦空间结构、时间演化与运动轨迹\*\*。在稀疏外部观察条件下，难以应对： - 剧烈的视角变换（substantial viewpoint transformations） - 严重遮挡（severe occlusions） - 复杂的机器人-物体交互（complex object interactions） ### 3. 论文提出的关键科学问题该论文将外到内合成重新表述为\*\*从稀疏外部观察推断结构化4D具身世界表示\*\*的问题： > 如何在仅有稀疏外部相机视图的情况下，恢复一个\*\*几何一致、时序连贯、动态合理\*\*的4D具身环境状态，并据此生成可用于下游策略学习的物理真实自我中心视频？具体需建模的三个互补维度包括： - \*\*空间结构\*\*（ W_(sp) ）：3D场景几何与物体空间关系 - \*\*时间演化\*\*（ W_(tp) ）：关键操作状态的稀疏锚点（motion-stabilized temporal anchors） - \*\*运动动力学\*\*（ W_(mo) ）：末端执行器轨迹与交互动态 --- ### 总结论文的核心贡献在于提出 \*\*AuroraWorld\*\* —— 一个结构化4D世界模型，通过显式推断空间、时间与运动组件，将扩散视频生成条件化于\*\*物理世界的结构化先验\*\*之上，从而在稀疏外部观察下实现物理可信、策略相关的自我中心视频合成。 Q2: 有哪些相关研究？根据论文的 \*\*Related Work\*\* 章节，相关研究可归纳为以下三个主要方向： --- ### 1. 跨视角生成（Cross-view Generation）该方向旨在利用已有视角的视觉输入合成未观测视角的图像或视频。 - \*\*静态场景视图合成\*\* 近期方法通过建模场景结构实现静态多视角一致生成，主要包括基于 3D 重建的方法（如 Wang et al. 2024; Leroy et al. 2024; Wang et al. 2025; Liu et al. 2025; Huang et al. 2026; Szymanowicz et al. 2026）以及基于扩散模型的合成方法（Park et al. 2026）。 - \*\*动态外到内（Exo-to-Ego）视频生成\*\* 面向动态场景，现有研究利用条件视频生成模型，结合多视角、姿态感知等形式进行外到内合成（Liu et al. 2024; Xu et al. 2025; Mahdi et al. 2025; Kang et al. 2026; Song et al. 2025; Mahdi et al. 2026; Luo et al. 2024）。然而，这些方法主要针对通用视觉场景，以感知真实感为主要优化目标，缺乏对机器人操作所需的细粒度几何关系、接触交互与物体状态转换的显式建模。 - \*\*机器人操作中的外到内合成\*\* Qian et al. (2025) 提出了 WristWorld，初步探索了几何信息在自我中心视频合成中的作用，但缺乏对关键操作状态与运动动力学的显式建模，在稀疏外部观察下的适用性受限。 --- ### 2. 视频生成与具身世界模型（Video Generation and Embodied World Models）该方向关注大规模视频合成的建模框架，以及面向机器人交互的物理环境动力学建模。 - \*\*基础视频生成架构\*\* 潜变量扩散模型（Latent Diffusion Models）与基于 Transformer 的架构已成为主流范式（Blattmann et al. 2023; Wan et al. 2025; Kong et al. 2024; HaCohen et al. 2024; Li et al. 2026; Yang et al. 2026）。 - \*\*条件可控视频生成\*\* 为提升生成过程的可控性，研究者引入辅助视觉信号，如参考图像、深度图、相机姿态与几何结构，以增强序列间的一致性（Lee et al. 2025; Bian et al. 2025; Cai et al. 2026; Chen et al. 2026; Cao et al. 2026; Hu et al. 2026）。 - \*\*具身世界模型（Embodied World Models）\*\* 基于视频生成的具身世界模型被提出用于学习潜在环境动力学，并在动作条件下预测未来状态（Hu et al. 2025b; Zhen et al. 2025; Jang et al. 2025; Dharmarajan et al. 2025; Ye et al. 2026）。与传统视频生成模型主要优化视觉合理性不同，具身世界模型致力于捕捉潜在物理状态与动作条件化动态。近期研究通过几何建模（Zhen et al. 2025; Dharmarajan et al. 2025）、记忆机制（Guo et al. 2025）与动作条件化（Zhu et al. 2025）等策略提升物理合理性与长程一致性。其应用涵盖交互式训练环境模拟（Agarwal et al. 2026; Guo et al. 2025）、可扩展合成视频数据引擎（Jang et al. 2025; Ye et al. 2026）以及决策规划（Agarwal et al. 2026; Bi et al. 2026）。 --- ### 3. 具身策略学习与视觉-语言-动作模型（Embodied Policy Learning and VLA Models）该方向关注如何从感官观察中学习可泛化的机器人操作策略，以及多模态大模型在机器人控制中的应用。 - \*\*具身策略学习\*\* 旨在使机器人能够从视觉等感官输入中执行多样化任务（Chi et al. 2025; Kim et al. 2026; Khazatsky et al. 2024; Yin et al. 2026）。 - \*\*视觉-语言-动作（VLA）模型\*\* 通过联合建模视觉观察、自然语言指令与机器人动作，VLA 模型实现了从异构数据集中规模化学习操作策略（Zitkovich et al. 2023; Kim et al. 2025; Khazatsky et al. 2024; Yin et al. 2026; Zhang et al. 2026; Zhong et al. 2026）。然而，此类模型的性能与泛化能力仍强依赖于机器人交互数据的可用性与多样性，尤其是能够捕捉接触丰富操作过程的自我中心观察。这类数据的大规模收集仍具挑战性，因此催生了从更易获取的外部观察合成策略相关自我中心视频的研究需求。 Q3: 论文如何解决这个问题？论文通过提出 \*\*AuroraWorld\*\* 解决该问题，核心思路是将外到内（exo-to-ego）视频生成分解为\*\*两阶段\*\*：（1）从稀疏外部观察推断结构化的4D具身世界表示；（2）以此表示作为物理先验引导条件扩散模型生成自我中心视频。具体方法如下： --- ## 1. 结构化4D具身世界表示的推断给定稀疏外部视频 O_(exo) = x^((i))_(1:T)_(i=1)^(N_(cam)) 及其相机配置 C_(exo) ，AuroraWorld 首先构建4D世界表示：

W(4D) = Phi(O(exo), C(exo)) = W(tp), W(sp), W(mo)
其中包含三个互补组件：运动轨迹（ W(mo) ）、运动稳定时间锚点（ W(tp) ）与几何感知空间表示（ W(sp) ）。 ### 1.1 运动轨迹推断（ W(mo) ）在缺乏真实末端执行器轨迹的实用场景中，AuroraWorld 从外部视觉观察中推断运动轨迹作为动态锚点。具体而言，采用适配的逆动力学模型（IDM）预测8维末端执行器轨迹：

s(1:T) = f(φ)(O(exo))
其中每个时刻的状态表示为：
s_t = [p_t, q_t, g_t] ∈ R^8
这里 p_t ∈ R^3 为位置， q_t ∈ R^4 为单位四元数， g_t 为夹爪状态。该轨迹 W(mo) 捕获了操作过程的时间演化与交互动态，并用于后续锚点选择与潜变量初始化。 ### 1.2 运动稳定时间锚点构建（ W_(tp) ）为避免稠密中间视角带来的冗余约束与时序不一致累积，AuroraWorld 基于运动转换与稳定化机制，稀疏地选择信息最丰富的时间锚点。对于候选帧 t ，定义综合时间锚点分数：

Ft = R(eta_t rho_t)
其中 R(·) 为鲁棒的逐片段归一化。该分数由两项构成： - **视角转换分数** eta_t ，衡量末端执行器在先前时间间隔 Delta 内的累积位姿变化：
eta_t = R( d_p(p_t, p(t-Delta)) + λq d_q(q(t-Delta), qt) )
其中 d_p(·) 为欧氏距离， d_q(·) 为测地旋转距离， λ_q 平衡平移与旋转权重。 - **运动稳定化分数** rho_t ，评估末端执行器是否已达到局部稳定构型。首先计算一步运动变化：
δ^p_t = d_p(p_t, p(t-1)), quad δ^rt = d_q(q_t, q(t-1))
经时序平滑后得到 δ^pt 与 δ^r_t ，并聚合为瞬时运动信号：
o_t = (1) / (2) [ R(δ^p_t) + R(δ^r_t) ]
稳定化分数通过短时未来窗口 N_t 计算：
rho_t = 1 - R( (1) / (|N_t|) ∑(u ∈ Nt) o_u )
基于 F_t 选取 top- k 关键帧索引集 K 。由于外部观察缺乏自我中心视觉信息，AuroraWorld 利用适配的 LagerNVS 将对应外部帧转换到自我中心视角：
C^(ego)_t = H(cam)(st), quad x^(ego)_t = G(LagerNVS)( O^(exo)t, C^(exo)_t, C^(ego)_t )
合成的关键帧构成时间组件 W(tp) = x^(ego)t mid t ∈ K 。 ### 1.3 几何感知空间锚点构建（ W(sp) ）为应对大视角变换引入的空间歧义，AuroraWorld 从稀疏外部观察中提取潜在的几何感知3D场景表示。具体利用配备相机令牌的 LagerNVS 获得潜在3D场景令牌（latent 3D scene tokens），这些令牌编码了视角一致的场景结构，并保留了物体与环境间的几何关系，无需显式3D重建。所得令牌构成空间组件 W(sp) 。 —- ## 2. 结构化先验引导的自我中心视频生成在第二阶段，推断得到的 W(4D) 作为结构化先验，通过条件潜变量扩散模型引导自我中心视频合成：

x^(ego)(1:T) sim p(θ)( x^(ego)(1:T) mid W(4D), O(exo), C(exo) )

2.1 时间锚点状态条件化将 Q4: 论文做了哪些实验？论文从视频生成质量、下游策略学习与真实机器人验证三个层面开展实验，并辅以系统的消融研究与补充评估。具体实验内容如下： —- ### 1. 实验设置数据集 - DROID：用于大规模真实世界外到内视频生成，选用 17k 条成功操作片段训练，200 条评估。 - RLBench：用于模拟环境下的下游策略学习，遵循 PerAct 的 18 任务评估协议。 - ARX X5：自采真实机器人数据集，包含 6 种桌面操作任务共 600 条片段，用于物理世界验证。对比基线 - 帧级合成：VGGT、LagerNVS - 通用视频生成与世界模型：SVD、BWM（Boundless World Model） - 机器人中心外到内生成：Exo2Ego-V、WristWorld 评价指标 - 视频生成：PSNR、SSIM、LPIPS、FID、FVD - 策略学习：任务成功率（success rate） —- ### 2. 视频生成质量评估 DROID 真实世界视频生成（Table 1） - AuroraWorld 在大多数指标上优于现有方法。即使 BWM 拥有更大骨干网络且以真实首帧自我中心图像作为条件，AuroraWorld 仍在五项指标中的四项上取得更好结果。 ARX X5 真实机器人视频生成（Table 3） - 使用推断轨迹时，AuroraWorld 在 PSNR、LPIPS、FID 与 FVD 上均优于 WristWorld 与 BWM。推断轨迹 vs. 真实轨迹（Tables 1, 3, 16） - 在 DROID、RLBench 与 ARX X5 上，使用同步的真实末端执行器轨迹可提升 PSNR、SSIM 与 LPIPS，但分布级指标（FID、FVD）的提升具有数据集依赖性。 —- ### 3. 下游策略学习评估 RLBench-18 模拟策略学习（Table 2, Table 17, Table 18） - 以 RVT-2 与 π^(0.5) 为策略骨干，在 Replacement（仅用合成视频替代）与 Augmentation（合成数据增强）两种设置下训练。 - AuroraWorld 生成的观察在 Replacement 下显著优于仅使用外部视角（w/o Ego），并接近真实自我中心视频（Real Ego）的性能： - RVT-2：71.89%（AuroraWorld）vs. 72.49%（Real Ego）vs. 68.91%（WristWorld） - π^(0.5) ：43.56%（AuroraWorld）vs. 44.78%（Real Ego）vs. 41.96%（WristWorld）合成轨迹对策略学习的影响（Table 4） - 将推断轨迹替换为真实轨迹，在固定真实动作监督下，RVT-2 与 π^(0.5) 的平均成功率仅有微小提升（如 RVT-2 Replacement 从 71.89% 提升至 72.13%），表明策略性能对推断轨迹具有鲁棒性。无真实动作标签的策略学习（Table 5） - 在 Ego-Withheld 数据上，仅利用两条外部视频及其相机配置推断 8 维末端执行器轨迹，并合成自我中心视频作为策略输入与动作监督，无需任何真实自我中心视频或动作标签。 - 在 8 项任务上，AuroraWorld 对 RVT-2 与 π^(0.5) 均取得最高平均成功率（64.00% / 40.15%），分别超过 BWM 2.90 / 2.45 个百分点，超过 WristWorld 8.40 / 3.30 个百分点。 —- ### 4. 真实机器人验证（ARX X5）视频生成（Table 3） - 在外部视角推断设置下，AuroraWorld 取得最优的 PSNR、LPIPS、FID 与 FVD。真实机器人策略评估（Table 6, Table 20） - 在 6 项物理世界任务（叠毛巾、拉抽屉、叠杯、推黄球、推红块、擦白板）上评估 MOTIF 策略。 - AuroraWorld 在合成观察设置中取得最高平均成功率（44.7%），较 BWM（40.0%）与 WristWorld（32.0%）显著提升，但仍低于真实自我中心观察（58.7%）。 - 数据增强设置（Table 20）下，AuroraWorld 同样表现最优（70.7%），接近全真实数据上限（78.0%）。 —- ### 5. 消融研究结构化 4D 组件消融（Table 7） - 单独使用时， W(tp) （时间锚点）带来最大提升（PSNR 从 12.96 提升至 16.69，FVD 从 192.93 降至 76.12）。 - W(sp) （空间表示）主要改善分布级质量（FID、FVD）。 - W(mo) （运动轨迹）对所有指标均有提升。 - 三组件联合使用取得所有五项指标的最优结果。时间锚点数量消融（Table 8, Table 15） - 在仅使用首末帧的基础上，增加内部锚点持续改善性能；但使用 3 个内部锚点时达到最佳平衡。 - 使用全部帧进行稠密条件化反而导致 FID 与 FVD 下降，表明过度约束会抑制模型对潜在时间演化的推断能力。锚点选择策略消融（Table 15） - 相比均匀采样（uniform sampling），基于运动稳定化的锚点选择策略在相同预算（5 个锚点）下全面优于均匀采样，FVD 从 69.634 降至 60.171。 —- ### 6. 补充评估 WorldArena 协议评估（Table 12, Table 13） - 在 14 项保留指标上，AuroraWorld 取得最高的综合分 EWMScore (ego) （64.6），在视觉质量、内容一致性、物理遵循度与 3D 准确性四个类别上排名第一。 RLBench 逐任务详细结果（Table 17） - 报告了 18 项任务在 10 轮重复实验中的详细成功率，涵盖 Replacement 与 Augmentation 两种数据设置。轨迹来源对视频生成的敏感性（Table 16） - 在 DROID、RLBench 与 ARX X5 上系统比较了推断轨迹与真实轨迹对生成指标的影响，验证了方法对推断误差的鲁棒性。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与 Limitations 章节，以下方向值得进一步探索： —- ### 1. 轨迹推断与误差传播的鲁棒性增强论文表明，逆动力学模型（IDM）推断的 8-D 轨迹误差会沿管道传递，影响时间锚点选择、目标相机预测与结构化潜变量初始化。未来可探索： - 自校正轨迹机制：在视频生成过程中联合优化轨迹与像素观测，利用生成一致性反馈修正 IDM 输出。 - 不确定性量化：对推断轨迹引入概率分布建模（如高斯过程或贝叶斯神经网络），在扩散条件化中显式编码运动不确定性，而非使用点估计。 —- ### 2. 严重遮挡与快速接触动力学下的世界推断稀疏外部视角在以下场景可能失效： - 严重自遮挡（如手臂遮挡目标物体） - 高速接触瞬态（如快速抓取、滑动）可探索方向包括： - 主动视角规划：推断缺失区域的最优辅助外视角，以补全被遮挡几何。 - 接触动力学先验：引入基于物理的接触模型（如互补约束、软体动力学）到 4D 表示中，超越纯运动学轨迹建模。 —- ### 3. 细粒度空间对齐与高精度装配任务在 ARX X5 的 Stack cups 任务中，AuroraWorld 与真实自我中心观察的性能差距显著（0/25 vs. 12/25 成功率）。这表明当前几何感知表示对毫米级位姿估计与接触状态理解仍不足。未来工作可： - 显式建模物体 6D 位姿序列作为结构化 4D 表示的独立组件。 - 引入接触图（contact graph）或触觉反馈嵌入，以补全视觉不可见的接触力信息。 —- ### 4. 条件化密度与生成-推断权衡消融实验显示，使用 All frames 作为时间锚点会过度约束生成过程，导致 FID/FVD 下降（Table 8）。这揭示了条件信息密度与模型推断能力之间的根本张力： - 自适应锚点选择：开发基于信息增益或变分下界的自适应机制，动态决定每段视频的最优锚点数量与位置，而非固定 top- k 。 - 分层条件化策略：在训练过程中随机化锚点稀疏度，防止模型对稠密条件过拟合，同时保持对稀疏输入的泛化性。 —- ### 5. 多对象交互与复杂场景推理当前方法主要关注单臂操作与有限物体交互。对于需要多对象空间关系推理（如整理、装配）的场景，可扩展： - 场景图引导的 4D 表示：将物体级实体关系（如支撑、包含）显式编码入 W(sp) ，而非仅使用全局 3D 场景令牌。 - 交互式 4D 重建：联合推断被操作物体与环境的变形场（如可变形物体、铰接物体），提升对非刚性动态的理解。 —- ### 6. 跨本体与跨平台迁移论文在 ARX X5、RLBench 与 DROID 上分别验证，但未系统评估跨机器人本体（如不同臂长、夹爪类型）或跨相机配置（单目 vs. 双目、不同安装高度）的泛化性： - 本体无关 4D 表示：将运动轨迹解耦为标准化工作空间坐标与本体特定执行器映射，实现跨平台策略迁移。 - 相机标定无关推断：探索自标定或隐式相机外参估计，减少对外部相机精确标定的依赖。 —- ### 7. 实时生成与闭环控制集成当前框架侧重于离线合成用于策略训练。对于闭环视觉伺服： - 流式 4D 世界模型：以滑动窗口方式增量更新 W(4D) ，支持实时下一帧自我中心预测。 - 动作条件化未来预测：扩展扩散模型以接受未来动作序列为条件，实现基于模型的规划与模型预测控制（MPC）。 —- ### 8. 多模态世界表示的融合论文仅依赖视觉与推断的运动状态。引入额外模态可提升物理一致性： - 力/力矩信号：在 W(mo) 中嵌入腕部 F/T 传感器数据，改善接触-rich 操作的生成质量。 - 语言-4D grounding：将自然语言指令与 4D 表示中的实体轨迹显式对齐，支持基于指令的细粒度视频编辑与策略条件化。 —- ### 9. 自监督与大规模预训练论文使用适配的 IDM 与 LagerNVS 作为上游模块，需特定监督信号。未来可探索： - 视频-only 预训练：利用大规模无标定外视角视频，通过时序一致性、多视角光度一致性等自监督信号预训练 4D 表示编码器。 - 生成式世界模型预训练：在多样化机器人及人类操作视频上预训练 AuroraWorld 的 4D 推断模块，提升对新任务与新环境的少样本适应能力。 Q6: 总结一下论文的主要内容以下是该论文的主要内容总结： —- ## 1. 研究背景与核心问题在机器人操作领域，自我中心视频（egocentric video）（如腕部相机捕获的视角）对策略学习至关重要，因其能揭示夹爪-物体接触、物体状态变化等精细交互信息。然而，这类数据的大规模收集成本高昂，受限于额外的硬件部署与平台适配开销。为此，研究者尝试从更易获取的外部视角视频（exocentric videos）合成自我中心视频。但现有方法面临显著瓶颈： - 帧级视图合成（如 NeRF、3D 重建）缺乏对时间演化与动态交互的显式建模，无法保证时序连贯性； - 通用视频生成模型侧重于视觉真实感，缺乏对底层物理世界状态的显式表达，难以处理剧烈视角变化、严重遮挡与复杂交互； - 现有机器人世界模型通常依赖真实首帧自我中心图像或稠密外部观察，在稀疏观测下物理一致性不足。 —- ## 2. 核心思想：结构化 4D 世界推断论文提出 AuroraWorld，将外到内（exo-to-ego）视频生成重新表述为从稀疏外部观察推断结构化 4D 具身世界表示的问题，再以此作为物理先验引导扩散模型生成自我中心视频。给定外部视频 O(exo) 与相机配置 C_(exo) ，4D 世界表示的构建过程为：

W(4D) = Phi(O(exo), C(exo))
其中结构化表示由三个互补组件构成：
W(4D) = W(tp), W(sp), W(mo)
分别对应**时间演化**、**空间结构**与**运动动力学**。基于此表示，自我中心视频的生成服从条件分布：
x^(ego)(1:T) sim p(θ)(x^(ego)(1:T) mid W(4D), O(exo), C(exo))
—- ## 3. 关键技术细节 ### 3.1 运动轨迹推断（ W(mo) ）为建立运动锚点，AuroraWorld 采用适配的**逆动力学模型（IDM）**从外部视觉观察中推断 8 维末端执行器轨迹：

s(1:T) = f(φ)(O(exo)), quad s_t = [p_t, q_t, g_t] ∈ R^8
其中 p_t ∈ R^3 为位置， q_t ∈ R^4 为单位四元数， g_t 为夹爪状态。该轨迹捕获了操作过程的时间演化，并指导后续锚点选择与潜变量初始化。 ### 3.2 运动稳定时间锚点（ W(tp) ）为避免冗余约束与时序不一致累积，模型稀疏地选取关键操作状态。定义**时间锚点分数**：

F_t = R(eta_t rho_t)

**视角转换分数** etat 衡量末端执行器在时窗 Delta 内的累积位姿变化； - **运动稳定化分数** rho_t 评估末端执行器是否达到局部稳定构型：
rho_t = 1 - R( (1) / (|N_t|) ∑(u ∈ Nt) o_u )
基于 F_t 选取 top- k 关键帧后，利用适配的 LagerNVS 将对应外部帧转换为自我中心关键帧 x^(ego)_t ，构成 W(tp) 。 ### 3.3 几何感知空间表示（ W_(sp) ）为应对大视角变换引入的空间歧义，模型利用 LagerNVS 从稀疏外部视图提取潜在 3D 场景令牌（latent 3D scene tokens）。这些令牌编码了视角一致的场景几何结构，无需显式 3D 重建。 ### 3.4 结构化先验引导的视频生成在潜变量扩散框架中，三个组件提供互补约束： - 时间条件化：将稀疏关键帧与二值锚点掩码 $M_t = I

t ∈ K
经 VAE 编码后拼接，作为观测条件 y ； - 空间-运动引导的潜变量初始化：构建空间-运动条件查询 u(ell ij) ，通过交叉注意力从空间特征 G$ 中检索几何信息：
w(ell ij) = Attn(u(ell ij), G, G)
生成结构化的终端潜变量：
ε^(sm) ∈ R^(C_z × T_z × H_z × W_z), quad z^(mix)_1 = √1-λ^2ε + λ ε^(sm)
该初始化替代传统高斯噪声，使扩散过程从蕴含场景几何与运动动态的状态出发。训练采用流匹配（flow matching）目标：
L = E(z0, ε, τ) [ | v(θ)(z(τ), y, E, p(text), τ) - (z^(mix)1 - z_0) |_2^2 ]
其中 z(τ) = (1-τ)z0 + τ z^(mix)_1 ， E 为时间对齐的外部视觉特征。 —- ## 4. 实验验证论文在**视频生成**与**下游策略学习**两个层面，跨越模拟与真实环境进行评估。 ### 4.1 数据集与设置 - **DROID**：17k 训练 / 200 测试，真实世界大规模视频生成； - **RLBench-18**：模拟环境下的 18 项操作任务，用于策略学习； - **ARX X5**：自采真实机器人数据集，6 项桌面任务，用于物理世界验证。基线涵盖帧级合成（VGGT、LagerNVS）、通用视频生成（SVD、BWM）及机器人中心方法（Exo2Ego-V、WristWorld）。 ### 4.2 主要结果 **视频生成质量** - 在 DROID 上，AuroraWorld 在 PSNR、SSIM、LPIPS、FID、FVD 五项指标中的四项优于所有基线，包括使用更大模型且以真实首帧为条件的 BWM。 - 在 ARX X5 上，同样取得最优的 PSNR、LPIPS、FID 与 FVD。 **下游策略学习（RLBench-18）** - **RVT-2**：使用 AuroraWorld 合成视频训练的成功率达 **71.89%**，仅比真实自我中心视频（72.49%）低 0.60 个百分点，较 WristWorld（68.91%）提升 2.98 个百分点。 - ** π^(0.5) **：AuroraWorld 达 **43.56%**，接近真实视频（44.78%），显著优于无外视角基线（38.96%）。 **无真实动作标签的策略学习** - 在 Ego-Withheld 数据上，仅利用两条外部视频推断轨迹并合成自我中心视频，无需任何真实动作标注。AuroraWorld 在 8 项任务上取得最高平均成功率（RVT-2: 64.00%； π^(0.5) : 40.15%），较 BWM 与 WristWorld 均有显著优势。 **真实机器人验证（ARX X5）** - 在 6 项物理世界任务中，AuroraWorld 在合成观察设置中取得最高平均成功率 **44.7%**，较 BWM（40.0%）与 WristWorld（32.0%）分别提升 4.7 与 12.7 个百分点。 ### 4.3 消融研究 - **组件消融**：单独使用时， W(tp) （时间锚点）带来最大增益（FVD 从 192.93 降至 76.12）； W(sp) 与 W(mo) 分别改善分布质量与动态一致性；三组件联合取得最优结果（Table 7）。 - **锚点数量**：使用 3 个内部锚点达到最佳平衡；以全部帧稠密条件化反而导致 FID 与 FVD 恶化，表明过度约束抑制了模型对时间演化的推断能力（Table 8）。 —- ## 5. 结论与贡献 AuroraWorld 的核心贡献在于： 1. **问题重构**：将外到内视频生成分解为从稀疏外部观察推断**结构化 4D 具身世界表示**的问题，超越了仅依赖外观级关联的现有范式。 2. **显式结构建模**：通过互补的**空间场景令牌**、**运动稳定时间锚点**与**末端执行器轨迹**，分别捕获场景几何、关键操作状态与交互动态。 3. **物理一致的生成框架**：利用推断的 4D 表示构建结构化潜变量先验与时间条件，引导扩散模型生成几何一致、时序连贯、动态合理的自我中心视频。 4. **系统验证**：在真实世界视频生成、模拟策略学习与真实机器人部署中均取得一致的性能提升，证明了结构化世界表示对于可扩展机器人学习的价值。论文同时指出，当前方法在**轨迹推断误差传播**、**严重遮挡与高速接触瞬态**、以及**毫米级精度的装配任务**上仍存在局限，为未来研究指明了方向。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hao Xue, Peng-Fei Zhang, Ying Cheng, Lanyun Zhu, Lei Zhu, Heng Tao Shen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00177.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00177

Published: 2026-11-04T03:14:27.163Z

7. Neurons Are All You Need

Abstract:For decades, artificial neural networks have operated under the assumption that durable, learned capability resides exclusively in adaptive synaptic parameters, primarily due to the established neurobiology of synaptic connectivity. This design forces models to remain stateless during deployment, incurring well-known limitations such as catastrophic forgetting and expensive retraining. However, recent neurobiological research by Glanzman and colleagues, and others, shows that memories can be transferred between individual organisms in a synaptically independent manner. Inspired by this research, we sought to demonstrate memory transfer of persistent memory between AI model instances, leveraging a neurocentric version of memory. In this paper, we propose NURESA (Neural Unit with Retentive Self-Adaptive Architecture), a novel neural layer that eschews sole reliance on synaptic weight updating by introducing persistent intra-unit memory as a first-class, computational primitive. By structurally separating computation from persistent memory, NURESA enables autonomous memory accumulation and consolidation into transferable stores of memory registers. Experiments across MLP, GPT-2, and modern frontier models like Qwen2.5 demonstrate qualitatively new capability: zero-shot transfer of learned capability into a naive model instance without retraining or access to the original training data; this transfer is enabled by a sparse set of parameters in NURESA’s memory register that the model selects on its own based on which neurons were most active. The memory transfer capability of NURESA also protects against domain loss when transformer models undergo learning via fine-tuning. Finally, the memory transfer process completes in approximately one minute even for transformer models with millions to billions of parameters, producing a transfer file orders of magnitude smaller than the original model.

中文摘要

摘要：几十年来，人工神经网络一直假设持久的、学习到的能力完全存在于可适应的突触参数中，这主要基于已有的突触连接神经生物学研究。这一设计迫使模型在部署期间保持无状态，从而产生众所周知的限制，例如灾难性遗忘和昂贵的再训练。然而，Glanzman及其同事和其他人的最新神经生物学研究表明，记忆可以以突触无关的方式在个体生物之间转移。受到这项研究的启发，我们试图展示AI模型实例之间持久记忆的转移，利用一种以神经为中心的记忆形式。在本文中，我们提出了NURESA（具持久自适应架构的神经单元），这是一种新型神经层，通过引入持久的单元内存作为一级计算原语，避免仅依赖突触权重更新。通过在结构上将计算与持久记忆分离，NURESA能够自主积累和整合记忆到可转移的记忆寄存器中。在MLP、GPT-2以及像Qwen2.5这样的现代前沿模型上的实验表明了一种全新的能力：无需再训练或访问原始训练数据，即可将学习到的能力零次转移到新模型实例中；这种转移是通过NURESA记忆寄存器中的一组稀疏参数实现的，模型根据最活跃的神经元自主选择这些参数。NURESA的记忆转移能力还可以在变压器模型通过微调学习时防止领域丧失。最后，即使是拥有数百万到数十亿参数的变压器模型，记忆转移过程也能在大约一分钟内完成，并产生比原始模型小几个数量级的转移文件。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00186 (HTTP 429)

Authors: Joseph B. Alzagatiti, Alain C. Glanzman, Perry A. Demsko, Pablo I. Salanova, David L. Glanzman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00186.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00186

Published: 2026-11-04T03:14:27.163Z

8. MemU-Bench: Benchmarking GUI Agents on Long-Horizon User Interactions

Abstract:Existing Graphical User Interface (GUI) benchmarks predominantly rely on precise and stateless user instructions. In everyday usage, however, instructions are often \emph{vague and history-dependent}: users omit the exact details of their past operations because they no longer remember them, leaving the agent to recover the missing context from long and noisy interaction histories. To bridge this evaluation gap, we introduce \textbf{MemU-Bench}, a mobile benchmark of \textbf{118 vague tasks} grounded in 29 long-horizon user trajectories, where agents must distill raw interaction streams into memory and retrieve the missing context on demand, with task outcomes verified against serialized application databases. Alongside Success Rate, we incorporate Interaction Efficiency (IE) and Success weighted by Path Length (SPL) to expose agents that succeed by exhaustively searching across different applications rather than by \emph{genuinely recalling} the history. Evaluations show that without user history, state-of-the-art systems struggle under such ambiguity: the best-performing Gemini-3.1-Pro achieves an SPL of only 16.4\%, and end-to-end GUI agents fall below 5\%. To address this, we further propose \textbf{AppMem}, a training-free framework that distills user history into a \emph{structured, app-centric} memory bank, tracks interrupted intents across application switches, and selectively retrieves relevant memories via target-app inference. AppMem raises the SPL of GPT-5.5 from 15.7\% to 66.9\% (\textbf{+51.2\%}), outperforms a naive summary baseline by 9.3\%, and delivers consistent gains across evaluated backbones.

中文摘要

摘要：现有的图形用户界面（GUI）基准测试主要依赖于精确且无状态的用户指令。然而，在日常使用中，指令往往是\emph{模糊且依赖历史的}：用户会忽略过去操作的具体细节，因为他们不再记得这些细节，这使得代理必须从冗长且噪声较多的交互历史中恢复缺失的上下文。为弥补这一评估差距，我们提出了\textbf{MemU-Bench}，这是一个移动端基准，包含29条长周期用户轨迹中衍生的\textbf{118个模糊任务}，其中代理必须将原始交互流提炼到记忆中，并按需检索缺失的上下文，任务结果通过序列化应用数据库进行验证。除了成功率（Success Rate），我们还引入了交互效率（Interaction Efficiency, IE）和按路径长度加权的成功率（Success-weighted by Path Length, SPL），以揭示那些通过在不同应用间穷举搜索而非\emph{真正回忆}历史来成功的代理。评估结果显示，在没有用户历史的情况下，最先进的系统在这种模糊情况下表现不佳：表现最佳的Gemini-3.1-Pro仅实现16.4\%的SPL，而端到端GUI代理低于5\%。为解决这一问题，我们进一步提出了\textbf{AppMem}，这是一个免训练框架，将用户历史提炼成\emph{结构化、以应用为中心}的记忆库，追踪跨应用切换的中断意图，并通过目标应用推断选择性地检索相关记忆。AppMem将GPT-5.5的SPL从15.7\%提升至66.9\%（\textbf{+51.2\%}），比简单摘要基线高出9.3\%，并在评估的底层模型中实现了稳定的性能提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00191 (HTTP 429)

Authors: Yizhou Liu, Zhengxi Lu, Fei Tang, Yiwen Qiu, Yong Du, Tongbo Chen, Bofan Chen, Tao Jiang, Wenhao Xu, Yunfeng Shu, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00191.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00191

Published: 2026-11-04T03:14:27.163Z

9. From Cross-Section to Cross-Omics: Conditional Cell Nucleus Image Editing in Spatial Transcriptomics

Abstract:Spatial transcriptomics (ST) platforms simultaneously measure gene expression and capture cell nucleus images at single-cell resolution. A fundamental property of tissue preparation introduces a confounding relationship between the two measurement modalities: sectioning a three-dimensional tissue into a thin slice produces a two-dimensional cross-section whose area depends on the cutting angle. Larger cross-sections expose more cytoplasm, yielding higher mRNA counts, while pathomics features such as nuclear area are measured directly from the same 2D boundary. This sectioning geometry creates an apparent correlation between gene expression and pathomics that reflects the measurement process rather than independent biology. Existing gene-to-image methods generate cell images from gene features but do not support condition-driven editing of existing images across both omics layers. We apply the Manifold-Aware Diffusion (MAD) framework to this dual-omics editing setting, enabling targeted modification of one feature group while preserving the other. Evaluated on podocyte cells from CosMx SMI kidney tissue, MAD achieves MAE=0.6636 and FID=25.19 for pathomics editing, outperforming all compared baselines. A controlled simulation study further confirms that the VAE component in MAD better preserves cross-group independence than CCDM (MAD without VAE).

中文摘要

摘要：空间转录组学（ST）平台能够同时测量基因表达并在单细胞分辨率下捕获细胞核图像。组织制备中的一个基本特性引入了两种测量方式之间的混杂关系：将三维组织切成薄片会产生二维截面，其面积取决于切割角度。较大的截面暴露更多细胞质，从而产生更高的mRNA计数，而病理组学特征如细胞核面积则直接从同一二维边界测量。这种切片几何导致基因表达与病理组学之间出现表面相关性，反映的是测量过程而非独立的生物学特性。现有的基因到图像方法可以从基因特征生成细胞图像，但不支持跨组学层级对现有图像进行条件驱动的编辑。我们将流形感知扩散（MAD）框架应用于这一双组学编辑场景，实现目标特征组的定向修改，同时保留另一特征组。在CosMx SMI肾组织的足细胞上进行评估，MAD在病理组学编辑方面实现MAE=0.6636和FID=25.19，优于所有对比基线。受控模拟研究进一步确认，MAD中的VAE组件比CCDM（不含VAE的MAD）更好地保持了跨组独立性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00226 (HTTP 429)

Authors: Yuechen Yang, Junchao Zhu, Junlin Guo, Yanfan Zhu, Ruining Deng, Zhengyi Lu, Tianyuan Yao, Chongyu Qu, Marilyn Lionts, Xingyi Guo, Yaohong Wang, Yu Wang, Shilin Zhao, Haichun Yang, Yuankai Huo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00226.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00226

Published: 2026-11-04T03:14:27.163Z

10. RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation

Abstract:A deep understanding of scientific literature often relies on interpreting figures that contain key information beyond the main text. Leveraging Large Language Models (LLMs) to extract insights from these figures can significantly accelerate knowledge discovery. Existing works on Scientific Visual Question Answering rely on resource-intensive training pipelines that are often inaccessible and require large computational resources. Instead of designing complex architectures, we propose RE- SciVQA, which focuses on improving the quality of retrieved context and fine-tuning small LLMs with parameter-efficient LoRA training. Using a simple query expansion step, relevant section headers are appended to the original question to improve the retrieval coverage. In addition, a simple adjustment of similarity scores is applied using figure references and caption alignment. On the SciVQA benchmark, RE-SciVQA achieves a ROUGE-1 F1 score of 73.9%, outperforming chart-focused models such as UniChart (14.7%), ChartGemma (6.9%), and Matcha-ChartQA (6.3%). Our relevance-enhanced RAG setup also improves the exact match by 11.9% and the fuzzy match by 29.5% compared with a standard RAG baseline, resulting in an overall gain of 14.3%. We also examine closed-ended infinite visual questions, a category in which chart-understanding models often struggle. Our experiments show that using plot digitization instead of synthetic captions leads to an 18.5% improvement for this question type.

中文摘要

摘要：对科学文献的深刻理解通常依赖于解释包含关键信息的图表，而这些信息可能超出正文内容。利用大型语言模型（LLMs）从这些图表中提取见解，可以显著加速知识发现。现有的科学视觉问答研究依赖于资源密集型的训练流程，这些流程通常难以获取，并且需要大量计算资源。我们提出了 RE-SciVQA，而不是设计复杂的架构，它专注于提高检索上下文的质量，并通过参数高效的 LoRA 训练微调小型 LLM。通过一个简单的查询扩展步骤，将相关章节标题附加到原始问题上，以提高检索覆盖率。此外，还通过图表引用和标题对齐对相似性分数进行了简单调整。在 SciVQA 基准测试中，RE-SciVQA 的 ROUGE-1 F1 得分达到 73.9%，优于专注于图表的模型，如 UniChart（14.7%）、ChartGemma（6.9%）和 Matcha-ChartQA（6.3%）。我们增强相关性的 RAG 设置相比标准 RAG 基线，将精确匹配提高了 11.9%，模糊匹配提高了 29.5%，整体提升 14.3%。我们还研究了封闭式的无限视觉问答，这是图表理解模型常常难以应对的类别。实验结果表明，使用图表数字化而非合成标题在此类问题上可提升 18.5% 的表现。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00242 (HTTP 429)

Authors: Sheikh Tahmim Mehdi, Muminul Islam Jami

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00242.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00242

Published: 2026-11-04T03:14:27.163Z

Evaluation Domain Papers

1. A Generalized Sparse Fuzzy Clustering Framework with Automated Cluster Cardinality Estimation Ability

中文摘要

摘要：模糊聚类为处理模糊和重叠的数据边界提供了一个稳健的框架，但其传统形式会生成完全密集的隶属分配，这限制了噪声的抗性，并在聚类数量未知时阻碍了真实聚类数量的估计。为了解决这些限制，本文引入了广义稀疏模糊聚类（GSFC）框架，该框架在模糊目标函数中引入了连续稀疏性惩罚。由于模糊化指数和稀疏指数同时存在，闭式解无法获得，我们提出了一种高效的原始-对偶二分搜索方法，结合专门的解析路径，严格执行划分约束，同时自然地将痕迹隶属度驱动到零。这种数学上强制的稀疏性使算法能够通过动态修剪冗余聚类，自主估计真实聚类数量，前提是初始聚类数大于真实聚类数。此外，我们引入了一个虚拟噪声汇，以将异常值与其他数据点隔离。所提出框架的使用还扩展到线段检测。通过在合成玩具数据集、高噪声几何应力测试以及真实世界基准（UCI葡萄酒数据集和高光谱图像）上的广泛实验评估表明，GSFC有效地超越了传统的模糊聚类基准，同时自主解决了聚类基数问题。此外，在线检测任务中，它显著优于现有的稀疏可能性和概率软聚类方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00159 (HTTP 429)

Authors: George Stamatelis, Konstantinos Koutroumbas

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00159.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00159

Published: 2026-11-04T03:14:49.534Z

2. Learning to bid and bundle: a posterior-sampling agent for online retail

中文摘要

摘要：一家在线零售商推出易腐产品，竞标赞助搜索点击，将其与常备品打包折扣，并显示其剩余库存，这会提高支付意愿。它既不知道点击如何响应其出价，也不知道其市场有多强或多分散，而且通过重复季节的数据学习这两者，但其自身决策会限制数据：零出价不会透露付费点击情况，而选择只跟随点击。我们为其设计了一个后验抽样代理。每个时期，它从精确的后验中抽取一个市场，并发布该市场精确解决的季节计划的出价和折扣，因此每个行动都是一个完全知情的卖家可以采取的。在模拟的在线花店中，它在不同市场的平均后悔值最低。在较弱的市场中，它在500个季节中每个季节放弃12%到23%的收入，比每季只抽取一次低四到七倍。一个基于点估计行动的规划者可能会停止出价，并永远不会学到出价是有收益的。平均来说，该代理在约三个季节后就能摆脱这种情况，而每季只抽取一次则需五十个季节。当显示的稀缺性保持支付意愿高于标价时，折扣无需学习。等待折扣回到最近水平的顾客看起来像是流失的销售，因此频繁等待会导致代理低估其市场价值。每季一次折扣可以消除等待，在弱市场中以牺牲预知收入的5.9%为代价，在强市场中则没有损失。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00165 (HTTP 429)

Authors: Hadi Mohammadi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00165.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00165

Published: 2026-11-04T03:14:49.534Z

3. Early Stopping in Large Reasoning Models: A Survey and Empirical Audit of Efficiency and Reliability

中文摘要

摘要：大型推理模型可以通过生成更长的推理轨迹来提高准确性，但其中一些计算可能是不必要的。提前停止方法旨在在有足够推理以得出答案时停止。评估这些方法需要考虑决定何时停止的成本以及结果答案的可靠性。我们通过使用共享的回放执行协议，在数学和科学推理、代码生成以及事实性任务上评估五种推理模型的不同方法。我们引入了目标集成令牌效率（Target-Integrated Token Efficiency, TITE）来衡量相对于参考值在不同准确率目标下的效率。我们还考察了在后续退出位置的正确性、跨模型和任务的迁移性、停止后推理的继续情况以及保留的推理质量。在我们的实验中，后续位置的正确性下降可能超过拟合解码噪声模型的预测。可靠性检查还显示，在强制终止后仍有推理继续进行，同时一些正确的提前停止输出中支撑推理较弱。实现可在此https URL中找到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00166 (HTTP 429)

Authors: Quang Hung Nguyen, Hanh Nguyen, Thanh Tam Nguyen, Quoc Viet Hung Nguyen, Trinh Pham, Thanh Trung Huynh

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00166.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00166

Published: 2026-11-04T03:14:49.534Z

4. PatchScout: Thematic Web Data Collection via Information Foraging

中文摘要

摘要：研究人员通常需要的网络语料库并不是针对单一查询的答案，而是可重复使用的文档集合，这些文档覆盖多个分散的来源。我们将这个问题称为主题化网络数据收集：组装在语义上相关、共享共同主题但分散在异质且结构不连通的网络区域的文档。现有方法，包括基于遍历的方法和基于大型语言模型的网络代理，受限于局部探索或短期停止，无法进行全面收集。我们将此任务形式化为一个基于查询引发的语义片段的长远信息觅取问题，其中核心挑战是决定何时继续局部利用，何时切换到新区域。我们提出了PatchScout，一种多智能体框架，实现了一类片段切换策略，以在固定预算下平衡局部利用和自适应片段切换。在四个实时网络主题上的实验表明，PatchScout显著提高了产出和领域覆盖率，相较于基于遍历的方法和搜索增强推理代理基线。在应用社会科学的环境中，面对不完整的先前收藏，PatchScout发现了102个先前未识别的实体，展示了其扩展现有主题数据集的能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00169 (HTTP 429)

Authors: Michael West, Eduard Dragut

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00169.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00169

Published: 2026-11-04T03:14:49.534Z

5. Reimagining Text-to-SQL: A Survey of Large Language Model Architectures and Strategies

中文摘要

摘要：文本到SQL系统将自然语言问题翻译为可执行的SQL查询，从而实现对关系数据的普及访问。早期方法依赖人工制定的规则和模板匹配，而后续的神经方法引入了编码器-解码器架构、模式链接和约束解码，以处理日益复杂的查询。大型语言模型（LLMs）的出现，如ReFoRCE、Agentar-Scale-SQL、雪花公司的Arctic-Text2SQL-R1以及模块化XiYan-SQL框架，极大地推动了该领域的发展，在Spider、Spider 2.0和BIRD等具有挑战性的基准上将执行准确率提升至新的最先进水平。与此同时，模块化框架将任务分解为子问题（模式检索、基于草图的生成、修复和排序），而智能代理系统协调多个专门代理进行通信并动态分配子任务。本综述系统地在五大范式的统一分类下回顾了这些由LLM驱动的方法（上下文学习、监督和参数高效微调、智能代理及工具增强的调度、检索增强生成以及强化学习），并按模型粒度（整体式与模块化）、监督级别（零样本、微调或基于强化学习）和推理方式（直接解码与分解多步骤推理）对其进行了特征描述。我们进一步分析了评估指标、数据集及未解决的挑战，包括领域泛化、效率和实际部署，并考察了语义层在生产系统中的作用。随着LLM逐渐访问敏感数据库，我们还讨论了负责任的人工智能实践。本文综述了100多篇论文和技术资料，重点关注2022年至2026年间发表的工作。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00171 (HTTP 429)

Authors: Shikhar Dave, Bhaskarjit Sarmah, Stefano Pasquali

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00171.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00171

Published: 2026-11-04T03:14:49.534Z

6. AuroraWorld: Structured 4D World Modeling for Exo-to-Ego Video Generation in Robot Manipulation

中文摘要

摘要：自我中心的观察为机器人提供了以自身为中心的操作过程视角，捕捉接触交互和物体状态变化，这些对于视觉运动策略学习非常重要，但从外部摄像机中很难观察到。然而，由于额外的硬件需求和特定平台的部署成本，按规模收集此类数据仍然昂贵。从大规模外中心操作视频合成自我中心观察提供了一种可扩展的替代方案。然而，现有方法在进行大幅度视角转换、严重遮挡、复杂物体交互以及从可用的外中心视角获取的本质上稀疏的观察情况下，难以合成物理一致且与策略相关的自我中心视频。

LLM Analysis

x^(ego)(1:T) sim p(θ)( x^(ego)(1:T) mid W(4D), O(exo), C(exo) )

2.1 时间锚点状态条件化将 Q4: 论文做了哪些实验？论文从视频生成质量、下游策略学习与真实机器人验证三个层面开展实验，并辅以系统的消融研究与补充评估。具体实验内容如下： —- ### 1. 实验设置数据集 - DROID：用于大规模真实世界外到内视频生成，选用 17k 条成功操作片段训练，200 条评估。 - RLBench：用于模拟环境下的下游策略学习，遵循 PerAct 的 18 任务评估协议。 - ARX X5：自采真实机器人数据集，包含 6 种桌面操作任务共 600 条片段，用于物理世界验证。对比基线 - 帧级合成：VGGT、LagerNVS - 通用视频生成与世界模型：SVD、BWM（Boundless World Model） - 机器人中心外到内生成：Exo2Ego-V、WristWorld 评价指标 - 视频生成：PSNR、SSIM、LPIPS、FID、FVD - 策略学习：任务成功率（success rate） —- ### 2. 视频生成质量评估 DROID 真实世界视频生成（Table 1） - AuroraWorld 在大多数指标上优于现有方法。即使 BWM 拥有更大骨干网络且以真实首帧自我中心图像作为条件，AuroraWorld 仍在五项指标中的四项上取得更好结果。 ARX X5 真实机器人视频生成（Table 3） - 使用推断轨迹时，AuroraWorld 在 PSNR、LPIPS、FID 与 FVD 上均优于 WristWorld 与 BWM。推断轨迹 vs. 真实轨迹（Tables 1, 3, 16） - 在 DROID、RLBench 与 ARX X5 上，使用同步的真实末端执行器轨迹可提升 PSNR、SSIM 与 LPIPS，但分布级指标（FID、FVD）的提升具有数据集依赖性。 —- ### 3. 下游策略学习评估 RLBench-18 模拟策略学习（Table 2, Table 17, Table 18） - 以 RVT-2 与 π^(0.5) 为策略骨干，在 Replacement（仅用合成视频替代）与 Augmentation（合成数据增强）两种设置下训练。 - AuroraWorld 生成的观察在 Replacement 下显著优于仅使用外部视角（w/o Ego），并接近真实自我中心视频（Real Ego）的性能： - RVT-2：71.89%（AuroraWorld）vs. 72.49%（Real Ego）vs. 68.91%（WristWorld） - π^(0.5) ：43.56%（AuroraWorld）vs. 44.78%（Real Ego）vs. 41.96%（WristWorld）合成轨迹对策略学习的影响（Table 4） - 将推断轨迹替换为真实轨迹，在固定真实动作监督下，RVT-2 与 π^(0.5) 的平均成功率仅有微小提升（如 RVT-2 Replacement 从 71.89% 提升至 72.13%），表明策略性能对推断轨迹具有鲁棒性。无真实动作标签的策略学习（Table 5） - 在 Ego-Withheld 数据上，仅利用两条外部视频及其相机配置推断 8 维末端执行器轨迹，并合成自我中心视频作为策略输入与动作监督，无需任何真实自我中心视频或动作标签。 - 在 8 项任务上，AuroraWorld 对 RVT-2 与 π^(0.5) 均取得最高平均成功率（64.00% / 40.15%），分别超过 BWM 2.90 / 2.45 个百分点，超过 WristWorld 8.40 / 3.30 个百分点。 —- ### 4. 真实机器人验证（ARX X5）视频生成（Table 3） - 在外部视角推断设置下，AuroraWorld 取得最优的 PSNR、LPIPS、FID 与 FVD。真实机器人策略评估（Table 6, Table 20） - 在 6 项物理世界任务（叠毛巾、拉抽屉、叠杯、推黄球、推红块、擦白板）上评估 MOTIF 策略。 - AuroraWorld 在合成观察设置中取得最高平均成功率（44.7%），较 BWM（40.0%）与 WristWorld（32.0%）显著提升，但仍低于真实自我中心观察（58.7%）。 - 数据增强设置（Table 20）下，AuroraWorld 同样表现最优（70.7%），接近全真实数据上限（78.0%）。 —- ### 5. 消融研究结构化 4D 组件消融（Table 7） - 单独使用时， W(tp) （时间锚点）带来最大提升（PSNR 从 12.96 提升至 16.69，FVD 从 192.93 降至 76.12）。 - W(sp) （空间表示）主要改善分布级质量（FID、FVD）。 - W(mo) （运动轨迹）对所有指标均有提升。 - 三组件联合使用取得所有五项指标的最优结果。时间锚点数量消融（Table 8, Table 15） - 在仅使用首末帧的基础上，增加内部锚点持续改善性能；但使用 3 个内部锚点时达到最佳平衡。 - 使用全部帧进行稠密条件化反而导致 FID 与 FVD 下降，表明过度约束会抑制模型对潜在时间演化的推断能力。锚点选择策略消融（Table 15） - 相比均匀采样（uniform sampling），基于运动稳定化的锚点选择策略在相同预算（5 个锚点）下全面优于均匀采样，FVD 从 69.634 降至 60.171。 —- ### 6. 补充评估 WorldArena 协议评估（Table 12, Table 13） - 在 14 项保留指标上，AuroraWorld 取得最高的综合分 EWMScore (ego) （64.6），在视觉质量、内容一致性、物理遵循度与 3D 准确性四个类别上排名第一。 RLBench 逐任务详细结果（Table 17） - 报告了 18 项任务在 10 轮重复实验中的详细成功率，涵盖 Replacement 与 Augmentation 两种数据设置。轨迹来源对视频生成的敏感性（Table 16） - 在 DROID、RLBench 与 ARX X5 上系统比较了推断轨迹与真实轨迹对生成指标的影响，验证了方法对推断误差的鲁棒性。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与 Limitations 章节，以下方向值得进一步探索： —- ### 1. 轨迹推断与误差传播的鲁棒性增强论文表明，逆动力学模型（IDM）推断的 8-D 轨迹误差会沿管道传递，影响时间锚点选择、目标相机预测与结构化潜变量初始化。未来可探索： - 自校正轨迹机制：在视频生成过程中联合优化轨迹与像素观测，利用生成一致性反馈修正 IDM 输出。 - 不确定性量化：对推断轨迹引入概率分布建模（如高斯过程或贝叶斯神经网络），在扩散条件化中显式编码运动不确定性，而非使用点估计。 —- ### 2. 严重遮挡与快速接触动力学下的世界推断稀疏外部视角在以下场景可能失效： - 严重自遮挡（如手臂遮挡目标物体） - 高速接触瞬态（如快速抓取、滑动）可探索方向包括： - 主动视角规划：推断缺失区域的最优辅助外视角，以补全被遮挡几何。 - 接触动力学先验：引入基于物理的接触模型（如互补约束、软体动力学）到 4D 表示中，超越纯运动学轨迹建模。 —- ### 3. 细粒度空间对齐与高精度装配任务在 ARX X5 的 Stack cups 任务中，AuroraWorld 与真实自我中心观察的性能差距显著（0/25 vs. 12/25 成功率）。这表明当前几何感知表示对毫米级位姿估计与接触状态理解仍不足。未来工作可： - 显式建模物体 6D 位姿序列作为结构化 4D 表示的独立组件。 - 引入接触图（contact graph）或触觉反馈嵌入，以补全视觉不可见的接触力信息。 —- ### 4. 条件化密度与生成-推断权衡消融实验显示，使用 All frames 作为时间锚点会过度约束生成过程，导致 FID/FVD 下降（Table 8）。这揭示了条件信息密度与模型推断能力之间的根本张力： - 自适应锚点选择：开发基于信息增益或变分下界的自适应机制，动态决定每段视频的最优锚点数量与位置，而非固定 top- k 。 - 分层条件化策略：在训练过程中随机化锚点稀疏度，防止模型对稠密条件过拟合，同时保持对稀疏输入的泛化性。 —- ### 5. 多对象交互与复杂场景推理当前方法主要关注单臂操作与有限物体交互。对于需要多对象空间关系推理（如整理、装配）的场景，可扩展： - 场景图引导的 4D 表示：将物体级实体关系（如支撑、包含）显式编码入 W(sp) ，而非仅使用全局 3D 场景令牌。 - 交互式 4D 重建：联合推断被操作物体与环境的变形场（如可变形物体、铰接物体），提升对非刚性动态的理解。 —- ### 6. 跨本体与跨平台迁移论文在 ARX X5、RLBench 与 DROID 上分别验证，但未系统评估跨机器人本体（如不同臂长、夹爪类型）或跨相机配置（单目 vs. 双目、不同安装高度）的泛化性： - 本体无关 4D 表示：将运动轨迹解耦为标准化工作空间坐标与本体特定执行器映射，实现跨平台策略迁移。 - 相机标定无关推断：探索自标定或隐式相机外参估计，减少对外部相机精确标定的依赖。 —- ### 7. 实时生成与闭环控制集成当前框架侧重于离线合成用于策略训练。对于闭环视觉伺服： - 流式 4D 世界模型：以滑动窗口方式增量更新 W(4D) ，支持实时下一帧自我中心预测。 - 动作条件化未来预测：扩展扩散模型以接受未来动作序列为条件，实现基于模型的规划与模型预测控制（MPC）。 —- ### 8. 多模态世界表示的融合论文仅依赖视觉与推断的运动状态。引入额外模态可提升物理一致性： - 力/力矩信号：在 W(mo) 中嵌入腕部 F/T 传感器数据，改善接触-rich 操作的生成质量。 - 语言-4D grounding：将自然语言指令与 4D 表示中的实体轨迹显式对齐，支持基于指令的细粒度视频编辑与策略条件化。 —- ### 9. 自监督与大规模预训练论文使用适配的 IDM 与 LagerNVS 作为上游模块，需特定监督信号。未来可探索： - 视频-only 预训练：利用大规模无标定外视角视频，通过时序一致性、多视角光度一致性等自监督信号预训练 4D 表示编码器。 - 生成式世界模型预训练：在多样化机器人及人类操作视频上预训练 AuroraWorld 的 4D 推断模块，提升对新任务与新环境的少样本适应能力。 Q6: 总结一下论文的主要内容以下是该论文的主要内容总结： —- ## 1. 研究背景与核心问题在机器人操作领域，自我中心视频（egocentric video）（如腕部相机捕获的视角）对策略学习至关重要，因其能揭示夹爪-物体接触、物体状态变化等精细交互信息。然而，这类数据的大规模收集成本高昂，受限于额外的硬件部署与平台适配开销。为此，研究者尝试从更易获取的外部视角视频（exocentric videos）合成自我中心视频。但现有方法面临显著瓶颈： - 帧级视图合成（如 NeRF、3D 重建）缺乏对时间演化与动态交互的显式建模，无法保证时序连贯性； - 通用视频生成模型侧重于视觉真实感，缺乏对底层物理世界状态的显式表达，难以处理剧烈视角变化、严重遮挡与复杂交互； - 现有机器人世界模型通常依赖真实首帧自我中心图像或稠密外部观察，在稀疏观测下物理一致性不足。 —- ## 2. 核心思想：结构化 4D 世界推断论文提出 AuroraWorld，将外到内（exo-to-ego）视频生成重新表述为从稀疏外部观察推断结构化 4D 具身世界表示的问题，再以此作为物理先验引导扩散模型生成自我中心视频。给定外部视频 O(exo) 与相机配置 C_(exo) ，4D 世界表示的构建过程为：

F_t = R(eta_t rho_t)

**视角转换分数** etat 衡量末端执行器在时窗 Delta 内的累积位姿变化； - **运动稳定化分数** rho_t 评估末端执行器是否达到局部稳定构型：
rho_t = 1 - R( (1) / (|N_t|) ∑(u ∈ Nt) o_u )
基于 F_t 选取 top- k 关键帧后，利用适配的 LagerNVS 将对应外部帧转换为自我中心关键帧 x^(ego)_t ，构成 W(tp) 。 ### 3.3 几何感知空间表示（ W_(sp) ）为应对大视角变换引入的空间歧义，模型利用 LagerNVS 从稀疏外部视图提取潜在 3D 场景令牌（latent 3D scene tokens）。这些令牌编码了视角一致的场景几何结构，无需显式 3D 重建。 ### 3.4 结构化先验引导的视频生成在潜变量扩散框架中，三个组件提供互补约束： - 时间条件化：将稀疏关键帧与二值锚点掩码 $M_t = I

Authors: Hao Xue, Peng-Fei Zhang, Ying Cheng, Lanyun Zhu, Lei Zhu, Heng Tao Shen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00177.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00177

Published: 2026-11-04T03:14:49.534Z

7. Neurons Are All You Need

中文摘要

摘要：几十年来，人工神经网络一直假设持久的、学习到的能力完全存在于可适应的突触参数中，这主要基于已有的突触连接神经生物学。这种设计迫使模型在部署过程中保持无状态，从而带来众所周知的限制，例如灾难性遗忘和昂贵的再训练。然而，Glanzman及其同事和其他人的最新神经生物学研究表明，记忆可以以突触无关的方式在个体生物之间转移。受到这项研究的启发，我们试图展示在AI模型实例之间的持久记忆转移，利用以神经为中心的记忆版本。在本文中，我们提出了NURESA（具持久自适应架构的神经单元），这是一种新型神经层，通过引入持久的单元内存作为一级计算原语，避免仅依赖突触权重更新。通过在结构上将计算与持久记忆分离，NURESA能够自主积累和整合记忆到可转移的记忆寄存器中。在MLP、GPT-2以及像Qwen2.5这样的现代前沿模型上的实验表明了一种全新的能力：无需再训练或访问原始训练数据，即可将学习到的能力零次转移到新模型实例中；这种转移是通过NURESA记忆寄存器中的一组稀疏参数实现的，模型根据最活跃的神经元自主选择。NURESA的记忆转移能力还可以在Transformer模型通过微调学习时防止领域丢失。最后，即使对于拥有数百万到数十亿参数的Transformer模型，记忆转移过程也仅需大约一分钟完成，生成的转移文件比原始模型小几个数量级。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00186 (HTTP 429)

Authors: Joseph B. Alzagatiti, Alain C. Glanzman, Perry A. Demsko, Pablo I. Salanova, David L. Glanzman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00186.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00186

Published: 2026-11-04T03:14:49.534Z

8. MemU-Bench: Benchmarking GUI Agents on Long-Horizon User Interactions

中文摘要

摘要：现有的图形用户界面（GUI）基准测试主要依赖于精确且无状态的用户指令。然而，在日常使用中，指令往往是\emph{模糊且依赖历史的}：用户会忽略过去操作的具体细节，因为他们不再记得这些细节，这使得代理必须从冗长且噪声较多的交互历史中恢复缺失的上下文。为弥补这一评估差距，我们提出了\textbf{MemU-Bench}，这是一个移动端基准，包含29条长周期用户轨迹中衍生的\textbf{118个模糊任务}，其中代理必须将原始交互流提炼到记忆中，并按需检索缺失的上下文，任务结果通过序列化应用数据库进行验证。除了成功率（Success Rate），我们还引入了交互效率（Interaction Efficiency, IE）和按路径长度加权的成功率（Success-weighted by Path Length, SPL），以揭示那些通过在不同应用间穷举搜索而非\emph{真正回忆}历史来成功的代理。评估结果显示，在没有用户历史的情况下，最先进的系统在这种模糊情况下表现不佳：表现最佳的Gemini-3.1-Pro仅实现16.4\%的SPL，而端到端GUI代理低于5\%。为解决这一问题，我们进一步提出了\textbf{AppMem}，这是一个免训练的框架，它将用户历史提炼为一个\emph{结构化、以应用为中心}的记忆库，跟踪跨应用切换的中断意图，并通过目标应用推断选择性检索相关记忆。AppMem将GPT-5.5的SPL从15.7\%提升至66.9\%（\textbf{+51.2\%}），比基础摘要方法高出9.3\%，并在评估的各类主干模型上均实现了一致提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00191 (HTTP 429)

Authors: Yizhou Liu, Zhengxi Lu, Fei Tang, Yiwen Qiu, Yong Du, Tongbo Chen, Bofan Chen, Tao Jiang, Wenhao Xu, Yunfeng Shu, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00191.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00191

Published: 2026-11-04T03:14:49.534Z

9. From Cross-Section to Cross-Omics: Conditional Cell Nucleus Image Editing in Spatial Transcriptomics

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00226 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00226.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00226

Published: 2026-11-04T03:14:49.534Z

10. RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation

中文摘要

摘要：对科学文献的深刻理解通常依赖于解释包含关键信息的图表，而这些信息可能超出正文内容。利用大型语言模型（LLMs）从这些图表中提取见解，可以显著加速知识发现。现有的科学视觉问答研究依赖于资源密集型的训练流程，这些流程通常难以获取，并且需要大量计算资源。我们提出了 RE-SciVQA，而不是设计复杂的架构，它专注于提高检索上下文的质量，并通过参数高效的 LoRA 训练微调小型 LLM。通过一个简单的查询扩展步骤，将相关章节标题附加到原始问题上，以提高检索覆盖率。此外，还通过图表引用和标题对齐对相似性分数进行了简单调整。在 SciVQA 基准测试中，RE-SciVQA 的 ROUGE-1 F1 得分达到 73.9%，优于专注于图表的模型，如 UniChart（14.7%）、ChartGemma（6.9%）和 Matcha-ChartQA（6.3%）。我们增强相关性的 RAG 设置相比标准 RAG 基线，精确匹配提高了 11.9%，模糊匹配提高了 29.5%，整体提升 14.3%。我们还研究了封闭式的无限视觉问答，这是图表理解模型常常难以应对的类别。实验结果表明，使用图表数字化而非合成标题在此类问题上可提升 18.5% 的表现。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00242 (HTTP 429)

Authors: Sheikh Tahmim Mehdi, Muminul Islam Jami

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2611.00242.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00242

Published: 2026-11-04T03:14:49.534Z

VLM Domain Papers

1. Beyond the Last Layer: Global Inter-Layer Aggregation for AI-Generated Image Detection

Abstract:The rapid development of generative models has made AI-generated images increasingly close to real images. It has also brought several challenges to detectors, including rapid generator updates, large changes in data distribution, and limited cross-dataset generalization. Many existing methods based on pretrained vision encoders primarily use the global representation from the last layer, potentially leaving useful information from intermediate layers underexplored. To address this issue, we propose Global Inter-Layer Aggregation (GILA). GILA extracts global representations from different depths of a frozen encoder, models interactions among layer representations through inter-layer self-attention, and adaptively aggregates the resulting contextualized representations. The method is not tied to a single pretraining objective and does not require fine-tuning the pretrained encoder. We evaluated GILA on three vision backbones with different pretraining objectives, ten seen generators, and three external datasets. The experimental results show that GILA makes better use of multi-layer information in pretrained encoders and improves detection performance and cross-dataset generalization.

中文摘要

摘要：生成模型的快速发展使得人工智能生成的图像越来越接近真实图像，也给检测器带来了一些挑战，包括生成器的快速更新、数据分布的巨大变化以及跨数据集的泛化能力有限。许多基于预训练视觉编码器的现有方法主要使用最后一层的全局表示，可能让中间层的有用信息未被充分利用。为了解决这个问题，我们提出了全局层间聚合（GILA）。GILA从冻结的编码器的不同深度提取全局表示，通过层间自注意力建模层表示之间的交互，并自适应地聚合由此产生的上下文化表示。该方法不依赖于单一的预训练目标，也不需要对预训练编码器进行微调。我们在三种具有不同预训练目标的视觉骨干网络、十个已知生成器以及三个外部数据集上评估了GILA。实验结果表明，GILA更好地利用了预训练编码器的多层信息，提升了检测性能和跨数据集的泛化能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00017 (HTTP 429)

Authors: Wenbin Shen, Zhichao Lian

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00017.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00017

Published: 2026-11-04T03:15:10.985Z

2. Intervenable Concept Dynamics for Video Activity Forecasting

Abstract:Concept bottleneck models route predictions through human-understandable concepts, making their intermediate states inspectable and editable. Extending this model family to forecasting requires modeling how concept activations evolve over time as objects, actions, and their interactions change, yet existing CBMs ground concepts only in observed inputs and do not forecast their future evolution. We study this problem using videos of ongoing activities and forecast future activities through a named-concept state. We propose TRACE-CBM (Temporal Relational Activity Concept Evolution), which first refines observed concept activations with sparse spatio-temporal graphs. It then recursively predicts future concept states, conditioning each transition on the prior activity distribution, and decodes both observed and predicted states with a shared activity classifier. At inference time, the model supports editing concept values, activity activations, and learned edges without parameter updates, exposing the relational spatio-temporal dependencies used for forecasting. Across multiple datasets, TRACE improves observed-activity Top-1 accuracy over concept-based methods by 1.2-8.5 percentage points and attains H3 forecast Top-1 accuracy within 1.9-2.2 points of matched black-box forecasters. Intervention experiments show concept-node edits correct 25.6-34.4% of initially incorrect H3 forecasts without flipping initially correct ones, and concept steering achieves the requested target activity in up to 90.0% of cases.

中文摘要

摘要：概念瓶颈模型通过人类可理解的概念来传递预测，使其中间状态可被检查和编辑。将这一模型家族扩展到预测任务，需要对概念激活随时间演变的方式进行建模，因为对象、动作及其交互会发生变化，而现有的CBM仅将概念基于观测输入，并不预测其未来演变。我们使用正在进行活动的视频研究这一问题，并通过命名概念状态预测未来活动。我们提出了TRACE-CBM（时间关系活动概念演变），该模型首先通过稀疏的时空图精炼观测到的概念激活。然后递归预测未来概念状态，每次过渡都以先前的活动分布为条件，并使用共享的活动分类器解码观测和预测的状态。在推理阶段，模型支持在不更新参数的情况下编辑概念数值、活动激活和学习到的边，从而揭示用于预测的关系时空依赖。在多个数据集中，TRACE在观测活动Top-1准确率上较基于概念的方法提高了1.2-8.5个百分点，并且H3预测的Top-1准确率与匹配的黑箱预测器相差仅1.9-2.2个百分点。干预实验表明，概念节点的编辑可以纠正25.6-34.4%最初错误的H3预测，而不会改变最初正确的预测，并且概念引导在最多90.0%的情况下实现所请求的目标活动。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00020 (HTTP 429)

Authors: Patrick Knab, David Steinmann, Giovanni De Felice, Felix Divo, Udo Schlegel, Wolfgang Stammer, Sascha Marton, Christian Bartelt

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00020.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00020

Published: 2026-11-04T03:15:10.985Z

3. Diagnosing Prototype Estimation in Few-Shot Class-Incremental Learning: Training-Free Geometry Selection and Unlabeled-Query Prototype Rectification

Abstract:Frozen visual encoders make prototype heads competitive in few-shot class-incremental learning (FSCIL), but it remains unclear how much of the residual head gap is sensitive to noisy novel-class means rather than to the subsequent changes introduced by classifier refitting. On identical features, we construct a retrospective matched counterfactual: first replace each five-shot novel mean with its complete-data counterpart under fixed cosine scoring, then fit a linear probe. Across sixteen strong encoder dataset pairs, mean replacement accounts for the majority of this ordered gap. Shot and classwise diagnostics support a finite-sample mechanism, whereas a weaker base-only encoder does not satisfy the same criterion. This diagnosis motivates ShrinkSel, a support-only selector over prototype radius and covariance shrinkage whose family contains shared LDA as an exact fallback. Across sixteen evaluated pairs, it improves LDA on fifteen by 0.04-1.52 points and selects the exact LDA endpoint on Aircraft. We further introduce Query Prototype Rectification (QPR), a batch-transductive extension that uses gated unlabeled queries to update novel directions while preserving the selected geometry. On CLIP ViT-B/16, QPR adds 1.21-2.03 points; exact query-wise self-exclusion retains the benefit, showing that the gains do not require self-inclusion. The update repairs scarce novel prototypes at a measurable base-class cost and weakens with plentiful supports or very small cohorts. Thus, the evidence available for prototype estimation is a central constraint in frozen-feature FSCIL.

中文摘要

摘要：冻结的视觉编码器使原型头在少样本类增量学习（FSCIL）中具有竞争力，但仍不清楚剩余的头部差距有多少是对噪声新类别均值敏感，而不是后续分类器重新拟合引入的变化。在相同特征上，我们构建了一个回顾性匹配反事实：首先在固定余弦评分下，用其完整数据对应值替换每个五样本新类别均值，然后拟合一个线性探针。在十六个强编码器数据集对中，均值替换解释了这个有序差距的大部分。按样本和按类别的诊断支持有限样本机制，而较弱的仅基础编码器则不满足相同标准。这一诊断促使了ShrinkSel的提出，它是一种仅支持的选择器，覆盖原型半径和协方差收缩，其族包含共享LDA作为精确的回退。经过十六对评估，它在十五对数据上将LDA性能提升0.04-1.52点，并在Aircraft数据集上选择了精确的LDA端点。我们进一步引入了查询原型校正（QPR），这是一个批处理传导扩展，利用门控的未标记查询更新新方向，同时保留选择的几何结构。在CLIP ViT-B/16上，QPR增加1.21-2.03点；精确查询级自排除仍保留该收益，表明提升不需要自包含。该更新在基类上以可测量的代价修复稀缺的新原型，并在有充足支持或非常小的组群时效果减弱。因此，可用于原型估计的证据是冻结特征FSCIL的核心约束。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00022 (HTTP 429)

Authors: Md Tanvir Hossain Saikat, Md Akib Haider, Md. Tahmid Islam Tomal, Md Hasanul Kabir

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00022.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00022

Published: 2026-11-04T03:15:10.985Z

4. FORCE: Factorized Object Relations for Counterfactual Editing in Video World Models

Abstract:World models predict how scenes evolve, but they are difficult to interrogate: given a model that forecasts a video, one cannot easily ask what would have happened had a particular interaction between two objects been different. We present Factorized Object Relations for Counterfactual Editing (FORCE), a world model that infers pairwise interactions from raw video without supervision and represents each as an explicit latent per object pair, so that a relation can be removed, changed, transferred or introduced directly. Objects are extracted by slot attention over frozen self-supervised features; a relation encoder infers each pair latent from a short observation window, and an interaction head turns it into a force. The latent is held fixed across the rollout, so an edit persists rather than being recomputed, and every edit acts on the model’s own quantities with no mapping to simulator parameters. We evaluate in a simulated environment where the true outcome of an edit is available, scoring the change each edit induces against the change the simulator produces under the same operation. On held-out clips, FORCE’s edits made from video agree with the simulator’s response at 0.19 to 0.37 on our effect-based score; trained and scored on exact object positions instead, the same architecture reaches 0.57 to 0.85. The gap therefore lies not in the learned relational dynamics but in perception: what bounds an edit is how precisely objects can be located from video, and the precision editing needs lies just beyond what current object-centric perception delivers. Closing that gap is a concrete target for making counterfactual world models work from video.

中文摘要

摘要：世界模型可以预测场景如何演变，但它们很难进行审问：给定一个预测视频的模型，人们无法轻易地询问如果两个对象之间的特定交互不同，结果会怎样。我们提出了用于反事实编辑的分解对象关系（FORCE），这是一种能够从原始视频中无监督推断成对交互的世界模型，并将每个交互表示为每对对象的显式潜变量，从而可以直接删除、修改、转移或引入关系。通过对冻结的自监督特征进行 slot attention 来提取对象；关系编码器从短时间观察窗口中推断每对对象的潜变量，交互头则将其转化为作用力。潜变量在整个 rollout 过程中保持固定，因此编辑是持久的，而不是重新计算，每个编辑作用于模型自身的量，而无需映射到模拟器参数。我们在一个可以获得编辑真实结果的模拟环境中进行了评估，根据每次编辑引起的变化与模拟器在相同操作下产生的变化进行评分。在未见过的片段上，FORCE 从视频中进行的编辑在我们的基于效应的评分中与模拟器的响应一致性为 0.19 到 0.37；如果使用精确的对象位置进行训练和评分，同一架构达到 0.57 到 0.85。因此，差距不在于学习到的关系动力学，而在于感知：编辑的限制在于从视频中精确定位对象的能力，而精确编辑所需的精度正好超过当前面向对象的感知所能提供的精度。缩小这一差距是使反事实世界模型能够从视频中有效工作的一个具体目标。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00023 (HTTP 429)

Authors: Suraj K. Sood, Yugyung Lee

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00023.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00023

Published: 2026-11-04T03:15:10.985Z

5. Covariance-aware Scoring: A Geometric Correction for Vision-Language Test-Time Adaptation

Abstract:Test-time adaptation (TTA) enables vision—language models such as CLIP to adapt to distribution shifts without labels or access to source data. Existing methods adapt through feature caching, prototype estimation, or the online accumulation of feature statistics, but most ultimately score a test feature against a class representative in the ambient embedding space, typically through cosine similarity. We identify this shared decision rule as a limitation under anisotropic feature distributions, which means when a small number of directions account for a large fraction of feature variance, the score can be dominated by high-variance directions that are not necessarily discriminative. In light of this, we propose CARe, a covariance-aware scoring for TTA that replaces the ambient geometry with a Mahalanobis geometry induced by the target feature second moment. Theoretically, we show that under a shared-covariance Gaussian model the covariance-aware decision direction coincides with that of the Bayes-optimal linear discriminant, with ambient-space scoring as the isotropic special case, and establish that the potential benefit of covariance-aware scoring grows with feature anisotropy. Empirically, we show that CARe improves adaptation accuracy over its base cosine scoring on both standard and fine-grained distribution-shift benchmarks across two backbones. Consistent with our analysis, the gains are largest on datasets whose features are most anisotropic and vanish as the features approach isotropy.

中文摘要

摘要：测试时适应（TTA）使得视觉-语言模型（如 CLIP）能够在没有标签或源数据访问的情况下适应分布漂移。现有方法通过特征缓存、原型估计或特征统计的在线累积进行适应，但大多数方法最终仍是将测试特征与环境嵌入空间中的类别代表进行比较，通常通过余弦相似度。我们将这种共享决策规则识别为在各向异性特征分布下的限制，这意味着当少数几个方向占据了特征方差的大部分时，得分可能会被不一定具有辨别力的高方差方向主导。有鉴于此，我们提出了 CARe，一种面向协方差的 TTA 评分方法，它用由目标特征二阶矩诱导的马氏几何替代环境几何。从理论上，我们证明了在共享协方差高斯模型下，面向协方差的决策方向与贝叶斯最优线性判别方向一致，环境空间评分作为各向同性的特例，并且建立了面向协方差评分的潜在优势随着特征各向异性的增加而增加。从实验上，我们展示了 CARe 在两个主干网络上，在标准和细粒度分布漂移基准测试中，相对于其基础余弦评分的方法，提高了适应精度。与我们的分析一致，收益在特征最各向异性的数据集上最大，而随着特征趋于各向同性，收益会消失。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00024 (HTTP 429)

Authors: Lakpa Tamang, Saman Forouzandeh, Kamal Berahmand, Wei Shao, Hamid Beigy, Mahdi Jalili

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00024.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00024

Published: 2026-11-04T03:15:10.985Z

6. Edge-Optimized YOLOv11n Architecture for Offline Recognition of Nigerian Sign Language Alphanumeric Gestures

Abstract:Deaf inclusion across sub-Saharan society faces regional hurdles, with Nigeria as the core empirical focus. Existing recognition models demand heavy computational infrastructure. However, standard mobile phones used locally rarely exceed 1 GB to 4 GB of RAM. This study addresses constraints through a lightweight YOLO11n object-detection framework. The system provides real-time Nigerian Sign Language recognition for low-resource hardware. A benchmark dataset containing 11,208 raw gesture images was established. The data spans 33 static classes collected from five signers. Partitioning isolates signers S1 through S3 for training. Signer S4 provides validation data. Signer S5 is reserved for testing. Spatial augmentations are restricted strictly to the training set. This yields 23,509 training images. The validation and test sets each maintain 1,681 images across varied environments. The framework integrates a quantization-aware compression objective. Loss functions merge with squared Frobenius-norm penalties to govern weight distortion. A Spatial-Density Occlusion Index quantifies background complexity and self-occlusion. A latency-profiling equation relates floating-point operations and memory bandwidth to chipset clock speed. Performance testing on physical Android hardware utilizes unquantized FP32 weights. Mean inference latencies span 405.5 ms to 1,759.4 ms. Measured against test data, the algorithm attains a Precision of 0.9975. Recall reaches 0.9991. Mean Average Precision is 0.9942. Outcomes support offline functionality on constrained mobile devices. Practical deployment operates through a mobile utility using CameraX. The application captures gestures in real time. Recognized signs display as text instantly.

中文摘要

摘要：撒哈拉以南社会的聋人融合面临地区性障碍，以尼日利亚为核心实证研究对象。现有的识别模型需要大量计算基础设施。然而，当地使用的标准手机的内存很少超过1GB至4GB。本研究通过轻量级YOLO11n对象检测框架解决了这一限制。该系统为低资源硬件提供实时尼日利亚手语识别功能。建立了一个包含11,208张原始手势图片的基准数据集。数据涵盖从五位手语者收集的33个静态类别。数据划分将手语者S1到S3用于训练。手语者S4提供验证数据。手语者S5保留用于测试。空间增强严格限定在训练集内，从而产生23,509张训练图片。验证集和测试集各保持1,681张图片，覆盖不同环境。该框架整合了量化感知压缩目标。损失函数与平方Frobenius范数惩罚相结合，以控制权重失真。空间密度遮挡指数用于量化背景复杂度和自遮挡情况。延迟分析方程将浮点运算和内存带宽与芯片时钟速度联系起来。物理Android硬件上的性能测试使用未量化的FP32权重。平均推理延迟范围为405.5毫秒至1,759.4毫秒。在测试数据上，算法达到精确率0.9975。召回率达到0.9991。平均准确率（mAP）为0.9942。结果支持在受限移动设备上的离线功能。实际部署通过使用CameraX的移动应用实现。该应用实时捕捉手势，被识别的手势即时显示为文本。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00025 (HTTP 429)

Authors: Adeleke Adeniyan, Abimbola H. Afolayan, Olanrewaju V. Johnson

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00025.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00025

Published: 2026-11-04T03:15:10.985Z

7. The Margin Knows the Background: Uneven Abstention in Frozen Vision-Language Models

Abstract:Selective prediction allows a model to abstain on uncertain inputs, but a single confidence threshold can disproportionately reject examples from particular groups. We study how confidence scores produce this imbalance in frozen vision-language models (OpenAI CLIP, LAION CLIP, SigLIP). We express a family of scores, including the margin and maximum logit, through the average and the difference of the two highest class logits, and ask which carries group information. We show that equal group coverage at every threshold is equivalent to independence between the score and group membership. A randomized margin baseline tests whether a reduction in coverage disparity beats what adding noise achieves. With score choices fixed before testing, the effect of choice depends on the dataset. On Waterbirds, the margin creates coverage gaps 2.5 to 5.5 times larger than maximum logit at 80% coverage, its group signal is in the difference component, and paired background swaps show the background moves it, although maximum logit increases overall error. On NICO++, maximum logit instead increases worst-context error by 5.4 to 6.6 points and offers no improvement over the randomized baseline for OpenAI CLIP. Across both datasets, how far a score pushes a group down its ranking tracks the coverage gap (Spearman 0.88, 0.92) better than plain group identifiability (0.61, 0.65). These results explain why a score that abstains more evenly on one dataset may be less effective on another and motivate judging group coverage and selective risk together against randomized baselines.

中文摘要

摘要：选择性预测允许模型在不确定的输入上选择放弃，但单一的置信度阈值可能会不成比例地拒绝来自特定群体的样本。我们研究了在冻结的视觉-语言模型（OpenAI CLIP、LAION CLIP、SigLIP）中，置信度得分如何产生这种不平衡。我们将一类得分，包括边际（margin）和最大logit，表达为两个最高类别logit的平均值和差值，并探讨哪种包含群体信息。我们表明，在每个阈值下实现群体覆盖率相等，相当于得分与群体归属独立。一个随机边际基线用于检验覆盖差异的减少是否优于添加噪声的效果。在测试前固定得分选择时，选择的影响取决于数据集。在Waterbirds数据集上，边际在80%覆盖率下产生的覆盖差是最大logit的2.5到5.5倍，其群体信号存在于差值分量中，配对的背景交换显示背景会影响它，尽管最大logit增加了整体误差。在NICO++数据集上，最大logit反而将最差情况下的错误率提高了5.4到6.6个百分点，并且对OpenAI CLIP没有超过随机基线的改善。在两个数据集中，一个得分将群体排名推低的程度比单纯的群体可识别性（Spearman 0.88, 0.92比0.61, 0.65）更能追踪覆盖差。这些结果解释了为什么在一个数据集上更均匀放弃的得分在另一个数据集上可能效果不佳，并促使我们在与随机基线比较时，同时评估群体覆盖和选择性风险。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00026 (HTTP 429)

Authors: Satwik Sai Prakash Sahoo, Bibhor Puhan, Shubhankar Mahanta

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00026.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00026

Published: 2026-11-04T03:15:10.985Z

8. SFA: A Statistical Physics-Inspired Diffusion Transformer for Efficient and High-Quality Image Generation

Abstract:Diffusion transformers have achieved remarkable success in image generation, but accelerating attention while preserving generation quality remains a major challenge at high resolutions. Inspired by statistical physics and the widespread occurrence of scale-free laws in nature, we introduce Scale-Free Attention (SFA), which preserves fine local interactions while summarizing distant regions at progressively coarser scales. For $N$ tokens, mean pooling, token-count correction, and a shared softmax over a scale-free spatial hierarchy give SFA $O(N\log N)$ complexity in both forward and backward passes. Our Triton implementation achieves $357.3\times$ forward and $265.6\times$ backward attention speedups over FlashAttention at 262,144 tokens. After 40 epochs of PixelFlow training from scratch on ImageNet at $256\times256$ resolution, SFA achieves the best generation quality among five attention mechanisms, including full attention. Fréchet inception distance evaluated on 50,000 generated samples (FID-50k) improves from 13.25 for full attention to 12.51, and the advantage over full attention persists through 80 epochs. SFA also achieves the best generation quality among the compared efficient-attention methods on Flickr-Faces-HQ (FFHQ). Beyond training from scratch, Stable Diffusion 3.5 Medium with attention replaced by SFA retains the generation quality of its full-attention counterpart under matched fine-tuning budgets. We obtain similar results when fine-tuning pretrained PixelFlow on ImageNet. SFA establishes scale-free structure as an effective design principle for efficient, high-quality diffusion transformers.

中文摘要

摘要：扩散变换器在图像生成方面取得了显著成功，但在高分辨率下，在保持生成质量的同时加速注意力仍是一大挑战。受统计物理学和自然界中广泛存在的无尺度定律启发，我们引入了无尺度注意力（SFA），它在逐步粗糙尺度下保留细微局部相互作用的同时，总结远处区域。对于$N$代币，均值池、令牌计数校正以及基于无尺度空间层级的共享软最大值，使SFA在前向和后向传递中都提升了$O（N\log N）$的复杂度。我们的Triton实现在262,144个代币的前进速度上比FlashAttention提升了357.3美元，后向加速了265.6美元。经过40个阶段的PixelFlow从零开始训练，分辨率为256美元\256美元，SFA在五种注意力机制中实现了最佳生成质量，包括全注意力。在5万个生成样本（FID-50k）上评估的Fréchet起始距离从全注意力的13.25提升至12.51，且优势持续80个时代。SFA在Flickr-Faces-HQ（FFHQ）上的所有高效注意力方法中，生成质量最佳。除了从零开始训练外，Stable Diffusion 3.5 Medium（注意力被SFA替代）在匹配微调预算下仍保持了全注意力生成质量。我们在ImageNet上微调预训练PixelFlow时也获得了类似结果。SFA确立无垢结构作为高效、高质量扩散变压器的有效设计原则。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00027 (HTTP 429)

Authors: Zixuan Huang, Tianhao You, Guozhang Chen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00027.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00027

Published: 2026-11-04T03:15:10.985Z

9. A Systematic Analysis of Live Intraoperative Surgical Expert Narrations

Abstract:Manual annotation remains the principal bottleneck in surgical video understanding. Live intraoperative narration by the operating surgeon is a scalable alternative that requires no manual annotation, but the information it contains has not been characterized. We analyzed 13 endoscopic lumbar spine decompression procedures (13.2 h) by two senior spine surgeons, using time-synchronized close-mic German audio. An annotation-free pipeline (word-level speech recognition, deterministic correction of surgical-term errors, utterance fusion, LLM-based translation to English, and relevance filtering) converted speech into time-stamped procedural cues labelled with the surgical entities they reference and their speech act. Of 3,171 utterances, 1,201 (37.9%) were retained as procedural cues, while 57.6% were non-procedural and removed. Retained cues referenced instruments (60.7%), anatomy (48.0%) and surgical actions (57.1%), and 98.5% carried at least one of these. 39% of cues (472 of 1,201) were directives, mainly instrument requests and commands. All 467 manually verified instrument requests preceded the instrument’s appearance in the field, by a median of 8.2 s. Domain-term transcription corruption affected 18.0% of retained cues. Live narration is thus a dense, annotation-free supervisory signal describing instruments, anatomy, actions and team coordination, but it is noisy and temporally displaced from the events it names, and this displacement must be modelled before safe downstream use.

中文摘要

摘要：手动标注仍然是外科手术视频理解的主要瓶颈。手术过程中由主刀医生进行的实时讲解是一种可扩展的替代方案，无需手动标注，但其包含的信息尚未被系统描述。我们分析了两位资深脊柱外科医生进行的13例内窥镜腰椎减压手术（共13.2小时），使用时间同步的近距离德语音频。一个无需标注的处理流程（词级语音识别、外科术语错误的确定性修正、语句融合、基于大型语言模型的英文翻译以及相关性过滤）将语音转化为带时间戳的手术操作线索，并标注其引用的外科实体及其言语行为。在3,171条语句中，有1,201条（37.9%）被保留作为手术操作线索，而57.6%为非手术相关内容被移除。保留的线索涉及器械（60.7%）、解剖结构（48.0%）和手术动作（57.1%），其中98.5%的线索至少包含这些内容之一。39%的线索（1,201条中的472条）为指令性内容，主要为器械请求和操作命令。所有467条经人工验证的器械请求均出现在器械实际出现之前，中位提前时间为8.2秒。领域术语转录错误影响了18.0%的保留线索。因此，实时讲解是一种密集的、无需标注的监督信号，可描述器械、解剖结构、手术动作及团队协作，但其信息存在噪声，并且与所描述事件在时间上存在错位，这种错位必须在安全使用下游模型之前进行建模。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00028 (HTTP 429)

Authors: Arda Mamur, Matthias Seibold, Christoph Laux, Florian Wanivenhaus, Philipp Fürnstahl

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00028.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00028

Published: 2026-11-04T03:15:10.985Z

10. DiA: Directional Adapter

Abstract:Fine-grained action recognition often depends on how an action unfolds over time rather than on appearance alone. Visually similar classes may differ in preparation, execution, or completion phases, making uniformly aggregated temporal context suboptimal. We study this problem under a practical objective: i) improving recognition performance with few tunable parameters, ii) being compute efficient, and iii) using only the readily available video modality. Motivated by this missing temporal observation and the accuracy—compute efficiency—unimodality objective, we propose Directional Adapter (DiA), a parameter-efficient adapter on top of CLIP. DiA formulates temporal specialization into causal and anti-causal directions, allowing past-to-present and future-to-present cues to be modeled differently. To keep this directional modeling parameter- and compute-efficient, both directions use depth-wise temporal convolutions in a compact bottleneck space and are combined through a learnable fusion. DiA achieves state-of-the-art performance among methods using a single video input modality across seven public benchmarks, with only $\sim$3.6M tunable parameters, while also delivering higher throughput and lower inference latency than prior methods. Code is available at this https URL.

中文摘要

摘要：细粒度动作识别往往依赖于动作随时间展开的方式，而不仅仅是外观。视觉上相似的类别可能在准备、执行或完成阶段有所不同，因此均匀聚合的时间上下文可能并非最佳选择。我们在一个实际目标下研究这个问题：i) 在可调参数较少的情况下提升识别性能，ii) 保持计算高效，iii) 仅使用现成的视频模态。受这种缺失的时间观察以及准确性—计算效率—单模态目标的启发，我们提出了方向适配器（Directional Adapter, DiA），它是基于CLIP之上的参数高效适配器。DiA将时间特化表述为因果和逆因果方向，允许过去到现在和未来到现在的线索以不同方式建模。为了保持这种方向建模在参数和计算上的高效性，两个方向都在紧凑的瓶颈空间中使用逐通道时间卷积，并通过可学习融合进行结合。DiA在七个公开基准测试中，在仅使用单一视频输入模态的方法中实现了最先进的性能，仅有约3.6M可调参数，同时其吞吐量更高、推理延迟更低，优于以往方法。代码可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00029 (HTTP 429)

Authors: Ashish Kumar Singh, Prakash Chandra Chhipa

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2611.00029.pdf

CoolPaper URL: https://papers.cool/arxiv/2611.00029

Published: 2026-11-04T03:15:10.985Z

Author: Firefly

Link: https://wdndev.github.io/daily/domain/202611/2026-11-04/