ArXiv Domain 2026-10-11
数据来源：ArXiv Domain
LLM Domain Papers
1. Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models
Abstract:Personalizing text-to-image diffusion models from a few reference images requires preserving subject identity while following prompts that describe new contexts. Full-model fine-tuning is parameter-intensive, whereas low-rank adaptation (LoRA) reduces the number of trainable parameters but leaves open how adaptation capacity should be distributed across layers. We introduce Diffu-LoRA, a parameter-efficient method that learns this allocation through gated low-rank adaptation. Diffu-LoRA inserts trainable low-rank components into the linear layers of Transformer blocks and assigns a learnable gate to each component. Bilevel optimization updates the adaptation weights and gate parameters on separate data splits, while progressive pruning removes components with the lowest gate values to meet a prescribed rank budget. This procedure allocates adaptation capacity nonuniformly across layers while keeping the pretrained backbone frozen. Experiments with Stable Diffusion on subjects from DreamBooth and additional collected datasets show improved overall subject fidelity and prompt alignment relative to the evaluated fine-tuning baselines. Ablation studies examine the contributions of bilevel optimization, progressive pruning, and adapter placement. These results support learned rank allocation as a practical approach to parameter-efficient diffusion model personalization.
中文摘要
摘要：从少量参考图像个性化文本到图像的扩散模型需要在保持主体身份的同时遵循描述新场景的提示。全模型微调需要大量参数，而低秩适配（LoRA）减少了可训练参数的数量，但如何在各层分配适配容量仍未确定。我们提出了 Diffu-LoRA，一种参数高效的方法，通过门控低秩适配学习这种分配。Diffu-LoRA 在 Transformer 块的线性层中插入可训练的低秩组件，并为每个组件分配一个可学习的门。双层优化在不同的数据分割上更新适配权重和门参数，同时逐步剪枝移除门值最低的组件以满足规定的秩预算。该过程在各层中非均匀分配适配容量，同时保持预训练骨干网络冻结。使用 Stable Diffusion 对 DreamBooth 的主体和额外收集的数据集进行实验表明，与评估的微调基线相比，能够提高整体主体忠实度和提示一致性。消融研究考察了双层优化、逐步剪枝和适配器放置的贡献。这些结果支持将学习的秩分配作为参数高效扩散模型个性化的实用方法。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*个性化文本到图像扩散模型\*\*中，\*\*如何在有限的全局低秩预算下，跨模型层学习最优的适应容量分配\*\*这一问题。 具体而言，论文关注以下核心挑战： \* \*\*主题驱动的图像生成\*\*：给定少量特定主题的参考图像，使预训练的扩散模型能够生成保持该主题身份特征的新图像，同时遵循描述新场景、姿态或风格的文本提示。 \* \*\*参数高效微调中的秩分配问题\*\*：低秩适应（LoRA）虽然通过冻结主干网络、仅训练低秩因子减少了参数成本，但现有方法通常采用\*\*均匀分配\*\*策略（即对各层预设相同秩）。这忽略了不同层在学习主题特定特征和维持提示响应能力上的角色差异，导致适应容量未必被用在最需要的地方。 \* \*\*统一目标\*\*：在严格限制可训练参数总量（即全局秩预算）的前提下，自动学习出一个\*\*非均匀的、层相关的秩分配方案\*\*，以在主题保真度（Subject Fidelity）与提示对齐度（Prompt Alignment）之间取得更好的平衡。 为此，论文提出了 Diffu-LoRA，通过门控低秩适应、双层优化和渐进式剪枝，让模型在个性化训练过程中自动决定哪些层应保留更多低秩组件、哪些层应被剪枝，从而实现更高效的参数利用。 Q2: 有哪些相关研究？ 根据论文第2节，相关研究主要围绕\*\*参数高效微调（PEFT）\*\*与\*\*低秩适应（LoRA）变体\*\*两大方向展开，可归纳如下： ### 1. 参数高效微调（PEFT） PEFT 的核心思想是冻结预训练主干网络的大部分参数，仅通过极少量可训练参数实现下游任务适应。现有方法大致可分为以下几类： - \*\*适配器方法（Adapter-based）\*\*：在 Transformer 等骨干网络的特定层中插入小型神经网络模块。代表工作包括 Houlsby 等人提出的适配器结构
8
以及 Rücklé 等人对适配器效率的研究
21
。 - **前缀/提示微调（Prefix / Prompt Tuning）**：不修改模型权重，而是学习连续的条件向量或软提示来引导模型行为。代表工作包括 Prefix-Tuning
14
、Prompt Tuning
12
和 P-Tuning
17
。 - **稀疏更新与掩码方法（Sparse Update & Masking）**：仅优化预定义的部分参数，或学习掩码来决定哪些参数应当更新。典型方法包括 BitFit
3
、Diff Pruning
7
和基于掩码的微调
26
。 - **乘法调制方法（Multiplicative Schemes）**：通过学习少量缩放向量对中间激活进行调制，例如 (IA)³
16
。 - **重参数化方法（Reparameterization-based）**：利用“适配往往发生在低维子空间”这一经验证据
1,2
，将任务特定的权重变化表示为紧凑的参数化形式，而非直接更新稠密权重矩阵。 - **全量微调（Full Fine-tuning）**：如 DreamBooth
22
和 BLIP-Diffusion
13
，能够捕捉主题特定外观，但需要存储和优化整个模型副本，参数成本远高于 PEFT。 ### 2. 低秩适应（LoRA）及其变体 LoRA
9
假设权重的任务特定变化位于低维子空间，通过两个可训练的低秩因子之积来表示权重更新。围绕其效率与实现，衍生出多种扩展： - **QLoRA
5
**：将低秩适应与模型权重量化相结合，以显著降低微调过程中的显存占用。 - **LoRA-FA
25
**：通过冻结其中一个低秩因子、仅优化另一个因子，进一步降低激活显存消耗。 - **VeRA
10
**：在所有层共享冻结的随机投影矩阵，仅学习轻量级的缩放向量，从而将可训练参数降至更少。 与上述工作不同，Diffu-LoRA 并不侧重于在**给定固定配置**下进一步提升内存或参数效率，而是解决一个互补问题：在**全局低秩预算固定**的前提下，**如何学习并分配各层应保留的低秩组件数量**，以实现非均匀的、数据驱动的秩分配。 Q3: 论文如何解决这个问题？ 论文通过提出 **Diffu-LoRA** 方法解决该问题，其核心在于将全局秩预算的分配转化为一个可学习的结构化稀疏化过程。具体解决路径包括以下四个相互关联的环节： ### 1. 门控低秩适应（Gated Low-Rank Adaptation） 区别于传统 LoRA 对每个 adapted 层使用固定秩，Diffu-LoRA 首先为每一层初始化一个**过参数化**的低秩适配器，即赋予其较多的候选秩一分量（初始分量数 q_ell ），并通过可学习的门控机制控制各分量的有效幅度。 对于某线性层 ell ，其权重更新表示为：
Delta Well = U_ell , diag(g_ell) , V_ell,
其中 U_ell ∈ R^(d_ell^∈) × q_ell 、 V_ell ∈ R^(q_ell × d_ell^out) 为可训练的低秩因子，而门控向量 g_ell ∈ R^(q_ell) 定义为：
g_ell = 2 m_ell odot σ(a_ell).
这里 a_ell 为可学习的门控 logit， σ(·) 为 logistic sigmoid 函数， m_ell ∈ 0,1^(q_ell) 为二进制活动掩码， odot 表示逐元素乘法。初始时 m_ell = 1 、 a_ell = 0 ，使所有候选分量以完整幅度参与训练。通过引入 m_ell 与 a_ell ，模型能够显式地评估每个候选分量的重要性。 ### 2. 双层优化（Bilevel Optimization） 为了阻止门控参数仅仅拟合训练参考图像的过拟合细节，Diffu-LoRA 将个性化数据划分为互不相交的两个子集 D(tr) （训练集）与 D_(val) （验证集），并将优化过程形式化为双层问题：
min(a) ; J(D(val);, Omega^(a),, a), quad s.t. quad Omega^(a) ∈ argmin(Omega) ; J(D(tr);, Omega,, a).
其中 Omega = Uell, V_ell(ell ∈ A) 为低秩因子参数， a = aell(ell ∈ A) 为门控 logit。实际实现中采用**交替一阶梯度更新**：低秩因子 Omega 仅在 D(tr) 上更新，而门控参数 a 仅在 D(val) 上更新。这种数据隔离机制使得门控值能够基于对 unseen 样本的泛化信号来判定哪些低秩分量真正有助于主题保持与提示对齐，而非单纯记忆训练背景。 ### 3. 渐进式剪枝（Progressive Pruning） 在双层暖启动后，需要通过剪枝将总活跃分量数从初始预算 B0 = ∑(ell) qell 压缩至预设的目标预算 B(tar) （满足 ∑(ell) r_ell = B(tar) 且 B(tar) < B_0 ）。Diffu-LoRA 采用渐进式策略而非一次性剪枝： - 每一剪枝阶段，根据当前所有活跃分量的门控值 g(ell i) 进行排序； - 将门控值最低的 n0 个分量移除，即将其掩码 m(ell i) 置零并冻结对应 logit； - 每次剪枝后，在 D(tr) 与 D(val) 上继续对**幸存分量**执行额外的 K2 步优化，使其补偿已移除分量造成的表达能力损失。 该过程重复进行，直至满足全局秩预算。这种“剪枝—再优化”的交替允许幸存分量逐步适应缩减后的容量约束，避免一次性大幅剪枝导致的性能崩溃。 ### 4. 生成层相关的非均匀秩 当活跃分量总数达到 B(tar) 后，所有被掩码置零的列（来自 Uell ）与对应行（来自 V_ell ）被物理丢弃。剩余门控值可吸收进低秩因子中的任意一方，最终每层 ell 保留的秩 r_ell 等于其幸存分量数。由于不同层的剪枝比例由数据驱动，最终得到的 r_ell(ell ∈ A) 是**非均匀、层相关**的，且满足全局参数约束：
P(ad) = ∑(ell ∈ A) rell (d_ell^(∈) + d_ell^(out)) ll Pφ.
综上所述，Diffu-LoRA 通过**门控机制**显式建模各分量重要性，通过**双层优化**获得泛化化的重要性评估信号，再通过**渐进式剪枝**在严格满足全局预算的前提下，自动发现各 Transformer 层所需的最优低秩容量分配。 Q4: 论文做了哪些实验？ 论文的实验围绕 **Stable Diffusion v1.5** 展开，从 DreamBooth 及额外收集的数据集上评估个性化生成效果，并系统验证了 Diffu-LoRA 各组件的有效性。具体实验内容可归纳如下： ### 1. 数据集与评估设置 实验使用了四类主题数据： - **DreamBooth 基准**：12 个公开主题（涵盖狗、猫、背包、茶壶、时钟、机器人玩具等）。 - **Custom Diffusion 补充**：6 个主题以增加物体类别与视觉外观多样性。 - **自行收集数据**：包括人脸、动漫角色（如 Nami、Kiriko、Shoko Komi、Kakashi Hatake）以及视觉 distinctive 的物体（如 Rolls-Royce、Hugging Face logo），用于验证方法在更具挑战性概念上的泛化能力。 数据被组织为四个评估组：生物主题、无生命物体、动漫角色、人脸。 ### 2. 实现细节 - **基座模型**：Stable Diffusion v1.5，主干参数冻结。 - **适配范围**：选定的 Transformer 块内全部 6 个线性变换（含注意力投影与前馈变换）。 - **预算设置**：每层初始候选分量数 qell = 32 ，每块初始预算 B_0 = 192 ；目标预算 B(tar) = 96 。 - **训练配置**：共 200 优化步，学习率 5 × 10^(-4) ，AdamW 优化器，线性衰减。 - 双层暖启动： K1 = 20 步。 - 渐进剪枝：每阶段移除 n_0 = 8 个分量，每次剪枝后 K_2 = 15 步恢复优化，共 12 个剪枝阶段。 ### 3. 评估指标 采用三个互补指标： - **DINO**：衡量生成图像与参考图像在自监督视觉特征空间的相似度，对同类主题间的身份差异敏感。 - **CLIP-I**：基于 CLIP 图像编码器的视觉相似度，衡量广义主题保真度。 - **CLIP-T**：基于 CLIP 图文对齐的提示遵循度，衡量生成结果与文本指令的语义一致性。 ### 4. 对比实验（主实验） 与以下基线方法进行公平对比（均使用相同的 DreamBooth 实例先验与先验保持损失）： - **DreamBooth + FT**：全量微调 Transformer 块的所有可训练参数。 - **DreamBooth + LoRA-Attn**：仅在多头注意力的线性投影插入传统 LoRA。 - **DreamBooth + LoRA-All**：在每个 Transformer 块的全部 6 个线性变换插入传统 LoRA（均匀秩）。 - **DreamBooth + Diffu-LoRA**：完整提出的方法（门控适配 + 双层优化 + 渐进剪枝）。 **结果概要**： - 在 **DreamBooth 12 主题**（表 1）上，Diffu-LoRA 在全部 12 个主题的 **CLIP-T** 指标上均取得最高分，同时在 DINO 与 CLIP-I 上总体优于或持平于基线，尤其在 teapot、dog、cat、clock、robot toy 上优势显著。 - 在 **互联网收集的 6 个主题**（表 2）上，Diffu-LoRA 相比 LoRA-All 在所有 6 个主题上均提升了 CLIP-T，同时视觉相似度指标总体保持或提升。 ### 5. 消融实验（表 3） 为验证核心组件贡献，在 teapot、dog、cat 三个主题上对比了 Diffu-LoRA 的三个变体： - **Joint opt.**（联合优化）：移除双层数据分离，将低秩因子与门控 logit 在同一数据拆分上联合更新。 - **No pruning**（不剪枝）：保留所有初始候选分量，仅通过门控进行软加权，不执行硬剪枝以达到目标预算。 - **Attn. only**（仅注意力）：将 Diffu-LoRA 的适配范围限制在注意力投影，而非所有选定的线性变换。 **结果概要**： - **完整方法**在所有三个主题上取得最高的 CLIP-T，且主题保真度指标具备竞争力。 - 移除双层优化（Joint opt.）导致三项指标一致下降，说明验证集上的门控学习对防止过拟合至关重要。 - 移除剪枝（No pruning）虽偶尔在 DINO 或 CLIP-I 上微弱提升，但牺牲了 CLIP-T 与紧凑性。 - 仅适配注意力层（Attn. only）削弱了提示对齐能力，表明在前馈等更多线性层上分配自适应容量具有价值。 Q5: 有什么可以进一步探索的点？ 基于论文的局限性与开放性问题，以下方向值得进一步探索： ### 1. 更大规模与更复杂的主干网络适配 论文在 Stable Diffusion v1.5 上验证了方法有效性。随着 SDXL、Stable Diffusion 3、Flux 等更大参数量、更复杂架构的扩散模型成为主流，Diffu-LoRA 的层间秩分配规律是否依然成立、其相对收益是否会随模型容量变化而改变，尚待系统研究。 ### 2. 多主题与多概念联合个性化 当前工作聚焦于单主题的个性化适配。当多个主题或概念需要同时学习时，不同主题可能依赖模型中不同的特征子空间。此时，全局秩预算是否应在**层间**与**主题间**两个维度同时进行非均匀分配，是一个自然的扩展。 ### 3. 联合优化秩、显存与推理延迟 论文仅以总秩大小 ∑_ell r_ell 作为参数预算约束。实际部署中，不同层的激活维度 d_ell^(∈), d_ell^(out) 各异，导致相同秩增量带来的**显存占用**与**推理延迟**并不相同。未来的分配准则可显式纳入这些硬件感知指标，构建多目标优化框架。 ### 4. 动态或条件化的秩分配 论文学习的是静态、与输入无关的层间秩分布。探索**输入自适应**的分配策略——例如根据文本提示的复杂度或主题罕见程度，动态调整低秩分量的激活数量——可能在保证效率的同时进一步提升生成质量。 ### 5. 剪枝标准与优化算法的深化 当前采用基于门控值 g(ell i) 的贪婪剪枝。是否可以引入： - 基于海森矩阵或贡献敏感性的二阶剪枝准则； - 可微分松弛（如连续松弛掩码）替代离散剪枝； - 更高效的隐式微分（implicit differentiation）替代交替梯度更新，以降低双层优化的计算开销。 ### 6. 向视频与 3D 生成的迁移 将 Diffu-LoRA 的思想扩展到视频扩散模型或 3D 生成模型（如文本到视频、文本到 3D）。这些模态通常包含时空 Transformer 或额外的卷积/注意力机制，其层类型更加异构，非均匀秩分配的潜力可能更大。 ### 7. 理论解释与可解释性 论文通过实验验证了某些层在个性化中需要更高秩，但缺乏对“为何特定层需要更多容量”的深层理论解释。从奇异值分解、信息流或注意力模式的角度，为学到的层间秩分布提供理论归因，有助于指导更高效的适配器设计。 ### 8. 与其他参数高效方法的复合 Diffu-LoRA 目前独立于主干进行低秩更新。将其与量化（如 QLoRA）、因子共享（如 VeRA）或稀疏更新（如 diff pruning）等技术结合，探索混合 PEFT 方案在个性化任务中的极限效率，也是一个有前景的实用方向。 Q6: 总结一下论文的主要内容 这篇论文围绕**参数高效的扩散模型个性化生成**展开，提出了一种名为 **Diffu-LoRA** 的方法，旨在解决固定全局低秩预算下如何跨层最优分配适应容量的问题。主要内容可概括如下： ### 1. 研究背景与核心问题 文本到图像扩散模型能够从少量参考图像中学习特定主题并生成新图像，但全量微调参数量大、存储成本高，且容易过拟合到参考图像的背景或姿态。低秩适应（LoRA）虽能冻结主干、仅训练低秩因子，但现有方法通常对各 adapted 层采用**预设的均匀秩**，未能考虑不同层在学习主题身份与维持文本提示响应能力上的差异。因此，论文核心关切为：**在严格的全局秩预算约束下，如何自动学习并分配各层所需的非均匀低秩容量**。 ### 2. 方法框架：Diffu-LoRA Diffu-LoRA 由三个相互协同的机制构成： - **门控低秩适应（Gated Low-Rank Adaptation）** 对每个选定的线性层 ell ，初始化过参数化的低秩因子 U_ell ∈ R^(d_ell^∈) × q_ell 、 V_ell ∈ R^(q_ell × d_ell^out) ，并引入可学习门控向量 g_ell 。该层的权重更新表示为：
Delta Well = U_ell , diag(g_ell) , V_ell,
其中门控通过 logit 向量 a_ell 与二进制掩码 m_ell 计算：
g_ell = 2 m_ell odot σ(a_ell).
初始时所有候选分量均激活（ m_ell = 1, a_ell = 0 ），优化过程中门控值将反映各分量的重要性。 - **双层优化（Bilevel Optimization）** 将个性化数据划分为互不相交的训练集 D(tr) 与验证集 D(val) 。低秩因子 Omega = U_ell, V_ell 在 D(tr) 上更新，门控 logit a = aell 在 D(val) 上更新：
min(a) J(D(val); Omega^(a), a) quad s.t. quad Omega^(a) ∈ argmin(Omega) J(D(tr); Omega, a).
该分离机制使门控基于泛化信号而非训练集记忆来评估分量重要性，有效抑制过拟合。 - **渐进式剪枝（Progressive Pruning）** 初始总分量数 B0 = ∑_ell q_ell 大于目标预算 B(tar) 。算法在训练过程中分阶段剪除门控值 g(ell i) 最低的 n_0 个活跃分量（将其掩码置零），并在每轮剪枝后对幸存分量执行额外 K_2 步优化以补偿容量损失。重复该过程直至满足：
∑(ell ∈ A) rell = B(tar).
最终丢弃无效行列，剩余门控吸收进低秩因子，得到**层相关、非均匀**的最终秩 r_ell 。 ### 3. 实验验证 - **设置**：基于 Stable Diffusion v1.5，在 DreamBooth 12 主题、Custom Diffusion 6 主题及额外收集的人脸、动漫角色与 distinctive 物体上评估。适配范围覆盖 Transformer 块中全部 6 个线性变换（注意力投影与前馈层）。 - **对比基线**：全量微调（FT）、仅注意力 LoRA（LoRA-Attn）、全层均匀 LoRA（LoRA-All）。 - **评估指标**：DINO 与 CLIP-I（主题保真度）、CLIP-T（提示对齐度）。 - **结果**： - 在 DreamBooth 全部 12 个主题上，Diffu-LoRA 的 CLIP-T 均为最高，DINO 与 CLIP-I 总体优于或与最优基线持平。 - 在互联网收集的 6 个主题上，CLIP-T 全面优于 LoRA-All，视觉相似度总体保持。 - **消融实验**：移除双层优化（联合训练）、移除剪枝（保留全部分量）、仅适配注意力层，均会导致性能下降，验证了三个核心组件的必要性。 ### 4. 主要贡献 - 提出 Diffu-LoRA，首次将**学习化的非均匀秩分配**引入扩散模型的个性化低秩适应，突破了传统均匀秩预设的局限。 - 通过**门控机制 + 双层优化 + 渐进剪枝**的联合设计，在冻结预训练主干的前提下，实现了紧凑参数预算下的自适应层间容量分配。 - 在多样化的主题与类别上验证了该方法在主题保真度与文本提示对齐方面的综合优势。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Tianjing Li, Wei Zhu
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10550.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10550
Published: 2026-10-11T02:10:29.912Z
2. Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
Abstract:Historical Polish is well documented as a language but annotated in machine-readable form only to about a million words for the period this paper covers; the rest sits behind optical character recognition of variable quality. We present Wieszcz-XIX, a corpus of 6.75 billion tokens (about 3.1 billion words) in 294,369 documents, most of them periodical issues, of Polish published from 1800 to 1918, assembled from Wolne Lektury and the Internet Archive by a pipeline that filters, deduplicates, audits for post-1918 leakage and splits at the document level. It is over three orders of magnitude larger than the annotated corpus of the same period, and we quantify its defects: recognition corruption against a false-positive floor, near-identical duplication, which is removed, and post-1918 leakage, which is excluded from the training corpus itself down to a known residue of 0.04 to 0.38% of its bytes, found in the transcribed source, so the published corpus is the trained one document for document. On a hand-corrected sample the character error rate is 0.68% where the text is legible, and 45% of the sampled passages cannot be corrected. On it we train a ladder of decoder-only models from 47M to 349M parameters from scratch, and measure their temporal boundedness. Against two modern Polish base models, one far larger, the 349M shows a crossover, as does the 107M against the comparator of its size: post-1918 vocabulary costs them about 3.1 bits per byte more than period vocabulary, a gap the comparators do not show, and period vocabulary costs them fewer bits than it costs the comparators. Shown period text, the models keep its spelling and the comparators only partly. Adding parameters gains about twice as much as a second pass over the data. We release the corpus, code and weights. Content warning: the models reproduce period prejudice, including antisemitic statements.
中文摘要
摘要：历史波兰语作为一种语言有完整的文献记录，但在机器可读形式下注释的仅约涵盖本文所讨论时期的一百万词，其余部分只能通过质量不一的光学字符识别获取。我们提出了 Wieszcz-XIX 语料库，其包含 67.5 亿个标记（约 31 亿词），分布在 294,369 份文档中，其中大多数为期刊出版物，时间跨度为 1800 年至 1918 年，这些文档由 Wolne Lektury 和互联网档案馆汇集而来，经过一条处理流程，包括过滤、去重、审核 1918 年后的泄漏，并在文档层面拆分。该语料库的规模比同期注释语料大三个数量级以上，我们同时量化了其缺陷：与假阳性下限相比的识别损坏、几乎相同的重复内容（已删除）和 1918 年后的泄漏（在训练语料自身中被排除，仅在转录源中残留 0.04% 到 0.38% 的字节），因此已发布的语料就是训练语料，文档一一对应。在手工校正样本中，可读文本的字符错误率为 0.68%，而 45% 的采样段落无法被纠正。在此语料上，我们从零开始训练了一个参数范围从 4700 万到 3.49 亿的逐层解码模型，并测量了它们的时间边界性。与两个现代波兰语基础模型相比，其中一个要大得多，3.49 亿参数模型显示出交叉点，107M 参数模型与同尺度比较模型也类似：1918 年后的词汇使它们每字节成本约增加 3.1 位，而比较模型不存在这一差距；同期词汇对它们的成本低于比较模型。在展示同期文本时，这些模型保持了其拼写，而比较模型仅部分保持。增加参数量的收益约是对数据进行第二次处理的两倍。我们发布语料库、代码和权重。内容警示：这些模型会再现同期偏见，包括反犹太言论。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*历史波兰语（1800–1918年）在机器可读形态下的严重数据稀缺问题\*\*，并在此基础上探索\*\*时间受限语言模型（temporally bounded language models）的构建与验证\*\*。具体而言，论文试图回答以下几个相互关联的核心问题： 1. \*\*历史波兰语预训练语料的极度匮乏\*\* - 现有经过人工标注的历史波兰语语料（如1830–1918年语料库）仅约100万词，对于从头预训练语言模型而言微不足道（按计算最优比例仅能支持约10万参数的模型）。 - 大量历史文本仅以质量参差不齐的OCR形式存在，尚未被整理成可用于预训练的清洁语料。 2. \*\*大规模历史语料库的构建与质量控制\*\* - 如何从Internet Archive和Wolne Lektury等来源收集、过滤、去重，并构建一个数十亿词级别、覆盖1800–1918年间波兰语文本的语料库。 - 如何系统性地量化并处理语料缺陷，包括OCR错误率、近重复文档、以及最关键的——\*\*1918年后的时间泄漏（post-1918 leakage）\*\*，确保训练语料在时间边界上的可信度。 3. \*\*时间受限模型的可实现性与验证\*\* - 验证仅在特定历史时段文本上从头训练的解码器模型，是否真的能形成"时间 capsule"：即其词汇、事实世界和知识空白完全来源于该时期，而不像现代模型那样只是被提示模仿历史风格。 - 通过与现代波兰语基座模型（如Bielik、papuGaPT2）的对比，测量这些历史模型是否在\*\*时期词汇\*\*上具有更低的困惑度（bits per byte），而在\*\*现代词汇\*\*上具有更高的困惑度，从而证明其"时间边界性"（temporal boundedness）。 4. \*\*数据受限环境下的扩展规律\*\* - 在语料规模成为瓶颈（最大模型仅约20 token/参数）的情况下，量化\*\*增加参数量\*\*与\*\*重复遍历数据\*\*之间的收益权衡，为历史语料上的计算最优训练提供实证依据。 简言之，论文的核心贡献是：为波兰语这一缺乏大规模数字化历史资源的语言，建立了一个经过审计的、具有明确时间界限的十亿级token语料库，并在此基础上训练、评估了一系列真正"属于"19世纪至20世纪初波兰语世界的语言模型。 Q2: 有哪些相关研究？ 论文在第2节"Related work"中系统梳理了相关研究，主要涵盖以下六个方向： \*\*1. 历史波兰语语料库\*\* - \*\*KorBa\*\*：覆盖1601–1772年间波兰语文本的平衡语料库，经过转写、音译和形态标注，规模约1,350万词（Gruszczyński et al., 2022）。 - \*\*1830–1918年人工标注语料库\*\*：规模约100万词，涵盖小说、散文、科学文本、报刊和戏剧，并配有适应该时期的标注器（Kieraś & Woliński, 2018）。 - \*\*ELTeC波兰语合集\*\*：包含100部以TEI编码编码的小说（Byszuk, 2021）。 - 这些资源属于波兰国家语料库传统，以平衡性和人工标注为特征，但规模远不足以支持从头预训练语言模型。 \*\*2. 历史文本处理挑战\*\* - Piotrowski (2012) 综述了历史文本对语言技术的难点：正字法变异缺乏统一标准，以及叠加其上的识别噪声。 - Bollmann (2019) 比较了多语言历史文本规范化系统。 - Yazar, Kutlu & Bayırlı (2025) 从《官方公报》和议会记录构建了历时土耳其语语料库，其来源单一、日期可信，与本文异质来源和需审计的元数据形成对比。 \*\*3. 波兰语语言模型\*\* - \*\*HerBERT\*\*（Mroczkowski et al., 2021）与 \*\*Bielik\*\* 系列（Ociepa et al., 2024, 2025）针对现代波兰语进行适应或预训练。 - \*\*PLLuM\*\* 家族（Kocoń, Piasecki, Janz, et al., 2025）同样面向当代波兰语。 - 本文指出，尚未发现面向历史波兰语的从头预训练生成模型。 \*\*4. 语言模型中的时间效应与时间受限训练\*\* - \*\*时间错位成本\*\*：Lazaridou et al. (2021) 证明模型在训练时段之外的文本上性能下降，且单纯扩大规模无法修复；Luu et al. (2022) 在八项任务上量化了这种错位；Dhingra et al. (2022) 将时间参考显式嵌入模型以支持带"有效期"的事实查询。 - \*\*TiMaGPT\*\*（Drinkall et al., 2024）：基于维基百科修订和新闻文本，训练了12个截止年份在2011–2022年间的GPT-2尺寸英语模型，用于预测时消除未来信息。 - \*\*TimeCapsuleLLM\*\*（Grigorian & Yaghoobian, 2025, 2026）：在1800–1875年伦敦英语上从零训练1.6B至1.2B参数模型，将时期声音视为用于历史理解的生成性幻觉。 - \*\*StoriesLM\*\*（Sarkar, 2024）：在随时间扩展的历史文本序列上训练的125个编码器模型。 - \*\*ChronoBERT / ChronoGPT\*\*（He et al., 2025）：1999–2024年间每年检查点，仅使用当年可用文本训练，用于消除预测中的前瞻偏差。 - \*\*Ranke-4B\*\*（Göttlich et al., 2025）：40亿参数模型，截止年份1913–1946，训练于800亿词元。 - \*\*TypewriterLM\*\*（Luo et al., 2026）：72.4亿参数模型，训练于540亿词元1913年前英语文本。 \*\*5. 预训练语料库及其审计\*\* - 大型预训练语料作为独立工件发布，包括 \*\*The Pile\*\*（Gao et al., 2020）、\*\*C4\*\*（Raffel et al., 2020）、\*\*ROOTS\*\*（Laurençon et al., 2022）、\*\*Dolma\*\*（Soldaini et al., 2024）以及含波兰语的 \*\*CulturaX\*\*（Nguyen et al., 2024）。 - 后续审计持续发现构建者未报告的问题（Dodge et al., 2021; Elazar et al., 2024）。本文的差异化做法是在分词前而非发布后进行内容审计，确保发布的语料即训练语料。 \*\*6. 数据受限扩展与训练调度\*\* - Hoffmann et al. (2022) 确立了计算最优的词元-参数比例，使得本文语料规模成为模型尺寸的约束条件。 - Muennighoff et al. (2023) 表征了唯一数据耗尽后重复遍历数据（多轮epoch）时的行为，这正是本文较大模型所处的状态。 - Hägele et al. (2024) 提出了本文使用的 warmup–stable–decay 学习率调度，其平坦中期允许在不重启余弦曲线的情况下延长训练。 Q3: 论文如何解决这个问题？ 论文通过\*\*语料库工程、严格的时间边界审计、受控的模型训练与多维评估\*\*相结合的方式解决历史波兰语数据稀缺与时间受限建模的问题。具体解决方案可分为以下六个层面： --- ### 1. 构建超大规模历史波兰语语料库 为突破现有标注语料仅约百万词规模的瓶颈，论文构建并发布了 \*\*Wieszcz-XIX\*\* 语料库： - \*\*规模\*\*：6,745,956,943 个 token（约 31 亿词），294,369 份文档。 - \*\*来源\*\*：整合 \*\*Wolne Lektury\*\*（转录文献，现代正字法但无 OCR 噪声）与 \*\*Internet Archive\*\*（原始拼写的 OCR 扫描文本，以期刊为主）。 - \*\*覆盖\*\*：1800–1918 年间出版的波兰语文本，其中 94.2% 为期刊 issue，其余包括书籍、小册子等。 --- ### 2. 建立可复现的多层级清洗与时间边界控制 论文设计了一套可复现、可逆向调整的流水线，核心环节包括： \*\*（1）内容门控过滤（Internet Archive 材料）\*\* 应用四项阈值过滤以剔除表格、索引、失败扫描及非波兰语内容： - 字母字符比率 ≥ 0.60 - 停用词比率 ≥ 0.03 - 变音符号比率 ≥ 0.04 - 西里尔字符比率 < 0.005 \*\*（2）去重\*\* 在分词前对全部 298,102 份文档运行 \*\*MinHash\*\*（5-词 shingles，Jaccard ≥ 0.8 ），移除 418 份重复文档（占语料 0.225%）。 \*\*（3）时间边界审计（核心创新）\*\* 为避免训练语料被 1919 年后文本污染，论文在\*\*分词前\*\*实施多臂审计，确保被标记文档绝不进入训练流： - \*\*强标记 outright 排除\*\*：如 \*hitler\*、\*gestapo\*、\*nkwd\*、\*kołchoz\*、\*faszyzm\* 等现代词汇；出版商标记（copyright、ISBN、"wszelkie prawa zastrzeżone" 等）；二战及公共领域声明的正则短语。 - \*\*辅助信号 corroboration\*\*：检测现代词汇（如 \*internet\*、\*komputer\*、\*telewiz-\*、URL）并结合 \*\*-cja / -cya 拼写比例\*\*作为辅助判断；日期短语（如 "r. 1936"、"w roku 1925"）需满足特定年份数量与拼写比例阈值才触发排除。 - \*\*来源核查\*\*：对 Internet Archive 中非波兰数字图书馆上传的 3,978 份文档进行元数据 API 复核，排除 13 份来自借阅馆藏的扫描件。 - \*\*Wolne Lektury 目录过滤\*\*：依据该图书馆自身的时代分类排除 277 份战间期文档，并手工剔除 11 份经核实的后期译本。 - \*\*对抗性复检\*\*：规则冻结后，对盲区分层抽样并手工阅读，将 32 份空文件与 1 份真实泄漏文档加入手工排除。 最终排除 3,733 份文档（冻结语料的 2.47%），使强标记在训练语料中降至零。论文明确量化残余风险：Wolne Lektury 中已知后期文本残留占语料字节的 \*\*0.04%–0.38%\*\*。 \*\*（4）文档级分割与泄漏迭代检测\*\* 采用按来源分层、按文档级别、带固定种子的随机划分（训练集 99% / 留出集 1%）。为防止重复文本跨分割边界泄漏，实施基于 5-词 shingles 的 \*\*containment 测试\*\*（迭代至无 held-out 文档在训练侧中占比 ≥ 0.5 ），最终 held-out 集为 2,764 份文档、56,363,707 token。 --- ### 3. 量化 OCR 缺陷而非简单丢弃 针对 Internet Archive 材料的 OCR 噪声，论文采取\*\*测量并透明发布\*\*的策略： - 运行四种廉价字符启发式检测器（词内噪声符号、数字与字母粘连、小写后接大写、无元音长词），建立基于 Wolne Lektury 清洁文本的\*\*假阳性地板\*\*。 - 测得 Internet Archive 文本的\*\*真 OCR 腐败率约为 1.57%\*\*（扣除 0.26% 地板后），中位文档腐败率 1.59%。 - 对 20 段约 400 字符的样本进行手工校正：在可识别为连贯散文的 11 段中，\*\*字符错误率（CER）为 0.68%\*\*，\*\*词错误率（WER）为 4.71%\*\*；但 \*\*45% 的样本段落因版面坍塌完全无法校正\*\*。所有段落及其校正参考均随语料发布。 --- ### 4. 训练参数化阶梯模型以隔离变量 论文训练了三个\*\*解码器-only Transformer\*\* 模型（47M、107M、349M 参数），采用 Llama/Gemma 架构（Rotary 位置编码、RMSNorm、SwiGLU、GQA 等），并在\*\*所有非尺寸变量上严格匹配\*\*： - 相同训练语料（6,689,593,236 token）、相同步数（51,038 steps）、相同全局批次（262,144 token/step）、相同随机种子（1337）、相同硬件（单张 RTX PRO 4500）。 - 训练约两个 epoch，使用 \*\*Muon + AdamW\*\* 优化器与 \*\*warmup–stable–decay\*\* 学习率调度。 - 每级阶梯记录 epoch 边界与衰减前检查点，以精确测量\*\*参数量增益\*\* vs. \*\*数据重复增益\*\*。 --- ### 5. 严格验证时间边界性（Temporal Boundedness） 论文设计了多维评估方案，证明模型不仅训练数据被时间界定，其内部表示亦呈现时间边界： \*\*（1）Held-out 困惑度对比\*\* 在 Internet Archive 扫描文本上，所有阶梯模型的 bits per byte 均显著低于现代波兰语基座模型（Bielik-1.5B 与 papuGaPT2）。 \*\*（2）时代交互对比（Era Contrast）\*\* 对 14 组时期术语与 14 组现代术语（置于相同时期语域载体中）测量 bits per byte。结果显示： - 论文的 107M 与 349M 模型在\*\*现代术语上支付约 3.1 bits per byte 的额外成本\*\*，而现代比较模型几乎无此差距（交互效应显著）。 - 在\*\*时期术语上\*\*，论文模型的 bits per byte 低于比较模型，呈现\*\*交叉（crossover）\*\*现象。 \*\*（3）正字法保真度\*\* 给定含 \*\*-cya\*\* 拼写（1918 年后被弃用）的提示，349M 模型输出的 -cja 比例为 \*\*0.273\*\*，与 held-out 语料文本的 \*\*0.328\*\* 几乎不可区分；而现代模型（Bielik: 0.445, papuGaPT2: 0.773）难以保持该历史拼写。即使提供 -cya 范例进行情境学习，现代模型仍残留大量 -cja 形式。 \*\*（4）后 1918 事实的知识边界测试\*\* 对 8 个以后 1918 年事实为自然补全的提示（如柏林墙倒塌、波兰加入欧盟），349M 模型在黄金现代续写上的 bits per byte 远高于现代模型；在自由续写中，模型将现代指称\*\*解析为其最接近的历史同形物\*\*（如将 "European Union" 续写为 1669 年的王朝联合）。 --- ### 6. 开放发布与伦理审慎 - \*\*完全开源\*\*：发布语料（完整文本与按文档溯源表）、代码、训练配置、评估协议及全部 9 个检查点（含 epoch-1 与 pre-decay）。 - \*\*内容警告与使用条款\*\*：明确标注模型会复现时期偏见（包括反犹主义言论），并建议任何公开交互式部署必须附加过滤层与可见的历史框架说明。 - \*\*偏见量化\*\*：对 2,577 条中性提示续写进行自动筛查与手工裁决，记录群体指称率与偏见发生率。 --- 简言之，论文的解决路径是：\*\*以可审计的语料工程突破数据瓶颈 → 以多臂内容审计建立可信时间边界 → 以控制变量法训练阶梯模型 → 以跨时代词汇交互与正字法测试验证时间边界性 → 以透明发布支持后续历史语言学研究\*\*。 Q4: 论文做了哪些实验？ 论文围绕\*\*语料构建质量控制\*\*、\*\*模型训练控制\*\*与\*\*时间边界性验证\*\*三个层面开展了一系列实验，具体如下： --- ### 1. 语料构建与清洗实验 | 实验 | 方法 | 关键结果 | |------|------|----------| | \*\*冻结抓取与内容门控\*\* | 对 Internet Archive 的 298,102 份文档应用四项阈值过滤（字母比率 ≥ 0.60 、停用词比率 ≥ 0.03 、变音符号比率 ≥ 0.04 、西里尔比率 < 0.005 ） | 移除约 10% 原始抓取；字母测试单独移除 9.9% 物理行、12.3% 字节 | | \*\*MinHash 去重\*\* | 5-词 shingles，64 排列，8 个 band（每 band 8 行），Jaccard ≥ 0.8 | 发现 322 组精确重复与 411 个聚类，剔除 418 份文档（语料字节占比 0.225%） | | \*\*时间边界审计\*\* | 多臂内容审计（强现代词汇、出版商标记、辅助拼写信号 -cja/-cya 比率、日期短语）结合来源核查与手工复检 | 排除 3,733 份文档（2.47%）；强标记在清洗后归零；残余风险量化至 \*\*0.04–0.38%\*\* 字节 | | \*\*文档级分割与泄漏迭代\*\* | 按来源分层随机抽取 1% 为 held-out；迭代 containment 测试（5-词 shingles，阈值 ≥ 0.5 退回训练侧） | 经 3 轮迭代，最大 containment 由 0.998 to 0.896 to 0.495；最终 held-out 为 2,764 份文档、56,363,707 tokens | | \*\*OCR 质量手工审计\*\* | 从 12 份文档中固定种子抽取 20 段约 400 字符文本，单 annotator 手工校正 | 可校正段（11/20）CER = \*\*0.68%\*\*，WER = \*\*4.71%\*\*；\*\*45% 段落因版面坍塌完全不可校正\*\* | --- ### 2. 分词器消融实验 - \*\*词汇量对比\*\*：在相同样本与种子下训练 BPE 分词器，比较 4k、8k（本文采用）、16k、32k 词表，测量 held-out bytes per token。 - 结果：4k 达 3.079，8k 为 3.342，16k 为 3.847，32k 为 4.208。 - \*\*跨分词器效率对比\*\*：本文 8k 词表在 held-out 上为 3.342 bytes/token，优于 Bielik（3.689）与 papuGaPT2（4.029），但逊于 32k 消融实验中的 4.208。 --- ### 3. 阶梯模型训练实验 在\*\*单一变量控制\*\*下训练三个解码器-only Transformer： - \*\*模型规格\*\*：47M（12 层）、107M（16 层）、349M（24 层）参数。 - \*\*控制条件\*\*：同一 6,689,593,236-token 训练集、相同 51,038 步、相同全局批次 262,144 tokens/step、相同种子 1337、同一 GPU（RTX PRO 4500）。 - \*\*检查点设计\*\*：每级记录 epoch-1 边界、pre-decay 与最终检查点，用于隔离\*\*参数量增益\*\*与\*\*数据重复增益\*\*。 --- ### 4. 模型评估实验（核心） #### 4.1 密集 Held-out 评估协议（7.1） - 在 held-out 集上布置 8,192 个不重叠、固定步长的 1024-token 窗口，full float32 无 autocast，记录每窗口损失以支持配对检验。 - \*\*结果\*\*：349M held-out CE 为 \*\*2.6726 nats/token\*\*（1.149 bits/byte），107M 为 2.9046，47M 为 3.1009。 #### 4.2 时间边界性验证（7.2） \*\*（1）Held-out 困惑度对比\*\* - 在相同 held-out 窗口上，将本文模型与两个现代波兰语基座模型（Bielik-1.5B、papuGaPT2-124M）对比 \*\*bits per byte\*\*（消除词表差异）。 - \*\*结果\*\*：在 Internet Archive 文本上，本文三阶梯均显著低于两个比较模型；在 Wolne Lektury（现代拼写转录）上，Bielik 接近甚至略优于较小阶梯。 \*\*（2）时代交互对比（Era Contrast）\*\* - 设计 14 组时期术语与 14 组现代术语（置于相同时期语域载体中），测量每模型对现代集与时期集的 bits/byte 差异，再跨模型求交互：
Interaction = (modern - period)(ours) - (modern - period)(comparator)
- **结果**：107M vs papuGaPT2 交互为 **3.411**
2.72, 4.10
；349M vs Bielik 为 **3.188**
2.56, 3.81
；349M vs papuGaPT2 为 **3.341**
2.69, 3.99
。现代模型几乎无此差距。 - **独立现代集验证**：使用 14 个从未进入过滤规则的现代术语（如 *penicylina*、*laser*、*helikopter*），349M 的现代-时期差距仍高达 **3.110**，证明该差距非过滤规则本身所致。 **（3）正字法保真度实验** - 以 **-cja 份额**（现代拼写）为指标，在三种提示条件下测试模型生成： - 中性提示 - 声明框架（声明为 1905 年报纸、1918 年前正字法） - 示范学习（前置 4 段 -cya 拼写范例） - **结果**：中性提示下，349M 的 -cja 份额为 **0.273**
0.12, 0.43
，与 held-out 语料 **0.328** 重叠；现代模型 Bielik 为 0.966、papuGaPT2 为 0.991。即使提供 -cya 范例，Bielik 仍残留 **0.445**、papuGaPT2 **0.773**，而本文模型降至约 0.03。 **（4）后 1918 事实补全实验** - 对 8 个以后 1918 年事实为自然答案的提示（如柏林墙倒塌、波兰入欧盟、华沙起义），测量： - 对**黄金现代续写**的 bits/byte：349M 为 2.58，远高于 Bielik（0.19）与 papuGaPT2（0.61）。 - **自由续写**内容分析：349M 将现代指称解析为历史同形物（如 “欧盟” 解析为 1669 年王朝联合，”柏林墙倒塌” 解析为 1896 年建筑坍塌）。 #### 4.3 参数量 vs. 重复数据增益（7.3） - 利用 epoch-1、pre-decay 与 final 检查点，在相同 held-out 窗口上测量第二 epoch 与 decay 阶段的损失下降： - 第二 epoch + decay 总增益：47M **0.093**、107M **0.105**、349M **0.119** nats/token。 - 跨阶梯增益：47M to 107M 为 **0.196**，107M to 349M 为 **0.232**。 - **结论**：在数据受限条件下，增加参数量带来的收益约为**重复遍历数据的两倍**。 #### 4.4 幂律拟合（7.4） - 对三阶梯的 held-out 损失拟合：
L = E + A N^(-α)
- 密集协议下 α = 0.202 （三点无残差）；20 窗口训练探针下 α = 0.355 。 #### 4.5 验证集来源偏差实验（7.5） - Q5: 有什么可以进一步探索的点？ 基于论文的建构方案、实证发现与自陈局限，可从以下维度展开后续研究： —- ### 1. 语料库的扩展与补全 - **补齐 Polona 馆藏**：论文因技术限制（认证墙）未能纳入波兰国家图书馆的报刊数字馆藏。若未来获得批量 OCR 接口或转录文本，可大幅扩充语料多样性，尤其是补足当前语料中奥地利-匈牙利与俄罗斯帝国出版记录之外的缺口。 - **降低单机构依赖**：当前约 80% 文本来自雅盖隆数字图书馆（Jagiellonian Digital Library）。未来可主动引入更多地区性图书馆（如华沙、维尔纽斯、利沃夫等地馆藏），降低采集偏差对历史代表性造成的影响。 - **跨语言/跨文种延伸**：论文方法（时间审计门控、-cja/-cya 拼写信号、迭代 containment 分割）可迁移至其他缺乏大规模历史语料的语言（如捷克语、匈牙利语、俄语），构建可复用的历史语料工程框架。 —- ### 2. 模型规模与训练策略的深化 - **突破 349M 参数天花板**：当前最大模型受限于语料规模（约 20 token/参数）。未来若获得额外历史文本，可训练 1B+ 参数模型，验证历史语言建模的 scaling law 是否与现代语域一致。 - **运行间方差估计**：论文指出三阶梯模型均只从单一种子（seed 1337）训练一次。未来应以多种子重复训练，校准参数量增益（0.196 / 0.232 nats）的统计显著性。 - **上下文长度扩展**：当前上下文仅为 1024 tokens，严重限制长程连贯性与下游应用。未来可探索更长上下文（如 4K–8K）对历史叙事、跨段落指代解析的影响。 - **现代 → 历史迁移学习对照**：论文采用“从零训练”以严格隔离时间边界，但未与“在现代波兰语模型上继续预训练至 1800–1918 文本”的路线进行直接对比。后者可揭示现代知识遗忘成本与历史语域适配效率的权衡。 —- ### 3. OCR 噪声的精细化建模 - **OCR 纠错专用模块**：当前语料将 OCR 错误视为需容忍的噪声。可训练专门的 OCR 纠错模型（或采用联合训练），在不破坏历史正字法的前提下降低 45% 不可校正段落的比率。 - **扫描图像的引入**：手工校正仅依赖文本上下文（无扫描图像），导致 CER=0.68% 可能低估。未来可随机抽取小样本并对照原始扫描页，建立更准确的错误率基准，并探索视觉-语言模型（OCR-VLM）在古籍数字化中的价值。 - **选择性过滤阈值实验**：论文报告了按文档级腐败率过滤的权衡（>5% 剔除 2.1% 字节；>3% 剔除 13.3%），但未训练不同过滤策略下的模型。未来可比较“去尾”与“全保留”对下游建模的影响。 —- ### 4. 时间粒度的细化 - **按十年/年份切分模型**：当前模型覆盖整个 1800–1918 时段。可训练逐年或逐十年的“时间切片”模型（类似 TiMaGPT 或 ChronoGPT），研究语言漂移（如 -cja 份额的历时曲线）在模型内部的表征演化。 - **动态时间嵌入**：与其训练多个独立模型，不如在单一模型中引入显式的时间嵌入（如 Dhingra et al., 2022），允许按年份条件化生成，同时共享跨年代参数。 —- ### 5. 下游任务与历史语言学研究应用 - **历史 NLP 基准测试**：当前评估仅聚焦于语言建模（bits per byte）与生成样本的定性分析。未来应在历史文本上构建/适配下游任务：命名实体识别（人名、地名）、共指消解、历史事件抽取、或 19 世纪波兰语的分词与词性标注。 - **历史语义变化检测**：利用模型嵌入层探测词汇语义漂移（如 *telefon*、*aeroplan* 在 1900 年前后从新奇事物到日常指称的演化）。 - **辅助人文研究**：将模型用于补全国书馆数字化过程中残损的段落、生成历史语域的对比样本，或作为“历史语言假设”的测试平台（如探索若 1918 年改革未发生，拼写习惯的延续概率）。 —- ### 6. 偏见、伦理与生成内容的深度审计 - **系统性偏见图谱**：当前仅通过中性提示筛查群体提及率（12.4%）与少量手工裁决（3/320 偏见）。未来可建立覆盖民族、性别、阶级、宗教的多维历史偏见基准，量化 19–20 世纪初波兰语印刷文化中的刻板印象分布。 - **可控生成与去偏见**：在保留历史语域真实性的同时，研究如何在不破坏语言模型底层分布的前提下，通过解码时干预（decoding-time intervention）或可控提示减少有害刻板印象的生成，以支持教育场景的安全部署。 - **对比同期其他语言**：将波兰语模型与同期德语、俄语、意第绪语模型进行交叉生成实验，研究帝国边疆地带多语印刷文化中的偏见互文性。 —- ### 7. 分词与表示优化 - **面向历史拼写的自适应分词**：论文发现 8k 词表效率低于 32k 词表。未来可针对历史正字法（如 -cya、双写变音符号、旧体字母）设计专用分词预处理流程，或采用字符级/字节级 fallback 策略，进一步降低历史文本的表示成本。 - **正字法规范化与非规范化的权衡**：论文刻意保持原始拼写。未来可训练“平行双轨”语料（原始拼写 vs. 规范化拼写），对比二者在信息检索与语言建模任务中的适用边界。 Q6: 总结一下论文的主要内容 这篇论文围绕**历史波兰语（1800–1918年）的大规模数字化语料构建**与**时间受限语言模型（temporally bounded language models）**的训练和验证展开，核心工作可概括如下。 —- ### 1. 研究背景与问题 历史波兰语虽文献丰富，但机器可读、经人工标注的语料极度稀缺：1830–1918年间的手动标注语料仅约100万词，不足以支持从头预训练现代语言模型。与此同时，现有波兰语大模型（如HerBERT、Bielik）均面向当代波兰语，其知识分布与词汇形态与19世纪至20世纪初的波兰语存在显著差异。论文旨在解决两个互相关联的问题：**如何构建一个经过审计的、十亿词级别的历史波兰语语料库**，以及**如何验证仅在该语料上训练的模型是否真正形成了“时间边界”**——即其语言、知识与词汇是否被忠实限制在1918年以前。 —- ### 2. Wieszcz-XIX 语料库的构建 论文构建并发布了**Wieszcz-XIX**语料库，规模为 **6,745,956,943 tokens**（约31亿词），包含 **294,369 份文档**，覆盖1800–1918年间出版的波兰语文本。语料主要来源为： - **Internet Archive**：提供原始拼写的OCR扫描文本（以期刊为主），存在OCR噪声； - **Wolne Lektury**：提供转录文学文本，拼写经现代化处理，但无OCR噪声。 为确保语料质量与时间可信度，论文实施了一套可复现的清洗流水线： - **内容门控**：对Internet Archive材料施加字母比率、停用词比率、变音符号比率与西里尔字符比率四项阈值过滤； - **MinHash去重**：在分词前基于5-词 shingles（Jaccard ≥ 0.8 ）检测并移除近重复文档（剔除418份，占0.225%）； - **后1918年时间泄漏审计**：通过强现代词汇排除（如 *hitler*、*gestapo*、*nkwd*）、出版商标记检测、日期短语匹配及 **-cja / -cya 拼写比例**辅助信号，在分词前拦截现代文本。该审计使所有强标记在训练集中归零，量化残余风险为语料字节的 **0.04%–0.38%**； - **文档级分割与泄漏迭代检测**：按来源分层随机划分训练集（99%）与留出集（1%），并通过迭代containment测试（5-词 shingles）确保无重复文本跨边界泄漏，最终 held-out 集为 2,764 份文档、56,363,707 tokens。 论文同时量化了OCR缺陷：基于启发式检测器的真腐败率约为 **1.57%**；在20段手工校正样本中，可识别为连贯散文的段落字符错误率（CER）为 **0.68%**，但 **45% 的样本因版面坍塌完全不可校正**。 —- ### 3. 模型训练与架构 为严格隔离变量，论文在**相同语料、步数（51,038 steps）、全局批次（262,144 tokens/step）、随机种子（1337）与硬件（单张RTX PRO 4500）**上，训练了三个 decoder-only Transformer 模型： - **xix-47M**：47.1M 参数 - **xix-107M**：106.9M 参数 - **xix-349M**：349.1M 参数 模型采用 Llama/Gemma 架构（Rotary位置编码、RMSNorm、SwiGLU、GQA等），使用 Muon + AdamW 优化器与 warmup–stable–decay 学习率调度，每级模型均记录 epoch-1 与 pre-decay 检查点。整个训练阶梯的算力成本约为 **104 美元**。 —- ### 4. 核心实验与发现 #### 4.1 语言建模性能 在 held-out 密集评估协议（8,192个不重叠窗口，full float32）上： - xix-349M 的交叉熵为 **2.6726 nats/token**（即 **1.149 bits per byte**）； - xix-107M 为 2.9046，xix-47M 为 3.1009。 #### 4.2 时间边界性验证 论文设计了多组实验，验证模型是否真正被限制在历史时期内： - **时代交互对比**：将14组时期术语与14组现代术语置于相同时期语域中测量 bits per byte。结果显示，论文的 107M 与 349M 模型在现代词汇上比时期词汇多支付约 **3.1 bits per byte**，而现代比较模型（papuGaPT2、Bielik）几乎无此差距。交互效应显著（如 349M vs Bielik 为 **3.188**
2.56, 3.81
），表明模型对现代词汇具有显著的“陌生性”。 - **正字法保真度**：给定含历史 **-cya** 拼写的提示，349M 模型生成的 -cja（现代拼写）份额为 **0.273**，与 held-out 语料（0.328）高度一致；而现代模型 Bielik 与 papuGaPT2 分别为 0.445 与 0.773，即使提供 -cya 范例亦难以完全适应。 - **后1918事实测试**：对以现代事实为自然答案的提示（如柏林墙倒塌、波兰加入欧盟），349M 在黄金现代续写上的 bits/byte 远高于现代模型；自由续写中，模型将现代指称解析为最接近的历史同形物（如将“欧盟”解释为1669年的王朝联合）。 #### 4.3 参数扩展 vs. 数据重复 利用多检查点设计，论文测得： - 第二 epoch（含 decay）带来的增益约为 **0.093–0.119 nats/token**； - 从 47M to 107M 增益 **0.196**，从 107M to 349M 增益 **0.232**。 在数据受限条件下，**增加参数量带来的收益约为重复遍历数据的两倍**。三阶梯的损失服从幂律 L = E + AN^(-α) ，密集协议下 α = 0.202 。 —- ### 5. 局限与伦理考量 论文明确陈述了多项局限： - 阶梯模型均为单一种子单次运行，缺乏运行间方差估计； - OCR错误率基于少量样本与上下文重建，可能低估； - 时间边界审计存在残余风险（现代文本若规避现代词汇与日期仍可能漏入）； - 约80%文本来自单一机构（雅盖隆数字图书馆），地域与出版代表性受限； - 模型会复现源文本中的时期偏见，包括反犹主义言论，因此发布时附带明确的内容警告与使用条款，不建议无过滤层的公开交互部署。 —- ### 6. 资源发布 论文完全开源以下资源： - **语料**：完整文本（Hugging Face）与按文档溯源表（Zenodo，CC0）； - **代码**：抓取、过滤、审计、分词、训练与评估全流程（GitHub，Apache-2.0）； - **模型权重**：三阶梯共9个检查点（最终、pre-decay、epoch-1，Zenodo 与 Hugging Face，Apache-2.0）。 综上，该工作为历史波兰语提供了超过现有标注语料**三个数量级**的机器可读资源，并通过严格的控制实验证明了“时间胶囊”式语言模型在数据受限条件下的可行性——其词汇、拼写与事实边界可被有效约束在1918年以前，为历史语言学、数字人文与低资源历史语言建模提供了可复现的方法论基准。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Szymon Kocur
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10592.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10592
Published: 2026-10-11T02:10:29.912Z
3. Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System
Abstract:Work zones are critical yet hazardous components of transportation infrastructure, requiring carefully designed Transportation Management Plans (TMPs) to ensure safety and mobility. However, TMP preparation remains labor-intensive and heavily dependent on practitioner expertise. This paper proposes a Large Language Model (LLM)-assisted framework to automate TMP content generation, leveraging the WisDOT WisTMP system as the application context. The framework fine-tunes multiple open-source LLMs across different model scales and deploys them locally to ensure data security. To support model training, we construct a domain-specific dataset from historical WisTMP documents by converting PDF files into structured question-answer pairs in JSON format. Experimental results show that fine-tuning significantly improves performance across standard text generation metrics. Further section-wise and strategy-level analyses reveal that, while LLMs achieve strong overall performance, they tend to over-generate strategies and struggle to produce project-specific justifications and accurate cost estimates. In addition, scaling from 7B/8B to 14B yields limited gains. These findings demonstrate the potential of LLMs to improve TMP preparation efficiency while highlighting remaining challenges in LLM-assisted TMP development. The source code and demo videos will be publicly available at this https URL.
中文摘要
摘要：施工区域是交通基础设施中关键但危险的组成部分，需要精心设计的交通管理计划（TMP）以确保安全和通行。然而，TMP 的准备工作仍然劳动密集，并且高度依赖从业人员的专业知识。本文提出了一个基于大型语言模型（LLM）的辅助框架，以自动生成 TMP 内容，并以 WisDOT WisTMP 系统作为应用背景。该框架在不同模型规模上微调多个开源 LLM，并在本地部署以确保数据安全。为了支持模型训练，我们从历史 WisTMP 文档构建了一个领域特定的数据集，通过将 PDF 文件转换为结构化的问答对 JSON 格式。实验结果表明，微调显著提高了标准文本生成指标的性能。进一步的章节级和策略级分析显示，虽然 LLMs 在整体上表现强劲，但它们倾向于生成过多策略，并且在提供项目特定的理由和准确的成本估算方面存在困难。此外，从 7B/8B 扩展到 14B 的增益有限。这些发现表明 LLM 在提高 TMP 准备效率方面具有潜力，同时也凸显了在 LLM 辅助 TMP 开发中仍然存在的挑战。源代码和演示视频将在此 https URL 公开提供。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10650 (HTTP 429)
Authors: Zihao Sheng, Pei Li, Zilin Huang, Yen-Jung Chen, Yuhao Luo, Zhengyang Wan, Steven T. Parker, David A. Noyce, Sikai Chen
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10650.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10650
Published: 2026-10-11T02:10:29.912Z
4. Cognitive Thermometers: Machine Learning and Logical Complexity
Abstract:How does the human mind represent semantic categories? Why do natural languages favor certain meanings over others? Prior explanations have relied on logical definability and complexity, but these are highly sensitive to the choice of logical language, rendering some design choices unmotivated. In this article, we propose that machine learning provides a somewhat more agnostic approach to measuring semantic complexity. We review emerging evidence that logic and machine learning often yield converging results on relative complexity and its resulting effects in semantic typology. Where they diverge, learning appears to be a better explanation than logical complexity. We argue that treating machine learning models as ``cognitive thermometers’’ enables a unified approach to complexity that bridges symbolic logic and connectionist AI.
中文摘要
摘要：人类的思维如何表征语义类别？为什么自然语言偏好某些含义而非其他含义？以往的解释依赖于逻辑可定义性和复杂性，但这些高度依赖于逻辑语言的选择，从而使某些设计选择缺乏依据。在本文中，我们提出，机器学习提供了一种在一定程度上更为中立的测量语义复杂性的方法。我们回顾了新兴的证据，表明逻辑与机器学习在相对复杂性及其对语义类型学的影响上常常产生趋同的结果。在它们出现分歧的地方，学习似乎比逻辑复杂性提供了更好的解释。我们认为，将机器学习模型视为“认知温度计”能够提供一种统一的复杂性方法，桥接符号逻辑与联结主义人工智能。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10724 (HTTP 429)
Authors: Shane Steinert-Threlkeld, Jakub Szymanik
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10724.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10724
Published: 2026-10-11T02:10:29.912Z
5. Lossy Compressive Text Autoencoders
Abstract:Our work explores learning a compressed latent representation of text, at the intersection of data compression and representation learning. We propose an autoencoder architecture that performs residual downscaling and upscaling of hidden representations along the time axis, with a residual low-dimension discrete bottleneck. We analyze our approach for different quantization methods, training objectives, and datasets. For different levels of compression, we evaluate the similarity between the original and reconstructed text both at the surface-level (BLEU) and at the semantic-level (LLM-based judge). Additionally, we evaluate our models on downstream question-answering and semantic text similarity benchmarks. Our approach results in compressed representations which are on par with lossless text compression algorithms at 2.24 bits per byte on web text data, while having good reconstruction and downstream task performance.
中文摘要
摘要：我们的工作探索了文本的压缩潜在表示的学习，位于数据压缩和表示学习的交叉点。我们提出了一种自编码器架构，该架构沿时间轴对隐藏表示进行残差降采样和升采样，并带有残差低维离散瓶颈。我们分析了不同量化方法、训练目标和数据集下的方法表现。在不同压缩级别下，我们评估了原始文本与重建文本在表层（BLEU）和语义层面（基于大语言模型的评判）的相似性。此外，我们还在下游问答和语义文本相似性基准上评估了我们的模型。我们的方法在网络文本数据上实现的压缩表示与无损文本压缩算法相当，达到每字节2.24比特，同时具有良好的重建性能和下游任务表现。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10738 (HTTP 429)
Authors: Vinko Sabolčec, Angelos Katharopoulos, David Grangier
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10738.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10738
Published: 2026-10-11T02:10:29.912Z
6. Clarify, Then Focus: Statement Normalization for Conversation Analytics at Scale
Abstract:Enterprise conversation analytics asks many questions of millions of interactions. Each question can require reconstructing what people mean and identifying which information matters, repeating costly interpretive work across the same transcripts. We propose a simple principle: clarify the text, then focus the reader. Statement normalization transforms dialogue into short, speaker-attributed statements with source references and semantic tags. The statements make meaning more explicit; the tags support selecting evidence for a particular question. Downstream models can use the full representation or a relevant subset, depending on what helps them make the decision. In an offer-suppression task on customer-service calls, normalization improves a supervised classifier without selection, while weaker prompted readers benefit from both normalization and selection. A small model can learn the normalization contract, while lightweight encoders handle tagging and downstream decisions. Sharing this preparation across questions supports an inference pipeline built entirely from small models, making analytics over millions of conversations substantially less expensive.
中文摘要
摘要：企业对话分析对数百万次互动提出许多问题。每个问题都可能需要重建人们的意图并识别哪些信息重要，这在相同的稿本中重复进行代价高昂的解释工作。我们提出一个简单原则：先澄清文本，然后聚焦读者。陈述规范化将对话转化为简短、带有说话人归属、来源引用和语义标签的陈述。这些陈述使含义更明确；标签有助于为特定问题选择证据。下游模型可以使用完整表示或相关子集，取决于什么有助于它们做出决策。在客户服务电话的报价抑制任务中，规范化在没有选择的情况下改善了监督分类器的性能，而较弱的提示式阅读器则从规范化和选择中受益。一个小模型可以学习规范化协议，而轻量级编码器处理标签和下游决策。在问题之间共享这种准备工作支持一个完全由小模型构建的推理管道，使对数百万次对话的分析成本显著降低。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10758 (HTTP 429)
Authors: Mikhail L. Arbuzov, Karan Dave, Evgeniya Dontsova, Yaodong Hu, Vincent Lao, Navita Jain, Sisong Bei, Dmitry Dimov
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10758.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10758
Published: 2026-10-11T02:10:29.912Z
7. Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
Abstract:Corrective feedback is among the best-evidenced drivers of second-language acquisition, yet corrections delivered during lessons rarely accumulate into an actionable view of grammar mastery. Prompted frontier models can provide such a view from learner—tutor lesson transcripts, but they are costly at scale. We close this gap by fine-tuning Qwen3.5 small language models (SLMs) on filtered and rebalanced teacher-generated supervision, then deploying an efficient 0.8B model in an end-to-end grammar mastery tracker for all English learners on our platform. Internalizing the annotation contract into adapter weights enables pairing the 0.8B model with a compact matched prompt rather than verbose instructions. On two human-curated benchmarks, both the deployed 0.8B model and a 4B reference comparator outperform prompted GPT-5.4 and GPT-5.6 Sol in precision and recall under nested matching criteria of increasing strictness: concept, evidence span, and correctness. The deployed 0.8B SLM reduces serving cost by approximately 16$\times$. A feature-level online experiment shows significant gains in learner engagement ($+15.8\%$) and key business metrics, including scheduled hours ($+2.1\%$) and GMV from new lessons ($+13.2\%$).
中文摘要
摘要：纠正性反馈是第二语言习得中证据最充分的驱动因素之一，然而在课程中提供的纠正通常很少会积累成可操作的语法掌握视图。受启发的前沿模型能够从学习者-导师的课程记录中提供这种视图，但它们在大规模应用时成本很高。我们通过在经过筛选和再平衡的教师生成监督数据上微调 Qwen3.5 小型语言模型（SLM），填补了这一空白，然后在我们的平台上将一个高效的 0.8B 模型部署到面向所有英语学习者的端到端语法掌握跟踪器中。将标注契约内化到适配器权重中，使得该 0.8B 模型可以配对使用紧凑的匹配提示，而无需冗长的指令。在两个人工策划的基准测试中，已部署的 0.8B 模型和 4B 参考对照模型在概念、证据片段和正确性三个逐渐严格的嵌套匹配标准下，在精确率和召回率方面均优于带提示的 GPT-5.4 和 GPT-5.6 Sol。已部署的 0.8B SLM 将服务成本降低了约 16 倍。一个特征级在线实验显示，学习者参与度显著提升（+15.8%），以及关键业务指标的增长，包括计划课时（+2.1%）和新课程产生的 GMV（+13.2%）。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10827 (HTTP 429)
Authors: Marjan Celikik, Ana Peleteiro Ramallo, Javier Morales
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10827.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10827
Published: 2026-10-11T02:10:29.912Z
8. Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
Abstract:A large language model can only use the text that fits in its context window, and it recomputes its internal key-value (KV) state for a prompt every time the prompt is sent. We test a memory layer, the public package galahad-kv, that saves the KV state of each block of about 16,000 tokens to encrypted local NVMe disk and loads it back later, byte-exact, without recomputing it. We ran it on 50,000,000 tokens of real public text, served through vLLM on one NVIDIA H100, with Gemma 4 12B and Gemma 4 31B. Every block we probed was loaded back from the encrypted store with no recompute (100 of 100, at depths from 0 to 50M tokens) on both models. Loading a block was 2.8x to 4.3x faster than recomputing it and used 8.8x to 12.3x less GPU energy, and GPU memory stayed flat over the whole 50M-token stream. Asked about facts planted millions of tokens earlier, the 12B model gave the right answer 82 times out of 100 and the 31B model 98 times out of 100. Neither model made up an answer. The limits are as follows. This is reuse of stored state, not a wider attention window: one block is loaded at a time, and how well a question is answered depends on the model. Writing the memory is a one-time cost, and the store takes terabytes of local NVMe disk. We describe the test protocol, which is built to resist common ways of gaming long-context benchmarks, and give a single-GPU reproduction that uses public software and a free licence for the package.
中文摘要
摘要：大型语言模型只能使用适合其上下文窗口的文本，并且每次发送提示时，它都会重新计算自身的内部键值（KV）状态。我们测试了一个内存层——公共软件包 galahad-kv，它将每个大约 16,000 令牌的区块的 KV 状态保存到加密的本地 NVMe 磁盘，并稍后按字节精确地加载回，而无需重新计算。我们在 50,000,000 令牌的真实公共文本上运行它，通过 vLLM，在一块 NVIDIA H100 上使用 Gemma 4 12B 和 Gemma 4 31B。我们测试的每个区块都从加密存储中加载回来而无需重新计算（100 次测试全中，从 0 到 50M 令牌深度）在两个模型上都是如此。加载一个区块比重新计算快 2.8x 到 4.3x，使用的 GPU 能量少 8.8x 到 12.3x，并且在整个 50M 令牌流中 GPU 内存保持平稳。对于数百万令牌前植入的事实进行提问时，12B 模型 100 次中正确回答了 82 次，31B 模型 100 次中正确回答了 98 次。两种模型都没有编造答案。其限制如下：这是对存储状态的重用，而不是更广的注意力窗口：一次只加载一个区块，问题的回答效果取决于模型。写入内存是一次性成本，存储需要数 TB 的本地 NVMe 磁盘。我们描述了测试协议，该协议旨在抵御常见的长上下文基准作弊方式，并提供了一个使用公共软件和免费许可包的单 GPU 复现示例。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10845 (HTTP 429)
Authors: Sietse Schelpe
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10845.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10845
Published: 2026-10-11T02:10:29.912Z
9. Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
Abstract:Self-supervised speech encoders contain linguistic and paralinguistic information in a shared, entangled representation space. We combine a TopK sparse autoencoder with route-specific supervision and cross-factor adversaries. Across frozen SPEAR and WavLM encoders, independent probes show factor-specific retention and suppression: linguistic information remains stronger in the linguistic route, while paralinguistic factors, including speaker identity, emotion, and prosody, are retained in the paralinguistic route and substantially reduced in the linguistic route. The route organisation learned on LibriSpeech persists on MSP-Podcast without representation-side retraining. Feature-space route interventions further transfer the swapped factor while largely preserving the information carried by the unchanged route. These results show consistent route-selective separation across encoders, corpora, independent probes, and representation-level interventions.
中文摘要
摘要：自监督语音编码器在共享的、纠缠的表示空间中包含语言信息和副语言信息。我们将TopK稀疏自编码器与特定路径的监督和跨因素对抗结合。在冻结的SPEAR和WavLM编码器中，独立探测器显示了因素特异的保留与抑制：语言信息在语言路径中保持更强，而副语言因素，包括说话人身份、情绪和韵律，在副语言路径中被保留，而在语言路径中大幅减少。在LibriSpeech上学习的路径组织在MSP-Podcast上仍然有效，无需对表示侧进行重新训练。特征空间的路径干预进一步传递被交换的因素，同时在很大程度上保持未更改路径所携带的信息。这些结果表明，在编码器、语料库、独立探测器和表示层干预中都存在一致的路径选择性分离。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10865 (HTTP 429)
Authors: Beimnet Bekele Guta, Xiaoyu Yang, Guangzhi Sun, Philip C. Woodland
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10865.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10865
Published: 2026-10-11T02:10:29.912Z
10. Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
Abstract:Large Language Models (LLMs) achieve strong performance across many domains, but their efficiency is limited by the quadratic cost of attention with respect to prompt length. Sparse attention reduces this cost by retaining only a small fraction of query-key interactions to approximate the full attention matrix. However, existing methods are trapped in a mathematically wrong view: they simply keep large scalar entries or high-mass regions of the attention matrix. This treats the attention matrix as a bag of values, ignoring that it is used as a structured matrix whose entries jointly determine the attention output through multiplication with value vectors. We argue that this is the core conceptual issue: sparse attention should be formulated as matrix approximation, not as blindly choosing the largest values from a bag of entries. Based on this view, we propose Matrix Approximation Sparse Attention (MASA). MASA replaces raw attention-mass ranking with a closed-form score that measures how much each sparse unit reduces matrix-product approximation error. As a theory-grounded plug-in correction, MASA can be added to existing sparse attention frameworks without changing their sparse kernels or budgets. Extensive experiments across multiple sparse attention methods, benchmarks, and LLM backbones show consistent accuracy gains, supporting both MASA and the matrix-approximation view of sparse attention.
中文摘要
摘要：大型语言模型（LLMs）在许多领域表现出强大的性能，但它们的效率受到注意力机制相对于提示长度的二次成本限制。稀疏注意力通过仅保留一小部分查询-键交互来近似完整的注意力矩阵，从而降低了这一成本。然而，现有方法陷入了一个数学上的错误观点：它们只是保留注意力矩阵中的大标量条目或高质量区域。这将注意力矩阵视为一个值的集合，而忽略了它被用作一个结构化矩阵，其条目通过与值向量的乘法共同决定注意力输出。我们认为这是核心概念性问题：稀疏注意力应被表述为矩阵近似，而不是盲目地从值集合中选择最大值。基于这一观点，我们提出了矩阵近似稀疏注意力（MASA）。MASA用一个闭式评分替代了原始的注意力质量排名，该评分衡量每个稀疏单元减少矩阵乘积近似误差的程度。作为一个理论支持的插件式修正，MASA可以被加入到现有的稀疏注意力框架中，而无需更改它们的稀疏内核或预算。在多种稀疏注意力方法、基准测试和大型语言模型骨干网络上的大量实验证明了持续的准确性提升，支持了MASA以及稀疏注意力的矩阵近似观点。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*稀疏注意力（sparse attention）中的选择目标错位问题\*\*，即现有方法在数学上错误地将注意力矩阵视为一组孤立的标量值，而非用于矩阵乘法的结构化算子。 具体而言，论文指出并试图纠正以下核心问题： - \*\*现有稀疏注意力的选择原则存在数学不匹配\*\* 当前主流方法（如基于滑动窗口、垂直/斜线模式、块稀疏或学习门控的方法）在选择保留哪些查询-键交互时，普遍遵循\*\*基于幅值的规则\*\*：保留注意力矩阵 A 中数值较大的条目或高质量区域。这等价于在优化以下目标：
min(S) |A - M_S odot A|_F^2
即仅仅近似注意力矩阵 A 本身的条目。 - **忽视注意力矩阵的实际使用方式** 在 Transformer 中，注意力矩阵并非作为独立标量被消耗，而是通过与值矩阵 V 相乘产生输出：
O = AV
因此，稀疏注意力的真正目标应当是**保留对矩阵乘积 AV 贡献最大的交互**，而非仅仅保留 A 中幅值大的条目。论文指出，这两者在一般情况下并不等价，因为 VV^top 并非单位矩阵，尤其是当序列长度 N 远大于维度 d 时。 - **提出矩阵近似的正确视角** 论文将稀疏注意力重新表述为**矩阵乘积近似问题**：
S^star = argmin(S) |AV - (MS odot A)V|_F^2 quad s.t. quad |S| ≤ B
在此视角下，正确的选分标准不再是“ A(ij) 有多大”，而是“保留该条目能在多大程度上减少 AV 的近似误差”。 基于上述分析，论文提出了 **MASA（Matrix Approximation Sparse Attention）**，作为现有稀疏注意力框架的即插即用修正。MASA 用闭式得分替代原有的幅值排序：
s_(MASA)(u) = 2langle O_X, C_u rangle_F - |C_u|_F^2
其中 O_X = AX ， C_u = (M_u odot A)X 。该得分直接衡量候选稀疏单元 u 对保留矩阵动作 AX 的贡献，从而在**不改变原有稀疏内核、候选单元定义和计算预算**的前提下，系统性提升多种基线方法在长文本任务上的精度。 Q2: 有哪些相关研究？ 根据论文内容，相关研究可分为以下几个方向： ### 1. 稀疏注意力方法（Sparse Attention） 这是论文直接针对的研究领域，现有方法按设计范式可分为： - **固定/预定义模式** - **Sliding Window Attention** (Jiang et al., 2023a)：限制每个查询仅关注局部上下文窗口。 - **Longformer** (Beltagy et al., 2020)、**BigBird** (Zaheer et al., 2020)、**Sparse Transformers** (Child et al., 2019)：利用固定的局部、全局或稀疏模式降低计算量。 - **动态/输入感知模式（训练-free）** - **MInference** (Jiang et al., 2024a)：通过离线头级别分配，动态选择 A-shaped、vertical-slash 和 block-sparse 等结构化模式。 - **MoA** (Fu et al., 2025)：同样使用离线配置，但为不同头和层设置异质的滑动窗口跨度。 - **SpargeAttn** (Zhang et al., 2025a)：利用在线注意力预测和 softmax-aware 过滤。 - **XAttention** (Xu et al., 2025)：通过反对角线采样估计块重要性。 - **StreamingLLM** (Xiao et al., 2024b)、**InfLLM** (Xiao et al., 2024a)：通过注意力汇点（attention sinks）或高效上下文内存实现长序列外推。 - **学习/自适应模式** - **SeerAttention** (Gao et al., 2025)：学习基于块的输入相关稀疏布局，通过轻量级门控预测块重要性。 - **Quest** (Tang et al., 2024)：执行查询感知的键页检索。 - **FlexPrefill** (Lai et al., 2025)：自适应选择模式类型和预算，根据累积注意力阈值决定保留单元数量。 - **Tactic** (Zhu et al., 2025)：通过聚类和分布拟合调整稀疏预算。 - **DuoAttention** (Xiao et al., 2025)：区分检索头（retrieval heads）和流式头（streaming heads）。 ### 2. LLM 推理加速的其它技术 论文在附录 A 中讨论了这些方向，以明确 MASA 的边界（MASA 只改变选择标准，不涉及内核或架构）： - **注意力内核优化** - **FlashAttention** (Dao et al., 2022)、**FlashDecoding++** (Hong et al., 2024)：通过 IO 感知或异步化优化注意力计算。 - **RingAttention** (Liu et al., 2024a)：通过分块环形注意力支持近无限上下文。 - **上下文压缩与检索** - **LLMLingua** (Jiang et al., 2023b)、**LongLLMLingua** (Jiang et al., 2024b)：通过提示压缩加速推理。 - **检索增强方法** (Borgeaud et al., 2022)：从大规模语料库中检索相关片段以减少有效上下文长度。 - **KV 缓存优化** - **PagedAttention** (Kwon et al., 2023)：分页内存管理。 - **KIVI** (Liu et al., 2024b)：非对称 2-bit KV 缓存量化。 - **H2O** (Zhang et al., 2023)：基于重击者（heavy-hitters）的缓存驱逐。 - **VATP** (Guo et al., 2024)、**CAOTE** (Goel et al., 2025)、**CurDKV** (Sengupta et al., 2026)：通过值向量重要性、输出误差或 CUR 分解选择保留的 KV 状态。 - **架构替代** - **Transformer-XL** (Dai et al., 2019)：分段级循环机制。 - **RetNet** (Sun et al., 2023)：保留网络。 - **Mamba** (Gu & Dao, 2023)：选择性状态空间模型，实现线性时间序列建模。 ### 3. 注意力机制的理论分析 - **Oracle 近似分析**：Gupta & Berant (2021) 分析了逐查询的 oracle 近似，将稀疏注意力表示为值向量的稀疏凸组合。 - **注意力不仅是权重**：Kobayashi et al. (2020) 指出应结合向量范数分析注意力，而非仅看标量权重。 - **量化与异常值**：Bondarenko et al. (2023) 发现异常值会损害 Transformer 计算和量化鲁棒性，这支撑了 MASA 中 norm-controlled probe 的设计动机。 ### 4. 评测基准（Benchmarks） 论文实验中使用的长文本评测套件包括： - **RULER** (Hsieh et al., 2024)：合成长上下文基准，涵盖检索、多跳追踪和聚合任务。 - **InfiniteBench** (Zhang et al., 2024)：平均约 214K token 的长程依赖理解基准。 - **LongBench** (Bai et al., 2024b)：双语长上下文基准，覆盖多文档问答、摘要和检索。 Q3: 论文如何解决这个问题？ 论文通过**重新形式化稀疏注意力的优化目标**并提出**矩阵近似稀疏注意力（MASA）**来解决现有方法的选择目标错位问题。具体解决方案包括以下方面： —- ### 1. 重新定义优化目标：矩阵乘积近似 现有方法将稀疏注意力视为对注意力矩阵 A 的逐条目压缩，即优化
min(S) |A - M_S odot A|_F^2.
论文指出，Transformer 实际使用注意力矩阵的方式是通过矩阵乘法作用于值向量 V 产生输出 O = AV 。因此，稀疏选择应直接优化**输出保真度**：
S^star = argmin(S) |AV - (M_S odot A)V|_F^2 quad s.t. quad |S| ≤ B. 2
展开该矩阵乘积误差可得：
|AV - (M_S odot A)V|_F^2 = tr[(A - M_S odot A) VV^top (A - M_S odot A)^top]. 5
这表明，仅当 VV^top ≈ I 时，逐条目幅值排序才是正确的；但在长上下文场景下 N gg d ，该条件不成立，因此必须显式考虑 V （或更一般的 probe 矩阵 X ）的参与。 —- ### 2. 提出 MASA：基于矩阵乘积误差的即插即用得分 MASA 保留现有稀疏注意力框架的**候选单元定义**、**稀疏内核**和**计算预算**，仅替换其排序得分。 #### 2.1 Probe 矩阵与损失函数 引入 probe 矩阵 X ∈ R^(N × r) ，定义矩阵乘积近似损失：
L_(MASA)(S; X) = |(A - M_S odot A)X|_F^2. 6
当 X = V 时，该损失精确对应式 (2) 的注意力输出误差。 #### 2.2 闭式约简得分（Reduction Score） 对于候选稀疏单元 u （如块、垂直线、斜线或查询感知索引组），设其掩码为 M_u ，该单元对 probe 输出的贡献为 C_u = (M_u odot A)X 。MASA 通过保留该单元所带来的**矩阵乘积误差减少量**来打分：
s(MASA)(u) = |O_X|_F^2 - |O_X - C_u|_F^2 = 2langle O_X, C_u rangle_F - |C_u|_F^2, 7
其中 O_X = AX 为稠密 probe 输出。 对于单个查询-键对 (i, j) ，该得分有显式闭式：
s(MASA)(i, j) = 2A(ij)langle O(X,i), Xj rangle - A(ij)^2 |Xj|_2^2. 8
该式表明，单元的重要性不仅取决于注意力幅值 A(ij) ，还取决于 probe 向量 Xj 的方向、范数及其与稠密矩阵动作 O(X,i) 的对齐程度。 #### 2.3 与现有方法的联系 若 XX^top = I ，则式 (8) 退化为 s(MASA)(i,j) = A(ij)^2 ，即现有逐条目平方幅值排序。因此，**幅值排序仅是 MASA 在 Gram 矩阵为单位阵时的特例**，而 MASA 适用于更一般的矩阵近似场景。 —- ### 3. 实现层面：内存安全与 Probe 设计 #### 3.1 内存安全计算 直接计算式 (8) 可能涉及 N × N × r 的张量。MASA 通过矩阵代数避免该张量的物化： - 先计算 O_X = AX ， C = O_X X^top ，以及 n_j = |X_j|_2^2 ； - 再通过矩阵运算一次性得到所有成对得分矩阵：
D = 2A odot C - A^(odot 2) odot (1 n^top),
其中 D(ij) = s(MASA)(i, j) ， A^(odot 2) 为逐元素平方， 1 为全1列向量。 对于块单元，使用完整的块级约简得分：
s(MASA)(I, J) = ∑(i ∈ I) [ 2langle O(X,i), ∑(j ∈ J) A(ij)X_j rangle - | ∑(j ∈ J) A_(ij)X_j |_2^2 ]. 9
3.2 Probe 选择与范数控制 理论上最优 probe 是 X = V ，但原始值向量可能存在高范数异常值，导致得分被少数 token 主导。论文提出两种**范数控制策略**： - **软范数平衡**：
X_j = (V_j) / ((|V_j|_2 + ε)^α), quad 0 ≤ α ≤ 1. 10
当 α = 1 时保留方向但消除范数影响； α = 0 时为原始值 probe。 - **范数裁剪**：
X_j = V_j · min(1, (c) / (|V_j|_2 + ε)), 11
其中 c 为 profile 区域内值向量范数的某百分位数，仅裁剪异常高范数。 这些 probe 在保持矩阵近似目标的同时，提升了选择鲁棒性。 —- ### 4. 集成方式：零侵入式插件 MASA 作为**理论驱动的插件修正**嵌入现有稀疏注意力框架： - 不改变候选稀疏单元（块、垂直线、斜线等）的定义； - 不改变稀疏计算内核或预算规则； - 不改变模型训练流程（适用于训练-free 和 learned selector 两种设定）。 在稀疏预填充（sparse prefill）设置中，MASA 在与基线相同的 profile 分辨率上计算得分，因此**无需额外的全分辨率稠密注意力图**。 —- ### 5. 更一般的度量视角（附录拓展） 论文进一步说明，通过选取不同的 probe 矩阵 X ，MASA 可覆盖更一般的加权输出误差。对于任意半正定度量 H succeq 0 ，存在分解 H = RR^top ，使得加权误差
|(A - MS odot A)V|_H^2 = |(A - M_S odot A)VR|_F^2,
这等价于在 MASA 框架中取 X = VR 。此外，Frobenius 矩阵乘积误差控制谱范数误差的上界：
|(A - M_S odot A)X|(op) ≤ |(A - M_S odot A)X|_F,
因此优化 Frobenius 目标同时兼顾了更强的矩阵动作误差。 Q4: 论文做了哪些实验？ 论文在**控制变量协议**下开展了系统性实验，以验证 MASA 作为即插即用排序修正的通用性。所有实验中，MASA 与原始基线使用相同的 LLM 骨干、候选稀疏单元、稀疏内核、计算预算和数据处理流程，仅替换稀疏单元的排序得分。 —- ### 1. 实验设置 #### 基线方法 选取三个具有代表性的稀疏注意力框架，覆盖不同的设计维度： - **MInference**：训练-free，离线头级别分配，支持垂直、斜线和块稀疏模式。 - **SeerAttention**：学习型，基于块的输入相关稀疏布局，通过轻量门控预测块重要性。 - **FlexPrefill**：训练-free，自适应模式类型与预算，支持垂直/斜线与查询感知块选择。 #### 评测基准 - **RULER** (Hsieh et al., 2024)：合成长上下文基准，序列长度从 4K 到 128K，涵盖 needle-in-a-haystack 检索、多跳追踪与聚合任务。 - **InfiniteBench** (Zhang et al., 2024)：平均约 214K token 的长程依赖理解基准，包含英文摘要、问答、代码、数学、检索等任务。 - **LongBench** (Bai et al., 2024b)：双语长上下文基准，覆盖多文档问答、摘要与检索，按长度分为 0–4K、4–8K、8K+ 三个区间。 #### LLM 骨干 - Llama-3-8B-Instruct-262k（用于 MInference） - Llama-3.1-8B-Instruct（用于 SeerAttention 与 FlexPrefill） - Qwen2-7B-Instruct（用于 FlexPrefill） #### 实现环境 所有实验在单张 NVIDIA H100 80GB GPU 上进行，使用 CUDA 12.6，FlashAttention 与 Triton 设置严格遵循对应基线的官方实现。 —- ### 2. 主实验结果：下游任务精度 #### 2.1 RULER（表 1） 在 4K 至 128K 的六种上下文长度下，MASA 对三个基线均实现一致提升： - **MInference**：平均得分从 87.0 提升至 87.27（相对 Full Attention 的增益从 +2.6 扩大至 +2.87）。 - **SeerAttention**：平均得分从 87.60 提升至 88.09，使其从低于 Full Attention（88.01）转为超越之。 - **FlexPrefill-Llama**：平均得分从 89.18 提升至 89.94（相对 Full Attention 的优势从 +0.48 增至 +1.24）。 - **FlexPrefill-Qwen**：平均得分从 70.75 提升至 72.16（相对 Full Attention 的增益从 +1.92 扩大至 +3.33）。 特别地，在 32K–128K 的长上下文区间，MASA 在 12 个匹配的长度级得分中改进了 11 个。 #### 2.2 InfiniteBench（表 2） - **MInference**：MASA 将平均得分从 38.8 提升至 39.20。 - **FlexPrefill-Llama**：MASA 将平均得分从 47.14 提升至 47.99，接近 Full Attention 的 48.06，恢复了约 92% 的原始精度差距。 - **FlexPrefill-Qwen**：MASA 将平均得分从 30.07 提升至 30.42。 #### 2.3 LongBench（表 3） 在 SeerAttention 框架下，MASA 将平均得分从 54.20 提升至 54.37，尤其在 8K+ 长度区间从 52.69 提升至 53.16。 —- ### 3. 效率分析（图 2） 论文测量了内核级延迟，并以稠密 FlashAttention-2 为基准进行归一化。结果显示： - 将原始排序得分替换为 MASA 带来的额外开销**在经验上可忽略不计**。 - 在 32K、64K、128K 序列长度下，MASA 的延迟曲线与原始基线几乎重合，且远低于稠密注意力成本。 - 因此，MASA 在提升精度的同时，未削弱稀疏注意力的实际推理效率优势。 —- ### 4. 注意力输出近似误差（附录 E，表 8） 为直接验证矩阵乘积保留效果，论文在 64K RULER 输入上测量了稀疏注意力输出与稠密注意力输出之间的归一化平方 Frobenius 误差：
E = |O(sparse) - O(dense)|F^2|O(dense)|_F^2.
在所有四个框架-骨干组合中，MASA 均降低了输出误差： - MInference-Llama：误差降低 0.41% - SeerAttention-Llama：误差降低 2.10% - FlexPrefill-Llama：误差降低 2.34% - FlexPrefill-Qwen：误差降低 7.17% 该结果直接支持了 MASA 的核心动机：其选择的稀疏单元确实更好地保留了注意力矩阵动作。 —- ### 5. 消融实验（表 4；附录 F，表 9–11） 论文对 Probe 矩阵 X 的构造方式进行了消融，比较了原始值 Probe、软范数平衡（公式 10）与范数裁剪（公式 11）： - **RULER 上的 Probe 消融**（表 9）： - MInference 在 90-百分位裁剪与 α=0.6 平衡下表现最佳（87.27）。 - SeerAttention 在 90-百分位裁剪下表现最佳（88.09）。 - FlexPrefill-Llama 在 97.5-百分位裁剪下表现最佳（89.94）。 - FlexPrefill-Qwen 在无范数控制的原始 MASA 下表现最佳（72.16）。 - **InfiniteBench 上的 Probe 消融**（表 10）： - MInference 在 80-百分位裁剪与 α=0.7 平衡下达到最高平均 39.20。 - FlexPrefill-Llama 在 α=0.5 软平衡下达到最高 47.99。 - FlexPrefill-Qwen 在无范数控制下达到最高 30.42。 - **LongBench 上的 Probe 消融**（表 11）： - SeerAttention 在 87.5-百分位裁剪下达到最高平均 54.37。 消融结论：原始 MASA（ X=V ）本身已能在多数设定下提升基线；在受值向量高范数异常值影响的设定中，适当的范数控制可进一步带来增益。 —- ### 6. 完整对比表格（附录 D，表 5–7） 为便于对照，附录提供了包含基线原文报告其它方法（如 StreamingLLM、InfLLM、DuoAttention、MoA 等）的完整结果表。这些行标注 †，仅作参考，因其可能使用不同的模型、预算或评估设置。真正的控制变量证据来自同一框架块内 “Original” 与 “MASA” 的配对比较。 Q5: 有什么可以进一步探索的点？ 基于论文的边界讨论与方法论，以下是可以进一步探索的研究方向： —- ### 1. 与更高效的稀疏执行内核及预算策略结合 论文明确指出，MASA 仅修正稀疏单元的**排序目标**，而不改变候选单元族、稀疏内核或预算规则。未来工作可将 MASA 的矩阵近似得分与以下方向结合： - 设计更激进的稀疏内核（如更细粒度的非规则稀疏模式）； - 开发基于 MASA 得分的**自适应预算调度策略**（例如，根据当前层的矩阵乘积误差动态分配稀疏预算，而非固定预算或预设阈值）。 —- ### 2. Probe 矩阵的进阶设计 MASA 的灵活性来源于 probe 矩阵 X 的选择。论文初步尝试了原始值向量、软范数平衡与范数裁剪，但 probe 设计仍有较大探索空间： - **数据驱动或任务驱动的 probe 学习**：通过轻量辅助网络或元学习，为不同层、头或任务自适应地生成最优 probe； - **多分辨率 probe**：在粗粒度块级选择时，结合细粒度 token 级信息构造混合 probe，以平衡效率与选择精度； - **投影/旋转 probe**：利用值空间的低维结构（如 PCA 投影）构造更低维的 X ，进一步降低评分计算开销。 —- ### 3. 跨层、跨头的联合稀疏优化 当前 MASA 以**逐单元独立打分**的方式工作，未显式建模层间或头间的依赖关系。未来可探索： - 联合优化多个注意力头的稀疏模式，利用头间互补性（如 DuoAttention 中检索头与流式头的区分）； - 层间预算分配：在深层网络中，注意力模式可能更稀疏或更集中，可基于层级别的矩阵近似误差分配非均匀预算。 —- ### 4. 与 KV 缓存压缩的协同优化 论文强调 MASA 与 KV 缓存存储设计正交。然而，稀疏注意力计算与 KV 缓存访问是长上下文推理的两大瓶颈。未来可研究： - 联合优化框架：在 KV 缓存 eviction 或量化时，不仅考虑值向量的重要性，还考虑其对矩阵乘积 AV 的贡献（即 MASA 视角）； - 统一的选择标准：使注意力稀疏化与 KV 缓存剪枝共享同一套矩阵近似目标，避免两者独立优化时的冲突。 —- ### 5. 理论误差界限与收敛性分析 MASA 目前基于 Frobenius 范数给出闭式得分，附录 C 指出该目标同时控制谱范数上界。进一步的理论工作可包括： - 在特定注意力结构（如低秩、局部化、幂律衰减）下，为 MASA 的选择建立**近似比或误差界**； - 分析 MASA 得分与下游任务性能之间的定量关系，理解矩阵乘积误差减少如何转化为 perplexity 或任务准确率的提升。 —- ### 6. 扩展至非标准注意力架构 论文聚焦标准 softmax 注意力，但矩阵近似视角可能具有更广的适用性： - **线性注意力**、**状态空间模型**（如 Mamba）或 **RetNet**：这些架构通过不同的矩阵变换处理序列信息，可研究其稀疏化是否同样适用“保留矩阵动作”而非“保留大权重”的原则； - **多模态注意力**：在视觉-语言模型中，跨模态注意力矩阵的稀疏选择是否受益于类似的乘积感知评分。 —- ### 7. 训练阶段的稀疏感知微调 MASA 目前作为推理阶段的即插即用插件。若能将其纳入训练： - 通过**可微稀疏选择**或**蒸馏**，使模型在预训练或微调阶段就学会生成对 MASA 友好的注意力结构； - 探索稀疏注意力模式与模型参数的共同训练，以降低推理时稀疏化带来的固有近似误差。 —- ### 8. 更细粒度稀疏单元与结构化稀疏的折中 论文沿用了基线定义的块、线、垂直条带等结构化单元以保持内核效率。未来可探索： - 在 MASA 框架下支持**非规则细粒度单元**（如单个查询-键对级别的自适应选择），同时通过自定义稀疏内核保持计算效率； - 研究结构化约束（如块稀疏）对矩阵近似精度的理论损失，以及如何在硬件效率与近似精度之间取得最优权衡。 Q6: 总结一下论文的主要内容 这篇论文重新审视了稀疏注意力（sparse attention）的选择原则，指出现有方法存在根本性的理论错位，并提出了相应的修正方案。以下是主要内容总结。 —- ### 1. 背景与动机 大型语言模型（LLM）的自注意力计算具有关于序列长度 N 的二次复杂度 O(N^2) ，这使其成为长上下文推理的主要瓶颈。稀疏注意力通过仅保留部分查询-键交互来降低计算成本。现有方法（如滑动窗口、垂直/斜线模式、块稀疏、学习型门控等）虽然形式多样，但其**最终选择规则普遍是幅值驱动的**：保留注意力矩阵 A 中数值较大的条目或高质量区域。 —- ### 2. 核心问题：选择目标错位 论文指出，这种“保留大值”的做法在数学上是错误的，因为它将注意力矩阵视为一组独立的标量（”a bag of values”），忽略了 Transformer 实际使用注意力的方式——**通过矩阵乘法作用于值向量**：
O = AV.
现有稀疏选择优化的实际上是注意力矩阵的逐条目误差：
minS |A - M_S odot A|_F^2,
等价于在固定预算下保留最大的 A(ij)^2 。然而，真实的注意力输出误差应为：
S^star = argminS |AV - (M_S odot A)V|_F^2 quad s.t. quad |S| ≤ B. 2
该目标展开后依赖于 VV^top ，而 VV^top 在长上下文下（ N gg d ）远非单位矩阵。因此，**“哪些 A(ij) 很大”与“哪些条目最能保留矩阵乘积 AV ”是两个不等价的问题**。 —- ### 3. 方法：矩阵近似稀疏注意力（MASA） 基于上述矩阵近似视角，论文提出 **MASA（Matrix Approximation Sparse Attention）**，一个理论驱动的即插即用排序修正。 **核心思想**：不再根据注意力幅值排序，而是根据每个候选稀疏单元对**矩阵乘积近似误差减少量**排序。 引入 probe 矩阵 X （直接取 X=V 或经范数控制的 V ），定义稠密 probe 输出 O_X = AX 。对于候选单元 u （块、垂直线、斜线等），其掩码为 M_u ，贡献为 C_u = (M_u odot A)X 。MASA 的闭式得分为：
s(MASA)(u) = |O_X|_F^2 - |O_X - C_u|_F^2 = 2langle O_X, C_u rangle_F - |C_u|_F^2. 7
对于单个查询-键对 (i,j) ，该得分显式依赖于值向量的方向与范数：
s(MASA)(i, j) = 2A(ij)langle O(X,i), Xj rangle - A(ij)^2 |X_j|_2^2. 8
**实现特性**： - **零侵入式插件**：MASA 保留现有框架的候选单元定义、稀疏内核和计算预算，仅替换排序得分。 - **内存安全**：通过矩阵代数 D = 2A odot C - A^(odot 2) odot (1n^top) 避免物化 N × N × r 张量。 - **范数控制**：针对值向量高范数异常值，提供软范数平衡与范数裁剪两种 probe 构造策略。 —- ### 4. 实验验证 论文在严格的控制变量协议下评估 MASA：仅替换排序得分，其余（模型、内核、预算、数据）与基线完全一致。 **基线与基准**： - 基线：MInference（训练-free）、SeerAttention（学习型）、FlexPrefill（自适应预算）。 - 基准：RULER（4K–128K）、InfiniteBench（~214K 平均长度）、LongBench。 - 模型：Llama-3-8B / 3.1-8B、Qwen2-7B。 **主要结果**： - 在 **8 组匹配的平均得分**（跨 3 个框架、3 个基准、2 个模型家族）上，MASA **一致优于原始基线**。 - 在 **RULER** 上，MASA 将 SeerAttention 从低于全注意力（87.60 vs 88.01）提升至超越全注意力（88.09）；将 FlexPrefill-Llama 的平均优势从 +0.48 扩大至 +1.24。 - 在 **32K–128K** 长上下文区间，12 个长度级得分中有 11 个获得提升，增益在 128K 处可达 1.28–2.16 分。 - 在 **InfiniteBench** 上，MASA 使 FlexPrefill-Llama 恢复了约 92% 的原始精度差距。 - **效率**：MASA 带来的延迟开销相对于稀疏注意力运行时可忽略不计，且远低于稠密 FlashAttention-2。 - **直接验证**：注意力输出近似误差在所有测试配置中均降低（最高达 7.17%），直接支持矩阵乘积保留的有效性。 —- ### 5. 结论 论文的核心结论是：稀疏注意力的本质问题是**矩阵近似**，而非标量条目的压缩。MASA 通过将排序目标从“保留大的注意力值”纠正为“保留能最好维持矩阵动作 AX 的单元”，在不改变任何底层工程实现的前提下，系统性地提升了现有稀疏注意力框架的精度。这一结果既验证了 MASA 方法本身，也支持了更广泛的“矩阵近似视角”应成为稀疏注意力设计的基本原则。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Fang Wan, Xufeng Liu, Fan Li, Yi Liu
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.10871.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10871
Published: 2026-10-11T02:10:29.912Z
Agent Domain Papers
1. An Explainable Header-Centric Framework for Large-Scale Semantic Table Interpretation and Data Quality Assessment
Abstract:Knowledge Graph (KG) quality depends not only on downstream graph validation, but also on the quality of tabular metadata used before integration. In metadata-only Semantic Table Interpretation (STI), where cell values are unavailable, noisy, or unsuitable, column headers become a critical source of semantic evidence for traceable KG preparation. We present an explainable, header-centric framework for metadata-only Column Type Annotation (CTA) and Data Quality Assessment (DQA). The framework maps headers to 39 interpretable FinalFormat types using curated lexical resources and preserves token-level traceability through SourceKeywords. Each assigned type activates validation rules based on a taxonomy of Data Quality Issues (DQIs), producing detections such as missing data, duplicates, domain violations, wrong data type, and temporal mismatch. These detections are aggregated into HeadersIQ, a lightweight, unweighted data source-level quality metric. The framework was evaluated across heterogeneous benchmarks, including UCI, Prague, Kaggle, VizNet/Sato, SOTAB, T2Dv2, and the SemTab 2024 Metadata-to-KG track, comprising around 120,000 header columns. The results show broad practical coverage across noisy real-world metadata, while a parallel KG-mapping pathway supports alignment to DBpedia and this http URL. On the SemTab 2024 Metadata-to-KG track, the official GT-strict evaluation was modest. However, a blinded diagnostic audit indicates that many mismatches reflect benchmark granularity, aliasing, and ontology-selection effects rather than wholly implausible header-centric predictions. We report this audit as diagnostic evidence on disagreement patterns, not as revised benchmark performance. Overall, the paper presents a reusable workflow for metadata-driven semantic annotation, data source-level quality monitoring, and KG-oriented benchmark diagnosis.
中文摘要
摘要：知识图谱（KG）的质量不仅取决于下游的图验证，还取决于整合前使用的表格元数据的质量。在仅元数据的语义表格解释（STI）中，当单元格值不可用、噪声较大或不适用时，列标题成为可追踪KG准备的关键语义证据来源。我们提出了一个可解释、以标题为中心的仅元数据列类型注释（CTA）和数据质量评估（DQA）框架。该框架使用精选词汇资源将标题映射到39个可解释的最终格式类型，并通过源关键词（SourceKeywords）保持令牌级可追踪性。每个分配的类型会根据数据质量问题（DQIs）分类激活验证规则，从而产生缺失数据、重复数据、领域违规、数据类型错误和时间不匹配等检测结果。这些检测结果被汇总为HeadersIQ，一种轻量级、未加权的数据源级质量指标。该框架在异构基准上进行了评估，包括UCI、Prague、Kaggle、VizNet/Sato、SOTAB、T2Dv2以及SemTab 2024 Metadata-to-KG赛道，共涵盖约12万个标题列。结果显示在噪声现实世界元数据中具有广泛的实际覆盖，同时并行的KG映射路径支持与DBpedia及该HTTP URL的对齐。在SemTab 2024 Metadata-to-KG赛道上，官方GT-strict评估表现一般。然而，盲化诊断审计表明，许多不匹配反映的是基准的粒度、别名和本体选择效果，而非完全不合理的以标题为中心的预测。我们将此审计作为关于分歧模式的诊断证据报告，而非修正后的基准性能。总体而言，本文提出了一个可复用的工作流程，用于元数据驱动的语义注释、数据源级质量监控以及KG导向的基准诊断。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10541 (HTTP 429)
Authors: Marcelo Valentim Silva, Hannes Herrmann, Valerie Maxville
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10541.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10541
Published: 2026-10-11T02:10:48.423Z
2. Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction
Abstract:Tool-calling agents have become central to enterprise AI, yet training and evaluating them at scale remains severely constrained due to business and legal restrictions on enterprise systems, data, and database schemas. Tabular data synthesis offers a natural alternative, but its effectiveness is fundamentally limited by structural validity and schema availability, while procedure-based approaches yield the opposite weakness, typically lacking distributional fidelity without per-domain authoring. We introduce Synthesis Through Simulation (STS), a schema—free data synthesis paradigm in which an LLM agent generates data by executing operations against policy-enforcing APIs within simulated enterprise environments. Because data is generated through the same environment that defines what is valid, STS guarantees structural validity by construction while decoupling validity enforcement from distribution modeling, allowing each to be addressed independently. The Generalist Populator (GP), STS’s domain-agnostic agent, addresses the remaining challenges of distributional fidelity and synthesis scalability: GP achieves 0.88 average marginal fidelity and 100\% constraint satisfaction across all ten environments without access to DB schemas, while statistical synthesizers are inapplicable to seven due to necessary seed data requirements, and schema-privileged agents fail 82\% of trajectories on airline environment’s tightly coupled workflows due to brittle task composition. We open-source the full framework, all ten environments, and generated datasets at this https URL.
中文摘要
摘要：调用工具的代理已经成为企业 AI 的核心，但由于企业系统、数据和数据库模式的业务和法律限制，对它们进行大规模训练和评估仍然受到很大限制。表格数据合成提供了一种自然的替代方案，但其有效性从根本上受到结构有效性和模式可用性的限制，而基于流程的方法则表现出相反的弱点，通常在没有每个领域创作的情况下缺乏分布一致性。我们提出了通过模拟合成（Synthesis Through Simulation，STS），这是一种无模式的数据合成范式，其中 LLM 代理通过在模拟企业环境中对执行政策的 API 执行操作来生成数据。由于数据是通过同一环境生成的，这个环境定义了什么是有效的，因此 STS 从构建上保证了结构有效性，同时将有效性执行与分布建模解耦，使两者可以独立处理。通用填充器（Generalist Populator，GP），STS 的领域无关代理，解决了分布一致性和合成可扩展性方面的剩余挑战：GP 在十个环境中实现了0.88的平均边际一致性和100%约束满足率，且无需访问数据库模式，而统计合成器由于需要种子数据在七个环境中无法应用，具有模式特权的代理在航空环境的紧耦合工作流中，由于任务组合脆弱失败了 82% 的轨迹。我们在此 URL 开源了完整框架、所有十个环境以及生成的数据集。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10549 (HTTP 429)
Authors: Yipeng Li, Ashutosh Hathidara, Jane Lo, Harshavardhan Abichandani, Gunraj Singh, Atin Ghosh
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10549.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10549
Published: 2026-10-11T02:10:48.423Z
3. Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in Practice
Abstract:Tool-using agents repeatedly carry observations whose useful content can be much smaller than their original payload. We study agent-controlled forgetting: the acting model selects previously observed tool results, replaces each with a short note at its original position, and retains the exact original in a recoverable archive. A Python harness exposes batch archival and explicit recovery without task-specific model training, while protecting user instructions and assistant messages from these operations. In an exploratory OpenTelemetry debugging case followed by an unrelated implementation task, the method ended with 231,951 provider-reported prompt tokens versus 912,492 under retained history, used 50% fewer cumulative input tokens, and had an estimated API cost of USD 1.28-1.44 versus approximately USD 4.38. Both arms passed the two-case primary behavioral oracle; neither fully satisfied the follow-up evaluation. The method made more requests and took 17% longer. A contrasting application-development pair produced no context or cost saving, and an earlier continuation exhibited lower manually assessed quality despite reduced context. These observations demonstrate substantial resource savings in noisy tool-use trajectories and identify workload dependence as a central consideration for reversible context management.
中文摘要
摘要：使用工具的智能体会反复携带观测信息，而其有用内容可能远小于原始数据量。我们研究了智能体控制的遗忘：执行模型选择先前观察到的工具结果，将每个结果替换为原位置的简短注释，并将精确原始内容保存在可恢复档案中。一个 Python 框架提供批量归档和显式恢复，而无需任务特定的模型训练，同时保护用户指令和助手消息不受这些操作的影响。在一个探索性的 OpenTelemetry 调试案例之后，紧接着进行一个无关的实现任务，该方法最终使用了 231,951 个提供者报告的提示令牌，而在保留历史的情况下则为 912,492 个，累计输入令牌使用量减少了 50%，估计 API 成本为 1.28-1.44 美元，而原成本约为 4.38 美元。两种方案均通过了两案例主要行为判断，但均未完全满足后续评估要求。该方法发出的请求更多，耗时增加了 17%。对比的应用开发对未产生上下文或成本节约，而早期的延续版本尽管减少了上下文，但人工评估质量较低。这些观察结果表明，在噪声较大的工具使用路径中可以大幅节省资源，并指出工作负载依赖性是可逆上下文管理的核心考虑因素。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10590 (HTTP 429)
Authors: Jan-Peter Franke
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10590.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10590
Published: 2026-10-11T02:10:48.423Z
4. Verification and Self-Improvement in Agentic AI: Foundations and Limits
Abstract:Agentic AI systems can improve by searching longer, receiving additional support, or modifying how they propose and verify outputs. A performance score does not distinguish these mechanisms. We compare these changes through bounded verification with hidden terminal randomness. A stage specifies admissible transcripts, polynomial bounds, an alternating verification protocol, and a terminal checker. Its native reach uses default support; its closure frontier permits all support already admitted by the interface. Under a uniform pointwise probability gap and task-relative soundness, these are well-defined languages. We prove that independent majority amplification preserves both languages, whereas existential acceptance over random tapes can admit incorrect outputs. Exact verification is the zero-randomness case, with placement and completeness results. The randomized-verifier classes satisfy $\Sigmak^{\mathrm{P}}\subseteq\Sigma_k^{\mathrm{RV}}\subseteq\Sigma{k+1}^{\mathrm{P}}$; strict enlargement and depth separation require explicit complexity assumptions, while $\mathrm{BPP}=\mathrm{P}$ yields exact companions with the same frontiers. Representation analysis separates invariant acceptance from core-versus-support labels that can change under refactoring. For recursive self-improvement, uniformly bounded self-modification under a common sound interpreter and fixed verification protocol remains within the same verification class. A separate conditional-error budget controls false selection across adaptively chosen candidates. A quota-enforced XOR-synthesis family separates unbounded ratios of search success from changes in the accepted languages; exact and probabilistic audits check the resulting evidence requirements. The framework ties self-improvement claims to obligations on correctness, admissible evidence, verification resources, and selection error.
中文摘要
摘要：代理型AI系统可以通过延长搜索时间、获得额外支持或修改其提出和验证输出的方式来改进。性能评分无法区分这些机制。我们通过有界验证与隐藏终端随机性进行比较。阶段指定可接受的转录、多项式界限、交替验证协议和终端检查器。其原生覆盖范围使用默认支持;其闭合前沿允许接口已允许的所有支持。在均匀的逐点概率差距和任务相对合理性下，这些是定义良好的语言。我们证明独立多数放大保留了两种语言，而对随机磁带的存在接受则允许错误输出。精确验证是零随机性情况，具有位置和完备性结果。随机验证类满足$\Sigmak^{\mathrm{P}}\subseteq\Sigma_k^{\mathrm{RV}}\subseteq\Sigma{k+1}^{\mathrm{P}}$;严格放大和深度分离需要显式复杂性假设，而$\mathrm{BPP}=\mathrm{P}$则给出具有相同前沿的完全伴随。表示分析将不变接受度与核心与支持标签区分开来，这些标签在重构下可能发生变化。对于递归自我改进，在共同声音解释器和固定验证协议下的统一边界自我修改仍属于同一验证类。一个独立的条件错误预算控制自适应候选对象间的错误选择。配额强制的异或综合家族将检索成功率的无界比率与被接受语言的变化区分开;精确和概率审计检查所得证据要求。该框架将自我改进主张与正确性、可采证据、验证资源和选择错误的义务联系起来。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10611 (HTTP 429)
Authors: Chien-Ping Lu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10611.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10611
Published: 2026-10-11T02:10:48.423Z
5. The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate
Abstract:Self-improving LLM agents can adapt a credit pipeline to a changed rule, but an agent that rewrites itself destroys the artefact a supervisor reviews: a named change, a recorded test, an approval. We argue that self-evolution is reviewable only if it is confined to the runtime harness (instruction text, tool-call logic and primitive composition) while model weights stay fixed, so that every adaptation is a diff with a cause and a test attached. We give a dual-loop engine built on that bound, with one admission gate that writes a hash-chained record before deployment, and we measure the gate in simulation, with a simulated agent and a seeded-search proposer rather than language models. Across three families of supervisory re-interpretation at three severities, 10 seeds each, the gated loop admitted 144 of 7,449 candidate changes, none of which worsened error on held-out history, and restored the false-positive rate to the oracle level without raising missed flags in every low- and mid-severity cell. With the gate replaced by the check an unbounded system applies (fewer errors visible in recent traces), the same loops admitted 309 harmful changes and left missed flags above 10% in 49 of 90 runs: false positives fell because the screen was loosened. Evaluated on pre-shift labels, the gate rejected every candidate, so a re-interpretation must be encoded as a rule that relabels history. Parametric and scope shifts were repaired locally, a structural one only by primitive replacement; at the highest structural severity the gate’s fixed tolerance blocked the correct replacement in half the seeds. We map the mechanisms to the EU AI Act’s provisions for high-risk credit scoring and note that the April 2026 US model-risk guidance excludes agentic AI from its scope.
中文摘要
摘要：自我提升的大型语言模型（LLM）代理可以将信用流程适应于改变的规则，但一个会自我重写的代理会破坏监督者审核的人工制品：命名的变更、记录的测试、批准。我们认为，自我进化只有在限定于运行时框架（指令文本、工具调用逻辑和原语组合）时才是可审核的，而模型权重保持不变，这样每次适应都有原因和测试附着的差异。我们基于这一限制构建了一个双循环引擎，该引擎在部署前通过一个入门门写入哈希链记录，并在模拟中测量该门，使用模拟代理和种子搜索提议器，而非语言模型。在三个监督性重新解释家族、三个严重性级别、每个级别10个种子的测试中，门控循环批准了7,449个候选变更中的144个，没有一个在保留历史上的错误率增加，并将误报率恢复到理想水平，同时在每个低、中严重性单元中没有产生遗漏标记。当该门被替换为无限制系统应用的检查（近期追踪中可见错误减少）时，同样的循环批准了309个有害变更，并在90次运行中有49次遗漏标记率超过10%：误报下降是因为筛选放松。在预转换标签上评估时，该门拒绝了每个候选，因此重新解释必须被编码为重新标记历史的规则。参数和范围变更通过局部修复完成，结构性变更只能通过原语替换修复；在最高结构严重性下，门固定的容忍度阻止了半数种子中的正确替换。我们将这些机制映射到欧盟《人工智能法》对高风险信用评分的规定，并注意到2026年4月的美国模型风险指导将有代理能力的人工智能排除在其范围之外。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10629 (HTTP 429)
Authors: Ravil Akhtyamov
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10629.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10629
Published: 2026-10-11T02:10:48.423Z
6. Speaking the Navigator’s Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
Abstract:Aerial vision-and-language navigation (VLN) agents are typically trained on detail-rich, trajectory-aligned commands, whereas users issue short, intent-driven instructions; on a frozen OpenFly navigator, this \emph{instruction gap} drops success rate (SR) from $31.03\%$ to $11.33\%$. To scale translator training, we prompt a language model with human-written style examples to convert original commands into paired, intent-centered Weak commands, which yield $15.27\%$ SR. We introduce the \textbf{Trajectory-Grounded Instruction Translator (TGIT)}, a front-end that keeps the navigator frozen and translates Weak inputs into agent-executable commands by learning from its trajectory outcomes. The resulting Weak-trained translator raises Weak-input SR to $37.93\%$ and transfers zero-shot to real human instructions ($11.33\%{\rightarrow}32.51\%$); it also improves held-out OpenFly ($4.95\%{\rightarrow}20.79\%$) and yields recovery on CityNav and AirVLN.
中文摘要
摘要：空中视觉与语言导航（VLN）代理通常在细节丰富、轨迹对齐的指令上进行训练，而用户则发出简短的、以意图为驱动的指令；在冻结的OpenFly导航器上，这种\emph{指令差距}会将成功率（SR）从$31.03\%$降至$11.33\%$。为了扩展翻译器训练，我们使用带有人类书写风格示例的语言模型，将原始指令转换为配对的、以意图为中心的弱指令，从而获得$15.27\%$的成功率。我们引入了\textbf{轨迹引导指令翻译器（TGIT）}，这是一个前端模块，在保持导航器冻结的情况下，通过学习其轨迹结果，将弱输入翻译为代理可执行的指令。由弱指令训练的翻译器将弱输入的成功率提高到$37.93\%$，并可零样本迁移到真实人类指令（$11.33\%{
ightarrow}32.51\%$）；它还提高了未见的OpenFly成功率（$4.95\%{
ightarrow}20.79\%$），并在CityNav和AirVLN中实现恢复效果。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10635 (HTTP 429)
Authors: Xi Chen, Zhe Liu, Xiaogang Xu, Jiafei Xu, Chunyi Zhou, Yuan Su, Rui Zeng, Tianyu Du, Kelu Yao, Chao Li, Shouling Ji
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10635.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10635
Published: 2026-10-11T02:10:48.423Z
7. Plan-and-Patch: Diffusion Language Models for Agentic Planning
Abstract:Planning is increasingly important for long-horizon agents, where successful execution requires coordinating subgoals, tool use, and intermediate outcomes over many steps. Yet assumptions made during planning may be invalidated by the environment, tools may return unexpected results, or actions may fail. Effective agents must therefore not only generate plans, but also revise them. Such revisions often affect only part of a plan, leaving the preceding and subsequent structure intact. Rather than regenerate the entire plan and risk unnecessary changes, repair can regenerate the affected region conditioned on the preserved prefix and suffix. We introduce Plan-and-Patch, a plan-and-act framework in which a diffusion language model (dLLM) generates a structured, program-like plan through parallel unmasking and repairs it by filling in selected regions while keeping the surrounding steps fixed. We compare DreamReasoner-8B and Qwen3-8B as diffusion and autoregressive (AR) planners. On Natural Plan without task-specific training, diffusion (53.7%) achieves nearly twice the plan repair success rate of AR (27.0%). After task-specific training on agentic benchmarks, ALFWorld and TextCraft, the planners achieve similar observed success in plan generation, while diffusion reduces mean plan-generation latency by 39-46% relative to AR. Our results show that Plan-and-Patch provides a framework for faster plan generation and effective plan repair in long-horizon agents.
中文摘要
摘要：规划对于长时程智能体越来越重要，在这种情况下，成功的执行需要在多步骤中协调子目标、工具使用和中间结果。然而，在规划过程中做出的假设可能会被环境所否定，工具可能返回意外结果，或者动作可能失败。因此，有效的智能体不仅需要生成计划，还需要对其进行修正。这样的修正通常只影响计划的一部分，而保持前后的结构不变。与其重新生成整个计划并冒险引入不必要的变化，不如在保留前缀和后缀的情况下重新生成受影响的区域。我们提出了Plan-and-Patch，一种规划与执行框架，其中扩散语言模型（dLLM）通过并行掩码生成结构化、程序化的计划，并通过填充选定区域进行修复，同时保持周围步骤不变。我们比较了DreamReasoner-8B和Qwen3-8B作为扩散式和自回归（AR）规划器。在未经任务特定训练的Natural Plan上，扩散式（53.7%）实现的计划修复成功率几乎是AR（27.0%）的两倍。在经过针对智能体基准任务的任务特定训练（ALFWorld和TextCraft）后，规划器在计划生成的观察成功率上表现相似，而扩散式相对于AR将平均计划生成延迟减少了39-46%。我们的结果表明，Plan-and-Patch为长时程智能体提供了更快速的计划生成和有效的计划修复框架。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文试图解决**长程智能体（long-horizon agents）中结构化计划的生成与局部修复**问题，核心在于利用扩散语言模型（diffusion language models, dLLMs）的并行生成与双向填充（infilling）能力，构建一个高效的“计划-执行-修复”框架。具体而言，论文针对以下关键挑战： ### 1. 计划生成 长程任务需要协调子目标、工具调用和中间结果。论文提出生成**结构化的、类程序的计划**（structured, program-like plans），通过显式的子目标和可执行步骤来组织行动序列，从而提供清晰的修改边界。 ### 2. 计划修复（Plan Repair） 在执行过程中，环境反馈可能导致计划失效（如动作前提条件误判、工具返回意外结果等）。现有方法往往**全局重生成**整个计划，容易引入不必要的改动。论文将修复建模为**局部填充问题**： - 仅重新生成受影响的区域（region） - 严格保留未受损的前缀（prefix）和后缀（suffix） - 基于执行历史和环境反馈作为修复条件 ### 3. 扩散语言模型的原生优势 论文探索了 dLLM 在智能体规划中的独特价值： - **并行解码**：通过并行去掩码（parallel unmasking）加速完整计划的生成 - **双向上下文填充**：天然支持基于双侧上下文的条件填充，无需额外的 fill-in-the-middle 训练即可实现灵活的局部修复 ### 4. 与自回归模型的对比验证 论文系统比较了扩散模型（DreamReasoner-8B）与自回归模型（Qwen3-8B）作为规划器的性能，发现： - 在无需任务特定训练的 Natural Plan 上，扩散模型的修复成功率（ 53.7% ）接近自回归模型（ 27.0% ）的两倍 - 在经过任务特定训练的 ALFWorld 和 TextCraft 上，两者生成成功率相当，但扩散模型将平均生成延迟降低了 39% – 46% 简言之，该工作旨在回答：**能否设计一个智能体规划框架，充分利用扩散语言模型的并行生成与填充能力，以同时实现快速的全局计划生成和精确的局部计划修复？** Q2: 有哪些相关研究？ 根据论文第2节，相关研究主要分布在以下三个领域： --- ### 1. 扩散语言模型及其在智能体中的应用 **基础模型与能力** - **掩码扩散语言模型**：通过从周围上下文重建被掩码的 token，实现灵活的生成顺序与双向填充（Austin et al., 2021; Lou et al., 2024; Sahoo et al., 2024）。 - **模型扩展与效率**：近期在规模扩展、后训练与解码策略上的进展提升了生成质量、推理能力与推理效率（Nie et al., 2025; Ye et al., 2025b; Zhu et al., 2025; Zhao et al., 2025; Wang et al., 2025; Wu et al., 2025; Ma et al., 2026）。其推理效率受上下文长度、批处理规模与采样步数影响（Kim et al., 2025）。 **作为智能体的应用** - **世界模型与交互智能体**：扩散模型被用作预测环境响应的世界模型（Deshpande, 2026），或作为 ReAct 风格的智能体，交替生成动作与环境观察（Yao et al., 2023; Zhen et al., 2026; Zhao et al., 2026; Bie et al., 2026）。 - **失效模式与专门训练**：Lu et al. (2026) 识别了扩散智能体的两种系统性失效模式——具身智能体中的“重试循环”与工具调用中的“不精确格式”；针对智能体的专门训练可提升可靠性与效率（Zhao et al., 2026; Bie et al., 2026）。 - **与自回归模型的比较**：在匹配微调条件下，Zhen et al. (2026) 对比了扩散与自回归模型作为智能体的表现。 --- ### 2. 计划修复与程序修复 **计划修复（Plan Repair）** - **Plan-and-Act 框架**：先构建多步计划再转化为环境动作（Wang et al., 2023a; Sun et al., 2023; Erdogan et al., 2025）。执行失败时，可利用环境反馈进行修订（Prasad et al., 2024; Song et al., 2023; Shinn et al., 2023; Madaan et al., 2023; Huang et al., 2023; Wang et al., 2023b; Liu et al., 2023; Wang et al., 2024）。 - **局部修订策略**： - **前缀保留，后缀重写**：PIVOT 与 ContextFlow 保留已验证前缀，重生成后缀（Zhang et al., 2026a; Guo et al., 2026）。 - **子图修复**：Atomic Task Graph 保留已验证图区域，修复受影响的子图（Zhang et al., 2026b）。 - **约束定位**：L-ICL 定位首个约束违反并提供纠正示例（Kumar and Cohen, 2026）。 - **评估方法**：Controlled replay 用于区分“改变计划”与“执行差异”带来的不同影响（Luan et al., 2026）。 **程序修复（Program Repair）** - **测试驱动修复**：测试失败指导故障定位与补丁验证（Le Goues et al., 2012, 2019; Xia and Zhang, 2022）。 - **代码自修复基准**：LiveCodeBench 评估给定错误程序、失败测试用例与执行反馈时的自我修复能力（Jain et al., 2025）。 - **填充式修复技术**：自回归模型通过 Fill-in-the-Middle（FIM）训练或序列化来基于前缀与后缀条件替换代码片段（Bavarian et al., 2022; Fried et al., 2023; Ahmad et al., 2025）。 - **扩散模型的代码填充**：掩码扩散天然支持填充操作，已用于代码生成、编辑与修复（Singh et al., 2023b; Gong et al., 2025; Xue et al., 2026; Singh et al., 2025）。为适应可变长度替换，研究者引入删除/扩展 token，或在去噪前预测跨度长度（Wu et al., 2026b; Xu et al., 2026）。 --- ### 3. 扩散模型用于规划 **连续控制** - 扩散模型用于生成轨迹，并随环境演变进行重新规划（Janner et al., 2022; Ajay et al., 2023; Zhou et al., 2023）。 **离散域规划** - **组合推理任务**：在 Countdown、Sudoku 与旅行规划等任务上，扩散模型展现出生成跨步骤依赖解决方案的能力（Ye et al., 2025a,b）。 - **图规划与反向引导**：Trainin et al. (2026) 研究表明，后续路径 token 可反向引导早期决策。 - **规划与执行的解耦**：Latent-DARM 通过潜在通信接口连接扩散规划器与自回归执行器（Berrayana et al., 2026）。 --- ### 与本文的关系 上述工作为 Plan-and-Patch 提供了技术与方法论基础：扩散语言模型的双向上下文能力支持了**局部填充式修复**；计划修复领域的局部重写策略启发本文将修复建模为**保留前缀-后缀的条件生成**；而扩散模型在离散规划中的最新进展则验证了其在长程依赖任务中的适用性。本文的核心区别在于：**将计划生成与修复联合训练于单一扩散模型中，在交互式环境中利用执行历史选择修复区域，并通过修复反馈引导填充**。 Q3: 论文如何解决这个问题？ 论文通过提出 **Plan-and-Patch** 框架解决上述问题，该框架利用扩散语言模型（dLLM）的并行生成与双向填充能力，将结构化计划的生成与局部修复统一在单个模型中。具体解决方案包含以下核心组件： --- ### 1. 结构化计划表示（Addressable Structured Plans） 首先，论文定义了一种层次化的、类程序的结构化计划格式： - **显式子目标与步骤**：计划由目标（goal）、有序子目标（subgoals）和可执行叶子步骤（leaf steps）组成。 - **可寻址跨度**：每个子目标和步骤都有唯一标识符，对应序列中的连续 token 跨度（addressable spans）。 - **执行语义**：叶子步骤包含动作（action）、参数（args）和预期观察（expected observation）；执行时按深度优先、从左到右的顺序访问叶子节点。 这种表示为**局部修订**提供了明确的边界：修复可以精确指向某个步骤或子目标，而不影响周围文本。 --- ### 2. Plan-and-Patch 框架架构 框架遵循 plan-and-act 架构，包含两个核心阶段（见图 1）： #### （1）计划生成（Plan Generation） 给定任务目标、初始环境观察和可用动作集合，扩散规划器 p_θ 通过**并行去掩码**（parallel unmasking）生成完整的结构化计划 τ 。与自回归模型的逐 token 生成不同，dLLM 在解码过程中可同时确定多个位置的 token，从而加速生成。 #### （2）执行与失败检测（Execution & Failure Detection） - 一个独立的执行器（executor）严格按叶子步骤顺序将计划转化为环境动作。 - 若执行失败（未达成目标终止），同一执行器模型充当**失败检测器**（failure detector），基于执行历史 h 和环境反馈，在失败计划 τ 中选择一个待修复区域 $R ⊂eq
L
，并提供修复反馈 f_R$（解释为何该区域需要修改）。 #### （3）计划修复（Plan Repair） 修复被建模为**条件填充**（conditional infilling）问题。对于选定的连续区域，将失败计划分解为：
τ = τ(pre) parallel τ_R parallel τ(post)
规划器在保留前缀 τ(pre) 和后缀 τ(post) 的前提下，基于修复反馈 fR 重新生成替换文本 rho ，形成修复后的计划：
τ’ = τ(pre) parallel rho parallel τ_(post)
扩散模型天然支持此操作：将 τ_R 替换为填充了
MASK
的画布段（canvas segment），通过双向上下文进行去噪。替换长度可通过
delete
令牌动态调整，允许 rho 与 τ_R 长度不同。对于多个不连续区域，框架支持联合填充，保留其间所有文本。 —- ### 3. 数据构建管道 为了同时训练生成与修复能力，论文设计了两类训练数据： #### （1）参考计划构建（Reference Plans） - 在训练集上重放成功的动作序列，记录每个动作、参数及环境反馈作为叶子步骤。 - 使用固定的领域规则将叶子步骤分组为子目标。 - 由大语言模型重写推理（reasoning）和意图（intent）字段，再通过执行验证确保终端奖励为正。 #### （2）修复示例（Repair Examples） 修复训练数据来自两个渠道： - **真实失败**：用仅训练过生成的初始规划器在独立任务上执行，收集失败计划与执行历史；由参考辅助的评判器（reference-assisted judge）定位缺陷区域，并用参考计划中的对应文本作为替换目标。 - **合成扰动**：对验证过的参考计划进行结构化扰动（如修改对象、容器、意图或前置条件），构造已知答案的修复样本。 所有示例均经过过滤，确保修改严格限于选定区域，且替换文本不会原样出现在可见上下文中。 —- ### 4. 联合训练与解码策略 #### 联合训练（Joint Training） 论文发现，若先训练生成再微调修复，会严重损害完整计划的生成能力（主要表现为格式失效）。因此，最终模型从原始检查点出发，**联合训练**生成与修复目标： - **生成目标**：条件为目标、初始观察和动作语法；监督信号为完整计划序列。 - **修复目标**：条件为失败计划的保留上下文和修复反馈；仅对替换区域计算损失。 对于扩散模型，两者均使用掩码 token 目标（masked-token objective）：
L(MDM)(θ) = E(A,Q,t,A)^t [ -(1) / (t) ∑(i ∈ M_t) log pθ(A_i mid A^t, Q) ]
分块大小课程（Block-Size Curriculum） 为适应生成与修复的不同特性，论文为扩散模型设计了差异化的**块大小采样分布**： - **生成阶段**：大部分采样权重（ 61.2% ）分配给不超过 16 个 token 的短块，逐步从左到右构建计划。 - **修复阶段**： 49.0% 的权重分配给 4096 token 的大块，强调在固定上下文下对较长替换区域进行填充。 这种分离确保生成时逐步构建结构，而修复时能充分利用全局上下文进行一致填充。 #### 解码设置 - **生成解码**：使用从左到右的块解码（block-wise denoising，块大小 b=4 ），配合置信度阈值 eta = 0.95 。 - **修复解码**：使用全画布填充（full-canvas infilling），采用 RelaxedConfidence 机制——当邻近位置可靠时降低置信阈值，支持半径 r=4 的邻域感知。 —- ### 5. 评估与验证方式 论文通过以下方式验证方案有效性： - **交互式环境**：在 ALFWorld（家庭导航与操作）和 TextCraft（依赖约束的合成）上执行计划，测量任务成功率与延迟。 - **控制对比**：扩散与自回归规划器共享相同的任务划分、训练数据、计划表示和执行器，确保比较公平。 - **修复隔离评估**：在 Natural Plan 上，无需任务特定训练，直接比较两种模型在相同失败计划、相同修复区域与反馈下的填充能力。 —- 综上，论文的解决路径可概括为：**通过结构化表示界定可修复单元，利用 dLLM 的并行解码加速全局生成，利用其双向填充实现局部修复，并配合专门的联合训练与数据构建管道，使单一模型同时具备高质量的生成与修复能力。** Q4: 论文做了哪些实验？ 论文围绕**交互式环境（ALFWorld、TextCraft）**与**约束验证基准（Natural Plan）**，系统评估了 Plan-and-Patch 框架在计划生成与修复中的性能。实验分为核心性能对比、机制分析与扩展验证三个层面。 —- ### 1. 核心性能：生成与修复成功率及延迟 #### （1）交互式基准上的生成与修复 在 ALFWorld（家庭导航与操作）和 TextCraft（依赖约束合成）上，对比了扩散规划器（Diff-Plan，基于 DreamReasoner-8B）与自回归规划器（AR-Plan，基于 Qwen3-8B），两者均经过任务特定的联合训练，并共享相同的结构化计划表示与 Qwen3-8B 执行器。 | 环境 | 模型 | 计划生成成功率 | 参考辅助修复成功率 | 基于历史修复成功率 | 端到端成功率 | |———|———|————————|——————————|——————————|———————| | ALFWorld | ReAct | 38.1% | — | — | — | | | Diff-Plan | 44.0% | 28.4% | 14.3% | 59.9% | | | AR-Plan | 45.5% | 27.7% | 17.5% | 60.6% | | TextCraft | ReAct | 48.0% | — | — | — | | | Diff-Plan | 63.0% | 15.5% | 24.5% | 68.7% | | | AR-Plan | 66.0% | 18.3% | 30.6% | 72.2% | - **生成**：两种规划器成功率接近（差距不超过 3 个百分点），且均优于无独立规划阶段的 ReAct 基线。 - **修复**：在参考辅助设定下（使用参考计划选择修复区域），两者成功率仍接近；在基于执行历史的设定下（更现实的场景），AR-Plan 略优于 Diff-Plan。 - **端到端**：计入生成失败后的修复恢复，两者最终任务成功率相当。 #### （2）生成延迟对比 在同步、未批处理的 bf16 推理条件下，测量了单张 A100 上的平均延迟： - **ALFWorld**：Diff-Plan 为 14.3 秒，AR-Plan 为 23.3 秒，扩散降低 **39%**。 - **TextCraft**：Diff-Plan 为 21.7 秒，AR-Plan 为 40.2 秒，扩散降低 **46%**。 修复延迟因环境而异，但计划生成阶段的加速是扩散模型的一致优势。 —- ### 2. 零样本修复：Natural Plan 在无需任务特定训练的 Natural Plan（旅行与日程安排）上，直接评估原始检查点的生成与修复能力。修复任务要求模型在给定上下文与修复反馈的前提下，填充参考计划中被掩码的区域。 | 任务 | 模型 | 验证器通过率 | GPT-5 Sonnet 判断 | Sonnet 5 判断 | |———|———|———————|—————————-|———————-| | 生成 | Diff-Plan | 33.0% | 20.2% | 31.8% | | | AR-Plan | 48.6% | 34.0% | 46.1% | | 修复 | Diff-Plan | **53.7%** | **72.9%** | **81.6%** | | | AR-Plan | 27.0% | 42.1% | 53.4% | - **生成**：AR-Plan 成功率更高。 - **修复**：Diff-Plan 的验证器通过率（ 53.7% ）几乎是 AR-Plan（ 27.0% ）的两倍，且该优势在两种语言模型评判下均保持一致。论文指出，旅行规划中的航班图结构受益于扩散模型灵活的解码顺序。 —- ### 3. 机制与敏感性分析 #### （1）修复区域选择的影响 对比了两种区域选择策略： - **参考辅助选择**：利用参考计划定位最小可修复单元。 - **基于历史的选择**：仅使用执行历史与环境反馈，由 Qwen3-8B 执行器充当失败检测器。 在 175 个共享的失败计划上，基于历史的选择使汇总修复成功率下降了约 **8.6–12 个百分点**，表明**准确识别修复区域是修复成功的关键瓶颈**。 #### （2）计划表示形式的影响 对比了两种结构化格式： - **分隔式（delimited）**：使用显式标签（如 `
STEPBEGIN
`、`
ACTION
`）界定字段。 - **散文式（prose）**：使用阶段标题与编号步骤的自然语言格式。 在 Qwen3-8B 执行器下，散文式表示显著提升了生成成功率（ALFWorld 上提升约 18–22 个百分点，TextCraft 上提升 6–12 个百分点）。然而，对于修复任务，扩散模型在散文式表示下的成功率低于分隔式（ALFWorld：21.3% vs 28.4%；TextCraft：5.0% vs 15.5%），而自回归模型在散文式修复上表现更优。这表明**显式边界有利于扩散模型的局部填充与恢复**。 #### （3）执行器的影响 固定计划文本，分别使用 Qwen3-8B 与 Claude Sonnet 5 作为执行器。Sonnet 5 在两种表示下的成功率均显著高于 Qwen3-8B（例如 ALFWorld 分隔式计划：94.8–96.3% vs 44.0–45.5%），说明**执行器能力对观察到的任务成功率有独立且显著的影响**。 —- ### 4. 错误分析与长程扩展 #### （1）成对失败分析 在 134 个 ALFWorld 任务上，两种规划器共有 50 个共同失败任务，25 个仅扩散失败，23 个仅自回归失败。失败原因分布显示： - 两种模型的独占失败均以**叶子步骤执行失败**为主。 - ALFWorld 中“无效动作限制”也是常见停止原因。 - 特定任务类型存在模型差异：冷却任务更常由扩散模型失败，清洁任务更常由自回归模型失败。 #### （2）修复后的计划保留性 分析显示，在参考辅助修复后： - ALFWorld 上，40%（Diff-Plan）与 38%（AR-Plan）的修复计划完整保留了所有已执行步骤的文本。 - TextCraft 上，保留率分别为 55% 与 74%。 这说明修复确实实现了局部替换，而非全局重写。 #### （3）ScienceWorld 长程生成分析 在参考计划平均长度为 27.1 个叶子步骤（远超 ALFWorld 的 5.8 步）的 ScienceWorld 上评估： - 随着参考计划长度增加，扩散模型的解析通过率急剧下降，从最短区间的 74.7% 降至 28 步以上的 7–9%。 - 汇总解析通过率：Diff-Plan 34.3%，AR-Plan 73.8%。 - 在被拒绝的生成中，扩散模型表现出更严重的动作重复（中位重复率 93.3% vs 40.0%）。 该实验揭示了**扩散模型在长程层次化生成中的局限性**：难以在并行解码中维持全局一致性与结构完整性。 —- ### 5. 实验小结 论文的实验设计覆盖了从**受控的填充任务**（Natural Plan）到**完全交互式的环境执行**（ALFWorld、TextCraft），再到**长程压力测试**（ScienceWorld）。核心结论包括： - 在匹配训练条件下，扩散与自回归规划器在交互环境的生成与修复成功率上基本相当。 - 扩散模型通过并行解码将计划生成延迟降低 **39–46%**。 - 在零样本修复任务中，扩散模型凭借双向上下文填充能力，修复成功率接近自回归模型的 **2 倍**。 - 修复性能受**区域选择准确性**、**计划表示形式**与**执行器能力**的共同制约。 - 在超过 25 步的长程计划中，扩散模型的结构保持能力显著弱于自回归模型。 Q5: 有什么可以进一步探索的点？ 基于论文的结论与实验发现，以下几方面值得进一步探索： —- ### 1. 联合学习修复区域选择与内容填充 当前框架中，**失败检测器**（选择待修复区域 R ）与**规划器**（生成替换内容 rho ）是分离的两个模块。执行器基于执行历史选择区域后，规划器仅负责条件填充。未来可以探索将区域定位与内容生成纳入**统一的端到端训练目标**，使模型直接从执行反馈中学习“何处需修”与“如何修”的联合优化，减少因区域误选导致的修复失败。 —- ### 2. 自适应修复范围与解码努力 论文表明，修复成功率高度依赖于区域选择的准确性，而过大的修复范围可能破坏未受损的上下文。未来可研究**基于不确定性的自适应机制**： - 动态调整填充画布的长度 K_0 ，而非固定使用 2|R| ； - 根据模型对保留前缀/后缀的置信度，动态分配解码步数或块大小； - 在扩散解码过程中引入**早期终止**或**迭代细化**，对高置信度区域快速提交、对低置信度区域增加推理预算。 —- ### 3. 长程规划中的全局一致性保持 ScienceWorld 实验（平均 27.1 个叶子步骤）揭示了扩散模型在长程层次化生成中的显著劣势：解析通过率随计划长度增加而急剧下降，且伴随严重的动作重复。关键挑战在于，并行解码难以维持深层嵌套结构的全局一致性。未来需要： - 设计**层次化的扩散解码策略**，在子目标级别与步骤级别引入分层掩码或级联生成； - 结合**自回归的全局规划骨架**与**扩散的局部并行填充**，形成混合架构； - 探索更长的块大小课程或记忆机制，以支持跨数十步的依赖推理。 —- ### 4. 多轮迭代修复与深度交互 当前评估主要限制为**单轮修复尝试**（one repair attempt followed by execution from the initial state）。实际智能体可能经历连续多步失败。未来可扩展 Plan-and-Patch 至多轮设置： - 允许在上一次修复的执行历史基础上进行**渐进式修订**； - 建立**修复记忆库**，避免在相似状态下重复相同错误； - 研究修复的收敛性条件，即何时应继续局部修复、何时需全局重规划。 —- ### 5. 计划表示与执行器的协同优化 实验显示，**散文式（prose）表示**有利于自回归模型的生成，而**分隔式（delimited）表示**更利于扩散模型的局部修复。这种不对称性暗示计划表示并非与模型无关。未来可探索： - **模型感知表示搜索**：针对不同规划器自动生成最优的结构化模板； - **执行器-规划器联合训练**：当前执行器（Qwen3-8B）未经任务微调，与规划器存在能力错配。联合优化或蒸馏执行器知识到规划器中，可能提升端到端成功率； - 在表示层面显式编码**前置条件与效果**（preconditions and effects），以支持更精确的自动故障定位。 —- ### 6. 更高效的训练与数据策略 论文采用固定的块大小课程（block-size curriculum）和合成扰动数据。未来可改进： - **基于验证器反馈的动态课程**：根据当前模型在开发集上的失败模式，动态调整合成扰动的类型分布（如增加对象替换 vs. 前置条件修改）； - **在线困难样本挖掘**：在训练过程中交互式地执行模型生成的计划，将新发现的失败自动加入修复训练集，形成**自举式（bootstrapping）数据循环**； - 探索**参数高效微调**（如 LoRA）在联合训练生成与修复目标时的可行性，以降低全量微调的成本。 Q6: 总结一下论文的主要内容 这篇论文研究了长程智能体中结构化计划的生成与局部修复问题，提出了 **Plan-and-Patch** 框架，利用扩散语言模型（diffusion language models, dLLMs）的并行生成与双向填充能力，实现高效的计划生成与执行失败后的精确修复。以下是论文的主要内容总结： ### 1. 研究动机与核心问题 长程智能体需要在执行前构建多步计划以协调子目标与工具调用，但环境动态性、工具返回异常或动作前提失效常导致计划部分失效。现有方法多采取全局重生成策略，容易破坏未受损的计划结构。作者指出，计划失效通常具有局部性，理想的修复应仅重生成受影响区域，同时严格保留前后文。为此，论文核心探索的问题是：**如何利用扩散语言模型天然的条件填充（infilling）能力，设计一个统一的计划生成与修复框架？** ### 2. Plan-and-Patch 框架 该框架采用 plan-and-act 架构，核心组件包括： - **扩散规划器**：单一 dLLM 同时承担两项任务： - **完整计划生成**：基于任务目标、初始观察与动作语法，通过并行去掩码（parallel unmasking）解码生成层次化结构化计划 τ 。 - **计划修复**：在检测到执行失败后，接收保留的前缀 τ(pre) 、后缀 τ_(post) 以及修复反馈 f_R ，对选定区域 R 进行条件填充，生成替换 rho ，输出修复计划：
τ’ = τ(pre) parallel rho parallel τ(post)
- **独立执行器与失败检测器**：执行器严格按叶子步骤顺序执行动作；失败时，同一模型基于执行历史与环境反馈选择最小修复区域 R ，并提供自然语言修复反馈。 ### 3. 关键技术设计 - **结构化计划表示**：定义了一种类程序的层次化格式，包含显式子目标、可执行叶子步骤、动作、参数及预期观察。每个子目标与步骤均具有标识符，对应序列中的连续 token 跨度（addressable spans），为局部修复提供精确边界。 - **训练数据构建**：为支持联合训练，作者设计了数据管道： - **参考计划**：通过重放成功轨迹并分组子目标构建，经 LLM 重写意图字段与执行验证后保留。 - **修复示例**：结合两类数据：（1）初始生成模型在独立任务上的**真实执行失败**；（2）对验证计划施加**结构化扰动**（修改对象、容器、意图或前置条件）合成的修复样本。 - **联合训练与分块课程**：从原始检查点出发，对生成与修复目标进行联合优化，避免顺序微调导致的生成性能退化。针对扩散模型，采用差异化的分块大小采样分布： - **生成**侧重短块（如 4–16 tokens），逐步构建结构； - **修复**侧重长块（如 4096 tokens），在固定上下文内进行大跨度填充。 - **解码策略**：生成使用从左到右的块解码（块大小 b=4 ，置信度阈值 eta=0.95 ）；修复使用全画布填充（RelaxedConfidence，阈值下限 eta_(min)=kappa=0.7 ，邻域半径 r=4 ），并允许通过
delete
令牌动态调整替换长度。 ### 4. 实验与主要发现 论文在交互式环境 ALFWorld、TextCraft（经任务特定训练）以及约束验证基准 Natural Plan（零样本）上，对比了扩散规划器 Diff-Plan（DreamReasoner-8B）与自回归规划器 AR-Plan（Qwen3-8B）： - **生成性能与延迟**：在 ALFWorld 与 TextCraft 上，两者任务成功率接近（差距不超过 3 个百分点），均优于无独立规划阶段的 ReAct 基线。但扩散模型通过并行解码显著降低平均生成延迟：**ALFWorld 降低 39%，TextCraft 降低 46%**。 - **修复性能**： - 在任务特定训练后的交互环境中，参考辅助修复下两者成功率相当；基于执行历史的修复（更现实场景）中 AR 略优。 - 在 **Natural Plan 零样本修复**中，扩散模型表现突出：验证器通过率为 **53.7%**，接近自回归模型 **27.0%** 的两倍，且在不同 LLM 评判下排名一致。其优势集中于行程规划等具有图结构依赖的领域。 - **机制分析**： - **区域选择至关重要**：基于历史的 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Syamantak Kumar, Jiang Guo, Hassan Hamad, Hideo Kobayashi, Yi Xiang, Yezhou Yang, Yanjun Qi, Daniele Bonadiman, Jiarong Jiang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10786.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10786
Published: 2026-10-11T02:10:48.423Z
8. Whose Ground Truth? Embracing Ambiguity in Human-Centered AI
Abstract:As AI systems increasingly interact with people and make decisions about them, understanding human interpretations becomes an important part of developing human-centered AI. Conventional machine learning and AI systems are largely developed under the assumption that a single definitive ground truth exists, with variability in human annotations often resolved through aggregation or treated as noise. However, for many human-centered tasks, human interpretation is inherently ambiguous, and multiple interpretations of the same input may be simultaneously reasonable and valid. Reducing such ambiguity to a single target risks overlooking meaningful information about the diversity of human perception, judgment, and experience. In this position paper, we call for a shift towards modeling the interpretation space of plausible human judgments, while distinguishing meaningful ambiguity from annotation noise. We argue that this perspective should guide how AI systems are represented, learned, evaluated, deployed, and governed, supporting more human-centered AI that better reflects the diversity of human interpretation.
中文摘要
摘要：随着人工智能系统越来越多地与人互动并对人做出决策，理解人类的解读已成为开发以人为本的人工智能的重要组成部分。传统的机器学习和人工智能系统在很大程度上是基于存在单一明确的客观真理的假设开发的，人类标注的差异通常通过汇总解决或被视为噪音。然而，对于许多以人为中心的任务来说，人类解读本质上是模糊的，对同一输入的多种解读可能同时合理且有效。将这种模糊性简化为单一目标可能忽视有关人类感知、判断和经验多样性的有意义信息。在这篇立场论文中，我们呼吁转向建模合理人类判断的解读空间，同时区分有意义的模糊性与标注噪音。我们认为，这一视角应指导人工智能系统的表示、学习、评估、部署和治理，从而支持更具以人为本的人工智能，更好地反映人类解读的多样性。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10805 (HTTP 429)
Authors: Jingyao Wu, Mohammad Tariqul Islam, Per Rådberg Nagbøl, Julie Gerlings, Giovanni Leoni, Georgiana Fryza, Lars Pilegaard Thomsen, Jakob Mainz
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10805.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10805
Published: 2026-10-11T02:10:48.423Z
9. On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents
Abstract:We study whether small LLM agents can operate effectively under explicit wall-clock time budgets by both respecting the allocated runtime and using available time productively. We evaluate Qwen3.6-27B on five competitions from MLE-Bench Lite and Qwen3-4B on Zork I (Jericho), two agentic benchmarks where additional computational time can meaningfully improve performance. In the simplest setting, where the budget is stated only in the prompt, agents fail to translate the stated budget into controlled use of time. These failures arise from gaps in time awareness, since the harness provides no timing feedback, but also because they cannot reliably anticipate the duration of actions, and do not have a learned mapping from available time to an appropriate strategy. We investigate two complementary classes of interventions: harness-based mechanisms that expose timing information and enforce deadlines, and reinforcement learning with budget-aware rewards. Injecting timing information through the harness substantially improves budget adherence for Qwen3.6-27B without measurable loss in performance, while enforcement hooks tighten adherence further. RL with GRPO achieves near-perfect budget adherence on Zork I and generalizes to held-out budgets not seen during training, but does not improve task performance over the untrained harness on MLE-Bench. Once agents are made to respect the budget, they still fail to use additional time to improve task performance. RL-trained policies learn when to stop but often fill extra time with repeated actions, and GRPO training on multiple budgets tends to collapse toward the strategy learned for the shortest budget. Our results reveal a gap between time adherence and productive time allocation, which remains a central challenge for budget-conditioned agents.
中文摘要
摘要：我们研究小型大型语言模型（LLM）代理是否能够在明确的实际时间预算下有效运行，同时既遵守分配的运行时间，又能有效利用可用时间。我们在来自 MLE-Bench Lite 的五项竞赛中评估了 Qwen3.6-27B，并在 Zork I（Jericho）上评估了 Qwen3-4B，这两个代理基准中额外的计算时间可以显著提高性能。在最简单的设置中，当预算仅在提示中说明时，代理无法将所述预算转化为对时间的控制性使用。这些失败源于时间感知的缺失，因为测试环境没有提供时间反馈，同时也因为代理无法可靠地预估动作的持续时间，并且没有从可用时间到合适策略的学习映射。我们研究了两类互补的干预方法：基于测试环境的机制，用于暴露时间信息并执行截止时间，以及带有预算感知奖励的强化学习。通过测试环境注入时间信息显著提高了 Qwen3.6-27B 的预算遵守情况，同时性能没有可测的下降，而执行钩子进一步增强了预算遵守的严格性。使用 GRPO 的强化学习在 Zork I 上实现了几乎完美的预算遵守，并能推广到训练期间未见的保留预算，但在 MLE-Bench 上并未提升任务性能，相比未经训练的测试环境。一旦代理被迫遵守预算，它们仍然无法利用额外时间来提升任务表现。经过强化学习训练的策略学会了何时停止，但常常用重复动作填充额外时间，而在多个预算上进行 GRPO 训练时，策略往往会趋向于最短预算所学的策略。我们的结果揭示了时间遵守与生产性时间分配之间的差距，这仍然是预算条件代理的一项核心挑战。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10833 (HTTP 429)
Authors: Aaron Wang, Neelabh Madan, Vlad Sobal, Matthew Trager, Michael Kleinman, Elman Mansimov, Wei Xia, Stefano Soatto
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10833.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10833
Published: 2026-10-11T02:10:48.423Z
10. Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
Abstract:Behavior cloning (BC) in non-Markovian environments is a challenging problem because policies have to reason over contextual information over long horizons. Existing policy architectures rely on recurrent or attention-based mechanisms to capture long-term dependencies. However, recurrent models suffer from hidden-state collapse and gradient instability under backpropagation through time, while attention-based models are fundamentally limited by context length. To address these issues, we propose Keyframe Mnemonics, a novel self-supervised method that $\textit{discovers}$ a set of information-critical observations ($\textit{mnemonics}$) by learning an objective from randomly sampled past observations and using it as a reward for keyframe selection. We then train a BC policy that conditions on the discovered keyframes to model the action distribution. Under certain task-structure assumptions, our formulation provides context retention guarantees over an infinite horizon, while maintaining a small set of decision-relevant keyframes in the policy’s working memory. We evaluate our method on synthetic memory domains, where mnemonic-conditioned BC policies achieve $100$% success rates (SR) and generalize to horizons orders of magnitude beyond training without performance degradation. Additionally, we evaluate on memory-intensive robot manipulation benchmark, achieving a $13.9$% average absolute SR improvement over the strongest baseline across $23$ tasks and retaining $80$% SR at $20\times$ longer horizons on a real robot. Code and videos are available at this https URL.
中文摘要
摘要：非马尔可夫环境中的行为克隆（BC）是一个具有挑战性的问题，因为策略必须在长期视野内对上下文信息进行推理。现有策略架构依赖于循环或基于注意力的机制来捕捉长期依赖关系。然而，循环模型在反向传播过程中存在隐藏状态崩溃和梯度不稳定性，而基于注意力的模型则在上下文长度的基础上受限。为解决这些问题，我们提出了关键帧助记法，这是一种新颖的自监督方法，通过从随机抽样的过去观察中学习目标并作为关键帧选择的奖励，对一组关键信息进行 $\textit{discovers}$。然后我们训练一个基于发现的关键帧来建模动作分布的 BC 策略。在某些任务结构假设下，我们的表述在无限视野内保证上下文保留，同时在策略工作内存中保留少量决策相关关键帧。我们在合成记忆域中评估了该方法，其中助记条件BC策略实现了100%的成功率（SR），并在训练后推广到超出训练的视野上多个数量级且性能不下降。此外，我们基于内存密集型机器人操作基准进行评估，在23美元任务中，平均绝对SR提升达到13.9%美元，且在真实机器人中，在20美元/倍值更长的时间线下保持80%的SR。代码和视频可在此 https URL 获取。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*非马尔可夫环境下的行为克隆（Behavior Cloning, BC）策略难以进行长时程信息保持与决策\*\*的问题。具体而言，论文针对以下核心挑战展开： ### 1. 非马尔可夫决策中的长程依赖困境 在部分可观测的马尔可夫决策过程（POMDP）中，智能体当前观测 o_t 不足以确定最优动作，必须依赖历史观测序列 h_t = o_1, dots, o_t 提供的上下文信息。然而，传统 BC 策略通常仅依赖极短时间的观测上下文，导致其在需要长期记忆的任务中表现脆弱。 ### 2. 现有记忆架构的固有缺陷 论文系统分析了当前两类主流长程记忆机制的局限性： - \*\*循环模型（RNN/LSTM）\*\*：通过反向传播通过时间（BPTT）训练时，存在\*\*梯度不稳定\*\*问题；截断 BPTT 虽可缓解计算压力，但会丢失 distant past 的信息。此外，循环模型存在\*\*隐藏状态崩溃（hidden-state collapse）\*\*，即表示在反复更新中被模糊化。 - \*\*注意力模型（Transformer）\*\*：受限于\*\*有限的上下文长度（finite context length）\*\*，无法保留完整历史；增加帧堆叠会带来关于序列长度的\*\*二次计算复杂度\*\*，且在极端长程 horizon 下性能退化，并容易过拟合观测中的虚假相关性。 - \*\*混合记忆架构\*\*：尽管现有方法通过显式记忆缓存、记忆压缩或状态聚合来改进信息保持，但这些方法在训练时遇到的 horizon 之外仍然会发生\*\*状态崩溃（state collapse）\*\*，导致长程泛化能力严重下降。 ### 3. 训练视界外的泛化失败 现有方法在训练分布内的视界长度上表现尚可，但一旦测试时的任务 horizon 超过训练时的最大长度，策略性能会急剧退化。论文指出，现有架构无法提供\*\*视界不变性（horizon-invariance）\*\*，即策略无法无限期地保持决策相关的上下文记忆。 ### 论文的核心解决思路 为应对上述挑战，论文提出 \*\*Keyframe Mnemonics（关键帧助记法）\*\*，将原始的非马尔可夫决策问题分解为两个子问题： 1. \*\*自监督发现关键帧（keyframes）\*\*：通过利用神经网络的简单性偏置（simplicity bias），学习一个目标函数，从随机采样的历史观测中识别出与动作分布互信息最大的信息关键观测（称为 mnemonics）。 2. \*\*基于关键帧的行为克隆\*\*：训练一个选择器策略（selector policy）将关键帧存入容量有限的记忆缓冲区 B_t ，并训练 BC 策略 π_(BC)(a_t mid o_t, B_t) 基于当前观测与保留的关键帧进行决策。 在特定任务结构假设下，该方法理论上提供了\*\*无限视界的上下文保持保证（infinite-horizon keyframe retention）\*\*，使策略能够在远超训练视界的尺度上稳定执行，实现所谓\*\*视界不变的行为克隆（horizon-invariant behavior cloning）\*\*。 Q2: 有哪些相关研究？ 该论文的相关研究可从四个维度进行梳理：\*\*记忆增强的策略架构\*\*、\*\*关键帧与上下文选择\*\*、\*\*神经网络学习偏置的理论基础\*\*，以及\*\*实验对比的基线方法\*\*。 --- ### 1. 记忆增强的策略架构 #### 1.1 循环与注意力机制 - \*\*LSTM 与 BPTT\*\*：长短期记忆网络（LSTM）
28
结合反向传播通过时间（BPTT）
8
是处理 POMDP 的经典选择。但 BPTT 存在梯度不稳定与隐藏状态崩溃（hidden-state collapse）问题
10, 12
；截断 BPTT（TBPTT）
11
虽缓解计算压力，却以丢失远距观测信息为代价。 - **Transformer 与变体**：Decision Transformer（DT）
41
、Transformer-XL（TrXL）
43
、Decision-Mamba（DMamba）
42
等利用注意力机制建模长程依赖。然而，它们的上下文长度有限，增加历史帧会带来关于序列长度的二次计算复杂度，且在极端 horizon 下性能退化
14
。 #### 1.2 显式记忆建模（Explicit Memory Modeling） 为突破循环/注意力架构的瓶颈，研究者提出了多种专用记忆机制： - **嵌入缓存**：如 ELMUR
14
使用外部层记忆与改写机制。 - **记忆压缩模型**：通过自监督或重建目标学习历史观测的压缩摘要
22, 23, 17, 16, 20, 21
。 - **时间状态聚合**：对过去状态进行分层或渐进式聚合
18, 46
。 - **混合架构**：将上述机制组合以提升信息保持
19, 24
。 **局限性**：这些方法通常构建压缩的状态表示，在长程上会发生**信息模糊（memory blur）**或**状态崩溃**，导致训练视界外的泛化严重退化。 —- ### 2. 关键帧与上下文选择 #### 2.1 基于关键帧注释的行为克隆 部分研究依赖**显式关键帧注释**来构建策略上下文： - 手动标注关键帧用于长程机器人任务
31, 49, 50, 51
。 - 利用视觉-语言模型（VLM）和任务特定提示进行关键帧选择
52
。 **与本文的区别**：这些方法需要超出专家示教数据的额外监督（如人工注释或预训练 VLM 的推理能力），而本文提出的 Keyframe Mnemonics 是完全**自监督**的。 #### 2.2 学习管理策略上下文 - 使用强化学习（RL）训练关键帧选择策略以优化上下文缓冲区
53, 54
。 - **局限性**：现有工作仅在简单网格域或 MuJoCo 控制环境中验证，其在复杂机器人操作任务上的可扩展性未知。本文指出，Keyframe Mnemonics 是首个面向非马尔可夫行为克隆的**自监督关键帧识别**方法。 —- ### 3. 理论基础：简单性偏置与掩码学习 #### 3.1 神经网络的简单性偏置（Simplicity Bias） 深度神经网络倾向于优先学习 Kolmogorov 复杂度更低的函数
25, 26, 27, 67, 68
。本文的理论分析（Theorem 1、Proposition 1）即建立在 SGD 对简单假设的隐式偏置之上，通过随机掩码放大关键帧与背景帧的复杂度差距。 #### 3.2 掩码诱导的不变特征学习 在自监督表示学习中，掩码策略被广泛用于学习不变特征： - **语言领域**：BERT
70
对语言令牌进行掩码预训练。 - **视觉领域**：MAE
71
对空间图像块进行掩码以学习视觉表示。 **与本文的联系**：本文将掩码策略从空间/令牌维度拓展到**时间维度**（temporal masked-sampling），通过随机采样历史观测迫使模型学习对时间变化具有不变性的关键帧映射。 —- ### 4. 实验对比的主要基线方法 论文在综合评估中与以下方法进行了系统对比： | 类别 | 代表方法 | 核心特点 | |———|————-|————-| | **循环模型** | LSTM (BPTT/TBPTT)
28, 8, 11
| 经典记忆架构，BPTT/TBPTT 训练 | | **Transformer 策略** | Decision Transformer (DT)
41
、Decision-Mamba
42
、Transformer-XL
43
| 基于自注意力的序列建模 | | **混合记忆 Transformer** | RATE
45
、ELMUR
14
| 外部记忆缓存与读写机制 | | **离线强化学习** | Conservative Q-Learning (CQL)
44
| 基于价值函数的离线 RL | | **扩散策略** | Diffusion Policy (DP)
5
| 通过动作扩散学习视觉运动策略 | | **帧子采样** | PTP
46
| 从过去观测中子采样帧用于策略条件化 | **小结**：现有方法要么受限于架构本身的记忆瓶颈（循环/注意力），要么依赖压缩表示导致长程信息模糊（混合记忆），要么需要额外的关键帧监督。Keyframe Mnemonics 通过**自监督关键帧发现**与**显式关键帧保留**，在理论上和实证上实现了现有混合记忆方法未能达到的**视界不变性（horizon-invariance）**。 Q3: 论文如何解决这个问题？ 论文提出 **Keyframe Mnemonics（KM）**，一种通过**自监督关键帧发现**实现**视界不变行为克隆（horizon-invariant behavior cloning）**的三阶段方法。其核心思路是将非马尔可夫决策问题解耦为两个子问题：(i) 从历史观测中自动发现对动作分布具有最大互信息的决策关键帧（mnemonics）；(ii) 训练一个仅依赖当前观测与少量关键帧记忆缓冲区的行为克隆策略。 以下是该方法的完整技术路径： —- ## 1. 代理策略训练：利用简单性偏置学习关键帧目标函数 ### 随机掩码采样构建训练数据 为迫使模型区分信息丰富的关键帧与冗余的背景帧，论文设计了一种**随机掩码采样（masked-sampling）**机制。在训练代理策略 f_θ: B to A 时，从观测历史 h_t = o_1, dots, o_t 中随机抽取至多 k 帧构成记忆缓冲区 B_t ，即：
Bt = o_i ∈ h_t mid Psi_k(i) = 1, quad |B_t| ≤ k
其中 Psi_k 为独立采样的二元掩码。该过程使训练样本空间具有组合爆炸规模的基数 M ：
M = ∑(i=1)^(N)(Ti + ∑(j=1)^(k)T_i+1j+1)
简单性偏置放大关键帧信号 在假设关键帧 X(key) 与动作 A 的互信息严格大于背景帧 X(bg) 与动作的互信息（即 I(A; X(key)) > I(A; X(bg)) ）的前提下，论文从 Kolmogorov 复杂度角度证明了： - **背景假设的复杂度远高于关键帧假设**：
E[K(f^_(bg))] > E[K(f^(key))]
该复杂度差距随样本空间大小 M 线性放大，差距约为 $M ·
I(A; X(key)) - I(A; X(bg))
$。 - **SGD 偏向学习不变假设**：由于神经网络具有简单性偏置，随机梯度下降以极高概率选择基于关键帧的假设：
P(SGD)(H(in) mid D) ≈ (1) / (1 + 2^(-[M · (I(A;X(key))-I(A;X_bg))) - O(1)])
冻结代理目标作为关键帧评分函数 训练完成后，冻结代理策略 f_(θ^*) ，将其负对数似然损失定义为目标函数：
J(θ^*)(B) = E[L(f(θ^)(B), A)]
根据理论推导（Corollary 1），最小化 J_(θ^)(B) 等价于最大化 I(A; B) ，因此该目标函数能为包含更多关键帧的缓冲区给出更优（更低）的得分，从而成为关键帧发现的自监督信号。 —- ## 2. 选择器策略训练：基于强化学习的关键帧识别 ### 将关键帧选择建模为确定性 MDP 由于 J_(θ^*)(B) 定义在整个缓冲区而非单帧上，直接优化面临组合爆炸。论文将关键帧识别重构为一个确定性马尔可夫决策过程 langle O, P, K, R, γ rangle ，训练选择器策略 π_s(p_t mid o_t) 为每一帧观测输出优先级 $p_t ∈
0, 1
，由优先队列根据 p_t 决定是否将该帧保留入缓冲区 B_t$。 ### 奖励函数设计 选择器的奖励由两部分构成：
R(Bt) = frac{T_i · e^(J(θ^,j=t)/kappa)∑(j=1)^(T_i) e^(J(θ^,j)/kappa)}(surprise 系数) · frac{log(J(θ^*)(Bt) + λ)log(λ)}(归一化对数奖励)
- **归一化对数奖励**：当缓冲区目标值 J(θ^)(B_t) 趋近于 0 时，奖励急剧上升至 1，为关键帧保留提供强优化信号。 - \*Surprise 系数**：基于代理损失在各时间步的 soft-max 分布，对动作不确定性高的决策关键时刻赋予更高权重，引导选择器在真正需要记忆的关键时刻聚焦优化。 ### 优先队列机制 - **训练阶段（FIFO）**：采用先进先出规则打破优先级平局。这防止选择器通过输出恒定高优先级来”作弊”，迫使其学习真正具有区分度的优先级分配。 - **推理阶段（LIFO）**：采用后进先出规则。这确保早期被赋予高优先级的关键帧（如任务线索）在长程滚动中不被后续观测挤出，从而实现无限视界的信息保持。 选择器通过 **PPO（近端策略优化）** 进行训练，利用熵正则化促进探索，稳定学习过程。 —- ## 3. 行为克隆策略训练：基于助记符的条件化策略 ### 构建增强数据集 利用训练好的选择器在专家示教数据集 D 上滚动，为每一时间步 t 生成记忆缓冲区 B_t （近似关键帧集合 X(key,t) ），并构建增强数据集：
D^dagger = (Bt, o_t, a_t)(t=1)^(Ti)
为应对复杂域中动作可能对背景观测存在微弱依赖的问题，策略同时接收当前观测 o_t 与记忆缓冲区 B_t 。 ### 训练视界不变策略 基于 D^dagger 训练行为克隆策略 π(BC)(at mid o_t, B_t) 。由于 B_t 仅包含少量（通常 k ≤ 3 ）决策关键帧，该策略无需处理完整历史序列，避免了循环模型的梯度不稳定与 Transformer 的上下文长度限制。 —- ## 4. 理论保证与推理机制 ### 无限视界关键帧保持 在关键帧集合唯一且记忆预算 k 充足的假设下，论文证明了（Theorem 2）： - 最优选择器 π_s^* 会持续为关键帧分配高于背景帧的优先级； - 优先队列将无限期保留关键帧集合，即当 T to ∞ 时， B_T = X(key) 。 这意味着策略具备**视界不变性**：在推理时，无论任务 horizon 多长，只要关键帧已被选入缓冲区，它们就不会被后续背景观测覆盖。 ### 推理部署 部署时，选择器与 BC 策略协同工作： 1. 选择器接收当前观测 ot ，输出优先级 p_t = π_s(o_t) ； 2. 优先队列按 LIFO 规则更新缓冲区 B_t ； 3. BC 策略基于 (B_t, o_t) 生成动作 a_t = π(BC)(Bt, o_t) 。 由于选择器本身是马尔可夫的（仅依赖当前单帧），其运行不受 horizon 长度影响，从而保证了长程稳定性。 —- ## 方法总结 | 阶段 | 功能 | 训练方式 | 核心输出 | |———|———|—————|—————| | 代理策略 fθ | 学习关键帧评分函数 | 随机掩码采样 + SGD | 冻结目标 J(θ^*)(B) | | 选择器 π_s | 识别并保留关键帧 | PPO 优化 J(θ^) | 优先级分配策略 | | BC 策略 π_(BC) | 基于关键帧生成动作 | 标准行为克隆 | 视界不变的动作分布 | 该方法的关键创新在于：\*无需任何显式关键帧标注**，仅通过设计特定的训练采样策略（随机掩码）放大神经网络的简单性偏置，即可自监督地学习到一个可用于关键帧发现的奖励函数，进而通过强化学习获得显式的记忆管理机制，最终使轻量级的 MLP 或 Transformer 策略实现远超训练视界的稳定泛化。 Q4: 论文做了哪些实验？ 论文的实验设计围绕两个核心问题展开：**(1) 选择器能否有效识别关键帧？(2) 基于关键帧的策略能否在训练视界之外实现泛化（视界不变性）？** 实验覆盖了从合成序列任务到高维视觉机器人操作的任务，并包含理论验证与消融分析。 —- ### 1. 合成与网格领域实验（Section 3.1） #### 1.1 实验领域 在**三个合成记忆序列任务**和**两个网格环境**中验证方法： | 领域 | 任务描述 | 关键帧特征 | |———|————-|—————-| | **Add**
28
| 序列中两个位置标记数值，最后一步输出两数之和 | 两个标记帧 + 发射信号帧 | | **Scattered Copy**
22
| 从噪声令牌中记住 n 个相关令牌并按顺序复现 | 相关源令牌 + 分隔符令牌 | | **Active T-Maze**
29
| 在长走廊起点观察目标方向线索，在终点 T 字路口转向 | 起始线索帧 + 路口帧 | | **MiniGrid-Memory**
30
| 网格世界中记住起始房间物体，在走廊尽头选择匹配分支 | 起始房间物体观测 | | **LTMB-Hallway**
31
| 视觉记忆走廊任务，匹配远处房门后的目标物体 | 起始房间目标观测 | #### 1.2 理论验证实验 - **代理目标函数验证（Figure 2a）**：向代理策略的输入缓冲区中逐步添加**真实关键帧**，观测到目标函数值 J_(θ^)(B) 单调下降，支持 \*Corollary 1**。 - **记忆遗憾分析（Figure 2b, 2c）**：定义**主动记忆遗憾**（学习的选择器 vs 最优选择器）与**被动记忆遗憾**（随机选择器 vs 最优选择器）。实验表明，当掩码采样支持集大小 M 足够大时，主动遗憾收敛至 0，而被动遗憾随 M 增大而上升，为 **Theorem 1** 提供实证支持。 #### 1.3 视界不变性实验（Figure 3, Table 12） 将 KM（基于 MLP 或 Transformer 的 BC 策略）与 **7 个强基线**对比： - LSTM (BPTT)、LSTM (TBPTT)、Decision-LSTM (DLSTM)、Decision Transformer (DT)、Decision-Mamba (DMamba)、Transformer-XL (TrXL)、ELMUR。 **实验设置**：在训练分布内的 horizon 上训练所有模型，然后在**从同分布到远超训练分布（最高达 10^6 步，即数个数量级之外）**的测试 horizon 上评估。 **关键结果**： - **KM 在所有任务上保持近乎完美的性能**（100% 成功率或接近 0 的 MSE），无论测试 horizon 如何扩展。 - **所有基线在超出训练范围后性能崩溃**：例如 LSTM(BPTT) 和 TrXL 在 T-Maze 训练 horizon 内可达 100% SR，但在更长 horizon 上跌至接近随机水平；ELMUR 在 Add 任务上从 0.114 训练 MSE 恶化到 0.757 测试 MSE。 —- ### 2. 机器人操作基准测试（Section 3.2） #### 2.1 MIKASA-Robo 基准（Figure 4, Table 11） 在 **23 个视觉机器人操作任务**（来自 32 任务 MIKASA-Robo
7
基准中的非零任务）上评估。这些任务专门设计用于测试对象的、空间的、时序的和容量的记忆能力（如记住颜色/形状线索并在后续操作中选择匹配物体）。 **对比基线**：RATE
45
、Decision Transformer
41
、Behavior Cloning (BC)、Conservative Q-Learning (CQL)
44
、Diffusion Policy (DP)
5
、ELMUR
14
、PTP
46
。 **关键结果**： - KM 在 **21/23 个记忆密集型任务**上优于最强基线 ELMUR。 - **平均绝对成功率提升 +13.9%**（相对于 ELMUR）。 - 在记忆容量任务（如 RememberColor9、RememberShape9）和复杂空间推理任务（如 RotateLenientPosNeg）上优势尤为显著。 #### 2.2 记忆保持与视界不变性：RememberColor3-∆T（Figure 5a, Table 13） 为专门测试**策略能在多长延迟后保持正确线索**，设计变体任务： - **训练**：所有方法在 Delta T = 15 的线索-动作延迟上训练。 - **测试**：在 Delta T ∈ 15, 35, 55, dots, 250 上评估，无需重新训练。 **关键结果**： - **ELMUR**：在 Delta T = 35 时成功率崩塌至接近 0。 - **PTP**（基于帧子采样）：延迟到 75 步后逐渐退化，200 步时降至 <10%。 - **KM**：在长达 Delta T = 250 （**约为训练延迟的 17 倍**）的范围内保持约 65-72% 的成功率，呈现**视界不变性**。 #### 2.3 无记忆任务验证：Robomimic（Figure 5b） 在三个标准机器人操作任务（Lift、Can、Square）上对比 KM 与 Diffusion Policy。这些任务为**马尔可夫任务**，无需历史记忆。 **结果**：KM 与 DP 性能持平，证明引入关键帧条件化**不会在无需记忆的任务上造成退化**。 #### 2.4 真实机器人实验（Figure 6） 在物理机器人上执行 **RememberColor2** 任务： - 机器人先观察红/绿色方块（3-5 秒），经过延迟后，两个方块出现，机器人需触碰之前看到的颜色。 - 训练数据仅包含约 5 秒延迟的 30 次 VR 遥操作演示。 - **测试**：将延迟扩展至**训练时的 20 倍**。 **结果**：Diffusion Policy 和 PTP 随延迟增加性能急剧恶化，而 **KM 在 20 倍更长测试视界上保持约 80% 的成功率**。 —- ### 3. 消融实验（Appendix F） 论文还进行了大量消融以验证各组件的必要性： | 消融项 | 实验内容 | 核心结论 | |————|————-|—————| | **学习的选择器 vs 随机选择器** | 将 πs 替换为均匀随机优先级 | 随机选择器在 RememberColor3-∆T 上显著退化（~30% vs ~65%），证明学习的选择器至关重要 | | **折扣因子 γ ** | 在 PPO 中设置 γ ∈ 0, 0.5, 0.9, 0.99 | γ=0 （贪婪优化）在多数域上失败；长程关键帧识别需要未来感知的折扣回报（ γ=0.99 ） | | **惊喜系数** | 调整温度 kappa 或关闭 surprise scaling | 在多数合成任务中 surprise scaling 是必要的；机器人任务中关闭后更稳定 | | **代理输入包含当前帧 o_t ** | 在代理策略训练中将当前观测加入缓冲区 | 导致在 MiniGrid-Memory 和 RememberColor3 上严重过拟合（性能从 100% 跌至 33%/19%） | | **队列打破规则** | 对比 FIFO/LIFO 在训练/推理阶段的组合 | 在合成域无差异；在机器人域 FIFO→LIFO（训练 FIFO，推理 LIFO）最优 | | **记忆预算 k ** | 将缓冲区大小设为 0.5× 和 2× 默认值 | 过小的 k 导致关键帧丢失而退化；过大的 k 可能增加策略学习难度 | —- ### 4. 计算效率（Table 1） 在 RememberColor3-∆T 上报告各阶段训练时间（单张 RTX 3090）： - 代理策略：1h 15m - 选择器（PPO）：5h 46m - 数据集生成：1h 23m - BC 策略：2h 05m - **总计约 10.5 小时**，快于 PTP（19.5 小时），慢于 ELMUR（1.4 小时，但后者无法泛化）。 —- ### 实验总结 论文的实验层次清晰：**从严格受控的合成域验证理论假设**（代理目标、记忆遗憾、简单性偏置），**到网格域测试视觉记忆**，**再到高维机器人操作基准和真实机器人验证实用性与视界不变性**。实验充分证明，Keyframe Mnemonics 在保持低计算开销的同时，能够在远超训练分布的长程 horizon 上稳定运行，解决了现有记忆架构的崩溃问题。 Q5: 有什么可以进一步探索的点？ 基于论文的局限讨论与方法论设计，以下几个方向值得进一步探索： —- ### 1. 自适应记忆预算与动态缓冲区管理 当前方法的内存预算 k 是需预先指定的超参数。若 k 设置不当，可能导致： - **多个信息等价的缓冲区状态**并存，使得推理时优先队列难以保留唯一正确的关键帧集合； - **关键帧容量不足**（ k 过小）或 **背景帧干扰增加**（ k 过大）。 未来可探索： - **可学习的动态记忆预算**：让选择器自适应地决定需要保留多少关键帧，而非固定容量 k ； - **层级化缓冲区架构**：区分短期工作记忆与长期关键帧存储，根据任务复杂度动态分配资源。 —- ### 2. 面向多任务与无结构演示数据的扩展 论文指出，当前算法要求**每条演示轨迹至少包含一个关键帧**，且关键帧结构在数据集中保持一致。这限制了方法在以下场景的应用： - **多任务设置**：不同任务的关键帧语义差异巨大，单一选择器难以泛化； - **非目标导向的“play data”**：自由交互数据中可能包含大量无关键帧的轨迹。 值得研究的方向包括： - **任务条件化的选择器**：引入任务嵌入或指令，使 π_s(p_t mid o_t, task) 能跨任务选择相关上下文； - **关键帧存在性检测**：先训练一个筛选模型判断当前轨迹是否包含决策关键信息，避免在无信息段落上浪费记忆容量。 —- ### 3. 放松单帧可识别性假设 **Assumption 1** 要求关键帧可从**单帧观测**中识别，因为选择器 π_s(p_t mid o_t) 被设计为马尔可夫式，以避免循环模块与 BPTT 的梯度问题。然而，某些 POMDP 中的关键信息可能需要**多帧联合推断**（例如，通过连续多帧才能判断物体运动方向）。 未来可探索： - **轻量级时序编码的选择器**：在不引入完整 BPTT 的前提下，使用因果卷积或固定长度的小窗口编码观测序列，以捕捉短时动态； - **多帧候选评估**：允许选择器基于当前帧与最近几帧的聚合表示输出优先级，而非严格单帧。 —- ### 4. 高记忆容量与复合关键帧任务 论文在 **Appendix G.6** 中明确提到：当专家动作**同时依赖多个独立关键帧**时，代理策略 fθ 的掩码采样需要同时命中所有相关帧才能学习正确映射，导致收敛困难。随着所需关键帧数量增加，采样成功概率指数下降。 潜在解决方案： - **模块化选择器组合**：先针对低记忆容量的子任务分别训练专用选择器与代理策略，再通过组合机制支持高容量 BC 策略； - **迭代关键帧发现**：采用课程学习思路，先发现最重要的关键帧，再逐步训练发现次要关键帧的选择器； - **增大训练预算 M 的理论边界**：更精细地刻画 M 随关键帧数量增长的下界，指导采样策略设计。 —- ### 5. 计算效率与 GPU 原生实现 选择器训练是计算瓶颈（在机器人域约占 5–10 小时中的大部分），主要源于 Stable-Baselines3
60
的 CPU-GPU 通信开销。由于选择器 MDP 的每一步仅需代理策略的前向推理，理论上可完全在 GPU 上并行化。 未来工作可包含： - **GPU 原生 PPO 实现**：消除环境步与策略推理间的 CPU 开销； - **代理策略与选择器联合优化的可能性**：探索能否通过微分规划或 Gumbel-Softmax 技巧，将离散的关键帧选择过程可微化，从而绕过 RL 训练。 —- ### 6. 低动作方差与弱多模态任务 **Assumption 2** 要求关键帧与动作分布间存在显著的互信息差距。当动作多为局部、低方差运动（如 VizDoom-Two-Colors 中的离散导航）时，关键帧对动作的区分度不足，代理目标 J(θ^) 的优化信号微弱。 值得探索： - \*动作聚类或子目标分解**：将细粒度动作空间聚类为语义上更离散的技能标签，放大关键帧与高层决策间的信息关联； - **对比式关键帧发现**：不直接回归动作，而是构造关键帧与动作正负样本对，通过对比学习强化稀疏信息帧的表征。 —- ### 7. 与语言语义及视觉-语言模型的深度融合 论文在 **Appendix H** 中指出，关键帧保留了视觉-空间细节，而语言提供高层抽象。两者具有互补性： - **关键帧 → 语言摘要**：利用 VLM 为发现的关键帧生成文本描述，构建可解释的记忆日志； - **语言指令 → 关键帧筛选**：在 VLA（Vision-Language-Action）模型中，用语言指令指导选择器关注与当前指令语义相关的观测子集； - **跨模态记忆检索**：当关键帧缓冲区满时，利用语言嵌入进行跨轨迹的关键帧检索与迁移。 —- ### 8. 在线适应与持续学习 当前框架完全基于**离线专家演示**训练。在真实部署中，机器人可能遇到训练分布外的新场景或新的关键帧类型。 未来方向： - **在线关键帧库更新**：在部署期间，利用环境反馈（任务成败）微调选择器的优先级函数，实现持续的关键帧库扩展； - **关键帧重要性重评估**：根据后续动作的成功与否，回溯调整历史观测的优先级，形成类似经验回放的机制。 —- ### 9. 更一般的理论保证 现有理论（Theorem 2）依赖于关键帧唯一性和严格正互信息差距。更一般的分析可包括： - **近似关键帧集合**：当不存在严格充分统计量，仅存在近似充分观测子集时，分析 BC 策略的次优性界； - **非平稳环境**：在观测统计特性随时间缓慢变化的环境中，分析优先队列的遗忘-更新权衡。 Q6: 总结一下论文的主要内容 本文介绍了一种面向**非马尔可夫部分可观测环境**的**视界不变行为克隆（horizon-invariant behavior cloning）**方法，称为 **Keyframe Mnemonics（关键帧助记法）**。以下从研究动机、方法框架、理论贡献与实验验证四个方面进行总结。 —- ### 1. 研究动机与挑战 在部分可观测马尔可夫决策过程（POMDP）中，智能体需依赖历史观测 h_t = o_1, dots, o_t 进行决策。现有行为克隆（BC）策略存在以下瓶颈： - **循环模型（RNN/LSTM）**：受限于反向传播通过时间（BPTT）的梯度不稳定与**隐藏状态崩溃（hidden-state collapse）**，长程信息易被覆盖。 - **注意力模型（Transformer）**：上下文长度有限，增加历史帧会带来二次计算复杂度，且在极端长程下性能退化。 - **混合记忆架构**：虽通过显式记忆缓存或压缩改进信息保持，但仍会在训练视界外发生**状态崩溃**，无法泛化到更长时程。 核心问题在于：现有方法缺乏**视界不变性（horizon-invariance）**，即无法在远超训练分布的 horizon 上稳定保持决策相关的上下文。 —- ### 2. 方法框架：Keyframe Mnemonics 论文提出一种**完全自监督**的三阶段关键帧发现与行为克隆框架（图 1）： #### 阶段一：代理策略训练（Proxy Policy Training） 通过**随机掩码采样（masked-sampling）**从历史观测 h_t 中随机抽取至多 k 帧构成缓冲区 B_t ，训练代理策略 fθ: B to A 预测专家动作。该采样策略使训练样本空间具有组合爆炸规模的基数 M ：
M = ∑(i=1)^(N)(T_i + ∑(j=1)^(k)Ti+1j+1)
利用神经网络的简单性偏置（simplicity bias），训练迫使 fθ 学习基于关键帧（keyframes）的不变假设，而非依赖信息冗余的背景帧。训练完成后冻结参数 θ^ ，将损失函数 $J_(θ^)(B) = E
L(f_(θ^*)(B), A)
作为关键帧评分目标。 #### 阶段二：选择器策略训练（Selector Policy Training） 将关键帧识别建模为确定性 MDP langle O, P, K, R, γ rangle ，使用 PPO 训练选择器 π_s(p_t mid o_t) 为每帧观测输出优先级 p_t ∈
0,1
$。奖励函数结合归一化对数目标与**惊喜系数（surprise coefficient）**：
R(Bt) = frac{T_i · e^(J(θ^,j=t)/kappa)∑(j=1)^(T_i) e^(J(θ^,j)/kappa)}(surprise) · frac{log(J(θ^)(Bt) + λ)log(λ)}(reward)
记忆缓冲区以\*FIFO 规则（训练期）**防止选择器依赖恒定高优先级作弊，以**LIFO 规则（推理期）**确保早期关键帧在长程滚动中不被挤出。 #### 阶段三：行为克隆策略训练（BC Policy Training） 利用训练好的选择器在专家数据集 D 上生成记忆缓冲区 B_t ，构建增强数据集：
D^dagger = (Bt, o_t, a_t)(t=1)^(Ti)
训练 BC 策略 π(BC)(a_t mid o_t, B_t) ，使其基于当前观测与少量关键帧记忆生成动作。 —- ### 3. 理论贡献 论文在结构假设下提供了形式化分析： - **引理 1 / 定理 1**：随机掩码产生组合大样本空间 M ，严格放大关键帧假设与背景帧假设的 Kolmogorov 复杂度差距：
E[K(f^_(bg))] > E[K(f^(key))]
差距随 M 线性缩放，约为 $M ·
I(A; X(key)) - I(A; X(bg))
。 - 命题 1：基于神经网络的简单性偏置，SGD 以接近 1 的概率选择基于关键帧的不变假设类 H(in) 。 - 推论 1：冻结代理损失 J(θ^)(B) 的最小化等价于最大化 I(A; B) ，在正信息边际条件下可恢复关键帧集合。 - *定理 2（无限视界关键帧保持）：若关键帧集合唯一且记忆预算充足，最优选择器会为关键帧分配始终高于背景帧的优先级，确保当 T to ∞ 时缓冲区始终保留关键帧集合 X(key) ，从而实现视界不变性。 —- ### 4. 实验验证 实验从合成序列任务到高维视觉机器人操作，系统验证了关键帧发现的有效性与视界不变性： #### 合成与网格领域 在 Add、Scattered Copy、T-Maze、MiniGrid-Memory、LTMB-Hallway 上： - KM 保持近乎 100% 成功率（或接近 0 的 MSE），测试 horizon 从训练分布扩展至 10^6 步（数个数量级外）无性能退化。 - 所有基线（LSTM、DT、TrXL、ELMUR 等）在超出训练分布后迅速崩溃。 #### 机器人操作基准（MIKASA-Robo） 在 23 个记忆密集型视觉操作任务上： - KM 在 21/23 个任务上超越最强基线 ELMUR，平均绝对成功率提升 +13.9%。 - 在 RememberColor3- Delta T 记忆保持实验中，训练于 Delta T=15 ，KM 在 Delta T=250 （约 17 倍训练延迟）时仍保持约 65% 成功率；ELMUR 在 Delta T=35 即崩塌至 0，PTP 在 Delta T=200 时降至 <10%。 #### 真实机器人与无记忆任务 - 真实机器人：在 RememberColor2 任务上，KM 在 20 倍更长测试视界上保持平均 80% 成功率。 - Robomimic（Lift/Can/Square）：KM 与 Diffusion Policy 性能持平，证明引入关键帧不会在无需记忆的马尔可夫任务上造成退化。 —- ### 5. 主要贡献总结 - 自监督关键帧发现算法：无需显式关键帧注释，仅通过专家示教数据与随机掩码训练即可学习决策相关的关键帧。 - 理论直觉与保证：基于简单性偏置与算法信息论，提供了关键帧可恢复性与无限视界保持的形式化分析。 - 视界不变的 BC 策略：在合成域实现完美长程泛化，在机器人操作基准上取得 SOTA，并在真实机器人上验证了远超训练视界的稳定性。 局限：内存预算 k$ 需预设；要求关键帧可从单帧识别且每条轨迹至少包含一个关键帧；在多独立关键帧的高记忆容量任务中代理策略收敛难度增大。这些方向构成了未来工作的自然延伸。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Prabin Kumar Rath, Omkar Patil, Nakul Gopalan
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10857.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10857
Published: 2026-10-11T02:10:48.423Z
Evaluation Domain Papers
1. An Explainable Header-Centric Framework for Large-Scale Semantic Table Interpretation and Data Quality Assessment
Abstract:Knowledge Graph (KG) quality depends not only on downstream graph validation, but also on the quality of tabular metadata used before integration. In metadata-only Semantic Table Interpretation (STI), where cell values are unavailable, noisy, or unsuitable, column headers become a critical source of semantic evidence for traceable KG preparation. We present an explainable, header-centric framework for metadata-only Column Type Annotation (CTA) and Data Quality Assessment (DQA). The framework maps headers to 39 interpretable FinalFormat types using curated lexical resources and preserves token-level traceability through SourceKeywords. Each assigned type activates validation rules based on a taxonomy of Data Quality Issues (DQIs), producing detections such as missing data, duplicates, domain violations, wrong data type, and temporal mismatch. These detections are aggregated into HeadersIQ, a lightweight, unweighted data source-level quality metric. The framework was evaluated across heterogeneous benchmarks, including UCI, Prague, Kaggle, VizNet/Sato, SOTAB, T2Dv2, and the SemTab 2024 Metadata-to-KG track, comprising around 120,000 header columns. The results show broad practical coverage across noisy real-world metadata, while a parallel KG-mapping pathway supports alignment to DBpedia and this http URL. On the SemTab 2024 Metadata-to-KG track, the official GT-strict evaluation was modest. However, a blinded diagnostic audit indicates that many mismatches reflect benchmark granularity, aliasing, and ontology-selection effects rather than wholly implausible header-centric predictions. We report this audit as diagnostic evidence on disagreement patterns, not as revised benchmark performance. Overall, the paper presents a reusable workflow for metadata-driven semantic annotation, data source-level quality monitoring, and KG-oriented benchmark diagnosis.
中文摘要
摘要：知识图谱（KG）的质量不仅取决于下游的图验证，还取决于整合前使用的表格元数据的质量。在仅元数据的语义表格解释（STI）中，当单元格值不可用、噪声较大或不适用时，列标题成为可追溯知识图谱准备的重要语义证据来源。我们提出了一种可解释的、以标题为中心的框架，用于仅基于元数据的列类型标注（CTA）和数据质量评估（DQA）。该框架使用策划的词汇资源将标题映射到39种可解释的最终格式类型，并通过源关键字（SourceKeywords）保留了令牌级的可追溯性。每个分配的类型都会基于数据质量问题（DQIs）分类激活验证规则，从而产生检测结果，如缺失数据、重复项、域违规、数据类型错误和时间不匹配等。这些检测结果被汇总为HeadersIQ，一种轻量级、无权重的数据源级质量指标。该框架在异构基准测试中进行了评估，包括UCI、Prague、Kaggle、VizNet/Sato、SOTAB、T2Dv2，以及SemTab 2024 Metadata-to-KG赛道，共涉及约120,000个列标题。结果显示，该方法在噪声较大的真实世界元数据中具有广泛的实用覆盖度，同时平行的知识图谱映射路径支持与DBpedia和该http URL的对齐。在SemTab 2024 Metadata-to-KG赛道上，官方GT严格评估结果一般。然而，盲法诊断审计表明，许多不匹配反映的是基准测试的粒度、别名化和本体选择效应，而非完全不可信的以标题为中心的预测。我们将该审计报告作为对分歧模式的诊断性证据，而非修订的基准性能。总体而言，本文提出了一个可重用的工作流程，用于基于元数据的语义标注、数据源级质量监控以及面向知识图谱的基准诊断。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10541 (HTTP 429)
Authors: Marcelo Valentim Silva, Hannes Herrmann, Valerie Maxville
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10541.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10541
Published: 2026-10-11T02:11:07.077Z
2. Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction
Abstract:Tool-calling agents have become central to enterprise AI, yet training and evaluating them at scale remains severely constrained due to business and legal restrictions on enterprise systems, data, and database schemas. Tabular data synthesis offers a natural alternative, but its effectiveness is fundamentally limited by structural validity and schema availability, while procedure-based approaches yield the opposite weakness, typically lacking distributional fidelity without per-domain authoring. We introduce Synthesis Through Simulation (STS), a schema—free data synthesis paradigm in which an LLM agent generates data by executing operations against policy-enforcing APIs within simulated enterprise environments. Because data is generated through the same environment that defines what is valid, STS guarantees structural validity by construction while decoupling validity enforcement from distribution modeling, allowing each to be addressed independently. The Generalist Populator (GP), STS’s domain-agnostic agent, addresses the remaining challenges of distributional fidelity and synthesis scalability: GP achieves 0.88 average marginal fidelity and 100\% constraint satisfaction across all ten environments without access to DB schemas, while statistical synthesizers are inapplicable to seven due to necessary seed data requirements, and schema-privileged agents fail 82\% of trajectories on airline environment’s tightly coupled workflows due to brittle task composition. We open-source the full framework, all ten environments, and generated datasets at this https URL.
中文摘要
摘要：工具调用代理已成为企业人工智能的核心，但由于企业系统、数据和数据库模式的业务和法律限制，大规模训练和评估它们仍受到严重限制。表格数据综合提供了一种自然的替代方案，但其有效性从结构有效性和模式可用性的基础上受限，而基于程序的方法则存在相反的弱点，通常缺乏分布式忠实度，除非按域进行创作。我们介绍了 通过模拟综合（STS），这是一种schema-free数据综合范式，LLM 代理通过在模拟企业环境中对策略执行的 API 执行操作来生成数据。由于数据通过定义有效性的同一环境生成，STS 通过构建保证结构有效性，同时将有效性强制与分布建模解耦，允许各自独立处理。通用填充器（GP）“，STS的领域无关代理，解决了分布忠实度和综合可扩展性的剩余挑战：GP在所有十个环境无数据库模式下，平均边际保真度达到0.88平均边际保真度和100%的约束满足率**，而统计合成器因种子数据需求不适用于七个环境，且模式特权代理因任务组合脆弱，在航空公司紧密耦合的工作流程中失败了82%的轨迹。我们开源了完整框架、所有十个环境，并在此 https 网址生成数据集。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10549 (HTTP 429)
Authors: Yipeng Li, Ashutosh Hathidara, Jane Lo, Harshavardhan Abichandani, Gunraj Singh, Atin Ghosh
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10549.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10549
Published: 2026-10-11T02:11:07.077Z
3. Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in Practice
Abstract:Tool-using agents repeatedly carry observations whose useful content can be much smaller than their original payload. We study agent-controlled forgetting: the acting model selects previously observed tool results, replaces each with a short note at its original position, and retains the exact original in a recoverable archive. A Python harness exposes batch archival and explicit recovery without task-specific model training, while protecting user instructions and assistant messages from these operations. In an exploratory OpenTelemetry debugging case followed by an unrelated implementation task, the method ended with 231,951 provider-reported prompt tokens versus 912,492 under retained history, used 50% fewer cumulative input tokens, and had an estimated API cost of USD 1.28-1.44 versus approximately USD 4.38. Both arms passed the two-case primary behavioral oracle; neither fully satisfied the follow-up evaluation. The method made more requests and took 17% longer. A contrasting application-development pair produced no context or cost saving, and an earlier continuation exhibited lower manually assessed quality despite reduced context. These observations demonstrate substantial resource savings in noisy tool-use trajectories and identify workload dependence as a central consideration for reversible context management.
中文摘要
摘要：使用工具的智能体会反复携带观测信息，而其有用内容可能远小于原始数据量。我们研究了智能体控制的遗忘：执行模型选择先前观察到的工具结果，将每个结果替换为原位置的简短注释，并将精确原始内容保存在可恢复档案中。一个 Python 框架提供批量存档和显式恢复，而无需任务特定的模型训练，同时保护用户指令和助手消息不受这些操作影响。在一例探索性的 OpenTelemetry 调试案例之后，紧接着进行一个无关的实现任务，该方法最终使用了 231,951 个提供者报告的提示令牌，而在保留历史的情况下则为 912,492 个，累计输入令牌使用量减少了 50%，估计 API 成本为 1.28-1.44 美元，而原成本约为 4.38 美元。两种方案均通过了两案例主要行为判断，但均未完全满足后续评估要求。该方法发出的请求更多，耗时增加了 17%。对比的应用开发对未产生上下文或成本节约，而早期的延续版本尽管减少了上下文，但人工评估质量较低。这些观察结果表明，在噪声较多的工具使用轨迹中，可以显著节省资源，并将工作负载依赖性确定为可逆上下文管理的核心考虑因素。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10590 (HTTP 429)
Authors: Jan-Peter Franke
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10590.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10590
Published: 2026-10-11T02:11:07.077Z
4. Verification and Self-Improvement in Agentic AI: Foundations and Limits
Abstract:Agentic AI systems can improve by searching longer, receiving additional support, or modifying how they propose and verify outputs. A performance score does not distinguish these mechanisms. We compare these changes through bounded verification with hidden terminal randomness. A stage specifies admissible transcripts, polynomial bounds, an alternating verification protocol, and a terminal checker. Its native reach uses default support; its closure frontier permits all support already admitted by the interface. Under a uniform pointwise probability gap and task-relative soundness, these are well-defined languages. We prove that independent majority amplification preserves both languages, whereas existential acceptance over random tapes can admit incorrect outputs. Exact verification is the zero-randomness case, with placement and completeness results. The randomized-verifier classes satisfy $\Sigmak^{\mathrm{P}}\subseteq\Sigma_k^{\mathrm{RV}}\subseteq\Sigma{k+1}^{\mathrm{P}}$; strict enlargement and depth separation require explicit complexity assumptions, while $\mathrm{BPP}=\mathrm{P}$ yields exact companions with the same frontiers. Representation analysis separates invariant acceptance from core-versus-support labels that can change under refactoring. For recursive self-improvement, uniformly bounded self-modification under a common sound interpreter and fixed verification protocol remains within the same verification class. A separate conditional-error budget controls false selection across adaptively chosen candidates. A quota-enforced XOR-synthesis family separates unbounded ratios of search success from changes in the accepted languages; exact and probabilistic audits check the resulting evidence requirements. The framework ties self-improvement claims to obligations on correctness, admissible evidence, verification resources, and selection error.
中文摘要
摘要：代理型AI系统可以通过延长搜索时间、获得额外支持或修改其提出和验证输出的方式来改进。性能评分无法区分这些机制。我们通过有界验证与隐藏终端随机性进行比较。阶段指定可接受的转录、多项式界限、交替验证协议和终端检查器。其原生覆盖范围使用默认支持;其闭合前沿允许接口已允许的所有支持。在均匀的逐点概率差距和任务相对合理性下，这些是定义良好的语言。我们证明独立多数放大保留了两种语言，而对随机磁带的存在接受则允许错误输出。精确验证是零随机性情况，具有位置和完备性结果。随机验证类满足$\Sigmak^{\mathrm{P}}\subseteq\Sigma_k^{\mathrm{RV}}\subseteq\Sigma{k+1}^{\mathrm{P}}$;严格放大和深度分离需要显式复杂性假设，而$\mathrm{BPP}=\mathrm{P}$则给出具有相同前沿的完全伴随。表示分析将不变接受度与核心与支持标签区分开来，这些标签在重构下可能发生变化。对于递归自我改进，在共同声音解释器和固定验证协议下的统一边界自我修改仍属于同一验证类。一个独立的条件错误预算控制自适应候选对象间的错误选择。配额强制的异或综合家族将检索成功率的无界比率与被接受语言的变化区分开;精确和概率审计检查所得证据要求。该框架将自我改进主张与正确性、可采证据、验证资源和选择错误的义务联系起来。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10611 (HTTP 429)
Authors: Chien-Ping Lu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10611.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10611
Published: 2026-10-11T02:11:07.077Z
5. The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate
Abstract:Self-improving LLM agents can adapt a credit pipeline to a changed rule, but an agent that rewrites itself destroys the artefact a supervisor reviews: a named change, a recorded test, an approval. We argue that self-evolution is reviewable only if it is confined to the runtime harness (instruction text, tool-call logic and primitive composition) while model weights stay fixed, so that every adaptation is a diff with a cause and a test attached. We give a dual-loop engine built on that bound, with one admission gate that writes a hash-chained record before deployment, and we measure the gate in simulation, with a simulated agent and a seeded-search proposer rather than language models. Across three families of supervisory re-interpretation at three severities, 10 seeds each, the gated loop admitted 144 of 7,449 candidate changes, none of which worsened error on held-out history, and restored the false-positive rate to the oracle level without raising missed flags in every low- and mid-severity cell. With the gate replaced by the check an unbounded system applies (fewer errors visible in recent traces), the same loops admitted 309 harmful changes and left missed flags above 10% in 49 of 90 runs: false positives fell because the screen was loosened. Evaluated on pre-shift labels, the gate rejected every candidate, so a re-interpretation must be encoded as a rule that relabels history. Parametric and scope shifts were repaired locally, a structural one only by primitive replacement; at the highest structural severity the gate’s fixed tolerance blocked the correct replacement in half the seeds. We map the mechanisms to the EU AI Act’s provisions for high-risk credit scoring and note that the April 2026 US model-risk guidance excludes agentic AI from its scope.
中文摘要
摘要：自我提升的大型语言模型（LLM）代理可以将信用流程适应于改变的规则，但一个会自我重写的代理会破坏监督者审核的人工制品：命名的变更、记录的测试、批准。我们认为，只有当自我进化被限制在运行时框架（指令文本、工具调用逻辑和原始组合）内，而模型权重保持不变时，自我进化才是可审查的，这样每一次适应都有附带原因和测试的差异。我们在该限制下提供了一个双循环引擎，其中一个准入门在部署前写入哈希链记录，并在模拟中测量该门控，使用模拟代理和带种子搜索的提出者，而不是语言模型。在三类不同严重程度的监督性重新解释中，每类10个种子，门控循环从7,449个候选变更中准入了144个，没有一个在保留历史上的错误率增加，并将误报率恢复到理想水平，同时在每个低、中严重程度单元中没有产生遗漏标记。当该门控被无限制系统的检查替代（最近的追踪中可见错误减少），相同循环准入了309个有害变更，并在90次运行中有49次遗漏标记超过10%：误报减少是因为筛选放宽。在评估预转换标签时，门控拒绝了每个候选，因此重新解释必须被编码为重新标记历史的规则。参数和范围的变化在局部得到修复，结构性变化仅通过原始组件替换修复；在最高结构严重性下，门控固定容差在一半种子中阻止了正确的替换。我们将这些机制映射到欧盟《人工智能法》中针对高风险信用评分的规定，并指出2026年4月的美国模型风险指南将代理式AI排除在其范围之外。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10629 (HTTP 429)
Authors: Ravil Akhtyamov
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10629.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10629
Published: 2026-10-11T02:11:07.077Z
6. Speaking the Navigator’s Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
Abstract:Aerial vision-and-language navigation (VLN) agents are typically trained on detail-rich, trajectory-aligned commands, whereas users issue short, intent-driven instructions; on a frozen OpenFly navigator, this \emph{instruction gap} drops success rate (SR) from $31.03\%$ to $11.33\%$. To scale translator training, we prompt a language model with human-written style examples to convert original commands into paired, intent-centered Weak commands, which yield $15.27\%$ SR. We introduce the \textbf{Trajectory-Grounded Instruction Translator (TGIT)}, a front-end that keeps the navigator frozen and translates Weak inputs into agent-executable commands by learning from its trajectory outcomes. The resulting Weak-trained translator raises Weak-input SR to $37.93\%$ and transfers zero-shot to real human instructions ($11.33\%{\rightarrow}32.51\%$); it also improves held-out OpenFly ($4.95\%{\rightarrow}20.79\%$) and yields recovery on CityNav and AirVLN.
中文摘要
摘要：空中视觉与语言导航（VLN）代理通常在细节丰富、轨迹对齐的指令上进行训练，而用户则发出简短的、以意图为驱动的指令；在冻结的OpenFly导航器上，这种\emph{指令差距}会将成功率（SR）从$31.03\%$降至$11.33\%$。为了扩展翻译器训练，我们使用带有人类书写风格示例的语言模型，将原始指令转换为配对的、以意图为中心的弱指令，从而获得$15.27\%$的成功率。我们引入了\textbf{轨迹引导指令翻译器（TGIT）}，这是一个前端模块，在保持导航器冻结的情况下，通过学习其轨迹结果，将弱输入翻译为代理可执行的指令。由弱指令训练的翻译器将弱输入的成功率提高到$37.93\%$，并可零样本迁移到真实人类指令（$11.33\%{
ightarrow}32.51\%$）；它还改善了未见的OpenFly任务（$4.95\%{
ightarrow}20.79\%$），并在CityNav和AirVLN上实现了恢复效果。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10635 (HTTP 429)
Authors: Xi Chen, Zhe Liu, Xiaogang Xu, Jiafei Xu, Chunyi Zhou, Yuan Su, Rui Zeng, Tianyu Du, Kelu Yao, Chao Li, Shouling Ji
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10635.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10635
Published: 2026-10-11T02:11:07.077Z
7. Plan-and-Patch: Diffusion Language Models for Agentic Planning
Abstract:Planning is increasingly important for long-horizon agents, where successful execution requires coordinating subgoals, tool use, and intermediate outcomes over many steps. Yet assumptions made during planning may be invalidated by the environment, tools may return unexpected results, or actions may fail. Effective agents must therefore not only generate plans, but also revise them. Such revisions often affect only part of a plan, leaving the preceding and subsequent structure intact. Rather than regenerate the entire plan and risk unnecessary changes, repair can regenerate the affected region conditioned on the preserved prefix and suffix. We introduce Plan-and-Patch, a plan-and-act framework in which a diffusion language model (dLLM) generates a structured, program-like plan through parallel unmasking and repairs it by filling in selected regions while keeping the surrounding steps fixed. We compare DreamReasoner-8B and Qwen3-8B as diffusion and autoregressive (AR) planners. On Natural Plan without task-specific training, diffusion (53.7%) achieves nearly twice the plan repair success rate of AR (27.0%). After task-specific training on agentic benchmarks, ALFWorld and TextCraft, the planners achieve similar observed success in plan generation, while diffusion reduces mean plan-generation latency by 39-46% relative to AR. Our results show that Plan-and-Patch provides a framework for faster plan generation and effective plan repair in long-horizon agents.
中文摘要
摘要：规划对于长时程智能体越来越重要，在这种情况下，成功执行需要在多个步骤中协调子目标、工具使用和中间结果。然而，在规划过程中所做的假设可能会被环境所否定，工具可能返回意想不到的结果，或者动作可能失败。因此，有效的智能体不仅必须生成计划，还必须对其进行修订。这类修订通常只会影响计划的部分内容，而保持前后结构不变。与其重新生成整个计划并冒着不必要更改的风险，不如在保留的前缀和后缀条件下重新生成受影响的区域，从而进行修复。我们提出了“计划与补丁（Plan-and-Patch）”，这是一种计划与执行框架，其中扩散语言模型（dLLM）通过并行去掩码生成结构化、类似程序的计划，并通过在保持周围步骤固定的情况下填充选定区域来进行修复。我们比较了 DreamReasoner-8B 和 Qwen3-8B 作为扩散和自回归（AR）规划器。在未进行任务特定训练的 Natural Plan 上，扩散（53.7%）的计划修复成功率几乎是 AR（27.0%）的两倍。在针对代理基准 ALFWorld 和 TextCraft 进行任务特定训练后，这些规划器在计划生成上的观察成功率相似，而扩散相比 AR 将平均计划生成延迟减少了 39-46%。我们的结果表明，Plan-and-Patch 为长时程智能体提供了更快生成计划和有效修复计划的框架。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文试图解决**长程智能体（long-horizon agents）中结构化计划的生成与局部修复**问题，核心在于利用扩散语言模型（diffusion language models, dLLMs）的并行生成与双向填充（infilling）能力，构建一个高效的“计划-执行-修复”框架。具体而言，论文针对以下关键挑战： ### 1. 计划生成 长程任务需要协调子目标、工具调用和中间结果。论文提出生成**结构化的、类程序的计划**（structured, program-like plans），通过显式的子目标和可执行步骤来组织行动序列，从而提供清晰的修改边界。 ### 2. 计划修复（Plan Repair） 在执行过程中，环境反馈可能导致计划失效（如动作前提条件误判、工具返回意外结果等）。现有方法往往**全局重生成**整个计划，容易引入不必要的改动。论文将修复建模为**局部填充问题**： - 仅重新生成受影响的区域（region） - 严格保留未受损的前缀（prefix）和后缀（suffix） - 基于执行历史和环境反馈作为修复条件 ### 3. 扩散语言模型的原生优势 论文探索了 dLLM 在智能体规划中的独特价值： - **并行解码**：通过并行去掩码（parallel unmasking）加速完整计划的生成 - **双向上下文填充**：天然支持基于双侧上下文的条件填充，无需额外的 fill-in-the-middle 训练即可实现灵活的局部修复 ### 4. 与自回归模型的对比验证 论文系统比较了扩散模型（DreamReasoner-8B）与自回归模型（Qwen3-8B）作为规划器的性能，发现： - 在无需任务特定训练的 Natural Plan 上，扩散模型的修复成功率（ 53.7% ）接近自回归模型（ 27.0% ）的两倍 - 在经过任务特定训练的 ALFWorld 和 TextCraft 上，两者生成成功率相当，但扩散模型将平均生成延迟降低了 39% – 46% 简言之，该工作旨在回答：**能否设计一个智能体规划框架，充分利用扩散语言模型的并行生成与填充能力，以同时实现快速的全局计划生成和精确的局部计划修复？** Q2: 有哪些相关研究？ 根据论文第2节，相关研究主要分布在以下三个领域： --- ### 1. 扩散语言模型及其在智能体中的应用 **基础模型与能力** - **掩码扩散语言模型**：通过从周围上下文重建被掩码的 token，实现灵活的生成顺序与双向填充（Austin et al., 2021; Lou et al., 2024; Sahoo et al., 2024）。 - **模型扩展与效率**：近期在规模扩展、后训练与解码策略上的进展提升了生成质量、推理能力与推理效率（Nie et al., 2025; Ye et al., 2025b; Zhu et al., 2025; Zhao et al., 2025; Wang et al., 2025; Wu et al., 2025; Ma et al., 2026）。其推理效率受上下文长度、批处理规模与采样步数影响（Kim et al., 2025）。 **作为智能体的应用** - **世界模型与交互智能体**：扩散模型被用作预测环境响应的世界模型（Deshpande, 2026），或作为 ReAct 风格的智能体，交替生成动作与环境观察（Yao et al., 2023; Zhen et al., 2026; Zhao et al., 2026; Bie et al., 2026）。 - **失效模式与专门训练**：Lu et al. (2026) 识别了扩散智能体的两种系统性失效模式——具身智能体中的“重试循环”与工具调用中的“不精确格式”；针对智能体的专门训练可提升可靠性与效率（Zhao et al., 2026; Bie et al., 2026）。 - **与自回归模型的比较**：在匹配微调条件下，Zhen et al. (2026) 对比了扩散与自回归模型作为智能体的表现。 --- ### 2. 计划修复与程序修复 **计划修复（Plan Repair）** - **Plan-and-Act 框架**：先构建多步计划再转化为环境动作（Wang et al., 2023a; Sun et al., 2023; Erdogan et al., 2025）。执行失败时，可利用环境反馈进行修订（Prasad et al., 2024; Song et al., 2023; Shinn et al., 2023; Madaan et al., 2023; Huang et al., 2023; Wang et al., 2023b; Liu et al., 2023; Wang et al., 2024）。 - **局部修订策略**： - **前缀保留，后缀重写**：PIVOT 与 ContextFlow 保留已验证前缀，重生成后缀（Zhang et al., 2026a; Guo et al., 2026）。 - **子图修复**：Atomic Task Graph 保留已验证图区域，修复受影响的子图（Zhang et al., 2026b）。 - **约束定位**：L-ICL 定位首个约束违反并提供纠正示例（Kumar and Cohen, 2026）。 - **评估方法**：Controlled replay 用于区分“改变计划”与“执行差异”带来的不同影响（Luan et al., 2026）。 **程序修复（Program Repair）** - **测试驱动修复**：测试失败指导故障定位与补丁验证（Le Goues et al., 2012, 2019; Xia and Zhang, 2022）。 - **代码自修复基准**：LiveCodeBench 评估给定错误程序、失败测试用例与执行反馈时的自我修复能力（Jain et al., 2025）。 - **填充式修复技术**：自回归模型通过 Fill-in-the-Middle（FIM）训练或序列化来基于前缀与后缀条件替换代码片段（Bavarian et al., 2022; Fried et al., 2023; Ahmad et al., 2025）。 - **扩散模型的代码填充**：掩码扩散天然支持填充操作，已用于代码生成、编辑与修复（Singh et al., 2023b; Gong et al., 2025; Xue et al., 2026; Singh et al., 2025）。为适应可变长度替换，研究者引入删除/扩展 token，或在去噪前预测跨度长度（Wu et al., 2026b; Xu et al., 2026）。 --- ### 3. 扩散模型用于规划 **连续控制** - 扩散模型用于生成轨迹，并随环境演变进行重新规划（Janner et al., 2022; Ajay et al., 2023; Zhou et al., 2023）。 **离散域规划** - **组合推理任务**：在 Countdown、Sudoku 与旅行规划等任务上，扩散模型展现出生成跨步骤依赖解决方案的能力（Ye et al., 2025a,b）。 - **图规划与反向引导**：Trainin et al. (2026) 研究表明，后续路径 token 可反向引导早期决策。 - **规划与执行的解耦**：Latent-DARM 通过潜在通信接口连接扩散规划器与自回归执行器（Berrayana et al., 2026）。 --- ### 与本文的关系 上述工作为 Plan-and-Patch 提供了技术与方法论基础：扩散语言模型的双向上下文能力支持了**局部填充式修复**；计划修复领域的局部重写策略启发本文将修复建模为**保留前缀-后缀的条件生成**；而扩散模型在离散规划中的最新进展则验证了其在长程依赖任务中的适用性。本文的核心区别在于：**将计划生成与修复联合训练于单一扩散模型中，在交互式环境中利用执行历史选择修复区域，并通过修复反馈引导填充**。 Q3: 论文如何解决这个问题？ 论文通过提出 **Plan-and-Patch** 框架解决上述问题，该框架利用扩散语言模型（dLLM）的并行生成与双向填充能力，将结构化计划的生成与局部修复统一在单个模型中。具体解决方案包含以下核心组件： --- ### 1. 结构化计划表示（Addressable Structured Plans） 首先，论文定义了一种层次化的、类程序的结构化计划格式： - **显式子目标与步骤**：计划由目标（goal）、有序子目标（subgoals）和可执行叶子步骤（leaf steps）组成。 - **可寻址跨度**：每个子目标和步骤都有唯一标识符，对应序列中的连续 token 跨度（addressable spans）。 - **执行语义**：叶子步骤包含动作（action）、参数（args）和预期观察（expected observation）；执行时按深度优先、从左到右的顺序访问叶子节点。 这种表示为**局部修订**提供了明确的边界：修复可以精确指向某个步骤或子目标，而不影响周围文本。 --- ### 2. Plan-and-Patch 框架架构 框架遵循 plan-and-act 架构，包含两个核心阶段（见图 1）： #### （1）计划生成（Plan Generation） 给定任务目标、初始环境观察和可用动作集合，扩散规划器 p_θ 通过**并行去掩码**（parallel unmasking）生成完整的结构化计划 τ 。与自回归模型的逐 token 生成不同，dLLM 在解码过程中可同时确定多个位置的 token，从而加速生成。 #### （2）执行与失败检测（Execution & Failure Detection） - 一个独立的执行器（executor）严格按叶子步骤顺序将计划转化为环境动作。 - 若执行失败（未达成目标终止），同一执行器模型充当**失败检测器**（failure detector），基于执行历史 h 和环境反馈，在失败计划 τ 中选择一个待修复区域 $R ⊂eq
L
，并提供修复反馈 f_R$（解释为何该区域需要修改）。 #### （3）计划修复（Plan Repair） 修复被建模为**条件填充**（conditional infilling）问题。对于选定的连续区域，将失败计划分解为：
τ = τ(pre) parallel τ_R parallel τ(post)
规划器在保留前缀 τ(pre) 和后缀 τ(post) 的前提下，基于修复反馈 fR 重新生成替换文本 rho ，形成修复后的计划：
τ’ = τ(pre) parallel rho parallel τ_(post)
扩散模型天然支持此操作：将 τ_R 替换为填充了
MASK
的画布段（canvas segment），通过双向上下文进行去噪。替换长度可通过
delete
令牌动态调整，允许 rho 与 τ_R 长度不同。对于多个不连续区域，框架支持联合填充，保留其间所有文本。 —- ### 3. 数据构建管道 为了同时训练生成与修复能力，论文设计了两类训练数据： #### （1）参考计划构建（Reference Plans） - 在训练集上重放成功的动作序列，记录每个动作、参数及环境反馈作为叶子步骤。 - 使用固定的领域规则将叶子步骤分组为子目标。 - 由大语言模型重写推理（reasoning）和意图（intent）字段，再通过执行验证确保终端奖励为正。 #### （2）修复示例（Repair Examples） 修复训练数据来自两个渠道： - **真实失败**：用仅训练过生成的初始规划器在独立任务上执行，收集失败计划与执行历史；由参考辅助的评判器（reference-assisted judge）定位缺陷区域，并用参考计划中的对应文本作为替换目标。 - **合成扰动**：对验证过的参考计划进行结构化扰动（如修改对象、容器、意图或前置条件），构造已知答案的修复样本。 所有示例均经过过滤，确保修改严格限于选定区域，且替换文本不会原样出现在可见上下文中。 —- ### 4. 联合训练与解码策略 #### 联合训练（Joint Training） 论文发现，若先训练生成再微调修复，会严重损害完整计划的生成能力（主要表现为格式失效）。因此，最终模型从原始检查点出发，**联合训练**生成与修复目标： - **生成目标**：条件为目标、初始观察和动作语法；监督信号为完整计划序列。 - **修复目标**：条件为失败计划的保留上下文和修复反馈；仅对替换区域计算损失。 对于扩散模型，两者均使用掩码 token 目标（masked-token objective）：
L(MDM)(θ) = E(A,Q,t,A)^t [ -(1) / (t) ∑(i ∈ M_t) log pθ(A_i mid A^t, Q) ]
分块大小课程（Block-Size Curriculum） 为适应生成与修复的不同特性，论文为扩散模型设计了差异化的**块大小采样分布**： - **生成阶段**：大部分采样权重（ 61.2% ）分配给不超过 16 个 token 的短块，逐步从左到右构建计划。 - **修复阶段**： 49.0% 的权重分配给 4096 token 的大块，强调在固定上下文下对较长替换区域进行填充。 这种分离确保生成时逐步构建结构，而修复时能充分利用全局上下文进行一致填充。 #### 解码设置 - **生成解码**：使用从左到右的块解码（block-wise denoising，块大小 b=4 ），配合置信度阈值 eta = 0.95 。 - **修复解码**：使用全画布填充（full-canvas infilling），采用 RelaxedConfidence 机制——当邻近位置可靠时降低置信阈值，支持半径 r=4 的邻域感知。 —- ### 5. 评估与验证方式 论文通过以下方式验证方案有效性： - **交互式环境**：在 ALFWorld（家庭导航与操作）和 TextCraft（依赖约束的合成）上执行计划，测量任务成功率与延迟。 - **控制对比**：扩散与自回归规划器共享相同的任务划分、训练数据、计划表示和执行器，确保比较公平。 - **修复隔离评估**：在 Natural Plan 上，无需任务特定训练，直接比较两种模型在相同失败计划、相同修复区域与反馈下的填充能力。 —- 综上，论文的解决路径可概括为：**通过结构化表示界定可修复单元，利用 dLLM 的并行解码加速全局生成，利用其双向填充实现局部修复，并配合专门的联合训练与数据构建管道，使单一模型同时具备高质量的生成与修复能力。** Q4: 论文做了哪些实验？ 论文围绕**交互式环境（ALFWorld、TextCraft）**与**约束验证基准（Natural Plan）**，系统评估了 Plan-and-Patch 框架在计划生成与修复中的性能。实验分为核心性能对比、机制分析与扩展验证三个层面。 —- ### 1. 核心性能：生成与修复成功率及延迟 #### （1）交互式基准上的生成与修复 在 ALFWorld（家庭导航与操作）和 TextCraft（依赖约束合成）上，对比了扩散规划器（Diff-Plan，基于 DreamReasoner-8B）与自回归规划器（AR-Plan，基于 Qwen3-8B），两者均经过任务特定的联合训练，并共享相同的结构化计划表示与 Qwen3-8B 执行器。 | 环境 | 模型 | 计划生成成功率 | 参考辅助修复成功率 | 基于历史修复成功率 | 端到端成功率 | |———|———|————————|——————————|——————————|———————| | ALFWorld | ReAct | 38.1% | — | — | — | | | Diff-Plan | 44.0% | 28.4% | 14.3% | 59.9% | | | AR-Plan | 45.5% | 27.7% | 17.5% | 60.6% | | TextCraft | ReAct | 48.0% | — | — | — | | | Diff-Plan | 63.0% | 15.5% | 24.5% | 68.7% | | | AR-Plan | 66.0% | 18.3% | 30.6% | 72.2% | - **生成**：两种规划器成功率接近（差距不超过 3 个百分点），且均优于无独立规划阶段的 ReAct 基线。 - **修复**：在参考辅助设定下（使用参考计划选择修复区域），两者成功率仍接近；在基于执行历史的设定下（更现实的场景），AR-Plan 略优于 Diff-Plan。 - **端到端**：计入生成失败后的修复恢复，两者最终任务成功率相当。 #### （2）生成延迟对比 在同步、未批处理的 bf16 推理条件下，测量了单张 A100 上的平均延迟： - **ALFWorld**：Diff-Plan 为 14.3 秒，AR-Plan 为 23.3 秒，扩散降低 **39%**。 - **TextCraft**：Diff-Plan 为 21.7 秒，AR-Plan 为 40.2 秒，扩散降低 **46%**。 修复延迟因环境而异，但计划生成阶段的加速是扩散模型的一致优势。 —- ### 2. 零样本修复：Natural Plan 在无需任务特定训练的 Natural Plan（旅行与日程安排）上，直接评估原始检查点的生成与修复能力。修复任务要求模型在给定上下文与修复反馈的前提下，填充参考计划中被掩码的区域。 | 任务 | 模型 | 验证器通过率 | GPT-5 Sonnet 判断 | Sonnet 5 判断 | |———|———|———————|—————————-|———————-| | 生成 | Diff-Plan | 33.0% | 20.2% | 31.8% | | | AR-Plan | 48.6% | 34.0% | 46.1% | | 修复 | Diff-Plan | **53.7%** | **72.9%** | **81.6%** | | | AR-Plan | 27.0% | 42.1% | 53.4% | - **生成**：AR-Plan 成功率更高。 - **修复**：Diff-Plan 的验证器通过率（ 53.7% ）几乎是 AR-Plan（ 27.0% ）的两倍，且该优势在两种语言模型评判下均保持一致。论文指出，旅行规划中的航班图结构受益于扩散模型灵活的解码顺序。 —- ### 3. 机制与敏感性分析 #### （1）修复区域选择的影响 对比了两种区域选择策略： - **参考辅助选择**：利用参考计划定位最小可修复单元。 - **基于历史的选择**：仅使用执行历史与环境反馈，由 Qwen3-8B 执行器充当失败检测器。 在 175 个共享的失败计划上，基于历史的选择使汇总修复成功率下降了约 **8.6–12 个百分点**，表明**准确识别修复区域是修复成功的关键瓶颈**。 #### （2）计划表示形式的影响 对比了两种结构化格式： - **分隔式（delimited）**：使用显式标签（如 `
STEPBEGIN
`、`
ACTION
`）界定字段。 - **散文式（prose）**：使用阶段标题与编号步骤的自然语言格式。 在 Qwen3-8B 执行器下，散文式表示显著提升了生成成功率（ALFWorld 上提升约 18–22 个百分点，TextCraft 上提升 6–12 个百分点）。然而，对于修复任务，扩散模型在散文式表示下的成功率低于分隔式（ALFWorld：21.3% vs 28.4%；TextCraft：5.0% vs 15.5%），而自回归模型在散文式修复上表现更优。这表明**显式边界有利于扩散模型的局部填充与恢复**。 #### （3）执行器的影响 固定计划文本，分别使用 Qwen3-8B 与 Claude Sonnet 5 作为执行器。Sonnet 5 在两种表示下的成功率均显著高于 Qwen3-8B（例如 ALFWorld 分隔式计划：94.8–96.3% vs 44.0–45.5%），说明**执行器能力对观察到的任务成功率有独立且显著的影响**。 —- ### 4. 错误分析与长程扩展 #### （1）成对失败分析 在 134 个 ALFWorld 任务上，两种规划器共有 50 个共同失败任务，25 个仅扩散失败，23 个仅自回归失败。失败原因分布显示： - 两种模型的独占失败均以**叶子步骤执行失败**为主。 - ALFWorld 中“无效动作限制”也是常见停止原因。 - 特定任务类型存在模型差异：冷却任务更常由扩散模型失败，清洁任务更常由自回归模型失败。 #### （2）修复后的计划保留性 分析显示，在参考辅助修复后： - ALFWorld 上，40%（Diff-Plan）与 38%（AR-Plan）的修复计划完整保留了所有已执行步骤的文本。 - TextCraft 上，保留率分别为 55% 与 74%。 这说明修复确实实现了局部替换，而非全局重写。 #### （3）ScienceWorld 长程生成分析 在参考计划平均长度为 27.1 个叶子步骤（远超 ALFWorld 的 5.8 步）的 ScienceWorld 上评估： - 随着参考计划长度增加，扩散模型的解析通过率急剧下降，从最短区间的 74.7% 降至 28 步以上的 7–9%。 - 汇总解析通过率：Diff-Plan 34.3%，AR-Plan 73.8%。 - 在被拒绝的生成中，扩散模型表现出更严重的动作重复（中位重复率 93.3% vs 40.0%）。 该实验揭示了**扩散模型在长程层次化生成中的局限性**：难以在并行解码中维持全局一致性与结构完整性。 —- ### 5. 实验小结 论文的实验设计覆盖了从**受控的填充任务**（Natural Plan）到**完全交互式的环境执行**（ALFWorld、TextCraft），再到**长程压力测试**（ScienceWorld）。核心结论包括： - 在匹配训练条件下，扩散与自回归规划器在交互环境的生成与修复成功率上基本相当。 - 扩散模型通过并行解码将计划生成延迟降低 **39–46%**。 - 在零样本修复任务中，扩散模型凭借双向上下文填充能力，修复成功率接近自回归模型的 **2 倍**。 - 修复性能受**区域选择准确性**、**计划表示形式**与**执行器能力**的共同制约。 - 在超过 25 步的长程计划中，扩散模型的结构保持能力显著弱于自回归模型。 Q5: 有什么可以进一步探索的点？ 基于论文的结论与实验发现，以下几方面值得进一步探索： —- ### 1. 联合学习修复区域选择与内容填充 当前框架中，**失败检测器**（选择待修复区域 R ）与**规划器**（生成替换内容 rho ）是分离的两个模块。执行器基于执行历史选择区域后，规划器仅负责条件填充。未来可以探索将区域定位与内容生成纳入**统一的端到端训练目标**，使模型直接从执行反馈中学习“何处需修”与“如何修”的联合优化，减少因区域误选导致的修复失败。 —- ### 2. 自适应修复范围与解码努力 论文表明，修复成功率高度依赖于区域选择的准确性，而过大的修复范围可能破坏未受损的上下文。未来可研究**基于不确定性的自适应机制**： - 动态调整填充画布的长度 K_0 ，而非固定使用 2|R| ； - 根据模型对保留前缀/后缀的置信度，动态分配解码步数或块大小； - 在扩散解码过程中引入**早期终止**或**迭代细化**，对高置信度区域快速提交、对低置信度区域增加推理预算。 —- ### 3. 长程规划中的全局一致性保持 ScienceWorld 实验（平均 27.1 个叶子步骤）揭示了扩散模型在长程层次化生成中的显著劣势：解析通过率随计划长度增加而急剧下降，且伴随严重的动作重复。关键挑战在于，并行解码难以维持深层嵌套结构的全局一致性。未来需要： - 设计**层次化的扩散解码策略**，在子目标级别与步骤级别引入分层掩码或级联生成； - 结合**自回归的全局规划骨架**与**扩散的局部并行填充**，形成混合架构； - 探索更长的块大小课程或记忆机制，以支持跨数十步的依赖推理。 —- ### 4. 多轮迭代修复与深度交互 当前评估主要限制为**单轮修复尝试**（one repair attempt followed by execution from the initial state）。实际智能体可能经历连续多步失败。未来可扩展 Plan-and-Patch 至多轮设置： - 允许在上一次修复的执行历史基础上进行**渐进式修订**； - 建立**修复记忆库**，避免在相似状态下重复相同错误； - 研究修复的收敛性条件，即何时应继续局部修复、何时需全局重规划。 —- ### 5. 计划表示与执行器的协同优化 实验显示，**散文式（prose）表示**有利于自回归模型的生成，而**分隔式（delimited）表示**更利于扩散模型的局部修复。这种不对称性暗示计划表示并非与模型无关。未来可探索： - **模型感知表示搜索**：针对不同规划器自动生成最优的结构化模板； - **执行器-规划器联合训练**：当前执行器（Qwen3-8B）未经任务微调，与规划器存在能力错配。联合优化或蒸馏执行器知识到规划器中，可能提升端到端成功率； - 在表示层面显式编码**前置条件与效果**（preconditions and effects），以支持更精确的自动故障定位。 —- ### 6. 更高效的训练与数据策略 论文采用固定的块大小课程（block-size curriculum）和合成扰动数据。未来可改进： - **基于验证器反馈的动态课程**：根据当前模型在开发集上的失败模式，动态调整合成扰动的类型分布（如增加对象替换 vs. 前置条件修改）； - **在线困难样本挖掘**：在训练过程中交互式地执行模型生成的计划，将新发现的失败自动加入修复训练集，形成**自举式（bootstrapping）数据循环**； - 探索**参数高效微调**（如 LoRA）在联合训练生成与修复目标时的可行性，以降低全量微调的成本。 Q6: 总结一下论文的主要内容 这篇论文研究了长程智能体中结构化计划的生成与局部修复问题，提出了 **Plan-and-Patch** 框架，利用扩散语言模型（diffusion language models, dLLMs）的并行生成与双向填充能力，实现高效的计划生成与执行失败后的精确修复。以下是论文的主要内容总结： ### 1. 研究动机与核心问题 长程智能体需要在执行前构建多步计划以协调子目标与工具调用，但环境动态性、工具返回异常或动作前提失效常导致计划部分失效。现有方法多采取全局重生成策略，容易破坏未受损的计划结构。作者指出，计划失效通常具有局部性，理想的修复应仅重生成受影响区域，同时严格保留前后文。为此，论文核心探索的问题是：**如何利用扩散语言模型天然的条件填充（infilling）能力，设计一个统一的计划生成与修复框架？** ### 2. Plan-and-Patch 框架 该框架采用 plan-and-act 架构，核心组件包括： - **扩散规划器**：单一 dLLM 同时承担两项任务： - **完整计划生成**：基于任务目标、初始观察与动作语法，通过并行去掩码（parallel unmasking）解码生成层次化结构化计划 τ 。 - **计划修复**：在检测到执行失败后，接收保留的前缀 τ(pre) 、后缀 τ_(post) 以及修复反馈 f_R ，对选定区域 R 进行条件填充，生成替换 rho ，输出修复计划：
τ’ = τ(pre) parallel rho parallel τ(post)
- **独立执行器与失败检测器**：执行器严格按叶子步骤顺序执行动作；失败时，同一模型基于执行历史与环境反馈选择最小修复区域 R ，并提供自然语言修复反馈。 ### 3. 关键技术设计 - **结构化计划表示**：定义了一种类程序的层次化格式，包含显式子目标、可执行叶子步骤、动作、参数及预期观察。每个子目标与步骤均具有标识符，对应序列中的连续 token 跨度（addressable spans），为局部修复提供精确边界。 - **训练数据构建**：为支持联合训练，作者设计了数据管道： - **参考计划**：通过重放成功轨迹并分组子目标构建，经 LLM 重写意图字段与执行验证后保留。 - **修复示例**：结合两类数据：（1）初始生成模型在独立任务上的**真实执行失败**；（2）对验证计划施加**结构化扰动**（修改对象、容器、意图或前置条件）合成的修复样本。 - **联合训练与分块课程**：从原始检查点出发，对生成与修复目标进行联合优化，避免顺序微调导致的生成性能退化。针对扩散模型，采用差异化的分块大小采样分布： - **生成**侧重短块（如 4–16 tokens），逐步构建结构； - **修复**侧重长块（如 4096 tokens），在固定上下文内进行大跨度填充。 - **解码策略**：生成使用从左到右的块解码（块大小 b=4 ，置信度阈值 eta=0.95 ）；修复使用全画布填充（RelaxedConfidence，阈值下限 eta_(min)=kappa=0.7 ，邻域半径 r=4 ），并允许通过
delete
令牌动态调整替换长度。 ### 4. 实验与主要发现 论文在交互式环境 ALFWorld、TextCraft（经任务特定训练）以及约束验证基准 Natural Plan（零样本）上，对比了扩散规划器 Diff-Plan（DreamReasoner-8B）与自回归规划器 AR-Plan（Qwen3-8B）： - **生成性能与延迟**：在 ALFWorld 与 TextCraft 上，两者任务成功率接近（差距不超过 3 个百分点），均优于无独立规划阶段的 ReAct 基线。但扩散模型通过并行解码显著降低平均生成延迟：**ALFWorld 降低 39%，TextCraft 降低 46%**。 - **修复性能**： - 在任务特定训练后的交互环境中，参考辅助修复下两者成功率相当；基于执行历史的修复（更现实场景）中 AR 略优。 - 在 **Natural Plan 零样本修复**中，扩散模型表现突出：验证器通过率为 **53.7%**，接近自回归模型 **27.0%** 的两倍，且在不同 LLM 评判下排名一致。其优势集中于行程规划等具有图结构依赖的领域。 - **机制分析**： - **区域选择至关重要**：基于历史的 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Syamantak Kumar, Jiang Guo, Hassan Hamad, Hideo Kobayashi, Yi Xiang, Yezhou Yang, Yanjun Qi, Daniele Bonadiman, Jiarong Jiang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10786.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10786
Published: 2026-10-11T02:11:07.077Z
8. Whose Ground Truth? Embracing Ambiguity in Human-Centered AI
Abstract:As AI systems increasingly interact with people and make decisions about them, understanding human interpretations becomes an important part of developing human-centered AI. Conventional machine learning and AI systems are largely developed under the assumption that a single definitive ground truth exists, with variability in human annotations often resolved through aggregation or treated as noise. However, for many human-centered tasks, human interpretation is inherently ambiguous, and multiple interpretations of the same input may be simultaneously reasonable and valid. Reducing such ambiguity to a single target risks overlooking meaningful information about the diversity of human perception, judgment, and experience. In this position paper, we call for a shift towards modeling the interpretation space of plausible human judgments, while distinguishing meaningful ambiguity from annotation noise. We argue that this perspective should guide how AI systems are represented, learned, evaluated, deployed, and governed, supporting more human-centered AI that better reflects the diversity of human interpretation.
中文摘要
摘要：随着人工智能系统越来越多地与人互动并对人做出决策，理解人类的解读已成为开发以人为本的人工智能的重要组成部分。传统的机器学习和人工智能系统在很大程度上是基于存在单一明确的客观真理的假设开发的，人类标注的差异通常通过汇总解决或被视为噪音。然而，对于许多以人为中心的任务来说，人类解读本质上是模糊的，对同一输入的多种解读可能同时合理且有效。将这种模糊性简化为单一目标可能忽视有关人类感知、判断和经验多样性的有意义信息。在这篇立场论文中，我们呼吁转向建模合理人类判断的解读空间，同时区分有意义的模糊性与标注噪音。我们认为，这一视角应指导人工智能系统的表示、学习、评估、部署和治理，从而支持更具以人为本的人工智能，更好地反映人类解读的多样性。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10805 (HTTP 429)
Authors: Jingyao Wu, Mohammad Tariqul Islam, Per Rådberg Nagbøl, Julie Gerlings, Giovanni Leoni, Georgiana Fryza, Lars Pilegaard Thomsen, Jakob Mainz
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10805.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10805
Published: 2026-10-11T02:11:07.077Z
9. On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents
Abstract:We study whether small LLM agents can operate effectively under explicit wall-clock time budgets by both respecting the allocated runtime and using available time productively. We evaluate Qwen3.6-27B on five competitions from MLE-Bench Lite and Qwen3-4B on Zork I (Jericho), two agentic benchmarks where additional computational time can meaningfully improve performance. In the simplest setting, where the budget is stated only in the prompt, agents fail to translate the stated budget into controlled use of time. These failures arise from gaps in time awareness, since the harness provides no timing feedback, but also because they cannot reliably anticipate the duration of actions, and do not have a learned mapping from available time to an appropriate strategy. We investigate two complementary classes of interventions: harness-based mechanisms that expose timing information and enforce deadlines, and reinforcement learning with budget-aware rewards. Injecting timing information through the harness substantially improves budget adherence for Qwen3.6-27B without measurable loss in performance, while enforcement hooks tighten adherence further. RL with GRPO achieves near-perfect budget adherence on Zork I and generalizes to held-out budgets not seen during training, but does not improve task performance over the untrained harness on MLE-Bench. Once agents are made to respect the budget, they still fail to use additional time to improve task performance. RL-trained policies learn when to stop but often fill extra time with repeated actions, and GRPO training on multiple budgets tends to collapse toward the strategy learned for the shortest budget. Our results reveal a gap between time adherence and productive time allocation, which remains a central challenge for budget-conditioned agents.
中文摘要
摘要：我们研究小型大型语言模型（LLM）代理是否能够在明确的实时时间预算下有效运作，包括既能遵守分配的运行时间，又能高效利用可用时间。我们在来自 MLE-Bench Lite 的五个竞赛上评估 Qwen3.6-27B，以及在 Zork I（Jericho）上评估 Qwen3-4B，这两个代理性基准中，额外的计算时间可以显著提升性能。在最简单的设置中，即预算仅在提示中说明时，代理无法将给定的预算转化为对时间的控制使用。这些失败源于时间感知的缺口，因为测试框架未提供计时反馈，同时也因为它们无法可靠地预测动作的持续时间，并且没有从可用时间到适当策略的学习映射。我们研究了两类互补的干预方法：基于框架的机制，用于显示时间信息并强制执行截止时间；以及带有预算感知奖励的强化学习。通过框架注入时间信息显著提高了 Qwen3.6-27B 的预算遵守性，而性能几乎没有下降；而执行挂钩进一步加强了预算遵守性。在 Zork I 上，使用 GRPO 的强化学习在预算遵守上几乎完美，并能够推广到训练中未见过的预算，但在 MLE-Bench 上并未提升任务性能，相较于未训练的框架。一旦代理被要求遵守预算，它们仍然无法利用额外时间来提升任务性能。经过强化学习训练的策略学会了何时停止，但通常会用重复动作填充多余时间，而在多个预算上进行 GRPO 训练的策略往往会收敛到为最短预算学到的策略。我们的结果揭示了时间遵守与高效时间分配之间的差距，这仍是预算条件代理面临的核心挑战。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10833 (HTTP 429)
Authors: Aaron Wang, Neelabh Madan, Vlad Sobal, Matthew Trager, Michael Kleinman, Elman Mansimov, Wei Xia, Stefano Soatto
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10833.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10833
Published: 2026-10-11T02:11:07.077Z
10. Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
Abstract:Behavior cloning (BC) in non-Markovian environments is a challenging problem because policies have to reason over contextual information over long horizons. Existing policy architectures rely on recurrent or attention-based mechanisms to capture long-term dependencies. However, recurrent models suffer from hidden-state collapse and gradient instability under backpropagation through time, while attention-based models are fundamentally limited by context length. To address these issues, we propose Keyframe Mnemonics, a novel self-supervised method that $\textit{discovers}$ a set of information-critical observations ($\textit{mnemonics}$) by learning an objective from randomly sampled past observations and using it as a reward for keyframe selection. We then train a BC policy that conditions on the discovered keyframes to model the action distribution. Under certain task-structure assumptions, our formulation provides context retention guarantees over an infinite horizon, while maintaining a small set of decision-relevant keyframes in the policy’s working memory. We evaluate our method on synthetic memory domains, where mnemonic-conditioned BC policies achieve $100$% success rates (SR) and generalize to horizons orders of magnitude beyond training without performance degradation. Additionally, we evaluate on memory-intensive robot manipulation benchmark, achieving a $13.9$% average absolute SR improvement over the strongest baseline across $23$ tasks and retaining $80$% SR at $20\times$ longer horizons on a real robot. Code and videos are available at this https URL.
中文摘要
摘要：在非马尔可夫环境下进行行为克隆（BC）是一个具有挑战性的问题，因为策略需要在长时间范围内对上下文信息进行推理。现有的策略架构依赖于循环或基于注意力的机制来捕获长期依赖关系。然而，循环模型容易在通过时间反向传播时出现隐藏状态塌陷和梯度不稳定，而基于注意力的模型从根本上受到上下文长度的限制。为了解决这些问题，我们提出了关键帧助记法（Keyframe Mnemonics），这是一种新颖的自监督方法，通过从随机采样的过去观测中学习目标，并将其作为关键帧选择的奖励，从而“发现”一组信息关键的观测（助记符）。然后，我们训练一个依赖于发现的关键帧的BC策略来建模动作分布。在某些任务结构假设下，我们的公式能够在无限时间范围内提供上下文保留保证，同时在策略的工作内存中保持一小组与决策相关的关键帧。我们在合成记忆域上评估了该方法，其中基于助记符的BC策略实现了100%的成功率（SR），并且在训练之外的远超训练时间范围内也能泛化而不会降低性能。此外，我们还在需要大量记忆的机器人操作基准上进行评估，相较于最强基线在23个任务中实现了平均绝对成功率提升13.9%，并且在真实机器人上在时间范围延长20倍的情况下仍保持80%的成功率。代码和视频可在此https网址获取。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*非马尔可夫环境下的行为克隆（Behavior Cloning, BC）策略难以进行长时程信息保持与决策\*\*的问题。具体而言，论文针对以下核心挑战展开： ### 1. 非马尔可夫决策中的长程依赖困境 在部分可观测的马尔可夫决策过程（POMDP）中，智能体当前观测 o_t 不足以确定最优动作，必须依赖历史观测序列 h_t = o_1, dots, o_t 提供的上下文信息。然而，传统 BC 策略通常仅依赖极短时间的观测上下文，导致其在需要长期记忆的任务中表现脆弱。 ### 2. 现有记忆架构的固有缺陷 论文系统分析了当前两类主流长程记忆机制的局限性： - \*\*循环模型（RNN/LSTM）\*\*：通过反向传播通过时间（BPTT）训练时，存在\*\*梯度不稳定\*\*问题；截断 BPTT 虽可缓解计算压力，但会丢失 distant past 的信息。此外，循环模型存在\*\*隐藏状态崩溃（hidden-state collapse）\*\*，即表示在反复更新中被模糊化。 - \*\*注意力模型（Transformer）\*\*：受限于\*\*有限的上下文长度（finite context length）\*\*，无法保留完整历史；增加帧堆叠会带来关于序列长度的\*\*二次计算复杂度\*\*，且在极端长程 horizon 下性能退化，并容易过拟合观测中的虚假相关性。 - \*\*混合记忆架构\*\*：尽管现有方法通过显式记忆缓存、记忆压缩或状态聚合来改进信息保持，但这些方法在训练时遇到的 horizon 之外仍然会发生\*\*状态崩溃（state collapse）\*\*，导致长程泛化能力严重下降。 ### 3. 训练视界外的泛化失败 现有方法在训练分布内的视界长度上表现尚可，但一旦测试时的任务 horizon 超过训练时的最大长度，策略性能会急剧退化。论文指出，现有架构无法提供\*\*视界不变性（horizon-invariance）\*\*，即策略无法无限期地保持决策相关的上下文记忆。 ### 论文的核心解决思路 为应对上述挑战，论文提出 \*\*Keyframe Mnemonics（关键帧助记法）\*\*，将原始的非马尔可夫决策问题分解为两个子问题： 1. \*\*自监督发现关键帧（keyframes）\*\*：通过利用神经网络的简单性偏置（simplicity bias），学习一个目标函数，从随机采样的历史观测中识别出与动作分布互信息最大的信息关键观测（称为 mnemonics）。 2. \*\*基于关键帧的行为克隆\*\*：训练一个选择器策略（selector policy）将关键帧存入容量有限的记忆缓冲区 B_t ，并训练 BC 策略 π_(BC)(a_t mid o_t, B_t) 基于当前观测与保留的关键帧进行决策。 在特定任务结构假设下，该方法理论上提供了\*\*无限视界的上下文保持保证（infinite-horizon keyframe retention）\*\*，使策略能够在远超训练视界的尺度上稳定执行，实现所谓\*\*视界不变的行为克隆（horizon-invariant behavior cloning）\*\*。 Q2: 有哪些相关研究？ 该论文的相关研究可从四个维度进行梳理：\*\*记忆增强的策略架构\*\*、\*\*关键帧与上下文选择\*\*、\*\*神经网络学习偏置的理论基础\*\*，以及\*\*实验对比的基线方法\*\*。 --- ### 1. 记忆增强的策略架构 #### 1.1 循环与注意力机制 - \*\*LSTM 与 BPTT\*\*：长短期记忆网络（LSTM）
28
结合反向传播通过时间（BPTT）
8
是处理 POMDP 的经典选择。但 BPTT 存在梯度不稳定与隐藏状态崩溃（hidden-state collapse）问题
10, 12
；截断 BPTT（TBPTT）
11
虽缓解计算压力，却以丢失远距观测信息为代价。 - **Transformer 与变体**：Decision Transformer（DT）
41
、Transformer-XL（TrXL）
43
、Decision-Mamba（DMamba）
42
等利用注意力机制建模长程依赖。然而，它们的上下文长度有限，增加历史帧会带来关于序列长度的二次计算复杂度，且在极端 horizon 下性能退化
14
。 #### 1.2 显式记忆建模（Explicit Memory Modeling） 为突破循环/注意力架构的瓶颈，研究者提出了多种专用记忆机制： - **嵌入缓存**：如 ELMUR
14
使用外部层记忆与改写机制。 - **记忆压缩模型**：通过自监督或重建目标学习历史观测的压缩摘要
22, 23, 17, 16, 20, 21
。 - **时间状态聚合**：对过去状态进行分层或渐进式聚合
18, 46
。 - **混合架构**：将上述机制组合以提升信息保持
19, 24
。 **局限性**：这些方法通常构建压缩的状态表示，在长程上会发生**信息模糊（memory blur）**或**状态崩溃**，导致训练视界外的泛化严重退化。 —- ### 2. 关键帧与上下文选择 #### 2.1 基于关键帧注释的行为克隆 部分研究依赖**显式关键帧注释**来构建策略上下文： - 手动标注关键帧用于长程机器人任务
31, 49, 50, 51
。 - 利用视觉-语言模型（VLM）和任务特定提示进行关键帧选择
52
。 **与本文的区别**：这些方法需要超出专家示教数据的额外监督（如人工注释或预训练 VLM 的推理能力），而本文提出的 Keyframe Mnemonics 是完全**自监督**的。 #### 2.2 学习管理策略上下文 - 使用强化学习（RL）训练关键帧选择策略以优化上下文缓冲区
53, 54
。 - **局限性**：现有工作仅在简单网格域或 MuJoCo 控制环境中验证，其在复杂机器人操作任务上的可扩展性未知。本文指出，Keyframe Mnemonics 是首个面向非马尔可夫行为克隆的**自监督关键帧识别**方法。 —- ### 3. 理论基础：简单性偏置与掩码学习 #### 3.1 神经网络的简单性偏置（Simplicity Bias） 深度神经网络倾向于优先学习 Kolmogorov 复杂度更低的函数
25, 26, 27, 67, 68
。本文的理论分析（Theorem 1、Proposition 1）即建立在 SGD 对简单假设的隐式偏置之上，通过随机掩码放大关键帧与背景帧的复杂度差距。 #### 3.2 掩码诱导的不变特征学习 在自监督表示学习中，掩码策略被广泛用于学习不变特征： - **语言领域**：BERT
70
对语言令牌进行掩码预训练。 - **视觉领域**：MAE
71
对空间图像块进行掩码以学习视觉表示。 **与本文的联系**：本文将掩码策略从空间/令牌维度拓展到**时间维度**（temporal masked-sampling），通过随机采样历史观测迫使模型学习对时间变化具有不变性的关键帧映射。 —- ### 4. 实验对比的主要基线方法 论文在综合评估中与以下方法进行了系统对比： | 类别 | 代表方法 | 核心特点 | |———|————-|————-| | **循环模型** | LSTM (BPTT/TBPTT)
28, 8, 11
| 经典记忆架构，BPTT/TBPTT 训练 | | **Transformer 策略** | Decision Transformer (DT)
41
、Decision-Mamba
42
、Transformer-XL
43
| 基于自注意力的序列建模 | | **混合记忆 Transformer** | RATE
45
、ELMUR
14
| 外部记忆缓存与读写机制 | | **离线强化学习** | Conservative Q-Learning (CQL)
44
| 基于价值函数的离线 RL | | **扩散策略** | Diffusion Policy (DP)
5
| 通过动作扩散学习视觉运动策略 | | **帧子采样** | PTP
46
| 从过去观测中子采样帧用于策略条件化 | **小结**：现有方法要么受限于架构本身的记忆瓶颈（循环/注意力），要么依赖压缩表示导致长程信息模糊（混合记忆），要么需要额外的关键帧监督。Keyframe Mnemonics 通过**自监督关键帧发现**与**显式关键帧保留**，在理论上和实证上实现了现有混合记忆方法未能达到的**视界不变性（horizon-invariance）**。 Q3: 论文如何解决这个问题？ 论文提出 **Keyframe Mnemonics（KM）**，一种通过**自监督关键帧发现**实现**视界不变行为克隆（horizon-invariant behavior cloning）**的三阶段方法。其核心思路是将非马尔可夫决策问题解耦为两个子问题：(i) 从历史观测中自动发现对动作分布具有最大互信息的决策关键帧（mnemonics）；(ii) 训练一个仅依赖当前观测与少量关键帧记忆缓冲区的行为克隆策略。 以下是该方法的完整技术路径： —- ## 1. 代理策略训练：利用简单性偏置学习关键帧目标函数 ### 随机掩码采样构建训练数据 为迫使模型区分信息丰富的关键帧与冗余的背景帧，论文设计了一种**随机掩码采样（masked-sampling）**机制。在训练代理策略 f_θ: B to A 时，从观测历史 h_t = o_1, dots, o_t 中随机抽取至多 k 帧构成记忆缓冲区 B_t ，即：
Bt = o_i ∈ h_t mid Psi_k(i) = 1, quad |B_t| ≤ k
其中 Psi_k 为独立采样的二元掩码。该过程使训练样本空间具有组合爆炸规模的基数 M ：
M = ∑(i=1)^(N)(Ti + ∑(j=1)^(k)T_i+1j+1)
简单性偏置放大关键帧信号 在假设关键帧 X(key) 与动作 A 的互信息严格大于背景帧 X(bg) 与动作的互信息（即 I(A; X(key)) > I(A; X(bg)) ）的前提下，论文从 Kolmogorov 复杂度角度证明了： - **背景假设的复杂度远高于关键帧假设**：
E[K(f^_(bg))] > E[K(f^(key))]
该复杂度差距随样本空间大小 M 线性放大，差距约为 $M ·
I(A; X(key)) - I(A; X(bg))
$。 - **SGD 偏向学习不变假设**：由于神经网络具有简单性偏置，随机梯度下降以极高概率选择基于关键帧的假设：
P(SGD)(H(in) mid D) ≈ (1) / (1 + 2^(-[M · (I(A;X(key))-I(A;X_bg))) - O(1)])
冻结代理目标作为关键帧评分函数 训练完成后，冻结代理策略 f_(θ^*) ，将其负对数似然损失定义为目标函数：
J(θ^*)(B) = E[L(f(θ^)(B), A)]
根据理论推导（Corollary 1），最小化 J_(θ^)(B) 等价于最大化 I(A; B) ，因此该目标函数能为包含更多关键帧的缓冲区给出更优（更低）的得分，从而成为关键帧发现的自监督信号。 —- ## 2. 选择器策略训练：基于强化学习的关键帧识别 ### 将关键帧选择建模为确定性 MDP 由于 J_(θ^*)(B) 定义在整个缓冲区而非单帧上，直接优化面临组合爆炸。论文将关键帧识别重构为一个确定性马尔可夫决策过程 langle O, P, K, R, γ rangle ，训练选择器策略 π_s(p_t mid o_t) 为每一帧观测输出优先级 $p_t ∈
0, 1
，由优先队列根据 p_t 决定是否将该帧保留入缓冲区 B_t$。 ### 奖励函数设计 选择器的奖励由两部分构成：
R(Bt) = frac{T_i · e^(J(θ^,j=t)/kappa)∑(j=1)^(T_i) e^(J(θ^,j)/kappa)}(surprise 系数) · frac{log(J(θ^*)(Bt) + λ)log(λ)}(归一化对数奖励)
- **归一化对数奖励**：当缓冲区目标值 J(θ^)(B_t) 趋近于 0 时，奖励急剧上升至 1，为关键帧保留提供强优化信号。 - \*Surprise 系数**：基于代理损失在各时间步的 soft-max 分布，对动作不确定性高的决策关键时刻赋予更高权重，引导选择器在真正需要记忆的关键时刻聚焦优化。 ### 优先队列机制 - **训练阶段（FIFO）**：采用先进先出规则打破优先级平局。这防止选择器通过输出恒定高优先级来”作弊”，迫使其学习真正具有区分度的优先级分配。 - **推理阶段（LIFO）**：采用后进先出规则。这确保早期被赋予高优先级的关键帧（如任务线索）在长程滚动中不被后续观测挤出，从而实现无限视界的信息保持。 选择器通过 **PPO（近端策略优化）** 进行训练，利用熵正则化促进探索，稳定学习过程。 —- ## 3. 行为克隆策略训练：基于助记符的条件化策略 ### 构建增强数据集 利用训练好的选择器在专家示教数据集 D 上滚动，为每一时间步 t 生成记忆缓冲区 B_t （近似关键帧集合 X(key,t) ），并构建增强数据集：
D^dagger = (Bt, o_t, a_t)(t=1)^(Ti)
为应对复杂域中动作可能对背景观测存在微弱依赖的问题，策略同时接收当前观测 o_t 与记忆缓冲区 B_t 。 ### 训练视界不变策略 基于 D^dagger 训练行为克隆策略 π(BC)(at mid o_t, B_t) 。由于 B_t 仅包含少量（通常 k ≤ 3 ）决策关键帧，该策略无需处理完整历史序列，避免了循环模型的梯度不稳定与 Transformer 的上下文长度限制。 —- ## 4. 理论保证与推理机制 ### 无限视界关键帧保持 在关键帧集合唯一且记忆预算 k 充足的假设下，论文证明了（Theorem 2）： - 最优选择器 π_s^* 会持续为关键帧分配高于背景帧的优先级； - 优先队列将无限期保留关键帧集合，即当 T to ∞ 时， B_T = X(key) 。 这意味着策略具备**视界不变性**：在推理时，无论任务 horizon 多长，只要关键帧已被选入缓冲区，它们就不会被后续背景观测覆盖。 ### 推理部署 部署时，选择器与 BC 策略协同工作： 1. 选择器接收当前观测 ot ，输出优先级 p_t = π_s(o_t) ； 2. 优先队列按 LIFO 规则更新缓冲区 B_t ； 3. BC 策略基于 (B_t, o_t) 生成动作 a_t = π(BC)(Bt, o_t) 。 由于选择器本身是马尔可夫的（仅依赖当前单帧），其运行不受 horizon 长度影响，从而保证了长程稳定性。 —- ## 方法总结 | 阶段 | 功能 | 训练方式 | 核心输出 | |———|———|—————|—————| | 代理策略 fθ | 学习关键帧评分函数 | 随机掩码采样 + SGD | 冻结目标 J(θ^*)(B) | | 选择器 π_s | 识别并保留关键帧 | PPO 优化 J(θ^) | 优先级分配策略 | | BC 策略 π_(BC) | 基于关键帧生成动作 | 标准行为克隆 | 视界不变的动作分布 | 该方法的关键创新在于：\*无需任何显式关键帧标注**，仅通过设计特定的训练采样策略（随机掩码）放大神经网络的简单性偏置，即可自监督地学习到一个可用于关键帧发现的奖励函数，进而通过强化学习获得显式的记忆管理机制，最终使轻量级的 MLP 或 Transformer 策略实现远超训练视界的稳定泛化。 Q4: 论文做了哪些实验？ 论文的实验设计围绕两个核心问题展开：**(1) 选择器能否有效识别关键帧？(2) 基于关键帧的策略能否在训练视界之外实现泛化（视界不变性）？** 实验覆盖了从合成序列任务到高维视觉机器人操作的任务，并包含理论验证与消融分析。 —- ### 1. 合成与网格领域实验（Section 3.1） #### 1.1 实验领域 在**三个合成记忆序列任务**和**两个网格环境**中验证方法： | 领域 | 任务描述 | 关键帧特征 | |———|————-|—————-| | **Add**
28
| 序列中两个位置标记数值，最后一步输出两数之和 | 两个标记帧 + 发射信号帧 | | **Scattered Copy**
22
| 从噪声令牌中记住 n 个相关令牌并按顺序复现 | 相关源令牌 + 分隔符令牌 | | **Active T-Maze**
29
| 在长走廊起点观察目标方向线索，在终点 T 字路口转向 | 起始线索帧 + 路口帧 | | **MiniGrid-Memory**
30
| 网格世界中记住起始房间物体，在走廊尽头选择匹配分支 | 起始房间物体观测 | | **LTMB-Hallway**
31
| 视觉记忆走廊任务，匹配远处房门后的目标物体 | 起始房间目标观测 | #### 1.2 理论验证实验 - **代理目标函数验证（Figure 2a）**：向代理策略的输入缓冲区中逐步添加**真实关键帧**，观测到目标函数值 J_(θ^)(B) 单调下降，支持 \*Corollary 1**。 - **记忆遗憾分析（Figure 2b, 2c）**：定义**主动记忆遗憾**（学习的选择器 vs 最优选择器）与**被动记忆遗憾**（随机选择器 vs 最优选择器）。实验表明，当掩码采样支持集大小 M 足够大时，主动遗憾收敛至 0，而被动遗憾随 M 增大而上升，为 **Theorem 1** 提供实证支持。 #### 1.3 视界不变性实验（Figure 3, Table 12） 将 KM（基于 MLP 或 Transformer 的 BC 策略）与 **7 个强基线**对比： - LSTM (BPTT)、LSTM (TBPTT)、Decision-LSTM (DLSTM)、Decision Transformer (DT)、Decision-Mamba (DMamba)、Transformer-XL (TrXL)、ELMUR。 **实验设置**：在训练分布内的 horizon 上训练所有模型，然后在**从同分布到远超训练分布（最高达 10^6 步，即数个数量级之外）**的测试 horizon 上评估。 **关键结果**： - **KM 在所有任务上保持近乎完美的性能**（100% 成功率或接近 0 的 MSE），无论测试 horizon 如何扩展。 - **所有基线在超出训练范围后性能崩溃**：例如 LSTM(BPTT) 和 TrXL 在 T-Maze 训练 horizon 内可达 100% SR，但在更长 horizon 上跌至接近随机水平；ELMUR 在 Add 任务上从 0.114 训练 MSE 恶化到 0.757 测试 MSE。 —- ### 2. 机器人操作基准测试（Section 3.2） #### 2.1 MIKASA-Robo 基准（Figure 4, Table 11） 在 **23 个视觉机器人操作任务**（来自 32 任务 MIKASA-Robo
7
基准中的非零任务）上评估。这些任务专门设计用于测试对象的、空间的、时序的和容量的记忆能力（如记住颜色/形状线索并在后续操作中选择匹配物体）。 **对比基线**：RATE
45
、Decision Transformer
41
、Behavior Cloning (BC)、Conservative Q-Learning (CQL)
44
、Diffusion Policy (DP)
5
、ELMUR
14
、PTP
46
。 **关键结果**： - KM 在 **21/23 个记忆密集型任务**上优于最强基线 ELMUR。 - **平均绝对成功率提升 +13.9%**（相对于 ELMUR）。 - 在记忆容量任务（如 RememberColor9、RememberShape9）和复杂空间推理任务（如 RotateLenientPosNeg）上优势尤为显著。 #### 2.2 记忆保持与视界不变性：RememberColor3-∆T（Figure 5a, Table 13） 为专门测试**策略能在多长延迟后保持正确线索**，设计变体任务： - **训练**：所有方法在 Delta T = 15 的线索-动作延迟上训练。 - **测试**：在 Delta T ∈ 15, 35, 55, dots, 250 上评估，无需重新训练。 **关键结果**： - **ELMUR**：在 Delta T = 35 时成功率崩塌至接近 0。 - **PTP**（基于帧子采样）：延迟到 75 步后逐渐退化，200 步时降至 <10%。 - **KM**：在长达 Delta T = 250 （**约为训练延迟的 17 倍**）的范围内保持约 65-72% 的成功率，呈现**视界不变性**。 #### 2.3 无记忆任务验证：Robomimic（Figure 5b） 在三个标准机器人操作任务（Lift、Can、Square）上对比 KM 与 Diffusion Policy。这些任务为**马尔可夫任务**，无需历史记忆。 **结果**：KM 与 DP 性能持平，证明引入关键帧条件化**不会在无需记忆的任务上造成退化**。 #### 2.4 真实机器人实验（Figure 6） 在物理机器人上执行 **RememberColor2** 任务： - 机器人先观察红/绿色方块（3-5 秒），经过延迟后，两个方块出现，机器人需触碰之前看到的颜色。 - 训练数据仅包含约 5 秒延迟的 30 次 VR 遥操作演示。 - **测试**：将延迟扩展至**训练时的 20 倍**。 **结果**：Diffusion Policy 和 PTP 随延迟增加性能急剧恶化，而 **KM 在 20 倍更长测试视界上保持约 80% 的成功率**。 —- ### 3. 消融实验（Appendix F） 论文还进行了大量消融以验证各组件的必要性： | 消融项 | 实验内容 | 核心结论 | |————|————-|—————| | **学习的选择器 vs 随机选择器** | 将 πs 替换为均匀随机优先级 | 随机选择器在 RememberColor3-∆T 上显著退化（~30% vs ~65%），证明学习的选择器至关重要 | | **折扣因子 γ ** | 在 PPO 中设置 γ ∈ 0, 0.5, 0.9, 0.99 | γ=0 （贪婪优化）在多数域上失败；长程关键帧识别需要未来感知的折扣回报（ γ=0.99 ） | | **惊喜系数** | 调整温度 kappa 或关闭 surprise scaling | 在多数合成任务中 surprise scaling 是必要的；机器人任务中关闭后更稳定 | | **代理输入包含当前帧 o_t ** | 在代理策略训练中将当前观测加入缓冲区 | 导致在 MiniGrid-Memory 和 RememberColor3 上严重过拟合（性能从 100% 跌至 33%/19%） | | **队列打破规则** | 对比 FIFO/LIFO 在训练/推理阶段的组合 | 在合成域无差异；在机器人域 FIFO→LIFO（训练 FIFO，推理 LIFO）最优 | | **记忆预算 k ** | 将缓冲区大小设为 0.5× 和 2× 默认值 | 过小的 k 导致关键帧丢失而退化；过大的 k 可能增加策略学习难度 | —- ### 4. 计算效率（Table 1） 在 RememberColor3-∆T 上报告各阶段训练时间（单张 RTX 3090）： - 代理策略：1h 15m - 选择器（PPO）：5h 46m - 数据集生成：1h 23m - BC 策略：2h 05m - **总计约 10.5 小时**，快于 PTP（19.5 小时），慢于 ELMUR（1.4 小时，但后者无法泛化）。 —- ### 实验总结 论文的实验层次清晰：**从严格受控的合成域验证理论假设**（代理目标、记忆遗憾、简单性偏置），**到网格域测试视觉记忆**，**再到高维机器人操作基准和真实机器人验证实用性与视界不变性**。实验充分证明，Keyframe Mnemonics 在保持低计算开销的同时，能够在远超训练分布的长程 horizon 上稳定运行，解决了现有记忆架构的崩溃问题。 Q5: 有什么可以进一步探索的点？ 基于论文的局限讨论与方法论设计，以下几个方向值得进一步探索： —- ### 1. 自适应记忆预算与动态缓冲区管理 当前方法的内存预算 k 是需预先指定的超参数。若 k 设置不当，可能导致： - **多个信息等价的缓冲区状态**并存，使得推理时优先队列难以保留唯一正确的关键帧集合； - **关键帧容量不足**（ k 过小）或 **背景帧干扰增加**（ k 过大）。 未来可探索： - **可学习的动态记忆预算**：让选择器自适应地决定需要保留多少关键帧，而非固定容量 k ； - **层级化缓冲区架构**：区分短期工作记忆与长期关键帧存储，根据任务复杂度动态分配资源。 —- ### 2. 面向多任务与无结构演示数据的扩展 论文指出，当前算法要求**每条演示轨迹至少包含一个关键帧**，且关键帧结构在数据集中保持一致。这限制了方法在以下场景的应用： - **多任务设置**：不同任务的关键帧语义差异巨大，单一选择器难以泛化； - **非目标导向的“play data”**：自由交互数据中可能包含大量无关键帧的轨迹。 值得研究的方向包括： - **任务条件化的选择器**：引入任务嵌入或指令，使 π_s(p_t mid o_t, task) 能跨任务选择相关上下文； - **关键帧存在性检测**：先训练一个筛选模型判断当前轨迹是否包含决策关键信息，避免在无信息段落上浪费记忆容量。 —- ### 3. 放松单帧可识别性假设 **Assumption 1** 要求关键帧可从**单帧观测**中识别，因为选择器 π_s(p_t mid o_t) 被设计为马尔可夫式，以避免循环模块与 BPTT 的梯度问题。然而，某些 POMDP 中的关键信息可能需要**多帧联合推断**（例如，通过连续多帧才能判断物体运动方向）。 未来可探索： - **轻量级时序编码的选择器**：在不引入完整 BPTT 的前提下，使用因果卷积或固定长度的小窗口编码观测序列，以捕捉短时动态； - **多帧候选评估**：允许选择器基于当前帧与最近几帧的聚合表示输出优先级，而非严格单帧。 —- ### 4. 高记忆容量与复合关键帧任务 论文在 **Appendix G.6** 中明确提到：当专家动作**同时依赖多个独立关键帧**时，代理策略 fθ 的掩码采样需要同时命中所有相关帧才能学习正确映射，导致收敛困难。随着所需关键帧数量增加，采样成功概率指数下降。 潜在解决方案： - **模块化选择器组合**：先针对低记忆容量的子任务分别训练专用选择器与代理策略，再通过组合机制支持高容量 BC 策略； - **迭代关键帧发现**：采用课程学习思路，先发现最重要的关键帧，再逐步训练发现次要关键帧的选择器； - **增大训练预算 M 的理论边界**：更精细地刻画 M 随关键帧数量增长的下界，指导采样策略设计。 —- ### 5. 计算效率与 GPU 原生实现 选择器训练是计算瓶颈（在机器人域约占 5–10 小时中的大部分），主要源于 Stable-Baselines3
60
的 CPU-GPU 通信开销。由于选择器 MDP 的每一步仅需代理策略的前向推理，理论上可完全在 GPU 上并行化。 未来工作可包含： - **GPU 原生 PPO 实现**：消除环境步与策略推理间的 CPU 开销； - **代理策略与选择器联合优化的可能性**：探索能否通过微分规划或 Gumbel-Softmax 技巧，将离散的关键帧选择过程可微化，从而绕过 RL 训练。 —- ### 6. 低动作方差与弱多模态任务 **Assumption 2** 要求关键帧与动作分布间存在显著的互信息差距。当动作多为局部、低方差运动（如 VizDoom-Two-Colors 中的离散导航）时，关键帧对动作的区分度不足，代理目标 J(θ^) 的优化信号微弱。 值得探索： - \*动作聚类或子目标分解**：将细粒度动作空间聚类为语义上更离散的技能标签，放大关键帧与高层决策间的信息关联； - **对比式关键帧发现**：不直接回归动作，而是构造关键帧与动作正负样本对，通过对比学习强化稀疏信息帧的表征。 —- ### 7. 与语言语义及视觉-语言模型的深度融合 论文在 **Appendix H** 中指出，关键帧保留了视觉-空间细节，而语言提供高层抽象。两者具有互补性： - **关键帧 → 语言摘要**：利用 VLM 为发现的关键帧生成文本描述，构建可解释的记忆日志； - **语言指令 → 关键帧筛选**：在 VLA（Vision-Language-Action）模型中，用语言指令指导选择器关注与当前指令语义相关的观测子集； - **跨模态记忆检索**：当关键帧缓冲区满时，利用语言嵌入进行跨轨迹的关键帧检索与迁移。 —- ### 8. 在线适应与持续学习 当前框架完全基于**离线专家演示**训练。在真实部署中，机器人可能遇到训练分布外的新场景或新的关键帧类型。 未来方向： - **在线关键帧库更新**：在部署期间，利用环境反馈（任务成败）微调选择器的优先级函数，实现持续的关键帧库扩展； - **关键帧重要性重评估**：根据后续动作的成功与否，回溯调整历史观测的优先级，形成类似经验回放的机制。 —- ### 9. 更一般的理论保证 现有理论（Theorem 2）依赖于关键帧唯一性和严格正互信息差距。更一般的分析可包括： - **近似关键帧集合**：当不存在严格充分统计量，仅存在近似充分观测子集时，分析 BC 策略的次优性界； - **非平稳环境**：在观测统计特性随时间缓慢变化的环境中，分析优先队列的遗忘-更新权衡。 Q6: 总结一下论文的主要内容 本文介绍了一种面向**非马尔可夫部分可观测环境**的**视界不变行为克隆（horizon-invariant behavior cloning）**方法，称为 **Keyframe Mnemonics（关键帧助记法）**。以下从研究动机、方法框架、理论贡献与实验验证四个方面进行总结。 —- ### 1. 研究动机与挑战 在部分可观测马尔可夫决策过程（POMDP）中，智能体需依赖历史观测 h_t = o_1, dots, o_t 进行决策。现有行为克隆（BC）策略存在以下瓶颈： - **循环模型（RNN/LSTM）**：受限于反向传播通过时间（BPTT）的梯度不稳定与**隐藏状态崩溃（hidden-state collapse）**，长程信息易被覆盖。 - **注意力模型（Transformer）**：上下文长度有限，增加历史帧会带来二次计算复杂度，且在极端长程下性能退化。 - **混合记忆架构**：虽通过显式记忆缓存或压缩改进信息保持，但仍会在训练视界外发生**状态崩溃**，无法泛化到更长时程。 核心问题在于：现有方法缺乏**视界不变性（horizon-invariance）**，即无法在远超训练分布的 horizon 上稳定保持决策相关的上下文。 —- ### 2. 方法框架：Keyframe Mnemonics 论文提出一种**完全自监督**的三阶段关键帧发现与行为克隆框架（图 1）： #### 阶段一：代理策略训练（Proxy Policy Training） 通过**随机掩码采样（masked-sampling）**从历史观测 h_t 中随机抽取至多 k 帧构成缓冲区 B_t ，训练代理策略 fθ: B to A 预测专家动作。该采样策略使训练样本空间具有组合爆炸规模的基数 M ：
M = ∑(i=1)^(N)(T_i + ∑(j=1)^(k)Ti+1j+1)
利用神经网络的简单性偏置（simplicity bias），训练迫使 fθ 学习基于关键帧（keyframes）的不变假设，而非依赖信息冗余的背景帧。训练完成后冻结参数 θ^ ，将损失函数 $J_(θ^)(B) = E
L(f_(θ^*)(B), A)
作为关键帧评分目标。 #### 阶段二：选择器策略训练（Selector Policy Training） 将关键帧识别建模为确定性 MDP langle O, P, K, R, γ rangle ，使用 PPO 训练选择器 π_s(p_t mid o_t) 为每帧观测输出优先级 p_t ∈
0,1
$。奖励函数结合归一化对数目标与**惊喜系数（surprise coefficient）**：
R(Bt) = frac{T_i · e^(J(θ^,j=t)/kappa)∑(j=1)^(T_i) e^(J(θ^,j)/kappa)}(surprise) · frac{log(J(θ^)(Bt) + λ)log(λ)}(reward)
记忆缓冲区以\*FIFO 规则（训练期）**防止选择器依赖恒定高优先级作弊，以**LIFO 规则（推理期）**确保早期关键帧在长程滚动中不被挤出。 #### 阶段三：行为克隆策略训练（BC Policy Training） 利用训练好的选择器在专家数据集 D 上生成记忆缓冲区 B_t ，构建增强数据集：
D^dagger = (Bt, o_t, a_t)(t=1)^(Ti)
训练 BC 策略 π(BC)(a_t mid o_t, B_t) ，使其基于当前观测与少量关键帧记忆生成动作。 —- ### 3. 理论贡献 论文在结构假设下提供了形式化分析： - **引理 1 / 定理 1**：随机掩码产生组合大样本空间 M ，严格放大关键帧假设与背景帧假设的 Kolmogorov 复杂度差距：
E[K(f^_(bg))] > E[K(f^(key))]
差距随 M 线性缩放，约为 $M ·
I(A; X(key)) - I(A; X(bg))
。 - 命题 1：基于神经网络的简单性偏置，SGD 以接近 1 的概率选择基于关键帧的不变假设类 H(in) 。 - 推论 1：冻结代理损失 J(θ^)(B) 的最小化等价于最大化 I(A; B) ，在正信息边际条件下可恢复关键帧集合。 - *定理 2（无限视界关键帧保持）：若关键帧集合唯一且记忆预算充足，最优选择器会为关键帧分配始终高于背景帧的优先级，确保当 T to ∞ 时缓冲区始终保留关键帧集合 X(key) ，从而实现视界不变性。 —- ### 4. 实验验证 实验从合成序列任务到高维视觉机器人操作，系统验证了关键帧发现的有效性与视界不变性： #### 合成与网格领域 在 Add、Scattered Copy、T-Maze、MiniGrid-Memory、LTMB-Hallway 上： - KM 保持近乎 100% 成功率（或接近 0 的 MSE），测试 horizon 从训练分布扩展至 10^6 步（数个数量级外）无性能退化。 - 所有基线（LSTM、DT、TrXL、ELMUR 等）在超出训练分布后迅速崩溃。 #### 机器人操作基准（MIKASA-Robo） 在 23 个记忆密集型视觉操作任务上： - KM 在 21/23 个任务上超越最强基线 ELMUR，平均绝对成功率提升 +13.9%。 - 在 RememberColor3- Delta T 记忆保持实验中，训练于 Delta T=15 ，KM 在 Delta T=250 （约 17 倍训练延迟）时仍保持约 65% 成功率；ELMUR 在 Delta T=35 即崩塌至 0，PTP 在 Delta T=200 时降至 <10%。 #### 真实机器人与无记忆任务 - 真实机器人：在 RememberColor2 任务上，KM 在 20 倍更长测试视界上保持平均 80% 成功率。 - Robomimic（Lift/Can/Square）：KM 与 Diffusion Policy 性能持平，证明引入关键帧不会在无需记忆的马尔可夫任务上造成退化。 —- ### 5. 主要贡献总结 - 自监督关键帧发现算法：无需显式关键帧注释，仅通过专家示教数据与随机掩码训练即可学习决策相关的关键帧。 - 理论直觉与保证：基于简单性偏置与算法信息论，提供了关键帧可恢复性与无限视界保持的形式化分析。 - 视界不变的 BC 策略：在合成域实现完美长程泛化，在机器人操作基准上取得 SOTA，并在真实机器人上验证了远超训练视界的稳定性。 局限：内存预算 k$ 需预设；要求关键帧可从单帧识别且每条轨迹至少包含一个关键帧；在多独立关键帧的高记忆容量任务中代理策略收敛难度增大。这些方向构成了未来工作的自然延伸。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Prabin Kumar Rath, Omkar Patil, Nakul Gopalan
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.10857.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10857
Published: 2026-10-11T02:11:07.077Z
VLM Domain Papers
1. SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows
Abstract:Multimodal large language models (MLLMs) often answer visual reasoning questions by relying on linguistic priors rather than task-relevant visual evidence. Textual chain-of-thought reasoning can partially mitigate this issue by encouraging models to decompose visual questions into intermediate evidence-seeking steps, but generating these steps autoregressively increases inference cost. Latent reasoning avoids explicit rationale generation, but existing approaches provide limited control over what intermediate states encode, making it difficult to impose separate supervision for planning, grounding, and evidence selection. We propose Structured Latent Visual Reasoning (SLVR), a training framework that bridges explicit chain-of-thought and latent reasoning by organizing multimodal reasoning into typed latent stages for planning, grounding, evidence selection, and reasoning integration. SLVR first trains the model to rely on the image by masking answer-revealing text and contrasting the correct answer with visually plausible distractors. It then organizes reasoning into latent stages for planning, grounding, evidence selection, and integration, supervising each stage with the corresponding signal: plans, boxes, visual evidence, and final rationales. This gives latent reasoning an explicit functional structure while avoiding generated textual chains at inference time. Built on Qwen2.5-VL-7B, SLVR improves consistently across multimodal reasoning benchmarks, with absolute gains of +9.4 on MMVP and +14.2 on BLINK Relation, as well as improvements on V*, MathVista, and ChartQA. These results suggest that structured latent supervision can improve fine-grained visual reasoning without the decoding overhead of textual CoT. Project page is available \href{this https URL}{here}.
中文摘要
摘要：多模态大型语言模型（MLLM）通常依赖语言先验而非任务相关的视觉证据来回答视觉推理问题。文本思维链推理可以通过鼓励模型将视觉问题分解为中间的证据寻求步骤来部分缓解这一问题，但生成这些步骤会自回归增加推理成本。潜在推理避免了显式理据生成，但现有方法对中间状态编码内容的控制有限，难以对规划、基础和证据选择施加单独监督。我们提出了结构化潜在视觉推理（SLVR）的培训框架，通过将多模态推理组织为类型化的潜在阶段，用于规划、基础、证据选择和推理整合，桥接显式思维链和潜在推理。SLVR首先通过掩盖揭示答案的文本，并将正确答案与视觉上合理的干扰因素对比，来训练模型依赖图像。然后将推理组织为潜在阶段，用于规划、基础化、证据选择和整合，并用相应信号监督每个阶段：计划、方框、视觉证据和最终推理。这为潜在推理提供了显式的功能结构，同时避免了推理时生成的文本链。基于Qwen2.5-VL-7B，SLVR在多模态推理基准测试中持续提升，MMVP绝对提升为+9.4，BLINK关系提升+14.2，V*、MathVista和ChartQA也有改进。这些结果表明，结构化潜在监督可以在不承担文本CoT解码开销的情况下改善细粒度的视觉推理。项目页面可访问 \href{this https URL}{here}。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10563 (HTTP 429)
Authors: Albert Gao, Bing Xue, Andrea Zanette
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10563.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10563
Published: 2026-10-11T02:11:25.446Z
2. A Camera-Native Stereo VR180 Dataset
Abstract:Immersive VR180 video is increasingly produced with professional stereo fisheye cameras, yet public VR180 research resources are mostly collected from online platforms such as YouTube: already stitched, projected and compressed by unknown pipelines, and without lens calibration. We present a firsthand-captured stereo VR180 dataset recorded with two Blackmagic URSA Cine Immersive cameras. It contains 1,211 samples — 636 stereo video clips (2,220.8 s, mostly 90 fps) and 575 stereo stills — each released as camera-native Blackmagic RAW, separate-eye native fisheye HEVC (8160x7200 per eye) and half-equirectangular HEVC (7200x7200 per eye), together with the factory lens calibration, portable fisheye/half-equirectangular conversion tools and AI-generated scene and visual-challenge annotations. Re-encoding the released fisheye and half-equirectangular renders with x265 over 24 clips, both eyes, four rate points and nine viewing directions, native-fisheye coding needed more bitrate than half-equirectangular coding at equal viewport quality for all 24 clips (median +38%), in every part of the field of view. Data: this https URL ; code: this https URL
中文摘要
摘要：沉浸式 VR180 视频越来越多地使用专业立体鱼眼相机制作，但公开的 VR180 研究资源大多来自 YouTube 等网络平台：已经被未知流程拼接、投影和压缩，并且没有镜头校准。我们提供了一个由两台 Blackmagic URSA Cine 沉浸式相机首次拍摄的立体 VR180 数据集。它包含 1,211 个样本——636 个立体视频片段（2,220.8 秒，大多为 90 fps）和 575 张立体静态图——每个样本都以相机原生 Blackmagic RAW、单眼原生鱼眼 HEVC（每眼 8160x7200）和半等矩形 HEVC（每眼 7200x7200）发布，同时附带工厂镜头校准、便携式鱼眼/半等矩形转换工具以及 AI 生成的场景和视觉挑战标注。将已发布的鱼眼和半等矩形渲染使用 x265 重新编码，涵盖 24 个片段、双眼、四个码率点和九个观看方向，对所有 24 个片段来说，在相同视口质量下，原生鱼眼编码所需码率比半等矩形编码更高（中位数 +38%），在视场的每个部分均如此。数据：https URL ; 代码：https URL
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10607 (HTTP 429)
Authors: Linxuan Lu
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10607.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10607
Published: 2026-10-11T02:11:25.446Z
3. Seeing Through the Glare: A Multi-Source Benchmark and Ocular-Adaptive Pixel MeanFlow for Eyeglass Reflection Removal
Abstract:Eyeglass reflection removal is important across smartphone imaging, video conferencing, and other face-centric visual applications. The task is challenging because reflections range from mild photometric contamination to severe ocular occlusion, requiring selective correction and plausible reconstruction without altering identity or natural appearance. Existing datasets cover limited reflection conditions, constraining generalization to complex real-world scenes and systematic evaluation. We introduce \textbf{OcuBench}, a multi-source benchmark comprising 10,280 controllable synthetic pairs, 732 real-input pseudo-pairs, and 458 independent real-world test images, supporting both paired evaluation and assessment beyond generated supervision. We further propose \textbf{OcuFlow}, an ocular-adaptive pixel MeanFlow (pMF) framework for efficient, detail-preserving restoration. It combines geometry-adaptive representation with one-step pMF to focus reconstruction on reflection-obscured ocular regions, together with native-resolution frequency-preserving synthesis to retain reliable observed details. Experiments across diverse reflection conditions demonstrate that OcuFlow achieves consistent advantages in reflection removal quality, ocular fidelity, and efficiency. In a blind user study, it receives $67.32\%$ of selections, $6.2\times$ the next-best share. Both the code and dataset will be released.
中文摘要
摘要：眼镜反光去除在智能手机成像、视频会议以及其他以面部为中心的视觉应用中非常重要。这一任务具有挑战性，因为反光现象范围从轻度光度污染到严重眼部遮挡不等，要求选择性校正并进行合理重建，同时不改变身份或自然外观。现有数据集涵盖的反光条件有限，限制了其在复杂真实场景中的泛化能力以及系统评估。我们推出了\textbf{OcuBench}，一个多来源基准数据集，包括10,280对可控的合成图像对、732对真实输入伪图像对，以及458张独立的真实世界测试图像，支持配对评估及超出生成监督的评估。我们进一步提出了\textbf{OcuFlow}，一个眼部自适应像素平均流（pMF）框架，用于高效且保持细节的修复。它将几何自适应表示与一步pMF结合，重点重建反光遮挡的眼部区域，同时通过原生分辨率的频率保留合成来保持可靠的观测细节。在不同反光条件下的实验表明，OcuFlow在反光去除质量、眼部保真度和效率上均具有稳定优势。在一次盲用户研究中，它获得了$67.32\%$的选择率，是次优选择的$6.2\times$。代码和数据集将同时发布。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10703 (HTTP 429)
Authors: Tao Liu, Youwei Pang, Kailai Zhou, Jiaming Zuo, Hanqi Liu, Wei Ji, Peng-Tao Jiang, Xiaofeng Liu, Weisi Lin, Xiaoqi Zhao
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10703.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10703
Published: 2026-10-11T02:11:25.446Z
4. LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
Abstract:This paper studies the problem of learning disentangled representations of objects and their attributes from raw, unstructured image data. Slot-based methods have shown considerable success in unsupervised learning of object representations from images. Block-slot attention-based methods extend this framework to attribute representations by assuming a uniform factorization of object representations into attributes, which may be suboptimal and consequently limit the quality of the learned representations. We therefore investigate a framework for jointly discovering object and attribute representations. Our key contribution is leveraging the Linear Representation Hypothesis (LRH), which postulates that composable concepts can be represented as linearly additive subspaces in slot representations. Based on this insight, we propose a probabilistic model connecting images, slots (objects), and blocks (attributes). We present an architecture that leverages block attention to connect attribute representations to slots and incorporates LRH in both object and attribute representation spaces. This architecture effectively optimizes the Evidence Lower Bound (ELBO) of the proposed graphical model. Our experiments demonstrate (i) effective discovery of disentangled object and attribute representations, (ii) empirical evidence for LRH in slot space, and (iii) the ability to perform image editing owing to the disentangled and interpretable nature of the learned representations. Our experiments on multiple datasets demonstrate improvements in DCI scores over state-of-the-art methods.
中文摘要
摘要：本文研究了从原始、非结构化图像数据中学习对象及其属性的解耦表示的问题。基于插槽的方法在从图像中进行对象表示的无监督学习方面已显示出显著成功。基于块-插槽注意力的方法通过假设对象表示可以均匀分解为属性来将这一框架扩展到属性表示，这一假设可能不是最优的，从而限制了所学习表示的质量。因此，我们研究了一种联合发现对象和属性表示的框架。我们的关键贡献是利用线性表示假说（Linear Representation Hypothesis, LRH），该假说提出，可组合的概念可以在插槽表示中作为线性可加子空间表示。基于这一见解，我们提出了一个将图像、插槽（对象）和块（属性）连接起来的概率模型。我们提出了一种架构，该架构利用块注意力将属性表示与插槽连接，并在对象和属性表示空间中都引入了LRH。这一架构能够有效优化所提出图模型的证据下界（ELBO）。我们的实验表明：(i) 有效发现了解耦的对象和属性表示，(ii) 在插槽空间中提供了LRH的实证证据，(iii) 由于所学表示解耦且可解释，能够进行图像编辑。我们在多个数据集上的实验显示，DCI得分较最先进方法有所提升。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10722 (HTTP 429)
Authors: Sanket Gandhi, Utkarsh Giri, Varun Subramanium, Rohan Paul, Parag Singla
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10722.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10722
Published: 2026-10-11T02:11:25.446Z
5. MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting
Abstract:Scene flow can capture low-level 3D motion displacements in dynamic scenarios. Early pairwise estimators relying on instantaneous two-frame motion lack long-term temporal correlation and also struggle with poor extrapolation ability in future prediction. Although some recent methods attempt to explore multi-frame scene flow estimation in a sequence-to-sequence manner, they typically suffer from heavy computational overhead with increasing input frames and long-horizon prediction degradation due to ineffective motion propagation. To address these problems, we propose a novel memory-enhanced sequential scene flow pipeline, called MESSENGER. To sufficiently mine long-term temporal dependencies naturally within consecutive sequences, a memory buffer is designed by explicitly storing multiple history flow estimates and latent states. For each input frame, the temporally stored flows and states are correlated and retrieved to predict the current initialized flow in a next-frame forecasting manner. Furthermore, we develop an uncertainty-aware reweighting module to filter unreliable retrievals and mitigate accumulated errors. Extensive experiments on nuScenes and Argoverse 2 demonstrate state-of-the-art performance of our MESSENGER, reducing EPE3D by 71.6% on nuScenes and 67.7% on Argoverse 2 in long-horizon future extrapolation. This superiority can be attributed to our designed autoregressive forecasting paradigm, which naturally forces the network to progressively learn the next-frame distribution based on history observations. Code will be released at this https URL.
中文摘要
摘要：场景流可以捕捉动态场景中的低级别三维运动位移。依赖于瞬时两帧运动的早期成对估计器缺乏长期时间相关性，并且在未来预测中表现出较差的外推能力。虽然一些近期方法尝试以序列到序列的方式探索多帧场景流估计，但随着输入帧数的增加，它们通常会面临计算开销大的问题，并且由于运动传播效率低，长时间预测表现下降。为了解决这些问题，我们提出了一种新颖的增强记忆的顺序场景流处理流程，称为MESSENGER。为了充分挖掘连续序列中的长期时间依赖性，我们设计了一个记忆缓冲区，通过显式存储多个历史流估计和潜在状态。对于每一帧输入，临时存储的流和状态会被关联检索，以下一帧预测的方式预测当前的初始化流。此外，我们开发了不确定性感知重加权模块，用于过滤不可靠的检索结果并减轻累积误差。在nuScenes和Argoverse 2上的大量实验表明，MESSENGER表现出最先进的性能，在长时段未来外推中，在nuScenes上将EPE3D降低了71.6%，在Argoverse 2上降低了67.7%。这种优势可归因于我们设计的自回归预测范式，它自然地迫使网络基于历史观测逐步学习下一帧的分布。代码将通过此https网址发布。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10759 (HTTP 429)
Authors: Jiuming Liu, Jianing Li, Mengmeng Liu, Hongyang He, Hesheng Wang, Per Ola Kristensson
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10759.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10759
Published: 2026-10-11T02:11:25.446Z
6. DOGS: Design-Space Sampling for Prompt-Driven Logo Generation
Abstract:Prompt optimization for text-to-image (T2I) generation has been pursued almost entirely as text rewriting, in which a short user brief is expanded into a longer, model-preferred token sequence. We argue that such a language-space formulation is ill-suited to structured visual design tasks such as logo creation, where a one-line brief leaves most design decisions unspecified. These decisions depend on relational priors that a linear sequence cannot encode, and they leave an uncontrolled channel through which protected marks may be reproduced. We therefore recast logo prompting as sampling within a structured design space, and instantiate this idea as DOGS (Design-space prompting with an Originality-aware GFlowNet Sampler). From a large corpus of real-world logos, we mine a typed, graph-structured design grammar whose edges record empirical co-occurrence. A GFlowNet sampler then generates design graphs with probability proportional to a terminal reward that combines recognizability, aesthetics, and corpus-relative originality. Every slot draws only from a closed design-level vocabulary, and any infringement-inducing or harmful token is removed during parsing. The originality reward further penalizes proximity to existing logos, thereby incorporating infringement avoidance into the method by construction. On two open-source renderers and against nine baselines, DOGS produces logos that are more recognizable and aesthetic, substantially more diverse, and far less prone to trademark infringement.
中文摘要
摘要：文本到图像（T2I）生成的提示优化几乎完全以文本重写的方式进行，其中用户提供的简短说明被扩展为更长的、模型偏好的代币序列。我们认为，这种语言空间的形式不适合于结构化的视觉设计任务，例如标志设计，其中一行简短说明无法确定大多数设计决策。这些决策依赖于线性序列无法编码的关系先验，并且它们会留下一个不受控制的通道，从而可能再现受保护的标志。因此，我们将标志提示重新定义为在结构化设计空间中的采样，并将这一思想实现为DOGS（使用原创性感知的GFlowNet采样器的设计空间提示）。从一个大型真实世界标志语料库中，我们挖掘出一种类型化、图结构化的设计语法，其边记录了经验性共现。然后，GFlowNet采样器按照终端奖励的比例生成设计图，该奖励结合了可识别性、美学和语料库相对原创性。每个槽只能从封闭的设计级词汇中抽取，解析过程中会移除任何可能引发侵权或有害的代币。原创性奖励进一步惩罚与现有标志的相似性，从而在方法构建中就纳入了侵权规避。在两个开源渲染器上，并与九个基线方法对比，DOGS生成的标志更具可识别性和美感，显著更加多样化，并且远不易侵犯商标权。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10760 (HTTP 429)
Authors: Ganyu Zou, Chen Dai, Nathan Self, Kevin Piper, Ramachandra Rao Seethiraju, Karthik Shyamsunder, Chang-Tien Lu, Naren Ramakrishnan
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10760.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10760
Published: 2026-10-11T02:11:25.446Z
7. VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
Abstract:Reinforcement learning with verifiable rewards (RLVR) has become a standard recipe for post-training vision-language models (VLMs), but it typically assumes a static training environment. As the actor improves, fixed tasks drift out of its learning frontier: many become trivial, others remain unsolvable; and the learning signal collapses. We argue that VLM post-training should evolve the visual environment alongside the actor, not just the actor itself. We propose VICO, a co-evolutionary framework in which an actor and an Environment-as-Rewriter (EnvRewriter) are trained jointly: the EnvRewriter edits verifiable image-side structures, such as scene graphs, chart tables, or protected region masks, and re-renders them to produce label-valid training samples whose difficulty is calibrated to the actor’s current ability through a pass-rate-based reward. This loop continuously realigns task difficulty with actor capability without any additional human annotation. Across nine multimodal benchmarks spanning mathematical reasoning and visually grounded understanding, VICO-8B improves over its base model by up to +5.0% on out-of-domain tasks, surpasses the strongest self-evolution and text-editing co-evolution baselines by +4.3% and +8.4% respectively, and stays comparable to chart-specialized RLVR methods using 16-160 times fewer labeled samples. By shifting from human-labeled supervision to image-editing co-evolution, VICO offers a scalable path beyond static-corpus RLVR for visual reasoning.
中文摘要
摘要：具有可验证奖励的强化学习（RLVR）已经成为后训练视觉-语言模型（VLMs）的标准方法，但它通常假设训练环境是静态的。随着执行者的提升，固定任务会偏离其学习边界：许多任务变得过于简单，其他任务仍然无法解决；学习信号因此崩溃。我们认为，VLM的后训练应与执行者同时演化视觉环境，而不仅仅是执行者本身。我们提出了VICO，一个协同演化框架，其中执行者与环境重写器（EnvRewriter）联合训练：EnvRewriter编辑可验证的图像端结构，例如场景图、图表表格或受保护区域掩码，并重新渲染它们以生成标签有效的训练样本，其难度通过基于通过率的奖励与执行者当前能力相匹配。这个循环不断将任务难度与执行者能力重新对齐，无需任何额外的人类标注。在覆盖数学推理和视觉理解的九个多模态基准测试中，VICO-8B在域外任务上相对于其基础模型提高了最多+5.0%，分别超越了最强的自我演化和文本编辑协同演化基线+4.3%和+8.4%，并使用16至160倍更少的标注样本保持与图表专用RLVR方法的可比性。通过从人工标注监督转向图像编辑协同演化，VICO为视觉推理提供了一条超越静态语料RLVR的可扩展路径。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10782 (HTTP 429)
Authors: Meng Lu, Ligeng Zhu, Olivia Xiao, Yuchen Zhuang, Zihan Wang, Kuncheng Wu, Bangya Liu, Yu Wang, Charles Fleming, Wenqi Shi, Xuan Wang
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10782.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10782
Published: 2026-10-11T02:11:25.446Z
8. Velocity Scaling in Flow Matching
Abstract:Scaling a learned flow-matching velocity field $v_\theta$ by a gain $\gamma(t)$ was recently shown to greatly improve generation quality. Prior work argued that velocity fields trained with mean-squared error (MSE) systematically underestimate velocity magnitude and that scaling corrects this error. We show that MSE training does not create a velocity-magnitude deficit. We find instead that velocity scaling reduces population time lag: sampled states at model time $t$ resemble training states from an earlier time. Velocity scaling and moving model time back are two ways to address this population time lag. Across architectures and model sizes, measuring population time lag and using it to select a gain greatly improves generation quality, reducing FID from 28.0 to 12.2 (estimated by linear interpolation between FID measurements at neighboring gains) on ImageNet-256 at NFE 25 without guidance.
中文摘要
摘要：将学习到的流匹配速度场 $v_\theta$ 按增益 $\gamma(t)$ 进行缩放，最近被证明可以显著提高生成质量。先前的研究认为，用均方误差（MSE）训练的速度场系统性低估速度幅值，而缩放可以纠正这一误差。我们表明，MSE 训练并不会导致速度幅值不足。相反，我们发现速度缩放能够减少群体时间滞后：在模型时间 $t$ 采样的状态类似于训练中较早时间的状态。速度缩放和将模型时间向后移动是解决这种群体时间滞后的两种方法。在不同的架构和模型规模下，测量群体时间滞后并使用其来选择增益值可以显著提高生成质量，在 ImageNet-256 数据集 NFE 25 下，无需引导即可将 FID 从 28.0 降至 12.2（通过在相邻增益下的 FID 测量值线性插值得出）。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文试图解决流匹配（flow matching）生成模型中\*\*速度缩放（velocity scaling）为何能改善采样质量\*\*的问题，并纠正先前工作中关于该现象的错误理论解释。 具体而言，论文针对以下核心问题展开： - \*\*反驳先前提出的“速度赤字”（velocity deficit）假说\*\* 此前工作（Li et al., 2026b）认为，基于均方误差（MSE）训练的速度场会系统性低估速度幅度，因此需要通过缩放增益 γ(t) 来补偿。本文通过理论分析与实验验证指出，MSE 训练的\*\*群体最优速度场本身能够实现精确分布传输\*\*，且预训练模型的最优标量乘数平均仅为 0.999 ，并不存在系统性的速度低估。 - \*\*揭示速度缩放改善采样的真正机制：群体时间滞后（population time lag）\*\* 论文发现，在粗略采样（低 NFE）时，采样轨迹上的状态会\*\*滞后\*\*于模型输入时间所对应的真实训练路径状态，即模型时间 t 处的采样状态实际上更接近训练路径中更早时刻的状态。速度缩放通过将滞后状态沿速度方向向前推进，使其与下一时刻的模型输入时间更好地匹配，从而提升生成质量。 - \*\*建立无需图像质量指标的增益标定方法\*\* 基于上述机制，论文提出直接\*\*测量群体时间滞后\*\*并据此选择增益 γ_(lag) 。该方法无需解码图像或计算 FID 等图像质量指标，在低 NFE 设置下（如 ImageNet-256 上 NFE 25）将 FID 从 28.0 降至 12.21 。 - \*\*解释不同采样设置下最优增益的变化规律\*\* 论文进一步说明，最优增益随数值积分精度（NFE）、引导强度（guidance）和图像评估指标的不同而变化，并非模型本身的固定属性。在无条件 ImageNet 实验中，作者发现固定乘数 kappa 可大致描述“基于滞后的增益”与“最低 FID 增益”之间的关系，且该规律在更高 NFE 下依然成立。 Q2: 有哪些相关研究？ 根据论文内容，相关研究可分为以下几个方向： ### 1. 流匹配与图像生成基础 - \*\*Flow Matching\*\* Lipman 等人 (2023) 提出了流匹配框架，通过回归预设路径上的目标速度场来避免训练期间对常微分方程进行数值积分，从而学习将源分布传输至数据分布的速度场 v^*(x, t) 。 - \*\*可扩展架构\*\* Peebles & Xie (2023) 提出了基于 Transformer 的扩散模型骨干 DiT；Ma 等人 (2024) 在此基础上提出了 SiT，将其置于随机插值框架中，支持流与扩散目标以及确定性或随机采样；Yu 等人 (2025) 提出 REPA，通过对齐隐藏表示与预训练视觉编码器特征来改进 SiT 训练。 ### 2. 状态–时间不匹配（State–Time Mismatch） 该方向是本文机制分析的核心背景，研究采样状态与模型输入时间之间的错位。 \*\*训练修正方法：\*\* - \*\*Input Perturbation\*\* (Ning et al., 2023) 假设对训练状态添加高斯扰动可以模拟采样早期累积的误差，通过在扰动状态上训练去噪器使其学会从累积误差中恢复。 - \*\*MixFlow\*\* (Li et al., 2026a) 观察到生成状态滞后于调度时间，因此让模型在时间 t 处训练时接触来自更早时间的状态。 - \*\*DEFAR\*\* (Huang et al., 2026) 在训练期间模拟一步推理，将模型暴露于受其自身采样误差影响的状态，并训练模型预测将该状态移向目标图像的速度。 \*\*采样修正方法：\*\* - \*\*Epsilon Scaling\*\* (Ning et al., 2024) 扩散模型中的类似技术，将预测噪声除以大于 1 的因子，其动机是相同时间下生成状态的噪声预测范数大于真实状态。 - \*\*Time-Shift Sampler\*\* (Li et al., 2024) 利用生成图像内部像素和通道值的方差推断其有效扩散时间，并将该时间提供给下一次模型调用。 \*\*移除噪声水平条件：\*\* - Sun 等人 (2025) 表明大多数扩散、流匹配和一致性模型在没有噪声条件的情况下仍保持功能性。 - Kadkhodaie 等人 (2026) 研究了盲去噪公式，并将其与状态–时间不匹配直接联系：去噪器从状态中推断当前噪声水平并遵循隐式调度。 - Mohan 等人 (2020) 和 Saied & Fleuret (2026) 展示了等变盲去噪器可以在未见过测试噪声水平的情况下进行泛化。 ### 3. 速度缩放与速度赤字假说 - \*\*Li 等人 (2026b)\*\* 是本文直接回应的工作。他们提出了 \*\*Scale Schedule Corrector (SSC)\*\*，即在采样期间将学习到的速度场乘以增益 γ(t) 。他们将此改进归因于 MSE 训练导致的速度幅度被系统性低估（即“速度赤字”）。本文通过理论分析和实验反驳了该假说，并提出速度缩放的效果实际上源于减少群体时间滞后。 ### 4. 其他相关技术 - \*\*Classifier-Free Guidance\*\* (Ho & Salimans, 2021) 将含标签与不含标签的预测结合以控制类别条件对采样的影响。本文研究了不同引导强度下最优增益的变化规律。 - \*\*评估指标\*\* Heusel 等人 (2017) 提出的 Fréchet Inception Distance (FID) 是本文主要的图像质量评估标准。 Q3: 论文如何解决这个问题？ 论文通过\*\*理论反驳\*\*、\*\*机制识别\*\*、\*\*直接测量\*\*与\*\*增益标定\*\*四个层面系统性地解决了速度缩放为何有效以及如何正确利用它的问题。 ### 1. 理论分析：否定“速度赤字”假说 论文首先证明，基于均方误差（MSE）的流匹配训练\*\*不会\*\*产生速度幅度不足： - \*\*群体最优速度场的精确性\*\* 对于线性训练路径 X_t = (1-t)X_0 + tX_1 ，MSE 损失的最小化器为条件期望：
v^(x, t) = E[U mid X_t = x]
该场满足连续性方程，能够\*精确地**将源分布传输至数据分布（第4节；附录B.1）。 - **目标变差的正确解释** 利用方差恒等式：
E[|U|^2 mid Xt] = |v^(X_t, t)|^2 + E[|U - v^(X_t, t)|^2 mid X_t]
论文指出 $|v^|^2 < E
|U|^2
$ 的差额反映的是\*条件目标变差**（不同训练轨迹交叉于同一点导致的合法变化），而非缺失的速度分量（第4节）。 - **预训练模型的实证检验** 在 ImageNet 上，对预训练 SiT-XL/2 拟合最小化流匹配误差的标量乘数：
γ(FM)(t) = E[langle vθ(X_t, t), U rangle mid t]E[|vθ(Xt, t)|^2 mid t]
其结果均值仅为 0.999 ，且在所有时刻均接近 1，表明学习到的场在真实训练状态上并无系统性低估（第4节；附录F.1）。 ### 2. 机制识别：群体时间滞后（Population Time Lag） 论文提出，速度缩放改善采样质量的核心机制是**纠正群体时间滞后**： - **滞后的定义** 在模型时间 t 处，令 p_t(x,y) 为真实训练路径状态分布， q_t^u(x,y) 为无缩放采样状态分布。训练一个探针 sφ(x,y) 估计路径时间，群体时间滞后定义为：
δφ(t) = E((x,y)sim pt)[sφ(x,y)] - E((x,y)sim q_t^u)[sφ(x,y)]
正值表示采样状态在群体意义上落后于其模型输入时间（第5.1节）。 - **粗糙采样导致滞后** 以极端的 NFE 2 Euler 步为例，中间状态 X(1/2) = (1) / (2)X_0 + (1) / (2)μ_y 仅包含类别均值而缺乏样本特定结构，探针将其解读为更早时间的状态（第7.1节；附录D.3）。 ### 3. 两种纠正策略的对比 论文将速度缩放与另一种逻辑上等价的纠正方式并列分析： - **模型时间校正（Model-Time Correction）** 将输入模型的时间从 t 替换为 t - δφ(t) ，使时间输入与滞后状态匹配。该方法在不改变速度幅度的情况下改善了 FID（NFE 50 下从 13.8 降至 8.8），证明纠正时间错位本身即可提升质量（第5.2节；附录D.4）。 - **速度缩放（Velocity Scaling）** 考虑 Euler 步长 h ，若更新状态 xt + h v_t 实际上近似于真实路径上更早时刻 τ 的状态 xτ ，则缩放后的步进满足：
xt + γ h v_t ≈ x(t+γ(τ-t)) ≈ x_(t+h) quad 当 quad γ(τ-t) ≈ h
因此速度缩放将滞后状态**向前推进**，使其在下次模型调用时更好地匹配输入时间 t+h （第5.3节）。 ### 4. 基于滞后的增益标定（Lag-Based Gain Selection） 论文提出了一种**无需图像质量指标**的增益选择方法： - **标定目标** 对于 K 个后更新时间 t_i ，选择常数增益：
γ(lag) = argmin(γ > 0) (1) / (K)∑(i=1)^K δφ(ti; γ)^2
该优化仅依赖探针读数与采样轨迹，不涉及图像解码或 FID 计算（第5.4节；附录E）。 - **效果** 在 ImageNet-256 上，此方法在 NFE 25 时将 FID 从 28.0 降至 12.21 。在全部 20 个测试的无条件 ImageNet 设置中，滞后标定增益平均恢复了最低 FID 增益所实现 FID 降幅的 49% ；在 NFE 25 时该比例达 81% （第5.4节；附录E.3）。 ### 5. 控制实验验证机制 为验证速度缩放并非简单纠正场幅度或积分误差，论文设计了多项控制： - **冻结场控制（Frozen-Field Control）** 将采样轨迹中已记录的未缩放速度预测乘以增益，但**不在移动后的状态上重新评估模型**。在随机采样下，该控制仅实现了完整速度缩放 FID 降幅的 22.4% – 24.9% ，说明大部分改善依赖于在前进状态上重新预测速度（第6节；附录G）。 - **径向控制（Radial Control）** 将额外推进 (γ-1)v 替换为同范数但沿径向 (γ-1)|v|x/|x| 的方向。该控制反而使 FID 恶化，证明**推进方向**至关重要（第6节；附录G.5）。 ### 6. 跨设置的最优增益规律 论文进一步解释了为何最低 FID 增益因 NFE、求解器和引导强度而异： - ** kappa 乘数假说** 令 γ^*(FID)(N) 为 NFE N 时的最低 FID 增益，论文发现：
γ^(FID)(N) ≈ kappa · γ(lag)(N), quad kappa = γ^(FID)(25)γ(lag)(25)
每个模型拟合一个固定的 kappa 后，可在 NFE 50、100、250 处较准确地预测最优增益，平均绝对误差仅为 0.011 （第7节）。 - **协方差锐化（Covariance Sharpening）** 超出滞后校正部分的额外增益会改变终点协方差：它在真实数据方差更大的方向上增加更多方差。在 Gaussian 示例中， γ ≠ 1 会将终点协方差从 Sigma 变为 Sigma^γ 。对于 SiT，这种“锐化”效应可解释为何 kappa > 1 的额外增益仍能改善 FID（第7.2节；附录H.2）。 ### 7. 边界条件验证 - **CIFAR-10 反例** 在无解码器的 CIFAR-10 NCSN++ 模型上，群体时间滞后极小，探针标定增益接近 1，且最低 FID 始终出现在增益为 1 处。这反向验证了“无滞后则无增益收益”的因果逻辑（第7.3节；附录I.1）。 - **分类器自由引导（CFG）** 随着引导强度 ω 增加，最低 FID 增益下降甚至低于 1，而滞后标定增益下降幅度较小。这表明强引导下的最优增益变化超出了单纯的时间滞后纠正，涉及精度–召回权衡（第7.3节；附录I.2）。 Q4: 论文做了哪些实验？ 论文围绕**速度缩放的有效性机制**与**增益选择方法**展开了多组实验，涵盖理论验证、直接测量、控制对比与跨设置泛化。主要实验如下： —- ### 1. 速度赤字假说的检验实验 - **预训练场幅度标定** 在 ImageNet 上选取 20 个时间步，对预训练 SiT-XL/2 拟合最小化流匹配误差的标量乘数：
γ(FM)(t) = E[langle vθ(Xt, t), U rangle mid t]E[|vθ(Xt, t)|^2 mid t]
使用 16,000 图像–噪声对。结果显示该乘数均值仅为 0.999 ，在所有时刻均接近 1，反驳了“MSE 训练导致系统性速度低估”的观点（第 4 节；附录 F.1）。 —- ### 2. 群体时间滞后的测量与验证实验 - **探针训练与验证** 在真实线性路径状态上训练轻量级时间估计探针（probe），输入为潜在状态与类别标签，输出为路径时间估计。使用独立的 12,800/3,200/16,000（或等效）样本进行训练、概率温度校准与验证（附录 D.1；表 5）。 - **探针方向性验证** 在 11,200 个 held-out 真实状态上，将已知时间减少 Delta t 与同等大小的垂直于路径方向的扰动进行对比。探针对已知时间变化的响应为 -0.0499 （ Delta t=0.05 ），而对垂直扰动仅响应 -0.00519 ，证明探针追踪的是路径时间而非任意状态变化（附录 D.2；表 6）。 - **粗采样缺失细化分析** 以 NFE 2 的极端 Euler 步为例，展示中间状态仅包含类别均值而缺乏样本特定结构。使用全局 RMS 归一化探针测量，Euler 状态在 t=0.5 处被解读为平均时间 0.254 ，显著落后于真实状态的 0.493 （附录 D.3）。 —- ### 3. 模型时间校正实验 - **SiT 时间校正** 将模型输入时间替换为 t - δφ(t) ，保持速度幅度不变。在 NFE 50 的公开 hybrid SDE 采样器下，FID 从 13.8 降至 8.8 ；使用尺度归一化探针的结果为 8.6 ，证明效果不仅是范数读数（附录 D.4）。 - **ADM U-Net 迁移** 将相同逻辑应用于 LFM ADM U-Net，NFE 50 下 FID 从 22.7 降至 16.7 ，而速度缩放（增益 1.075 ）可进一步降至 13.2 （附录 D.5；表 7）。 —- ### 4. 基于滞后的增益标定实验 - **直接标量标定** 在 SiT（S/2、B/2、L/2、XL/2）、REPA-SiT-XL/2、ADM U-Net 与 CIFAR-10 NCSN++ 共 6 个模型上，于 NFE 25/50/100/250 处求解：
γ(lag) = argmin(γ>0) (1) / (K)∑(i=1)^K δφ(ti; γ)^2
使用 256–1,280 条配对轨迹与 Brent 一维优化，增益分辨率 0.01 （第 5.4 节；附录 E.1）。 - 新鲜路径验证 将表 8 中拟合的固定增益应用于全新 1,280 条轨迹。所有 20 个 ImageNet 设置均降低了群体时间滞后；CIFAR-10 滞后本身极小（附录 E.2；表 9）。 - 标定稳定性 测试不同轨迹数量（128–1,024 条）与不同探针训练种子对 γ(lag) 的影响。256 条路径与 1,280 条路径的平均绝对差异为 0.00223 ；三个种子在 SiT-XL/2 NFE 50 处均选出增益 1.04 （附录 E.4–E.5；表 15–16）。 - 时变 Schedule 对比 对 SiT-XL/2 拟合六项三角基函数的时变增益 schedule。在 NFE 25 时，schedule 与匹配均值的常数增益分别为 FID 13.0 与 12.5 ，表明 schedule 形状影响有限（附录 E.6；表 17）。 —- ### 5. 图像质量与增益响应实验 - FID 增益曲线 在 ImageNet 与 CIFAR-10 上扫描常数增益网格（通常 0.975 – 1.175 ，步长 0.0125 或更细），每点 50,000 张配对图像，评估 FID、sFID、Inception Score、Precision/Recall、Density/Coverage 及 DINOv2 Fréchet distance（附录 C.4）。 - 跨模型/NFE 汇总 无条件 ImageNet 设置中， γ(lag) 在 NFE 25 时平均恢复了最低 FID 增益所实现降幅的 81% ，在 NFE 250 时为 15% （附录 E.3；表 12）。 - kappa 乘数假说验证 令 kappa = γ^*(FID)(25)/γ(lag)(25) ，将其复用于 NFE 50/100/250。跨四个 SiT 尺寸，12 个更高 NFE 预测的平均绝对增益误差为 0.011 ；NFE 250 处 kappa 调整增益的 FID 接近各模型最低测量值（第 7.2 节；表 1、13–14；图 4）。 —- ### 6. 控制实验：改变状态响应（Changed-State Response） - 冻结场控制（Frozen-Field Control） 沿未缩放轨迹记录速度预测，乘以增益后推进状态，但不在新状态上重新调用模型。在随机采样下，该控制仅实现完整速度缩放 FID 降幅的 22.4% – 24.9% ；在确定性 ODE 下约为 54% – 59% （第 6 节；附录 G.1；表 22）。 - 响应分量分解 将改变状态响应分解为平行/垂直于未缩放速度的分量。保留垂直分量（FID 8.4）优于保留平行分量（FID 12.1），但仍不及完整响应（FID 7.7）（附录 G.4；图 8）。 - 响应方向控制 以等范数向量替换实现的垂直响应：平行替换（指向未缩放速度方向）使 FID 升至 14.7 ；随机置乱后投影回垂直方向使 FID 升至 25.3 。证明响应的具体方向至关重要，而非仅重新评估本身（附录 G.4；表 24）。 - 径向控制 将额外推进 (γ-1)v 替换为同范数的径向方向 (γ-1)|v|x/|x| ，同时保持模型在新状态上的重新评估。该控制使 FID 从 13.9 恶化至 19.4 ，而标准速度缩放改善至 7.8 （附录 G.5）。 —- ### 7. 求解器精度与采样设置实验 - NFE 与模型尺寸 在 SiT-S/2 至 XL/2 与 ADM U-Net 上，NFE 25/50/100/250 的最低 FID 增益均向 1 收敛；CIFAR-10 的最低 FID 增益始终为 1（第 7.1 节；图 3a,d；表 8）。 - *随机 Q5: 有什么可以进一步探索的点？ 基于论文的发现与讨论，以下几个方向值得进一步深入探索： ### 1. 额外增益 kappa 的理论解释与协方差锐化机制 论文发现，最低 FID 增益可近似分解为 γ^(FID) ≈ kappa · γ(lag) ，且 kappa 在不同 NFE 间保持大致恒定。然而， kappa > 1 的深层原因仅被初步关联到协方差锐化（covariance sharpening）：增益会在真实数据方差更大的方向上不成比例地增加端点方差。未来可探索： - 是否可以从流匹配的连续性方程或 Fokker-Planck 方程出发，解析推导 kappa 与目标分布协方差特征值之间的关系； - 协方差锐化是改善 FID 的充分条件还是伴随现象，是否存在其他未被识别的分布级变化（如高阶矩或条件结构）在起作用。 ### 2. 在线自适应增益与动态时间滞后校正 论文采用常数增益并通过离线探针测量标定。考虑到状态–时间不匹配在采样过程中是动态演化的，可研究： - 在线探针：在采样每一步实时估计当前状态的有效时间，并动态调整增益或时间输入，而非使用全局常数； - 与求解器耦合的自适应策略：类似自适应步长 ODE 求解器的思想，是否可将局部时间滞后估计作为误差指示器，自动调节局部增益或步长。 ### 3. 训练目标的重新设计 现有训练修正（如 MixFlow、Input Perturbation）通过启发式扰动或时间偏移来暴露模型于采样误差。论文的群体时间滞后测量提供了一种量化采样误差的工具，未来可探索： - 将测得的滞后曲线直接融入流匹配训练损失，例如对早期时间步施加更大的正则化，或设计时间感知的路径重加权； - 在训练阶段模拟不同 NFE 下的采样轨迹，并针对测量到的滞后显式优化，以减少训练–测试分布差异。 ### 4. 跨框架与跨架构的系统性验证 论文在 SiT、ADM U-Net 和 NCSN++ 上验证了结论，但以下边界仍待拓展： - Pixel-space vs. Latent-space 的差异：CIFAR-10（无解码器、像素空间）几乎没有群体时间滞后，而 ImageNet 模型（潜在空间）滞后显著。需要系统研究这种差异是源于空间表示（像素 vs. 潜在）、数据复杂度，还是模型容量/架构（U-Net vs. Transformer）； - 多步高阶求解器：论文主要使用 Euler 与 Heun 求解器。对于 DPM-Solver++ 等更高阶、多步方法，群体时间滞后的表现形式与最佳增益选择规律尚不清楚； - 扩散模型中的 Epsilon Scaling：论文指出 epsilon scaling 是扩散域的类似技术，但速度与噪声预测框架下的增益选择是否具有统一的数学对应关系（如文献中已有的流匹配–扩散等价性）值得形式化。 ### 5. Classifier-Free Guidance (CFG) 下的非单调增益现象 论文观察到，随着 CFG 强度增加，最优增益下降并可能低于 1，而滞后校正增益仍高于 1。这表明： - 引导机制引入了额外的时间–状态耦合，可能与条件分布的收缩或速度场结构改变有关； - 需要区分 CFG 引起的“有效速度幅度变化”与“分布模式坍缩（precision-recall 权衡）”对最优增益的独立贡献，进而建立引导感知的增益调度理论。 ### 6. 探针方法的改进与替代 群体时间滞后的测量目前依赖一个训练有素的监督探针，其局限性包括： - 探针可能仅对训练分布内的路径敏感，对严重偏离的路径估计不可靠； - 可探索无监督或自监督的时间估计器（如利用流匹配自身的速度场进行自洽性检验），降低对外部探针训练的依赖； - 在盲去噪（blind denoising）框架下，模型本身隐式推断噪声水平——是否可以利用模型内部表示直接提取时间信息，而无需额外探针。 ### 7. 多目标增益选择与用户可控生成 论文发现不同图像指标（FID、sFID、Precision、Recall）偏好不同增益（第 7.3 节）。这提示： - 增益不仅是“修复采样误差”的技术参数，也是控制生成分布特性（保真度 vs. 多样性）的调谐旋钮； - 可发展帕累托前沿方法，让用户根据应用场景（如偏好高 recall 的编辑任务 vs. 偏好高 precision 的生成任务）选择增益，而非单一追求最低 FID。 Q6: 总结一下论文的主要内容 这篇论文围绕流匹配（flow matching）生成模型中的速度缩放现象展开，系统反驳了既有解释，提出了新的机制理解，并建立了无需图像质量指标的增益标定方法。 ### 1. 研究背景与核心问题 近期研究表明，在流匹配采样阶段将学习到的速度场 vθ 乘以一个标量增益 γ(t) 能显著提升生成质量。先前工作（Li et al., 2026b）将此归因于均方误差（MSE）训练导致的速度赤字（velocity deficit），即认为 MSE 损失系统性低估了速度幅度，需要通过缩放来补偿。本文的核心问题是：速度缩放为何真正有效？MSE 训练是否真的造成了速度不足？ ### 2. 反驳“速度赤字”假说 论文从理论与实证两方面否定了“速度赤字”的存在： - 理论层面：流匹配的 MSE 损失最小化器为群体条件期望 $v^*(x, t) = E
U mid Xt = x
。该场精确满足连续性方程，能够无损地将源分布传输至数据分布。 |v^|^2 与 E
|U|^2
之间的差额反映的是条件目标变差（不同训练轨迹交叉导致的合法变化），而非缺失的速度分量。 - 实证层面：在预训练 SiT-XL/2 上，拟合最小化流匹配误差的标量乘数平均仅为 0.999 ，在所有时刻均接近 1。这表明学习到的场在真实训练状态上并无系统性低估。 ### 3. 核心机制：群体时间滞后（Population Time Lag） 论文提出，速度缩放改善采样的真正原因是纠正群体时间滞后： - 滞后的定义：在模型时间 t 处，采样状态分布与真实训练路径状态分布之间存在系统性偏移。具体而言，采样状态在群体意义上落后于其模型输入时间，即时间 t 处的生成状态更接近训练路径中更早时刻的状态。 - 产生原因：在粗采样（低 NFE）时，数值积分步长过大导致中间状态缺乏样本特定的图像结构。例如，NFE 2 的 Euler 中间状态仅包含类别均值，探针将其解读为显著早于 t=0.5 的时刻。 - 速度缩放的作用：通过放大当前速度，采样步进将滞后状态沿速度方向向前推进，使下一模型调用接收到的状态与其时间输入更好地匹配。一阶近似下，若未缩放步进到达等效时刻 τ ，则缩放 γ 可使状态到达 t + γ(τ - t) ，从而弥补滞后。 ### 4. 两种纠正策略的对比与验证 论文将速度缩放与*模型时间校正（model-time correction）并列分析： - 模型时间校正将输入网络的时间替换为 t - δφ(t) （其中 δ_φ(t) 为测量的群体时间滞后），在不改变速度幅度的情况下改善 FID。这证明纠正时间–状态不匹配本身即可提升质量。 - 控制实验表明，速度缩放的大部分收益依赖于在前进后的新状态上重新评估模型（改变状态响应）。冻结场控制（不在新状态上重新调用模型）在随机采样下仅实现约 22% – 25%$ 的 FID 改善，而错误的推进方向（径向控制）反而恶化 FID。 ### 5. 基于滞后的增益标定与跨设置规律 - 无需图像指标的标定：论文提出直接最小化群体时间滞后的常数增益：
γ(lag) = argmin(γ > 0) (1) / (K)∑(i=1)^K δφ(ti; γ)^2
该方法仅依赖探针读数与采样轨迹，不涉及解码或 FID 计算。在 ImageNet-256 NFE 25 时， γ(lag) 将 FID 从 28.0 降至 12.21 。 - **额外增益 kappa **：在无条件 ImageNet 实验中，最低 FID 增益 γ^_(FID) 与滞后增益满足近似关系 γ^(FID)(N) ≈ kappa · γ(lag)(N) ，其中 kappa 为按 NFE 25 拟合的固定乘数。该规律在 NFE 50/100/250 处依然成立，平均绝对误差仅 0.011 。 - **协方差锐化**：超出滞后校正的额外增益（即 kappa > 1 的部分）会改变端点协方差结构，在真实数据方差更大的方向上不成比例地增加方差。 - **设置依赖性**：最低 FID 增益随 NFE 增加而趋向 1，随求解器精度提高而降低，并受分类器自由引导强度与图像评估指标（FID vs. sFID）的影响。在 CIFAR-10 无解码器模型上，由于群体时间滞后极小，最优增益始终为 1。 ### 6. 主要结论 - MSE 训练**不会**产生速度赤字；流匹配的群体最优场是精确的。 - 速度缩放的本质是**纠正群体时间滞后**，通过推进滞后状态使其与模型时间输入重新对齐。 - 最佳增益并非模型的内在属性，而是**采样设置**（NFE、求解器、引导强度、评估指标）的函数。 - 基于滞后测量的标定方法为速度缩放提供了一种低成本、无需图像质量指标的初始增益选择策略。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Youssef Saied, François Fleuret
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10823.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10823
Published: 2026-10-11T02:11:25.446Z
9. Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models
Abstract:Text-to-image diffusion models are increasingly distilled into few-step variants and being deployed to enable fast inference. However, their ability to generate harmful or undesired content poses significant safety risks. Data-driven unlearning methods suppress targeted generations by fine-tuning model weights using specialized unlearning objectives. Crucially, these objectives implicitly rely on multi-step denoising dynamics, an assumption that breaks down for few-step distilled (FSD) models, resulting in ineffective forgetting. Furthermore, performing unlearning on the non-distilled base model and subsequently re-distilling it to obtain an unlearned FSD model incurs substantial computational and time overhead, making it impractical in many settings. Hence, we address this limitation with a preference-driven unlearning framework that revisits Direct Preference Optimization (DPO) for diffusion models. We show that standard DPO and its unlearning derivatives, formulated around noise-prediction error, transfer poorly to FSD models due to their altered generation dynamics. To overcome this, we introduce a modified preference optimization formulation explicitly aligned with the few-step generation properties, enabling direct concept removal in FSD models while preserving few-step efficiency and maintaining strong retention of desirable (non-targeted) capabilities. We evaluate our framework primarily on identity and NSFW (nudity) removal tasks and also extend our method to object-level unlearning. Extensive experiments demonstrate consistent and effective forgetting, and strong retention performance, establishing our method as a practical and principled solution for unlearning in FSD models.
中文摘要
摘要：文本到图像的扩散模型正越来越多地被蒸馏成少步变体，并被部署以实现快速推理。然而，它们生成有害或不期望内容的能力带来了显著的安全风险。数据驱动的消除学习方法通过使用专门的消除学习目标微调模型权重来抑制特定生成内容。关键是，这些目标在隐含上依赖于多步去噪动态，而这种假设在少步蒸馏（FSD）模型上不成立，导致消除学习效果不佳。此外，在非蒸馏的基础模型上执行消除学习，然后再进行蒸馏以获得消除后的FSD模型，会产生巨大的计算和时间开销，在许多情况下不可行。因此，我们提出了一种基于偏好驱动的消除学习框架，重新审视了扩散模型的直接偏好优化（DPO）。我们展示了，标准DPO及其基于去噪误差的消除学习衍生方法，由于生成动态的改变，在FSD模型上转移效果较差。为了解决这一问题，我们引入了一种修改后的偏好优化公式，明确与少步生成特性对齐，使得在FSD模型中可以直接移除特定概念，同时保持少步效率并保持对期望（非目标）能力的强保留。我们主要在身份和NSFW（裸体）移除任务上评估了我们的框架，并将方法扩展到对象级消除学习。大量实验表明，我们的方法在遗忘效果和保留性能上具有一致性和有效性，确立了其作为FSD模型中消除学习的实用且有原则的解决方案。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10859 (HTTP 429)
Authors: Gaurav Patel, Jun Fang, Greg Ver Steeg, Qiang Qiu, Sravan Sripada
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10859.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10859
Published: 2026-10-11T02:11:25.446Z
10. SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
Abstract:Vision-Language (VL) reasoning requires a model to both extract relevant and accurate information from an image (visual reasoning, VR), and to infer the answer from it (language reasoning, LR). Reinforcement learning with verifiable rewards typically trains both through a single chain-of-thought with a final-answer reward. This gives every CoT token the same sequence-level advantage, failing to distinguish capability specific errors. We propose SPLIT-RL, a staged post-training approach that trains VR and LR in disjoint phases. Because a group’s rollouts differ along one capability at a time, the group-relative advantage isolates it, and each phase is optimized using phase-specific reward. We further introduce Claim-Level Advantage (CLA-GRPO), which decomposes VR-phase rollouts into atomic visual claims and provides a fine-grained advantage at claim level based on visual-type group formation. Although trained in two phases, trained policy is evaluated like GRPO model, with a single CoT call at inference time. Under this protocol, SPLIT-RL improves average accuracy over GRPO by 1.4-6.1 points across Qwen3-VL models from 2B to 30B-A3B and InternVL3.5-8B. Evaluating each capability using an oracle based diagnostic shows that answer-only GRPO leaves perception unchanged, whereas SPLIT-RL improves both VR and LR.
中文摘要
摘要：视觉-语言（VL）推理要求模型既能从图像中提取相关且准确的信息（视觉推理，VR），又能从中推断答案（语言推理，LR）。利用可验证奖励的强化学习通常通过一个带有最终答案奖励的单链思维训练两者。这使得每个CoT令牌都具有相同的序列级优势，无法区分特定能力的错误。我们提出了SPLIT-RL，一种分阶段后训练方法，在不相交的阶段训练VR和LR。由于一组的展开在每次只在一种能力上有所不同，组相对优势能够隔离这种差异，并且每个阶段使用阶段特定的奖励进行优化。我们进一步引入了声明级优势（CLA-GRPO），将VR阶段的展开分解为原子视觉声明，并基于视觉类型组形成在声明级提供细粒度优势。尽管训练分为两个阶段，训练后的策略在推理时像GRPO模型一样评估，仅需一次CoT调用。在此协议下，SPLIT-RL在从2B到30B-A3B的Qwen3-VL模型以及InternVL3.5-8B上，使平均准确率相对于GRPO提高了1.4-6.1个百分点。使用基于oracle的诊断评估每项能力显示，仅答题GRPO不改变感知，而SPLIT-RL则同时提升了VR和LR。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10889 (HTTP 429)
Authors: Raja Kumar, Rajat Koner, Ritwick Chaudhry, Zhuowei Li, Nishant Sankaran, Yifan Xing
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.10889.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.10889
Published: 2026-10-11T02:11:25.446Z