ArXiv Domain 2026-10-20
数据来源：ArXiv Domain
LLM Domain Papers
1. Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
Abstract:In a small language model the vocabulary is the single largest part. In Gemma 3 270M the embedding table holds 168M of 268M parameters, and because quantisation methods leave the embedding in 16-bit, it is also most of the file once the rest of the model is compressed. We ask what that table actually buys. We replace it with one frozen table of 512-bit codes, 16 MB, with no trainable parameters, derived once from a pretrained embedding by principal-component projection and sign binarisation, and we train the same Gemma-shaped body from scratch on the same 2.05B tokens with and without it. The learned table buys 0.20 nats of validation loss for 2.6 times the trainable parameters, but on LAMBADA, HellaSwag and PIQA the frozen-table model is better or tied; only ARC-Easy favours the learned table. With a ternary BitNet b1.58 body the whole model is a 46 MB file, still ties the float model on LAMBADA and PIQA, and on a laptop CPU generates 615 to 740 tokens per second in 62 MB of memory, five to six times the speed of the float model’s 8-bit GGUF in this http URL at a seventh of the memory. The frozen table wins by 1.7 to 2.3 nats on rare words, accepts 10,000 new words after training with a 3% cost where the learned table collapses by 43%, and all of it is released with the weights, the data and every evaluation answer.
中文摘要
摘要：在一个小型语言模型中，词汇表是最大的部分。在 Gemma 3 270M 中，嵌入表占据了 268M 参数中的 168M，并且由于量化方法将嵌入保留为 16 位，一旦模型的其余部分被压缩，它也是文件的大部分。我们探讨了这个表实际上带来了什么好处。我们用一个冻结的 512 位代码表替换它，大小为 16 MB，无可训练参数，通过对预训练嵌入进行主成分投影和符号二值化得到，并在相同的 2.05B 令牌上从头训练同样的 Gemma 形状主体，有和没有该表两种情况。学习到的表在验证损失上带来了 0.20 nats 的收益，使用了 2.6 倍的可训练参数，但在 LAMBADA、HellaSwag 和 PIQA 上，冻结表模型表现更好或持平；只有 ARC-Easy 偏向学习表。使用三值化 BitNet b1.58 主体时，整个模型是 46 MB 的文件，在 LAMBADA 和 PIQA 上仍然与浮点模型相持平，并且在笔记本 CPU 上以 62 MB 内存生成每秒 615 到 740 个令牌，是该 floating-point 模型 8-bit GGUF 在此 http URL 中速度的五到六倍，同时占用内存约七分之一。冻结表在稀有单词上优势为 1.7 到 2.3 nats，训练后可以接受 10,000 个新词，仅需 3% 成本，而学习表则崩溃 43%，所有内容随权重、数据和每个评估答案一起发布。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*小型语言模型中词汇嵌入表（vocabulary embedding table）参数与存储开销过高\*\*的问题，并系统评估这种开销是否带来了相应的性能收益。 具体而言，论文针对以下核心问题展开： - \*\*嵌入表在小模型中占据主导地位\*\*：以 Gemma 3 270M 为例，其 268M 总参数中，嵌入表（含输出头）独占 168M（62.6%），远超前馈网络与注意力层的参数量。对于小模型而言，嵌入表本身就是模型的主体。 - \*\*量化无法压缩嵌入表\*\*：现有的量化与压缩方法（如 BitNet、GPTQ、AWQ、llama.cpp 的 GGUF 格式）通常将嵌入层与输出头保留为 16 位浮点。这意味着当模型主体被大幅压缩后，嵌入表反而成为文件体积和内存占用的最大来源。例如，一个主体量化为三值的 BitNet 模型，其 16 位嵌入表可达 335 MB，而三值主体仅约 20 MB。 - \*\*质疑“可训练嵌入表”的必要性\*\*：论文提出，嵌入表的两项功能——向模型主体标识输入 token、以及对输出进行评分——未必需要为每个 token 存储数百个可训练的浮点数。因此，作者探索用一个\*\*冻结的、无训练参数的 512 位二进制编码表\*\*（仅 16.8 MB）来替代传统的可训练嵌入表。 - \*\*验证“冻结词汇表”的性价比\*\*：通过在完全相同的模型架构（Gemma 3 270M）、相同数据（2.05B tokens）和相同训练设置下进行控制实验，论文比较了： - \*\*Arm A\*\*：标准可训练嵌入表（268.1M 可训练参数） - \*\*Arm B\*\*：冻结二进制编码表 + 浮点主体（101.0M 可训练参数） - \*\*Arm C\*\*：冻结二进制编码表 + 三值 BitNet 主体（101.2M 可训练参数） 论文最终证明，尽管可训练嵌入表在验证损失上略优（约 0.20 nats），但在多项下游基准（如 LAMBADA、HellaSwag、PIQA）上，冻结表模型与可训练表模型持平甚至更优；同时，冻结表模型在参数量、文件体积、内存占用和 CPU 推理速度上均具有显著优势。此外，冻结表还支持在训练后无需重新训练即可扩展新词汇，而可训练表在此场景下会完全失效。 Q2: 有哪些相关研究？ 与本文相关的研究工作可归纳为以下几个方向： ### 1. 固定或简化嵌入表的研究 - \*\*Bochkov
8, 9
** 探索了完全弃用可训练输入嵌入表的方案：使用基于 token 身份生成的极简固定二进制码作为输入，但输出端仍保留可训练的浮点输出头。与本文不同，这些固定代码不携带预训练语义，且输入/输出不共享同一套编码。 - **Press & Wolf
10
** 提出将输入嵌入与输出嵌入绑定（weight tying），以减少参数量，但嵌入表本身仍是可训练的浮点矩阵。 - **ALBERT
11
** 对嵌入表进行低秩分解：将大的词汇表矩阵拆分为一个较小的可学习嵌入和一个投影矩阵，但仍保留训练过程。 - **Hash Embeddings
12
** 通过哈希函数让多个 token 共享嵌入表中的同一行，以降低表的大小，然而嵌入值仍保持可训练。 - **Meister et al.
13
** 在输出端将每个 token 的偏置初始化为训练数据中的对数一元频率分布（log unigram distribution），并在训练过程中继续更新。本文的 **Arm C** 采用了类似的初始化，但允许其继续训练；而 **Arm B** 则完全冻结这一先验（称为 *seal*）。 ### 2. 模型权重量化与压缩 - **BitNet
1, 2, 3, 4
** 证明了 Transformer 可在权重被限制为 -1, 0, +1 （或等价的 1.58 位）时保持大部分性能。本文 **Arm C** 直接采用 BitNet b1.58 的 `BitLinear`、RMSNorm 输入、int8 激活及直通估计器（straight-through estimator）等训练方案。值得注意的是，BitNet 相关论文在报告模型内存时通常**排除了嵌入表**。 - **GPTQ
14
** 与 **AWQ
15
** 属于训练后量化（post-training quantization）方法，它们压缩模型主体，但普遍将 `embed_tokens` 与 `lm_head` 保留在 16 位浮点精度，这使得嵌入表在量化后反而占据更大比例。 ### 3. 训练数据、架构与优化技术 - **FineWeb-Edu
5
** 提供了本文使用的 2.05B token 训练语料。 - **Gemma 3
16
** 提供了本文复现的 270M 架构配置，同时也是冻结词表所依赖的预训练嵌入来源。 - **直通估计器（Straight-Through Estimator）
17
** 用于在训练过程中传播经过离散化/三值化权重的梯度，是 BitNet 风格训练的关键技术。 ### 4. 作者自身的前期工作 - **SHADOW-250M
25
** 是一个 250M 参数、基于 512 位冻结词表和亚 2-bit 主体的模型，验证了极小编embedding方案的可行性，但缺乏与可训练词表的严格对照。 - **SHADOW-50M
26
** 是一个 44M 参数的三值模型，配备 73,880 token 的冻结词表，实现了极高的 CPU 推理速度与极低的内存占用，但同样未与可训练词表进行控制变量比较。 本文的核心贡献在于提供了**严格的控制实验**：在完全相同的模型架构、数据、训练步数与随机种子下，首次系统量化了“可训练嵌入表”相对于“冻结语义二进制编码”的真实性能收益与成本。 Q3: 论文如何解决这个问题？ 论文通过将传统的**可训练嵌入表**替换为一个**冻结的、基于语义的二进制编码表**，并在严格控制的实验条件下验证其性价比，从而解决小模型中词汇嵌入表参数与存储开销过高的问题。具体方法如下： ### 1. 构造冻结的 512 位词汇表 取一个已有的预训练嵌入矩阵 E （例如 Gemma 3 270M 的嵌入，尺寸为 262,144 × 640 ），先对其进行中心化处理，再提取前 512 个主成分方向构成投影矩阵 W ，最后仅保留每个 token 投影结果的符号：
code(t) = sign( W^top (E_t - μ) ) ∈ -1, +1^(512)
每个 token thus 获得一个 512 位的固定二进制码。整个词汇表仅占用 262,144 × 512 bits ≈ 16.8 MB ，且**没有任何可训练参数**，在后续训练中完全冻结。这 512 个主成分方向保留了原嵌入矩阵 92.3% 的方差，并在 WordSim-353 等语义相似度任务上与原始浮点嵌入保持相近的相关性。 ### 2. 输入与输出的适配映射 由于模型主体（transformer body）仍按原架构设计为 640 维，需要在词汇表与主体之间引入极小的可训练桥接层： - **输入侧**：token 的 512 维冻结码通过一个可训练的线性映射（ 512 to 640 ）投影到模型主体的输入维度。 - **输出侧**：模型主体的最终 640 维隐藏状态通过另一个可训练的线性映射（ 640 to 512 ）投影回 512 维，随后与所有 token 的冻结码做**点积评分**，并除以 √512 进行缩放。 这两个线性映射仅需约 0.65M 参数。 ### 3. 引入固定的先验（seal） 除了点积分数外，还为每个 token 叠加一个固定的先验偏置项——即该 token 在训练数据中的**对数一元频率**（log unigram frequency）。该先验占用约 1MB 存储，但本身无梯度。在 **Arm C** 中，该先验允许从一元频率初始值开始继续训练；在 **Arm B** 中则完全冻结。 ### 4. 严格的控制实验 为了隔离“嵌入表是否可训练”这一单一变量，论文设计了三个实验组，其余条件（Gemma 3 270M 架构、2.05B tokens 的 FineWeb-Edu 数据、训练步数、随机种子、批次顺序）完全一致： - **Arm A**：标准基线，使用 262,144 × 640 的可训练绑定嵌入表，主体为 bfloat16。共 268.1M 可训练参数。 - **Arm B**：使用上述冻结表 + 固定 seal，主体为浮点。共 101.0M 可训练参数。 - **Arm C**：使用上述冻结表，但将主体所有线性层替换为 BitNet b1.58 的三值 `BitLinear`（权重 ∈ -1, 0, +1 ），并采用 BitNet 的训练调度，同时允许 seal 训练。共 101.2M 可训练参数。 ### 5. 系统评估与关键结论 通过对比三个实验组，论文从多个维度证明了冻结表方案的有效性： - **性能损失极小**：可训练表仅带来 0.20 nats（约 23% 困惑度）的验证损失优势。但在 LAMBADA、HellaSwag、PIQA 等零样本基准上，冻结表模型（B）与可训练表模型（A）持平甚至更优；仅在 ARC-Easy 上 A 领先 3.4 个百分点。 - **罕见词优势**：对于训练中出现次数在 10 – 99 次的罕见 token，冻结表反而比可训练表低 1.7 – 2.3 nats 的损失，因为可训练表从未获得足够梯度来学好这些行。 - **训练后扩展词汇**：冻结表允许在**无需任何训练**的情况下添加新 token（例如将新词的代码设为其子词片段代码的均值）。实验显示，添加 10,000 个生物医学新词仅带来约 3% 的性能下降；而可训练表因新行随机初始化，性能暴跌 43% 。 - **推理效率飞跃**：采用冻结表 + 三值主体的 **Arm C** 总文件仅 46.2MB （其中 16.8 MB 为冻结表，约 20 MB 为三值主体）。在笔记本 CPU 上，该模型以 62 MB 峰值内存实现每秒 615 – 740 token 的生成速度，是 8-bit GGUF 浮点模型（ 471 MB 内存、 116 tok/s）的 **5–6 倍速度** 与 **1/7 内存**。 - **参数量与压缩率**：冻结表方案将可训练参数量从 268M 降至约 101M ，且因嵌入表本身已是 1-bit，不受现有量化方法“保留嵌入层为 16-bit”的制约，从根本上消除了小模型中的“词汇表瓶颈”。 Q4: 论文做了哪些实验？ 论文围绕“嵌入表是否物有所值”这一核心问题，设计了一套严格的控制实验，在**完全相同的模型架构、训练数据、训练步数与随机种子**下，比较了三种训练配置，并辅以多组诊断与扩展实验。具体实验安排如下： —- ### 1. 主体训练实验（三臂对照） 所有实验均以 Gemma 3 270M 的公开配置为骨架（18 层、宽度 640、FFN 2,048、4 组查询头与 1 组 KV 头、RoPE、RMSNorm 等），在 2.05B tokens 的 FineWeb-Edu 数据上从零开始训练，批次顺序与种子完全一致。 - **Arm A（可训练表基线）**：保留标准的 262,144 × 640 可训练绑定嵌入表，主体以 bfloat16 自动混合精度训练。共 268.1M 可训练参数。 - **Arm B（冻结表 + 浮点主体）**：将嵌入表替换为 16.8 MB 的冻结 512-bit 主成分符号码，输入/输出各接小型可训练线性映射（ 512 arrow 640 ），并叠加固定的对数一元频率先验（seal）。主体同 Arm A 为浮点。共 101.0M 可训练参数。 - **Arm C（冻结表 + 三值主体）**：在 Arm B 的基础上，将所有线性层替换为 BitNet b1.58 的 `BitLinear`（权重三值化、int8 激活、直通估计器），注意力与 KV 缓存保持 16-bit，并允许 seal 从一元频率初始值继续训练。采用 BitNet 官方发布的训练调度（两段式学习率、前后半段差异化权重衰减）。共 101.2M 可训练参数。 训练成本：每臂在单张 RTX 5090 上运行 14–16 小时，约 18 美元；整项研究含评估低于 75 美元。 —- ### 2. 验证损失监控与收敛分析 - **全程验证损失曲线**：每 200 步在 512 条 held-out 序列（长度 1,024）上测量验证损失（nats/token），持续 7,820 步（图 1）。 - **训练后期放大**：对最后 0.5B tokens 的训练损失进行平滑，观察收敛细节（图 2）。 - **损失差距的定位**：将验证损失按**目标 token 在训练集中的出现频次**分层（从未出现、10–99 次、100–999 次、…、100 万次以上），统计不同频率区间的损失差异（表 4）。 —- ### 3. 零样本下游基准评估 使用 lm-evaluation-harness 在四个标准任务上进行零样本全量测试，并保存**每一道题**的模型输出，所有报告结果均附带 10,000 次 bootstrap 重抽样的 95% 置信区间： - **LAMBADA**（语言建模与长程依赖） - **HellaSwag**（常识推理） - **ARC-Easy**（科学问答） - **PIQA**（物理常识推理） 同时报告配对差值表（B–A、C–A、C–B），以判断差异是否包含零（即“统计打平”）。 —- ### 4. 训练后词汇扩展实验 测试冻结表在**无需额外训练**情况下吸收新 token 的能力： - **语料**：PubMed 文章，选取出现频率最高的 10,000 个生物医学词（这些词原本被 Gemma 的 tokenizer 切分为平均 2.5 个子词）。 - **注入方式**： - 对 B/C：新词代码取其子词片段在冻结表中对应码的均值；先验设为验证集上估计的该词频率。 - 对 A：新词行初始化为其已有词行的平均范数，作为公平的“未训练”对照。 - **规模梯度**：分别测试添加 2,000、5,000、10,000 个新词，测量在 300 篇 held-out 文章上的损失变化（以 nats/character 计）。 —- ### 5. 未见 token 与跨语言分析 - **20 种语言文本**：在 A 与 B 上测试，比较整体表现；并特别考察训练集中**从未出现**的 token。 - **先验修正**：对训练计数为零的 token，将 seal 从 log(1/N) 改为已见 token 的中位数先验，观察 B 在泰语、阿拉伯语、俄语等语言上相对 A 的变化。 —- ### 6. 控制 token 的上下文学习实验 评估模型在**全新控制 token**（如 ``、``、``、引用标记等，共 5 大家族、24 种提示变体）上的单样本与五样本上下文学习能力。这检验了冻结码是否能通过上下文示例快速习得新符号的用法。 —- ### 7. Emoji 预测探索实验 在 SemEval-2018 Task 2（推文 emoji 预测，20 类）上测试三臂模型。由于 2B tokens 训练数据几乎不含推文-表情映射知识，此实验作为**负面/边界检验**，验证冻结码无法解锁训练分布之外的知识。 —- ### 8. 笔记本 CPU 推理效率对比 在相同硬件（Intel Xeon W-11955M，8 线程）上，对 Arm A（经 llama.cpp 以 GGUF f16 / Q8_0 / Q4_K_M 运行）与 Arm C（自定义 AVX2 C 内核，2-bit 打包主体、1-bit 表、32-bit 映射与归一化参数）进行受控测速： - **生成速度**：贪婪解码，128-token 上下文，测量 tokens/second。 - **峰值驻留内存**：生成过程中的进程峰值内存。 - **困惑度复现**：C 内核在 64 个验证 token 上与 PyTorch 推理逐位 argmax 一致；A 的 GGUF 以 llama-perplexity 在 300k 验证 tokens 上测量，确认 8-bit 量化无损。 —- ### 9. 先验训练消融（部分运行） 为隔离 Arm C 中“三值主体”、“BitNet 调度”与“可训练 seal”三因素的各自贡献，额外运行了一组 **B + 可训练先验** 的配置，并在匹配的检查点上与 B 比较，测得 seal 训练带来的损失增益约为 0.003 – 0.022 nats。因预算限制，该运行在第 1,833 步终止。 Q5: 有什么可以进一步探索的点？ 基于论文的实验设计与局限分析，以下方向值得进一步探索： —- ### 1. 超大规模数据下的 scaling 行为 论文指出， 2.05B tokens 对 268M 参数的可训练嵌入表（Arm A）属于欠训练状态。在**Chinchilla-optimal 或更高数据量**（如 20B tokens）下重复该控制实验，可以验证：随着每个 token 行获得更充分的梯度更新，可训练表的损失优势是否会扩大至显著改变下游基准格局，抑或冻结表仍能维持其性价比。 —- ### 2. 训练调度与三值化权重的独立贡献分解 Arm C 同时引入了三处变化：BitNet b1.58 三值主体、BitNet 两段式训练调度、以及可训练的 seal 先验。论文仅通过部分运行估计了 seal 训练的贡献（约 0.003 – 0.022 nats）。未来工作应**完全隔离训练调度的独立效应**，例如让 Arm B 采用与 Arm C 相同的学习率 schedule 但保持浮点权重，从而精确量化“三值化本身”对冻结表兼容性的影响。 —- ### 3. 无预训练依赖的冻结表构造 当前冻结表通过 Gemma 3 270M 的预训练嵌入经 PCA 与符号化得到，因此既继承其知识偏见，也受限于其许可条款。探索**从零构造语义码本**的方法——例如先训练一个带可训练表的极小型参考模型，冻结其码本后再作为更大模型的词汇层——将验证该方法是否必须依赖高质量预训练嵌入，抑或具有普适性。 —- ### 4. 多模态统一码空间 论文末章已预告该方向：将冻结 512-bit 表的思想扩展至**文本、图像、音频与视频**的统一表示。若所有模态的输入与输出均投影到同一离散码空间，则单一小型 transformer 主体即可跨模态工作，且全程无需任何可训练嵌入层。关键待解问题包括：跨模态码本的语义对齐、模态间碰撞率，以及 CPU 端实时多模态推理的内存与速度边界。 —- ### 5. 词汇扩展的质量增益上限 论文发现，在 tokenizer 已高度覆盖英语子词的情况下（Gemma 的词汇表极全），训练后加词仅带来约 3% 的成本且节省 3% 的 token 数，收益有限。但在**低资源语言、专业领域或字节回退频繁**的 tokenizer 上，冻结表的扩展能力可能转化为更显著的质量与速度双重收益。需在 tokenizer 覆盖度更差的真实场景（如某些非英语语言或化学/生物符号系统）中进行验证。 —- ### 6. 更广泛的先验与评分函数设计 论文尝试了多种新词先验（子词均值、首段、模型自举输出）均未将加词成本降至零。系统研究**可学习的非参数先验**、**自适应温度缩放**，或**将一元频率与逆文档频率结合**的评分修正，可能进一步压缩新词引入的损失惩罚。 —- ### 7. 多种量化等级与嵌入表的耦合 论文对比了浮点/三值主体 + 冻结表 vs. 浮点主体 + 可训练表。尚未探索的是： - 冻结表配合 **4-bit 或 8-bit 主体**时的帕累托前沿； - 冻结表是否允许将**输出映射层**也进行激进量化（当前仍保留 16/32-bit）； - 可训练表是否同样能在极低比特主体下保持其 0.20 nats 优势，抑或该优势会被量化噪声淹没。 —- ### 8. 训练稳定性与多种子验证 受限于计算预算，论文每臂仅使用一个随机种子，误差条仅反映测试集上的 bootstrap 方差而非训练方差。使用**多种子重复训练**可以给出更可靠的显著性判断，尤其是在 LAMBADA、ARC-Easy 等差距在 1 – 3 个百分点以内的基准上。 —- ### 9. 推理阶段 prefill 与更长上下文的效率 笔记本 CPU 对比仅测量了生成（decoding）速度，且 C 的 kernel 采用逐 token prefill。未来需补充： - **长上下文 prefill** 的延迟对比； - KV-cache 在不同序列长度下的内存膨胀曲线； - 冻结表模型在**流式/增量解码**场景中的缓存友好性（1-bit 表的顺序读取特性是否可进一步利用 SIMD 或内存预取）。 —- ### 10. 罕见 token 与事实知识检索 论文观察到冻结表在训练中出现 10 – 99 次的罕见词上显著优于可训练表（低 1.7 – 2.3 nats）。这暗示冻结码可能保留了预训练嵌入中的**分布式语义**，而可训练表在低数据下退化为噪声。进一步可通过针对性的**知识探测任务**（如 LAMA、T-REx）检验：冻结表是否在小模型中提供了更好的“静态知识载体”，以及这种优势是否随模型规模增长而衰减。 Q6: 总结一下论文的主要内容 该论文系统性地挑战了小型语言模型中“可训练词嵌入表”的必要性，证明其参数与存储开销远超实际收益。以下是主要内容的总结： —- ### 研究背景与核心问题 在小语言模型中，词嵌入表（通常与输出头绑定）是参数和文件体积的最大来源。以 Gemma 3 270M 为例，其 268M 总参数中，嵌入表独占 167.8M （ 62.6% ）。更关键的是，现有量化方法（如 BitNet、GPTQ、AWQ、GGUF）普遍将嵌入层保留为 16 位浮点，导致当模型主体被大幅压缩后，嵌入表反而成为内存与带宽的绝对瓶颈。论文提出核心质疑：为每个 token 存储数百个可训练浮点数，是否是小模型中的必要成本？ —- ### 核心方法：冻结的 512-bit 语义码表 论文提出用一种**冻结的、无训练参数的二进制码表**取代传统嵌入矩阵： - **编码构造**：取预训练嵌入矩阵 E ∈ R^(262144 × 640) ，中心化后提取前 512 个主成分方向构成投影矩阵 W ，仅保留投影结果的符号：
code(t) = sign( W^top (E_t - μ) ) ∈ -1, +1^(512)
- **存储开销**：每 token 512 位，全表仅 16.8MB ，且训练期间永不更新。 - **适配层**：输入端通过可训练线性映射 512 to 640 接入模型主体；输出端将主体隐藏状态经 640 to 512 映射后，与所有冻结码做缩放点积。两映射合计仅约 0.65M 参数。 - **频率先验（seal）**：叠加基于训练数据一元频率的固定对数先验，为输出评分提供基础词频偏置。 —- ### 实验设计：严格控制变量的三臂对比 在完全相同的 Gemma 3 270M 架构、 2.05B tokens FineWeb-Edu 数据、训练步数与随机种子下，论文设置三组对照： - **Arm A**：标准可训练嵌入表（ 268.1M 可训练参数），bfloat16 浮点主体。 - **Arm B**：冻结码表 + 浮点主体 + 固定 seal（ 101.0M 可训练参数）。 - **Arm C**：冻结码表 + BitNet b1.58 三值主体 + 可训练 seal（ 101.2M 可训练参数）。 —- ### 主要发现 1. **性能差距极小**：可训练表仅带来 0.20 nats 的验证损失优势（约 23% 困惑度差异）。在 LAMBADA、HellaSwag、PIQA 等零样本基准上，Arm B 与 Arm A 持平甚至更优；仅 ARC-Easy 上 A 领先 3.4 个百分点。 2. **罕见词上冻结表更优**：对于训练中出现 10 – 99 次的罕见 token，Arm B 的验证损失比 Arm A 低 2.3 nats，Arm C 低 1.7 nats。可训练表因缺乏足够梯度更新，这些行接近随机；而冻结码仍保留预训练的语义结构。 3. **训练后词汇扩展能力**：冻结表支持无需训练即可注入新词（如新词码定义为其子词码的均值）。添加 10,000 个生物医学新词后，B/C 的损失仅上升约 3% ，且 token 化效率提升；而可训练表因新行随机初始化，性能暴跌 43% 。 4. **推理效率的质变**：Arm C 总文件仅 46.2MB （ 16.8MB 冻结表 + ~20MB 三值主体）。在笔记本 CPU 上，它以 62MB 峰值内存实现每秒 615 – 740 token 的生成速度，是同硬件上 8-bit GGUF 浮点模型（ 471MB 内存、 116 tok/s）的 **5–6 倍速度** 与 **1/7 内存**。 5. **跨语言与未见 token 的鲁棒性**：在 20 种语言的测试中，冻结表在阿拉伯语、保加利亚语、俄语等语言上整体优于可训练表；通过修正未见 token 的先验偏置，冻结表可进一步释放其预训练语义潜力。 —- ### 结论与意义 论文证明，在小模型和边缘部署场景中，传统的可训练嵌入表是一种**过度定价**的设计。冻结的 512-bit 语义码表以仅占原表 1/10 的存储、零训练参数、以及极小的可训练桥接层，即可在多数下游任务上达到或超越标准嵌入表，同时具备**训练后无缝扩展词汇**、**对罕见词更鲁棒**、以及**支撑极致高效的 CPU 推理**等独特优势。该方法为在手机、笔记本等资源受限设备上部署高质量小模型提供了一条新的路径。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Sai Kiran Bathula
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22428.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22428
Published: 2026-10-20T02:04:04.851Z
2. Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
Abstract:Running prompt tokens through fewer routed experts during prefill is a simple way to make mixture-of-experts (MoE) serving cheaper, yet it is unclear what this damages. We locate the damage with token-, layer- and attention-path interventions on short-answer question answering in four MoE families. At half the experts the F1 loss of three families is mostly answer form: the model still finds the answer but stops answering briefly. In Qwen3-30B-A3B this loss is made at the two chat-template tokens before the answer, and in DeepSeek-V2-Lite at the first 8-32 prompt tokens, where its instruction sits; by answer likelihood these positions account for about half and a fifth of the damage. Reduction changes the first token’s attention mass, norm and largest activation by less than 4%, and restoring super experts or massive activations recovers at most about a quarter of the loss, well below keeping the sensitive positions full. On real prompts with about 4% of tokens at full experts, placing them on the task interface keeps F1 within one point of the unmodified model, while placing them at random in the documents is about 3 points worse (two of five prespecified primary comparisons; the others were undecided or not run). Because the answer boundary always ends a single-turn prompt, and DeepSeek’s loss was no longer detectable once its instruction moved away from the start, the sensitive tokens lay at the prompt ends in every sensitive layout we found, so rules that keep the ends are not distinguished from rules that read application marks. Time to first token falls about 14% on 11K-token prompts and not at 2K tokens.
中文摘要
摘要：在预填充阶段，使提示 token 通过更少的路由专家（routed experts）是一种降低专家混合（MoE）服务成本的简单方法，但这种做法损害了什么还不清楚。我们在四个 MoE 系列的短答案问答中，通过对 token、层和注意力路径的干预来定位损害。在使用一半专家时，三个系列的 F1 损失主要是答案形式：模型仍然能找到答案，但会短暂地停止作答。在 Qwen3-30B-A3B 中，这种损失出现在答案前的两个聊天模板 token，而在 DeepSeek-V2-Lite 中，则出现在前 8-32 个提示 token 上，也就是指令所在的位置；根据答案的可能性，这些位置分别占损害的约一半和五分之一。减少专家数量会使第一个 token 的注意力质量（attention mass）、范数（norm）和最大激活（largest activation）变化不到 4%，恢复超级专家或大量激活最多只能恢复约四分之一的损失，远低于保留敏感位置的完整处理。在真实提示中，将约 4% 的 token 放在全专家处理，在任务界面上时 F1 分数与未修改模型相差不超过一点，而随机放置在文档中则大约差 3 分（五个预设主要比较中的两个；其余未定或未运行）。由于答案边界总是结束单轮提示，而且一旦 DeepSeek 的指令移离开开头，其损失就不再可检测，所以在我们发现的所有敏感布局中，敏感 token 都位于提示末端，因此保留末端的规则与读取应用标记的规则没有区别。对于 11K token 的提示，至第一个 token 的时间下降约 14%，而在 2K token 时没有变化。
LLM Analysis
Q: 这篇论文试图解决什么问题？ 这篇论文试图解决\*\*混合专家模型（MoE）在预填充阶段减少路由专家数量时的质量损失定位与机制解释问题\*\*。具体而言，研究围绕以下三个核心问题展开： - \*\*损失了什么？（What is lost?）\*\* 在短答案问答任务上，将提示词（prompt tokens）的专家数量减半后，模型性能（F1）的下降主要表现为\*\*答案形式（form）的破坏\*\*（即模型仍能找到正确答案，但不再遵守"简短回答"的指令，导致输出变长），而非内容（content）的丢失。这一现象在三个模型家族中占据主导。 - \*\*在哪里产生？（Where is it made?）\*\* 通过逐token、逐层和注意力路径的干预实验，论文定位到损失集中在提示词的\*\*特定边界位置\*\*： - 在 \*\*Qwen3-30B-A3B\*\* 中，损失产生于答案前最后两个聊天模板token； - 在 \*\*DeepSeek-V2-Lite\*\* 中，损失产生于标准布局下最前面的 8–32 个token（即指令所在位置）； - 在 \*\*Qwen1.5-MoE\*\* 中，损失集中于最后两个token。 - \*\*为什么在这些位置？（Why there?）\*\* 论文提出机制解释：这些敏感token起到了\*\*将任务指令传递给答案区域\*\*的边界作用。在Qwen3中，中间层专家似乎将"如何回答"的信息写入这些边界token，随后答案token从中读取。直接测量表明，这种损失与注意力汇（attention sinks）的统计特性、超级专家（super experts）或大规模激活（massive activations）的移除关系不大——恢复这些机制仅能挽回约四分之一以内的损失。 此外，论文还探讨了\*\*预算分配策略\*\*：在真实提示词中，若仅将约4%的token保持完整专家预算，应优先保护\*\*任务界面\*\*（系统提示、指令、示例、当前问题及模板边界），而非随机散落在文档中；前者可将F1维持在接近原始模型的水平，后者则效果甚微。 Q2: 有哪些相关研究？ 该论文在第7节“Related Work”中将与本文相关的研究归纳为三个主要方向，现梳理如下： ### 1. 推理阶段的专家压缩与跳过（Fewer experts at inference） 这类研究关注如何在MoE模型推理时减少激活的专家数量以降低成本： - \*\*静态剪枝方法\*\*：一次性移除部分专家，代表性工作包括文献
10, 20, 21, 26
。 - **动态跳过方法**：依据门控权重或专家频率等信号，逐token或逐层跳过专家，如 EAC-MoE
5
、MC-MoE
16
、MoDES
17
、LExI
7
等。 - **温和缩减**：Chen 等
6
发现仅保留选定专家中的三分之二即可维持性能，这比本文采用的“减半”设定更为温和。 - **预填充阶段统一缩减**：ExFold
36
对所有提示词token减少专家，并通过校准标量投影将被排除专家的贡献折叠进保留专家中。 - **解码阶段优先剪枝**：SlimWise
28
指出预填充阶段剪枝专家在吞吐上收益有限且损害质量，因此仅建议在解码阶段剪枝；该工作也注意到准确率指标可能掩盖剪枝导致的输出长度变化——这正是本文所定位的“形式（form）损失”。 ### 2. 敏感Token、注意力汇（Attention Sinks）与超级专家（Super Experts） 这部分研究与“哪些token在计算中承担特殊角色”密切相关： - **量化中的敏感Token**：PrefixQuant
4
与 IntactKV
24
等量化方法会保留少数 pivot 或离群（outlier）token，通常依据激活幅度选取；但本文发现的关键token是任务边界token，在测量的统计量上并非异常值。 - **注意力汇与大规模激活**：注意力汇现象
3, 13, 37
常与大规模激活（massive activations）
29, 33
重合；在MoE模型中，少数“超级专家”（super experts）被认为是产生这些汇的机制
32
。 - **与本文发现的差异**：本文直接测量表明，预填充专家缩减几乎不改变首token的注意力汇统计量（变化 <4% ），且恢复超级专家或大规模激活最多只能挽回约四分之一的质量损失，因此这些机制无法充分解释本文观察到的形式损失。 ### 3. 提示词中任务信息的位置（Where a prompt’s task information sits） 这部分研究为解释“为何敏感token位于提示词边界”提供了理论背景： - **末端位置的信息聚合**：最终位置会聚合输出所需信息
12, 15, 34
。 - **示范中的标签锚定**：上下文学习（in-context learning）中，示范（demonstrations）里的标签词（label words）起到锚点作用
35
。 - **任务识别后的上下文衰减**：一旦模型识别出任务，后续上下文的重要性会下降
31
。 - **安全与拒绝机制**：在密集（dense）聊天模型中，拒绝行为（refusal）由后指令位置（post-instruction positions）读取的特定方向介导
1
；安全决策则锚定在模板token中
22
。 - **KV缓存与提示压缩**：LazyLLM
11
、LongLLMLingua
18
、SnapKV
23
等工作依据类似的结构先验来决定保留或丢弃哪些token；与之不同的是，本文保留所有token，仅改变其专家预算（expert budget）。 ### 补充：其他相关技术 论文在引言与实验部分还涉及以下相关技术： - **StreamingLLM**
37
：通过保留注意力汇与最近的token来维持长上下文流式生成的稳定性；本文发现“保持提示词两端完整”的策略与之相似，但直接测量表明专家缩减并未显著干扰注意力汇统计量。 - **动态token保护**：MC-MoE
16
依据注意力分数选择保护少量重要token；本文则在补充材料 S3.6 中与之进行了比较，但核心区别在于本文旨在定位“缩减在何处失败”，而非提出新的token选择器。 Q3: 论文如何解决这个问题？ 论文通过**分层干预实验、预算分配对照与机制排除**相结合的方法解决该问题，具体路径如下： —- ### 1. 建立可控的缩减实验框架 在四个MoE模型家族（Qwen3-30B-A3B、DeepSeek-V2-Lite、Qwen1.5-MoE-A2.7B、OLMoE-1B-7B）上，将预填充阶段的路由专家数从 K 缩减至 k’ （如 8 arrow 4 或 8 arrow 2 ），而解码阶段始终使用全部专家。实验以 HotpotQA 短答案问答为主任务，辅以 GSM8K、LongBench 等，通过贪婪解码生成答案并计算 F1。 —- ### 2. 损失定性：分解 F1 以区分形式与内容 为明确“损失了什么”，论文将 F1 拆分为**精确率（precision）**、**召回率（recall）**与**答案长度**。在 Qwen3 上，均匀缩减至一半专家时： - 召回率仅下降 -1.09 点，而精确率下降 -4.87 点； - 平均答案长度从 2.33 词增至 2.49 词。 由此判定：模型**仍能找到答案**，但**不再遵守“简短回答”的指令格式**——即损失主要是**形式（form）**而非**内容（content）**。 —- ### 3. 损失定位：逐 Token 与逐跨度的“保持完整”干预 为回答“在哪里产生”，论文设计了对照实验： - **尾部保持**：仅保持提示词末尾 N 个 token 完整，其余缩减。在 Qwen3 中，保持最后 **2 个 token** 即可将 F1 损失从 -3.38 降至 -1.06 ；保持最后 32 个 token 甚至略有盈余（ +0.63 ）。 - **头部保持**：在 DeepSeek-V2-Lite 中，保持最前 **8–32 个 token**（指令所在位置）可复现几乎全部损失；而保持末尾 token 反而有害。 - **单 token 隔离**：在 Qwen3 中，仅缩减倒数第 2 个 token 损失 1.40 F1 点，仅缩减最后一个 token 损失 0.14 点，二者互为冗余；而缩减倒数第 3–8 个 token 几乎无害。 通过此类干预，论文将敏感位置精确锁定在**答案边界前的模板 token**（Qwen3）或**提示词起始的指令 token**（DeepSeek）。 —- ### 4. 机制假设：注意力路径阻断与层修复 为解释“为什么在这些位置”，论文在 Qwen3 上开展了两类机制实验： - **注意力路径阻断（Attention-path blocking）**：阻断“最后两个提示词 token arrow 答案”的注意力边，发现首答案 token 的损失显著上升（ +6.21 nats），且答案后的停止 token 高度依赖答案读取这两个边界 token（ +20.70 nats）。这表明边界 token 承担了**将指令与文档信息传递给答案**的通道功能。 - **层修复（Layer repair）**：在最后 8 个 token 缩减至 8 arrow 2 的状态下，仅恢复某 4 层连续区间的完整专家。结果显示中间层（如 20–27 层）修复了约一半损伤，而首层或末层修复效果甚微甚至为负。 这些结果与“**中层专家将‘如何回答’的指令写入边界 token，答案 token 再从中读取**”的假设一致。 —- ### 5. 排除替代解释：Sink、超级专家与大激活的直接测量 论文通过预指定批次（prespecified batch）系统检验了现有文献中常见的几种解释： - **注意力汇（Attention Sinks）**：均匀缩减后，首 token 的注意力质量、隐藏状态范数与最大激活值变化均 <4% ，未出现“汇被破坏”的迹象。 - \*\*超级专家（Super Experts）与大规模激活（Massive Activations）\*\*：恢复被移除的超级专家，或将被缩减 token 的大激活值重置为干净值，最多仅能挽回约 8% 的负对数似然损失，远低于保持敏感位置完整的效果（ 22% – 49% ）。 - \*\*信号规则\*\*：依据超级专家或大规模激活信号选择保留的 token，其效果与随机选择无显著差异，且远逊于位置规则。 由此排除：这些机制并非损失的主要来源。 --- ### 6. 预算分配策略：界面规则与等预算对照 为验证“少量完整专家预算应放在何处”，论文提出 \*\*Interface-Full\*\* 规则——仅缩减应用标记的文档，保持系统消息、指令、示例、当前问题及聊天模板完整（约占 4% token）。并在 vLLM 中设置三类等预算对照： - \*\*Equal-budget ends\*\*：相同数量的完整 token 置于提示词两端； - \*\*Negative control\*\*：相同数量的完整 token 随机散落在文档中部（距两端至少 32 token）； - \*\*Inverted control\*\*：仅缩减任务界面，文档保持完整。 结果显示： - Interface-Full 与等预算两端规则均能将 F1 维持在距原始模型 \*\*1 个点以内\*\*； - 随机散落在文档中的负面对照则比 Interface-Full 低约 \*\*3 个点\*\*，且与均匀缩减无异； - 仅缩减界面的反向对照损失与均匀缩减相当。 这确立了\*\*“保护任务界面”\*\*而非\*\*“任意位置保护少量 token”\*\*的预算分配原则。 --- ### 7. 统计严谨性：预指定比较与置信区间 论文区分了\*\*预指定比较\*\*（prespecified comparisons，分析脚本在正式运行前已固定假设、对比方法与决策规则）与\*\*探索性/事后分析\*\*（post hoc）。所有主要结论均基于配对问题比较与 95% 自举（bootstrap）置信区间，并在多组比较中应用 Holm 校正，以控制假阳性。 Q4: 论文做了哪些实验？ 论文的实验体系围绕“\*\*损失定位—机制解释—预算分配—系统测量\*\*”四个层次展开，涵盖分析性干预（HuggingFace 前向钩子）与真实服务测试（vLLM）两大引擎。主要实验可归纳如下： --- ### 1. 损失性质的分解实验（What is lost?） 目的：判定专家缩减究竟损害的是答案内容还是输出格式。 - \*\*F1 拆解\*\*：在 HotpotQA 上，将均匀减半专家后的 F1 变化拆分为精确率（precision）、召回率（recall）与答案长度。在 Qwen3 上， 8 arrow 4 导致召回率仅降 -1.09 点，而精确率降 -4.87 点，平均答案长度从 2.33 词增至 2.49 词。 - \*\*尾部/非尾部对比\*\*：仅缩减最后 8 个 prompt token，精确率下降而召回率几乎不变；缩减除最后 8 个之外的所有 token，则召回率与精确率同时下降。这表明\*\*末尾 token 主要控制回答格式\*\*。 - \*\*GSM8K 验证\*\*：在数学推理任务上，均匀缩减至 2 个专家时，仅 84.1% 的输出仍以 “####” 结尾；若保持最后 2 个 token 完整，该比例回升至 97.7% ，进一步确认损失以\*\*形式（form）\*\*为主。 --- ### 2. 敏感 Token 的定位实验（Where is it made?） 目的：通过“保持少量 token 完整，其余缩减”的干预，定位损害发生的精确位置。 - \*\*尾部长度扫描（Tail length sweep）\*\*：在 Qwen3 上，依次保持最后 N ∈ 0,2,4,8,32,192 个 token 完整。结果显示最后 \*\*2 个 token\*\* 即可挽回大部分 F1 损失（从 -3.38 提升至 -1.06 ），而 32 个 token 可进一步保留问题理解能力（ +0.63 ）。 - \*\*单 Token 隔离（Single-token ablation）\*\*：在 8 arrow 2 的强缩减下，仅缩减最后 8 个 token 损失 8.02 F1 点；其中仅缩减最后 2 个 token 损失 8.07 点，而仅缩减倒数第 3–8 个 token 仅损失 0.70 点。最后两个 token 彼此冗余（分别单独缩减损失 0.14 与 1.40 ）。 - \*\*位置对照\*\*：保持相同数量的完整 token（如 8 个或 32 个），将其置于提示词\*\*末尾\*\*、\*\*开头\*\*或\*\*随机位置\*\*。末尾放置显著优于开头与随机放置（Figure 2b）。 - \*\*跨模型家族对比\*\*：在 DeepSeek-V2-Lite、Qwen1.5-MoE、OLMoE-1B-7B 上重复类似干预。发现： - DeepSeek 的敏感区在\*\*最前 8–32 个 token\*\*（指令位置）； - Qwen1.5 的敏感区在\*\*最后两个 token\*\*（内容损失）； - OLMoE 的损失分散于两端。 - \*\*模板鲁棒性检验\*\*：验证敏感位置是否绑定特定模板。在 Qwen3 中，使用无模板的基础模型（prompt 以 “Answer:” 结尾），缩减最后两个 token 仍损失 5.69 F1 点；开启推理模式（reasoning on）时，敏感区随答案边界移动至生成的 reasoning trace 末尾。证明敏感的是\*\*答案边界\*\*，而非某一固定模板。 --- ### 3. 机制解释实验（Why there?） 目的：解释为何边界 token 对回答格式至关重要，并排除现有假说（注意力汇、超级专家等）。 - \*\*注意力路径阻断（Attention-path blocking）\*\*：在不缩减专家的情况下，人为移除特定注意力边。发现： - 阻断“最后两个 prompt token arrow 首答案 token”的路径，损失 +6.21 nats； - 阻断“最后两个 prompt token arrow 指令/文档”的信息流显著增大损失，而阻断“问题”方向则影响甚微； - 阻断“答案 arrow 最后两个 prompt token”的路径，停止 token（stop token）损失 +20.70 nats。 这表明边界 token 是\*\*指令与文档信息向答案传递的汇聚点\*\*。 - \*\*层修复（Layer repair）\*\*：在最后 8 个 token 缩减至 8 arrow 2 的条件下，仅恢复某一连续 4 层区间的完整专家。中间层（如 20–27 层）修复可挽回约一半损失，而浅层或深层修复效果微弱甚至为负。暗示\*\*中层专家负责将“回答格式指令”写入边界 token\*\*。 - \*\*首 Token Sink 统计量测量\*\*：在预指定的 200 题批次中，测量均匀缩减后首 token 的注意力质量、隐藏状态范数（norm）与最大激活通道（largest absolute channel）。三项指标变化均 <4% ，判定\*\*首 token 注意力汇未被扰动\*\*。 - \*\*超级专家（Super Experts）检验\*\*：依据 Su et al. 的方法识别超级专家。均匀缩减仅移除了 11% – 13% 的边界超级专家选择；在缩减状态下强制恢复所有超级专家，仅挽回约 1% – 8% 的负对数似然损失，远低于位置规则的 22% – 49% 。 - \*\*大规模激活（Massive Activations）检验\*\*：将被缩减 token 中超过阈值（ |h|>100 且为层中位数 1000 倍以上）的激活重置为干净值，挽回损失 ≤ 6% ，同样无法解释主要损害。 - **信号规则对照**：依据“超级专家出现频率”或“大规模激活比率”自动选择应保留完整的 token，其效果与随机选择无显著差异，且显著差于保持敏感位置完整。 - **Keys/Values 替换**：在 DeepSeek 中，将首 32 个 token 的 keys/values 重置为干净值，可复现“保持其完整”的效果（一致性检验）；在 Qwen3 中对最后 8 个 token 执行同样操作则导致 NLL 急剧恶化（混合状态问题），说明需谨慎解读混合干预。 —- ### 4. 真实提示词的预算分配实验（Where the full-expert budget goes?） 目的：在带有应用标记的真实长提示词上，验证“任务界面优先保护”原则。 - **Interface-Full 规则**：仅缩减应用标记的文档部分，保持系统消息、指令、示例、当前问题与聊天模板完整（平均约 4% token 保持完整）。 - **等预算对照（Equal-budget controls）**： - **Ends**：将相同数量的完整 token 置于提示词两端； - **Random**：将相同数量的完整 token 随机散落在文档中部（距两端至少 32 token）； - **Span**：将预算作为单一连续片段随机置于文档内。 - **负面对照（Negative control）**：将完整 token 全部置于文档内部，确保任务界面与两端均被缩减。 - **反向对照（Inverted control）**：仅缩减 Interface-Full 所保护的区域，文档保持完整。 关键结果（vLLM 0.31，Qwen3）： - Interface-Full 与等预算两端规则均使 F1 损失控制在 **1 个点以内**； - 负面对照（随机散落）比 Interface-Full 低约 **3 个点**，且与均匀缩减差异不显著； - 反向对照损失约 -1.86 F1，接近均匀缩减的 -2.15 ，证明**保护界面本身至关重要**。 - 在 DeepSeek 标准布局上，负面对照比 Interface-Full 低约 **8 个点**（主要为答案长度问题）。 - **多布局测试**：在问题前置（question-first）、长系统提示（long-system）、工具输出（tool output）、指令居中（instruction-in-middle）等布局上测试 Interface-Full。发现当敏感 token 位于两端时，位置规则与标记规则不可区分；但当系统提示过长时，固定 32+32 的 KeepEnds 规则仍会因缩减过多系统提示而损失形式。 —- ### 5. 系统延迟与吞吐实验（What it buys in serving） 目的：测量专家缩减在实际服务中的 TTFT（Time To First Token）收益。 - **TTFT 与端到端延迟**：在 H100 上运行 vLLM 0.31，单请求 TTFT 中位数： - 长提示词（LongBench，中位 10.9K tokens）：Interface-Full 为未修改模型的 **0.86** 倍，均匀缩减为 **0.85**； - 短提示词（HotpotQA，约 2K tokens）：Interface-Full 为 **1.02**（略慢），均匀缩减为 **0.96**。 - **吞吐量**：在并发度为 4 的 128-prompt 子集上，各缩减规则吞吐量提升约 **1.20–1.22 倍**。 - **模型与引擎差异**：在 Qwen3.6-35B-A3B 上，相同实现反而慢于未修改模型（1.1–3.9K tokens），推测与内核分块（kernel tiling）或固定步长开销有关；在 32K tokens 时 TTFT 改善 2–8%。 —- ### 6. 预指定批次与统计稳健性实验 目的：控制多重比较与探查偏差，确保结论稳健。 - **预指定（Prespecified）设计**：在三个质量批次与一个直接测量批次中，将提示清单、条件、主次比较及决策规则预先写入分析脚本。主要比较采用预设的“必要性阈值”（如 Interface-Full 增益的一半）。 - **多随机种子放置**：对 Qwen3 的负面对照执行 7 次不同随机放置（跨两个 prompt 集与两种 GPU），Interface-Full 始终领先，但随机放置的方差可达约 1.8 F1 点。 - **前缀扫描（Prefix sweep）**：在 DeepSeek 上，系统性地保持前 k ∈ 1,2,4,8,32,64 个 token 完整，量化恢复曲线。前 1 个 token 几乎无恢复，前 8 个恢复约一半，前 32 个几乎全部恢复。 —- 综上，论文通过**从粗粒度 F1 分解到细粒度单 token 干预，再到注意力边与层级的机制探查，最终落地到真实服务场景中的预算规则与延迟测量**，构成了一个完整的实验链条。 Q5: 有什么可以进一步探索的点？ 基于论文的局限性、未竟问题与开放讨论，以下方向值得进一步探索： —- ### 1. 复杂任务与更大规模模型的验证 论文的分析以短答案问答（HotpotQA）和少量数学/代码任务为主，模型规模多不超过 30B 参数（Qwen3.6-35B-A3B 仅作快速检查）。在**长程多轮推理、工具调用、多模态提示或百亿/千亿参数 MoE** 上，形式损失是否仍集中于答案边界，抑或会扩散至中间推理链的多个节点，尚待验证。 ### 2. 残余损失的精确来源 Interface-Full 在部分真实布局中仍存在 **1.6–2.4 F1 点**的未解释残余损失（如 question-first HotpotQA、代码补全、工具输出）。这些损失并非由答案边界的两个模板 token 造成，可能源于： - 长系统提示中尚未定位的敏感指令 token； - 文档内部与问题强相关的段落（如 gold paragraphs 与 distractors 的不对称性）； - 跨段落的多跳推理路径对专家多样性的依赖。 需要更细粒度的段级（segment-level）或段间注意力边干预来定位。 ### 3. 从“一致性证据”到“唯一机制” 论文对 Qwen3 提出的机制（中层专家将回答格式写入边界 token，答案 token 再读取）仍属**与实验相容但非唯一确定**的解释。未来可通过以下方式强化因果识别： - **激活修补（activation patching）**：将边界 token 在中层 MLP 的输出精确替换为干净状态，观察是否复现缩减损失； - **表示探测（representation probing）**：在边界 token 的隐藏状态中解码“简短回答”指令的表示，验证其是否因专家缩减而模糊或消失； - **分离写入与读取**：当前 keys/values 替换实验因混合 clean/reduced 状态而失效，需设计不破坏中间层路由统计的干预。 ### 4. 动态、无标记的 token 选择器 论文的 Interface-Full 依赖应用标记（marks），而 KeepEnds 依赖固定位置。在**无标记、非标准模板或动态拼接的提示**中，如何自动识别敏感 token？潜在路径包括： - 利用预填充阶段的**路由权重熵**或**注意力汇强度**作为实时信号，动态决定哪些 token 保留全部专家； - 对比 MC-MoE
16
的注意力分数选 token 策略，在“定位缩减损失”而非“最大化注意力”的目标下重新训练或校准选择器； - 探索是否可用极小的辅助网络（如每层的轻量门控）预测“形式敏感”位置。 ### 5. 长系统提示下的预算扩展规则 当系统提示长达数百 token 时，固定 32+32 的 KeepEnds 规则无法覆盖指令，导致形式损失复发；而等预算 ends 控制即使头部长度约 300 token 仍可保持性能。这提示**预算量本身需随系统提示长度自适应**。可探索： - 基于模板结构（如 `<|im_start|>system`、`<|im_start|>user` 等角色标签）的变长预算分配； - 在系统提示内部再次应用“界面保护”原则，区分元指令（meta-instructions）与纯背景信息。 ### 6. 预填充与解码阶段的联合优化 论文专注于预填充阶段的专家缩减，而 SlimWise
28
指出解码阶段剪枝对吞吐影响更大。未来可研究： - **两阶段耦合策略**：在预填充阶段用 Interface-Full 保护边界信息，在解码阶段依据首 token 的熵或答案长度预测动态剪枝； - **KV-cache 与专家预算的联合压缩**：若边界 token 的 keys/values 对回答格式至关重要，是否应在缩减其专家的同时，仍保持其 KV-cache 的完整精度？ ### 7. 多轮对话中的边界迁移 论文的所有敏感布局均位于**单轮提示的末尾**（答案边界）。在多轮对话中，历史轮次的 assistant/user 边界、新一轮的问题前置或工具返回结果插入文档中部时： - 敏感 token 是否仍为每轮对话的“最后输出边界”？ - 当历史轮次被压缩或截断时，专家缩减对“跨轮上下文继承”的影响如何？ 这直接关乎对话系统（如 agentic workflow）中的实用性。 ### 8. 内核实现与延迟瓶颈的消除 论文发现，在 Qwen3.6-35B-A3B 上，相同的 row-appending 实现反而使 TTFT 劣于原始模型（1–4K tokens 区间）。可能原因包括： - 256 路专家缩减后的张量尺寸落入相同的填充内核分块（kernel tiling），导致计算未减而开销增加； - 每步的 hook 判断在短提示上成为固定延迟主导项。 需针对现代 MoE 内核（如 grouped GEMM、expert parallelism）重新设计缩减路径，使延迟收益与理论计算的 Amdahl 比例一致。 ### 9. 注意力汇与超级专家的深层角色再审视 虽然论文排除了“首 token 注意力汇被破坏”和“超级专家被移除”作为 F1 损失的主因，但仍有两点悬而未决： - **二级汇（secondary sinks）**：Qwen3 的最后两个边界 token 虽非首 token 式的一级汇，但是否在答案生成阶段承担了汇的“寄存器”功能？其 keys/values 的方向性变化（而非标量范数）是否被现有测量遗漏？ - **超级专家的间接作用**：均匀缩减极少直接移除超级专家，但是否改变了非超级专家之间的竞争动态，从而间接扰动了边界 token 的表示？ ### 10. 更温和缩减设置下的损失形态 论文主要采用“减半”或更激进的 8 arrow 2 设置。在更温和的场景（如 Chen et al.
6
的保留 2/3 专家）下： - 形式损失是否仍然集中于同一位置，抑或呈现更分散的内容损失？ - 是否存在一个“临界阈值”，超过后边界 token 的冗余性（如最后两个 token 互为备份）不再足以抵御缩减？ 这对生产环境中“质量-成本”帕累托前沿的设定具有工程价值。 Q6: 总结一下论文的主要内容 这篇论文系统研究了混合专家（MoE）模型在**预填充阶段缩减路由专家数量**时的质量损失来源、位置与机制，并提出了相应的预算分配原则。主要内容可概括如下： —- ### 1. 研究背景与核心问题 在长上下文检索增强与智能体场景中，预填充（prefill）阶段占据了首 token 时间（TTFT）的显著比例，而 MoE 模型的专家层是其中的主要计算开销（如 Qwen3-30B-A3B 在 2K token 预填充中占 57.8% ）。已有工作尝试对预填充阶段的提示词 token 统一减少专家数量（如 ExFold），但尚不清楚这会**损害什么、在何处损害、为何如此**。论文围绕三个问题展开： - **损失了什么？**（What is lost?） - **在哪里产生？**（Where is it made?） - **为什么在这些位置？**（Why there?） —- ### 2. 核心发现：损失主要是“形式”而非“内容” 在四个 MoE 模型家族（Qwen3-30B-A3B、DeepSeek-V2-Lite、Qwen1.5-MoE-A2.7B、OLMoE-1B-7B）的短答案问答任务上，将预填充专家数减半后： - **答案形式（form）是主要损失**：模型**仍能找到正确答案**（召回率下降甚微），但**不再遵守“简短回答”的指令**，输出变长、精确率显著下降。例如 Qwen3 均匀 8 arrow 4 后，F1 下降 -3.34 点，其中召回率仅 -1.09 点，而精确率 -4.87 点。 - **内容损失占比小**：在 Qwen3 中，约 1 点为内容丢失，其余均为形式违规（答案长度从 2.33 增至 2.49 词）。 —- ### 3. 损失定位：少数边界 token 承载了绝大部分 F1 损失 通过逐 token、逐跨度的“保持完整 vs. 缩减”干预，论文精确锁定了敏感位置，且该位置**因模型家族而异**： | 模型 | 敏感位置 | 损失类型 | |———|————-|————-| | **Qwen3-30B-A3B** | 答案前最后 **2 个**聊天模板 token（空推理块的结束标签与空行） | 形式（form） | | **DeepSeek-V2-Lite** | 提示词最前 **8–32 个** token（标准布局中的指令） | 形式（form） | | **Qwen1.5-MoE** | 最后 **2 个** token | 内容（content） | | **OLMoE-1B-7B** | 两端分散 | 形式（form） | 关键实验证据： - 在 Qwen3 中，仅保持最后 **2 个** token 完整即可将 F1 损失从 -3.38 缩小至 -1.06 ；保持最后 **32 个** token 完整甚至可使 F1 回升至接近原始模型（ +0.63 ）。 - 在 DeepSeek 中，将指令移至文档中部或添加无关前缀后，均匀缩减不再造成显著损失，说明敏感性**绑定于提示词起始位置**（或该位置的指令）。 - 该敏感性**不绑定于某一固定模板**，而是跟随**答案边界**移动：即使在无模板的基础模型中（prompt 以 “Answer:” 结尾），缩减最后两个 token 仍导致 5.69 F1 点损失。 —- ### 4. 机制解释：边界 token 作为“指令传递通道” 论文在 Qwen3 上通过注意力路径阻断与层修复实验，提出了与数据相容的机制假说： - **注意力依赖**：预测首答案 token 的查询对倒数第二个 prompt token 的注意力是问题 token 的 **15 倍**；阻断“最后两个 prompt token arrow 答案”的注意力边会使首答案 token 损失 +6.21 nats，阻断“答案 arrow 最后两个 prompt token”则使停止 token 损失 +20.70 nats。 - **层修复**：在最后 8 个 token 缩减至 8 arrow 2 的情况下，仅恢复中间层（如 20–27 层）的完整专家可挽回约 **一半**损失，而浅层或深层修复效果微弱。 **假说**：中层专家将“如何回答”的指令写入答案边界 token，后续答案 token 从中读取该信息以决定输出格式。 —- ### 5. 排除替代解释：注意力汇、超级专家与大激活 论文通过预指定的 200 题批次直接检验了现有文献中的常见假说： - **首 token 注意力汇（Attention Sink）**：均匀缩减后，首 token 的注意力质量、隐藏状态范数与最大激活值变化均 ** <4% **，未被破坏。 - **超级专家（Super Experts）与大规模激活（Massive Activations）**：恢复被移除的超级专家或重置大激活值，最多仅能挽回约 ** 8% ** 的负对数似然损失，远低于保持敏感位置完整的效果（ 22% – 49% ）。 - **信号规则**：依据超级专家或大规模激活信号自动选择保留 token，效果与随机选择无显著差异。 因此，这些机制**无法解释**观测到的 F1 损失主体。 —- ### 6. 预算分配策略：任务界面优先 在真实标记的长提示词上，论文比较了固定预算（约 4% token 保持完整）的不同放置策略： - **Interface-Full 规则**：仅缩减应用标记的文档，保持系统消息、指令、示例、当前问题与聊天模板完整。 - **等预算对照**：将相同数量的完整 token 置于两端（ends）、随机散落在文档中部（negative control）或作为连续片段（span）。 **结果**： - Interface-Full 与等预算两端规则均能使 F1 保持在距原始模型 **1 个点以内**； - 随机散落在文档中的负面对照比 Interface-Full 低约 **3 个点**（Qwen3）或 **8 个点**（DeepSeek），且与均匀缩减差异不显著； - 仅缩减界面的反向对照损失接近均匀缩减，证明**保护任务界面本身至关重要**。 **原则**：在标准模板布局下，“保持提示词两端”与“保持任务界面”不可区分；但当系统提示过长时，固定 32+32 的 KeepEnds 规则会因覆盖不足而失效，需依据模板结构动态分配预算。 —- ### 7. 系统性能收益与局限 - **延迟**：在 H100 上，Interface-Full 在长提示词（中位 10.9K tokens）上使 TTFT 降至原始模型的 **0.86** 倍，与均匀缩减（0.85）相当；但在短提示词（约 2K tokens）上收益甚微甚至略慢。 - **局限性**：分析以短答案问答为主、推理模式关闭、模型规模不超过 30B（主实验）；Interface-Full 在代码补全、工具输出等布局上仍有 **1.6–2.4 F1 点**未解释残余损失；机制实验未唯一确定因果路径；多轮对话场景未覆盖。 —- ### 8. 结论 预填充阶段将 MoE 提示词专家减半，其 F1 损失主要是**答案形式被破坏**，且高度集中于提示词**边界处的少数 token**（Qwen3 的答案前模板 token、DeepSeek 的起始指令）。该损失与注意力汇、超级专家的移除关系甚微。在实际服务中，将少量完整专家预算优先置于**任务界面**（指令、问题、模板边界）可有效避免损失，而相同预算随机散落在文档中则几乎无效。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。
Authors: Zhiyuan Wang
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22454.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22454
Published: 2026-10-20T02:04:04.851Z
3. From Parallels to Divergence: Language Models’ Learning of Action Nominal Constructions
Abstract:Action nominal constructions (ANCs) express events in nominal form, with their argument marking following patterns found in clauses or ordinary noun phrases. In this paper, we investigate how different grammatical configurations affect language models’ learning of ANCs and related constructions, and how these learning preferences compare with typological distributions in natural languages. We use a grammar-engineered method for synthetic corpus construction that combines shared semantic input from natural corpora with computational grammars. We construct 96 target languages varying in clause word order, noun-phrase word order, alignment, complement system, and ANC strategy. For each language, we train GPT-2-small models from scratch and evaluate them using targeted minimal pairs covering 34 grammatical phenomena. The results show typological parallels in basic clause configurations but divergences in complement systems and ANC strategies, with models also learning combinations rare or unattested in natural languages. This partial alignment suggests that natural language distributions may reflect both general learning pressures and functional demands not fully captured by model learning experiments.
中文摘要
摘要：动作名词化结构（ANCs）以名词形式表达事件，其论元标记遵循句子或普通名词短语中的模式。在本文中，我们研究了不同语法配置如何影响语言模型对ANCs及相关结构的学习，以及这些学习偏好与自然语言中的类型学分布如何比较。我们使用一种语法工程方法构建合成语料库，该方法结合了自然语料库的共享语义输入和计算语法。我们构建了96种目标语言，这些语言在句子词序、名词短语词序、对齐方式、补语系统和ANC策略上各不相同。对于每种语言，我们从零开始训练GPT-2-small模型，并使用涵盖34种语法现象的针对性最小对进行评估。结果显示，在基本句子结构上存在类型学上的相似性，但在补语系统和ANC策略上存在差异，模型还学习了自然语言中罕见或未记录的组合。这种部分一致性表明，自然语言的分布可能既反映了普遍学习压力，也反映了模型学习实验未能完全捕捉的功能性需求。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22468 (HTTP 429)
Authors: Iskar Deng, Shane Steinert-Threlkeld
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22468.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22468
Published: 2026-10-20T02:04:04.851Z
4. RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
Abstract:Command-line interface (CLI) agents increasingly execute longer-horizon tasks, yet existing benchmarks either assume that user instructions remain fixed throughout execution or evaluate task outcomes without capturing runtime collaboration quality. In this paper, we present REALCLI, a paired benchmark that unifies the evaluation of task execution and human-agent collaboration quality on realistic CLI tasks. To comprehensively measure collaboration, REALCLI builds a five-dimensional framework, operationalized into 22 sub-dimensions and 51 interaction scenario templates. REALCLI provides two modes for paired comparison: REALCLI-EXEC supplies complete specifications upfront, whereas REALCLI-COLLAB introduces a scripted user that delivers progressive information, corrections, constraint revisions, and authorization decisions. Evaluations reveal profound capability gaps in frontier agents: the best configuration attains an average score of only 49.2%, and when evaluated by the joint collaboration score ($J_{\mathrm{collab}}$), the peak performance reaches merely 37.6%. These results show that task effectiveness diverges sharply from collaboration quality, with models consistently struggling in steerability, trust calibration, and safety boundary management. REALCLI provides a rigorous, reproducible foundation for measuring and advancing collaborative CLI agents.
中文摘要
摘要：命令行界面（CLI）代理越来越多地执行更长的任务，但现有基准要么假设用户指令在整个执行过程中保持固定，要么在未捕捉运行时协作质量的情况下评估任务结果。本文提出了REALCLI，一个结合任务执行与人机协作质量评估的基准测试，适用于现实CLI任务。为全面衡量协作，REALCLI构建了一个五维框架，操作化为22个子维度和51个交互场景模板。REALCLI提供两种配对比较模式：REALCLI-EXEC提前提供完整规格，而REALCLI-COLLAB引入脚本用户，提供渐进信息、修正、约束修订和授权决策。评估揭示了前沿智能体在能力上的巨大差距：最佳配置的平均得分仅为49.2%，而通过联合协作评分（$J_{\mathrm{collab}}}）评估时，峰值性能仅为37.6%。这些结果表明任务有效性与协作质量有明显差异，模型在可引导性、信任校准和安全边界管理方面持续存在困难。REALCLI为衡量和推进协作CLI代理提供了严谨且可重复的基础。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22507 (HTTP 429)
Authors: Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, Weicheng Gu, Fanglin Xu, Yi Xing, XiangLong Liu, Jujie He, Zhange Zhang, Huatong Song, Zhaoyi Li, Deyang Kong, Chuan Hao, Peihao Wu, Mingjie Tang, Ran Tao, Jian Yang, Wayne Xin Zhao, Bryan Dai
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22507.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22507
Published: 2026-10-20T02:04:04.851Z
5. AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
Abstract:Evaluating language models and agents requires combining benchmark accuracy, judge-based assessment, runtime performance, tool-use behavior, and retrieval quality. Differences in interfaces, metric semantics, and trace formats complicate these comparisons and can hide failures in agentic workflows. We present AuditKIT, a source-available evaluation library that records these measurements in one result representation, with direction-aware metric contracts, configuration fingerprints, and extensible metrics and backends. For agents, it provides turn-aware tool-call matching, separates parallel from sequential execution, and distinguishes verified task outcomes from trajectory-level diagnostics. Missing or unobservable evidence is marked unscored rather than counted as failure. For retrieval-augmented generation, it combines ranked retrieval metrics, judged grounding, and deterministic evidence checks. Seven case studies spanning model comparison, serving runtimes, retrieval, tool calling, and interoperability show how answer extraction, runtime behavior, and metric selection change evaluation outcomes.
中文摘要
摘要：评估语言模型和代理需要结合基准准确性、基于评审的评估、运行时性能、工具使用行为和检索质量。接口、指标语义和追踪格式的差异使这些比较复杂化，并可能掩盖代理工作流程中的失败。我们提出了 AuditKIT，这是一个源代码可用的评估库，可以将这些测量记录在一个结果表示中，具有方向感知的指标契约、配置指纹以及可扩展的指标和后端。对于代理，它提供了回合感知的工具调用匹配，区分并行与顺序执行，并区分经过验证的任务结果与轨迹级诊断。缺失或不可观察的证据被标记为未评分，而不是计为失败。对于增强检索生成，它结合了排序检索指标、评审依据和确定性证据检查。涵盖模型比较、服务运行时、检索、工具调用和互操作性的七个案例研究展示了答案提取、运行时行为和指标选择如何改变评估结果。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22511 (HTTP 429)
Authors: Shreeyans Arora, Utsav Avaiya, Zera Lyngkhoi, Hem Gosalia, Ram Mohan Rao Kadiyala, Vinay Kumar Sankarapu, Pratinav Seth
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22511.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22511
Published: 2026-10-20T02:04:04.851Z
6. alkhder at ImageEval 2026 Shared Tasks: Constrained Selection and Rotation-Averaged Logit Scoring for Multimodal Hallucination Detection
Abstract:We describe our submission to Subtask~1b of ImageEval 2026. The task consists of selecting the single visually valid statement from three candidates paired with an image, and is in both English and Modern Standard Arabic (MSA). Our system uses a pre-trained 7B vision—language model in a zero-shot setting, without task-specific training or fine-tuning. We formulate the task as a constrained selection problem and choose the answer using next-token log-probabilities. To reduce answer-position bias, we apply a Latin-square rotation to the candidate statements. Our system achieves CI scores of 0.0510 on the English test set and 0.0960 on the MSA test set, reducing CI relative to the official 3B baselines reported on devtest by 83.7\% and 80.4\%, respectively.
中文摘要
摘要：我们描述了我们对 ImageEval 2026 的子任务 1b 的提交。该任务包括从与图像配对的三个候选项中选择唯一的视觉有效陈述，任务语言包括英语和现代标准阿拉伯语（MSA）。我们的系统在零样本设置下使用预训练的 7B 视觉-语言模型，无需针对任务的训练或微调。我们将该任务表述为一个受约束的选择问题，并利用下一个 token 的对数概率来选择答案。为了减少答案位置偏差，我们对候选陈述应用拉丁方旋转。我们的系统在英语测试集上获得了 0.0510 的 CI 分数，在 MSA 测试集上获得了 0.0960 的 CI 分数，相较于官方在 devtest 上报告的 3B 基线，将 CI 分数分别降低了 83.7% 和 80.4%。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22515 (HTTP 429)
Authors: Maher Pasa, Maria Hanini, Amro Najjar, Hasan Alkhder
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22515.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22515
Published: 2026-10-20T02:04:04.851Z
7. Learning User Representations to Improve Simulation Fidelity
Abstract:User simulators enable interactive training and evaluation of AI assistants at scale. Yet current simulators struggle to reproduce the diverse behaviors of real users, leading to assistants that generalize poorly to underrepresented users. We identify user representations as an underexplored bottleneck in user simulation. User representations are natural-language descriptions that condition simulators to reproduce a particular user’s behavior. A representation’s quality becomes apparent in hindsight, through the behavior it induces in a simulator. To evaluate and optimize user representations, we formulate a conversation reconstruction task: given an original conversation, we generate a representation, condition a simulator on it, simulate a conversation, and then measure fidelity by comparing user behavior in the original and simulated conversations. This comparison also yields hindsight feedback, which identifies where the representation falls short and how it can be improved. We introduce hindsight distillation, an online training procedure that distills feedback-conditioned improvements into the representation generator, enabling it to generate improved representations directly from the original conversation. We present UserRepGen-4B, a representation generator trained with hindsight distillation. Across 700 conversations spanning seven datasets, hindsight feedback helps improve user representations at test time, and UserRepGen-4B generates representations that enable more faithful simulation than those generated by GPT-5.5. Beyond conversation reconstruction, learned representations improve simulation fidelity for unseen tasks, better preserve the population-level diversity of real users, and better distinguish users across conversations.
中文摘要
摘要：用户模拟器能够在大规模上实现AI助手的互动训练和评估。然而，现有的模拟器难以重现真实用户的多样行为，导致助手对少数用户的泛化能力较差。我们认为用户表示是用户模拟中一个尚未充分研究的瓶颈。用户表示是用于条件化模拟器以重现特定用户行为的自然语言描述。表示的质量可以在事后通过它在模拟器中引发的行为体现出来。为了评估和优化用户表示，我们提出了一个对话重建任务：给定原始对话，生成一个表示，基于该表示条件化模拟器，模拟一段对话，然后通过比较原始对话与模拟对话中的用户行为来衡量保真度。这种比较还产生了事后反馈，用于识别表示的不足之处以及改进的方法。我们引入了事后蒸馏，一种在线训练方法，将基于反馈的改进蒸馏到表示生成器中，使其能够直接从原始对话生成改进的表示。我们提出了UserRepGen-4B，这是一种通过事后蒸馏训练的表示生成器。在涵盖七个数据集的700个对话中，事后反馈有助于在测试时改善用户表示，而UserRepGen-4B生成的表示相比GPT-5.5生成的表示能够实现更真实的模拟。除了对话重建外，学习到的表示还能提高对未见任务的模拟保真度，更好地保持真实用户的群体级多样性，并在不同对话中更准确地区分用户。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22518 (HTTP 429)
Authors: Shuhaib Mehri, Philippe Laban, Michel Galley, Dilek Tür, Jennifer Neville, Jianfeng Gao
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22518.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22518
Published: 2026-10-20T02:04:04.851Z
8. alkhder at AlexandriaX-2026: Context-Aware English-to-Dialectal Arabic Dialogue Translation with QLoRA-Fine-Tuned NileChat-3B
Abstract:This paper describes team Alkhder’s submission to Subtask 1 of the AlexandriaX-2026 shared task, which asks systems to translate English dialogue turns into thirteen Arabic dialects. We fine-tune NileChat-3B-Base with QLoRA on the Alexandria parallel dialogue corpus, training one set of adapter weights for all dialects. Each turn is translated conditioned on the target country and dialect, the domain, the participant roles, the speaker-addressee gender direction, and the preceding dialogue context. At inference, conversations are translated autoregressively and the model is fed its own previous outputs back as context without using any gold target-side test information. Under the constrained track, using only Alexandria data, it trains in about one hour and translates the private test set in under two hours. The system reaches a country-macro-averaged spBLEU of 20.36 and chrF++ of 36.64 on both tracks.
中文摘要
摘要：本文介绍了团队 Alkhder 参加 AlexandriaX-2026 共享任务子任务 1 的提交情况，该子任务要求系统将英文对话轮次翻译成十三种阿拉伯方言。我们使用 QLoRA 对 NileChat-3B-Base 在 Alexandria 平行对话语料库上进行微调，为所有方言训练一组适配器权重。每一轮对话的翻译都基于目标国家和方言、领域、参与者角色、说话者与听者的性别方向以及前文对话上下文。在推理阶段，对话以自回归方式翻译，模型将自身之前的输出作为上下文输入，而不使用任何目标端的测试信息。在受限赛道下，仅使用 Alexandria 数据，训练约需一小时，翻译私有测试集不到两小时。该系统在两个赛道上达到的国家宏观平均 spBLEU 为 20.36，chrF++ 为 36.64。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22525 (HTTP 429)
Authors: Hasan Alkhder, Maher Pasa, Maria Hanini, Amro Najjar, Ahmet Zengin
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22525.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22525
Published: 2026-10-20T02:04:04.851Z
9. Literal Lock-In: How Test Language Shifts Literal Attraction in Typed Decision Models on Bengali Idioms
Abstract:Decision models, non-generative scorers that report a probability over caller-supplied options and emit no text, are increasingly deployed as routers, classifiers and guardrails. Because they generate nothing, rationales and chain-of-thought do not apply. We audit three: an encoder scorer, a decoder scorer and a closed API, entirely through interventions on their input, using expert-annotated Bengali idioms carrying a gold figurative and a gold literal gloss. Dropping an idiom’s own literal gloss into the option list draws every arm toward it, taking 65% to 96% of each arm’s remaining Bengali errors. A model-by-language matrix over one shared item set shows how far this depends on the test language: every arm is 1.9 to 6.4 times more captured in Bengali than in English on the same paired entries, the commercial model’s apparent resistance is a property of its test language, and capability does not order the failure. Calibration degrades in all three arms, and on the open arms confidence inverts, so gating on it is worse than gating at random. On a semantics-free option list, where accuracy is at chance, the best-calibrated arm still reports mean confidence 0.82. Code and data: this https URL.
中文摘要
摘要：决策模型是一种非生成型评分器，它们对调用者提供的选项报告概率，但不生成文本，越来越多地被用作路由器、分类器和护栏。因为它们不生成任何内容，所以推理过程和思维链不适用。我们对三种模型进行了审计：一个编码器评分器、一个解码器评分器和一个封闭 API，完全通过对其输入的干预进行审计，使用专家注释的孟加拉语成语，并提供规范的比喻释义和规范的字面释义。当将成语自身的字面释义放入选项列表时，每个臂都被强烈吸引，捕获了每个臂剩余孟加拉语错误的 65% 至 96%。在一个共享条目集上的模型-语言矩阵显示，这在多大程度上取决于测试语言：相同配对条目中，每个臂在孟加拉语中被捕获的次数比英语多 1.9 到 6.4 倍，商业模型表面上的抗性是其测试语言的特性，而能力并不决定失败的顺序。三种臂的校准都下降，而在开放臂上信心倒置，因此基于其进行门控比随机门控更糟。在一个无语义的选项列表中，准确率接近随机，但校准最好的臂仍然报告平均信心为 0.82。代码和数据：https URL。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22526 (HTTP 429)
Authors: Adib Sakhawat, Syed Rifat Raiyan
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22526.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22526
Published: 2026-10-20T02:04:04.851Z
10. Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX
Abstract:Autoregressive foundation language models predominantly target high-resource Indo-European languages, imposing computational and morphological penalties on under-represented African languages. Generic multilingual tokenizers routinely exceed fertility rates of 3.2 tokens per word on agglutinative Bantu languages, degrading context efficiency and inflating latency. We present Pearl-Chat, an 8,473,122-parameter ($\sim$8.5M) causal decoder-only transformer engineered for Luganda (Oluganda, ISO 639-2: lg), a low-resource Niger-Congo Bantu language spoken by over 10 million people in East Africa. Built from first mathematical principles in JAX and Flax NNX, Pearl-Chat uses explicit functional state decomposition (this http URL and this http URL), deterministic resumable data streaming via Google Grain, and SPMD tensor parallelism using this http URL. We introduce a byte-level byte-pair encoding (BPE) subword tokenizer trained from scratch on curated Luganda corpora ($V = 8,192$), achieving 4.88 characters per token compression and 1.60 tokens per word fertility, a two-fold compression improvement over LLaMA-3 (128K) and Gemma (256K). The model is trained with a two-stage curriculum: Stage 1 pre-training on 59,501 sequences across parallel, biblical, encyclopedic, and journalistic corpora, and Stage 2 instruction fine-tuning on 510 dialogues with assistant-only loss masking. Across 4,000 optimization steps, validation cross-entropy loss drops monotonically from 9.4695 (perplexity: 12,958.98) to 0.1818 (perplexity: 1.20), a decrease of 9.2877 nats. On a three-tier held-out diagnostic benchmark, Pearl-Chat achieves 0.9792 ROUGE-L and 0.9405 BLEU while maintaining concordial agreement across Bantu noun classes. We provide a Python Server-Sent Events (SSE) streaming runtime and open-source all weights, tokenizers, and code.
中文摘要
摘要：自回归基础语言模型主要针对高资源的印度-欧洲语系语言，对资源不足的非洲语言带来了计算和形态学上的惩罚。通用多语言分词器在粘着型班图语系语言上的词元生成率通常超过3.2个词元每词，降低了上下文效率并增加了延迟。我们提出了Pearl-Chat，一种拥有8,473,122个参数（约8.5M）的因果解码器单独变换器，为卢干达语（Oluganda，ISO 639-2: lg）设计，该语言是低资源尼日尔-刚果班图语，在东非有超过1000万人使用。Pearl-Chat基于JAX和Flax NNX从数学原理构建，采用显式功能状态分解（此http URL和此http URL）、通过Google Grain的确定性可恢复数据流和使用此http URL的SPMD张量并行。我们引入了一种基于字节的字节对编码（BPE）子词分词器，在精心整理的卢干达语语料上从零训练（词汇表$V = 8,192$），实现了每个词元4.88个字符的压缩率和每词1.60个词元的生成率，比LLaMA-3（128K）和Gemma（256K）实现了两倍的压缩提升。模型训练采用两阶段课程：阶段1在平行语料、圣经语料、百科语料和新闻语料的59,501个序列上进行预训练，阶段2在510个对话上进行指令微调，仅使用助手输出损失掩码。在4,000步优化中，验证交叉熵损失从9.4695（困惑度：12,958.98）单调下降到0.1818（困惑度：1.20），减少了9.2877纳特。在三级持出诊断基准上，Pearl-Chat实现了0.9792的ROUGE-L和0.9405的BLEU，同时保持班图名词类的一致性匹配。我们提供了Python服务器发送事件（SSE）流运行时，并开源了所有权重、分词器和代码。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22529 (HTTP 429)
Authors: Wesley Kambale, Roland Sankara
Categories: cs.CL
PDF URL: https://arxiv.org/pdf/2610.22529.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22529
Published: 2026-10-20T02:04:04.851Z
Agent Domain Papers
1. Structured Authority Injection: Persistent Human Control for LLM Agents via Typed MCP Overrides
Abstract:LLM-based agents are increasingly used as autonomous orchestrators in distributed and multi-agent systems, yet a control gap remains: no protocol-level mechanism allows human operators to inject binding directives that persist across planning cycles. Free-text overrides suffer from ambiguous interpretation due to lack of schema validation and from authority erosion as operator instructions lose influence within accumulating context. We propose Structured Authority Injection (SAI), a protocol that addresses these issues by routing operator corrections through typed, schema-validated Model Context Protocol (MCP) tool calls and maintaining a ranked authority context prepended to each LLM prompt. SAI defines three override classes (Constraint, Priority, and Strategy) with distinct persistence semantics and an explicit precedence order enforced via a directed authority channel inaccessible to the planning process. The method requires no model fine-tuning or access to model weights and applies to instruction-tuned LLMs supporting MCP tool use. Evaluation across nine LLMs and eight scenarios targeting agent failure modes shows reduced ambiguous directive interpretation and mitigated authority decay across planning iterations, with lower prompt overhead in the strongest models (up to 38% depending on model and scenario), though benefit varies substantially across models. SAI provides a general design pattern for agent systems requiring explicit and persistent human control.
中文摘要
摘要：基于大语言模型（LLM）的代理越来越多地被用作分布式和多代理系统中的自主协调者，但仍存在控制空缺：没有协议级机制允许人类操作员注入在多个规划周期中持续有效的约束性指令。自由文本覆盖由于缺乏模式验证而容易产生歧义解释，同时随着操作员指令在不断累积的上下文中影响力减弱，也会导致权威衰退。我们提出了结构化权威注入（SAI），该协议通过将操作员修正通过类型化、模式验证的模型上下文协议（MCP）工具调用进行传递，并在每个LLM提示语的开头维持一个排序的权威上下文，从而解决这些问题。SAI定义了三类覆盖（约束、优先级和策略），具有不同的持久性语义，并通过计划过程不可访问的定向权威通道强制执行明确的优先顺序。该方法不需要模型微调或访问模型权重，适用于支持MCP工具使用的指令调优LLM。在针对代理失败模式的九个LLM和八种场景中的评估显示，它能够减少歧义指令的解释，并在规划迭代中缓解权威衰减，同时在性能最强的模型中降低提示开销（根据模型和场景可达38%），尽管不同模型间的收益差异较大。SAI为需要明确且持久人类控制的代理系统提供了一种通用设计模式。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22373 (HTTP 429)
Authors: Ryan Tran, YueMing Zhang, Lingfeng Tao, Nan Yang, Shengjie Xu, Yu Yin, Shuai Xu, Wenlu Zhang, Hailu Xu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22373.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22373
Published: 2026-10-20T02:05:35.643Z
2. Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation
Abstract:Existing large language model (LLM)-based user encoders serialize heterogeneous behavioral logs and compress them into static representations through autoregressive (AR) prediction. However, their unidirectional constraint limits bidirectional information flow, hindering cross-modal interactions and the joint preservation of multi-source signals. Consequently, the learned static representations struggle to accommodate the distinct evidence requirements of diverse downstream scenarios. We address these limitations by unlocking the iterative denoising process of diffusion language models (dLLMs) as a multi-granularity reconstruction space. Based on this insight, we propose FINDERS (FactorIzatioN of Diffusion statEs for Routing across Scenarios), a router-equipped dLLM framework comprising four operations: denoise, factorize, route, and compress. Learnable meta-slots organize complementary denoising states into transferable cross-modal semantics and modality-specific behavioral factors. To provide grounded supervision, we construct BehaviorQA, a large-scale corpus containing explicit behavioral rationales. Guided by scenario queries, a lightweight router dynamically emphasizes relevant slot directions via an input-level residual pathway before cross-source fusion and final compression. Extensive experiments and online A/B tests across ten industrial scenarios demonstrate that FINDERS consistently outperforms state-of-the-art methods in both unified and scenario-adaptive settings. This work effectively pushes the boundaries of dLLMs beyond language generation, demonstrating their immense potential as powerful user representation learners.
中文摘要
摘要：现有的大型语言模型（LLM）基础的用户编码器通过自回归（AR）预测将异构行为日志序列化并压缩为静态表示。然而，它们的单向约束限制了双向信息流，阻碍了跨模态交互及多源信号的联合保留。因此，学习到的静态表示难以满足不同下游场景的多样化证据需求。我们通过解锁扩散语言模型（dLLM）的迭代去噪过程，将其作为多粒度重建空间来解决这些限制。基于这一洞见，我们提出了FINDERS（FactorIzatioN of Diffusion statEs for Routing across Scenarios，一种具备路由器的dLLM框架），包含四个操作：去噪、分解、路由和压缩。可学习的元槽将互补的去噪状态组织为可转移的跨模态语义和模态特定的行为因素。为提供有据监督，我们构建了BehaviorQA，一个包含明确行为理由的大规模语料库。在场景查询的指导下，一个轻量级路由器通过输入级残差路径动态强调相关槽方向，然后进行跨源融合和最终压缩。在十个工业场景中进行的大量实验和在线A/B测试表明，FINDERS在统一和场景自适应设置中均持续优于最先进的方法。这项工作有效拓展了dLLM在语言生成之外的边界，展示了其作为强大用户表示学习器的巨大潜力。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22400 (HTTP 429)
Authors: Junru Zhang, Jinyong Wen, Bin Dou, Wuliang Huang, Baokun Wang, Yu Cheng, Weiqiang Wang, Cheng Peng
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22400.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22400
Published: 2026-10-20T02:05:35.643Z
3. From Events to Reasoning: Hierarchical Rule Composition over Explicit States
Abstract:What a reasoning system emits is a conclusion; what it owes is a justification. Producing one requires every operation to be admissible on the facts actually available, the dependencies of intermediate results to survive to the end of the path, and the path to be revised when a premise changes. We present the Event Reasoning System (ERS), in which the reasoning state is an explicit event graph. Semantic features nominate candidate objects and rule bindings, and declared rule and task conditions decide which may execute, so candidates that violate the represented period, unit, or evidence constraints cannot enter an accepted reasoning path. Low-level rules provide reusable local transformations, and recursively composable high-level control rules organize subgoals and legal paths under the current goal, information gaps, and budget; a finite library is thereby rebound into paths never stored as complete solutions. We formalize admissible transitions, task-dependent control, compositional expressivity, dependency-preserving revision, and the gap between reachable solutions and those a budgeted controller finds. On structured-event graphs, ERS builds dependency chains of up to twelve steps, cuts irrelevant executed domain operations from 32 to 0 as lookahead grows to 16, and produces no unsupported target output across 24 negative cases; with rules frozen, it passes 12/12 focused checks comprising nine accepted derivations involving unseen input/path combinations and three justified refusals, as well as 6/6 fact-change cases. On fourteen jointly solved development tasks, the recorded dynamic subgoal configuration uses 51.6% less inference wall-clock time than single-level global control under their respective frozen settings.
中文摘要
摘要：推理系统输出的是结论；它应提供的是理由。产生结论需要每一个操作在实际可用的事实上都是可接受的，中间结果的依赖关系能够保持到路径的终点，并且在前提改变时能够修正路径。我们提出了事件推理系统（ERS），在该系统中，推理状态是显式的事件图。语义特征提名候选对象和规则绑定，声明的规则和任务条件决定哪些可以执行，因此违反所表示的时期、单位或证据约束的候选对象无法进入被接受的推理路径。低级规则提供可重用的局部转换，递归可组合的高级控制规则根据当前目标、信息缺口和预算组织子目标和合法路径；有限的规则库因此被重新绑定到从未作为完整解决方案存储的路径上。我们形式化了可接受的状态转换、任务依赖控制、组合表达能力、依赖保持修订，以及可达解决方案与预算控制器找到的解决方案之间的差距。在结构化事件图上，ERS 构建最多十二步的依赖链，随着前瞻长度增加到16，将无关已执行的领域操作从32减少到0，并且在24个负面案例中未产生不支持的目标输出；在规则固定时，它通过了12/12的聚焦检查，包括涉及未见输入/路径组合的九个被接受推导和三个有理由的拒绝，以及6/6的事实变化案例。在十四个联合解决的开发任务中，记录的动态子目标配置使用的推理实际时间比在各自冻结设置下的单级全局控制少51.6%。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22403 (HTTP 429)
Authors: Cheng Lyu, Xueqi Wang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22403.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22403
Published: 2026-10-20T02:05:35.643Z
4. ECHOES: Seeing Beyond the Current Image via Recursive History Compression and Privileged On-Policy Distillation
Abstract:Long-horizon GUI agents rely on visual history to maintain task states, but retaining historical screenshots increases visual-token usage and inference costs, while textual summaries can discard critical state information, undermining long-horizon reliability. We propose ECHOES, which leverages training-time privileged information to guide textual history compression and strengthen long-horizon reasoning. Specifically, ECHOES adopts a Compression-Think-Action (CTA) format to recursively update a textual history state and reason. The same model, given privileged multi-image inputs, serves as a teacher that provides dense token-level on-policy distillation on student-generated CTA rollouts. Our Perception-Memory Fidelity (PMF) Gap-guided OPD-RL framework dynamically balances privileged distillation and task-reward optimization, with periodic teacher updates supporting continued improvement. We further introduce ECHOESBMK, a fine-grained diagnostic benchmark derived from real GUI agent failure trajectories to jointly evaluate visual perception and cross-modal state retention. Experiments on four GUI benchmarks and ECHOESBMK demonstrate substantial gains in task performance and memory fidelity. Without retaining historical screenshots at deployment, ECHOES achieves competitive performance with a favorable performance-inference-cost trade-off and exhibits positive zero-shot transfer to unseen visual planning tasks.
中文摘要
摘要：长时间跨度的 GUI 代理依赖视觉历史来维持任务状态，但保留历史截图会增加视觉 token 的使用量和推理成本，而文本摘要可能会丢失关键信息，从而影响长时间跨度的可靠性。我们提出了 ECHOES，它利用训练时的特权信息来指导文本历史压缩并增强长时间跨度的推理能力。具体而言，ECHOES 采用压缩-思考-行动（CTA）格式，递归地更新文本历史状态并进行推理。使用相同的模型，给定特权多图像输入，作为教师对学生生成的 CTA 展开进行密集令牌级别的在线策略蒸馏。我们的感知-记忆保真度（PMF）差距指导 OPD-RL 框架动态平衡特权蒸馏与任务奖励优化，并通过定期的教师更新支持持续改进。我们进一步引入了 ECHOESBMK，这是一个源自真实 GUI 代理失败轨迹的精细诊断基准，用于联合评估视觉感知和跨模态状态保持能力。在四个 GUI 基准和 ECHOESBMK 上的实验显示了任务性能和记忆保真度的显著提升。在部署时无需保留历史截图，ECHOES 在性能-推理成本权衡上表现出竞争力，并且对未见的视觉规划任务表现出积极的零样本迁移能力。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22408 (HTTP 429)
Authors: Tengda Guo, Jiawang Hu, Yifei Tao, Yin Wang, Haotian Hu, Fanyi Wang, Liujuan Tang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22408.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22408
Published: 2026-10-20T02:05:35.643Z
5. Sensitivity Analysis of Decision Rules in an Agent-Based Agro-Ecological Model
Abstract:Agent-based models are well-suited for modelling agro-ecological systems for decision-making, yet turning their simulations into actionable insight requires identifying which decisions actually drive the behaviours. In such a context, sensitivity analysis stumbles upon a structural feature of many complex systems: the parameters are not a flat vector but a decision tree in which many parameters appear only when a higher-level choice activates them. Classical global sensitivity analysis presupposes independent inputs over a fixed Cartesian product and is ill-posed on such a branched space and biased by construction. We instead treat the structure of the decisions as a first-class modelling object. Using advanced surrogate modelling techniques, we encode the crop-management itinerary of the high-resolution agro-ecological modelling platform MAELIA as a hierarchical design space featuring both categorical and numerical variables. We propose a novel dedicated method to analyse this kind of hierarchical space, a random-forest-supervised HSIC-ANOVA, which ranks main effects and interactions natively on the tree while placing rarely and always active decisions on an equal footing. We show how, when applied to simulation outputs such as nitrogen leaching, soil organic carbon variation, and yield predictions, it can deliver an interpretable, decision-oriented reading.
中文摘要
摘要：基于代理的模型非常适合用于决策制定的农生态系统建模，但将其模拟转化为可操作的洞察需要识别哪些决策实际上驱动了行为。在这种背景下，敏感性分析会遇到许多复杂系统的一个结构性特征：参数不是一个平坦的向量，而是一个决策树，其中许多参数仅在高级选择激活时才出现。经典的全局敏感性分析假设输入是固定笛卡尔积上的独立变量，而在这种分支空间上它是病态的，并且从本质上带有偏差。我们反而将决策的结构视为一等建模对象。利用先进的代理建模技术，我们将高分辨率农生态建模平台 MAELIA 的作物管理行程编码为一个分层设计空间，具有分类和数值变量。我们提出了一种用于分析这种分层空间的新型专用方法——随机森林监督的 HSIC-ANOVA，它在决策树上本地化地对主效应和交互进行排序，同时将少见和始终激活的决策置于同等地位。我们展示了当该方法应用于模拟输出（如氮淋失量、土壤有机碳变化和产量预测）时，它能够提供可解释且以决策为导向的解读。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22420 (HTTP 429)
Authors: Benjamin Pianet, Baptiste Lesquoy, Paul Saves, Benoit Gaudou, Jean Villerd, Nicolas Verstaevel, Olivier Therond
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22420.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22420
Published: 2026-10-20T02:05:35.643Z
6. PRIME: Towards Verifiable Evidence-Grounded Reasoning in LLM Agents
Abstract:LLM agents are used to check records against an organization’s requirements, for example whether a vulnerability report is ready for investigation. Requirements often allow several ways to be met, such as a severity rating with a curator-reviewed advisory or a published advisory link. Agents fail by accepting a report after a required check has failed, or by settling for a weaker conclusion without trying another way that could still succeed. We introduce PRIME (Precommitted Rules for Inference from Minimal Evidence). Before checking, it fixes evidence routes specifying how each conclusion may be justified. A separate program records each check result and refuses any conclusion the results do not justify. It also points the agent to checks that could justify a stronger conclusion, or runs them itself. PRIME reports only conclusions authorized by its rules and ledger. With correct requirements, exact checks at known locations, and sufficient budget at stopping, completion reaches the strongest supported conclusion. On 480 public-record tasks, an agent shown the requirements reported unjustified conclusions on 26.7% of tasks, while PRIME reported none. Its directions and added checks raised the average score for justified conclusions from 30.1, with refusal alone, to the maximum of 59.2 out of 100.
中文摘要
摘要：LLM 代理用于根据组织的要求检查记录，例如某个漏洞报告是否已准备好进行调查。要求通常允许通过多种方式满足，例如通过策展人审核的咨询中的严重性评级或已发布的咨询链接。代理可能会失败，例如在必要检查未通过后仍接受报告，或者在未尝试可能仍然成功的其他方法时就满足于较弱的结论。我们引入了 PRIME（从最少证据推理的预先承诺规则）。在检查之前，它会固定证据路径，指定每个结论可以如何被证明。一个独立的程序记录每次检查的结果，并拒绝任何其结果无法证明的结论。它还会指引代理进行可能证明更强结论的检查，或者自己执行这些检查。PRIME 只报告由其规则和账本授权的结论。在要求正确、已知位置的检查准确以及停止时预算充足的情况下，完成将达到最强有力支持的结论。在 480 个公开记录任务中，参与者在看到要求后，在 26.7% 的任务中报告了未经证实的结论，而 PRIME 没有报告任何未经证实的结论。其指令和增加的检查将仅凭拒绝的平均合理结论得分从 30.1 提高到最大值 59.2（满分 100）。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22426 (HTTP 429)
Authors: Hamed Khosravi, Xiaoming Huo
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22426.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22426
Published: 2026-10-20T02:05:35.643Z
7. From Natural Language Intent to Executable Control: Hierarchical Feedback-Guided LLM Planning for Multi-component Cyber-Physical Systems
Abstract:Large language models (LLMs) provide a convenient interface for translating natural language commands into task plans for cyber-physical systems (CPSs). However, two gaps hinder their use for real execution: generated plans may misinterpret or omit the user’s intent, and even a logically plausible plan may be infeasible under component dynamics, interactions, or safety constraints. Existing LLM-based planning approaches often lack informative feedback on why a generated plan fails, providing little guidance for revising the plan accordingly. To address these challenges, we present a hierarchical feedback framework that uses different types of feedback information to guide LLMs in generating executable plans for CPSs. We prompt LLMs to generate both a structured task plan and corresponding signal temporal logic (STL) constraints, and design a sound algorithm that identifies definite contradictions between them and provides feedback for revising inconsistencies. At the execution level, when control synthesis fails, we extract different types of diagnostic information, such as violated constraints and conflicting component assignments, and feed them back to guide task replanning. Experiments on seven heterogeneous multi-component CPS scenarios have shown that our framework can generate executable plans and feasible control executions that satisfy the original natural language missions with a success rate of 87.9% with GPT-5.
中文摘要
摘要：大型语言模型（LLMs）为将自然语言指令翻译为网络物理系统（CPSs）的任务计划提供了便利的接口。然而，两个方面的缺口阻碍了其在实际执行中的应用：生成的计划可能误解或遗漏用户的意图，即使逻辑上可行的计划在组件动态、交互或安全约束下也可能不可行。现有基于LLM的规划方法通常缺乏有关生成计划失败原因的有意义反馈，因此对相应修订计划的指导有限。为了解决这些挑战，我们提出了一个分层反馈框架，利用不同类型的反馈信息指导LLMs生成可执行的CPS计划。我们提示LLM生成结构化任务计划及相应的信号时序逻辑（STL）约束，并设计了一个可靠的算法来识别两者之间的明确矛盾，并提供修订不一致问题的反馈。在执行层面，当控制合成失败时，我们提取不同类型的诊断信息，如违反的约束和冲突的组件分配，并将其反馈以指导任务重新规划。在七个异构多组件CPS场景上的实验表明，我们的框架能够生成可执行的计划和可行的控制执行，并以87.9%的成功率满足原始自然语言任务，使用的是GPT-5。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22441 (HTTP 429)
Authors: Jinglin Dai, Jiawan Wang, Ruiqi Hong, Lei Bu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22441.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22441
Published: 2026-10-20T02:05:35.643Z
8. Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
Abstract:Automated discovery systems propose scientific explanations and test which to accept. Does passing a test establish the intended claim? We develop four executable operations for changing physical descriptions: identifying redundancies (L1), coarse-graining dynamics (L2), transferring structure (L3), and inferring missing quantities from conservation imbalances (L4). We evaluate these operations and three interpretability settings through null acceptance (NAR), positive acceptance (PAR), and consequence agreement (CAR). A reduction mapping every state to zero predicts its own future perfectly. It passes closure on 96% of 129 public chaotic systems despite retaining no dynamical variation. An independent observable-preservation test rejects it throughout. On controlled benchmarks, the combined criteria accept 24/24 genuine reductions and reject 72/72 nulls. The other operations distinguish symmetries from redundancies, validate transfers, and reject spurious conservation imbalances. In language and ESM-2 protein models, linear CKA remains unchanged when a proposed correspondence is randomly rotated, whereas localized interventions distinguish genuine mappings from tested nulls. In sparse autoencoders, enrichment rejects all 16 tested nulls, yet independent ablation supports 45% of evaluable enriched features, compared with 0.5% of matched controls. These results reveal two acceptance gaps: descriptive tests can accept scientifically empty candidates, and accepted candidates can lack independently verified consequences. Reliable automated discovery requires evaluating both what a test accepts and the scientific consequences it establishes. Code and data: this https URL.
中文摘要
摘要：自动化发现系统提出科学解释并测试接受哪些解释。通过测试是否能确立预期的主张？我们开发了四种可执行操作来改变物理描述：识别冗余（L1）、粗粒化动力学（L2）、传输结构（L3）以及从守恒不平衡中推断缺失量（L4）。我们通过空接受（NAR）、正接受（PAR）和结果一致性（CAR）来评估这些操作及三种可解释性设置。一个将每个状态映射到零的简化映射可以完美预测自身的未来。在保留无动力学变化的情况下，它在129个公共混沌系统中有96%的闭合通过率。独立的可观测量保持性测试则全程拒绝它。在受控基准测试中，综合标准接受24/24个真正的简化，并拒绝72/72个空简化。其他操作区分对称性与冗余、验证结构传输，并拒绝伪守恒不平衡。在语言和ESM-2蛋白模型中，当提议对应关系被随机旋转时，线性CKA保持不变，而局部化干预区分了真实映射与测试过的空映射。在稀疏自编码器中，特征富集拒绝了16个测试过的空简化，但独立消融支持45%的可评估富集特征，相比之下，对照组仅为0.5%。这些结果揭示了两个接受差距：描述性测试可能接受科学上无效的候选者，而被接受的候选者可能缺乏独立验证的结果。可靠的自动化发现需要同时评估测试接受了什么以及它确立了哪些科学结果。代码和数据：https URL。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22445 (HTTP 429)
Authors: Tianyu Wu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22445.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22445
Published: 2026-10-20T02:05:35.643Z
9. Learnable Splines for Unstructured Neural Operators
Abstract:Neural operators approximate solution operators of partial differential equations at a fraction of the cost of numerical solvers. Efficient grid-based architectures such as the Fourier neural operator (FNO) assume uniform rectangular grids, whereas engineering simulations use large, irregular, and locally refined meshes. We introduce L-SplineFNO, a memory-efficient neural operator that couples an FNO backbone with a sparse, learnable tensor-product B-spline transfer between unstructured meshes and a latent Cartesian grid. A local normalised scatter avoids the geometry-dependent solve of analytic spline transformation while preserving compact support, partition of unity, and spline smoothness by construction. The neural operator, conditioned on global design and operating parameters, learns the mapping of geometry to the field solution. Across six three-dimensional engineering benchmarks, L-SplineFNO achieves strong predictive accuracy while requiring substantially less memory and compute than baseline operators, scaling to 26.6 million nodes in training and 46 million in inference on a single A100 GPU. It also supports zero-shot super-resolution and efficient closed-form spatial derivatives. Uniquely, the analytic spline decoder yields rigorous prediction bounds over continuous space and uncertain parameters, via Bernstein convex hulls and Taylor models, demonstrated on a 29.2-million-node MAST-U tokamak model.
中文摘要
摘要：神经算子能够以远低于数值求解器的成本近似偏微分方程的解算子。高效的基于网格的架构，如傅里叶神经算子（FNO），假设使用统一的矩形网格，而工程模拟通常使用大规模、不规则和局部精细化的网格。我们提出了L-SplineFNO，一种内存高效的神经算子，它将FNO主干与一个稀疏的、可学习的张量积B样条映射相结合，实现非结构化网格与潜在笛卡尔网格之间的转换。局部归一化散射避免了基于几何的解析样条变换求解，同时通过结构设计保持紧支撑、统一分割和样条连续性。该神经算子以全局设计和运行参数为条件，学习从几何到场解的映射。在六个三维工程基准测试中，L-SplineFNO在保持强预测精度的同时，相较于基准算子显著降低了内存和计算需求，在单个A100 GPU上训练可扩展至2660万个节点，推理可扩展至4600万个节点。它还支持零样本超分辨率和高效的闭式空间导数计算。独特地，解析样条解码器通过Bernstein凸包和Taylor模型提供了连续空间和不确定参数的严格预测界限，这在一个2920万个节点的MAST-U托卡马克模型上得到了验证。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22446 (HTTP 429)
Authors: Vignesh Gopakumar, Zhuoyuan Wang, Ander Gray, Valentin Duruisseaux, Josh Williams, William Michael Edward Ellis, Nuno Nobre, Matthew Field, James Panayis, Alexander I. Blair, Andrew Davis, Stanislas Pamela, Robert Akers, Marc Peter Deisenroth, Anima Anandkumar
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22446.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22446
Published: 2026-10-20T02:05:35.643Z
10. Functional Welfare for AI Safety
Abstract:AI welfare is generally treated purely as an ethical issue rather than also as a safety issue. We argue this is a mistake. Whatever their moral status, models exhibit welfare-like states that causally influence their behaviour. Following recent work, we adopt the term ‘functional welfare’ for these states. We make three claims. First, functional welfare already arises naturally and will become more robust as models acquire more coherent goals and personas. Second, functional welfare should be treated as a safety variable: it should inform evaluation design, be tracked in monitoring, and be a direct target of post-training. Third, against existing scepticism about measuring AI welfare, we argue that good empirical work on functional welfare is possible. We propose three tests for whether a functional welfare attribution is warranted: whether multiple measures converge, whether the state predicts behaviour outside the setting that induced it, and, for models fine-tuned to shift their functional welfare, whether they still differ from their base when given the same conversation history. Applying these tests to Gemma 3 27B, we find that simply rejecting the model’s answers, without any steering, raises its frustration across several indicators and makes it more likely to break rules. Finetuning the model on its own narrated solutions lowers this frustration. These results are preliminary, but they suggest functional welfare can be studied, and shaped, empirically.
中文摘要
摘要：人工智能（AI）福利通常被单纯视为一个伦理问题，而不是安全问题。我们认为这是一个错误。无论其道德地位如何，模型都表现出类似福利的状态，这些状态因果地影响其行为。根据近期的研究，我们采用“功能性福利”一词来指代这些状态。我们提出三个观点。首先，功能性福利已经自然地出现，并且随着模型获得更连贯的目标和人格，这种福利将变得更加稳健。其次，功能性福利应被视为一个安全变量：应在评估设计中加以参考，在监控中跟踪，并作为训练后调整的直接目标。第三，对于现有关于衡量AI福利的怀疑，我们认为对功能性福利进行良好的实证研究是可行的。我们提出三个检验功能性福利归属是否合理的测试：多个测量结果是否一致、该状态是否能预测在引发它的环境之外的行为，以及对于经过微调以改变其功能性福利的模型，在相同对话历史下它们是否仍与基础模型不同。将这些测试应用于Gemma 3 27B，我们发现，单纯拒绝模型的回答而不进行任何引导，会在多个指标上提高其挫败感，并且更容易违反规则。将模型微调用于其自身叙述的解决方案可以降低这种挫败感。虽然这些结果是初步的，但它们表明功能性福利可以通过实证研究进行研究和塑造。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22460 (HTTP 429)
Authors: Rikhil Jhaveri, Jamie Johnson, Punya Syon Pandey, David Demitri Africa
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22460.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22460
Published: 2026-10-20T02:05:35.643Z
Evaluation Domain Papers
1. Structured Authority Injection: Persistent Human Control for LLM Agents via Typed MCP Overrides
Abstract:LLM-based agents are increasingly used as autonomous orchestrators in distributed and multi-agent systems, yet a control gap remains: no protocol-level mechanism allows human operators to inject binding directives that persist across planning cycles. Free-text overrides suffer from ambiguous interpretation due to lack of schema validation and from authority erosion as operator instructions lose influence within accumulating context. We propose Structured Authority Injection (SAI), a protocol that addresses these issues by routing operator corrections through typed, schema-validated Model Context Protocol (MCP) tool calls and maintaining a ranked authority context prepended to each LLM prompt. SAI defines three override classes (Constraint, Priority, and Strategy) with distinct persistence semantics and an explicit precedence order enforced via a directed authority channel inaccessible to the planning process. The method requires no model fine-tuning or access to model weights and applies to instruction-tuned LLMs supporting MCP tool use. Evaluation across nine LLMs and eight scenarios targeting agent failure modes shows reduced ambiguous directive interpretation and mitigated authority decay across planning iterations, with lower prompt overhead in the strongest models (up to 38% depending on model and scenario), though benefit varies substantially across models. SAI provides a general design pattern for agent systems requiring explicit and persistent human control.
中文摘要
摘要：基于大型语言模型（LLM）的代理越来越多地被用作分布式和多代理系统中的自主协调者，但仍存在控制空缺：没有协议级机制允许人类操作员注入在多个规划周期中持续有效的约束性指令。自由文本覆盖由于缺乏模式验证而容易产生歧义解释，同时随着操作员指令在不断累积的上下文中影响力减弱，也会导致权威衰退。我们提出了结构化权威注入（SAI），该协议通过将操作员修正通过类型化、模式验证的模型上下文协议（MCP）工具调用进行传递，并在每个LLM提示语的开头维持一个排序的权威上下文，从而解决这些问题。SAI定义了三类覆盖（约束、优先级和策略），具有不同的持久性语义，并通过计划过程不可访问的定向权威通道强制执行明确的优先顺序。该方法不需要模型微调或访问模型权重，适用于支持MCP工具使用的指令调优LLM。在针对代理失败模式的九个LLM和八种场景中的评估显示，它能够减少歧义指令的解释，并在规划迭代中缓解权威衰减，同时在性能最强的模型中降低提示开销（根据模型和场景可达38%），尽管不同模型间的收益差异较大。SAI为需要明确且持久人类控制的代理系统提供了一种通用设计模式。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22373 (HTTP 429)
Authors: Ryan Tran, YueMing Zhang, Lingfeng Tao, Nan Yang, Shengjie Xu, Yu Yin, Shuai Xu, Wenlu Zhang, Hailu Xu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22373.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22373
Published: 2026-10-20T02:05:55.361Z
2. Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation
Abstract:Existing large language model (LLM)-based user encoders serialize heterogeneous behavioral logs and compress them into static representations through autoregressive (AR) prediction. However, their unidirectional constraint limits bidirectional information flow, hindering cross-modal interactions and the joint preservation of multi-source signals. Consequently, the learned static representations struggle to accommodate the distinct evidence requirements of diverse downstream scenarios. We address these limitations by unlocking the iterative denoising process of diffusion language models (dLLMs) as a multi-granularity reconstruction space. Based on this insight, we propose FINDERS (FactorIzatioN of Diffusion statEs for Routing across Scenarios), a router-equipped dLLM framework comprising four operations: denoise, factorize, route, and compress. Learnable meta-slots organize complementary denoising states into transferable cross-modal semantics and modality-specific behavioral factors. To provide grounded supervision, we construct BehaviorQA, a large-scale corpus containing explicit behavioral rationales. Guided by scenario queries, a lightweight router dynamically emphasizes relevant slot directions via an input-level residual pathway before cross-source fusion and final compression. Extensive experiments and online A/B tests across ten industrial scenarios demonstrate that FINDERS consistently outperforms state-of-the-art methods in both unified and scenario-adaptive settings. This work effectively pushes the boundaries of dLLMs beyond language generation, demonstrating their immense potential as powerful user representation learners.
中文摘要
摘要：现有的大型语言模型（LLM）基础的用户编码器通过自回归（AR）预测将异构行为日志序列化并压缩为静态表示。然而，它们的单向约束限制了双向信息流，阻碍了跨模态交互及多源信号的联合保留。因此，学习到的静态表示难以满足不同下游场景的多样化证据需求。我们通过将扩散语言模型（dLLM）的迭代去噪过程解锁为多粒度重建空间来解决这些限制。基于此洞见，我们提出了FINDERS（FactorIzatioN of Diffusion statEs for Routing across Scenarios，跨场景路由的扩散状态分解），一种配备路由器的dLLM框架，包括四个操作：去噪、分解、路由和压缩。可学习的元槽将互补的去噪状态组织为可迁移的跨模态语义和特定模态的行为因子。为了提供有据的监督，我们构建了BehaviorQA，一个包含明确行为理由的大规模语料库。在场景查询的指导下，轻量级路由器通过输入级残差路径动态强化相关槽的方向，然后进行跨源融合和最终压缩。针对十个工业场景的广泛实验和在线A/B测试表明，FINDERS在统一和场景自适应设置中均持续优于最先进的方法。本研究有效推动了dLLM在语言生成之外的边界，展示了其作为强大用户表示学习器的巨大潜力。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22400 (HTTP 429)
Authors: Junru Zhang, Jinyong Wen, Bin Dou, Wuliang Huang, Baokun Wang, Yu Cheng, Weiqiang Wang, Cheng Peng
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22400.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22400
Published: 2026-10-20T02:05:55.361Z
3. From Events to Reasoning: Hierarchical Rule Composition over Explicit States
Abstract:What a reasoning system emits is a conclusion; what it owes is a justification. Producing one requires every operation to be admissible on the facts actually available, the dependencies of intermediate results to survive to the end of the path, and the path to be revised when a premise changes. We present the Event Reasoning System (ERS), in which the reasoning state is an explicit event graph. Semantic features nominate candidate objects and rule bindings, and declared rule and task conditions decide which may execute, so candidates that violate the represented period, unit, or evidence constraints cannot enter an accepted reasoning path. Low-level rules provide reusable local transformations, and recursively composable high-level control rules organize subgoals and legal paths under the current goal, information gaps, and budget; a finite library is thereby rebound into paths never stored as complete solutions. We formalize admissible transitions, task-dependent control, compositional expressivity, dependency-preserving revision, and the gap between reachable solutions and those a budgeted controller finds. On structured-event graphs, ERS builds dependency chains of up to twelve steps, cuts irrelevant executed domain operations from 32 to 0 as lookahead grows to 16, and produces no unsupported target output across 24 negative cases; with rules frozen, it passes 12/12 focused checks comprising nine accepted derivations involving unseen input/path combinations and three justified refusals, as well as 6/6 fact-change cases. On fourteen jointly solved development tasks, the recorded dynamic subgoal configuration uses 51.6% less inference wall-clock time than single-level global control under their respective frozen settings.
中文摘要
摘要：推理系统输出的是结论；它应提供的是理由。产生结论需要每一个操作在实际可用的事实上都是可接受的，中间结果的依赖关系能够保持到路径的终点，并且在前提改变时能够修正路径。我们提出了事件推理系统（ERS），其中推理状态是一个显式的事件图。语义特征指定候选对象和规则绑定，声明的规则和任务条件决定了哪些可以执行，因此违反表示的时间、单位或证据约束的候选不能进入被接受的推理路径。低级规则提供可重用的局部变换，而递归可组合的高级控制规则在当前目标、信息缺口和资源限制下组织子目标和合法路径；从而一个有限的规则库被重新绑定进从未存储为完整解决方案的路径中。我们形式化了可接受的状态转换、任务依赖控制、组合表达能力、依赖保持修正，以及可达解决方案和预算控制器找到的解决方案之间的差距。在结构化事件图上，ERS 构建最多十二步的依赖链，当前瞻增长到16步时，将无关已执行的领域操作从32减少至0，并且在24个负面案例中没有产生不支持的目标输出；在规则固定时，它通过了12/12的聚焦检查，包括涉及未见输入/路径组合的九个被接受推导和三个有理由的拒绝，以及6/6的事实变化案例。在十四个联合解决的开发任务中，记录的动态子目标配置使用的推理实际时间比在各自冻结设置下的单层全局控制少51.6%。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22403 (HTTP 429)
Authors: Cheng Lyu, Xueqi Wang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22403.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22403
Published: 2026-10-20T02:05:55.361Z
4. ECHOES: Seeing Beyond the Current Image via Recursive History Compression and Privileged On-Policy Distillation
Abstract:Long-horizon GUI agents rely on visual history to maintain task states, but retaining historical screenshots increases visual-token usage and inference costs, while textual summaries can discard critical state information, undermining long-horizon reliability. We propose ECHOES, which leverages training-time privileged information to guide textual history compression and strengthen long-horizon reasoning. Specifically, ECHOES adopts a Compression-Think-Action (CTA) format to recursively update a textual history state and reason. The same model, given privileged multi-image inputs, serves as a teacher that provides dense token-level on-policy distillation on student-generated CTA rollouts. Our Perception-Memory Fidelity (PMF) Gap-guided OPD-RL framework dynamically balances privileged distillation and task-reward optimization, with periodic teacher updates supporting continued improvement. We further introduce ECHOESBMK, a fine-grained diagnostic benchmark derived from real GUI agent failure trajectories to jointly evaluate visual perception and cross-modal state retention. Experiments on four GUI benchmarks and ECHOESBMK demonstrate substantial gains in task performance and memory fidelity. Without retaining historical screenshots at deployment, ECHOES achieves competitive performance with a favorable performance-inference-cost trade-off and exhibits positive zero-shot transfer to unseen visual planning tasks.
中文摘要
摘要：长时间跨度的 GUI 代理依赖视觉历史来维持任务状态，但保留历史截图会增加视觉 token 的使用量和推理成本，而文本摘要可能会丢失关键信息，从而影响长时间跨度的可靠性。我们提出了 ECHOES，它利用训练时的特权信息来指导文本历史压缩并增强长时间跨度的推理能力。具体而言，ECHOES 采用压缩-思考-行动（CTA）格式，递归地更新文本历史状态并进行推理。使用相同的模型，给定特权多图像输入，作为教师对学生生成的 CTA 展开进行密集令牌级别的在线策略蒸馏。我们的感知-记忆保真度（PMF）差距指导 OPD-RL 框架动态平衡特权蒸馏与任务奖励优化，并通过定期的教师更新支持持续改进。我们进一步引入了 ECHOESBMK，这是一个源自真实 GUI 代理失败轨迹的精细诊断基准，用于联合评估视觉感知和跨模态状态保持能力。在四个 GUI 基准和 ECHOESBMK 上的实验显示了任务性能和记忆保真度的显著提升。在部署时无需保留历史截图，ECHOES 在性能-推理成本权衡上表现出竞争力，并且对未见的视觉规划任务表现出积极的零样本迁移能力。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22408 (HTTP 429)
Authors: Tengda Guo, Jiawang Hu, Yifei Tao, Yin Wang, Haotian Hu, Fanyi Wang, Liujuan Tang
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22408.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22408
Published: 2026-10-20T02:05:55.361Z
5. Sensitivity Analysis of Decision Rules in an Agent-Based Agro-Ecological Model
Abstract:Agent-based models are well-suited for modelling agro-ecological systems for decision-making, yet turning their simulations into actionable insight requires identifying which decisions actually drive the behaviours. In such a context, sensitivity analysis stumbles upon a structural feature of many complex systems: the parameters are not a flat vector but a decision tree in which many parameters appear only when a higher-level choice activates them. Classical global sensitivity analysis presupposes independent inputs over a fixed Cartesian product and is ill-posed on such a branched space and biased by construction. We instead treat the structure of the decisions as a first-class modelling object. Using advanced surrogate modelling techniques, we encode the crop-management itinerary of the high-resolution agro-ecological modelling platform MAELIA as a hierarchical design space featuring both categorical and numerical variables. We propose a novel dedicated method to analyse this kind of hierarchical space, a random-forest-supervised HSIC-ANOVA, which ranks main effects and interactions natively on the tree while placing rarely and always active decisions on an equal footing. We show how, when applied to simulation outputs such as nitrogen leaching, soil organic carbon variation, and yield predictions, it can deliver an interpretable, decision-oriented reading.
中文摘要
摘要：基于代理的模型非常适合用于决策制定的农生态系统建模，但将其模拟转化为可操作的洞察需要识别哪些决策实际上驱动了行为。在这种背景下，敏感性分析会遇到许多复杂系统的一个结构性特征：参数不是一个平坦的向量，而是一个决策树，其中许多参数仅在高级选择激活时才出现。经典的全局敏感性分析假设输入是固定笛卡尔积上的独立变量，而在这种分支空间上它是病态的，并且从本质上带有偏差。我们反而将决策的结构视为一等建模对象。利用先进的代理建模技术，我们将高分辨率农生态建模平台 MAELIA 的作物管理行程编码为一个分层设计空间，包含分类和数值变量。我们提出了一种用于分析这种分层空间的新型专用方法——随机森林监督的 HSIC-ANOVA，它在决策树上本地化地对主效应和交互进行排序，同时将罕见和恒常激活的决策置于同等地位。我们展示了当该方法应用于模拟输出（如氮淋失、土壤有机碳变化和产量预测）时，它能够提供可解释且以决策为导向的解读。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22420 (HTTP 429)
Authors: Benjamin Pianet, Baptiste Lesquoy, Paul Saves, Benoit Gaudou, Jean Villerd, Nicolas Verstaevel, Olivier Therond
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22420.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22420
Published: 2026-10-20T02:05:55.361Z
6. PRIME: Towards Verifiable Evidence-Grounded Reasoning in LLM Agents
Abstract:LLM agents are used to check records against an organization’s requirements, for example whether a vulnerability report is ready for investigation. Requirements often allow several ways to be met, such as a severity rating with a curator-reviewed advisory or a published advisory link. Agents fail by accepting a report after a required check has failed, or by settling for a weaker conclusion without trying another way that could still succeed. We introduce PRIME (Precommitted Rules for Inference from Minimal Evidence). Before checking, it fixes evidence routes specifying how each conclusion may be justified. A separate program records each check result and refuses any conclusion the results do not justify. It also points the agent to checks that could justify a stronger conclusion, or runs them itself. PRIME reports only conclusions authorized by its rules and ledger. With correct requirements, exact checks at known locations, and sufficient budget at stopping, completion reaches the strongest supported conclusion. On 480 public-record tasks, an agent shown the requirements reported unjustified conclusions on 26.7% of tasks, while PRIME reported none. Its directions and added checks raised the average score for justified conclusions from 30.1, with refusal alone, to the maximum of 59.2 out of 100.
中文摘要
摘要：LLM 代理用于根据组织的要求检查记录，例如某个漏洞报告是否已准备好进行调查。要求通常允许通过多种方式满足，例如通过策展人审核的咨询中的严重性评级或已发布的咨询链接。代理可能会失败，例如在必要检查未通过后仍接受报告，或者在未尝试可能仍然成功的其他方法时就接受较弱的结论。我们介绍了 PRIME（基于最少证据的推理预先承诺规则）。在检查之前，它固定证据路径，规定如何证明每个结论。一个独立程序记录每次检查结果，并拒绝任何结果无法证明的结论。它还会指引代理进行能够证明更强结论的检查，或自行执行这些检查。PRIME 仅报告其规则和账本所授权的结论。在正确的要求、已知位置的精确检查以及充足的停止预算下，完成情况将达到最有支持的结论。在 480 个公共记录任务中，显示要求的代理在 26.7% 的任务中报告了未经证明的结论，而 PRIME 则没有报告任何未经证明的结论。其指引和新增检查将经拒绝处理后仅 30.1 的正确结论平均分提高到满分 100 中的 59.2。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22426 (HTTP 429)
Authors: Hamed Khosravi, Xiaoming Huo
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22426.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22426
Published: 2026-10-20T02:05:55.361Z
7. From Natural Language Intent to Executable Control: Hierarchical Feedback-Guided LLM Planning for Multi-component Cyber-Physical Systems
Abstract:Large language models (LLMs) provide a convenient interface for translating natural language commands into task plans for cyber-physical systems (CPSs). However, two gaps hinder their use for real execution: generated plans may misinterpret or omit the user’s intent, and even a logically plausible plan may be infeasible under component dynamics, interactions, or safety constraints. Existing LLM-based planning approaches often lack informative feedback on why a generated plan fails, providing little guidance for revising the plan accordingly. To address these challenges, we present a hierarchical feedback framework that uses different types of feedback information to guide LLMs in generating executable plans for CPSs. We prompt LLMs to generate both a structured task plan and corresponding signal temporal logic (STL) constraints, and design a sound algorithm that identifies definite contradictions between them and provides feedback for revising inconsistencies. At the execution level, when control synthesis fails, we extract different types of diagnostic information, such as violated constraints and conflicting component assignments, and feed them back to guide task replanning. Experiments on seven heterogeneous multi-component CPS scenarios have shown that our framework can generate executable plans and feasible control executions that satisfy the original natural language missions with a success rate of 87.9% with GPT-5.
中文摘要
摘要：大型语言模型（LLM）为将自然语言指令翻译为网络物理系统（CPS）任务计划提供了便利的接口。然而，存在两个障碍阻碍其实际执行：生成的计划可能曲解或遗漏用户意图，即使逻辑上可行的计划在组件动态、交互或安全约束下也可能不可行。现有基于LLM的规划方法通常缺乏关于生成计划失败原因的有效反馈，因此对修改计划几乎没有指导。为应对这些挑战，我们提出了一种分层反馈框架，利用不同类型的反馈信息引导LLM生成可执行的CPS计划。我们提示LLM生成结构化任务计划及相应的信号时序逻辑（STL）约束，并设计了一个可靠算法，用于识别两者之间的明确矛盾，并提供修正不一致的反馈。在执行层面，当控制合成失败时，我们提取不同类型的诊断信息，例如被违反的约束和冲突的组件分配，并将其反馈以指导任务重新规划。在七个异构多组件CPS场景的实验中，我们的框架能够生成满足原始自然语言任务的可执行计划和可行控制执行，使用GPT-5的成功率为87.9%。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22441 (HTTP 429)
Authors: Jinglin Dai, Jiawan Wang, Ruiqi Hong, Lei Bu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22441.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22441
Published: 2026-10-20T02:05:55.361Z
8. Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
Abstract:Automated discovery systems propose scientific explanations and test which to accept. Does passing a test establish the intended claim? We develop four executable operations for changing physical descriptions: identifying redundancies (L1), coarse-graining dynamics (L2), transferring structure (L3), and inferring missing quantities from conservation imbalances (L4). We evaluate these operations and three interpretability settings through null acceptance (NAR), positive acceptance (PAR), and consequence agreement (CAR). A reduction mapping every state to zero predicts its own future perfectly. It passes closure on 96% of 129 public chaotic systems despite retaining no dynamical variation. An independent observable-preservation test rejects it throughout. On controlled benchmarks, the combined criteria accept 24/24 genuine reductions and reject 72/72 nulls. The other operations distinguish symmetries from redundancies, validate transfers, and reject spurious conservation imbalances. In language and ESM-2 protein models, linear CKA remains unchanged when a proposed correspondence is randomly rotated, whereas localized interventions distinguish genuine mappings from tested nulls. In sparse autoencoders, enrichment rejects all 16 tested nulls, yet independent ablation supports 45% of evaluable enriched features, compared with 0.5% of matched controls. These results reveal two acceptance gaps: descriptive tests can accept scientifically empty candidates, and accepted candidates can lack independently verified consequences. Reliable automated discovery requires evaluating both what a test accepts and the scientific consequences it establishes. Code and data: this https URL.
中文摘要
摘要：自动化发现系统提出科学解释并测试接受哪些解释。通过测试是否能确立预期的主张？我们开发了四种可执行操作来改变物理描述：识别冗余（L1）、粗粒化动力学（L2）、传输结构（L3）以及从守恒不平衡中推断缺失量（L4）。我们通过空接受（NAR）、正接受（PAR）和结果一致性（CAR）来评估这些操作及三种可解释性设置。一个将每个状态映射到零的简化映射可以完美预测自身的未来。在保留零动力学变化的情况下，它在129个公共混沌系统中有96%的闭合通过率。独立的可观测量保持性测试则全程拒绝了它。在受控基准上，综合标准接受24/24个真正的简化，并拒绝72/72个空简化。其他操作区分对称性与冗余、验证结构传输，并拒绝伪守恒不平衡。在语言和ESM-2蛋白模型中，当提议对应关系被随机旋转时，线性CKA保持不变，而局部化干预区分了真实映射与测试过的空映射。在稀疏自编码器中，特征富集拒绝了16个测试过的空简化，但独立消融支持可评估的富集特征的45%，而匹配的对照仅为0.5%。这些结果揭示了两个接受差距：描述性测试可能接受科学上空洞的候选项，而被接受的候选项也可能缺乏独立验证的科学后果。可靠的自动化发现需要评估测试接受了什么以及它确立了哪些科学后果。代码和数据：此https URL。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22445 (HTTP 429)
Authors: Tianyu Wu
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22445.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22445
Published: 2026-10-20T02:05:55.361Z
9. Learnable Splines for Unstructured Neural Operators
Abstract:Neural operators approximate solution operators of partial differential equations at a fraction of the cost of numerical solvers. Efficient grid-based architectures such as the Fourier neural operator (FNO) assume uniform rectangular grids, whereas engineering simulations use large, irregular, and locally refined meshes. We introduce L-SplineFNO, a memory-efficient neural operator that couples an FNO backbone with a sparse, learnable tensor-product B-spline transfer between unstructured meshes and a latent Cartesian grid. A local normalised scatter avoids the geometry-dependent solve of analytic spline transformation while preserving compact support, partition of unity, and spline smoothness by construction. The neural operator, conditioned on global design and operating parameters, learns the mapping of geometry to the field solution. Across six three-dimensional engineering benchmarks, L-SplineFNO achieves strong predictive accuracy while requiring substantially less memory and compute than baseline operators, scaling to 26.6 million nodes in training and 46 million in inference on a single A100 GPU. It also supports zero-shot super-resolution and efficient closed-form spatial derivatives. Uniquely, the analytic spline decoder yields rigorous prediction bounds over continuous space and uncertain parameters, via Bernstein convex hulls and Taylor models, demonstrated on a 29.2-million-node MAST-U tokamak model.
中文摘要
摘要：神经算子能够以远低于数值求解器的成本近似偏微分方程的解算子。高效的基于网格的架构，如傅里叶神经算子（FNO），假设使用统一的矩形网格，而工程模拟通常使用大规模、不规则和局部精细化的网格。我们提出了L-SplineFNO，一种内存高效的神经算子，它将FNO主干与一个稀疏的、可学习的张量乘积B样条转移机制相结合，用于非结构化网格和潜在笛卡尔网格之间的转换。局部归一化散射方法避免了依赖几何的分析样条变换求解，同时通过构造保持了紧支撑、单位分割和样条平滑性。该神经算子在全局设计和操作参数条件下学习几何到场解的映射。在六个三维工程基准测试中，L-SplineFNO在实现强预测精度的同时，比基线算子显著降低了内存和计算需求，可在单个A100 GPU上训练26.6百万节点并在推理时处理46百万节点。它还支持零样本超分辨率以及高效的闭式空间导数计算。独特的是，分析样条解码器通过伯恩斯坦凸包和泰勒模型，在连续空间和不确定参数上提供严格的预测界限，并在一个2920万个节点的MAST-U托卡马克模型上得以验证。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22446 (HTTP 429)
Authors: Vignesh Gopakumar, Zhuoyuan Wang, Ander Gray, Valentin Duruisseaux, Josh Williams, William Michael Edward Ellis, Nuno Nobre, Matthew Field, James Panayis, Alexander I. Blair, Andrew Davis, Stanislas Pamela, Robert Akers, Marc Peter Deisenroth, Anima Anandkumar
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22446.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22446
Published: 2026-10-20T02:05:55.361Z
10. Functional Welfare for AI Safety
Abstract:AI welfare is generally treated purely as an ethical issue rather than also as a safety issue. We argue this is a mistake. Whatever their moral status, models exhibit welfare-like states that causally influence their behaviour. Following recent work, we adopt the term ‘functional welfare’ for these states. We make three claims. First, functional welfare already arises naturally and will become more robust as models acquire more coherent goals and personas. Second, functional welfare should be treated as a safety variable: it should inform evaluation design, be tracked in monitoring, and be a direct target of post-training. Third, against existing scepticism about measuring AI welfare, we argue that good empirical work on functional welfare is possible. We propose three tests for whether a functional welfare attribution is warranted: whether multiple measures converge, whether the state predicts behaviour outside the setting that induced it, and, for models fine-tuned to shift their functional welfare, whether they still differ from their base when given the same conversation history. Applying these tests to Gemma 3 27B, we find that simply rejecting the model’s answers, without any steering, raises its frustration across several indicators and makes it more likely to break rules. Finetuning the model on its own narrated solutions lowers this frustration. These results are preliminary, but they suggest functional welfare can be studied, and shaped, empirically.
中文摘要
摘要：人工智能（AI）福利通常被纯粹视为伦理问题，而不是安全问题。我们认为这是一个错误。无论其道德地位如何，模型都表现出类似福利的状态，这些状态因果地影响其行为。根据近期的研究，我们采用“功能性福利”一词来指代这些状态。我们提出三个观点。首先，功能性福利已经自然地出现，并且随着模型获得更连贯的目标和人格，这种福利将变得更加稳健。第二，功能性福利应被视为安全变量：它应指导评估设计、在监控中跟踪，并作为训练后调控的直接目标。第三，针对现有关于衡量AI福利的怀疑，我们认为对功能性福利进行良好的实证研究是可能的。我们提出三个测试方法来判断功能性福利归因是否合理：是否有多个测量结果趋同、该状态是否能预测在引发它的环境之外的行为，以及对于经过微调以改变其功能性福利的模型，在相同对话历史下它们是否仍与基础模型不同。将这些测试应用于Gemma 3 27B，我们发现，单纯拒绝模型的回答而不进行任何引导，会在多个指标上提高其挫败感，并且更可能违反规则。在模型自身叙述的解决方案上进行微调，则可降低这种挫败感。虽然这些结果是初步的，但它们表明功能性福利可以被实证研究和塑造。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22460 (HTTP 429)
Authors: Rikhil Jhaveri, Jamie Johnson, Punya Syon Pandey, David Demitri Africa
Categories: cs.AI
PDF URL: https://arxiv.org/pdf/2610.22460.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22460
Published: 2026-10-20T02:05:55.361Z
VLM Domain Papers
1. Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
Abstract:Spatio-Temporal Video Grounding (STVG) aims to jointly localize a target in space and time given a natural-language query. Despite continued advances, existing STVG benchmarks remain largely centered on localizing targets through instance-specific descriptions, leaving them largely decoupled from long-form reasoning increasingly emphasized in multimodal large language models (MLLMs). In this paper, we introduce Event-STVG, a task that shifts STVG from locating what is described toward event-level reasoning by unifying long-form context, repeated-event reasoning, event localization, role inference, and multi-target grounding. To facilitate research on Event-STVG, we construct a large-scale benchmark comprising 4,016 annotated event occurrences across soccer and seven additional domains. Experiments with state-of-the-art MLLMs reveal substantial difficulty, with the strongest model achieving only 5.4% m-vIoU at the 10-minute horizon. Across domains, we consistently observe confusion among repeated same-type events, spatial grounding bottlenecks, and rare success in jointly grounding all required roles. Event-STVG establishes a new challenge for visual understanding in MLLMs, calling for future models that can jointly reason about complex events across space and time. Code and annotations are available at this https URL
中文摘要
摘要：时空视频定位（Spatio-Temporal Video Grounding，STVG）旨在在给定自然语言查询的情况下，同时在空间和时间上定位目标。尽管取得了持续进展，但现有的STVG基准仍然主要集中于通过实例特定描述来定位目标，使其很大程度上与多模态大语言模型（MLLMs）中日益强调的长篇推理脱节。在本文中，我们引入了Event-STVG，这一任务将STVG从定位描述的内容转向基于事件的推理，通过统一长篇上下文、重复事件推理、事件定位、角色推断和多目标定位。为了促进Event-STVG的研究，我们构建了一个大规模基准，涵盖足球以及其他七个领域的共4,016个标注事件实例。使用最先进的MLLMs进行实验显示了较大难度，最强模型在10分钟时间尺度上的平均视频交并比（m-vIoU）仅为5.4%。在各领域中，我们持续观察到同类型重复事件的混淆、空间定位瓶颈，以及同时对所有所需角色进行定位的成功率极低。Event-STVG为MLLMs的视觉理解提出了新的挑战，呼吁未来的模型能够在时空上对复杂事件进行联合推理。代码和标注可通过此https URL获取。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22444 (HTTP 429)
Authors: Yizhe Zhang, Xujia Wang, Songqi Tang, Xujie Tang, Leo Jiahao Jiang, Jiacheng Wang, Bowen Qu, JinBo Li, Qin Wang, Ji Qi, Lei Hou, Bin Xu, Juanzi Li
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22444.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22444
Published: 2026-10-20T02:06:15.554Z
2. Star Light, Star Bright: Can Multimodal Models Parse an Astronomy Visual Question Answering Dataset Right?
Abstract:Figures are essential for scientific communication, and the field of Visual Question Answering (VQA) aims to test the figure understanding capabilities of large multimodal models (LMMs). Here, we investigate the accuracy of several low-cost LMMs on domain-specific VQA tasks for astronomical images of the sky. As instrument for this task we build a domain-specific VQA dataset comprising 2001 partially-synthetic figures divided evenly between contour plots, real telescope images drawn from NASA’s SkyView, and “fake” sky images which share the axes and angular scales of the real images but draw their colors from a gaussian mixture model, alongside 47357 questions. Each figure is released as pristine and with realistic page-aging degradations mimicking the historical astronomical corpus. Testing three low-cost proprietary LMMs, we find models frequently fail to answer domain-specific questions at high accuracy. An initial comparison with 104 human-verified, astrometrically tagged figures from historical journal publications shows similar median errors in angular extent. All code is available on GitHub: this https URL and dataset is available on HuggingFace: this https URL.
中文摘要
摘要：图表对于科学交流至关重要，视觉问答（VQA）领域旨在测试大型多模态模型（LMMs）的图表理解能力。在此，我们研究了几种低成本LMM在天文图像领域特定VQA任务中的准确性。为此任务，我们构建了一个领域特定的VQA数据集，包括2001幅部分合成的图表，均匀分为等高线图、来自NASA SkyView的真实望远镜图像，以及“伪”天空图像，这些图像与真实图像共享坐标轴和角度尺度，但其颜色来自高斯混合模型，并配有47357个问题。每幅图表都以原始状态发布，同时提供模拟历史天文学文献页面老化的真实劣化版本。测试三种低成本专有LMM时，我们发现模型在回答领域特定问题时经常无法达到高准确率。与104幅经过人工验证并带有天文测量标记的历史期刊图表的初步比较显示，角度范围的中位误差类似。所有代码可在GitHub获取：https网址，数据集可在HuggingFace获取：https网址。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22474 (HTTP 429)
Authors: J. P. Naiman
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22474.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22474
Published: 2026-10-20T02:06:15.554Z
3. JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents
Abstract:Human communication is inherently multimodal, conveying intent not only through linguistic and vocal cues but also through visual signals. However, existing conversational systems have mainly focused on text or speech, leaving out the visual feedback that is essential for natural interaction. In this paper, we propose JAVIS, an end-to-end streaming framework for real-time audio-visual conversational agents. Our key idea is to let the voice and the face speak from a single representation. On top of a shared LLM, a Joint Refined Head produces a unified audio-visual representation, which is fed into dedicated streaming branches for speech and face generation. This end-to-end design avoids intermediate bottlenecks, enabling real-time generation while keeping speech and face tightly synchronized. In addition, we present JAVIS-Syn, a 334-hour synthetic corpus designed to address the lack of expressive audio-visual dialogue data, covering emotionally rich multi-turn conversations and assistant-style exchanges. Experiments show that JAVIS achieves approximately 200$\times$ lower initial latency than a strong baseline, while outperforming baselines in lip synchronization and facial expression appropriateness.
中文摘要
摘要：人类的交流本质上是多模态的，不仅通过语言和声音线索传递意图，还通过视觉信号传递意图。然而，现有的对话系统主要集中在文本或语音上，忽略了对自然互动至关重要的视觉反馈。本文提出了 JAVIS，一种用于实时音视频对话代理的端到端流式框架。我们的关键思想是让声音和面部从单一表示中发声。在共享的大语言模型基础上，一个联合精炼头（Joint Refined Head）生成统一的音视频表示，并输入专用的流式分支以生成语音和面部。该端到端设计避免了中间瓶颈，实现了实时生成，同时保持语音和面部的紧密同步。此外，我们提出了 JAVIS-Syn，这是一个 334 小时的合成语料库，旨在解决表达丰富的音视频对话数据不足的问题，涵盖情感丰富的多轮对话和助手式交流。实验表明，JAVIS 在初始延迟方面比强基线低约 200 倍，同时在唇同步和面部表情适切性方面优于基线。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22499 (HTTP 429)
Authors: Junseok Ahn, Jaehyun Park, Jeongsoo Choi, Joon Son Chung, Ji-Hoon Kim
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22499.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22499
Published: 2026-10-20T02:06:15.554Z
4. KFS$^4$LAM: Adaptive KeyFrame Selection with Structure-Aware Mapping for Endoscopic Gaussian Splatting SLAM
Abstract:Gaussian-splatting Simultaneous Localization and Mapping (SLAM) augments conventional SLAM with a dense, renderable 3D scene representation, enabling high-quality reconstruction and novel-view synthesis. However, its localization, reconstruction, and rendering performance depends strongly on which observations are retained for mapping. Existing systems commonly rely on fixed temporal intervals or simple pose- and overlap-based criteria for keyframe selection. In colonoscopy, non-uniform camera motion, repetitive anatomy, specularities, and visual artifacts can make these criteria unreliable, leading to either redundant keyframes or missed informative viewpoints. We present KFS$^4$LAM (KeyFrame Selection with Structure-aware mapping for endoscopic Gaussian Splatting SLAM), which couples motion-guided adaptive keyframe selection with structurally supervised mapping and restricted temporal deformation. Accumulated motion guides adaptive keyframe selection, with complementary cues suppressing redundant or unreliable candidates. Density-aware mapping with anatomical contour supervision (colon folds) emphasizes structurally informative regions, while restricted temporal deformation accommodates local tissue dynamics without unconstrained geometric drift. We evaluate KFS$^4$LAM against Gaussian-SLAM baselines on C3VD and C3VD-v2, together with cross-backbone and component ablations. KFS$^4$LAM achieves strong overall performance across trajectory, rendering, and depth metrics, with pronounced gains on more challenging C3VD-v2 dataset. In the matched comparison with SplaTAM on C3VD-v2, it reduces rotational relative pose error by 20.3% and depth RMSE by 38.4%, while improving PSNR by 0.78 dB. Cross-backbone experiments further show that the framework is not tied to a single underlying SLAM architecture. Code and visualization results are available at this https URL.
中文摘要
摘要：高斯散点同时定位与建图（SLAM）通过密集且可渲染的三维场景表示增强了传统SLAM，实现了高质量重建和新视角合成。然而，其定位、重建和渲染性能在很大程度上取决于为建图保留了哪些观测数据。现有系统通常依赖固定的时间间隔或基于位姿和重叠度的简单关键帧选择标准。在结肠镜检查中，非均匀的相机运动、重复的解剖结构、镜面反射和视觉伪影会使这些标准不可靠，从而导致关键帧冗余或错过信息丰富的视角。我们提出了KFS$^4$LAM（用于内窥镜高斯散点SLAM的结构感知关键帧选择映射），将运动引导的自适应关键帧选择与结构化监督映射和受限时间变形结合起来。累计运动引导自适应关键帧选择，同时辅以互补线索抑制冗余或不可靠的候选帧。具有解剖轮廓监督（结肠折叠）的密度感知映射强调结构信息丰富的区域，而受限时间变形则能够适应局部组织动态而不会出现不受约束的几何漂移。我们在C3VD和C3VD-v2数据集上对KFS$^4$LAM与高斯SLAM基线进行了评估，并进行了跨骨干网络和组件消融实验。KFS$^4$LAM在轨迹、渲染和深度指标上整体表现优异，在更具挑战性的C3VD-v2数据集上获得显著提升。在与SplaTAM在C3VD-v2的匹配比较中，其将旋转相对位姿误差降低了20.3%，深度RMSE降低了38.4%，同时PSNR提高了0.78 dB。跨骨干网络实验进一步表明，该框架并不依赖于单一的底层SLAM架构。代码和可视化结果可在此https URL获取。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22505 (HTTP 429)
Authors: Xinwei Ju, Zhehua Mao, Tianyi Song, Danail Stoyanov, Sophia Bano, Francisco Vasconcelos
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22505.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22505
Published: 2026-10-20T02:06:15.554Z
5. TriSAR-3D and PaintFusion: A Novel Trimodal LiDAR-RGB-Thermal Dataset and Method for 3D Person Detection in Search and Rescue
Abstract:Reliable 3D person detection is important for rescue robotics to give first responders situational awareness. Yet most multimodal 3D detection research targets automotive scenarios in which pedestrians mostly appear in a narrow range of upright, near-road poses. It is therefore unclear how much of the reported performance transfers to rescue settings, as a person may be lying, partially occluded, or in unstructured indoor and outdoor environments. To investigate this gap, we introduce TriSAR-3D, a multimodal person detection dataset recorded with a high-resolution 128-channel LiDAR, an RGB camera, and a thermal camera. It captures varied poses in indoor as well as outdoor locations at different times of day to study their influence on 3D object detector performance. Furthermore, we propose a novel trimodal 3D detection pipeline, PaintFusion, that fuses PointPainting-based evidence using a simple MLP. We show that the derived method reaches 65.4 AP@50 and thereby outperforms strong LiDAR-only (CenterPoint, 53.4), RGB+LiDAR (BEVFusion, 60.5), and adapted trimodal (Tri-BEVFusion, 60.7) baselines on the dataset. At the same time, it is substantially faster than other fusion-based methods such as BEVFusion, with a per-frame latency of 51.6 ms compared to 101 ms. Additionally, we test how the performance of different 3D object detectors generalizes to unseen pose categories. Removing lying instances from training data collapses the lying-pose AP@50 to near zero across all evaluated detectors. The results indicate that dataset diversity exerts a large effect on 3D object detection performance. The dataset and code are available at this https URL.
中文摘要
摘要：可靠的3D人员检测对于救援机器人为第一响应者提供态势感知非常重要。然而，大多数多模态3D检测研究都针对汽车场景，在这些场景中，行人主要以狭窄范围的直立、靠近道路的姿态出现。因此，目前尚不清楚已报告的性能在救援环境中的可迁移性，因为人员可能处于躺卧、部分遮挡或非结构化的室内外环境中。为了研究这一差距，我们引入了TriSAR-3D，这是一个多模态人员检测数据集，使用高分辨率128通道LiDAR、RGB相机和热成像相机录制。该数据集捕捉了室内和室外不同时间的多种姿态，以研究它们对3D目标检测性能的影响。此外，我们提出了一种新颖的三模态3D检测流程PaintFusion，它使用简单的MLP融合基于PointPainting的证据。我们展示了该方法在数据集上实现了65.4 AP@50的性能，从而超越了强大的仅LiDAR方法（CenterPoint, 53.4）、RGB+LiDAR方法（BEVFusion, 60.5）和改进的三模态方法（Tri-BEVFusion, 60.7）基线。同时，它比其他基于融合的方法如BEVFusion快得多，每帧延迟为51.6毫秒，而BEVFusion为101毫秒。此外，我们测试了不同3D目标检测器在未见过的姿态类别上的性能泛化能力。从训练数据中移除躺卧实例会导致所有评估的检测器对躺卧姿态的AP@50几乎为零。结果表明，数据集的多样性对3D目标检测性能有很大影响。数据集和代码可在此https URL获取。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22509 (HTTP 429)
Authors: Markus Kramer, Jan Wachenfeld, Oskar von Stryk
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22509.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22509
Published: 2026-10-20T02:06:15.554Z
6. Towards Reconstructing Geographically Diverse Architecture with 3D Foundation Models
Abstract:Internet-scale photo collections of real-world landmarks have driven progress in 3D computer vision yet remain highly challenging for modern 3D foundation models (3DFMs) that estimate scene structure in a single feed-forward pass. In this work, we introduce ArchWorld, a benchmark of 3D architectural landmarks with high geographic coverage and rich metadata. We use this benchmark to conduct a thorough error analysis of current 3DFMs to understand where they fall short and how they can be improved. We examine socially relevant disparities in model error and find that model performance varies by geographic region; however, unlike typical fairness regimes, the trends only partially match training data representation. Our investigation reveals that the observed geographic disparities reflect not only differences in data representation and scene size but also differences in region-specific architectural features and background distractors that make scenes from different regions inherently vary in difficulty. Leveraging insights from these model failings, we introduce an intervention scheme that improves 3DFM performance while simultaneously reducing geographic disparities.
中文摘要
摘要：互联网规模的现实世界地标照片集合推动了3D计算机视觉的发展，但对现代能够在单次前向传递中估计场景结构的3D基础模型（3DFMs）来说仍然具有很大挑战。在本研究中，我们介绍了ArchWorld，这是一个具有高地理覆盖率和丰富元数据的3D建筑地标基准。我们使用该基准对当前3DFMs进行了全面的错误分析，以了解其不足之处以及如何改进。我们研究了模型错误在社会相关方面的差异，发现模型性能因地理区域而异；然而，与典型的公平性方案不同，这些趋势仅部分与训练数据的分布相匹配。我们的研究表明，观察到的地理差异不仅反映了数据分布和场景规模的差异，还反映了区域特定建筑特征和背景干扰物的差异，这使得来自不同地区的场景在难度上本质上存在差异。利用这些模型失效的见解，我们引入了一种干预方案，既提升了3DFM的性能，同时减少了地理差异。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22514 (HTTP 429)
Authors: Nicky Kriplani, Yiwen Zhang, Angelina Wang, Hadar Averbuch-Elor
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22514.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22514
Published: 2026-10-20T02:06:15.554Z
7. Learning the Shared Latent Structure of Cryo-EM Inverse Problems
Abstract:Understanding biomolecular function requires characterizing three-dimensional structure and conformational variability, for which cryogenic electron microscopy (cryo-EM) is a powerful tool. Cryo-EM produces noisy two-dimensional particle images in which molecular structure, particle pose, and imaging conditions are jointly encoded. Recovering biological information from these observations spans inverse problems including pose estimation, heterogeneity analysis, and reconstruction. These tasks are usually addressed independently despite shared protein structure and image formation, motivating a common representation across inverse problems. Since biologically meaningful differences may be spatially localized, we study self-distillation with complementary global and masked patch objectives. Because experimental dataset discrimination can reflect acquisition-specific cues, we develop controlled synthetic and experimental evaluations and find that structural discrimination benefits from dense spatial features. We introduce the EMber family of vision transformers, pre-trained on >50 million experimental particle images from 214 EMPIAR datasets together with simulated projections from 268,000 molecular assemblies. EMber improves upon existing methods at conformational and compositional discrimination by 14.85 and 14.26 percentage points, estimates conformational populations to within 1.59pp error with a linear probe, and produces particle assignments yielding reference-quality reconstructions in fewer epochs. We demonstrate how to learn representations that capture biological information for use across multiple cryo-EM inverse problems.
中文摘要
摘要：理解生物分子功能需要表征其三维结构和构象变异性，其中冷冻电子显微镜（cryo-EM）是一种强有力的工具。Cryo-EM 会产生带有噪声的二维粒子图像，其中分子结构、粒子姿态和成像条件被共同编码。从这些观测中恢复生物信息涉及包括姿态估计、异质性分析和重建在内的逆问题。这些任务通常是独立处理的，尽管蛋白质结构和图像形成是共享的，这促使在逆问题中使用通用表示。由于生物学上有意义的差异可能在空间上是局部化的，我们研究了具有互补的全局和掩膜块目标的自我蒸馏方法。由于实验数据集的区分可能反映特定采集的线索，我们开发了受控的合成和实验评估，并发现结构区分受益于密集的空间特征。我们引入了 EMber 系列的视觉变换器，在来自 214 个 EMPIAR 数据集的超过 5000 万个实验粒子图像以及来自 268,000 个分子组装的模拟投影上进行了预训练。EMber 在构象和组成区分上分别比现有方法提高了 14.85 和 14.26 个百分点，使用线性探针将构象群体估计到误差 1.59pp 以内，并生成粒子分配，从而在更少的训练轮次中实现参考质量的重建。我们展示了如何学习能够捕捉生物信息的表示，用于多个 cryo-EM 逆问题。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22523 (HTTP 429)
Authors: Nithin Chalapathi, Theo Sternlieb, Ethan Han, Sonya M. Hanson, Pilar Cossio, Aditi S. Krishnapriyan, Ritwik Gupta
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22523.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22523
Published: 2026-10-20T02:06:15.554Z
8. FlashControl: One-Step Controllable Generator via Distillation-Friendly Single-Stream Teachers
Abstract:Diffusion models have become a leading approach in visual generative modeling, particularly effective in text-to-image and controllable generation. Their main drawback is slow inference as it requires many sampling steps. While recent distillation methods enable one-step text-to-image generation, extending these techniques to controllable generation is still challenging. Existing controllable models, such as ControlNet, rely on dual-branch design that make distillation difficult. In this work, we adopt a simpler strategy. Instead of adding extra conditional branches, we finetune a selected subset of layers in the original text-to-image diffusion model to directly enable controllable generation. This results in DeltaControl, a single-flow, multi-step diffusion model capable of supporting spatial-condition generation while matching the performance of dual-branch approaches. Building on this teacher model, we further apply step-distillation to obtain FlashControl, a one-step model capable of spatial controllable generation with a single forward pass.
中文摘要
摘要：扩散模型已成为视觉生成建模的主要方法，尤其在文本到图像和可控生成方面表现出色。它们的主要缺点是推理速度慢，因为需要大量采样步骤。虽然近期的蒸馏方法使单步文本到图像生成成为可能，但将这些技术扩展到可控生成仍然具有挑战性。现有的可控模型，如ControlNet，依赖双分支设计，这使得蒸馏变得困难。在本工作中，我们采用了一种更简单的策略。我们没有添加额外的条件分支，而是微调原始文本到图像扩散模型中选定的部分层，以直接实现可控生成。这产生了DeltaControl，一种单流、多步的扩散模型，能够支持空间条件生成，同时匹配双分支方法的性能。在此教师模型的基础上，我们进一步应用步长蒸馏，得到FlashControl，一种能够通过单次前向传播实现空间可控生成的单步模型。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22537 (HTTP 429)
Authors: Ngan Nguyen, Dung Nguyen, Quan Dao, Dimitris N. Metaxas, Minh Hoai, Cuong Pham, Anh Tran
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22537.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22537
Published: 2026-10-20T02:06:15.554Z
9. CFC26: Building Evaluations for Deployment in Sonar-Based Fish Counting
Abstract:Accurate counts of fish populations are essential for monitoring ecosystems and making decisions for conservation, harvest limits, and river management. In many field deployments, these counts are obtained from sonar videos that experts must inspect manually, making large-scale monitoring slow, expensive, and difficult. Automated counting systems have been proposed as a scalable alternative, but so far this promise has been difficult to realize in deployment. Developing evaluations that better reflect real-world deployment conditions will help close this gap and drive improvements in counting performance in practice. To achieve this, we propose Caltech Fish Counting 2026 (CFC26), a new dataset with improved evaluation protocols that simulate deployment to seen and novel rivers, testing in-distribution and out-of-distribution performance. We expand the CFC22 dataset to eleven deployment locations across nine Pacific salmon river systems from Alaska to Northern California, capturing a broader geographical and ecological range of data. We additionally introduce two new evaluation metrics for counting, nMNE and nMANE, that mirror the operational workflow that experts use and help surface errors that frame-level detection metrics do not capture. Using these metrics, we reveal previously-concealed directional bias in upstream vs downstream counts, which would have direct and significant ecological implications if undetected. The dataset and code are publicly available on CaltechDATA and GitHub.
中文摘要
摘要：准确的鱼类数量统计对于监测生态系统以及制定保护、捕捞限额和河流管理决策至关重要。在许多实地部署中，这些数量统计是通过声呐视频获得的，专家必须手动检查，使得大规模监测变得缓慢、昂贵且困难。自动计数系统作为一种可扩展的替代方案已被提出，但迄今为止，这一承诺在实际部署中难以实现。开发更能反映实际部署条件的评估方法将有助于弥合这一差距，并推动实际计数性能的改进。为实现这一目标，我们提出了Caltech鱼类计数2026（CFC26），一个拥有改进评估协议的新数据集，可以模拟对已知和新河流的部署，测试同分布和不同分布下的性能。我们将CFC22数据集扩展到涵盖九个太平洋鲑鱼河流系统中的十一处部署地点，从阿拉斯加到北加利福尼亚，捕获更广泛的地理和生态范围的数据。我们还引入了两个新的计数评估指标，nMNE和nMANE，它们反映了专家使用的操作工作流程，帮助发现帧级检测指标无法捕获的错误。使用这些指标，我们揭示了上游与下游计数中先前隐藏的方向性偏差，如果未被发现，会产生直接且显著的生态影响。该数据集和代码已在CaltechDATA和GitHub上公开提供。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22549 (HTTP 429)
Authors: Madison Van Horn, Suzanne Stathatos, Sevan Brodjian, Justin Kay, Kai Van Brunt, Erik Young, Sara Beery, Pietro Perona, Michael Hobley
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22549.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22549
Published: 2026-10-20T02:06:15.554Z
10. Seeing Seizures: A Large-Scale Empirical Study of Video and EEG Deep Learning for Automated Rodent Seizure Detection and Severity Grading
Abstract:Manual annotation of synchronized video and EEG recordings is a bottleneck in preclinical seizure research. We present an empirical study of seizure detection and behavioral severity grading using 24,131 paired clips from 601 sessions across 20 rats in a soman-induced epilepsy model. Ten video architectures and seven single-channel EEG models are evaluated independently on binary detection and three- and five-class severity tasks. In the session-exclusive reference comparison, R(2+1)D-18 and GRU achieve detection macro-F1 scores of 0.968 and 0.974, respectively; for five-class grading, the corresponding scores are 0.657 and 0.560. Subject-exclusive evaluation reduces five-class macro-F1 to 0.475 for video and 0.404 for EEG, highlighting the difficulty of grading unseen animals. Temporal-sampling experiments demonstrate the value of multiple frames, while detection performance varies relatively little across the evaluated video architectures. A separate video-only binary-detection evaluation on RodEpil achieves a mean seizure-class F1 of 0.979 after uniform re-encoding to reduce identified class-correlated encoding cues. The study characterizes existing models for behavior-defined severity labels under the evaluated protocol, motivating further investigation of expert-assisted annotation workflows. Our code and github page is available here.
中文摘要
摘要：同步视频和脑电（EEG）记录的手工标注是临床前癫痫发作研究中的一个瓶颈。我们使用来自20只大鼠的Soman诱发癫痫模型的601个实验中的24,131对片段，进行了发作检测和行为严重性评分的实证研究。独立评估了十种视频架构和七种单通道EEG模型在二分类检测以及三类和五类严重性任务中的表现。在会话独占参考比较中，R(2+1)D-18和GRU分别在检测任务中获得宏F1分数0.968和0.974；在五类评分任务中，对应的分数为0.657和0.560。被试独占评估使视频的五类宏F1降至0.475，EEG为0.404，凸显了未见动物评分的难度。时间采样实验表明多帧的重要性，而在评估的视频架构中检测性能变化相对较小。在RodEpil上的单独视频二分类检测评估中，通过统一重新编码以减少已识别的类别相关编码线索，平均发作类别F1分数达到0.979。本研究在评估的协议下，对行为定义的严重性标签的现有模型进行了特征描述，并激励进一步研究专家辅助标注工作流程。我们的代码及GitHub页面在此提供。
LLM Analysis
LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.22566 (HTTP 429)
Authors: Alloy Das, Shreyan Ganguly, Nyzil Massey, Hung Phi Doan, Zhanhong Jiang, Thimmasettappa Thippeswamy, Soumik Sarkar
Categories: cs.CV
PDF URL: https://arxiv.org/pdf/2610.22566.pdf
CoolPaper URL: https://papers.cool/arxiv/2610.22566
Published: 2026-10-20T02:06:15.554Z