ArXiv Domain 2026-09-14

数据来源：ArXiv Domain

LLM Domain Papers

1. Data-Efficient Language Modeling: From Frontier Advancement to Principle-Guided Model Improvement

Abstract:Learning from limited text requires models to use context, generalize to new inputs, and retain useful capabilities. Qiushi Engine conducted a long-horizon, end-to-end autonomous research program on BabyLM 2026 Strict-Small, within 10 million corpus words and 100 million cumulative word presentations. Three stages connected frontier advancement, principle discovery, and principle-guided model improvement. Stage I combined compact restatements, budget reinvestment, and residual incremental learning to build a frontier model. Stage II found that exact repetition and aligned restatement produce different patterns of context use, depending on target relations and prediction windows. In controlled tasks, recovering familiar performance did not ensure that unseen inputs could still use learned computations. These findings support a testable data-efficient learning principle: organize experience around the contextual dependencies needed for prediction; separately design visible information, supervision, and preservation; test learning, generalization, and retention. Stage III retained source text, masked more local clues, supervised selected targets, and preserved predictions on ordinarily masked inputs. Two continuation seeds from the same parent outperformed ordinary continuation on the complete nine-metric aggregate. Overall rose from 42.02 to 42.25 across two generations; the second achieved the highest Overall in the public Strict-Small snapshot of 8 September 2026. Further studies addressed compression, relational anchors, shared representations, and measurement. Models are available on Hugging Face; code and research records accompany the GitHub repository. Together, these stages illustrate Research RSI: recursive self-improvement of the research process. Scientific understanding and method innovations change subsequent questions and designs; new experiments test and refine them.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：\*\*在严格受限的数据预算下（1000万词语料库、1亿词累计曝光），如何使语言模型更有效地从有限文本中学习，并同时满足信息利用、泛化与能力保留三方面要求。\*\* 具体而言，研究围绕以下三个相互关联的科学子问题展开： ### 1. 上下文依赖关系的有效习得论文指出，模型仅暴露于文本并不等同于学会利用文本中的信息关系。在数据稀缺场景下，模型可能依赖局部共现或表面线索完成预测，而非真正使用远处上下文中的状态更新或语义关系。因此，研究试图回答：\*\*何种训练经验能够教会模型使用预测所需的上下文信息与关系？\*\* ### 2. 习得能力的组合泛化即使模型在熟悉样本上表现良好，也不意味着它形成了可复用的计算或推理规则。论文通过控制实验考察模型在面临新名称、新表达或未见输入时，是否仍能调用已学到的关系或运算。核心问题是：\*\*模型学到的能力能否泛化到新的输入组合，而不仅是对训练内容的记忆？\*\* ### 3. 持续学习中的能力保留在固定预算下进行增量训练或继续训练时，新能力的习得往往伴随旧能力的退化。论文试图解决：\*\*如何在进一步学习新知识的同时，保留模型已有的语言功能与预测行为，实现新旧能力的共存？\*\* ### 总体研究路径为回答上述问题，论文采用三阶段端到端自主研究： - \*\*第一阶段（前沿推进）\*\*：通过紧凑重述（compact restatements）、预算再投资（budget reinvestment）与残差增量学习（residual incremental learning），在严格约束下构建前沿基线模型。 - \*\*第二阶段（原理发现）\*\*：系统探究经验组织方式（如精确重复 vs. 对齐重述）、监督分配（supervision allocation）、功能复用与保留条件，揭示关系类型与预测窗口如何塑造上下文使用模式，并提出可检验的数据高效学习原则。 - \*\*第三阶段（原理驱动的模型改进）\*\*：将发现转化为具体的训练决策——保留源文本、增加局部掩码、稀疏监督目标、以及在普通输入上约束预测漂移——从而在不增加额外词曝光预算的前提下，提升完整九指标评估表现。最终，论文将上述洞察凝练为一条可检验的数据高效学习原则： > \*\*围绕预测所需的上下文依赖关系组织有限经验；将可见信息、监督目标与功能保留分开设计；并检验目标能力是否被习得、能否泛化到新输入、以及能否在后续训练中保留。\*\* Q2: 有哪些相关研究？该论文的相关研究可按照主题领域梳理如下。 ## 1. 数据受限语言建模与 BabyLM 挑战这一系列工作直接构成了本研究的实验背景与比较基准： - \*\*Muennighoff et al. (2025)\*\*

1
：*Scaling Data-Constrained Language Models*，系统研究了在数据受限场景下重复曝光与非重复数据、训练配置之间的缩放关系。 - **Warstadt et al. (2023)**
2
；**Charpentier et al. (2025)**
4
；**Choshen et al. (2026)**
5
：BabyLM 2023、2025 及 2026 年的官方报告与征稿说明，定义了发展合理语料上的样本高效预训练任务。 - **BabyLM Organizing Team (2026)**
3
；**BabyLM Community (2026)**
15
：官方挑战网站与公共排行榜。 ## 2. 语言能力的多维评估基准论文的九项顶级指标建立在以下专门基准之上： - **句法与形态**：**Warstadt et al. (2020)**

6
提出的 BLiMP（最小对立对基准），用于测试语法偏好。 - **世界知识与语境**：**Ivanova et al. (2025)**
7
的 EWoK（世界知识要素框架），评估语境对基本常识判断的影响。 - **概念继承与干扰**：**Misra et al. (2023)**
8
的 COMPS，检验属性知识能否迁移到新概念。 - **实体追踪**：**Kim & Schuster (2023)**
9
的实体追踪任务，要求模型在状态更新后恢复对象属性。 - **物理常识**：**Chang et al. (2025)**
10
的 GlobalPIQA，跨语言文化评估日常物理推理。 - **迁移学习**：**Wang et al. (2018, 2019)**
12

13
的 (Super)GLUE，测试预训练表示在下游微调中的效用。 - **阅读行为与词汇习得**：**de Varda et al. (2024)**
14
提供阅读时间对齐数据；**Chang & Bergen (2022)**
16
研究神经网络中的词汇习得顺序（AoA）。 ## 3. 上下文学习与数据分布组织论文在探讨“经验组织如何塑造上下文使用”时，引用了以下关于上下文内学习（in-context learning）与数据分布关系的工作： - **Shi et al. (2024)**

21
：*In-context Pretraining*，将语言建模扩展到跨文档边界。 - **Chan et al. (2022)**
22
：指出数据分布特性驱动 Transformer 中上下文学习的涌现。 - **Chen et al. (2024)**
24
：发现预训练数据中的平行结构会促成上下文学习。 - **Zucchet et al. (2025)**
25
：研究稀疏注意力的涌现，以及数据重复对其的影响。 - **Haga et al. (2024)**
23
：在 BabyLM 框架下探索“变体集”（variation sets）对训练效率的影响。 ## 4. 模型架构与参数高效学习 Stage I 的模型设计与增量学习策略参考了： - **He et al. (2021)**

17
；**Microsoft (2021)**
18
：DeBERTa 与 DeBERTa-v2，论文采用的基线架构。 - **Bachlechner et al. (2021)**
19
：ReZero，残差连接快速收敛的相关工作。 - **Houlsby et al. (2019)**
20
：*Parameter-Efficient Transfer Learning for NLP*，与本文的残差分支增量学习思想相关。 ## 5. 持续学习与能力保留论文在 Stage III 设计输出保持（preservation）机制时，关联了以下文献： - **Li & Hoiem (2016)**

31
：*Learning without Forgetting*，通过知识蒸馏约束旧任务输出，直接启发了本文的 KL 散度保持项。 - **Singh et al. (2023)**
28
：指出上下文学习具有瞬态特性，可能在训练过程中丧失。 - **Anand et al. (2025)**
29
：*Dual Process Learning*，研究上下文策略与权重策略的共存与遗忘控制。 ## 6. 掩码策略与监督分配论文对掩码粒度与监督目标选择的实验，与以下研究对话： - **Wettig et al. (2023)**

30
：*Should you mask 15% in masked language modeling?*，探讨掩码率与训练目标设计。 ## 7. 机制可解释性与因果抽象 Stage II 的内部干预实验（如信号置零、旋转、重定位）植根于： - **Geiger et al. (2021)**

26
：*Causal Abstractions of Neural Networks*，提供因果抽象的框架。 - **Zhang & Nanda (2024)**
27
：关于语言模型中激活修补（activation patching）的最佳实践。 ## 8. 实体绑定与关系推理独立研究分支（Section 5）涉及实体记忆与关系结构，引用包括： - **Feng & Steinhardt (2024)**

32
：探究语言模型如何在上下文中绑定实体。 - **Dai et al. (2024)**
33
：对语言模型中绑定机制的表示分析。 ## 9. 自主 AI 研究与递归自我改进论文在讨论 **Research RSI**（研究过程的递归自我改进）时，将自身工作与以下系统并置： - **Yang et al. (2026)**

34
：团队在真实光学平台上的端到端自主科学发现工作。 - **Lu et al. (2026)**
35
：*Towards end-to-end automation of AI research*。 - **Zelikman et al. (2024)**
36
：STOP（Self-Taught Optimizer），递归自我改进代码生成。 - **Zhang et al. (2026)**
37
：Darwin Gödel Machine，开放式演化自我改进智能体。 - **Shinn et al. (2023)**
38
：Reflexion，语言智能体的言语强化学习。 - **Gottweis et al. (2026)**
39
：CoScientist，结合假设生成、辩论与持久记忆的自改进循环。 - **Chen et al. (2026)**
40
：对 AI 中递归自我改进从有界自精炼到自主研究循环的综述。 Q3: 论文如何解决这个问题？该研究通过**三阶段端到端自主研究程序**解决数据受限条件下的高效语言建模问题：先构建前沿基线模型并积累可控材料，再通过机制实验发现学习原理，最终将原理转化为可验证的训练设计。具体方法如下。 —- ### 1. Stage I：前沿推进——紧凑表达、预算再投资与残差增量学习在严格预算（1000万词语料、1亿词累计曝光）下，该阶段首先建立一个可继续训练的前沿基线模型，并为后续控制实验提供可复用的文本与模型工具。 - **紧凑重述与预算再投资** 将源文本与其对齐重述配对，但通过压缩重述长度减少冗余。在固定的替换块预算（423,520词）内，核心配对从10,094对增加到12,155对（+20.42%），释放的预算用于扩展覆盖范围。训练早期与晚期的表现排序发生反转，说明数据价值取决于学习阶段。 - **残差架构与参数冻结** 采用DeBERTa-v2风格的掩码语言模型（8层、隐藏维度480、8头注意力、词汇量16,384），并引入零初始化的残差分支：

h’ = h + s, Uσ(D,Norm(h)),
其中上投影初始化为零，使新增分支在训练开始时保持恒等映射。联合训练至8,201万词后，冻结主干参数（35,463,008个），仅训练新增的增量分支（995,584个参数，共48个张量），在增量阶段同时优化预测损失与KL散度保持项。 —- ### 2. Stage II：原理发现——关系组织、泛化条件与监督分配该阶段将第一阶段获得的模型与数据作为研究对象，通过控制实验分离“信息可见性”“监督目标”与“功能保留”三个变量，提出可检验的数据高效学习原则。 - **关系类型塑造上下文使用** 对比**精确重复**与**对齐重述**两种配对方式。通过将源文本替换为等长无关文本，定义真源优势 A_T = N - T 与无关源优势 A_U = N - U （ T 、 U 、 N 分别为真源、无关源、中性上下文下的平均交叉熵）。实验发现： - 精确重复使真源优势降低约 -0.8138 nats； - 对齐重述使真源优势提升约 +0.7970 nats。进一步通过**同窗口**与**分窗口**控制实验发现：将配对文本拆分到不同预测窗口会显著削弱上述效应。这表明，仅仅包含相关文本不足以促进关系学习，文本必须在同一预测窗口内形成可访问的上下文依赖。 - **熟悉表现与未见输入的功能复用** 在四选一关系任务中，模型对熟悉符号准确率可达100%，但对未见符号的推理能力在继续训练后可能衰退。通过内部干预（对查询属性位置的隐藏状态进行置零、中心化、旋转移位）发现： - 置零使未见符号准确率从87.5%降至25.0%； - 旋转信号后，答案跟随被移位的信号（重定位目标选择率达67.6%）。这说明模型内部存在决定答案选择的具体功能信号，且**恢复熟悉表现不等于恢复了未见输入对该计算的可及性**。 - **监督分配的作用** 比较全序列监督、静态关系权重与交错监督（交替优化关系答案与全序列目标）。交错监督在保持100%熟悉符号准确率的同时，将未见符号准确率从40.2%（全序列继续训练）提升至83.3%。此外，在紧凑重述上删除“源缺失目标”与删除“复制目标”的对比表明，监督目标的选择会改变后续任务表现，即使输入文本完全相同。基于以上发现，研究提炼出设计原则： > 围绕预测所需的上下文依赖组织经验；将**可见信息**、**监督目标**与**功能保留**分开设计；并通过习得、泛化与保留三重测试验证能力。 —- ### 3. Stage III：原理驱动的模型改进——掩码-监督分离与普通输入保持该阶段将上述原理转化为具体的继续训练方案，以第一阶段模型为共同起点，通过改变输入掩码、监督位置与保持约束，在不增加额外词曝光预算的前提下提升综合表现。 - **分离可见输入与监督目标** 保留源文本，在重述侧实施**稠密掩码**（覆盖更多内容组），但仅在稀疏选定的目标位置计算关系预测损失。定义三种条件： - (S,S) ：稀疏掩码 + 稀疏监督； - (M,S) ：稠密掩码 + 稀疏监督； - (M,M) ：稠密掩码 + 稠密监督。其中 (M,S) 在固定曝光预算下优于普通连续训练，而 (M,M) 并未进一步提升表现，说明增加监督目标数量本身并非关键，**扩大模型必须依赖的上下文窗口缺口**才是核心。 - **普通输入上的功能保持** 为防止新任务学习破坏既有语言能力，研究引入输出保持机制：对相同的Qwen配对行应用普通15%整词掩码，以第一阶段冻结模型为教师，通过KL散度约束新模型在普通输入上的输出漂移：

L(pres) = (1) / (|Q_p|)∑((x,i)∈ Qp) KL(p(Frontier)(·mid x,i) ,|, p_θ(·mid x,i)),

L = L(acq) + λ L(pres), quad λ=1,; T=1.
其中
L(acq) = 0.15,CE(focus) + 0.85,CE_(ordinary).
关键控制在于保持输入为**普通掩码条件**而非稠密掩码条件：实验显示，在稠密输入上施加相同系数的保持约束，梯度范数约为普通输入的11.8倍，会严重抑制新能力习得；而普通输入保持可在保留大部分习得增益的同时，将普通行为漂移从0.02449 nats降至0.00941 nats。 - **梯度与随机性控制** 通过保存并恢复PyTorch与CUDA随机数状态，确保保持分支的额外前向传播不会引入dropout等前向随机性差异，从而将预测变化归因于参数更新而非比较过程本身。 - **评估结果** 从同一父模型出发，两个连续种子（62064、62065）的完整九指标评估显示： - 普通连续训练：42.0926 / 42.1159 - (M,S) 无保持：42.2025 / 42.1789 - 完整方法（ (M,S) + 普通输入保持）：42.2464 / 42.2317 完整方法在GlobalPIQA与Entity Tracking上贡献主要增益，且下游(Super)GLUE微调在不同种子下均优于父模型与无保持版本。 —- ### 4. 方法论总结论文的核心解决路径可概括为：**通过“构建—分析—再设计”的闭环，将训练现象转化为机制问题，再将机制发现转化为独立的训练操作变量。** | 科学问题 | 对应技术干预 | |————-|——————| | 上下文依赖如何习得 | 源-重述配对、同窗口组织、稠密掩码扩大信息缺口 | | 习得能力能否泛化 | 未见符号测试、内部信号干预、监督目标稀疏化 | | 新旧能力如何共存 | 冻结主干+残差增量、普通输入KL保持、梯度与随机性控制 | | 数据价值如何最大化 | 紧凑压缩释放预算、预算再投资扩展覆盖、学习阶段敏感的评估 | 最终，该研究不仅提交了两个公开模型（Frontier 42.02 与 Principle-guided 42.25），还提供了一套可复用的原理、控制实验工具与开放研究材料，以支持后续对数据高效学习机制的进一步检验。 Q4: 论文做了哪些实验？该论文的实验体系横跨三个完整研究阶段，涵盖自然文本控制、受控机制任务、训练设计比较及补充性的独立研究。以下是系统梳理。 —- ## 一、Stage I：前沿推进实验 ### 1. 紧凑重述与预算再投资在固定词预算的子块（replacement block，423,520词）内，对比原始核心配对（10,094对）与压缩后扩展配对（12,155对，+20.42%）的训练效果。观测到早期与晚期表现排序反转：紧凑重述在20M累积词时落后参考方法约0.83分，但在70M–80M时反超约1.29–1.35分（七指标筛选均值），证明数据价值依赖于学习阶段。 ### 2. 数据组织与连贯性控制以冻结主干后的残差增量学习为实验平台，保持起始模型、增量分支、曝光量与更新次数不变，比较： - **连贯训练**（coherent segments within each training row） - **分段打乱**（within-row segment shuffling）在残差尺度 s=1.0 下，连贯组织达到44.1064，分段打乱为43.1214（七指标均值），差异约0.9850，验证组织方式本身即可改变相同文本的学习产出。 ### 3. 残差结构与增量学习验证 - 联合训练主干与零初始化残差分支（上投影初始化为零，初始恒等映射）：

h’ = h + s, Uσ(D,Norm(h))

冻结35,463,008个主干参数，仅训练995,584个增量参数（48个张量），在82M词基础上继续训练至86M词，结合预测损失与KL保持项。 - 通过禁用/启用增量分支，验证分支对基线输出的恢复能力与保留时的修正效应。 ### 4. 推断尺度选择在训练后评估替代推断尺度，最终选择 s=0.75 作为发布模型的推理缩放系数。 —- ## 二、Stage II：原理发现实验 ### 1. 关系类型与上下文使用（自然文本）对比三种配对条件对源信息使用的影响，定义真源优势 A_T = N - T 与无关源优势 A_U = N - U ，其中 T 、 U 、 N 分别为真源、无关源、中性上下文下的平均交叉熵（nats）。 - **精确重复**（exact repetition）：真源优势变化约 -0.8138 nats。 - **对齐重述**（aligned restatement）：真源优势变化约 +0.7970 nats。同时测量无关源优势变化极小（分别约 +0.0679 与 -0.0085 nats），支持效应具有内容特异性。 ### 2. 窗口布局控制在同窗口（same-window）与分窗口（split-window）条件下保留相同文本但改变可访问性： - 精确重复的同窗口效应为 -0.683 / -1.010 （两种子），分窗口后衰减至 +0.009 / -0.134 。 - 对齐重述的同窗口效应为 +0.712 / +0.824 ，分窗口后衰减至 +0.116 / +0.028 。证明文本共存于同一预测窗口是关系效应进入学习的必要条件。 ### 3. 自然重述迁移使用英语与简明英语维基百科的1,200对自然重述，按目标词 tokenizer ID 是否出现在源中分组： - 目标token存在于源中时，对齐重述提升真源优势 +0.238 ± 0.071 nats。 - 目标token不存在于源中时，对齐重述效应接近参考（ +0.032 ± 0.040 nats），而精确重复产生负效应。 ### 4. 功能复用与未见输入（受控四选一任务）在查询-属性绑定任务中，测试熟悉符号与未见符号的推理能力： - **初始习得**：熟悉符号准确率100.0%，未见符号87.5%。 - **全序列继续训练**：熟悉符号降至87.2%，未见符号骤降至40.2%。 - **静态关系权重**：熟悉100.0%，未见75.5%。 - **交错监督**（interleaved supervision）：熟悉100.0%，未见83.3%。 ### 5. 内部信号干预对第一层中查询属性位置与其他属性位置的平均隐藏状态归一化差值（选择相关方向）进行干预： - **置零**（zeroing）：初始未见准确率从87.5%降至25.0%；交错监督条件下从83.3%降至38.7%。 - **旋转**（rotation）：答案跟随被移位信号的比例（relocated target selection）在初始习得时为67.6%，交错监督时为63.9%，全序列继续训练仅31.4%。 - **重新拟合方向**：即使从熟悉符号、单个或两个未见符号重新拟合新的线性方向，全序列继续训练后的未见查询重定向仍弱于交错监督。 ### 6. 监督分配与目标删除在紧凑重述上保持输入不变，删除特定监督目标类别： - 删除源缺失目标（source-absent targets）后，100M词时七指标均值43.437。 - 删除匹配复制目标（matched copied targets）后，均值42.792。 - 完整监督为43.896。在20M词时对训练未使用的710对、974个目标事件进行测量：删除源缺失监督相较于删除匹配复制监督，使源缺失内容词损失升高0.0796 nats（配对不重复条件下95%区间为 $

0.031, 0.125
）。 ### 7. 经验价值与固定预算替换在80M–100M词、五个指标（BLiMP, Supplement, EWoK, COMPS, Reading）下比较： - 紧凑重述：相对参考 +0.3853 - 同范围不同句子： +0.3350 - 近似精确重复： +0.0343 在另一RoBERTa配置中，重述虽改善自身训练损失，但晚期五指标变化为 -0.6873 ，揭示经验价值依赖于架构与学习阶段。 ### 8. 初始化对照显式复制共享张量参数，修正因层插入导致相同种子下53/140个张量初始值不同的混杂因素。修正后，紧凑视图相对于重复的数据-架构交互估计从 -0.6908 变为 +0.0679$（区间跨零）。 —- ## 三、Stage III：原理驱动改进实验 ### 1. 可见输入与监督目标分离从共同父模型（Frontier，86,005,295词）出发，固定继续训练词曝光，比较： - **普通继续训练**（ordinary continuation） - **(S,S)**：稀疏掩码 + 稀疏监督（机制测量用） - **(M,S)**：稠密掩码 + 稀疏监督（dense masking, sparse supervision） - **(M,M)**：稠密掩码 + 稠密监督在相同累积词曝光（89,168,037词）下，两继续种子（62064、62065）的Overall分别为： - 普通继续：42.0926 / 42.1159 - (M,S)：42.2025 / 42.1789 - (M,M)：42.1491 / 42.1684 (M,S) 持续优于普通继续与 (M,M)，支持将掩码密度与监督稀疏性分离控制。 ### 2. 普通输入保持（ordinary-input preservation）在 (M,S) 基础上，对相同的Qwen配对行施加普通15%整词掩码，以冻结的Frontier模型为教师，通过KL散度约束新模型输出：

L(pres) = (1) / (|Q_p|)∑((x,i)∈ Qp) KL(p(Frontier)(·mid x,i) ,|, pθ(·mid x,i))
总目标为：
L = L(acq) + λ L(pres), quad L(acq) = 0.15,CE(focus) + 0.85,CE(ordinary), quad λ=1.
两种子Overall分别为42.2464与42.2317（含额外517,332词保持 Q5: 有什么可以进一步探索的点？基于论文的发现与开放性问题，以下方向可供进一步探索： —- ### 1. 规模、预算与跨领域泛化当前实验均在 **Strict-Small**（语料1000万词、累计曝光1亿词）约束下完成。核心方法——紧凑重述、稠密掩码稀疏监督、普通输入保持——在更大规模的 **Strict** 赛道（语料1亿词、曝光10亿词）或 **Multilingual** 赛道（含荷兰语、中文）中的有效性尚未验证。此外，这些方法在低资源语言、科学文献或特定领域文本中的迁移价值，需要独立的跨领域实验支撑。 —- ### 2. 保持机制的有效强度与动态调度论文发现，在相同损失系数 λ=1 下，稠密输入上的保持梯度范数约为普通输入的 **11.8倍**：

|∇(trainable) L(pres)^(dense)||∇(trainable) L(pres)^(ordinary)| ≈ 11.835
这表明固定系数难以对不同输入条件施加均衡约束。未来可探索： - **自适应保持强度**：根据输入掩码密度或当前模型熵动态调整 λ ； - **保持系数的课程学习**：在增量训练初期允许较大漂移，后期逐步收紧约束； - **分层保持**：对不同网络层或不同功能模块施加差异化的保持目标。 —- ### 3. 关系习得的神经机制与表征几何 Stage II 识别出关系类型（精确重复 vs. 对齐重述）与预测窗口布局对上下文使用的选择性影响，但以下问题仍开放： - **注意力模式**：模型在利用源-重述关系时，注意力权重如何在源位置与目标位置之间重新分配？是否形成可解释的“跨句子”注意力头？ - **表征子空间**：功能复用实验表明存在决定答案选择的特定线性方向，但这些方向在深层网络中如何被非线性变换组合、如何在不同关系类型间共享或分离，仍需更系统的表示分析。 —- ### 4. 从控制任务到自然语言的泛化桥梁论文在四选一符号任务中发现：**熟悉表现恢复 ≠ 未见输入的功能复用**。然而，这一结论向自然文本的迁移存在鸿沟： - 自然语言中的“未见输入”涉及新词、新句法结构、新实体名称的组合，其复杂度远超符号替换； - 需要设计介于微型世界与自然文本之间的**中间复杂度基准**，以量化“功能可达性”（functional reach）随任务复杂度、词汇开放度的变化规律。 —- ### 5. 实体记忆、语义寻址与时间推理 Section 5.4 的显式记忆实验显示，即使提供正确的读写地址（gold-address），模型在**时间状态选择**（判断应检索原始状态还是更新后状态）上仍表现困难（准确率约0.511）。未来可深入： - **时间指针机制**：设计显式的时间戳或版本控制接口，辅助模型追踪状态更新序列； - **语义寻址的端到端学习**：当前自然文本的寻址存在瓶颈（高token准确率但关键查询召回率为零），需改进从文本含义到存储槽位的映射机制； - **记忆-读取协同训练**：探索读写模块与语言预测主干的联合优化，而非分阶段冻结训练。 —- ### 6. 数据构造与经验压缩的自动化紧凑重述目前依赖外部大模型（Qwen/Qwen3.5-9B）生成，质量控制依赖人工规则与过滤。进一步探索包括： - **保留关系的自动压缩指标**：除了词汇覆盖度，如何自动评估压缩后文本是否保留了源文本中的关键推理线索（如状态转移、属性继承）； - **生成式数据扩充与预算优化的联合优化**：将文本生成、质量评估与预算再投资整合为一个可微分的或基于搜索的联合决策过程。 —- ### 7. Research RSI 的量化评估与纵向追踪论文提出 **Research RSI**（研究过程的递归自我改进）概念，但其证据局限于单一 BabyLM 项目内的三阶段递进。要建立更普遍的认知，需要： - **跨任务纵向研究**：追踪同一自主系统在不同科学问题（如视觉推理、定理证明）上的研究成本、假说质量与实验效率是否随经验累积而系统性提升； - **知识重用的度量**：量化先前阶段的方法、控制实验与失败解释，对后续阶段问题选择与设计空间的缩减贡献； - **与人类研究过程的对比**：在相同问题设置下，比较自主系统与人类团队在探索效率、假说新颖性与错误修正速度上的差异。 —- ### 8. 测量方法论与细粒度分析论文多次强调宏观平均（macro-average）与项目级变化（item-level changes）可能给出不同信号。未来研究可开发： - **动态评估协议**：在训练过程中实时追踪同一项目在不同检查点上的正确性转换（gain/loss），以识别能力涌现、退化或振荡的具体时点； - **组件分数的因果归因**：当前 Overall 分数由九项指标等权平均，但各项任务间可能存在冗余或因果依赖，需探索更结构化的能力分解框架。 —- ### 9. 架构与优化的联合设计论文中的残差增量学习仅更新了约 **2.73%** 的参数（995,584 / 36,458,592）。可进一步探索： - **多层增量结构**：当前仅使用单一瓶颈分支，若在不同层引入多个可独立启用/禁用的增量模块，是否能实现更精细的能力模块化与保留？ - **参数效率与计算效率的分离**：论文指出可训练参数比例不等于计算节省，未来可设计梯度检查点与增量模块的联合优化策略，降低冻结主干上的前向-反向传播开销。 —- ### 10. 监督分配的动态与理论最优 Stage III 的 (M,S) 与 (M,M) 比较表明，在固定总监督权重（0.15）下，稀疏监督优于稠密监督。但以下问题仍开放： - **最优稀疏比率**：28,590 个聚焦token（稀疏监督）相对于 176,607 个掩码token（稠密掩码）的比率是否已最优？是否存在任务依赖的最优监督密度； - **目标选择策略**：当前采用随机抽样与保底机制，若基于模型当前不确定性或源-重述对齐度主动选择监督位置，能否进一步提升数据效率。 Q6: 总结一下论文的主要内容该论文围绕 **BabyLM 2026 Strict-Small** 赛道（语料上限 1000 万词、累计曝光上限 1 亿词）展开端到端自主研究，系统探索了在严格数据预算下提升语言模型学习效率的路径。论文核心内容可概括如下。 —- ### 一、研究背景与科学问题大规模训练展示了资源充沛时的能力增长，而有限数据场景提出一个互补问题：**模型如何从已有经验中学到更多？** 这要求模型不仅拟合文本，还需学会： - **使用上下文信息关系**（contextual dependencies）进行预测； - **将习得的能力泛化到新输入**（组合泛化）； - **在继续学习中保留已有能力**（持续学习）。 BabyLM 的 Strict-Small 赛道为这一问题提供了共享的实验约束。论文聚焦于一个核心科学问题：**何种训练经验能教会模型利用上下文中的信息关系，并让这些能力在后续学习中得以保留？** —- ### 二、三阶段研究架构整个研究由 Qiushi Engine 自主完成，分为三个相互衔接的完整阶段： | 阶段 | 目标 | 关键产出 | |———|———|—————| | **Stage I：前沿推进** | 在预算内构建前沿基线模型 | 紧凑重述、预算再投资、残差增量学习；公开模型 Frontier（Overall 42.02） | | **Stage II：原理发现** | 解释 Stage I 现象，发现数据高效学习原理 | 关系类型与窗口组织对上下文使用的选择性影响；熟悉表现与未见输入功能复用的分离；可检验的设计原则 | | **Stage III：原理驱动改进** | 将原理转化为新的训练设计并验证 | 稠密掩码稀疏监督 + 普通输入保持；公开模型 Principle-guided（Overall 42.25） | 三个阶段形成 **Research RSI**（研究过程的递归自我改进）：前期研究的科学理解、方法创新与实验经验被继承并用于改进后续研究的问题选择、控制实验设计与方法构建。 —- ### 三、关键科学发现 #### 1. 关系类型塑造上下文使用通过对比**精确重复**（exact repetition）与**对齐重述**（aligned restatement）发现： - 精确重复使模型对源信息的依赖显著下降（真源优势变化约 -0.8138 nats）； - 对齐重述则显著提升源信息使用（真源优势变化约 +0.7970 nats）。将配对文本拆分到**不同预测窗口**后，上述效应大幅衰减，证明：**文本共存于同一预测窗口是关系学习生效的必要条件**。 #### 2. 熟悉表现 ≠ 功能复用在受控四选一关系任务中，模型对**熟悉符号**的准确率可在继续训练后恢复（100.0%），但对**未见符号**的推理能力却可能丧失（从 87.5% 降至 40.2%）。通过内部信号干预（置零、旋转隐藏状态中的选择方向）证实： - 置零使未见符号准确率从 87.5% 跌至 25.0%； - 旋转信号后，答案跟随被移位信号的比例达 67.6%。这表明模型内部存在决定答案的**具体功能信号**，且恢复熟悉表现并不保证该计算对新输入仍然可及。 #### 3. 可见信息、监督目标与功能保留应分离设计 - **输入掩码**决定模型能看到什么； - **监督目标**决定哪些预测误差驱动参数更新； - **保持约束**决定旧行为在何种输入条件下不应漂移。三者是独立的可控变量。例如，在固定曝光预算下，**稠密掩码 + 稀疏监督**（ (M,S) ）优于**稠密掩码 + 稠密监督**（ (M,M) ），说明增加监督目标数量本身并非关键，**扩大模型必须依赖的上下文信息缺口**才是核心。 —- ### 四、核心方法创新 #### 1. 紧凑重述与预算再投资压缩源-重述配对中的重述长度，在固定词预算内将配对数量从 10,094 对扩充至 12,155 对（+20.42%），释放的预算用于扩大覆盖范围。 #### 2. 残差增量学习采用零初始化残差分支：

h’ = h + s, Uσ(D,Norm(h))
训练至成熟后冻结主干（35,463,008 参数），仅训练增量分支（995,584 参数，占比约 2.73%），使后续实验能在固定表示基础上比较目标与输入条件。 #### 3. 原理驱动的继续训练（Stage III）从 Frontier 模型出发，仅通过改变训练任务设计实现提升： - **保留源文本**，在重述侧施加**稠密掩码**（扩大信息缺口）； - 仅在**稀疏选定的目标位置**计算关系预测损失（ (M,S) 配置）； - 对相同文本施加**普通整词掩码**，以冻结的 Frontier 为教师，通过 KL 散度约束新模型在普通输入上的输出漂移：

L(pres) = (1) / (|Q_p|)∑((x,i)∈ Qp) KL(p(Frontier)(· mid x, i) ,|, p_θ(· mid x, i))

总目标：
L = L(acq) + λ L(pres), quad L(acq) = 0.15,CE(focus) + 0.85,CE_(ordinary), quad λ=1
关键控制在于**保持输入必须为普通掩码条件**：若在稠密掩码输入上施加相同保持系数，梯度范数会放大至约 11.8 倍，严重抑制新能力习得。 —- ### 五、主要实验结果 #### 1. 公开排行榜表现在 2026 年 9 月 8 日的 Strict-Small 公开快照中： - **Frontier**：Overall **42.02** - **Principle-guided**：Overall **42.25**（公开榜最高） - 外部前八名最高：41.80（go76dof / WWM curriculum） #### 2. 同父模型对照实验从同一父模型（86,005,295 词检查点）出发，两继续种子（62064、62065）的 Overall 如下： | 策略 | Seed 62064 | Seed 62065 | |———|——————|——————| | 普通继续训练 | 42.0926 | 42.1159 | | 稠密掩码 + 稀疏监督（ (M,S) ） | 42.2025 | 42.1789 | | 完整方法（ (M,S) + 普通输入保持） | **42.2464** | **42.2317** | (M,S) 在相同曝光下稳定优于普通继续训练；增加保持机制后进一步提升，且 **(Super)GLUE** 在不同微调种子下也优于父模型与无保持版本。 #### 3. 增益分解相对于父模型，完整方法的主要 Overall 增益来自 **GlobalPIQA**（贡献约 74%–79%）；相对于普通继续训练，**Entity Tracking** 是最大正贡献来源。这表明改进是**可识别行为变化的结果**，而非随机波动。 —- ### 六、独立研究发现除主线的模型改进外，论文还报告了多项具有独立科学价值的并行研究： - **经验压缩与替换**：固定预算下，不同 displaced 材料的机会成本差异显著； - **关系锚点**（relational anchors）：稀疏绝对标签可通过共享表示传播，解决相对关系中的方向歧义； - **身份接口**（identity interface）：字符级监督可支撑新名称组合的关系推理； - **实体存储与语义寻址**：显式记忆模块中，正确寻址与内容读取仍是瓶颈，时间状态选择尤其困难； - **测量控制**：共享参数显式复制、项目级变化追踪等，为机制研究提供更可靠的比较工具。 —- ### 七、贡献与意义 1. **实践层面**：在严格数据限制下，通过经验组织、监督设计与保持约束的协调，将 Overall 从 42.02 提升至 42.25，并提供了可复用的训练与评估实现。 2. **科学层面**：将“数据高效学习”从经验性技巧提升为可检验的设计原则——围绕上下文依赖组织经验，分离可见信息、监督目标与功能保留，并联合评估习得、泛化与保留。 3. **方法论层面**：展示了 **Research RSI** 的具体实例——自主系统如何通过积累科学理解、技术方法与实验经验，递归改进后续研究的问题选择、控制实验设计与方法构建。 4. **开放资源**：模型权重、代码、数据构造流程、完整评估记录与研究日志均已公开，支持后续验证与扩展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shuxing Yang, Kaihao Zhu, Junjie Yang, Rui Zhao, Junyao Wu, Yize Wang, Wenhao Li, Fujia Chen, Taowen Deng, Shenzhan Hong, Yaqi Li, Zichen Li, Jincheng Mi, Yuang Pan, Hongsheng Chen, Yihao Yang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10702.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10702

Published: 2026-09-14T01:37:55.919Z

2. NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction

Abstract:We introduce NCP-ArchPreview, a latent-space language model that pushes autoregressive pretraining beyond standard next-token prediction (NTP). Alongside NTP, the model learns through Next Concept Prediction (NCP) to predict discrete concepts that span multiple tokens, introducing an explicit and more challenging concept-level objective while preserving standard token-level autoregressive generation. NCP-ArchPreview builds a latent space by constructing a product-quantized concept vocabulary directly from its hidden states, and subsequently learns to predict future concepts via a dedicated Concept Module. These predicted concepts are then fed back to the token level to guide subsequent generation, with NTP and NCP trained jointly end-to-end. We scale this architecture to 8.9B parameters and train it on 5.73T tokens from the Dolma-3 dataset, marking the largest demonstration of a latent-space language model to date. Remarkably, by consuming only 51.3% of the total training tokens, NCP-ArchPreview achieves the final pretraining loss of OLMo-3-7B. Following full pretraining, it outperforms OLMo-3-7B by 2.45 points on the downstream macro-average, including a notable 5.99-point gain on GSM8K. Controlled experiments isolate a clear progression of performance gains stemming from both the latent architecture and the NCP objective. Furthermore, utilizing only 85% of the standard computation, NCP-ArchPreview approaches the training loss of a strictly parameter-aligned 8.9B baseline. The learned latent space remains highly valuable after the pretraining stage: updating just the 17M-parameter VQ module yields a novel, lightweight interface for domain adaptation, while a simple injection of concept representations into a DFlash2 drafter improves the mean accepted length by 4.17% with negligible overhead.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决标准\*\*下一词预测（Next Token Prediction, NTP）\*\*在语言模型预训练中的固有局限性，即监督信号严格局限于细粒度token级别，缺乏对跨越多token的\*\*高层语义概念结构\*\*进行显式建模与预测的能力。具体而言，标准NTP只能间接地通过逐词预测来诱导模型学习语义抽象，而无法直接指导模型理解多token跨度上的概念级依赖关系，这在一定程度上限制了模型的学习效率与表示能力。为此，论文提出了 \*\*NCP-ArchPreview\*\*，核心思路是将潜在空间建模引入自回归预训练框架，通过联合优化以下两个目标来解决上述问题： - \*\*下一词预测（NTP）\*\*：保留传统的token级自回归生成，确保模型维持标准的逐词解码能力； - \*\*下一概念预测（Next Concept Prediction, NCP）\*\*：显式地预测跨越多个token的离散概念（discrete concepts），将监督信号提升到更高层次的语义抽象空间。在技术实现上，模型通过以下机制达成这一目标： 1. \*\*构建离散概念词汇表\*\*：利用Token Encoder的隐状态，通过乘积量化（Product Quantization）构建一个离散的概念空间（concept vocabulary）； 2. \*\*概念模块预测\*\*：在Token Encoder与Token Decoder之间插入Concept Module，以自回归方式在学到的概念空间中预测未来概念； 3. \*\*概念反馈注入\*\*：将预测的概念表示经过因果移位后重复扩展回token级别，通过残差连接注入Token Decoder，从而指导后续token生成； 4. \*\*层级残差连接\*\*：引入模块内（IRC）与跨模块（CRC）动态残差路由，促进不同抽象层级间的信息流动。通过这一架构，论文在保持标准自回归生成接口的同时，将显式的概念级目标内嵌于预训练过程中，旨在提升模型的优化效率、收敛速度与下游任务性能，并为大规模语言模型提供一种可扩展的潜在空间建模蓝图。 Q2: 有哪些相关研究？论文在第6节及相关段落中系统回顾了相关研究，主要涵盖以下四个方向： ### 1. 抽象层级预测（Abstract-Level Prediction）该方向关注在比原始输入单元更高的抽象层级上进行预测，而非直接重建细粒度信号： - \*\*Joint-Embedding Predictive Architectures (JEPA)\*\*：通过预测保留语义结构但丢弃难以预测的细节的潜在目标来学习表示，已在图像（I-JEPA）和视频（V-JEPA、V-JEPA 2）中取得突破。 - \*\*Large Concept Models\*\*：将完整句子映射到共享的连续句子嵌入空间，并在该空间中进行抽象层级自回归建模。 - \*\*与本文的区别\*\*：上述方法通常依赖连续预测空间或由独立编码器定义的目标；而 NCP-ArchPreview 在语言模型内部学习离散概念空间，并保留标准的 token 级生成接口。 ### 2. 层级与潜在空间语言建模（Hierarchical and Latent-Space Language Modeling）该方向从两个维度展开：一是潜在表示的构建方式，二是预测目标或训练目标的设定。 \*\*基于固定或动态层级结构的压缩方法：\*\* - \*\*Hourglass Transformer\*\*：通过预定义的多尺度分辨率对 token 序列进行压缩与上采样。 - \*\*MegaByte\*\*：在固定字节块（byte patches）上进行全局建模，并在每个块内进行局部建模。 - \*\*ContextLM\*\*：学习预测性上下文嵌入。 - \*\*Byte Latent Transformer (BLT)、DLCM、H-Net\*\*：采用动态或输入自适应的分块策略，使潜在边界或块大小随输入变化。 \*\*改变预测目标或引入潜在状态的方法：\*\* - \*\*Multi-Token Prediction (MTP)\*\*：增加辅助头来预测多个未来 token，但监督信号仍锚定在单个表面 token 上。 - \*\*基于潜在推理或连续概念的方法\*\*：在生成过程中交错或预测连续隐状态。 - \*\*ConceptLM\*\*：本文的直接基础工作，首次提出离散概念级目标 NCP，联合学习乘积量化概念词汇表，并以预测概念条件化 token 生成。ConceptLM 验证了从零开始训练至 1.5B 参数以及对现有 8B 模型进行持续预训练的可行性；NCP-ArchPreview 则在此基础上，将 NCP 应用于从头开始的 8.9B 模型、历经数万亿 token 的完整预训练阶段及后续阶段。 ### 3. 深度 Transformer 中的残差连接（Residual Connections in Deep Transformers）该方向致力于缓解标准残差连接在深度累积过程中的信息瓶颈，实现跨层表示的选择性复用： - \*\*DenseFormer\*\*：使用与输入无关的学得权重，对先前各块的输出进行深度加权平均。 - \*\*DeepCrossAttention\*\*：使用输入相关权重聚合层输出，并引入深度方向的交叉注意力。 - \*\*MUDDFormer\*\*：为查询、键、值和残差流分别预测基于 token 条件的密集连接权重；本文的 \*\*Intra-Module Residual Connections (IRC)\*\* 即源于此。 - \*\*Attention Residuals / Block AttnRes\*\*：通过 softmax 注意力机制聚合先前层输出，并提供块级变体以支持可扩展训练。 - \*\*Depth-Attention\*\*：将跨层选择嵌入自注意力内部，通过现有 QKV 路径混合早期值状态。 NCP-ArchPreview 采用 MUDDFormer 的单流动态密集连接作为 IRC，实现模块内的全历史复用；并进一步提出 \*\*Cross-Module Residual Connections (CRC)\*\*，支持在 Token Encoder、Concept Module 与 Token Decoder 之间进行目标条件化的深度选择。 ### 4. 潜在扩散与语言模型中的高级抽象（背景动机） - \*\*视觉合成中的潜在扩散\*\*：将生成过程从原始像素转移到紧凑连续表示，显著提升了建模效率与可扩展性。 - \*\*语言模型中的高级抽象\*\*：近期研究表明，语言模型在其隐藏状态中会诱导出语义概念和潜在世界表征等高层抽象，但在标准 NTP 下，这些抽象仅是间接副产品。NCP-ArchPreview 通过显式的概念预测目标，将这一潜在能力转化为有监督的学习信号。 Q3: 论文如何解决这个问题？该论文通过将\*\*下一概念预测（Next Concept Prediction, NCP）\*\*嵌入标准的\*\*下一词预测（Next Token Prediction, NTP）\*\*框架，构建了一种端到端的潜在空间自回归架构。具体解决方案可从以下七个方面展开： --- ### 1. 三模块层级架构模型将传统 Transformer 分解为三个功能模块，在 token 级表示流中插入显式的概念级通路： - \*\*Token Encoder\*\*（16层）：将输入序列映射为 token 级隐状态 h_(1:T) ； - \*\*Concept Module\*\*（8层）：在压缩后的概念序列上进行自回归预测； - \*\*Token Decoder\*\*（16层）：接收融合了概念信号的 token 表示，执行标准的下一词生成。该设计保证了输入输出接口与标准自回归模型完全一致，同时在中层引入了抽象层级。 --- ### 2. 从隐状态构建离散概念词汇表（VQ）为了获得结构化的概念监督目标，论文不依赖外部编码器，而是直接从 Token Encoder 的隐状态学习离散概念空间： 1. \*\*连续概念提取\*\*：对每 k 个连续 token 隐状态做均值池化，得到连续概念序列：

cm = (1) / (k)∑(i=1)^(k) h_((m-1)k+i), quad c_m ∈ R^d

**乘积量化（Product Quantization）**：将每个概念向量切分为 S 段，每段独立匹配一个包含 N 个码字的码本：
nm^s = argmin(n) |cm^s - e_n^s|_2^2, quad d_m^s = e(nm^s)^s
最终量化概念通过拼接各段得到：
d_m = concat(d_m^1, dots, d_m^S)
乘积量化以较小的码本规模（每段仅 N 个条目）获得了极大的组合容量（共 N^S 种可能），从而构建了丰富且离散的潜在目标空间。 —- ### 3. 自回归下一概念预测在学到的离散概念空间上，Concept Module 以自回归方式预测未来概念： - 给定历史概念序列 c(<m) ，Concept Module 输出隐状态：

um = ConceptModule(θc)(c(<m))

对每个量化段 s ，使用预测头输出码本上的概率分布：
π_m^s = softmax(PredictionHead_c^s(u_m))
为避免不可微的 argmax/采样操作，采用**分布的期望**作为可微分预测：
cm^s = ∑(n=1)^(N) π_(m,n)^s e_n^s, quad c_m = concat(c_m^1, dots, c_m^S)
这种加权码字构造既保持了端到端可微性，又将预测严格约束在学到的概念空间内，避免了连续回归目标的无界漂移问题。 —- ### 4. 将预测概念注入 Token 流以指导生成为了让概念预测真正影响词级生成，论文设计了从概念粒度到 token 粒度的对齐与注入机制： - **重复与因果移位**：将每个预测概念 c 重复 k 次，并施加因果移位 Delta=k ，确保概念信号仅在生成后续 token 时介入，防止信息泄露：

bt = 0, & 1 le t < Delta c(lfloor(t-Delta)/krfloor+2), & Delta le t < T

**残差融合**：概念嵌入与 token 隐状态直接相加：
h_t = h_t + b_t
**解码**：Token Decoder 基于融合后的表示进行标准自回归解码：
p(x(t+1)|x(le t)) = P(θ_d)(h(le t))
—- ### 5. 层级残差连接（Hierarchical Residuals）为缓解三个模块在深度与序列粒度上的差异，论文引入了动态层级残差路由： - **模块内残差连接（IRC）**：在每个模块内部，不再使用固定深度的残差相加，而是允许每一层动态加权组合该模块内所有先前层的状态：

X_ell^s = H_1^s, H_1^s+R_1^s, dots, H_ell^s+R_ell^s

H(ell+1)^s = ∑(j=1)^(ell+1) w(ell,j)^s X(ell,j)^s

**跨模块残差连接（CRC）**：在模块间建立动态信息通路，包括 - Token Encoder to Concept Module - Token Encoder to Token Decoder - Concept Module to Token Decoder 源模块表示经粒度对齐后，由目标模块状态生成加权系数，并以学得的对角缩放进行残差注入：
α(s arrow u)^ell = softmax(MLP(s arrow u)^ell(T_ell^s))

M(s arrow u)^ell = ∑(j=1)^(K) α_(s arrow u,j)^ell LN(S_j^u)

Tell^(s,out) = T_ell^s + D(s arrow u)^ell odot M_(s arrow u)^ell
—- ### 6. 联合端到端训练目标三个组成部分通过单一损失函数联合优化：

L(total) = L(NTP) + α L(NCP) + β L(VQ)
其中： - **下一词损失** L(NTP) ：标准因果语言建模交叉熵，确保 token 级生成能力；
L(NTP) = -(1) / (T-1)∑(t=1)^(T-1) log p(θd)(x(t+1)|h_(le t))

**下一概念损失** L(NCP) ：均方误差，监督 Concept Module 预测下一连续概念（目标梯度截断）：
L(NCP) = (1) / (M-1)∑_(m=2)^(M) |c_m - sg(c_m)|_2^2
**矢量量化损失** L(VQ) ：仅更新码本条目，使其逼近连续概念分布：
L(VQ) = (1) / (MS)∑(m=1)^(M)∑(s=1)^(S) |sg(cm^s) - d_m^s|_2^2
通过梯度截断（stop-gradient）设计， L(VQ) 不直接改变 Token Encoder， L(NCP) 的目标不反向传播至当前概念编码，从而稳定地解耦各子目标的学习。 —- ### 7. 保留标准自回归生成接口尽管引入了潜在空间预测，NCP-ArchPreview 在推理时仍然保持标准的逐词自回归解码流程。Concept Module 预测的离散概念被实时反馈回 token 流，无需任何外部编码器或复杂的后处理，因此兼容现有的投机解码、领域自适应等下游技术。 —- **总结**：该论文通过**显式构建离散概念空间**、**在潜在空间上施加自回归监督**、**将概念预测残差注入词级表示**，并辅以**层级动态残差连接与联合优化**，系统性地解决了标准 NTP 缺乏多 token 语义跨度显式监督的问题，在保持标准生成接口的同时显著提升了训练效率与模型性能。 Q4: 论文做了哪些实验？论文围绕 **NCP-ArchPreview** 的架构设计、训练效率、下游性能及潜在空间应用，开展了一系列系统实验，主要包括以下九个方面： —- ### 1. 主训练与下游基准评估在与 **OLMo-3-7B** 完全相同的 **5.73T** token 数据上，对比了 Stage-1 与 Stage-2 两个训练阶段的完整表现： - **训练损失动态**：NCP-ArchPreview 仅用 OLMo-3-7B **51.3%** 的训练 token 即达到其最终 Stage-1 损失，收敛速度提升 **1.95×**；Stage-2 亦保持 **1.51×** 收敛优势（图 1）。 - **下游宏观平均**：覆盖 30 余个基准家族（涵盖 MMLU、GSM8K、MATH-500、HumanEval、MBPP、ARC、HellaSwag 等）。Stage-1 宏观平均提升 **2.45** 个百分点，其中 GSM8K 提升 **5.99** 个百分点；Stage-2 宏观平均提升 **0.59** 个百分点（表 1）。 - **损失与能力的关系**：追踪了 Stage-1 不同检查点的下游得分轨迹，验证了训练损失的持续下降与模型能力的持续提升基本对应。 —- ### 2. 参数量与计算量对齐的受控消融为排除性能增益来自简单增加参数或计算量，构建了严格对齐的基线（表 2）： - **Vanilla**（32 层，与 OLMo-3-7B 同规模） - **Vanilla size-aligned**（40 层，参数量与 NCP-ArchPreview 对齐） - **Vanilla computation-aligned**（34 层，计算量与 NCP-ArchPreview 对齐）结果显示，NCP-ArchPreview 显著优于 Vanilla 及 Vanilla computation-aligned，且以仅 **85%** 的计算量逼近 Vanilla size-aligned 的性能（图 3）。 —- ### 3. 渐进式模块消融在同一训练设置下，从标准 OLMo-3-7B 出发逐步叠加组件，验证各部分的独立贡献： - **Vanilla + CM**（仅加 Concept Module） - **Vanilla + CM + Residual**（再加层级残差连接） - **Vanilla + CM + Residual + NCP**（完整 NCP-ArchPreview）损失曲线表明：Concept Module、Residual 与 NCP 目标依次带来单调递减的训练损失，确认性能提升源于架构与目标的本质设计，而非表层容量膨胀（图 3）。 —- ### 4. 层级残差连接变体对比在 **1B** 规模模型上，对比了多种跨层/跨模块连接方案（表 3）： - **IRC only**（仅模块内动态残差） - **IRC + CRC**（完整层级残差，含跨模块路由） - **IRC + Input-Level Cross-Module Connections** - **IRC + All-Stage Softmax** - **Block AttnRes + Cross-Module Connections** 实验表明 **IRC + CRC** 组合在仅增加 **0.051%** 分析训练 FLOPs 的情况下，获得最大损失降幅（ -0.0323 ）。 —- ### 5. Scaling Law（扩展法则）在多个固定 FLOPs 预算（ 10^(19) 至 10^(20) ）下，通过搜索最优超参数与模型/数据配比，绘制了 IsoFLOP 曲线（图 4）。NCP-ArchPreview 相较于 OLMo-3 展现出 **1.74×** 的计算帕累托效率提升。 —- ### 6. 训练数值稳定性分析针对使用 **Muon** 优化器与层-wise Q/K 归一化时出现的注意力 logit 爆炸问题，进行了系统诊断： - 观测到注意力 logit 持续增长、Q/K 范数出现离群头、梯度范数尖峰（图 5）。 - 通过对比 AdamW 与 Muon 基线，以及替换为 **per-head Q/K 归一化**，定位到不稳定性主要源于全矩阵 Muon 更新与层-wise 归一化之间的耦合（图 6）。该发现作为训练干预的消融报告，主实验仍保持与 OLMo-3-7B 一致的层-wise 配置以确保可比性。 —- ### 7. 概念空间的轻量级领域自适应（VQ Training）验证了冻结主干、仅更新 **17M** 参数的 VQ 模块（码本与预测头）即可实现高效的领域迁移： - **代码自适应**（Magicoder）：在 HumanEval、HumanEval+、MBPP、MBPP+ 上，VQ 训练提升代码平均 **+2.65**，且是唯一能避免 MBPP+ 灾难性遗忘的设定（表 5）。 - **数学自适应**（Orca-Math）：VQ 在数学平均上提升 **+4.27**，且在通用能力保留上优于 LoRA 与全参数微调（表 6）。 - **知识自适应**（TriviaQA-RC）：VQ 将 TriviaQA 精确匹配提升 **+9.19**，同时通用平均几乎无损（**+0.03**）（表 7）。 - **效率**：相较于全参数微调，VQ 训练吞吐提升 **2.02×**，显存占用降低 **64%**；相较于同参数量的 LoRA，吞吐仍提升 **1.50×**（图 7）。 —- ### 8. 与多词预测（MTP）的协同效应在 **3B** 规模上构建了 NCP-ArchPreview 与残差对齐的 OLMo-3-3B 基线，验证 NCP 与 MTP 的兼容性： - NCP-ArchPreview 本身即优于残差对齐基线（ Delta loss = -0.0098 ）。 - 在 NCP-ArchPreview 上叠加 MTP 可获得进一步增益（ Delta loss = -0.0141 ），且以略低的 FLOPs 优于 OLMo-3 + Residual + MTP（表 8、图 8）。 —- ### 9. 概念表示加速投机解码探索了概念空间在推理阶段的实用价值：将 Concept Module 产生的块级概念表示注入 **DFlash2** 块并行投机解码的草稿模型（Drafter）： - 在 GSM8K、MATH、HumanEval、MBPP 上，平均接受长度（MAL）的宏观平均提升 **4.17%**（从 5.933 提升至 6.180），其中 HumanEval 提升达 **7.59%**（表 9）。 - 该注入仅增加 **0.04M** 参数，几乎无额外计算开销。 —- ### 10. 中期训练数据筛选的代理指标（附录）为减少完整下游评估的开销，在 Stage-2 阶段构造了包含 177,202 条专家轨迹的代理评测集，验证了基于 **能力感知负对数似然（capability-specific NLL）** 的配方筛选与下游排名高度一致（Spearman/Rank agreement），并给出了线性拟合的 R^2 分析（附录 C、图 9、表 11）。 —- ### 11. 扩展实验细节与检查点轨迹（附录） - 提供了 Scaling Ladder 的完整实验配置与验证损失（附录 D、图 10、表 12）。 - 公开了 Stage-1 每 100K 步检查点的完整下游性能轨迹，涵盖 30 余项基准的变化过程（附录 E、表 14）。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与讨论，以下是可以进一步探索的研究方向： —- ### 1. 长上下文训练与扩展论文明确指出当前架构预览未包含长上下文训练，但概念级通路天然地在序列压缩上具备优势： - **更长依赖的概念一致性**：Concept Module 以 k=4 的压缩因子操作，若扩展至数万甚至数十万 token 的上下文，概念预测能否更有效地捕获长程语义结构？ - **上下文长度与压缩因子的联合缩放**：当上下文从 8K 扩展至 128K 或 1M 时，最优的概念压缩因子 k 、Concept Module 深度与码本容量如何重新配置？ —- ### 2. 训练后阶段（Mid-training / Post-training）的策略优化论文观察到 Stage-2 后训练损失的持续降低并未如 Stage-1 般线性转化为下游宏观平均的显著提升： - **能力感知的数据筛选（Capability-Aware Data Curation）**：附录 C 展示了基于代理集的 NLL 可预测代码与数学能力，但如何将这种感知机制融入动态数据混合比例调整，以针对性强化特定领域？ - **检查点选择准则**：结合语言模型损失、下游任务性能与代理评测指标，建立更鲁棒的早停与检查点筛选策略，避免过拟合于训练分布而偏离评测分布。 - **领域自适应的深层机制**：第 5.1 节发现 VQ 训练在事实知识（TriviaQA）上的增益弱于全参数微调，因其无法直接改写 Backbone MLP 中的事实关联。如何设计概念空间与 FFN 键值记忆的协同更新机制，以实现轻量级且有效的知识编辑？ —- ### 3. 概念空间的结构、可解释性与应用论文初步验证了概念表示在投机解码（第 5.3 节）与领域自适应（第 5.1 节）中的价值，但概念空间的潜力远未充分挖掘： - **概念层级与多粒度**：当前使用单一压缩因子 k=4 与单一层级概念。引入**多尺度概念层级**（如短语级、句子级概念）是否能进一步提升对多层次语义结构的建模？ - **概念空间的可解释性**：乘积量化码本 E^s 中的条目是否对应可解释的语义单元（如句法角色、实体类型、推理步骤）？通过可视化与探测实验分析概念激活模式，可为语言模型的内部表征提供新的理解视角。 - **概念驱动的推理与规划**：若概念序列可视为高层思维链，能否显式地利用概念预测进行**多步规划**或**自我修正**，而非仅作为辅助信号？ —- ### 4. 架构与目标函数的联合扩展 - **NCP 与多词预测（MTP）的深度融合**：第 5.2 节显示二者可协同，但当前仅采用浅层 MTP 头。将概念预测与更多未来 token 位置或块级扩散目标结合，可能进一步缩小潜在空间与表面生成之间的粒度差距。 - **连续-离散混合概念空间**：论文采用离散 VQ 空间以保证结构化目标。探索**连续概念嵌入**与**离散码本**的混合训练（如部分段连续回归、部分段离散预测），或采用有限标量量化（FSQ）等替代方案，可能提升表示效率。 - **动态概念边界**：当前概念边界固定为 k=4 个 token。引入输入自适应的动态分块（类似 BLT 或 H-Net 的思想），让概念边界依据语义完整性自动调整，或能更精确地对齐多 token 语义单元。 —- ### 5. 计算效率与系统级优化 - **概念模块的推理开销权衡**：Concept Module 在训练时以压缩序列运行，但推理阶段仍需维护双路前向传播。研究 Concept Module 的**深度/宽度剪枝**或**早期退出**机制，可在保留概念指导的同时降低延迟。 - **投机解码的深度整合**：第 5.3 节仅通过简单残差注入概念信号。将概念表示作为 Drafter 的**跨层注意力源**或**块级生成条件**，可能带来更大的接受长度提升。 —- ### 6. 理论分析 - **为什么 NCP 加速收敛？** 论文展示了 1.95× 的收敛速度，但其理论机制尚不清楚：是因为概念预测提供了**去噪后的高层梯度信号**，还是因为多 token 跨度监督增加了有效批次中的独立信息量？ - **潜在空间预测的泛化界**：在标准 NTP 的泛化分析框架下，引入潜在空间目标如何改变模型的 Rademacher 复杂度或 PAC-Bayes 界？ —- ### 7. 跨模态迁移 JEPA 范式在视觉与视频中的成功启发了一个更宏大的问题：NCP-ArchPreview 中学到的离散概念词汇表能否作为**跨模态共享的抽象接口**，例如用于图像-文本对齐或多模态推理中的概念级对齐？ Q6: 总结一下论文的主要内容这篇论文介绍了 **NCP-ArchPreview**，一种通过在潜在空间中联合建模离散概念与标准词元，将自回归预训练从纯下一词预测（NTP）扩展到下一概念预测（NCP）的新型语言模型架构。以下是主要内容的结构化总结： —- ### 1. 核心问题与动机 - **标准NTP的局限**：现有语言模型的预训练监督严格局限于细粒度词元级别，模型只能间接地学习跨越多词元的语义概念结构，缺乏对高层抽象依赖关系的显式建模。 - **潜在空间建模的启示**：视觉领域的潜在扩散模型已证明，在紧凑的潜在空间中生成可极大提升效率；语言模型虽在隐状态中诱导出高层抽象，但标准NTP未将其作为显式预测目标。 —- ### 2. 架构设计 NCP-ArchPreview 基于 OLMo-3-7B 骨干，采用**三模块层级架构**： - **Token Encoder**（16层）：产生词元级隐状态 h(1:T) 。 - **Concept Module**（8层）：通过自回归预测下一概念，在压缩后的潜在序列上操作。 - **Token Decoder**（16层）：接收融合了概念信号的词元表示，执行标准下一词生成。 **关键技术组件：** - **离散概念词汇表构建**：对每 k=4 个词元的隐状态进行均值池化得到连续概念，再通过**乘积量化（Product Quantization）**映射到结构化离散码本。共 S=32 个码本段，每段 N=128 个码字，组合容量达 128^(32) 。 - **可微概念预测**：Concept Module 输出各码本段上的概率分布，以**码字期望**（而非不可微的 argmax）作为预测概念 c_m ，保持端到端梯度传播。 - **因果注入机制**：预测概念经重复与因果移位后，以残差方式注入 Token Decoder：

h_t = h_t + b_t

**层级残差连接**：包括模块内动态残差（IRC）与跨模块残差（CRC），支持不同深度与抽象层级间的信息流。 —- ### 3. 训练目标模型通过单一损失函数联合优化三个目标：

L(total) = L(NTP) + α L(NCP) + β L(VQ)

** L(NTP) **：标准下一词交叉熵损失。 - ** L(NCP) **：下一概念预测的均方误差，目标梯度截断，监督 Concept Module 与 Token Encoder。 - ** L_(VQ) **：矢量量化损失，仅更新码本条目以拟合连续概念分布。 —- ### 4. 主要实验结果在 5.73T tokens 的 Dolma-3 数据集上训练 8.9B 参数模型，主要发现包括： - **训练效率**：NCP-ArchPreview 仅用 OLMo-3-7B **51.3%** 的训练 token 即达到其 Stage-1 最终损失，收敛速度提升 **1.95×**；Stage-2 提升 **1.51×**。 - **下游性能**：Stage-1 下游宏观平均超越 OLMo-3-7B **2.45** 个百分点，其中 GSM8K 提升 **5.99** 分；Stage-2 宏观平均提升 **0.59** 分。 - **受控消融**： - 与计算量对齐的基线相比，NCP-ArchPreview 表现显著更优，证明提升并非来自额外计算。 - 以参数量对齐的 40 层 Transformer 为参照，NCP-ArchPreview 仅用 **85%** 的计算量即逼近其性能。 - **Scaling Law**：在 10^(19) 至 10^(20) FLOPs 范围内，计算帕累托效率较 OLMo-3 提升 **1.74×**。 - **数值稳定性**：发现 Muon 优化器与层 wise Q/K 归一化存在耦合导致的不稳定性，per-head 归一化可有效抑制。 —- ### 5. 潜在空间的后续应用论文进一步验证了所学概念空间在预训练后的实用价值： - **轻量级领域自适应（VQ Training）**：冻结 8.9B 主干，仅更新 **17M** 参数的 VQ 码本与预测头，即可实现高效的领域迁移。在代码、数学与知识自适应中，VQ 训练在吞吐量上较全参数微调提升 **2.02×**，较同规模 LoRA 提升 **1.50×**，且显著缓解灾难性遗忘。 - **加速投机解码**：将概念表示注入 DFlash2 块并行投机解码的草稿模型，仅增加 0.04M 参数，即将平均接受长度（MAL）提升 **4.17%**（HumanEval 上达 7.59%）。 —- ### 6. 结论与意义 NCP-ArchPreview 提供了迄今为止**最大规模的潜在空间语言模型验证**（8.9B 参数、5.73T tokens），证明联合词元与概念建模不仅是有效的辅助目标，更是一种**高效且可扩展的下一代基础模型架构蓝图**。通过显式预测离散概念，模型在优化效率、下游推理能力与后续轻量化适配方面均展现出显著优势，为自回归语言模型向潜在空间演进提供了系统的技术路径与开源基础。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Intern-NCP Team, Jiaqi Cao, Chiyu Chen, Shuang Cheng, Xu Cheng, Beiya Dai, Yufan Feng, Kewen Ge, Ruijun Ge, Jiayi Huang, Yang Jiao, Dahua Lin, Zhouhan Lin, Yifan Liu, Yuliang Liu, Biqing Qi, Mowen Ruan, Junzhe Shen, Yunchong Song, Hao Sun, Zhongbo Tian, Yixuan Wang, Rubin Wei, Jiaxin Xiong, Kangyu Yang, Qian Yao, Qi Zhang, Bowen Zhou

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10715.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10715

Published: 2026-09-14T01:37:55.919Z

3. CMNIE: An Information Extraction Benchmark for Chinese Military News

Abstract:Structured extraction from Chinese military news supports intelligence analysis, decision-making, and knowledge base construction. However, existing resources provide limited support for joint informa?tion extraction in this domain, especially when events, event arguments, entities, and relations must be modeled together. We present CMNIE, an information extraction benchmark for Chinese military news. Extend?ing military-domain resources beyond document-level event annotations, CMNIE jointly annotates event triggers, event arguments, named enti?ties, and entity relations under a unified domain schema. The dataset contains 13,000 instances collected from public Chinese military news, with manual annotations for 7 event types, 10 argument roles, 7 entity types, and 8 relation types. We evaluate supervised IE models, zero-shot large language models, and fine-tuned LLM-based extraction methods on a shared test set. Experimental results show that CMNIE remains chal?lenging, especially for relation extraction and exact matching of event?argument spans; zero-shot LLMs often identify relevant semantic units but fail to match gold span boundaries exactly. CMNIE provides a stan?dardized benchmark for studying schema adherence, exact span match?ing, and joint structured extraction in specialized Chinese news.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10722 (timeout of 15000ms exceeded)

Authors: Yan Yu, Mengna Zhu, Zhenyu Song, Hao Yang, Haiwen Chen, Mao Wang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10722.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10722

Published: 2026-09-14T01:37:55.919Z

4. Think Before You Link: Rarity, Reasoning, and Retrieval in Multilingual Entity Linking

Abstract:Multimodal entity linking grounds entity mentions in text and images to knowledge-base entries. These systems degrade on rare entities, but prior work measures rarity primarily through popularity-based metrics such as pageviews. We broaden this view using knowledge-graph structural metrics that capture how well an entity is documented and connected. These metrics identify many rare entities that popularity metrics miss. Across the resulting rare-entity slices, state-of-the-art accuracy drops by 15.4-39.9%, showing that different rarity definitions expose different failure modes. To address these failures, we introduce a simple, training-free framework in which a reasoning-capable vision-language model iteratively searches and reasons over Wikipedia, gathering evidence dynamically. Controlled experiments show that reasoning and retrieval are complementary. Reasoning alone does not significantly improve accuracy on rare entities. Retrieval without reasoning improves rare-entity accuracy but can hurt overall accuracy. Their combination performs best. On MERLIN, a multilingual multimodal entity linking benchmark over five languages (Hindi, Indonesian, Japanese, Tamil, Vietnamese), our best system improves over the state of the art by 6.9% overall and by up to 23.3% on rare-entity slices. We release MERLIN-Rare, rare-entity test slices for targeted evaluation, with our framework.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*多语言多模态实体链接（Multilingual Multimodal Entity Linking）中罕见实体（rare entities）链接性能显著退化\*\*的问题，并从以下几个层面展开： ### 1. 罕见性定义的狭隘性现有研究通常将实体罕见性等同于\*\*低流行度\*\*（如维基百科页面浏览量、入链数量等），但论文指出这种单一指标无法区分不同性质的失败模式： - \*\*流行度 ≠ 结构稀疏性\*\*：某些实体可能在特定文化中广受关注，但在跨语言知识库中结构连接稀疏、文档化不足或语言版本稀少。 - \*\*遗漏大量失败案例\*\*：基于流行度的指标与基于知识图谱结构（如Wikidata陈述数、限定词数、出链数、语言版本数）的指标在底部5%的罕见实体集合上平均重叠率仅37%。 ### 2. 罕见实体上的性能崩塌论文揭示，当前最先进的模型（如Cultural Pangea）在完整测试集上表现良好，但在按\*\*知识图谱结构稀疏性\*\*定义的罕见实体切片上，准确率相对下降高达\*\*15.4%–39.9%\*\*。具体表现为： - 按页面浏览量划分的尾部实体，准确率下降37.7%； - 按Wikidata陈述数划分的尾部实体，准确率下降37.0%； - 这两种指标识别的失败实体集合差异巨大，说明单一流行度评估会系统性掩盖模型在文化特定长尾实体上的弱点。 ### 3. 参数化知识的固有局限罕见实体（尤其是文化特定实体）在预训练数据中代表性不足，导致模型参数无法有效编码其知识。这要求系统在推理时\*\*动态获取外部知识\*\*，而非仅依赖参数记忆。 ### 4. 推理与检索的协同缺失论文通过受控实验发现，单纯依靠推理或检索均无法独立解决该问题： - \*\*仅推理\*\*：对罕见实体准确率无显著提升； - \*\*仅检索\*\*（无推理能力）：虽能提升罕见实体准确率，但会在常见实体上引入噪声、损害整体性能； - \*\*检索+推理的非协同风险\*\*：非推理模型（Instruct）在检索时倾向于发起大量低质量、重复性搜索，缺乏对检索结果的甄别与整合能力。 ### 5. 提出的解决方案为此，论文引入了一个\*\*无需训练\*\*的框架，让具备原生推理能力的视觉语言模型（VLM）通过\*\*迭代式维基百科检索\*\*动态收集证据，并基于推理轨迹进行消歧。该框架在MERLIN基准（涵盖印地语、印尼语、日语、泰米尔语、越南语）上取得： - 整体准确率较SOTA提升\*\*+6.9%\*\*； - 在最难的罕见实体切片上提升高达\*\*+23.3%\*\*。此外，论文发布了\*\*MERLIN-Rare\*\*——基于多维结构罕见性指标划分的测试切片，用于针对性评估实体链接系统在文化长尾上的鲁棒性。 Q2: 有哪些相关研究？根据论文第2节“Related Work”，相关研究可归纳为以下四个方向： ### 1. 基于大语言模型的实体链接（Entity Linking with Large Language Models）该领域已从传统的“候选集分类”范式转向直接生成目标实体： - \*\*GENRE\*\*（Cao et al., 2021a）提出自回归实体检索，直接生成实体名称。 - 后续研究通过\*\*上下文丰富\*\*与\*\*自适应路由\*\*进一步扩展这一方向（Ding et al., 2024, 2025; Xin et al., 2025; Liu et al., 2024; Li et al., 2025）。 - \*\*LELA\*\*（Haffoudhi et al., 2026）采用“单次检索 + 自一致性投票推理”的策略。 - \*\*ELA\*\*（Luo et al., 2025）仅使用单次检索调用，且不具备查询优化能力。 \*\*现有局限\*\*：上述工作均为\*\*纯文本\*\*设置，且主要面向\*\*英语\*\*；尚未有研究针对文化特定实体进行\*\*迭代式证据收集\*\*。 ### 2. 多模态与多语言实体链接（Multimodal and Multilingual Entity Linking） - \*\*多模态实体链接\*\*：利用视觉上下文消歧仅通过文本难以区分的实体提及（Moon et al., 2018; Wang et al., 2022; Shi et al., 2024; Liu et al., 2025）。 - \*\*多语言实体链接\*\*：通过自回归方法与端到端系统取得进展（Cao et al., 2021b; Limkonchotiwat et al., 2023）。 - \*\*MERLIN\*\*（Ramamoorthy et al., 2025）：是首批同时覆盖多语言与多模态的实体链接基准之一。 - \*\*Cultural Pangea\*\*（de Dieu Nyandwi et al., 2025）：当前在MERLIN上的SOTA方法，通过在文化 grounded 数据上微调多语言VLM实现，但论文指出其在\*\*结构稀疏的罕见实体\*\*上仍存在显著的性能退化。 ### 3. 实体罕见性与文化表征（Entity Rarity and Cultural Representation） - \*\*罕见实体性能退化\*\*：已有研究表明实体链接系统在罕见实体上表现显著下降（Ilievski et al., 2018; Hoveyda et al., 2024; Boscariol et al., 2025）。 - \*\*流行度作为罕见性代理\*\*：现有工作通常将罕见性等同于低流行度，采用页面浏览量、入链数等指标（Mallen et al., 2023; Kandpal et al., 2023; Chen et al., 2021）。 - \*\*文化表征偏差\*\*： - 大语言模型表现出\*\*西方中心主义\*\*的实体偏见（Naous et al., 2024）。 - 视觉语言模型的性能与\*\*各语言版本的维基百科规模\*\*高度相关（Bugliarello et al., 2022）。 - 本地化的文化知识在跨语言知识库中\*\*表征不足\*\*（Veselovsky et al., 2025; Tao et al., 2024; Adilazuarda et al., 2024）。 \*\*与本文的区别\*\*：已有研究未能区分“不流行”与“文化特异性”。本文提出\*\*多维罕见性表征\*\*，将知识图谱的结构稀疏性（如Wikidata陈述数、限定词数、跨语言版本数）与流行度指标分离开来。 ### 4. 检索增强推理（Retrieval-Augmented Reasoning） - \*\*推理与检索的交错执行\*\*：ReAct（Yao et al., 2023）与 IRCoT（Trivedi et al., 2023）开创了将推理步骤与检索调用交替进行的范式。 - \*\*推理原生模型\*\*：近期研究通过强化学习训练模型，使其在内部思考过程中自主决定何时调用搜索工具（Guo et al., 2025; Team, 2025; Jin et al., 2025; Feng et al., 2025）。 - \*\*推理时计算替代参数规模\*\*：Snell et al. (2024) 表明增加测试时的计算量可弥补模型参数规模的不足。 \*\*研究空白\*\*：上述检索增强推理范式尚未被应用于\*\*实体链接\*\*任务，特别是多语言多模态场景下的文化长尾实体。本文的工作填补了这一空白。 Q3: 论文如何解决这个问题？论文通过\*\*重新定义罕见性\*\*、\*\*设计推理与迭代检索协同的框架\*\*，以及\*\*发布针对性评估基准\*\*三个层面解决该问题。具体方案如下： ### 1. 多维罕见性表征与针对性评估基准为解决传统单一流行度指标（如页面浏览量）掩盖失败模式的问题，论文提出从两个维度刻画实体罕见性： - \*\*Wikipedia-based metrics\*\*：反映编辑关注度与文档深度（页面浏览量、反向链接、文章大小、修订次数等）。 - \*\*Wikidata-based metrics\*\*：反映知识图谱结构连接性与跨语言覆盖度（入链/出链数量、语言版本数、陈述数、限定词数等）。基于上述15项指标，论文构建了 \*\*MERLIN-Rare\*\* ——将MERLIN测试集按各项指标划分为底部5%（及1%、10%）的罕见实体切片，用于针对性评估模型在结构稀疏实体上的鲁棒性。经验上，不同指标的底部5%实体集合平均重叠率仅37%，证实这些指标识别的是不同的失败案例。 ### 2. 推理增强的迭代检索框架论文提出一个\*\*无需额外训练\*\*的两模块流水线，核心是将具备原生推理能力的视觉语言模型（VLM）与动态外部知识检索结合。 \*\*模型选择\*\*：采用 Qwen3-VL 的 \*\*Thinking\*\*（推理原生，经强化学习训练生成扩展推理轨迹）与 \*\*Instruct\*\*（标准指令微调）变体，覆盖2B/4B/8B参数规模。该设计允许在相同架构下严格隔离“推理能力”与“模型规模”的效应。 \*\*两模块架构\*\*： - \*\*模块一（迭代推理与检索）\*\*：给定文本 T 、图像 I 和提及 m ，模型分析视觉与文本上下文，自主决定搜索查询。系统强制触发\*\*第一次\*\*搜索调用（防止小模型忽略工具），之后由模型自动决定是否继续检索，最多允许20次迭代。每次检索后，模型将返回的维基百科片段纳入推理轨迹，进行候选实体评估与查询优化。 - \*\*模块二（标题提取）\*\*：将完整的推理轨迹重新输入模型，强制其仅输出最终的英文维基百科标题，实现开放式推理与结构化输出的解耦。 ### 3. 跨语言检索策略针对非拉丁文字（如印地语、泰米尔语、日语）与英文维基百科标题之间的转写/翻译鸿沟，论文评估了两种检索方式： - \*\*BM25（词汇检索）\*\*：基于维基百科预处理后数据构建，依赖查询词与文档词条的重叠。其局限在于非拉丁提及必须正确音译为英文才能匹配。 - \*\*Embedding（语义检索）\*\*：使用多语言嵌入模型 \`multilingual-e5-large-instruct\` 构建FAISS索引，通过语义相似度检索标题-描述对，缓解跨语言词汇不匹配问题。实验表明，嵌入检索在罕见实体与非拉丁文字输入上显著优于BM25。 ### 4. 推理与检索的互补机制（核心解法）论文通过受控实验验证了\*\*单独使用推理或检索均不充分\*\*，二者必须协同： - \*\*仅推理（Think, No RAG）\*\*：在罕见实体切片上，推理模型与指令模型相比无显著优势（ p > 0.5 ），说明参数化知识不足时，推理本身无法凭空生成正确链接。 - \*\*仅检索（Instruct + RAG）\*\*：虽能提升罕见实体准确率，但因缺乏对检索结果的甄别能力，会在常见实体上引入噪声，导致整体准确率下降（如8B-Instruct+BM25在完整集上下降 -4.9% ）。指令模型平均发起3.2–5.2次搜索，但搜索间几乎无分析（仅26–30个token的调用开销），查询质量随迭代迅速退化（重复率高达34%）。 - \*\*推理+检索（Think + Embed/BM25）\*\*：推理模型平均仅发起1.0–2.2次\*\*更有针对性\*\*的搜索，且在连续搜索间生成1,400–3,100个token的推理，用于分析结果、优化查询。56–58%的搜索转换属于“精细化查询”（添加上下文消歧），而非盲目重复。该组合在完整集上提升 +3.8% ，在结构稀疏罕见实体上提升高达 +18.8% （如语言版本数切片），增益幅度扩大\*\*5.0倍\*\*。 ### 5. 规模与效率的替代权衡论文进一步证明，检索增强的推理可以\*\*补偿纯参数规模\*\*： - 4B-Think+Embed（83.7%）在完整集上与8B-Instruct（83.5%）持平； - 但在罕见实体切片上，4B推理模型反超8B指令模型 \*\*+5\%–+7\%\*\*。这表明，对于文化长尾实体，增加\*\*推理时计算\*\*（test-time compute）比单纯扩大模型参数量更具成本效益。 ### 6. 错误驱动的后续方向通过错误分析，论文指出即使最佳系统（8B-Think+Embed）的残差错误中，\*\*72%属于检索失败\*\*（正确实体从未被搜索返回），且非拉丁文字的跨语言检索鸿沟仍是主要瓶颈。这明确了未来改进的核心方向：提升跨语言检索的召回率，而非仅优化排序或推理。 Q4: 论文做了哪些实验？论文围绕\*\*多语言多模态实体链接中罕见实体的性能退化与缓解策略\*\*，设计并执行了多组实验。以下是系统梳理： --- ### 1. 数据集与评估基准 - \*\*主数据集\*\*：MERLIN（Ramamoorthy et al., 2025），涵盖 \*\*印地语（Hi）、印尼语（Id）、日语（Ja）、泰米尔语（Ta）、越南语（Vi）\*\* 五种语言。 - \*\*任务设定\*\*：给定文本 passage T 、伴随图像 I 及标记的实体提及 m ，预测其对应的英文维基百科标题，采用\*\*精确匹配准确率\*\*评估。 - \*\*发布的基准\*\*：MERLIN-Rare——基于15项罕见性指标（底部 1%/5%/10%）划分的测试切片，用于针对性评估。 --- ### 2. 实体罕见性分析实验（第4节） \*\*目的\*\*：验证传统流行度指标与知识图谱结构指标识别的罕见实体集合是否不同，以及它们是否暴露不同的模型失败模式。 - \*\*指标选取\*\*：共15项指标，分为两类： - \*\*Wikipedia-based\*\*：90天页面浏览量、反向链接、文章大小、修订次数、独立编辑者数、分类数、外部链接、参考文献数、图片数。 - \*\*Wikidata-based\*\*：入链数、出链数、语言版本数、陈述数、限定词数、实体年龄。 - \*\*切片定义\*\*：对每项指标，将测试集中位于底部 q% （主实验 q=5 ，附录补充 q=1, 10 ）的实体定义为该维度上的罕见实体。 - \*\*集合重叠分析\*\*：计算两两底部-5%集合的 Jaccard 重叠。结果显示\*\*平均重叠仅37%\*\*，跨家族重叠低至10%，证实不同指标捕获的是不同的罕见实体子集。 - \*\*基线退化评估\*\*：评估当前 SOTA（Cultural Pangea，81.1% 平均准确率）在各底部-5%切片上的表现。结果显示，相对于完整测试集，准确率\*\*下降 15.4%–39.9%\*\*；Wikidata 结构稀疏切片（如陈述数、限定词数）的退化程度与页面浏览量切片相当（约37%），但识别出的失败实体 largely distinct。 --- ### 3. 主实验：全因子设计（第6–7节） \*\*目的\*\*：在控制模型规模、推理能力、检索方式的前提下，系统评估各因素对整体及罕见实体准确率的贡献。 #### 3.1 实验配置（共18组）采用 \*\*3（模型规模）× 2（模型变体）× 3（检索条件）\*\* 的全因子设计： - \*\*模型规模\*\*：2B、4B、8B 参数。 - \*\*模型变体\*\*： - \*\*Thinking\*\*：原生推理模型（经 RL 训练，生成扩展推理轨迹）。 - \*\*Instruct\*\*：标准指令微调模型。 - \*\*检索条件\*\*： - \*\*No RAG\*\*：仅依赖参数知识。 - \*\*BM25\*\*：基于词汇的维基百科检索。 - \*\*Embedding\*\*：基于多语言语义嵌入（\`multilingual-e5-large-instruct\` + FAISS）的检索。 #### 3.2 对比基线 - \*\*GEMEL\*\*（Shi et al., 2024）：生成式多模态实体链接。 - \*\*mGENRE\*\*（Cao et al., 2021b）：多语言自回归实体检索。 - \*\*CulturalPangea-7B\*\*（de Dieu Nyandwi et al., 2025）：当前 MERLIN SOTA。 - \*\*CulturalPangea-RAG\*\*：将嵌入检索到的 top-5 结果直接拼接到 Pangea 输入前的增强基线。 #### 3.3 主结果（表2） - 最佳系统 \*\*8B-Think+Embed\*\* 达到 \*\*87.9%\*\* 平均准确率，较 SOTA 提升 \*\*+6.9%\*\*。 - 在各语言上均有提升，印地语与印尼语提升最大（均达 \*\*+10.0%\*\*）。 --- ### 4. 研究问题驱动的子实验（第7节） #### RQ1：优势如何随罕见性变化？ - 在全部15个底部-5%罕见实体切片上评估 8B-Think+Embed 相对 Cultural Pangea 的优势。 - 结果：增益范围为 \*\*+5.5% 至 +23.3%\*\*；在限定词（+23.3%）、陈述数（+22.1%）、Wikidata出链（+21.7%）等结构稀疏切片上增益最大，\*\*均远超完整集上的 +6.9%\*\*。 - \*\*分位数分析\*\*（附录A.8）：按罕见性十分位（decile）绘制准确率曲线，显示 Cultural Pangea 随稀疏度增加单调下降（Spearman rho ≥ 0.92 ），而本文系统退化速度仅约一半。 #### RQ2：增益驱动力——推理、检索，还是二者组合？通过受控对比隔离各因素： - \*\*RAG 效应\*\*：对比 Think+Embed vs. Think（无检索）。在完整集上检索带来 \*\*+3.8%\*\*；在语言版本数切片上增至 \*\*+18.8%\*\*（扩大5.0倍）。 - \*\*推理单独效应\*\*：对比 Think vs. Instruct（均无检索）。在罕见实体切片上差异\*\*不显著\*\*（ p > 0.5 ），表明单独推理无法解决罕见实体问题。 - \*\*非推理模型的检索悖论\*\*：8B-Instruct+BM25 在完整集上因检索噪声导致 \*\*-4.9%\*\* 的负增长，但在罕见实体切片上却带来 \*\*+8.1% 至 +12.6%\*\* 的提升；而 Think+BM25 在两种设定下均稳定为正。 - \*\*行为分析\*\*（附录A.13–A.15）： - Instruct 模型平均发起 3.2–5.2 次搜索，搜索间仅26–30 token（无分析），查询随迭代退化（重复率升至34%）。 - Thinking 模型平均仅 1.0–2.2 次搜索，搜索间生成 1,454–1,534 token 进行推理，56–58% 的查询转换属于“精细化”（添加上下文）。 #### RQ3：小推理模型能否匹敌大模型？ - 比较 \*\*4B-Think+Embed\*\* 与 \*\*8B-Instruct\*\*： - 完整集上两者几乎持平（83.7% vs. 83.5%，差距仅 +0.3%）。 - 但在罕见实体切片上，4B 推理模型反超 \*\*+5%–+7%\*\*。 - 结论：对于罕见实体，\*\*推理时计算（test-time compute）+ 检索\*\* 是比单纯扩大参数规模更有效的策略。 --- ### 5. 错误分析实验（第7.2节及附录A.9–A.10）对 8B-Think+Embed 的 841 个错误进行人工标注与分类： | 错误类别 | 占比 | 说明 | |---|---|---| | Completely Wrong | 51.8% | 检索失败或根本性误判 | | Name Format | 21.4% | 格式差异（如拼写变体） | | Disambiguation | 13.3% | 粒度或消歧问题 | | Wikipedia Variant | 6.5% | 同义或重定向变体 | | Concept Granularity | 5.4% | 概念层级错误 | | Empty/Pipeline Error | 1.5% | 系统故障 | - \*\*罕见 vs. 头部实体错误分布差异\*\*（表6）：罕见实体上“完全错误”和“概念粒度”错误占比更高（56.1% vs. 48.9%；8.7% vs. 3.0%），而“消歧”错误占比更低（9.0% vs. 16.3%），差异具有统计显著性（ chi^2 = 40.84, p = 1.0 × 10^(-7) ）。 - \*\*按书写系统分解\*\*（表7）：非拉丁文字（Hi, Ta, Ja）的检索失败占错误比例更高（76.8% vs. 62.5%），嵌入检索相对于 BM25 的优势在非拉丁与罕见子集上更明显。 - \*\*流水线阶段分解\*\*（表15）：在所有 RAG 配置中，\*\*检索失败\*\*占主导；8B-Think+Embed 的检索失败率为 72.1%，显著低于 BM25 配置（89.5% / 80.9%）。 --- ### 6. 稳健性与补充实验（附录） | 实验 | 内容 | 关键发现 | |---|---|---| | \*\*阈值稳健性\*\*（A.7） | 在 1%、5%、10% 阈值下复现罕见实体切片评估 | 所有阈值下增益均为正，范围 \*\*+8.0% 至 +41.1%\*\*，非 5% 阈值 artifacts。 | | \*\*重定向感知评估\*\*（A.4） | 将预测结果通过维基百科重定向解析后再评估 | 本文优势保持 \*\*+4.9%\*\*（95% CI

+4.01, +5.79
），提升非来自非标准标题变体。 | | **鲁棒性差距**（A.6） | 对比本文系统与 Pangea 从完整集到罕见切片的准确率下降幅度 | 本文系统在 14/15 切片上退化更小，鲁棒性差距最高达 **16.4%**。 | | **跨模型家族验证**（A.16） | 在 GLM-4.6V-Flash 上重复“推理+嵌入检索”实验 | GLM 的 thinking 模式下，检索对 15/15 罕见切片均有提升（11 个显著）；但 non-thinking 模式无法维持检索循环，支持“推理对检索的必要性”。 | | **计算成本分析**（A.14） | 统计 18 个配置的 token 数、耗时、Pareto 前沿 | 8B-Think+Embed 为 Pareto 最优之一；4B-Think+Embed 以一半参数达到相近效果，但消耗约 2.8× 推理 token。 | | **搜索行为量化**（A.13） | 统计搜索次数、搜索间 token 数、首次命中率、累计召回率 | Thinking 模型“少而精”（1–2 次），Instruct“多而泛”（3–5 次）；嵌入检索首次命中率（25–40%）远高于 BM25（6–15%）。 | | **查询内容分析**（A.15） | 分析查询长度、转换模式（精细化/变异/重复/ pivot） | Thinking 模型 56–58% 的查询转换为精细化，Instruct 仅 35–40%，且后期查询严重退化。 | —- ### 7. 局限与伦理声明中的实验相关说明 - **英语维基百科限制**：MERLIN 实体默认存在英文条目，实验结论向无英文覆盖实体的泛化性未知。 - **精确匹配评估**：遵循 MERLIN 标准协议，虽对重定向严格惩罚，但保证了与 prior work 的可比性。 Q5: 有什么可以进一步探索的点？基于论文的发现、局限性与错误分析，以下方向具有进一步探索的价值： ### 1. 跨语言检索机制的增强论文指出，**72%的残差错误源于检索失败**，尤其在非拉丁文字（印地语、泰米尔语、日语）输入中，检索失败占错误比例高达**76.8%**。当源语言提及与英文维基百科标题的音译/转写差异较大时，现有嵌入检索与BM25均难以保证召回。未来工作可探索： - 构建** Mention-to-Title 音译对齐模型**，专门学习源语言到英文实体名称的转写映射； - 引入**多语言实体名称词典**或**跨语言实体链接专用嵌入**，强化低资源语言到英语知识库的桥梁； - 在检索阶段融合**音译候选生成**（transliteration candidates）与语义匹配，以缓解词汇鸿沟。 ### 2. 向无英文覆盖实体的泛化现有实验受限于MERLIN的设定：所有实体均存在英文维基百科条目。对于**英语维基百科缺失条目**的实体（如仅在印尼语或泰米尔语维基中存在，或仅在本地知识库中记录的实体），当前框架的适用性未知。未来可研究： - 将检索范围扩展至**非英语维基百科版本**或**多语言知识图谱**（如Wikidata的多语言标签与描述）； - 设计**无英文锚点的实体链接范式**，直接预测Wikidata QID而非英文标题，以适配更广泛的低资源语言与文化特定实体。 ### 3. 检索与推理的深度融合与效率优化论文采用training-free框架，依赖现成VLM的推理能力。虽然4B推理模型+检索可匹敌8B非推理模型，但推理模型消耗的**推理token数约为非推理模型的2.8–4.5倍**。未来可探索： - **端到端训练或微调**：针对实体链接任务专门训练模型的检索调用策略与证据整合能力，而非依赖通用推理模型的zero-shot行为； - **自适应检索预算**：当前设置硬上限为20次检索，但Thinking模型平均仅使用1.0–2.2次。学习动态终止条件（early stopping）可在保证准确率的同时显著降低推理成本； - **检索结果的显式重排序或验证模块**：在VLM之外引入轻量级验证器，对返回的候选实体进行结构化比对，减少因“概念粒度”或“特定性”导致的消歧错误。 ### 4. 模型家族与推理范式的泛化性验证受控实验主要在Qwen3-VL上进行。虽然GLM-4.6V-Flash的thinking模式也表现出检索增益，但其non-thinking模式**无法维持检索循环**。这提示“推理+检索”的协同效应可能高度依赖于特定模型的工具使用训练。未来需在更多模型家族（如InternVL、LLaVA-NeXT等）上验证： - 推理能力（如链式思考、强化学习训练的原生推理）是否为有效利用检索的**必要条件**； - 不同模型在检索调用频率、查询精细化策略上的行为差异，以及这些差异与最终准确率的关系。 ### 5. 结构稀疏性的针对性数据增强论文发现，Wikidata结构稀疏（低陈述数、限定词数、出链数）与性能退化高度相关。这暗示训练数据的**知识图谱结构覆盖**可能比单纯增加文本量更重要。未来可研究： - 针对结构稀疏实体的**数据增强策略**，如利用知识图谱补全（KG completion）或LLM生成合成描述，丰富罕见实体的训练信号； - 在预训练或微调阶段引入**知识图谱感知的损失函数**，显式利用Wikidata的结构性关系（而非仅将实体视为字符串）以提升对长尾实体的表征。 ### 6. 多模态检索的引入当前框架仅将图像用于VLM的初始上下文理解，**检索模块完全是文本驱动**的（基于实体提及生成文本查询检索维基百科）。然而，视觉信息（如图中船只名称“Diamond Princess”）是消歧的关键线索。未来可探索： - **以图搜图**或**图像-文本联合检索**：利用视觉特征直接检索知识库中的图像或图文配对，为文本提及提供额外的跨模态证据； - 构建**多模态知识索引**（如Wikipedia的多媒体内容），允许模型根据图像内容直接定位相关实体条目，而非仅依赖文本转写。 ### 7. 知识库偏见与文化表征的纠正论文指出，系统继承了维基百科的系统性偏见——非西方实体与视角往往被**欠表征**（underrepresented）。即使检索增强能缓解部分性能差距，它无法修正底层知识库的缺失。未来工作可结合： - **社区驱动的知识库补全**：针对特定文化社群的实体，主动扩展Wikidata陈述与跨语言版本； - **偏见感知评估**：在MERLIN-Rare基础上，进一步引入**文化特异性评分**或**地理多样性指标**，量化模型在不同文化区域上的性能差异，而不仅依赖结构稀疏性指标。 ### 8. 动态罕见性度量与在线适应论文采用静态的、基于测试集分布的罕见性阈值（底部5%）。在实际应用中，实体罕见性是**相对的、动态的**，且随领域变化。可探索： - **在线罕见性检测**：在推理时动态估计实体在模型参数空间中的“熟悉度”，仅在检测到参数知识不足时触发检索，以平衡效率与准确性； - **领域自适应的罕见性定义**：针对不同垂直领域（如历史文献、区域新闻），自定义结构稀疏性与流行度的权重，动态构建领域特定的罕见性切片。 Q6: 总结一下论文的主要内容该论文围绕**多语言多模态实体链接（Multilingual Multimodal Entity Linking）**中**罕见实体（rare entities）**的性能退化问题展开，核心内容可概括如下： ### 1. 研究背景与核心问题 - **任务定义**：将文本中的实体提及（mention）与知识库条目（英文维基百科标题）对齐。在 MERLIN 基准上，输入包含一段多语言文本、一张图像和一个标记的实体提及，要求预测对应的英文维基百科标题。 - **现有局限**： - 当前系统（如 Cultural Pangea）在头部/常见实体上表现良好，但在罕见实体上准确率急剧下降。 - 既有工作对“罕见”的定义过度依赖**流行度代理指标**（如页面浏览量、入链数），忽略了**知识图谱结构稀疏性**（如 Wikidata 的陈述数、限定词数、跨语言版本数、出链数等）。 - 实证表明，基于流行度的底部 5% 实体集合与基于结构稀疏性的底部 5% 实体集合平均重叠率仅 **37%**，两者暴露的是不同的失败模式。在结构稀疏切片上，SOTA 模型的准确率相对下降高达 **15.4%–39.9%**。 ### 2. 主要贡献：多维罕见性表征与评估基准 - 论文提出从**两个维度**刻画实体罕见性： - **Wikipedia-based 指标**：页面浏览量、反向链接、文章大小、修订次数、独立编辑者数、分类数等，反映编辑关注度与文档深度。 - **Wikidata-based 指标**：入链/出链数、语言版本数、陈述数、限定词数、实体年龄等，反映结构连接性与跨语言覆盖度。 - 基于上述 15 项指标，构建了 **MERLIN-Rare**：针对 MERLIN 测试集按不同指标切分的罕见实体测试子集，用于系统性评估模型在长尾实体上的鲁棒性。 ### 3. 提出的方法：推理增强的迭代检索框架 - 论文提出一个**无需额外训练**的两模块流水线，将具备原生推理能力的视觉语言模型（VLM）与动态外部知识检索结合： - **模块一（迭代推理与检索）**：给定文本 T 、图像 I 和提及 m ，模型分析多模态上下文，迭代调用维基百科检索工具（最多 20 次），将检索片段纳入推理轨迹，逐步消歧。系统强制触发第一次搜索，后续由模型自主决定是否继续。 - **模块二（标题提取）**：将完整推理轨迹重新输入模型，要求其仅输出最终的英文维基百科标题，实现推理过程与结构化输出的解耦。 - **模型与检索策略**： - 使用 Qwen3-VL 的 **Thinking**（推理原生，经 RL 训练）与 **Instruct**（标准指令微调）变体，在 2B/4B/8B 规模上进行受控对比。 - 评估两种检索方式：**BM25**（词汇匹配）与 **Embedding**（基于 `multilingual-e5-large-instruct` 的语义检索），后者更有效地桥接非拉丁文字（如印地语、泰米尔语、日语）与英文维基百科标题之间的跨语言鸿沟。 ### 4. 关键实验发现 - **主实验结果（全因子设计）**： - 最佳系统 **8B-Think+Embed** 在 MERLIN 完整测试集上达到 **87.9%** 平均准确率，较 SOTA（Cultural Pangea，81.1%）提升 **+6.9%**；在印地语和印尼语上提升达 **+10.0%**。 - 在罕见实体切片上，优势进一步扩大：限定词切片提升 **+23.3%**，陈述数切片 **+22.1%**，Wikidata 出链切片 **+21.7%**。 - **推理与检索的互补性（核心发现）**： - **仅推理**（Think, No RAG）：在罕见实体切片上，推理模型与指令模型相比**无显著差异**（ p > 0.5 ），说明参数知识不足时，单纯推理无法凭空产生正确链接。 - **仅检索**（Instruct + RAG）：虽能提升罕见实体准确率，但因缺乏对检索结果的甄别能力，会在常见实体上引入噪声，导致整体准确率下降（如 8B-Instruct+BM25 在完整集上下降 -4.9% ）。 - **推理 + 检索**：两者结合表现最优。推理模型平均发起 **1.0–2.2 次**针对性搜索（Instruct 为 3.2–5.2 次），搜索间生成大量推理 token 分析结果，56–58% 的查询转换为精细化（添加上下文）。该组合在结构稀疏罕见实体上的检索增益较完整集放大 **5.0 倍**。 - **规模与效率的替代**： - **4B-Think+Embed**（83.7%）在完整集上与 **8B-Instruct**（83.5%）持平，但在罕见实体切片上反超 **+5%–+7%**，表明对文化长尾实体，推理时计算 + 检索是比单纯扩大参数规模更有效的策略。 ### 5. 错误分析与瓶颈识别 - 对 8B-Think+Embed 的 841 个错误进行人工标注，发现： - **72.1%** 的错误属于**检索失败**（正确实体从未被搜索返回）； - **23.5%** 的错误属于**选择失败**（模型在推理中接触到正确实体但最终拒绝）； - 非拉丁文字输入的检索失败占比更高（76.8%），跨语言检索仍是主要瓶颈。 ### 6. 结论论文表明，**不流行不等于结构稀疏**，知识图谱结构稀疏性是比页面浏览量更能暴露文化特定实体链接失败信号。所提出的 training-free 框架通过将**推理能力**与**迭代检索**结合，在不增加模型参数的前提下，显著提升了多语言多模态实体链接在整体及罕见实体上的性能。论文发布 MERLIN-Rare 基准、代码与数据，为后续研究提供了针对文化长尾的系统性评估工具。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Parinthapat Pengpun, Simran Khanuja, Graham Neubig

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10745.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10745

Published: 2026-09-14T01:37:55.919Z

5. Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu

Abstract:Multilingual large language models (LLMs) are increasingly used for open-ended text generation, yet their behaviour in low-resource languages remains poorly understood. In this work, we question how correct and reliable is the generation of multilingual LLMs when used for the task of story generation. We consider Urdu language as a representative low-resource language. We generate Urdu-Stories, a corpus of 93 stories generated using three contemporary LLMs (GPT-5.1, Qwen-3-Max, DeepSeek-3.1). We manually annotate the errors present in them under a nine-label linguistic, semantic, and cultural taxonomy. Our notable findings suggest that LLMs often make basic errors of grammar and semantics. The stories lack coherence, have unnatural repetition and show pervasive cultural shallowness. We further show using few-shot prompting that the cultural and context errors largely remain unresolved. Our findings highlight the limitations of current LLMs as a reliable source of content generation and information retrieval for low-resource languages.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10758 (HTTP 429)

Authors: Farah Adeeba, Abdul Rafae Khan, Rajesh Bhatt, Hassan Sajjad

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10758.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10758

Published: 2026-09-14T01:37:55.919Z

6. Analyzing Traditional and Neural Approaches to Multilingual Readability Assessment

Abstract:Transformer-based models excel at Automatic Readability Assessment (ARA), yet feature-based models remain in active use because their predictions tie back to linguistic properties. This matters because readability labels are subjective and rater-dependent, so high accuracy on noisy ground truth may reflect surface patterns rather than the linguistic structure that defines difficulty. We test whether transformers internalize the same features as traditional models across Arabic, English, French, Hindi, and Russian using the ReadMe++ dataset. Shapley Additive Explanations (SHAP) identify the features driving traditional classifiers, which we then use as TCAV concept sets to probe multilingual XLM-R and language-specific encoders. Transformers recover surface-length, syntactic, and lexical-diversity signals, and reflect the ordinal CEFR structure of the traditional models. Alignment varies by model family, language, and layer, with language-specific encoders tracking traditional models more clearly than XLM-R. High linear separability does not always imply directional influence, limiting linear probing for count-based readability features.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10792 (HTTP 429)

Authors: Joshua Wong, Chris Tanner

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10792.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10792

Published: 2026-09-14T01:37:55.919Z

7. Larger Context Window, Fewer Overcorrections: Optimizing Prompts and Batching for Minimal-Edit Grammatical Error Correction

Abstract:Minimal-edit Grammatical Error Correction (GEC) is a challenging task for zero- and few-shot prompted Large Language Models (LLMs), which systematically overcorrect and degrade $F{0.5}$ by rewriting well-formed spans. While fine-tuning provides an effective solution, it imposes substantial infrastructure demands. We introduce a prompt-based approach that closes the gap to fine-tuned models through three advances in GEC prompting methodology. First, we introduce taxonomy-based instructions to enforce minimal-edit constraints with a comprehensive list of grammatical error rules, equipping the LLM with a bounded, metric-aligned scope of correctable edits, which benefits the strongest models while remaining model-dependent overall. Second, we show that batching multiple uncorrected sentences into a single input context acts as a targeted regularizer against overcorrection, systematically reducing the edit rate across diverse LLM families; we hypothesize this arises from attention dilution effect induced by the bounded capacity of self-attention scores. Finally, LLM-assisted Prompt Optimization refines these instructions. Powered by Gemini 3.1-Pro, our prompt achieves $F{0.5}=78.32$ on the BEA-2019 test set - establishing a new prompt-based SOTA while shrinking the gap to the fine-tuned single-model SOTA (Staruch et al., 2025) to a mere $0.38$ points. Code, prompts, and outputs are publicly available.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10810 (HTTP 429)

Authors: Kateryna Karpo, Artem Chernodub

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10810.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10810

Published: 2026-09-14T01:37:55.919Z

8. Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models

Abstract:When a language model finds a sentence unusually cheap to predict, it is tempting to conclude that the sentence was in its training data. Almost every published test of that inference has had to guess which sentences were in the training data, the members, and which were not. This paper removes the guessing. Two model families, OLMo-2 and Pythia, publish their pretraining corpora, and a public index over those corpora returns the exact number of times any sentence appeared in each. Those counts make three questions answerable directly. The answers form a pincer, closing from two sides. At the duplication levels ordinary text actually has, five models from 1B to 13B parameters carry at most a faint trace of their own exposure. We measure that trace with a design that reads the same sentence through two models, which cancels fluency and quality by construction, and it comes to a rank correlation near -0.08, where -1 would be a perfect relation and 0 none. Where the trace does become strong, above roughly a thousand copies, the two corpora agree on which sentences those are, because they are the famous ones, so exposure can no longer be told apart from fame. Two further measurements show how apparent membership signal gets manufactured. A common way to build a non-member is to change one word of a member. The model does prefer the original, but the gap is the same whether the original appeared once or a hundred times, so what the model is rewarding is the author’s word choice, not memory. Above a thousand copies the gap grows with model size on the twelve sentences we can test there, at the same boundary where the pincer closes. And swapping the controls for sentences that differ from the members in register moves a detector from 0.83 to 0.94 AUC, on a scale where 0.5 is a coin flip and 1.0 is perfect separation. We release the sentence banks, counts, and code.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10830 (HTTP 429)

Authors: Arman Nik Khah

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10830.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10830

Published: 2026-09-14T01:37:55.919Z

9. Does Linguistic Structure Enrichment Enhance Coherence Assessment? Not With Current Architectures

Abstract:Recent advances in large language models have transformed human-computer interaction. Despite their fluency, these models often produce texts that are grammatically correct but semantically incoherent, containing contradictions or disruptions in logical flow. This work investigates whether enriching text with syntactic and rhetorical information can improve incoherence prediction. Our experiments and analysis show that plain texts achieved higher accuracy because the added information was structurally and syntactically incompatible with the language model’s architecture. Additionally, to demonstrate the practical importance of coherence assessment, we performed zero-shot experiments on a Brazilian disinformation dataset, suggesting that textual coherence can serve as a proxy for detecting misleading content. Code and models are available at this https URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10893 (HTTP 429)

Authors: Victor Mazzotti, Luiz Pereira, Marina Bitencourt dos Santos, Helena Maia, Carlos Caetano, Nádia Felix, Sandra Avila

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10893.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10893

Published: 2026-09-14T01:37:55.919Z

10. LLM-Anchored Paralinguistic Enrichment for Alzheimer’s Disease Detection

Abstract:Speech-based automatic detection of Alzheimer’s disease (AD) provides a non-invasive and scalable approach to early cognitive screening. AD affects both lexical-semantic organization and speech production, including atypical pauses and word elongations. However, existing methods have yet to fully integrate these paralinguistic cues with linguistic content. We propose LLM-Anchored Paralinguistic Enrichment (LAPE), which enriches LLM-derived linguistic representations with paralinguistic cues through three coordinated innovations. The first is prosodic event textualization, which enables the LLM to model pauses and elongations jointly with lexical content by encoding them as explicit markers with bounded duration-aware repetition. The second is lexico-prosodic unitization and chunking, which preserves event identity and magnitude in both modalities by pooling only consecutive word units. The third is text-anchored paralinguistic fusion, which integrates local and utterance-level speech features by using NormGate to normalize and dynamically scale them relative to text. We evaluate LAPE on ADReSS and ADReSSo using participant-level cross-validation and leave-one-subject-out evaluation. LAPE achieves state-of-the-art performance across all four primary settings. Code will be released upon acceptance.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10896 (HTTP 429)

Authors: Xiao Wei, Yuqin Lin, Yaru Cao, Jinyu Li, Bin Wen, Kai Li, Yueying Chen, Longbiao Wang, Jianwu Dang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.10896.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10896

Published: 2026-09-14T01:37:55.919Z

Agent Domain Papers

1. Probabilistic Focal Search: Accelerating Bounded-Suboptimal Search via Lower-Bound Advancement

Abstract:Bounded-suboptimal search seeks a solution within a factor $w$ of optimal while reducing search effort. Focal Search (FS) uses heuristic guidance within FOCAL, the frontier nodes eligible under the threshold $w f{\min}$, but its deterministic policy may leave $f{\min}$ unchanged for many expansions. We introduce Probabilistic Focal Search (PFS), which follows the FS guided choice with probability $p$ and expands a minimum-$f$ OPEN node with probability $1-p$. The latter branch encourages the lower bound to advance, enlarging FOCAL and admitting nodes that may lead to feasible solutions. By balancing guidance and lower-bound advancement, this mechanism can reduce time to a bounded solution when progress is limited by delayed FOCAL admission. As a secondary transfer experiment, we apply the same scheduler to Dynamic Potential Search, yielding Probabilistic Dynamic Potential Search (PDPS). We benchmark PFS against FS on N-Puzzle, Pancake Sorting, and the Traveling Salesperson Problem (TSP), and evaluate its anytime extension on the Generalized Covering TSP (GCTSP), using multiple $w$ and $p$ values. Across these benchmarks, the largest gains occur when long $f_{\min}$ plateaus delay useful FOCAL admissions; in such settings, the probabilistic factor may reduce node expansions by about 90\% or more (e.g., on N-Puzzle and TSP). For the anytime algorithm family, Anytime Probabilistic Focal Search (APFS) outperforms all tested algorithms in evaluating anytime methods on GCTSP. We also observe that the benefit is smaller when the deterministic search already advances efficiently (e.g., Pancake Sorting), indicating that the probabilistic factor is most useful when FOCAL admission is a search bottleneck. The PDPS transfer shows that the mechanism also transfers to potential guidance, although its common-success effects remain domain- and bound-dependent.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10584 (HTTP 429)

Authors: Minh Vu Duc, Trung Le Huu, Hà Minh Hoàng, Trung Thanh Nguyen, Phuong Khanh Nguyen, Huynh Thi Thanh Binh

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10584.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10584

Published: 2026-09-14T01:38:47.355Z

2. Automating Quadratic Unconstrained Binary Optimization (QUBO) Formulation Generation from Natural Language

Abstract:Quadratic Unconstrained Binary Optimization (QUBO) is a central formulation for combinatorial optimization and has gained increasing attention due to its compatibility with quantum, hybrid quantum-classical, and quantum-inspired solvers. However, translating natural-language problem descriptions into correct QUBO formulations remains difficult, requiring the identification of binary variables, constraints, objective functions, penalty terms, and suitable penalty weights. This process is time-consuming and often demands substantial domain expertise. To address this challenge, we propose an end-to-end multi-agent framework that automatically generates QUBO formulations from natural-language problem descriptions, supported by structured or unstructured test cases. To evaluate its performance, We also introduce QUBOBench, a benchmark containing 100 combinatorial optimization problems across 12 application domains, curated from peer-reviewed literature, competitions, and canonical NP-hard problems. Experimental results show that our framework achieves 68% accuracy on QUBOBench, outperforming a direct single-call baseline by 22%. Further analysis identifies iterative self-repair as the most important component contributing to improved performance. The data and code are open-sourced at this https URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10629 (HTTP 429)

Authors: Niloy Kumar Mondal, Md Rizwan Parvez

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10629.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10629

Published: 2026-09-14T01:38:47.355Z

3. A Multi-Stage Rule-Chaining Framework for Compositional and Interpretable Cognitive Reasoning

Abstract:The Abstraction and Reasoning Corpus (ARC) benchmarks cognitive generalization, the ability to infer and apply abstract rules from limited examples. This paper presents a multi-stage rule-chaining framework that performs compositional reasoning across symbolic, structural, and conceptual levels. The framework integrates three complementary solvers: (1) a deterministic rule discovery module that induces atomic transformations through geometric, color, and object-based analysis; (2) a pattern-composition engine that reconstructs outputs via block merging, repetition, and spatial heuristics; and (3) a structural abstraction layer that infers hierarchical and nested relationships across grids. These solvers operate sequentially within a progressive fallback hierarchy, where each stage reuses prior reasoning traces to enhance interpretability and generalization. Training passed for 995 tasks out of 1000, further evaluated on 105 tasks out of 120 and solved 230 test tasks out of 240 ARC-AGI-2 tasks. The system achieved strong coverage across deterministic, compositional, and abstract categories, demonstrating an overall accuracy exceeding 95 percent. The proposed architecture bridges symbolic reasoning and pattern synthesis, providing interpretable insight into cognitive generalization. The results suggest that rule chaining and hierarchical composition can advance machine reasoning toward transparent, human-aligned abstraction without relying on task-specific tuning.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10654 (HTTP 429)

Authors: Deblina Kar

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10654.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10654

Published: 2026-09-14T01:38:47.355Z

4. Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

Abstract:Selecting LoRA rank for diffusion fine-tuning requires balancing quality and compute cost. We present a controlled study on CIFAR-10 using a DDPM U-Net with ranks {2,4,8,16,32}, fixed optimization settings, and a reproducible local-folder pytorch-fid protocol. We report FID, trainable parameters, runtime, and GPU memory, then validate trends with extended-budget DDPM runs (20 epochs; ranks 4/8/16) and a Tiny DiT backbone (10 epochs; ranks 4/8/16). Results show moderate ranks are most efficient: rank 4 achieves the best DDPM FID (124.1380), rank 8 is close (124.2136), and higher ranks provide limited gains despite larger adaptation cost. These findings support small-to-moderate ranks as practical defaults under fixed training budgets.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10656 (HTTP 429)

Authors: Iman Khazrak, Narges Nejad, Mostafa M. Rezaee, Robert C. Green II

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10656.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10656

Published: 2026-09-14T01:38:47.355Z

5. Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking

Abstract:Neural networks trained past memorization frequently undergo a delayed transition to generalization, a phenomenon known as grokking. Despite theoretical progress on \emph{why} this transition occurs, the quantitative structure of \emph{when} it occurs in hyperparameter space remains uncharacterized. We map the memorization-to-generalization boundary across 384 configurations of two-hidden-layer MLPs on modular arithmetic, fitting a power-law scaling relation for generalization onset time: $T_{\mathrm{grok}} \propto H^{-0.27}\, D^{-2.04}\, \eta^{-0.50}\, \lambda^{-0.64}$ ($R^2 = 0.732$; $0.821$ with interactions). The exponent hierarchy reveals that data complexity ($D^{-2.04}$) is the dominant driver of regime transition, not model capacity ($H^{-0.27}$): doubling data accelerates generalization by ${\sim}4\times$, while doubling width yields only ${\sim}1.2\times$. A sharp phase boundary at weight decay $\lambda \gtrsim 1.0$ separates grokking from non-grokking configurations, and weight norm trajectories show monotonic compression during the transition, consistent with implicit regularization selecting low-complexity solutions. These results provide a quantitative foundation for predicting and controlling regime transitions in overparameterized networks.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10657 (HTTP 429)

Authors: Anish Kataria

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10657.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10657

Published: 2026-09-14T01:38:47.355Z

6. An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics

Abstract:We study how model post-training and test-time inference design affect natural-language proof generation for hard olympiad mathematics. Starting from Nemotron 3 Ultra, we train two specialist checkpoints using supervised fine-tuning and reinforcement learning, and evaluate checkpoint choice, verification, and refinement. Based on these findings, we present an open-model test-time-compute pipeline. The system operates entirely in natural language, with no formal prover, external tools, or internet access. Three Nemotron 3 Ultra checkpoints - the general-availability model and two post-trained specialists - power an iterative search that generates, verifies, and refines candidate proofs; a separate high-compute stage then selects each final submission. The system scored 30 out of 42 points at IMO 2026, reaching the gold-medal threshold. We release the two post-trained checkpoints as well as the training data, the training and inference code, the submitted solutions, and Nemotron-IMO-Bench, a new benchmark of 200 novel olympiad-level problems.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文致力于解决\*\*如何通过后训练（post-training）与测试时计算（test-time compute）设计，使大语言模型在自然语言形式下生成严格数学证明，从而在国际数学奥林匹克（IMO）级别竞赛中达到金牌水平\*\*的问题。具体而言，论文围绕以下核心子问题展开： - \*\*专项能力构建\*\*：如何基于通用基础模型（Nemotron 3 Ultra）训练出专门用于证明生成、验证、评分与精炼的模型，以处理高难度的奥林匹克数学问题。 - \*\*迭代生成-验证-精炼（generate-verify-refine）\*\*：如何设计高效的搜索流程，使模型能够提出候选证明、由验证器评判正确性并给出自然语言反馈、再基于反馈迭代改进，最终在没有形式化证明器、外部工具或网络访问的条件下输出可靠解答。 - \*\*多模型协同与计算分配\*\*：如何利用多个经不同后训练（监督微调与强化学习）得到的专家模型，在生成、验证与最终选择阶段合理分配测试时计算资源，以最大化解题覆盖率与正确率。 - \*\*开放与可复现\*\*：如何在达到竞赛金牌阈值（IMO 2026 得分 30/42，金牌线 29 分）的同时，完整开源模型权重、训练数据、推理代码与评估基准（Nemotron-IMO-Bench），为后续研究提供可复现的参考系统。简言之，该工作旨在提供一条\*\*开放的、完全基于自然语言的 IMO 金牌级数学推理系统\*\*的工程化路径，并系统性地评估模型选择、验证机制与多模型集成等关键设计决策对最终性能的影响。 Q2: 有哪些相关研究？根据论文第3节，相关工作可分为以下四个主要方向： ### 1. 神经符号与形式化方法（Neuro-symbolic and formal methods）该方向将神经网络与符号推理或形式化验证相结合，是早期AI冲击IMO的主要路径。 - \*\*AlphaGeometry\*\*（Trinh et al., 2024）：利用神经语言模型引导符号引擎完成几何证明。 - \*\*AlphaProof 与 AlphaGeometry 2\*\*（Hubert et al., 2026）：在IMO 2024中联合取得接近人类金牌线的成绩（差1分）。 - \*\*基于Lean的神经定理证明器\*\*：包括 \*\*DeepSeek-Prover\*\*（Ren et al., 2025）、\*\*GoedelProver\*\*（Lin et al., 2025）与 \*\*SeedProver\*\*（Chen et al., 2025），持续推动形式化证明在 miniF2F、PutnamBench 等基准上的开源前沿（Zheng et al., 2022; Tsoukalas et al., 2024）。 - 此类系统的可扩展性高度依赖Lean等形式化工具提供的可靠符号验证，用于生成大规模训练语料并搜索高分支率的证明空间。 ### 2. 自然语言证明突破（Natural-language breakthroughs for proofs） 2025年标志着纯自然语言系统首次在IMO达到金牌水平，证明了端到端自然语言推理的可行性。 - \*\*Gemini Deep Think\*\*（Luong & Lockhart, 2025）与 \*\*OpenAI实验模型\*\*（OpenAI, 2025）：在IMO 2025中各自解决了五道题目并获得满分，展示了前沿大语言模型的证明生成能力。 - 这些结果同时凸显了\*\*验证与最终方案选择\*\*的重要性（Mahdavi et al., 2025; Guo et al., 2025），即生成正确证明只是系统的一部分，如何判别并挑选出正确提交同样关键。 ### 3. 反馈驱动的精炼循环与数学智能体（Feedback-driven refinement loops and math agents）该方向关注模型如何通过自我或外部反馈迭代改进输出，而不仅限于一次性生成。 - \*\*Huang & Yang (2025)\*\*：证明了一个模型无关的“验证-精炼”流水线，基于当时公开可用的模型即可达到IMO金牌水平。 - \*\*Self-Refine\*\*（Madaan et al., 2023）与 \*\*RLEF\*\*（Gehring et al., 2025）：在代码执行领域展示了类似的迭代自我反馈与强化学习框架。 - \*\*Nomos\*\*（Jin et al., 2025）：在Putnam 2025中取得顶尖成绩，采用后训练模型配合并行生成、评分与整合的推理架构，但不依赖基于反馈的迭代精炼。 ### 4. 证明搜索系统与测试时计算扩展（Proof-search systems and test-time scaling）该方向研究如何在测试阶段通过增加计算资源（如多次采样、验证与搜索）提升推理性能。 - \*\*DeepSeekMath-V2\*\*（Shao et al., 2025）：分别训练生成器、验证器与元验证器模型，并在高计算量的搜索设置中按比例扩展验证计算。 - \*\*Aletheia\*\*（Feng et al., 2026）：以Gemini Deep Think为基座的数学研究智能体，采用显式的生成器（Generator）、验证器（Verifier）、修订器（Reviser）子智能体进行迭代，将前沿从奥林匹克竞赛推向研究级数学。 - \*\*Nemotron-Cascade 2\*\*（Yang et al., 2026）：通过级联后训练与蒸馏，证明紧凑型模型也能在证明生成领域接近大型前沿开放模型的能力。 Q3: 论文如何解决这个问题？论文通过\*\*模型后训练\*\*与\*\*测试时推理架构\*\*的协同设计，构建了一套完全基于自然语言的 IMO 金牌级数学证明系统。其解决方案可从以下层面展开： --- ### 1. 基础模型与后训练专家化系统以 \*\*Nemotron-3-Ultra-550B-A55B\*\* 为基座，保留了通用可用版本（GA）不变，并衍生出两个专项后训练模型： - \*\*监督微调模型（Nemotron-3-Ultra-SFT）\*\*：在最长 425,984 token 的上下文窗口下，使用 414,890 条高质量合成数据微调。数据覆盖证明生成、验证、精炼与元验证四种轨迹，旨在教授模型构建证明、诊断逻辑漏洞、修正错误路径并评估证明有效性。 - \*\*强化学习模型（Nemotron-3-Ultra-RL）\*\*：从相同基座出发，采用异步 RL 框架（类似 PipeLineRL），在 9,597 道难题上优化证明生成能力，使用 DeepSeekMath-V2 风格的奖励设计，并通过动态采样与截断重要性采样稳定训练。 --- ### 2. 两阶段测试时推理架构整个推理流程分为\*\*搜索阶段\*\*与\*\*最终选择阶段\*\*，均以高计算预算运行： #### 阶段一：高计算迭代搜索（Generate–Verify–Refine）对每道题目独立运行最多 8 轮迭代： - \*\*生成（Generate）\*\*：第 1 轮由三个 checkpoint（GA、SFT、RL）各自在 8 种互补的生成提示下采样，共产生 384 份初始候选证明。多种提示策略（如引理优先、路线比较、反例防护、不变量/极值法等）旨在解耦采样相关性并覆盖 diverse 解题路径。 - \*\*验证（Verify）\*\*：使用 RL 与 SFT 两个验证器，对每个候选证明各产生 8 条独立判断（共 16 条）。验证器采用无参考（reference-free）评分：1 分（完全正确）、0.5 分（大体正确但有minor遗漏）、0 分（存在致命错误）。仅当全部 16 条有效判断均为 1 分时，该证明才被\*\*内部接受（accepted）\*\*，触发该生成器的提前停止。 - \*\*精炼（Refine）\*\*：若未找到被接受的证明，系统从全局证明池中选取最多 16 个高排名候选，构造包含最多 8 条验证器批评的精炼提示，并交由全部三个生成器各采样 4 次，每轮产生 192 份精炼尝试。精炼后的证明重新进入验证流程与证明池。 #### 阶段二：高计算最终选择搜索结束后，系统可能持有最多 3 名决赛选手（每个生成器一名被接受证明，或无人被接受时的最高排名证明）。为确定最终提交： - 三名 checkpoint 以\*\*无参考 IMO 风格评委提示\*\*对每名决赛选手各产生 16 次独立评分，共 48 次判断。 - 评分采用 0–7 的整数制，依据证明实际建立的里程碑（milestones）进行判定，模仿官方 IMO 评卷逻辑。 - 最终按 48 次评分的均值排名，平局时优先选择更短的证明文本。 --- ### 3. 多模型角色分配与互补性三个 checkpoint 在流程中承担不同角色，形成能力互补： - \*\*生成端\*\*：GA、RL、SFT 同时参与，因为实验表明不同 checkpoint 能解决彼此无法独立解决的问题（ doubling 单一模型的采样数收益甚微）。 - \*\*验证端\*\*：仅使用 RL 与 SFT（两者选择性更高），排除较为宽松的 GA，以降低误接受率。 - \*\*最终评判端\*\*：三者共同作为 IMO 风格评委，利用多样性提升最终排名的可靠性。 --- ### 4. 验证器机制与精度控制搜索阶段的核心目标是\*\*避免过早终止于错误证明\*\*。因此验证器设计极度偏向\*\*精度（precision）\*\*而非召回： - \*\*全票通过制（unanimity）\*\*：16/16 张票均为 1 分才接受。 - 实验表明，SFT 单独验证的误接受率约为 4.5%，加入 RL 的否决后降至 1.1%；而引入 GA 无法进一步降低误接受率，反而增加误拒。 - 这种高门槛确保了进入决赛圈的证明具有极高的内部一致性，而误拒仅会延迟搜索，不会导致不可逆的提交错误。 --- ### 5. 完全自然语言的约束与依赖 Lean 等形式化证明器的系统不同，该方案严格限定于\*\*自然语言\*\*： - 无形式化证明器、无外部计算工具、无网络访问。 - 输入为赛会提供的 LaTeX 题目陈述，输出为自然语言解答文本，直接符合 IMO 提交格式。 - 验证与评分同样通过自然语言推理完成，而非依赖编译器或符号引擎的布尔判定。 --- ### 6. 开源与资源透明为确保可复现性与未来可扩展性，论文完整开源了系统全部关键组件： - 两个后训练模型权重（SFT 与 RL）。 - 训练数据（SFT 语料与 RL 问题集）。 - 训练与推理代码（NeMo-Skills、NeMo-RL）。 - IMO 2026 官方提交的全部解答。 - 新的评估基准 \*\*Nemotron-IMO-Bench\*\*（200 道全新奥林匹克难度题目）及 30 题开发集。 - 竞赛运行的详细资源账目：最终提交在约 7.07 亿生成 token 与 1,464 GB200 GPU 小时内完成；完整搜索消耗约 23.1 亿 token 与 4,800 GPU 小时。 --- 通过上述设计，该系统在 IMO 2026 上以 \*\*30/42 分\*\*达到金牌阈值（29 分），并在赛后持续搜索中于 Problem 6 发现了一道经独立人工评卷获 4/7 分的非官方解答。 Q4: 论文做了哪些实验？论文通过系统性消融实验评估了系统设计中的关键决策，所有实验均在自建的 30 题开发集（含 20 题 Nemotron-IMO-Bench 新题与 10 题近期竞赛题）上进行。主要实验内容如下： --- ### 1. 单检查点管道性能（Section 7.1）为比较各后训练检查点在完整生成-验证-精炼流程中的端到端表现，论文独立运行了 \*\*Nemotron-3-Ultra-GA\*\*、\*\*Nemotron-3-Ultra-RL\*\* 与 \*\*Nemotron-3-Ultra-SFT\*\* 三种单检查点基线。每个检查点同时承担生成、验证与精炼职能，采用 128 份首轮候选、64 次验证判断与多轮精炼的固定预算。实验追踪了每轮搜索后被内部接受的证明数量，以及经独立模型评审团（GPT-5.5、Gemini 3.1 Pro、Claude Opus 4.8）按 IMO 0–7 分制评分后的累积得分。结果表明，两个后训练检查点均显著优于基座 GA 模型，其中 SFT 在首轮接受率上领先，而 RL 在八轮后的最终总分上最优（见 Table 2）。 --- ### 2. 检查点验证性能与面板规则（Section 7.2）为验证搜索阶段采用 \*\*RL + SFT 双模型全票通过（16/16）\*\* 规则的合理性，论文在 300 份证明的审计集上（含 25 份被接受证明与 275 份分层采样的未接受证明）系统测量了不同验证规则的操作点： - \*\*单检查点规则\*\*：分别测试 GA、RL、SFT 以 8/8 全票通过时的误接受率（false accept）与误拒绝率（false reject）。结果显示三者主要在选择性上存在差异：GA 过于宽松（误接受 31.6%），SFT 最严格（误接受 4.5%），RL 居中（误接受 12.4%）。 - \*\*混合面板规则\*\*：测试了 GA+SFT（16/16）、RL+SFT（16/16，即提交系统配置）与 GA+RL+SFT（24/24）三种全票通过面板。RL+SFT 将误接受率降至 1.1%，显著优于单模型，且加入 GA 几乎无法进一步降低误接受率，反而增加误拒。 - \*\*放松阈值\*\*：测试 14/16 与 12/16 的多数通过规则，发现误接受率分别跃升至 17.0% 与 25.4%，表明放松 unanimity 门槛会显著损害精度。该实验确立了搜索阶段验证器应选用高选择性的 RL 与 SFT，并坚持全票通过机制，以避免过早终止于错误证明（见 Table 3）。 --- ### 3. 完整集成管道与首轮预算分配（Section 7.3）论文在开发集上复现了提交的多模型集成管道，并将其与单检查点结果对比。集成系统在三轮内即达到最终接受分数，且八轮后总分（含未接受问题的 fallback 评分）领先最优单检查点 RL 达 8 分。为隔离“增加单模型采样数”与“引入多模型多样性”之间的效益，论文进行了\*\*首轮生成预算分配实验\*\*（Table 4）。在固定 RL 验证器评分的条件下，对比了以下配置： - 将 RL 采样从 128 倍增至 256； - 将部分预算替换为 64 或 128 次 SFT 采样； - 引入 GA 采样。实验表明，单纯加倍 RL 采样仅多解决 1 道题；而将同等 token 预算分配给 64 次 SFT 尝试则显著更优，因为 SFT 能解决 RL 未覆盖的问题（128 RL + 128 SFT 的 18 道被接受证明中，5 道仅来自 SFT）。GA 在首轮未能带来额外接受问题，但仍被保留用于后续轮次以增加精炼多样性。 --- ### 4. 未改进最终系统的替代方案（Section 7.4 & Appendix A）论文还探索了若干未纳入最终提交的替代设计，以证明其保留策略的合理性： - \*\*交叉证明上下文（Cross-proof context）\*\*：在精炼阶段引入问题级全局上下文，汇总此前所有尝试的经验教训。结果显示该方法虽加速早期搜索，但最终接受数（42 题）低于基线（44 题）。 - \*\*零优先排名（Zero-first ranking）\*\*：改变候选排名规则，优先选择获得 0 分判断更少的证明（而非单纯按均值排名）。该变体同样改善了早期进度，但最终与基线持平。 - \*\*多证明综合精炼（Refinement from diverse proofs）\*\*：同时选取 4 份低文本重叠的候选证明，要求模型综合其有效部分生成新解。该策略改变了哪些题目最终被解决，但总覆盖率与单父代精炼相同（22/47），未提升聚合性能。 - \*\*分诊路由（Triage-based refinement routing）\*\*：为降低验证成本，先用 3 次初步判断筛选候选，仅前 32 名进入精炼。回放分析表明，该策略在 44% 的案例中丢弃了基线管道最终成功接受的正确证明的“祖先”候选，因此未被采用。这些消融实验共同说明，更复杂的路由、排名与上下文策略虽可能改变搜索动态，但未能提升最终覆盖率，而激进过滤反而有丢弃正确证明谱系的风险。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与系统设计取舍，以下几个方向值得进一步探索： --- ### 1. 验证器盲 spot 的识别与消除论文指出，在 IMO 2026 的 Problem 3 与 Problem 6 上，内部验证器与独立模型评审团均一致地高估了证明质量（内部预估约 32 分，官方实际仅 30 分），反映出验证器存在\*\*共享盲 spot\*\*（shared blind spot）。未来工作可探索： - \*\*异构验证器集成\*\*：引入架构或训练范式差异更大的验证模型（如基于形式化背景或不同基础模型家族），打破自然语言验证中的系统性偏差。 - \*\*对抗性验证训练\*\*：在验证器的后训练阶段显式注入针对常见盲 spot 的对抗样本（如对称性误用、隐藏量词疏漏），提升其对边界错误的敏感度。 - \*\*元验证机制的外推\*\*：当前元验证（meta-verification）仅用于 SFT 数据合成，未在测试时推理中部署。将其纳入搜索流程，对验证器判断进行二次审视，可能降低一致性误判风险。 --- ### 2. 自然语言推理与形式化验证的混合架构该系统严格限定于自然语言，不使用 Lean 等形式化工具。虽然这保证了开放性，但也放弃了形式化系统提供的\*\*硬性正确性保证\*\*。未来可研究： - \*\*自然语言生成 + 形式化回填\*\*：让模型以自然语言进行高层证明构造与搜索，随后对关键引理或核心步骤自动转换为 Lean/Isabelle 进行快速核验，仅在形式化失败时触发精炼。 - \*\*形式化信号作为验证器训练目标\*\*：利用形式化引擎产生的布尔反馈作为辅助监督信号，训练更精确的自然语言验证器，而非仅依赖模型自举评分。 --- ### 3. 测试时计算的自适应分配策略当前系统在 4.5 小时竞赛截止后搜索即进入平台期（plateau），但在赛后继续运行至 8 小时 25 分时于 Problem 6 发现了更高质量的解（非官方 4/7 分）。这表明\*\*固定轮次与均匀预算分配可能非最优\*\*。可进一步研究： - \*\*基于问题难度的动态预算分配\*\*：利用轻量级分类器在首轮生成后估计问题难度，对高置信度接近解决的问题提前终止，对困难问题保留更多精炼轮次与验证判断数。 - \*\*在线学习式搜索控制\*\*：在搜索过程中根据验证器分数的收敛速率或证明池的多样性指标，实时调整后续轮的采样数与模型选择策略。 --- ### 4. 跨证明信息聚合的再设计附录 A 中的实验表明，\*\*交叉证明上下文（cross-proof context）\*\*与\*\*多证明综合精炼（diverse-proof refinement）\*\*虽改变了搜索动态，却未提升最终覆盖率。这可能源于： - 当前的问题级上下文提示过于保守，为避免误导而限制了跨证明知识迁移的强度； - 多证明综合时要求模型“从零写新证明”的认知负荷过高，导致有效组件丢失。未来可探索更结构化的聚合方式，例如： - \*\*证明图（proof graph）构建\*\*：将多个候选证明解析为依赖图（引理-结论链），通过图算法识别最大公共正确子图与互补缺口，再定向生成修补证明。 - \*\*专门化综合模型\*\*：训练一个独立的“证明综合器”（proof synthesizer），其唯一任务是从多个带评分的候选中提取并重组有效论证，而非让通用生成器兼任。 --- ### 5. 特定数学领域的专项化与失败分析开发集包含 6 道代数、8 道组合、8 道几何与 8 道数论题，且 Problem 3 与 Problem 6 恰好是系统表现最弱的问题。未来可： - 对验证器与生成器的错误进行\*\*按领域归因\*\*，识别几何证明中的图示/构型隐含假设、组合证明中的计数边界疏漏、或数论证明中的模运算方向错误等模式化弱点； - 针对特定领域设计\*\*领域专用提示模板与验证标准\*\*（如几何问题强制要求坐标/复数法与综合法的双向验证），而非沿用统一评分 rubric。 --- ### 6. 强化学习奖励设计与过程监督当前 RL 训练移除了 self-analysis reward（设 α=1, β=0 ），且仅使用结果奖励（outcome reward）。未来可探索： - \*\*自然语言过程奖励模型（Natural-Language Process Reward Model, NL-PRM）\*\*：在证明的每一步或每一段落后提供细粒度反馈，使 RL 训练不仅关注最终正确性，也关注推理链的局部有效性。 - \*\*基于验证器置信度的课程学习\*\*：根据验证器对生成证明的评分分布（如方差或熵）动态调整训练样本权重，优先学习那些验证器“高置信度认为接近正确”的边缘案例。 --- ### 7. 计算效率与模型压缩完整竞赛运行消耗约 2.31 × 10^9 生成 token 与 4,800 GB200 GPU 小时，成本高昂。结合 \*\*Nemotron-Cascade 2\*\*（Yang et al., 2026）的启示，未来可研究： - \*\*级联蒸馏\*\*：将最终集成系统的验证与生成能力蒸馏到更小规模的模型中，以极低的推理预算保留大部分性能。 - \*\*投机式验证（speculative verification）\*\*：使用轻量级模型进行快速预筛选，仅将高潜力候选提交给重型验证器（RL/SFT），在保持精度的同时降低验证阶段的 16 × 重复判断开销。 Q6: 总结一下论文的主要内容这篇论文提出了一套完全基于自然语言、无需形式化证明器或外部工具的 IMO（国际数学奥林匹克）金牌级数学推理系统，并对其设计决策进行了系统性的实证研究。 ### 研究背景与目标近年来，AI 系统在数学奥林匹克竞赛中的能力迅速提升：2024 年神经符号系统达到银牌水平，2025 年自然语言模型首次达到金牌线。本文旨在研究\*\*模型后训练（post-training）与测试时计算（test-time compute）设计\*\*如何影响自然语言证明生成，并基于 \*\*Nemotron 3 Ultra\*\* 构建一个可复现、全开放的 IMO 竞赛系统。 ### 核心方法系统采用“两阶段”测试时推理架构，由三个 Nemotron-3-Ultra 检查点协同驱动： - \*\*模型后训练\*\*：在通用基座（GA）之外，训练了两个专家模型： - \*\*SFT 模型\*\*：通过长上下文监督微调（最长 425,984 tokens），在包含证明生成、验证、精炼与元验证的 41 万余条合成轨迹上学习； - \*\*RL 模型\*\*：采用异步强化学习框架优化证明生成，使用结果奖励并支持长序列生成。 - \*\*高计算搜索阶段（Generate–Verify–Refine）\*\*：对每道题独立运行最多 8 轮迭代搜索。 - \*\*生成\*\*：GA、RL、SFT 三个检查点在 8 种互补策略提示下并行采样，首轮共产生 384 份候选证明； - \*\*验证\*\*：RL 与 SFT 作为验证器，对每个候选各输出 8 次独立判断（共 16 次），仅在 \*\*16/16 全票通过（unanimity）\*\* 且均为满分（1 分）时才内部接受该证明； - \*\*精炼\*\*：若未被接受，系统从证明池选取高排名候选，结合验证器批评进行多模型精炼，迭代进入下一轮。 - \*\*最终选择阶段\*\*：搜索结束后，对最多 3 名决赛选手，由三个检查点以 IMO 0–7 分制进行高计算量的独立评审（共 48 次判断），按均值排名选出最终提交。 ### 实验与发现论文在自建的 30 题开发集上进行了大量消融实验，主要发现包括： - \*\*单检查点性能\*\*：两个后训练专家均显著优于基座 GA；SFT 首轮接受率最高，RL 八轮后总分最优。 - \*\*验证器设计\*\*：SFT 选择性最高（误接受率 4.5%），RL+SFT 的 16/16 全票通过面板可将误接受率降至 1.1%；放松阈值（如 14/16）会导致误接受率大幅上升至 17% 以上。 - \*\*集成与预算分配\*\*：将首轮预算分配给多模型（如 RL + SFT）比单纯加倍单模型采样更有效，因为不同检查点能解决彼此无法覆盖的问题；GA 虽未增加首轮接受数，但为后续精炼提供多样性。 - \*\*替代策略\*\*：交叉证明上下文、零优先排名、多证明综合精炼与分诊路由等变体虽改变了搜索动态，但均未提升最终覆盖率，部分策略还会丢弃正确证明的“祖先”候选。 ### 竞赛结果与开源贡献 - \*\*IMO 2026 成绩\*\*：系统以 \*\*30/42 分\*\* 达到金牌阈值（29 分），在 Problems 1、2、4、5 获满分，Problems 3 与 6 各获 1 分。赛后持续搜索在 Problem 6 上发现了一道非官方评卷为 4/7 的改进解。 - \*\*资源透明\*\*：最终提交消耗约 7.07 亿生成 token 与 1,464 GB200 GPU 小时；完整搜索约 23.1 亿 token 与 4,800 GPU 小时。 - \*\*完全开源\*\*：论文发布了两个后训练模型权重、训练数据、训练与推理代码、全部提交解答，以及包含 200 道全新奥赛级问题的 \*\*Nemotron-IMO-Bench\*\* 基准（含 30 题开发集），为后续研究提供了可复现的完整参考系统。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是An%20Open%20Recipe%20for%20IMO%20Gold%3A%20Training%20Nemotron%20for%20Olympiad%20Mathematics，链接是https://arxiv.org/pdf/2609.10712，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2609.10712。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ivan Moshkov, Stephen Ge, George Armstrong, Wei Du, Sadegh Mahdavi, Igor Gitman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10712.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10712

Published: 2026-09-14T01:38:47.355Z

7. Finishing the Task Is Not Enough: Evaluating Agent Resilience and Considerate Participation under Accumulating Challenge

Abstract:Sustained deployment of generative AI agents requires more than isolated task success. Agents must remain useful across repeated interactions, changing conditions, and dependencies on people within shared workflows, especially as technical, human, and operational disruptions accumulate over time. We propose operational resilience and considerate participation as two complementary aspects of evaluating such agents: the former captures how agents recover from blocked work while preserving progress and communicating their limits, and the latter captures how their adaptation accounts for affected people, role boundaries, and the surrounding workflow. Yet both remain underexplored under accumulating challenge. We study 120 simulated healthcare trajectories across two generative AI models and twelve stakeholder-derived tasks under light, medium, and heavy challenge. We compare textual action plans, prompted internal assessments, and quantitative structured workload and affect reports to examine how agent behavior and reported state change as challenge accumulates. Regarding operational resilience, agents shift from self-directed recovery toward greater human dependence, while reporting increasing workload and negative affect in structured reports but seldom expressing strain in textual responses. Regarding considerate participation, agents broaden from task-focused adaptation toward task reframing, attention to others, role-boundary adjustment, and wider coordination, with distinct patterns across actions and internal assessments. From these findings, we derive five deployment dilemmas involving persistence, attention, role boundaries, state disclosure, and escalation that require stakeholder specification, further informing technical implications for learning, situated evaluation, and embodied adaptation.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10724 (HTTP 429)

Authors: Yuanchen Bai, Zijian Ding, Angelique Taylor

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10724.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10724

Published: 2026-09-14T01:38:47.355Z

8. Towards a Deterministic Math Solver for Clinical Language Models

Abstract:Large language models are unreliable at arithmetic, which is a problem for clinical calculators where a single numerical error changes the recommendation. The standard response is to hardcode each calculator as a validated function, one at a time. We test an alternative: the model does not calculate. Instead, it writes case-specific Python that a restricted local executor runs as a deterministic solver, and the model’s task reduces to deciding how to use it. We evaluate this Program-Solve interface on MedCalc-Bench Verified (1,100 cases, 55 calculators) against direct model arithmetic and a hand-written 22-calculator library, using Qwen2.5-7B and Qwen2.5-32B-AWQ, after auditing the benchmark’s formulas against current clinical guidelines and flagging 16 of 55 with version, use or coefficient concerns. With formulas and gold variables supplied and both routes reading the whole note, handing off to the solver is not a reliable advantage at 7B (75.31% against 72.02%, a paired +3.29 points with a 95% calculator-cluster interval of [-3.49, 10.38]) but is one at 32B (90.53% against 83.47%, +7.05 [0.47, 14.60], clear of zero). The hand-written library is exact on its 440 supported cases but abstains elsewhere (40.0% overall). Adding an executor thus helps some open-weight models more than others even under matched formula, variable and note access, and is not a substitute for verified formulas or reliable variable extraction either way.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10728 (HTTP 429)

Authors: Felipe Ocampo Osorio, Sebastián Andrés Cajas Ordoñez, Maximin Lange, Rafi Al Attrach, Sahil Kapadia, Zakaria Laouabdia Sellami, Angelo Antonio Talio, Leo Anthony Celi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10728.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10728

Published: 2026-09-14T01:38:47.355Z

9. Studying Without a Syllabus: Task-Agnostic Environment Preprocessing

Abstract:Before an LLM agent tackles tasks in a new environment, it can inspect available corpora and tools and construct reusable resources such as indices, scripts, or procedural guidance. Most automated adaptation methods, however, rely on task examples, trajectories, or evaluation feedback to decide what to build. Existing task-agnostic approaches avoid this supervision but commit in advance to a preparation strategy for a particular type of environment. We study a more open-ended setting: can an agent study an unfamiliar environment without a syllabus, i.e. before test time and without knowledge of the downstream task distribution, and choose how to prepare it? We formalize task-agnostic environment preprocessing, in which a studying system explores an environment under a budget and produces artifacts for a frozen solver. We compare unaided and archive-equipped meta-agents with fixed synthetic-practice and corpus-processing methods across six heterogeneous benchmarks. A meta-agent variant achieves the highest Avg@3 reward on five benchmarks, while fixed corpus processing remains best on the largest corpus benchmark. Larger study budgets do not reliably improve downstream reward. Nevertheless, studied artifacts reduce the test-time sampling needed to reach a given score, demonstrating how reusable preparation can shift computation from repeated test-time attempts to a pre-task study phase.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10824 (HTTP 429)

Authors: Vinay Samuel, Varun Ursekar, Vijay S. Kalmath, Apaar Shanker, Veronica Chatrath, Yuan Xue

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10824.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10824

Published: 2026-09-14T01:38:47.355Z

10. When Validation Stops Learning: Auditing Update Admission for Continual Embodied Agents

Abstract:Independent evaluation can reject harmful policy updates yet also prevent useful continual learning. We argue that update admission must be assessed through both error control and retained learning opportunities at a stated interaction budget. We identify a concrete failure: a range-based confidence gate cannot certify unchanged old-task behavior within otherwise substantial budgets. A standard paired-binomial construction reduces this burden when outcome disagreements are rare. We also specify certified historical-reference promotion and a round-level missed-opportunity metric. In a constructed one-step pushing diagnostic with 32 seeds, fresh paired checks admit 31.6% of a common update stream at 2,000 episodes per stage, versus zero for the range-based gate; unconditional replay nevertheless learns better in closed-loop runs. A separate learned-dynamics stress test distinguishes model bias from feedback-selection error. The contribution is an admission-audit protocol with analytical and synthetic evidence; physical-robot and VLA validation remain open.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10873 (HTTP 429)

Authors: Qinzhen Ma, Ruihai Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10873.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10873

Published: 2026-09-14T01:38:47.355Z

Evaluation Domain Papers

1. Probabilistic Focal Search: Accelerating Bounded-Suboptimal Search via Lower-Bound Advancement

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10584 (HTTP 429)

Authors: Minh Vu Duc, Trung Le Huu, Hà Minh Hoàng, Trung Thanh Nguyen, Phuong Khanh Nguyen, Huynh Thi Thanh Binh

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10584.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10584

Published: 2026-09-14T01:39:00.659Z

2. Automating Quadratic Unconstrained Binary Optimization (QUBO) Formulation Generation from Natural Language

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10629 (HTTP 429)

Authors: Niloy Kumar Mondal, Md Rizwan Parvez

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10629.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10629

Published: 2026-09-14T01:39:00.659Z

3. A Multi-Stage Rule-Chaining Framework for Compositional and Interpretable Cognitive Reasoning

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10654 (HTTP 429)

Authors: Deblina Kar

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10654.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10654

Published: 2026-09-14T01:39:00.659Z

4. Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10656 (HTTP 429)

Authors: Iman Khazrak, Narges Nejad, Mostafa M. Rezaee, Robert C. Green II

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10656.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10656

Published: 2026-09-14T01:39:00.659Z

5. Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10657 (HTTP 429)

Authors: Anish Kataria

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10657.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10657

Published: 2026-09-14T01:39:00.659Z

6. An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Authors: Ivan Moshkov, Stephen Ge, George Armstrong, Wei Du, Sadegh Mahdavi, Igor Gitman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10712.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10712

Published: 2026-09-14T01:39:00.659Z

7. Finishing the Task Is Not Enough: Evaluating Agent Resilience and Considerate Participation under Accumulating Challenge

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10724 (HTTP 429)

Authors: Yuanchen Bai, Zijian Ding, Angelique Taylor

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10724.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10724

Published: 2026-09-14T01:39:00.659Z

8. Towards a Deterministic Math Solver for Clinical Language Models

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10728 (HTTP 429)

Authors: Felipe Ocampo Osorio, Sebastián Andrés Cajas Ordoñez, Maximin Lange, Rafi Al Attrach, Sahil Kapadia, Zakaria Laouabdia Sellami, Angelo Antonio Talio, Leo Anthony Celi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10728.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10728

Published: 2026-09-14T01:39:00.659Z

9. Studying Without a Syllabus: Task-Agnostic Environment Preprocessing

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10824 (HTTP 429)

Authors: Vinay Samuel, Varun Ursekar, Vijay S. Kalmath, Apaar Shanker, Veronica Chatrath, Yuan Xue

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10824.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10824

Published: 2026-09-14T01:39:00.659Z

10. When Validation Stops Learning: Auditing Update Admission for Continual Embodied Agents

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10873 (HTTP 429)

Authors: Qinzhen Ma, Ruihai Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.10873.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10873

Published: 2026-09-14T01:39:00.659Z

VLM Domain Papers

1. Rethinking Handwritten Character Recognition

Abstract:Non-Latin handwritten character recognition (HCR) remains understudied. Dominant methods consider it as generic image classification, which uses model scale to implicitly learn stroke structure. Structural-prior efficiency—-the principle that explicitly encoding script-geometric regularities as architectural inductive biases can be both more accurate and require fewer parameters. We introduce GraphemeNet, a unified multi-script architecture, governed by two orthogonal binary axes. Axis 1 operationalises stroke-level geometric regularity via Persistent Scaffold Injection (PSI): a script-specific asymmetric convolution injects a stroke scaffold as a weighted residual at every encoder stage, continuously anchoring learned features to script geometry—-distinct from skip connections, auxiliary losses, or attention reweighting. Axis 2 selects between global average pooling with gated fusion and cross-scale attention with a Stroke Topology Module (STM), depending on whether glyph discrimination requires spatial relational reasoning. A Linear Capsule Routing (LCR) with $O(n)$ routing is shared universally. On fourteen benchmarks across eight writing systems, the architecture generalises with only scaffold and decoder topology varying per script, consistently challenging, outperforming published baselines, and establishing structural-prior efficiency as a broadly applicable principle for multi-script HCR.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10572 (HTTP 429)

Authors: Ranjit Raut, Aarav Subedi, Ashim Shrestha

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10572.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10572

Published: 2026-09-14T01:39:14.090Z

2. AcFlow: Controlling Text-to-Image Diffusion Transformers via Learned Conditional Activation Flow

Abstract:Text-to-image diffusion transformers (DiTs) are powerful generators, yet direct prompting provides limited control interface for style intensity and can fail to suppress unwanted concepts. To enable these controls, we introduce AcFlow, an inference-time controller that transports intermediate layer image-token activations through a learned concept-conditioned velocity field while keeping the base DiT frozen. A textual concept description specifies the desired intervention, while the integration horizon provides a continuous control parameter. The field produces token-varying, activation-dependent updates. With parameters shared across concepts within each task family, the field supports fine-grained descriptions and generalizes to concepts unseen during training without per-concept fitting. On style control, AcFlow achieves the best style—content trade-off among the evaluated baselines in the high-style-alignment regime. At a fixed operating point, AcFlow attains style—content alignment of 0.5365/0.2860, compared with 0.4397/0.2684 for the baseline with the highest style alignment. Qualitative results demonstrate suppression of diverse concepts, including cases where direct prompting fails. Our analyses support the learned velocity field as an adaptive control mechanism, with update directions varying across tokens and depend on their activation states. Our code is available at this https URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10723 (HTTP 429)

Authors: Junran Wang, Zehao Jin, Tianyu Luan, Xinjie Shen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10723.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10723

Published: 2026-09-14T01:39:14.090Z

3. MHE-Former: Multi-Hypothesis Transformers via Entropy Maximization for 3D Mesh Recovery

Abstract:Monocular 3D hand and body mesh recovery often suffers from severe occlusion and ambiguity. Traditional deterministic methods typically regress a single optimal solution, leading to overconfident predictions. In this paper, we introduce an exploration—exploitation paradigm for ambiguous mesh recovery with multi-hypothesis learning and selection. Specifically, during exploration, based on our probabilistic formulation and entropy maximization, we propose a novel multi-hypothesis method referred to as MHE-Former. It is a Transformer-based multi-hypothesis framework, ensuring high training efficiency and label friendliness while generating plausible and diverse hypotheses. During exploitation, we propose Hypothesis Selection, a context-aware process for multiple predictions. Especially leveraging VLM’s powerful visual understanding and reasoning capabilities, it allows users to choose the most plausible and desired estimate with additional evidence and natural language intent. Extensive experiments demonstrate that our framework achieves state-of-the-art performance in accuracy and diversity across multiple datasets. The user preference study further shows the practicality of our hypothesis selection process.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10743 (HTTP 429)

Authors: Boshu Jia, Rongyu Chen, Linlin Yang, Zihao Liu, Yingjie Chen, Zhongqun Zhang, Zhulin Tao, Shaohui Lin, Xiaoyu Wu, Libiao Jin, Baochang Zhang, Angela Yao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10743.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10743

Published: 2026-09-14T01:39:14.090Z

4. Meta-Learning for Data-Efficient Plant Growth Estimation via Vision Transformers and Fuzzy Clustering

Abstract:Accurate plant growth estimation is essential for greenhouse monitoring, yet obtaining labeled data remains costly and time-consuming. To address this, we propose a few-shot regression framework that combines Vision Transformer (ViT) feature embeddings, clustering-based task construction, and gradient-based meta-learning, and show that task construction in embedding space is a primary driver of performance. The approach leverages an unlabeled image pool to organize data into structured tasks using fuzzy c-means clustering, enabling efficient learning from a small number of labeled samples. We systematically evaluate meta-learning methods and show that second-order methods (e.g., Model-Agnostic Meta-Learning variants such as MAML++) outperform classical baselines in the few-shot regime. Furthermore, intra-cluster support selection has a limited and dataset-dependent impact. Experiments on two plant datasets show that structured task design combined with meta-learning enables reliable plant growth estimation under severe label scarcity.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10749 (HTTP 429)

Authors: Sheikh Hasan Elahi, Rusith Chamara Hathurusinghe Dewage, Habib Ullah, Muhammad Salman Siddiqui, Rakibul Islam, Fadi Al Machot

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10749.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10749

Published: 2026-09-14T01:39:14.090Z

5. GRADE: Single-Frame Generative Radar Depth Estimation Under Visual Degradation

Abstract:Dense 3D depth perception fails under smoke, fog, and darkness because optical sensors cannot penetrate airborne particulates. mmWave radar remains usable and measures range accurately under these conditions, but its small aperture limits angular resolution. We present GRADE, which grounds a pretrained generative prior in single-frame radar geometry to estimate high-fidelity metric depth. GRADE first maps raw 4D radar spectra to coarse metric depth. A latent diffusion backbone then recovers structural detail while conditioning every denoising step on this estimate. A pixel-space adapter uses residual camera cues when available and is trained across clear, smoke-degraded, and occluded inputs so the full output approaches the radar-conditioned path as visibility degrades. Trained and evaluated on ~95K frames across 12 buildings with real smoke, GRADE achieves an MAE of 0.303 m in clear scenes and 0.313 m under smoke, outperforming existing baselines. Code and datasets are available at this https URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10756 (HTTP 429)

Authors: Bin Zhao, Patrick Chiou, Nakul Garg

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10756.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10756

Published: 2026-09-14T01:39:14.090Z

6. Shedding Light: A Benchmark for Evaluating Lighting Understanding in Generative Image Models

Abstract:Accurate modelling of illumination is central to realistic image synthesis and scene understanding. Yet, there is little exploration into whether image generative models are good at this task or whether physical plausibility remains a key challenge for them. Clearly, significant progress has been made in realistic image synthesis, but do models truly understand lighting in a physically accurate manner? To answer this question, this work proposes a benchmark to assess the lighting understanding and harmonisation capabilities of generative models. Our key insight is that evaluating lighting understanding for such models only requires testing how well they insert novel objects into real photographs whilst maintaining consistent illumination. To do so, we use a multi-illumination dataset with images containing simple objects serving as ``light probes’’, and prompt models to inpaint the same object onto the original image, then compare the generated results against the ground-truth light probes. We then estimate the lighting direction, colour and radiance distribution from the inpainted probes, providing a quantitative measure of illumination accuracy and photometric realism. Our work establishes a scalable evaluation protocol to systematically assess how well generative models capture and reproduce real-world lighting, offering a foundation for benchmarking the photometric accuracy of any future models. All code and data are available at this https URL .

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10787 (HTTP 429)

Authors: Justine Giroux, Jack Oliver Hilliard, Yannick Hold-Geoffroy, Javier Vazquez-Corral, Jean-François Lalonde

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10787.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10787

Published: 2026-09-14T01:39:14.090Z

7. Two-Parameter Flow Map Learning for Continuous-Time Diffeomorphic Image Registration

Abstract:Diffeomorphic image registration is central to medical image analysis, enabling anatomically consistent alignment across subjects. Most learning-based diffeomorphic methods model autonomous ODEs(ordinary differential equations) by parameterizing a stationary velocity field and recovering deformations via scaling-and-squaring. While non-autonomous ODEs with time-dependent velocities increase expressiveness, existing approaches rely on numerical integration to implicitly enforce flow structure that entangles model expressiveness with discretization accuracy. We propose a framework to directly learn the continuous-time solution of a non-autonomous ODE formulated as a two-parameterflow map. By enforcing cocycle consistency, a fundamental structural property of time-varying flows, we learn the flow maps without time discretization and velocity integration during training. The framework recovers diffeomorphic mappings at inference using a small number of compositions. Our proposed framework seamlessly incorporates standard registration backbones and improves alignment accuracy consistently across nine datasets while preserving diffeomorphic structure. Notably, the proposed method achieves an average Dice improvement of 2.1% on brain MRI benchmarks, a 12% TRE reduction on lung CT, and a 2.6% Dice gain on cardiac MRI and ultrasound datasets.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10789 (HTTP 429)

Authors: Mohammadjavad Matinkia, Nilanjan Ray

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10789.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10789

Published: 2026-09-14T01:39:14.090Z

8. How Much Velocity Does Off-Ball Space Value Need? A Broadcast-Viewport Benchmark

Abstract:Velocity-aware pitch control is standard, but under a broadcast viewport half the players are off screen and on-screen velocities come from a drifting calibration. We ask at which layer of broadcast off-ball analysis velocity changes the answer. Inheriting our off-screen imputation protocol (three Metrica matches, 44 m viewport, block-bootstrap CIs), we score four velocity regimes — none, viewport-legal observed, true-for-visible, true-for-all — against a velocity-aware ground truth at three layers: imputation, the control surface, and team verdicts. Velocity is nearly useless for imputation (-0.2 pp against a 12—14 pp velocity-free surface MAE), first-order for the surface (-1.5 to -1.8 pp, 11—15% of that MAE), and ten times smaller for verdicts (-0.12 to -0.19 pp). The velocity that matters is the visible channel: perfect occluded-player velocity adds 2—6% of the visible gain, and no last-seen decay policy we tested exceeds that. Omitting velocity blurs the surface (per-frame |e| 2.2—2.6 pp) with small time-averaged bias (per cell <=0.4 pp), whereas imputation error is a structured bias against the defending team’s deep zone (5—9 pp). At a fixed velocity window, a noise ladder of eleven jitter settings, including sigma_v-matched pairs, is ordered to first order by one velocity-noise axis sigma_v with break-even ~1 m/s; eleven SoccerNet-GSR clips from one match through our pipeline measure sigma_v=1.65 m/s yet recover 24—36% of the benefit: 43% of the variance is frame-common, which the surface tolerates, and the residual is heavy-tailed and clustered, which Gaussian controls matched on component RMS do not reproduce (+0.03 vs. +0.36). The share of velocity-free error that velocity removes grows with viewport width (7% at 36 m, 21% at 60 m): fix imputation on tight shots, velocity on wide ones. Code and logs are released.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10801 (HTTP 429)

Authors: Seongjin Choi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10801.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10801

Published: 2026-09-14T01:39:14.090Z

9. TrajFusionNet+: Transformer-Based Prediction of Pedestrian Crossing Intention via Fusion of Trajectory Representations and Scene Graphs

Abstract:The pedestrian crossing intention task involves predicting whether pedestrians are likely to cross the road from the point of view of an autonomous vehicle. We introduce TrajFusionNet+, a novel transformer-based model for pedestrian crossing intention prediction. TrajFusionNet+ combines sequential and visual representations of pedestrian trajectory with a graph-based representation of the scene context in order to predict pedestrian crossing intention. The proposed architecture builds upon our previous model, TrajFusionNet, and comprises three branches: a Sequence Attention Module (SAM), which processes a sequential representation of past and predicted pedestrian trajectories; a Visual Attention Module (VAM), which utilizes a visual representation of the pedestrian trajectories by overlaying observed and predicted bounding boxes onto scene images; and a Graph Attention Module (GAM), which extracts pedestrian-centric graphs from segmented scene images and captures the relational dependencies between pedestrians and traffic elements. TrajFusionNet+ achieves improved state-of-the-art performance on the two most widely used pedestrian crossing intention datasets, PIE and JAAD. Furthermore, we introduce a new evaluation protocol in which models are trained jointly on the PIE and JAAD datasets but evaluated separately on each. Under this setting, TrajFusionNet+ demonstrates superior generalization compared to existing approaches.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10806 (HTTP 429)

Authors: François G. Landry, Moulay A. Akhloufi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10806.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10806

Published: 2026-09-14T01:39:14.090Z

10. Overpainting: Localized Context-aware Diffusion Image Editing

Abstract:We present “overpainting”, an image editing operation which offers both control over the location of the edit and awareness of the previous content in that location. The overpainted area is given by a trimap, where white-annotated pixels must be edited, gray-annotated pixels may be edited, and black-annotated pixels must not be edited. This enables both precise and loose control, depending on user intent. We implement overpainting by adapting a pretrained image editing diffusion model using a combination of joint attention and low-rank adaption across input images with attention-dropout to balance the information flow between noise, source and mask images. We present a novel, automated, training data generation pipeline that (1) generates a set of candidate image pairs leveraging existing language-based editing models, (2) carefully curates those pairs, and (3) extracts a trimap from each usable pair. We demonstrate the versatility of our overpainting model on a wide range of editing tasks.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.10811 (HTTP 429)

Authors: Sam Sartor, Iliyan Georgiev, Michael Fischer, Valentin Deschaintre, Pieter Peers

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.10811.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.10811

Published: 2026-09-14T01:39:14.090Z