ArXiv Domain 2026-09-15

数据来源：ArXiv Domain

LLM Domain Papers

1. R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration

Abstract:Large language models are increasingly used for automated fact checking, but end-to-end prompting often entangles evidence retrieval, reasoning, and uncertainty estimation, making failures difficult to diagnose and confidence difficult to trust. We present R2VC, a modular retrieve, reason, verify, calibrate architecture for evidence-grounded fact checking with citations and abstention. R2VC combines hybrid sparse+dense retrieval over Wikipedia, a supervised fine-tuned and DPO-aligned generator that produces diverse structured verdict candidates, an external NLI cross-encoder for evidence-based candidate selection, and a lightweight sequence-level calibrator for confidence estimation and selective abstention. On FEVER, an 8B backbone with R2VC achieves 13.74% higher accuracy than baseline. Ablation studies show that verifier-based candidate selection and confidence calibration are the largest contributors to performance. Removing candidate selection drops FEVER accuracy to 76.24%, while removing calibration nearly doubles the Brier score to 0.161. A manual analysis of 250 errors further shows that retrieval failures, especially wrong-entity evidence, remain the dominant bottleneck. Together, these results show that modular fact-checking pipelines can substantially improve both predictive accuracy and confidence reliability in open-domain verification.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*大语言模型（LLM）在自动化事实核查中因端到端架构导致的可诊断性差、置信度不可靠以及错误传播难以控制\*\*的问题。具体而言，论文针对以下核心挑战： ## 核心问题 - \*\*检索、推理与校准的纠缠\*\*：现有LLM事实核查系统通常通过单一前向传播完成证据检索、推理和不确定性估计，这种紧耦合使得系统失败时难以定位故障环节（如检索失败、推理偏差或校准失准），且生成的置信度分数往往无法反映真实正确性。 - \*\*证据检索错误与 confident mistakes\*\*：检索阶段常返回错误实体（wrong-entity evidence）或噪声文档，导致模型基于不相关证据做出高置信度的错误判断；同时，基于自洽性（self-consistency）的置信信号无法直接强制要求生成内容与引用段落之间的逻辑蕴含或矛盾关系。 - \*\*缺乏结构化弃权机制\*\*：现有系统缺乏显式、经过校准的弃权（abstention）能力，无法在证据不足或冲突时可靠地拒绝作出判断，从而影响事实核查的可信度和安全性。 ## 提出的解决方案为应对上述问题，论文提出 \*\*R2VC\*\*（Retrieve, Reason, Verify, Calibrate）——一种模块化的、基于证据的事实核查流水线： - \*\*检索阶段\*\*：采用混合稀疏+密集检索（hybrid sparse+dense retrieval）从 Wikipedia 获取证据，缓解单一检索器的召回不足问题。 - \*\*生成阶段\*\*：通过监督微调（SFT）与直接偏好优化（DPO）训练生成器，输出结构化候选判决（含标签、理由、引用），并利用多样化解码生成多个候选。 - \*\*验证阶段\*\*：引入外部 NLI（自然语言推理）交叉编码器作为独立验证器，基于证据蕴含/矛盾信号从多候选中选择最优判决，实现生成与验证的解耦。 - \*\*校准阶段\*\*：训练轻量级的序列似然校准器（SLC），将验证器分数、生成概率等特征映射为经过校准的置信度，支持基于阈值的选择性预测与弃权。 ## 关键实验发现 - \*\*性能提升\*\*：在 FEVER 基准上，基于 8B 参数的 R2VC 相比基线准确率提升 \*\*13.74%\*\*，显著优于同等规模甚至更大规模的模型。 - \*\*消融诊断\*\*：移除验证器候选选择后 FEVER 准确率降至 \*\*76.24%\*\*；移除置信度校准后 Brier 分数几乎翻倍至 \*\*0.161\*\*，证明模块化验证与校准是性能与可靠性的主要贡献者。 - \*\*瓶颈识别\*\*：对 250 个错误案例的人工分析表明，\*\*检索失败\*\*（尤其是错误实体证据）仍是当前系统的主导瓶颈，而校准模块虽能改善可靠性，但无法完全补偿检索阶段的错误。综上，论文的核心贡献在于论证了\*\*模块化事实核查流水线能够同时提升开放域验证中的预测准确性与置信度可靠性\*\*，并通过显式的组件分离使系统行为更可诊断、更可控制。 Q2: 有哪些相关研究？论文在第2节（Related Work）中从四个维度梳理了相关研究，涵盖基准数据集、检索增强生成、模块化流水线设计以及一致性/校准方法： ### 1. 基准测试与归因（Benchmarks and Attribution） - \*\*FEVER\*\*（Thorne et al., 2018）：引入大规模基于 Wikipedia 的声明验证任务，提供句子级证据标注。 - \*\*FEVEROUS\*\*（Aly et al., 2021）：扩展 FEVER 设定，增加表格型证据的验证场景。 - \*\*WICE\*\*（Kamoi et al., 2023）：将真实世界声明验证建模为文档级蕴含任务，强调检索与长文本证据选择仍是基于蕴含的验证器的关键瓶颈。 - \*\*VitaminC\*\*（Schuster et al., 2021）：通过 Wikipedia 修订历史挖掘对比式声明–证据对，用于测试模型对细微事实差异的敏感性；该论文以此作为主要训练来源。 - \*\*AIS\*\*（Rashkin et al., 2023）：形式化模型陈述是否可针对已识别段落进行验证，并提出自动归因评估指标。 ### 2. 检索增强的事实核查（Retrieval-Augmented Fact-Checking） - \*\*RAG\*\*（Lewis et al., 2020）：将外部语料库（如 Wikipedia）的检索段落作为生成条件，提升知识密集型任务性能。 - \*\*Self-RAG\*\*（Asai et al., 2024）：将检索、生成与自我评判紧密交织，以提升事实性与引用准确性。 - \*\*RARR\*\*（Gao et al., 2023）：采用“研究并修订”范式，利用检索到的证据编辑初始回复。 - \*\*Re2G\*\*（Glass et al., 2022）：在生成前引入显式重排序阶段，并支持对不可比分数的稀疏与密集检索结果进行融合（如 BM25 与稠密向量检索的集成），从而改善下游生成的证据选择质量。 ### 3. 模块化流水线 vs. 紧耦合搜索循环（Modular Pipelines vs. Tightly-Coupled Search Loops） - \*\*紧耦合交互式搜索\*\*：Xu et al. (2024) 提出 Search-in-the-Chain，将查询规划与检索反馈交错，并引入置信度门控的验证/补全机制以缓解检索误导；Xie et al. (2025) 采用智能体风格的事实核查框架，将检索与验证决策耦合以减少不必要的搜索并提升效率。 - \*\*模块化设计\*\*：Besta et al. (2024) 等研究表明，模块化流水线因失败可定位、支持干净消融以及允许独立升级组件而具有运维吸引力。R2VC 的设计正是基于这一观察，通过清晰划分检索、生成、验证与校准的接口来提升可控性。 ### 4. 一致性、校准与对齐（Consistency, Calibration, and Alignment） - \*\*基于一致性的幻觉检测\*\*：SelfCheckGPT（Manakul et al., 2023）与 ConFactCheck（Gupta et al., 2025）利用随机或跨模型生成之间的分歧作为事实不可靠性信号。 - \*\*神经网络校准\*\*：Guo et al. (2017) 与 Desai & Durrett (2020) 指出神经网络普遍欠校准，且事后修正（如温度缩放）在分布偏移下仍显脆弱。 - \*\*LLM 自评估局限\*\*：Kadavath et al. (2022) 发现大语言模型虽能部分自报正确性，但此类估计难以可靠泛化。 - \*\*偏好优化与对齐\*\*：Rafailov et al. (2023) 提出直接偏好优化（DPO），用于将模型输出与人类偏好对齐；Arora et al. (2022) 则探索聚合提示策略以改进推理。上述工作构成了 R2VC 的方法论背景：论文借鉴检索增强的 grounding 思想、模块化系统的可控性优势，以及多采样与外部验证相结合的思路，同时针对现有方法中“检索–推理–校准”紧耦合导致的诊断困难与置信不可靠问题，提出了解耦的四阶段流水线。 Q3: 论文如何解决这个问题？论文通过提出 \*\*R2VC（Retrieve → Reason → Verify → Calibrate）\*\* 模块化流水线来解决端到端事实核查中的可靠性问题。该架构将事实核查解耦为四个可独立优化、诊断和替换的阶段，具体实现如下： --- ### 1. 混合证据检索（Hybrid Retrieval）为缓解单一检索器的召回不足与语义漂移问题，该方法采用稀疏+密集混合检索策略。 - \*\*双路检索\*\*：给定声明 c ，稀疏检索器 R_s （BM25）返回带分列表 E_s = (e_j, r_s^j)_(j=1)^(N_s) ，密集检索器 R_d 返回 E_d = (e_j, r_d^j)_(j=1)^(N_d) 。 - \*\*分数融合\*\*：对每路分数独立进行 min–max 归一化：

r_m^j = (r_m^j - min_ell r_m^ell) / (max_ell r_m^ell - min_ell r_m^ell + ε), quad m ∈ s, d
最终融合分数为：
r(e mid c) = α r_s(e) + (1-α)r_d(e)
其中 $α ∈
0,1
为插值权重，缺失分数视为 0 。保留 Top- K 证据构成证据池 E(c) ，供后续阶段专用。 —- ### 2. 结构化候选生成（Reason / Generation）该阶段通过监督微调（SFT）与直接偏好优化（DPO）训练生成器，并基于多样化解码产生多个候选判决。 - SFT 训练：在 VitaminC 数据集上进行全参数微调，使用包含 claim, evidence_text, label 的模板，优化下一个词似然，仅对 assistant 回复片段计算损失。 - DPO 对齐：构造偏好三元组 (x, y^+, y^-) ，其中 y^+ 为带正确标签与最小证据化理由的模板响应， y^-$ 为标签错误或引用失配的响应。优化目标鼓励模型对正确响应赋予更高的对数概率：

L(DPO) = -log σ(β log(πθ(y^+ mid x)) / (π(textref))(y^+ mid x) - β log(πθ(y^- mid x)) / (π(textref))(y^- mid x))
其中 β = 0.2 。 - **多样本生成**：对每条声明，从 E(c) 中随机采样最多 16 个证据子集 S_i ，并配合固定的多样化解码配置（温度、top- p 等）生成 k=16 个候选 z_i 。每个候选被解析为结构化对象：
z = langle z.label, z.rationale, z.citations, z.passages rangle
—- ### 3. 外部 NLI 验证与候选选择（Verify）为解耦生成与验证，该方法引入外部自然语言推理（NLI）交叉编码器作为验证器，对候选进行基于证据的评分与筛选。 - 段落级蕴含评分：对候选 z 的每个证据段落 p ∈ z.passages ，验证器输出概率三元组 (p(contr), p(neut), p(ent)) 。 - 聚合信号： - 最大蕴含支持： s(ent) = max_p p(ent)(p) - 最大矛盾信号： s(contr) = max_p p(contr)(p) - 覆盖率：对 top-6 蕴含分数取平均得到 s(cov) - 引用有效性 $s(cit) ∈

0,1
：基于字符串重叠与数值匹配的启发式相似度 - 标签一致性 s(cons) ∈ 0, 0.5, 1 ：生成器标签 y(gen) 与 NLI 推导标签 y(NLI) 的比较 - 引用对齐度 s(align) ∈
0,1
$：检查候选引用段落与高蕴含分数段落是否重叠 - **综合验证分数**：
s(ver)(z) = 0.6 s(ent) + 0.2 s(cov) - 0.3 max(0, s(contr) - s(ent)) + 0.1 s(cons) + 0.1 s(align) - 0.1 (1 - s(cit))
该分数奖励强蕴含与广覆盖，惩罚过度矛盾及引用质量低下。 —- ### 4. 序列似然校准与选择性弃权（Calibrate）由于 s(ver) 本身并非校准过的正确概率，该方法训练一个轻量逻辑回归校准器 fφ 将内部特征映射为可靠置信度。 - **校准特征**：包括生成词的平均对数概率、验证分数 s(ver) 、候选间标签一致比例、使用证据数量、理由长度、 s(cons) 、 s(align) 等。 - **训练目标**：在 VitaminC 的 10,000 例留出数据上，以候选预测标签是否与金标一致为二元目标，拟合 fφ 。 - **推理决策**：设 πi = fφ(features(z_i, Z(c))) 为候选 z_i 的校准置信度。选择最高置信度候选 i^star = argmax_i π_i ，并应用两阶段弃权阈值：

y = y(i^star), & if π(i^star) ≥ τ(cal) land s(ver)(i^star) ≥ τ(ver) UNCERTAIN, & otherwise
其中 τ(cal) = 0.60 ， τ(ver) = 0.55 。仅当验证强度与校准置信度同时达标时才返回最终判决，否则系统主动弃权。 —- ### 5. 模块化设计的诊断与可控性通过上述四阶段解耦，论文实现了以下控制机制： - **故障隔离**：检索失败、生成偏差、验证误选或校准失准可被独立定位与消融（如 Table 2 所示，移除验证选择或校准模块会导致特定性能下降）。 - **组件可升级**：检索器、生成器、验证器或校准器可在不重新训练整个流水线的前提下单独替换或调整预算。 - **延迟与质量权衡**：通过调节候选数 k 、检索 Top- K 或解码配置，可在准确率与推理延迟之间显式折中（Table I.3 展示了 k=1 至 k=16 的延迟–精度曲线）。综上，R2VC 通过将证据获取、多候选推理、外部 NLI 验证与事后置信校准严格分离，解决了端到端系统中“检索错误导致高置信幻觉”、“难以诊断失败根因”以及“弃权阈值失准”的核心问题。 Q4: 论文做了哪些实验？论文围绕 **R2VC** 开展了系统性的实证评估，涵盖主基准测试、组件消融、错误诊断以及附录中的大量受控分析。具体实验布局如下： —- ### 1. 主基准测试（Benchmark Performance）在 **FEVER** 与 **VitaminC** 两个 Wikipedia 事实核查基准上，对比了 R2VC 与多个开源及闭源基线。 - **对比模型**：覆盖 7B 至 1.7T 参数规模，包括 Mistral-7B、Qwen3-8B/14B、Llama-3.1-8B、Llama-3.1-Nemotron-8B、Llama2-13B/70B、BLOOM-176B 以及 OpenAI GPT-4。 - **评价指标**：标签准确率（Accuracy）、Macro-F1、Brier 分数、期望校准误差（ECE）。 - **核心结果**： - 在 **FEVER** 上，Llama-3.1-Nemotron-8B + R2VC 达到 **84.71%** 准确率与 **85.68** Macro-F1，较同尺寸基线提升 13.74%，且 Brier/ECE 显著降低（0.083 / 0.0125）。 - 在 **VitaminC** 上，该配置达到 **99.78%** 准确率与 **99.82** Macro-F1，校准指标同样最优。 - Qwen3-8B + R2VC 亦取得显著提升（FEVER: 83.44%），表明增益来源于流水线设计而非单纯规模扩张。 —- ### 2. 消融研究（Ablation Study）使用 **Llama-3.1-Nemotron-8B** 在 FEVER 与 VitaminC 上进行组件移除实验，以量化各模块贡献。 | 消融变体 | 实验目的 | |—-|—-| | **w/o DPO** | 评估直接偏好优化对标签正确性与引用的对齐作用 | | **w/o Verifier-based Candidate Selection** | 检验外部 NLI 验证器在多候选选择中的必要性 | | **w/o Confidence Calibration** | 度量序列似然校准（SLC）对可靠性与决策质量的影响 | | **Single-candidate Generation** | 验证多样本生成（k=16）与多候选选择的增益 | | **NLI-only Baseline** | 作为仅使用检索+验证、无生成器微调的参考点 | **关键发现**： - 移除验证器选择导致 FEVER 准确率跌至 **76.24%**（下降 8.47 点），为最大单项损失； - 移除校准使 Brier 分数几乎翻倍至 **0.161**，ECE 升至 0.0312，表明校准对置信可靠性至关重要； - 单候选生成亦显著劣于多样本策略（FEVER: 78.78%）。 —- ### 3. 故障模式与置信度诊断（Failure Modes and Confidence Diagnostics）为定位系统瓶颈，对 **250 个错误预测**进行分层抽样与人工标注： - **抽样策略**：按校准置信度分箱、验证器分数分箱、金标标签及数据集来源进行分层，避免仅覆盖低置信度或单一数据集偏差。 - **分析维度**： - **主要失败类别**（图 3a）：检索错误占比最高，其次为校准/弃权策略错误，生成与引用错误相对较少。 - **顶级子类型**（图 3b）：检索失败以 **wrong-entity evidence**（同名异实体）为主；验证器失败常表现为 **NLI label flips**（蕴含/矛盾误判）。 - **置信度分布**（图 3c）：检索失败伴随**过度自信**（overconfidence），而证据不足/模糊案例置信度较低，系统倾向于弃权。 - **标签转换**（图 3d）：多数错误表现为 SUPPORTS/REFUTES → UNCERTAIN，直接极性翻转（SUPPORTS ↔ REFUTES）较少。 - **选择性预测分析**：定义覆盖度 Cov(τ) 与风险 Risk(τ) ，并通过风险–覆盖曲线下面积（AURC）刻画置信度阈值对弃权策略的影响。 —- ### 4. 附录中的扩展实验（Appendix I）附录提供了大量受控与诊断性实验，包括但不限于： - **机制对比**（Table I.1）：在相同检索器与生成器检查点下，比较仅声明输入、单候选 RAG、16 样本多数投票、生成对数概率选择、NLI 验证器选择以及完整 R2VC + SLC 的效果。 - **检索消融**（Table I.2）：单独测试 BM25-only、Dense-only、Hybrid sparse+dense、Hybrid+标题/实体重排序及 Oracle 文档设置，报告 Recall@24 与准确率。 - **候选预算–延迟权衡**（Table I.3 & I.10）：测试 k ∈ 1,2,4,8,16 对 FEVER 准确率、Macro-F1、Brier、ECE 及每声明延迟的影响。 - **骨干网络扩展**（Table I.4）：在 Qwen3（1.7B–14B）、Llama-3.1-8B、Falcon-H1R-7B 等 backbone 上验证 R2VC 的通用性。 - **跨基准泛化**（Table I.5）：将训练于 VitaminC/FEVER 的 pipeline 零样本迁移至 **WiCE**、**HoVer**、**EX-FEVER**，对比开放语料检索与 Oracle 文档设置。 - **系统定性定位**（Table I.6）：与 Single-candidate RAG、Self-Checker、ProgramFC、FOLK、FIRE、VeGraph 等模块化或智能体系统比较功能特性（是否具备固定图结构、自适应检索、多步推理、外部验证器、校准、引用、有界延迟）。 - **检索预算敏感性**（Table I.7）：改变 Top- K 融合段落数（6, 12, 24, 48, 96），观察 Recall@K 与准确率变化。 - **阈值敏感性**（Table I.8）：网格搜索 τ(ver) ∈ 0.45, 0.55, 0.65 与 τ(cal) ∈ 0.50, 0.60, 0.70 ，报告覆盖率与选择性风险。 - **验证器分数设计消融**（Table I.9）：对 s(ver) 的手工权重进行消融（等权重、去掉覆盖项、去掉引用对齐、去掉标签一致性、去掉矛盾惩罚）。 - **随机种子稳定性**（Table I.11）：报告 Single-candidate RAG 与 R2VC（ k=4,8,16 ）在 FEVER 上的均值与标准差。 - **引用行为分析**（Table I.12）：在 WiCE 上统计返回引用数、证据精确率/召回率及 Minimal-evidence F1。 —- 综上，论文的实验设计从**系统级准确率**、**组件贡献度**、**错误根因**到**超参数与跨数据集鲁棒性**形成了完整验证链条，核心结论为：**检索质量与验证器选择是准确率的主要驱动力，而置信度校准是可靠性与选择性弃权的关键保障。** Q5: 有什么可以进一步探索的点？基于论文第7节（Conclusion and Future Work）及全篇实验诊断，可从以下维度展开进一步探索： ### 1. 模型与架构的扩展验证 - **推理导向与更大规模模型**：在推理专用 LLM（如 Qwen3-8B-Reasoning）、混合专家（MoE）架构及更大参数量模型上复现 R2VC，检验模块化增益是否随模型规模呈现边际递减或持续放大。 - **多模态事实核查**：将当前基于文本的检索与验证流水线扩展至支持图像、表格、视频等非文本证据的多模态场景。 ### 2. 基准与开放域场景迁移 - **更具挑战性的基准**：在 DEFAME、FactLens 等需要复杂推理或对抗性样本的数据集上评估，测试流水线在超越 Wikipedia 的简单声明验证场景中的鲁棒性。 - **动态网络检索**：将固定的 Wikipedia 语料库检索模块替换为面向开放网络的实时证据检索器（如搜索引擎 API），并在 FacTool-QA、BingCheck、FactCheck-Bench 等开放域基准上验证端到端性能。 - **跨语言与多时态设置**：论文附录 D 的分类法提示了 `timeliness_mismatch`（时效性错配）和 `multi_hop_needed`（多跳推理需求），未来可针对时间敏感声明与多跳链条验证设计专用检索与推理模块。 ### 3. 检索瓶颈的针对性突破 - **实体消歧与链接**：论文的人工错误分析表明，`wrong_entity_page` 是检索失败的首要子类型。可引入显式实体链接或实体消歧模块，在检索阶段即过滤同名异实体文档。 - **多跳证据链构建**：当前系统主要依赖单轮 Top- K 检索，对于需要跨文档推理的多跳声明（如 HoVer 基准所示），可探索迭代检索或链式证据扩展机制。 ### 4. 验证器与评分机制的自动化 - **验证器分数的学习优化**：当前 s(ver) 为手工设计的加权组合（含 s(ent) 、 s(cov) 、 s(contr) 等）。未来可通过辅助任务、强化学习或直接偏好优化（DPO）自动学习验证器评分函数，减少启发式权重调参。 - **NLI 验证器的领域自适应**：论文指出 NLI 模型在长噪声文档上易出现标签翻转（NLI label flip）。可探索在事实核查领域数据上继续预训练或微调 NLI 编码器，以缓解跨领域偏移。 ### 5. 校准与弃权策略的深化 - **联合自适应阈值**：当前采用固定的双阶段阈值 τ(ver) = 0.55 与 τ(cal) = 0.60 。可研究基于声明复杂度或证据不确定性的自适应阈值策略，以动态调节覆盖率与选择性风险。 - **更细粒度的校准单元**：现有 SLC 在序列级别进行校准，未来可探索段落级别或子声明级别的校准，从而为长声明提供部分正确性概率或结构化不确定性。 - **检索失败的置信补偿**：论文发现检索错误常伴随过度自信（overconfidence）。可设计显式机制，当检索结果出现实体歧义或来源冲突时，强制压低置信度或触发早期弃权。 ### 6. 训练目标与偏好对齐的创新 - **基于错误分类法的奖励设计**：利用附录 D 提出的扩展错误分类法（如 `wrong_entity_page`、`overcitation`、`nli_label_flip` 等），构造细粒度的偏好对或强化学习奖励信号。例如： - 对错误实体检索施加额外惩罚； - 对“最小充分引用”给予奖励，克服 `overcitation`； - 在证据不足时奖励校准弃权行为，而非强行预测。 - **模块间协同训练**：当前各模块（检索、生成、验证、校准）独立训练。未来可探索在保持模块化接口的前提下进行轻量级端到端微调或交替训练，使检索器更关注验证器偏好的证据类型。 ### 7. 系统效率与部署优化 - **候选预算的动态分配**：论文展示了候选数 k 与延迟的权衡（ k=16 时约 20.3 秒/声明）。可研究基于声明难度的动态候选预算分配，对简单声明使用较少候选以降低延迟，对复杂声明增加采样预算。 - **模块级预算控制**：在交互式或高吞吐量场景中，为检索、生成、验证分别设定独立成本约束（如延迟、调用次数），探索模块化架构在资源受限环境下的最优配置策略。 Q6: 总结一下论文的主要内容该论文针对大语言模型（LLM）在自动化事实核查中的可靠性缺陷，提出了一种模块化四阶段流水线 **R2VC**（Retrieve, Reason, Verify, Calibrate），并在大规模 Wikipedia 基准上进行了系统验证。以下是主要内容概括： —- ### 1. 研究背景与核心问题现有 LLM 事实核查系统多采用端到端 prompting，将证据检索、推理判断与置信估计紧耦合于单次前向传播中。这种架构导致三个关键问题： - **故障不可诊断**：检索错误、推理偏差与校准失准相互纠缠，难以定位失败根因； - **高置信幻觉**：检索阶段返回的错误实体证据（wrong-entity evidence）可使模型产生自信的虚假判断； - **弃权机制缺失**：缺乏显式且经过校准的置信度来支持选择性预测与安全弃权。 —- ### 2. R2VC 方法框架 R2VC 将事实核查解耦为四个可独立优化、替换与诊断的模块： #### (1) 混合证据检索（Retrieve）采用稀疏检索器 R_s （BM25）与稠密检索器 R_d 双路召回，对分数独立进行 min–max 归一化后加权融合：

r(e mid c) = α r_s(e) + (1-α)r_d(e)
其中 $α ∈
0,1
为插值权重，最终保留 Top- K 段落构成证据池 E(c) 。 #### (2) 结构化候选生成（Reason）基于 Llama-3.1-8B-Nemotron-Nano，先在 VitaminC 上进行监督微调（SFT），再通过直接偏好优化（DPO， β = 0.2 ）对齐引用质量与标签正确性。推理时，对每条声明从 E(c) 中随机采样最多 16 个证据子集，配合 16 组多样化解码配置生成 k=16$ 个结构化候选：

z = langle z.label, z.rationale, z.citations, z.passages rangle

(3) 外部 NLI 验证（Verify）引入独立的交叉编码器 NLI 模型（DeBERTa-v3-large）作为外部验证器。对每个候选 z 的证据段落计算蕴含概率 (p(contr), p(neut), p(ent)) ，并聚合为多维信号：最大蕴含 s(ent) 、最大矛盾 s(contr) 、Top-6 覆盖率 s(cov) 、引用有效性 s(cit) 、标签一致性 s(cons) 与引用对齐度 s_(align) 。综合验证分数为：

s(ver)(z) = 0.6 s(ent) + 0.2 s(cov) - 0.3 max(0, s(contr) - s(ent)) + 0.1 s(cons) + 0.1 s(align) - 0.1 (1 - s(cit))

(4) 序列似然校准与弃权（Calibrate）训练一个逻辑回归校准器 fφ ，将验证分数、生成对数概率、候选间一致性等特征映射为校准置信度 π_i = fφ(features(z_i)) 。最终通过两阶段阈值机制决策：

y = y(i^star), & if π(i^star) ≥ τ(cal) land s(ver)(i^star) ≥ τ(ver) UNCERTAIN, & otherwise
其中 i^star = argmax_i π_i ， τ(ver) = 0.55 ， τ_(cal) = 0.60 。 —- ### 3. 主要实验结果在固定 8B 参数规模下，R2VC 在 Wikipedia 事实核查基准上取得以下结果： - **FEVER**：Llama-3.1-Nemotron-8B + R2VC 达到 **84.71%** 准确率与 **85.68** Macro-F1，较同尺寸基线提升 13.74%；Brier 降至 **0.083**，ECE 降至 **0.0125**。 - **VitaminC**：准确率达 **99.78%**，Macro-F1 达 **99.82%**，校准指标同步最优。 - Qwen3-8B + R2VC 同样取得显著提升（FEVER: 83.44%），表明增益源于流水线设计而非单纯规模扩张。 —- ### 4. 消融研究通过组件移除实验量化了各模块贡献（Table 2）： - **移除验证器候选选择**：FEVER 准确率跌至 **76.24%**（-8.47），为最大单项损失，证明外部 NLI 选择是性能核心驱动力； - **移除置信度校准**：FEVER Brier 分数几乎翻倍至 **0.161**，ECE 升至 0.0312，说明 SLC 对置信可靠性至关重要； - **单候选生成**：准确率降至 78.78%，验证了多样本生成与选择的必要性； - **移除 DPO**：造成较小但一致的退化，对校准与标签对齐仍有正向作用。 —- ### 5. 错误分析对 250 例错误预测进行分层抽样与人工标注（Figure 3），发现： - **检索失败**是主导瓶颈，尤其以 `wrong_entity_page`（同名异实体）最为突出； - 检索失败常伴随**过度自信**（overconfidence），而证据不足/模糊案例则呈现低置信度与主动弃权； - 标签转换模式以 **SUPPORTS/REFUTES → UNCERTAIN** 为主，直接极性翻转（SUPPORTS ↔ REFUTES）相对少见； - 验证器错误多表现为 NLI 标签翻转（NLI label flip）。 —- ### 6. 结论与未来方向 **结论**：R2VC 通过严格解耦检索、生成、验证与校准，显著提升了开放域事实核查的预测准确性与置信度可靠性。模块化设计不仅带来性能增益，更使系统行为可诊断、组件可独立升级。当前主要瓶颈仍在于检索质量，尤其是实体消歧。 **未来可探索方向**包括： - 在推理专用模型、MoE 架构及多模态证据上扩展验证； - 迁移至开放网络检索（FacTool-QA、BingCheck）及更具挑战性的对抗基准（DEFAME、FactLens）； - 引入显式实体消歧模块与多跳证据链构建，缓解 `wrong_entity` 与 `multi_hop_needed` 错误； - 利用扩展错误分类法设计细粒度训练信号（如惩罚错误实体检索、奖励最小充分引用），并探索验证器评分的自动化学习； - 研究自适应阈值与模块级预算控制，优化延迟–准确率权衡。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Dhruv Dixit, Paritosh Pandey

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.11955.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.11955

Published: 2026-09-15T01:54:21.323Z

2. What Counts as a Mistake? Annotating Recitation Events in Quran Memorization Transcripts

Abstract:Checking Quran recitation from an ASR transcript requires distinguishing unresolved mistakes from repetitions, repairs, opening formulas and accepted spelling differences. We report a completed human annotation of 100 production recording cases: 348 scored units and 162 localized events across ten combined labels. An executable evaluator scores labels and word positions together. A plain diff reaches label-aware F1 0.525 and localization F1 0.826; adapted production cleaner/alignment components reach 0.518 and 0.786, with exact-span F1 0.505 for both. Correcting the adapter’s word coordinates recovers all five annotated repetition events, showing why annotation interfaces must be checked before interpreting baseline failures. In a preliminary pilot, eight single 20-minute runs across three coding agents and eight models span label-aware F1 0.143 to 0.892: seven land far above every baseline, and one collapses below the naive diff from a missing normalization step. Across the six, 970 of 972 gold-event instances draw an overlapping prediction, so what remains is not detection but convention: span extent, and the labels whose boundary is stipulated by adjudication rather than visible in the text. Seven of 162 events defeat all six same-day runs, five of them one orthographic rule, and the strongest run still misses the same ones. No run annotated before building, so the pilot measures the algorithm half of the task only.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12085 (timeout of 15000ms exceeded)

Authors: Mohamad Al Mdfaa, Nursultan Askarbekuly, Ahmed Helaly, Ubai Sandouk, Manuel Mazzara

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12085.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12085

Published: 2026-09-15T01:54:21.323Z

Abstract:Development and humanitarian organizations produce and support surveys, administrative registries, and other data resources to inform research, policy, and operations, yet systematically identifying where these datasets are referenced remains difficult. Such references are dispersed across research papers, project documents, humanitarian reports, and other unstructured text, limiting both the ability to trace data use and to identify potential gaps in data availability or dissemination. We present a weakly supervised framework for adapting dataset extraction to forced displacement and Fragile, Conflict, and Violence (FCV) documents without first constructing a large manually labeled training corpus. A lightweight model trained on general research literature generates candidate dataset mentions from unlabeled domain documents, which a frontier large language model (LLM) reviews in context, validating or rejecting candidates and correcting their extraction boundaries. The resulting annotations are supplemented with targeted synthetic and contrastive examples and used to fine-tune the lightweight model for large-scale extraction. We evaluate the resulting model on an independent gold-standard benchmark of 1,706 text passages spanning research, humanitarian, and operational documents. Across the full benchmark, the model achieves 74.1\% precision and 70.5\% recall at the mention level; among passages containing dataset references, precision reaches 89.5\%. At the passage level, the model achieves 88.2\% accuracy and 88.6\% specificity in distinguishing passages with dataset references from those without them. These results demonstrate a practical approach for constructing domain-specific supervision when labeled data are limited, and provide a technical foundation for larger-scale analysis of data use and potential gaps in the displacement data landscape.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12107 (HTTP 429)

Authors: Rafael Macalaba, Aivin V. Solatorio, Patrick Michael Brock, Olivier Dupriez

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12107.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12107

Published: 2026-09-15T01:54:21.323Z

4. The Cost of Compression: A Rate-Distortion Limit on Factual Hallucination

Abstract:Factual hallucination in closed-book question answering is often treated as a coverage problem: a model fails because the relevant fact is absent from its internal memory. This view misses a second source of error. Even when a fact has been observed, finite memory may force it to be stored only approximately. We study this effect through a simple coverage—compression model of factual recall. We consider an unstructured question-answering task with $N$ possible queries and $K$ possible answers. A learner observes $M$ training facts, compresses them into at most $B$ bits, and answers uniformly drawn test queries without retrieval. For a uniformly random ground-truth mapping, we prove $\mathcal{E} \geq \frac{M}{N}\delta^\star!\left(\frac{B}{M}\right) + \left(1-\frac{M}{N}\right)\left(1-\frac{1}{K}\right)$, where $\delta^\star(r)$ is the inverse rate-distortion function of a uniform $K$-ary source under zero-one loss. The two terms separate compression distortion on observed facts from missing coverage on unobserved facts. The bound gives a compact way to reason about selective memory, forced compression, structure, retrieval, abstention, and long-context organization. We study the predicted signatures with theory-implied simulations and controlled fact-injection probes in modern language models that vary fact load and effective trainable memory. The result is not a complete theory of hallucination, but an information-theoretic account of a separable failure mode: lossy recall of observed facts under finite memory.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*闭卷问答中事实幻觉（factual hallucination）的来源界定与量化问题\*\*，特别是挑战了将事实错误仅归因于"训练数据缺失"（missing coverage）的传统观点。具体而言，论文试图澄清并回答以下核心问题： ### 1. 核心问题：事实幻觉是否仅由"未见过"导致？传统解释将闭卷事实错误视为\*\*覆盖问题\*\*（coverage problem）——即模型出错是因为相关事实从未出现在训练数据中，或未能被有效存入参数记忆。该论文指出，这一视角\*\*忽略了第二个独立的错误来源\*\*： - \*\*缺失覆盖（Missing Coverage）\*\*：测试查询对应的事实确实未在训练中出现，模型只能随机猜测。 - \*\*压缩失真（Compression Distortion）\*\*：事实虽在训练中被观察到，但由于有限记忆容量（ B 比特）必须被有损压缩存储，导致回忆时产生失真。 ### 2. 理论框架：覆盖–压缩权衡为形式化上述两种机制，论文建立了一个\*\*覆盖–压缩模型\*\*（coverage–compression model）： - 设查询空间大小为 N ，答案空间大小为 K ； - 真实映射 g: Q to A 均匀随机抽取，消除语义规律性； - 学习者观察 M 个训练事实，将其压缩至最多 B 比特的记忆状态； - 在测试时无检索地回答均匀抽取的查询。论文证明了一个\*\*率失真下界\*\*（rate-distortion bound）：

E ≥ (M) / (N) δ^(star)!((B) / (M)) + (1 - (M) / (N))(1 - (1) / (K))
其中： - 第一项 (M) / (N) δ^(star)(B/M) 刻画**已观察事实在有损压缩下的回忆误差**； - 第二项 (1 - (M) / (N))(1 - (1) / (K)) 刻画**未观察事实的猜测误差**。 ### 3. 诊断与验证论文进一步将理论转化为**可测量的诊断框架**： - **观察查询误差**（Observed-query error）：直接测量压缩失真； - **未观察查询误差**（Unobserved-query error）：测量缺失覆盖； - **全空间误差**（Full-space error）：反映二者的混合效应。通过在现代语言模型中进行**控制性事实注入实验**（varying fact load M and effective memory via LoRA rank），论文验证了以下理论预测： - 在固定有效记忆下，增加独立事实负载会提高观察查询误差（压缩过载）； - 增加记忆预算（如提高 LoRA rank）可将高误差过渡点推向更大的事实负载； - 引入结构（如一个基础事实支持多个派生查询）可通过减少需独立存储的事实数量来缓解失真。 ### 4. 边界与定位论文明确将自身定位为**一个可分离失效模式的机理分析**，而非完整的幻觉理论。其目标是证明： > 在有限有效记忆下，**已观察事实的有损回忆是一个与”未覆盖”独立且可分离的失败模式**，并可用信息论工具精确刻画其下界。简言之，该论文试图证明：**事实幻觉不仅因为”没见过”，也因为”见过但存不下/存不准”**。 Q2: 有哪些相关研究？与这篇论文相关的研究主要分布在以下几个方向： ### 1. 事实幻觉评估与基准构建这类研究为论文提供了现象基础，即大语言模型在各类闭卷问答任务中仍普遍存在事实错误。相关基准包括： - **短文本事实性**：Wei et al. (2024a) 测量短形式事实性； - **长文本事实性**：Wei et al. (2024b) 与 Liu et al. (2025, Verifact) 评估长篇生成中的事实准确性； - **知识图谱与结构化评估**：Liu et al. (2024b) 利用大规模知识图谱评估事实性； - **对话级与开放域评估**：Luo et al. (2024, Halludial) 和 Zhao et al. (2024, Wildhallucinations) 关注对话场景和真实世界实体查询中的幻觉； - **动态与细粒度基准**：Bayat et al. (2024, Factbench) 与 Jacovi et al. (2025, Facts Grounding Leaderboard) 提供动态或长文本输入下的细粒度事实性评测。 ### 2. 检索增强生成（RAG）与外部知识这类方法试图通过将部分事实负担从参数记忆转移到外部证据来缓解幻觉，对应论文中的”缺失覆盖”（missing coverage）问题： - **RAG 改进**：Yan et al. (2024) 提出矫正性检索增强生成；Edge et al. (2024) 提出图 RAG 方法进行查询聚焦摘要； - **RAG 诊断与最佳实践**：Ru et al. (2024, RAGchecker) 与 Wang et al. (2024) 提供细粒度诊断与最佳实践检索； - **微调与多源检索**：Lee et al. (2025) 微调语言模型以抵抗 RAG 中的幻觉；Wu et al. (2025) 提出多源检索框架 MultiRAG。 ### 3. 知识存储、编辑与容量 Scaling Laws 这是与论文**压缩失真**（compression distortion）核心论点最直接相关的领域，涉及参数记忆作为有限资源的约束： - **新知识微调与幻觉**：Gekhman et al. (2024) 研究在 LLMs 上微调新知识是否会鼓励幻觉； - **知识编辑的局限**：Huang et al. (2024) 质疑知识编辑是否真正纠正了幻觉； - **知识容量 Scaling Laws**：Allen-Zhu and Li (2024) 研究语言模型知识容量的物理规律； - **记忆化与量化影响**：Morris et al. (2025) 测量语言模型的记忆化程度；Zhou et al. (2025) 研究后训练量化模型中的任务分层知识 scaling laws。 ### 4. 长上下文与上下文内学习论文将覆盖–压缩框架类比到长上下文场景，即事实虽存在于提示中，但仍可能因工作记忆或注意力有限而产生竞争： - **长上下文基准**：Hsieh et al. (2024, RULER)、Zhang et al. (2024, ∞Bench)、Bai et al. (2024, LongBench v2) 与 Li et al. (2024a, NeedleBench) 评估超长上下文下的检索与推理； - **非字面匹配与长上下文学习**：Vodrahalli et al. (2024, Michelangelo) 与 Modarressi et al. (2025, NoLIMA) 关注潜在结构查询和非字面匹配；Li et al. (2024b) 发现长上下文 LLMs 在长距离上下文学习中存在困难。 ### 5. 信息论与率失真理论论文的理论基础建立在经典信息论上： - **率失真理论奠基**：Shannon (1959) 的离散源编码定理奠定了在保真度准则下的编码极限； - **现代信息论参考**：Cover and Thomas (2006) 提供了标准教材中对均匀 K 元源在汉明失真下率失真函数的推导。 ### 6. 参数高效微调（PEFT）论文的实验探针依赖于可控的记忆代理来实现事实注入： - **LoRA 与变体**：Hu et al. (2022) 提出的低秩适应（LoRA）被用作有效可训练记忆容量的代理；Liu et al. (2024a) 提出的 DoRA（权重分解低秩适应）也在相关实验配置中被引用。 Q3: 论文如何解决这个问题？该论文并未提出一种消除事实幻觉的算法，而是通过**信息论建模、率失真下界证明与受控实验探针**，将闭卷事实幻觉分解为两种可分离的机制，并提供可测量的诊断框架。具体解决路径如下： —- ### 1. 理论建模：建立覆盖–压缩分解框架为隔离“有限记忆导致的已观察事实失真”这一独立失效模式，论文构建了一个 deliberately minimal 的随机源模型（random-source model）： - 设查询空间 |Q| = N ，答案空间 |A| = K ； - 真实映射 g: Q to A 从所有 K^N 个映射中均匀随机抽取，从而消除语义、逻辑与分布冗余（semantic shortcuts）； - 学习者观察到 M 个训练事实，将其压缩至最多 B 比特的内部记忆状态 W ； - 测试时，学习者在**无外部检索**条件下回答均匀抽取的查询。在此零模型（null model）下，任何正确预测都必须来自被压缩存储的信息，而非先验规律。论文将期望全空间误差 E 分解为两个可加项：

E = (M) / (N) δ^(star)!((B) / (M))(已观察事实的压缩失真) + (1 - (M) / (N))(1 - (1) / (K))(未观察事实的缺失覆盖).
这一分解直接回答了一个被忽视的问题：**即使事实已被观察到，有限记忆下的有损压缩仍会导致非零的回忆错误底噪**。 —- ### 2. 信息论下界：率失真极限量化论文利用经典率失真理论（rate-distortion theory）对两种错误来源进行严格量化： - **缺失覆盖项**：对于 q ∉ S （未观察查询），标签 g(q) 与记忆 W 独立，最优策略只能随机猜测，错误率为 1 - 1/K 。该项不依赖于记忆预算 B 。 - **压缩失真项**：对于已观察事实，条件化训练集 S 后，观测标签 X_S 是 M 个独立的均匀 K 元符号。将其压缩至 B 比特并重建，构成一个标准信源编码问题。均匀 K 元源在零一失真下的率失真函数为：

RK(D) = log_2 K - h_2(D) - Dlog_2(K-1),
其中 h_2(D) 为二元熵函数。定义其逆函数
δ^(star)(r) = ∈fD ≥ 0 : R_K(D) ≤ r,
则每事实分配 r = B/M 比特时，可实现的最小重建错误恰好为 δ^(star)(B/M) 。由此，论文证明了 **Theorem 3.1（Coverage–Compression Bound）**：
E ≥ (M) / (N) δ^(star)!((B) / (M)) + (1 - (M) / (N))(1 - (1) / (K)).
该定理给出了在自由寻址（free-addressing）约定下，任何学习者的错误下界，并表明：当 B/M < log_2 K 时，即使训练中出现过的 queried facts 也存在不可消除的失真底噪。 —- ### 3. 诊断框架：设计可分离的测量指标为了将理论转化为可操作的诊断工具，论文定义了三类可独立测量的误差指标，分别对应两种机制及其混合： - **Observed-query error**：在已注入/已观察事实上的错误率，直接诊断**压缩失真**（lossy recall）； - **Unobserved-query error**：在未注入/未观察实体上的错误率，直接诊断**缺失覆盖**（missing coverage）； - **Full-space error**：在混合查询分布上的平均错误率，反映二者的联合效应。通过同时报告这三项，研究者可判断：模型出错是因为“没见过”（unobserved error 接近 1-1/K ），还是因为“见过但存不准”（observed error 随事实负载上升而上升）。 —- ### 4. 实验验证：受控事实注入探针为验证理论预测的信号（signatures），论文设计了两类互补的实验： #### (a) 理论包络模拟通过数值反演 R_K(D) 计算 δ^(star)(r) ，论文显式绘制了在不同记忆预算 B 、事实负载 M 与结构条件（deductive closure）下的理论误差包络。这些模拟并非语言模型测量，而是用于预先明确“若模型受限于理想率失真极限，其行为几何应如何”。 #### (b) 现代语言模型中的受控探针论文在真实模型（如 Qwen3-8B/32B、Qwen3-30B-A3B、DeepSeek-R1-Distill-Qwen-32B）上执行**合成事实注入**（synthetic fact injection）： - **控制变量 1——事实负载 M **：注入 M 条独立的合成实体–标签映射 e_i mapsto a_i （ a_i ∈ 0,dots,K-1 ，通常 K=10 ）； - **控制变量 2——有效记忆预算**：通过改变 LoRA 适配器的秩（rank）作为**有效可训练记忆容量的代理**（proxy），模拟不同的压缩瓶颈； - **评估分裂**： - `seen-direct` / `seen-paraphrase` / `seen-relation`：测试已观察事实在不同查询形式下的鲁棒性； - `unseen-entity`：测试未观察事实的误差基线。 #### 验证到的核心信号包括： 1. **压缩过载**：在固定 LoRA rank 下，随着 M 增加，observed-query error 上升，逐渐逼近 1 - 1/K （随机猜测水平）； 2. **容量平移**：提高 LoRA rank（增大有效记忆预算）可将高误差过渡点推向更大的 M ； 3. **缺失覆盖基线**：unseen-entity 错误率始终接近 0.9 （ K=10 时的随机猜测水平），与理论第二项一致； 4. **查询形式鲁棒性**：paraphrase 与 relation-rephrased 查询比 direct 查询更早退化，说明有损存储不仅导致错误，还降低了对查询扰动的鲁棒性； 5. **结构缓解**：引入 deductive closure（一个基础事实支持 c 个派生查询）可减少需独立压缩的符号数量，从而延迟压缩过载。 —- ### 5. 机制拓展：类比至长上下文与干预模块论文进一步将同一诊断视角拓展至其他场景，并解释常见干预手段的信息论作用： - **检索（Retrieval）**：将事实移出参数记忆，把瓶颈从 B 转移到检索与验证模块； - **弃权（Abstention）**：通过拒绝低置信度查询，将操作点移至更小的“已回答查询空间”，从而在固定的 B 下提高有效每事实比特率； - **结构/推理（Structure/Reasoning）**：利用 deductive closure 减少必须独立存储的 base facts 数量，等价于在公式中引入覆盖率乘数 c ； - **长上下文组织（Long-context organization）**：将参数记忆的覆盖–压缩瓶颈类比到上下文内工作记忆——即使事实存在于提示中，过多的独立 key–value facts 仍会在有限的注意力或工作记忆预算 B(ctx) 下竞争，导致类比的失真。 —- ### 总结简言之，论文通过**“建立零模型 → 证明率失真下界 → 设计分离诊断指标 → 在受控探针中验证特征信号”**这一路径，将传统上混为一谈的“事实幻觉”拆分为**缺失覆盖**与**压缩失真**两个可分离、可测量的失效模式，从而为解决（更准确地说是**界定与诊断**）闭卷事实幻觉提供了信息论基础与实验方法论。 Q4: 论文做了哪些实验？该论文的实证研究围绕**诊断压缩失真与缺失覆盖这两种可分离机制**展开，采用“理论包络模拟 + 受控模型探针”的双重策略。所有真实模型实验均使用合成事实注入（synthetic fact injection），通过构造已知的实体–标签映射来精确测量 observed-query error 与 unobserved-query error。 —- ### 1. 核心诊断指标在每项实验中，论文均区分以下三类误差，以分离两种失效模式： - **Observed-query error**：已注入/已观察事实上的错误率，用于诊断**压缩失真**（lossy recall）； - **Unobserved-query error**：未注入实体上的错误率，用于诊断**缺失覆盖**（missing coverage）； - **Full-space error**：在混合查询分布上的平均错误率，反映二者的联合效应。 —- ### 2. 理论包络模拟（Theory-Implied Envelope）这部分并非语言模型实测，而是通过数值反演均匀 K 元源的率失真函数 R_K(D) ，计算理论下限 δ^(star)(r) ，从而显式绘制不同设定下的误差几何： - **非结构化强制压缩**（Unstructured forced compression）：代入

E(forced)(M) = (M) / (N)δ^(star)!((B) / (M)) + (1 - (M) / (N))(1 - (1) / (K))
展示在固定记忆预算 B 下，随着事实负载 M 增加，missing coverage 项减小但 compression distortion 项增大。 - **演绎闭包结构**（Deductive closure）：假设一个基础事实支持 c 个派生查询，计算
E(struct)(M) = (cM) / (N)δ^(star)!((B) / (M)) + (1 - (cM) / (N))(1 - (1) / (K))
说明结构如何减少需独立压缩的符号数量。 - **长上下文类比**（Long-context analogue）：计算条件回忆误差
E(ctx)(M(ctx)) = δ^(star)!(B(ctx)M(ctx))
作为 in-context 事实竞争有限工作记忆的理论参照。这些模拟的结果汇总于正文 Table 2 及附录 Table 3–5。 —- ### 3. 容量控制事实注入（Capacity-Controlled Fact Injection）这是最核心的真实模型实验，用于验证“在固定有效记忆下，增加独立事实负载会提高 observed-query error”这一理论预测。 - **模型**：Qwen3-8B。 - **操控变量**： - 注入事实数量 M ∈ 512, 2048, 8192, 28672 ； - LoRA rank 作为有效可训练记忆代理： r ∈ 4, 16, 64 。 - **任务**：学习随机生成的实体字符串到标签 ai ∈ 0, dots, 9 （ K=10 ）的映射，答案机会水平为 1 - 1/K = 0.9 。 - **评估**：`seen-direct` 查询上的错误率。 - **主要发现**： - 在固定 rank 下，随着 M 增加，observed-query error 逐步上升，逼近机会水平； - 更高的 LoRA rank（更大的有效记忆预算）将高误差过渡点推向更大的 M 。 - **对应图表**：Figure 2；附录 Table 11 提供数值结果。 —- ### 4. 固定 Rank 下的跨模型比较为验证压缩过载信号不仅限于单一检查点，论文在多个模型族上保持相同的适配器秩（rank 16），并变化事实负载。 - **模型**：Qwen3-8B、Qwen3-32B、Qwen3-30B-A3B（MoE）、DeepSeek-R1-Distill-Qwen-32B。 - **评估**：`seen-direct` 错误率。 - **主要发现**：不同模型的过渡点存在差异，但趋势一致——在固定适配容量下，增加独立注入事实数量均导致 observed-query error 上升。 - **对应图表**：Figure 3；附录 Table 12。 —- ### 5. 查询形式鲁棒性（Query-Form Robustness）该实验旨在排除“模型仅记忆了训练模板”的替代解释，并检验有损存储对查询扰动的脆弱性。 - **模型**：DeepSeek-R1-Distill-Qwen-32B，LoRA rank = 16。 - **评估分裂**： - `seen-direct`：直接查询； - `seen-paraphrase`：同义改写查询； - `seen-relation`：关系改写查询（限定为具有唯一目标答案的形式）； - `unseen-entity`：未注入实体（作为缺失覆盖基线）。 - **主要发现**： - `unseen-entity` 始终接近机会水平（约 0.9），证实缺失覆盖项； - `seen-paraphrase` 与 `seen-relation` 比 `seen-direct` 更早出现性能退化，说明压缩失真不仅导致错误，还损害了对查询形式变化的鲁棒性。 - **对应图表**：Figure 4；附录 Table 13。 —- ### 6. 结构化 vs. 非结构化事实负载该实验验证“推理/结构可减少需独立存储的基础事实数量，从而缓解压缩过载”的理论预测。 - **非结构化条件**：每个表面查询对应独立的随机标签，需全部独立压缩。 - **结构化条件（演绎闭包）**：引入闭包因子 c=10 ，即每个基础事实通过确定性一对一变换支持 10 个派生查询。表面查询数相同，但独立基础事实数约为表面查询数的 1/10 。 - **主要发现**：在相同表面查询数量下，结构化条件的错误率显著更低，压缩过载点被明显延迟。 - **对应图表**：Figure 5；附录 Table 14。 —- ### 7. 长上下文类比实验（Long-Context Analogue）该实验将相同的诊断视角从参数记忆拓展至上下文内（in-context）记忆，测试“即使事实存在于提示中，大量事实竞争有限的有效工作记忆或注意力也会导致类似失真”。 - **模型**：Kimi-K2-Instruct 与 GLM-5（仅作为前沿模型的定性参考）。 - **设置**：在提示中放置大量 in-context key–value 事实，随后用**非字面**（non-literal）提示查询位于上下文**中间位置**的目标事实。 - **主要发现**：随着上下文内事实数量增加，回忆错误率上升，呈现出与参数记忆场景类似的“竞争效应”。 - **对应图表**：Figure 6。 —- ### 8. 实验环境与配置补充所有事实注入探针均在 8× NVIDIA A100-SXM4-80GB 节点上运行，使用 LoRA 适配（目标模块 q_proj, v_proj, o_proj），bf16 精度，确定性解码（temperature = 0）。合成事实的数据构造、训练超参数、各模型学习率与批次大小，以及基于种子 3407, 2025, 1337 的均值 ± 标准误报告，均详见附录 C 与 Table 6–10。 Q5: 有什么可以进一步探索的点？基于该论文的覆盖–压缩框架与局限，以下方向值得进一步探索： —- ### 1. 超越随机源模型：结构化与相关性事实的率失真理论论文采用均匀随机映射作为**零模型**以消除语义捷径，但真实知识具有逻辑、层级与时序结构。后续可建立**非独立同分布源**的率失真模型： - **层级化事实网络**：若基础事实之间存在贝叶斯依赖（如“若 A 则 B ”），编码时可利用边信息降低有效源熵。需推导在给定知识图谱结构下的条件率失真函数 R(K|G)(D) 。 - **事实冲突与不一致性**：当训练数据包含矛盾标签（如不同时间戳或来源的冲突事实），源不再是纯净的均匀分布。可引入**对抗性源编码**或**多假设编码**框架，量化模型在冲突证据下的最小必要记忆预算与不可避免的混淆误差。 - **动态事实与概念漂移**：真实世界知识持续更新。可将压缩框架拓展为**率失真–遗忘权衡**（rate-distortion–forgetting trade-off），分析在有限比特预算下存储新事实与保留旧事实的最优编码策略。 —- ### 2. 有效记忆预算 B 的神经级度量论文将 B 视为抽象比特数，并使用 LoRA rank 作为可控代理。一个关键的开放问题是：**如何从模型权重或激活中直接估计参数记忆的实际可用比特数？** - **信息论启发的模型压缩度量**：通过测量微调后权重矩阵的有效秩（effective rank）、Fisher 信息矩阵的迹，或基于向量量化（VQ）重构事实标签所需的码本大小，来经验性估计 B 。 - **模块级容量异质性**：不同层（early vs. late）、不同模块（MLP 中间神经元 vs. 注意力头）可能具有不同的事实存储效率。可通过**受控分区注入**（如仅在特定层插入 LoRA）结合论文的诊断指标，绘制“每层事实容量地图”。 - **过参数化与稀疏存储**：大模型存在大量冗余参数。可探索**彩票 ticket 假设**在事实记忆中的应用：是否存在一个稀疏子网络，其事实存储容量接近完整模型，但有效 B 远小于总参数量？ —- ### 3. 压缩失真的内部机制解释（Mechanistic Interpretability）论文证明了压缩失真的存在，但未揭示其在网络内部的具体实现形式。可结合机制可解释性方法： - **事实存储的局部化**：通过因果干预（如 knock-out 特定 MLP 神经元或注意力头），测量 observed-query error 的上升幅度，从而识别承担“有损编码器/解码器”功能的子电路。 - **表征的几何结构**：探查事实标签在隐藏状态空间中的聚类结构。若模型确实执行率失真编码，则低记忆预算下应观察到**类别边界模糊化**（classification margin shrinkage）或**表征塌陷**（representation collapse）。 - **压缩码的显式建模**：尝试训练外部自编码器来逼近模型内部状态，检验其是否呈现类似 δ^(star)(B/M) 的失真–速率曲线。 —- ### 4. 最优记忆分配与选择性存储策略论文指出，有限记忆并不必然导致更多数据有害——**选择性记忆**（selective memory）可实现饱和而非退化。这提示了算法设计空间： - **自适应比特分配**：根据事实的查询频率或重要性，为不同事实分配不等量的记忆预算（unequal rate allocation）。可借鉴**反向注水**（reverse water-filling）或**加权率失真理论**，推导在查询分布非均匀时的最优 Bi 分配。 - **元学习记忆策略**：训练一个元控制器，决定哪些事实应被 losslessly 存储、哪些应被有损压缩、哪些应被放弃，以在下游问答分布上最小化期望误差。 - **课程式事实注入**：在持续学习场景下，设计课程使模型先掌握结构化基础事实（高 c 值），再扩展派生查询，以最大化每比特的查询覆盖率。 —- ### 5. 检索增强与参数记忆的联合率失真模型论文将检索视为将事实移出参数记忆的干预手段，但未定量刻画**混合系统**的最优分工： - **联合预算优化**：设总预算为 B(total) = B(param) + B(∈dex) （参数记忆 + 检索索引/上下文带宽）。在给定事实分布下，最优的 B(param) / B(total) 比例如何随事实总量 M 变化？ - **检索感知的参数压缩**：若模型知晓某些事实可通过检索获得，其内部编码策略是否应改变？可建立**带边信息的率失真理论**（Wyner-Ziv 或 Slepian-Wolf 设定），分析参数记忆在已知存在外部数据库时的最优有损编码。 - **验证开销的纳入**：检索不仅涉及存储，还涉及验证成本。可将检索–验证链路的延迟/计算预算纳入统一的率失真–资源权衡框架。 —- ### 6. 长上下文场景下的工作记忆率失真理论论文将长上下文作为定性类比，但 in-context 记忆与参数记忆具有不同约束： - **注意力瓶颈作为有效 B(ctx) **：上下文长度增加时，softmax 注意力熵、KV-cache 的有限精度或位置编码的远距离衰减可能共同构成有效工作记忆预算。需建立**上下文内率失真模型**，将 B(ctx) 与注意力头数、维度及序列位置关联。 - **非字面检索的失真曲线**：论文指出非字面匹配（non-literal matching）加剧长上下文困难。可量化“查询–键语义距离”与成功检索所需的最小信噪比，进而推导在给定查询扰动水平下的上下文容量极限。 - **多跳推理的中间状态压缩**：在多步推理中，中间结论本身是需要被压缩存储的“派生事实”。可分析链式推理（chain-of-thought）中的误差累积是否服从级联的率失真边界。 —- ### 7. 跨语言与多模态事实压缩论文框架原则上可拓展至非文本模态： - **跨语言知识共享的压缩效率**：多语言模型中，同一事实在不同语言间可能共享底层表征。可测量“每事实–每语言”的有效比特率，分析语言间的迁移是否起到类似 deductive closure 的结构化作用（降低独立事实负载）。 - **视觉–语言事实**：在 VQA 等多模态任务中，事实涉及图像区域与文本标签的联合编码。需建立**多模态率失真理论**，量化视觉令牌与语义标签联合压缩时的失真来源。 —- ### 8. 从诊断指标到实时监控系统论文提出的 observed-query / unobserved-query 误差分解具有作为**运行时分级器**（runtime hallucination detector）的潜力： - **在线过载检测**：在模型部署阶段，通过维护一个小的“校准事实集”并持续测量其 observed-query error，可构建早期预警系统——当误差开始偏离 lossless 区域时触发检索或弃权。 - **置信度校准与率失真的关联**：检验模型输出的 softmax 置信度是否与 δ^(star)(B/M) 预测的理论失真相关。若存在系统偏差，可设计基于信息论的校准方法，使置信度直接反映压缩失真概率。 —- ### 总结这些方向共同指向一个核心议程：**将覆盖–压缩框架从“解释性下界”发展为“预测性设计工具”**。无论是通过更精细的神经度量来标定 B ，还是通过最优分配算法来操控 B/M 的操作点，最终目标都是使率失真理论成为指导事实存储、检索与更新决策的量化工程原则。 Q6: 总结一下论文的主要内容这篇论文研究闭卷问答中的事实幻觉问题，提出事实错误不仅源于训练数据缺失（missing coverage），还源于有限记忆下的有损压缩（compression distortion）。以下从研究背景、理论框架、主要结果、实证验证与核心贡献五个方面进行总结。 —- ### 1. 研究背景与核心问题闭卷问答中，大语言模型常在无外部检索的情况下产生事实幻觉。传统解释将其归因于“覆盖不足”——即相关事实未出现在训练数据中。该论文指出，这一视角不完整：即使事实已被观察到，**有限参数记忆仍可能迫使模型对其执行有损压缩**，导致回忆时产生失真。因此，事实幻觉应被分解为两个可分离的失效模式： - **缺失覆盖**：测试查询对应的事实从未被观测，模型只能随机猜测； - **压缩失真**：事实虽在训练中出现，但受限于比特预算，存储表征过于粗糙而无法被正确召回。 —- ### 2. 理论框架：覆盖–压缩模型为隔离上述效应，论文建立了一个最小化的随机源模型： - 设查询空间大小为 N ，答案空间大小为 K ≥ 2 ； - 真实映射 g: Q to A 从所有 K^N 个可能映射中**均匀随机抽取**，从而消除语义、逻辑与分布捷径； - 学习者观测 M 个训练事实，将其编码至最多 2^B 种可能的记忆状态 W （即最多 B 比特）； - 测试时，学习者需在无外部检索条件下回答均匀抽取的查询。在该零模型下，任何正确预测都必须来自被压缩存储的信息。 —- ### 3. 主要理论结果论文的核心结果为**覆盖–压缩下界**（Theorem 3.1）。在自由寻址（free-addressing）约定下，任何学习者的期望全空间误差 E 满足：

E ;≥; (M) / (N),δ^(star)!((B) / (M))(已观察事实的压缩失真) ;+; (1 - (M) / (N))(1 - (1) / (K))(未观察事实的缺失覆盖) .
其中 δ^(star)(r) 为均匀 K 元源在零一失真下的**逆率失真函数**，即每事实分配 r 比特时可实现的最小重建错误。该公式将误差严格分离为两项： - **压缩失真项**：当每事实比特率 B/M < log2 K 时，即使训练中出现过的 queried facts 也存在不可消除的失真底噪； - **缺失覆盖项**：对于未观测查询，最优策略只能随机猜测，错误率为 1 - 1/K 。论文进一步指出，有限记忆本身并不必然导致“更多数据有害”：若允许**选择性存储**（selective memory），最优学习者可将记忆集中于部分事实而忽略其余，呈现饱和或收益递减，而非必然退化。真正导致“压缩过载”（compression overload）的是**强制共享表征**——即所有 M 个观测事实必须共用固定 B 比特的瓶颈。此外，论文将框架拓展至**结构化事实**（演绎闭包）：若一个基础事实通过确定性变换支持 c 个派生查询，则有效独立事实负载降低，误差界变为
E(struct) ;≥; (cM) / (N),δ^(star)!((B) / (M)) + (1 - (cM) / (N))(1 - (1) / (K)),
表明推理结构并不消除记忆极限，但可减少需独立压缩的符号数量。 —- ### 4. 实证验证论文通过“理论包络模拟 + 受控模型探针”验证上述机制的可测量特征： **（1）理论包络模拟** 通过数值反演 K 元率失真函数 R_K(D) ，计算不同记忆预算 B 、事实负载 M 、结构因子 c 下的理论误差曲线，显式展示压缩过载与结构缓解的几何。 **（2）合成事实注入探针** 在现代语言模型（Qwen3-8B/32B、Qwen3-30B-A3B、DeepSeek-R1-Distill-Qwen-32B 等）上进行控制实验： - **变事实负载 M **：注入 M 条独立的随机实体–标签映射 e_i mapsto a_i （ a_i ∈ 0,dots,9 ， K=10 ）； - **变有效记忆预算**：通过改变 LoRA 适配器秩（rank）作为参数记忆容量的可控代理； - **多评估分裂**：`seen-direct`、`seen-paraphrase`、`seen-relation`、`unseen-entity`。验证到的核心特征包括： - **压缩过载**：固定 LoRA rank 下，observed-query error 随 M 增加而上升，逼近随机猜测水平 0.9 ； - **容量平移**：更高 rank 将高误差过渡点推向更大的 M ； - **缺失覆盖基线**：`unseen-entity` 错误率始终接近 1 - 1/K ，与理论第二项一致； - **查询形式鲁棒性**：paraphrase 与 relation-rephrased 查询比 direct 查询更早退化，表明有损存储降低了对查询扰动的鲁棒性； - **结构缓解**：引入演绎闭包（ c=10 ）使相同表面查询数下的独立事实负载减少，显著延迟过载点。 **（3）长上下文类比** 将同一诊断视角拓展至 in-context 记忆：在提示中放置大量 key–value 事实，以非字面提示查询中间位置事实。实验显示错误率随上下文内事实数量增加而上升，提示存在与参数记忆类似的有限工作记忆竞争效应。 —- ### 5. 核心贡献与意义论文的主要贡献可概括为三点： 1. **识别独立失效模式**：指出事实幻觉中存在一个与“缺失覆盖”可分离的机制——**已观察事实在有限记忆下的有损回忆**； 2. **建立信息论下界**：通过率失真理论证明覆盖–压缩权衡的紧下界，量化压缩失真与缺失覆盖如何共同决定闭卷事实误差； 3. **提出诊断框架**：将理论转化为可操作的实验指标（observed-query error vs. unobserved-query error），并在现代语言模型的受控探针中验证其预测信号。论文同时解释了常见干预手段的信息论角色：检索将事实移出参数记忆，弃权避免低置信度查询，结构/推理减少独立事实负载，长上下文组织则应对类似的工作记忆瓶颈。 —- ### 局限性论文明确其模型为刻意最小化的零模型：均匀随机映射忽略了真实知识中的语义、逻辑与分布冗余；LoRA rank 仅为有效记忆代理而非理论比特预算 B 的直接度量；实验采用合成事实注入而非开放域自然知识。因此，该框架是对一个**可分离失效模式**的信息论解释，而非事实幻觉的完整理论。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xi Wang, Shijia Xu, Rongfeng Guo

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12111.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12111

Published: 2026-09-15T01:54:21.323Z

5. Quantifying Consonant Contributions to Word Intelligibility via Acoustic Masking

Abstract:Consonants contribute unequally to whether a word is understood. Given the limited time available for therapy, ranking consonants by contribution to intelligibility helps prioritize intervention targets in motor speech disorders. However, measuring this contribution relies on perceptual studies that are difficult to scale. This paper presents a scalable method that measures consonant contribution using acoustic masking. We silence one consonant at a time in an isolated word and test whether an automatic speech recognition (ASR) model still recognizes the word. We define a consonant’s contribution score as the proportion of its masked instances for which the word becomes misrecognized, which we refer to as the mask-induced misrecognition rate (MMR). We validate MMR against two linguistic factors previously reported to correlate with consonant contribution, namely phoneme frequency and functional load. We apply this analysis across four languages, English, Spanish, German, and Czech, using three ASR architectures, MMS (encoder-only), Whisper (encoder-decoder), and Qwen3-ASR (LLM-based). Using partial Spearman correlations, we find that phoneme frequency correlates negatively with MMR while functional load correlates positively. In other words, more frequent consonants are less disruptive when masked, whereas consonants carrying more lexical contrast are more disruptive. Further cross-language analysis shows that consonant rankings are not consistent, indicating that consonant contribution is language-dependent.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12122 (HTTP 429)

Authors: Eunjung Yeo, Kwanghee Choi, Krupaben Kothadia, Visar Berisha, Julie M. Liss, David R. Mortensen, David Harwath

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12122.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12122

Published: 2026-09-15T01:54:21.323Z

6. Local Edits, Global Ripples: Replay-Informed Policy Adaptation for Workflow Synthesis

Abstract:Prompt-policy editing offers a practical way to improve agents that synthesize executable workflows without updating the underlying model. However, persistent prompt editing has two coupled properties. First, edit locality does not imply effect locality: an edit confined to one policy segment can ripple through downstream execution, altering behavior beyond the edited segment. Second, edit effects are composition-sensitive: edits that work in isolation can interfere after composition, causing one or both to lose their benefit or become harmful. Persistent adaptation must therefore support two distinct decisions: identifying where the policy should change from execution feedback, and determining whether the resulting edit remains safe to persist after composition. To address these challenges, we introduce RIPPLE (Replay-Informed Persistent Policy Localization and Editing), which separates where an edit is made from whether it remains safe after composition. It diagnoses failed trajectories, maps each actionable failure to a predefined policy segment, and restricts the correction to that part of the policy. RIPPLE then evaluates candidates against the same iteration-start policy to compare their isolated gains, before replaying promising edits after previously accepted updates to expose downstream effects and interactions. Only edits that remain safe under composition are retained. We evaluate RIPPLE on Flow-HO, a synthetic held-out benchmark for executable workflow synthesis. RIPPLE improves validation success by up to 23.1% and yields positive gains on two additional frozen language-model backbones, while maintaining edit efficiency and low execution cost. Targeted interaction analysis further demonstrates both properties: a segment-local tool-use edit changes downstream resource resolution and validation, while an edit beneficial in isolation becomes harmful after composition.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文致力于解决\*\*冻结模型（frozen-model）智能体在通过提示词策略编辑合成可执行工作流时，所面临的局部编辑非局部效应与组合安全性问题\*\*。具体而言，论文针对以下两个核心挑战展开： \* \*\*编辑局部性不蕴含效果局部性（Edit locality does not imply effect locality）\*\* 对提示词策略某一预定义片段的局部修改，其影响并不局限于该片段内部。由于智能体执行具有多轮交互特性，一个片段内的指令变更可能通过下游执行产生“涟漪效应”（ripple effects），波及工具调用、资源解析、工作流结构、验证与修复行为等远端环节，导致行为变化远超被编辑的局部范围。 \* \*\*编辑效果具有组合敏感性（Edit effects are composition-sensitive）\*\* 在孤立评估时表现有益的编辑，一旦与先前已接受的编辑组合，可能相互干扰，导致部分或全部收益被削弱，甚至产生有害后果。因此，提示词适应本质上是一个\*\*顺序策略组合问题\*\*，而非简单的一次性选择问题；孤立的局部增益不足以作为持久化的证据。这两个耦合属性要求持续适应框架必须同时支持两类决策： 1. \*\*定位编辑位置（Where to edit）\*\*：基于执行失败的轨迹反馈，将失败归因到具体的策略片段，并将修正限制在该片段内，实现失败局部化与编辑局部化。 2. \*\*验证组合安全性（Whether to persist）\*\*：在先前已接受编辑构成的演进策略上，评估候选编辑的边际效果，确保其在组合后仍然安全且有益，方可持久化。为应对上述挑战，论文提出了 \*\*RIPPLE（Replay-Informed Persistent Policy Localization and Editing）\*\* 框架。该框架通过\*\*基于回放的门控晋升机制（replay-gated promotion）\*\*，将“在哪里编辑”与“组合后是否安全”解耦：首先利用预定义的失败分类学将诊断结果映射到特定策略片段并实例化有界补丁；随后，在由先前已接受补丁构成的当前策略上重放评估候选编辑，暴露下游交互效应；仅当编辑在组合状态下仍满足奖励与正确性约束时，才将其持久化到共享策略中。 Q2: 有哪些相关研究？该论文的相关工作主要围绕\*\*自动提示词优化\*\*、\*\*验证驱动的改进\*\*、\*\*持久化技能与提示词进化\*\*，以及\*\*可执行工作流合成\*\*四个方向展开。以下依据论文附录 A 的系统梳理进行归纳： --- ### 1. 自动提示词与策略优化这类方法展示了在不访问模型权重的情况下，通过搜索、反思或进化来改进黑盒文本策略。 - \*\*搜索与文本优化\*\*：APE (Zhou et al., 2023)、OPRO (Yang et al., 2024a) 基于任务分数优化候选指令；ProTeGi/APO (Pryzant et al., 2023)、TextGrad (Yuksekgonul et al., 2024) 将自然语言反馈转化为针对性文本更新；EvoPrompt (Guo et al., 2024)、GEPA (Agrawal et al., 2025) 采用进化算法进行提示词精炼。 - \*\*结构化元提示优化\*\*：DSPy/MIPRO (Khattab et al., 2024; Opsahl-Ong et al., 2024)、SAMMO (Schnabel & Neville, 2024) 在 LLM 程序中优化指令、演示或结构化元提示片段。 - \*\*搜索、反思与自我引用\*\*：PromptAgent (Wang et al., 2024b) 通过蒙特卡洛树搜索在错误反思动作上达到专家级提示；Promptbreeder (Fernando et al., 2023) 在 LLM 评分下共同进化任务提示与变异提示；SPO (Xiang et al., 2025) 利用成对 LLM 评判实现无需参考标签的自我监督提示优化。 - \*\*轨迹级优化\*\*：Agent Symbolic Learning (Zhou et al., 2024) 将文本梯度视角扩展到整个智能体参数（提示、工具、流水线结构）；Trace / OptoPrime (Cheng et al., 2024) 将执行轨迹与丰富的文本反馈视为“梯度”，由 LLM 优化器应用于异构参数。 \*\*与 RIPPLE 的区别\*\*：上述方法通常仅在基础策略 π_0 上单独评分每个候选，\*\*不检验编辑与其他已接受编辑组合后的安全性\*\*。RIPPLE 同样遵循“提出-选择”模板，但通过确定性诊断与预定义补丁库约束提议，并将候选排名与持久化解耦——在共享父策略上排名，但在演进接受前缀上重放测试。 --- ### 2. 验证驱动与保守改进这类研究强调外部验证对于可靠改进的必要性，以及避免无根据的自我修正。 - \*\*验证-再修订\*\*：Huang et al. (2024) 指出内在自我修正可能降低准确性；CRITIC (Gou et al., 2024) 使用工具或外部检查对单个输出进行验证后修复。 - \*\*保守策略改进\*\*：与离线 RL 中的保守策略改进 (Kumar et al., 2020) 平行，RIPPLE 的经验门控在候选编辑相对于最新接受前缀的回归超出容差时将其扣留。 - \*\*可验证奖励的规模化训练\*\*：RL with Verifiable Rewards (Lambert et al., 2024)、DeepSeek-R1 (DeepSeek-AI et al., 2025) 针对确定性检查器（数学答案、单元测试）更新模型权重；rStar-Math (Guan et al., 2025) 通过学到的过程偏好模型进行轮次门控；V-STaR (Hosseini et al., 2024)、Generative Verifiers (Zhang et al., 2025b) 训练模型在推理时重排生成结果。 \*\*与 RIPPLE 的区别\*\*：RIPPLE 继承了可验证信号的前提，但停留在\*\*符号策略层\*\*（不更新权重、不学习验证器、不进行 best-of-N 重排），仅在晋升时将验证作为\*\*双信号重放约束\*\*（奖励 + 正确性）。 --- ### 3. 持久化技能与提示词进化这类系统关注跨任务保留文本化行为构件（技能、反思、指南、工作流记忆），但通常不测试新构件与已持久化工件的交互安全性。 - \*\*终身技能库\*\*：Voyager (Wang et al., 2023) 维护可执行技能库并配备自动课程；Reflexion (Shinn et al., 2023) 将每轮自然语言反思视为对固定策略的口头强化学习；ExpeL (Zhao et al., 2024) 积累训练任务的自由形式洞察并在推理时检索。 - \*\*元智能体与记忆\*\*：ADAS (Hu et al., 2024) 让 LLM 元智能体将新智能体编程到不断增长的档案中；Agent Workflow Memory (Wang et al., 2024c) 从浏览器轨迹中归纳可重用工作流；AutoGuide (Fu et al., 2024) 从离线经验中提取状态条件自然语言指南并在推理时检索。 \*\*最接近 RIPPLE 的显式晋升方法\*\*： - \*\*GRASP\*\* (Moll et al., 2026)：归纳开放词汇失败分类学，提出 ADD/MODIFY/REMOVE 技能编辑，并在硬回归预算下晋升。 - \*\*SkillGen\*\* (Ma et al., 2026)：比较成对轨迹（有无技能），当修复增益超过最小成对计数阈值时晋升。 - \*\*SkillOpt\*\* (Yang et al., 2026)：优化单一技能文件，仅当严格改进不相交选择分数时接受。 - \*\*PACE\*\* (Shawn, 2026)：使用成对结果与 anytime-valid e-process 在复用开发池上进行顺序接受，并配合新鲜审计池。 \*\*与 RIPPLE 的区别\*\*：RIPPLE 的部署目标为\*\*模式验证的可执行工作流\*\*（服务有效性、结构正确性、编辑局部性、资源解析、执行成本可能发散）；诊断使用\*\*固定的六类工作流分类学\*\*而非运行特定的开放词汇；每次更新按\*\*失败族 + 提示片段\*\*类型化，并从\*\*版本化库\*\*中检索；晋升时分别约束奖励与工作流正确性，并在\*\*演进接受前缀\*\*上评估候选。 --- ### 4. 可执行工作流合成与可验证奖励智能体这类基准与智能体系统建立了“确定性检查器作为奖励”的制度，RIPPLE 将其适配到工作流合成场景。 - \*\*代码智能体基准\*\*：SWE-bench (Jimenez et al., 2024) 针对真实 GitHub 问题的隐藏单元测试评分； τ -Bench (Yao et al., 2024) 针对模拟用户与环境的多轮工具使用对话进行 pass@k 执行评分。 - \*\*执行反馈驱动的智能体\*\*：SWE-agent (Yang et al., 2024b) 在实时仓库上运行编辑-运行-观察循环；CodeAct (Wang et al., 2024a) 将动作统一为可执行代码，使解释器反馈驱动逐步修订；Self-Debug (Chen et al., 2024) 表明仅可执行反馈（编译器与解释器输出）就足以进行轮内修复。 - \*\*工作流搜索\*\*：AFlow (Zhang et al., 2025a) 通过蒙特卡洛树搜索在代码表示的工作流图上进行合成，产出的是单一部署工作流，而非版本化的提示片段编辑序列。 \*\*与 RIPPLE 的区别\*\*：在上述系统中，可执行反馈仅在\*\*当前任务\*\*或\*\*一次性搜索\*\*中被消耗，提示策略在部署时固定，从一个实例中提取的信号在下一个实例到达时即被丢弃。RIPPLE 占据了互补位置——通过仅允许通过\*\*双信号重放门控\*\*的提示片段编辑，将相同的可执行信号跨任务保留，转化为跨任务、版本化的策略状态。 Q3: 论文如何解决这个问题？ RIPPLE 通过将持久化提示词适应分解为\*\*三个顺序决策\*\*——“什么失败”“在哪里编辑”“是否持久化”——并引入\*\*重放门控晋升机制（replay-gated promotion）\*\* 来解决局部编辑的非局部效应与组合敏感性问题。具体方法如下： --- ### 1. 总体框架：分离局部化与组合安全性 RIPPLE 的核心设计是将编辑的\*\*定位\*\*（where）与编辑的\*\*持久化安全性\*\*（whether）解耦： - \*\*局部化（Localization）\*\* 将失败诊断限制在预定义的提示词策略片段内，确保每次修改有界且可追溯； - \*\*重放门控（Replay Gating）\*\* 在由先前已接受补丁构成的当前策略上评估候选编辑，暴露其在组合状态下的下游效应与交互作用，仅当边际收益满足约束时才持久化。 --- ### 2. WHAT：基于轨迹的行为诊断 RIPPLE 首先通过当前策略 π_k 对训练池 D_(train) 中的每个任务采样 N=3 条轨迹：

τ(d,n)^((k)) sim pθ(· mid d, πk), quad n=1,dots,N
每条轨迹接收一个可验证的复合奖励：
R(τ) = rhol(S(τ), C(τ), E(τ), K(τ)r)
其中 S 为服务验证成功、 C 为工作流正确性、 E 为编辑效率、 K 为归一化执行成本。 **信息性轨迹选择**：RIPPLE 优先选择当前策略下奖励方差最高的训练样本，并取其中奖励最低的轨迹进行诊断：
v_k(d) = Var(n=1,dots,N)l[R(τ(d,n)^((k)))r], quad τ_d^- = argmin_n R(τ(d,n)^((k)))
**基于谓词的诊断**：对选中的轨迹 τ ，应用预定义的确定性规则检查执行日志，返回可操作的失败族集合 F(τ) ⊂eq F 及支持证据 z(τ) ：
Diagnose(τ) = l(F(τ), z(τ)r)
诊断涵盖六类失败族：F1（澄清缺失）、F2（工具使用错误）、F3（模式/约束违反）、F4（修复行为失败）、F5（编辑局部性偏离）、F6（输出不完整）。当多个族被激活时，固定的优先级规则将最早因果失败标记为主标签。 —- ### 3. WHERE：片段类型化的补丁构建提示词策略被预划分为七个固定的行为片段：

S = REQ UNDERSTANDING, CLARIFY, PLAN, TOOL USE, EDIT, VALIDATE, FINAL OUTPUT
对于每个诊断出的失败族 f ∈ F(τ) ，RIPPLE 确定性地选择目标片段 s 并从版本化补丁库 L 中检索补丁 a ：
s = Localize(f, z(τ)), quad a = Retrieve(L, f, s)
补丁库中的每个条目包含补丁 ID、失败族、目标片段与指令文本。检索为确定性操作，不涉及 LLM 调用；检索到的指令被**逐字追加**到目标片段末尾。候选补丁按支持计数 c_k(a) （即提名该补丁的独立失败轨迹数）降序排列，并通过“覆盖优先轮询”（coverage-first round robin）确保每个失败族至少贡献一个候选。 —- ### 4. WHETHER：训练侧预筛选与重放侧晋升这是 RIPPLE 解决组合安全性的关键步骤，分为两个阶段： #### 4.1 训练侧预筛选（共享父策略 ranking）所有候选补丁 a ∈ A_k 均在**同一起始策略** π_k 上评估，以隔离其单步效应：

Delta(train)(a) = V_R(π_k oplus a; D(train)) - VR(π_k; D(train))
仅保留正增益候选并按 Delta(train)(a) 降序排列：
A_k^+ = a ∈ A_k : Delta(train)(a) > 0

4.2 重放侧晋升（advancing-baseline replay）对于排序后的第 j 个候选 a_j ，令 P_k^(<j) 表示前 j-1 个位置中已接受的补丁序列。定义当前评估策略为：

πk^(<j) = π_k oplus P_k^(<j), quad π(k,j) = πk^(<j) oplus a_j
RIPPLE 在重放池 D(replay) 上计算该候选相对于**最新已接受前缀**的边际效应：
DeltaR^g(a_j mid P_k^(<j)) = gl(R(π)(k,j)r) - gl(R(π_k^(<j))r)

DeltaC^g(a_j mid P_k^(<j)) = gl(C(π)(k,j)r) - gl(C(πk^(<j))r)
其中 g 为聚合规则（均匀聚合或按真实工作流族平衡的宏平均）。 **双信号门控**：候选 a_j 仅当同时满足以下条件时被接受：
Delta_R^g(a_j mid P_k^(<j)) ≥ varepsilon_R quad 且 quad Delta_C^g(a_j mid P_k^(<j)) ≥ varepsilon_C
论文采用 (varepsilon_R, varepsilon_C) = (-0.05, -0.10) 。若 a_j 被接受，则 π(k,j) 成为评估下一个候选的新基线；若被拒绝，当前策略保持不变。这一设计确保每个候选都在其将要实际持久化的策略上下文中被测试，从而暴露局部编辑的下游涟漪效应与补丁间交互。 —- ### 5. 策略迭代与重放池维护在第 k 次迭代中，所有被接受的补丁构成有序序列 P_k ，下一次迭代从更新后的策略开始：

π(k+1) = π_k oplus P_k
RIPPLE 支持两种重放池模式： - **静态重放**： D(replay) = D(core) 固定不变； - **自适应重放**： D(replay)^((k)) = D(core) ∪ D(hard)^((k)) ∪ D(recent)^((k)) ，其中 D(hard) 包含持续低表现的样本， D(recent) 包含成功状态发生变化的样本。若连续两次迭代无任何补丁被接受，则触发早停。最终接受的补丁序列形成可审计、可回滚的检查点。 Q4: 论文做了哪些实验？论文围绕 **Flow-HO** 这一合成可执行工作流基准，在 **Claude Haiku 4.5** 主模型及 **Gemma 3-12B-it**、**Ministral 3-14B** 两个迁移模型上展开系统评估。实验协议固定为每数据点 N=3 条轨迹，诊断预算 B(diag)=15 ，通过四项研究问题（RQ）检验 RIPPLE 的有效性与机制。 —- ### 1. 实验设置 - **Flow-HO 基准**：包含 39 个 workflow 修改任务的 held-out 集合，分为 A、B、C、D 四个真实工作流族（ground-truth families），与训练集和重放核心集互不相交。任务要求智能体根据自然语言请求修改一个已损坏的 workflow JSON 并通过外部服务验证。 - **系统配置**：以 Claude Haiku 4.5 为主干展开完整设计研究（RQ1–RQ4）；Gemma 与 Ministral 仅评估 base π_0 与 RIPPLE 迁移效果，不做变体选择。 - **评估指标**：服务验证成功率 S 、工作流正确率 C 、复合奖励 R 、编辑效率 E 、归一化执行成本 K 。 —- ### 2. RQ1：跨主干模型的 held-out 有效性实验检验 RIPPLE 是否能在不同能力的冻结语言模型上提升工作流质量。 - **Haiku 4.5**：RIPPLE 将服务验证成功率从 54.7% 提升至 77.8% （ +23.1 pp），复合奖励从 0.525 提升至 0.644 ；工作流正确率基本不变（ +0.8 pp）。编辑效率最高，执行成本最低。 - **Gemma 3-12B**：验证成功率从 37.6% 提升至 44.4% （ +6.8 pp），奖励提升 +0.032 。 - **Ministral 3-14B**：验证成功率从 24.8% 提升至 31.6% （ +6.8 pp），奖励提升 +0.027 。关键发现： - 收益主要由**服务验证成功**驱动（Haiku Delta S=+23.1 pp，Gemma 与 Ministral 各 +6.8 pp），而工作流正确率 C 在所有主干上基本持平（ |Delta C|le 0.9 pp）。 - 跨族分析显示，Haiku 在四个族上奖励全部提升；Gemma 与 Ministral 各在三个族上提升，且**退化的族互不相同**，表明退化是主干特异性的，而非方法性的。 - 迁移运行直接复用 Haiku 的提议器、补丁库、重放设计与门控容差，未做主干特异性调优，结果反映**无调优迁移**能力。 —- ### 3. RQ2：重放设计与迭代深度通过消融实验检验聚合方式、重放池维护、门控机制与迭代深度如何共同影响补丁接受、策略演进与最终质量。 | 方法 | 成功率 S (%) | 正确率 C (%) | 奖励 R | |:—-|:—-:|:—-:|:—-:| | RIPPLE-U（均匀聚合 + 自适应重放） | **77.8** | 75.7 | **0.644** | | RIPPLE-S（平衡聚合 + 静态重放） | 76.1 | 77.9 | 0.639 | | Coverage-Adaptive（平衡聚合 + 自适应重放） | 69.2 | 76.8 | 0.599 | | Train-Only（无重放门控） | 71.8 | 75.6 | 0.613 | | Multi-Iteration（ k>1 ） | 64.1 | 74.3 | 0.571 | 关键发现： - **聚合方式与重放维护改变检查点选择**：均匀聚合（RIPPLE-U）与静态重放（RIPPLE-S）均优于 Coverage-Adaptive，且静态-自适应匹配的 success 区间排除零，证明设计选择影响持久化策略内容。 - **重放门控过滤有害组合**：Train-Only 聚合表现接近，但接受范围更宽（包含被重放拒绝的编辑），说明相似 held-out 均值可能掩盖**实质不同的持久化策略**。 - **更多迭代不必然更好**：Multi-Iteration 增加两个补丁，却低于其一迭代父配置；相同补丁数量的检查点也可能奖励差异显著。持久性能由**哪些编辑存活、顺序及其交互**决定，而非单纯补丁数量。 —- ### 4. RQ3：检测破坏性编辑交互实验通过隔离分析补丁 **F2a**（限制资源查找仅针对新引入引用）验证组合安全性。 | 评估上下文 | Delta R | Delta C | 成功率变化 | |:—-|:—-:|:—-:|:—-:| | 共享父策略 π_0 （训练侧） | +0.0465 | — | — | | 已接受前缀 P 后（重放侧） | -0.2257 | -0.1218 | 0.354 to 0.000 | 关键发现： - F2a 在孤立评估时训练增益为正，但在四条先前补丁（F3a、F6c、F6b、F6d）组合后**急剧恶化**：奖励与正确率大幅下降，服务验证成功率降至 0% 。 - **交互机制**：此前补丁 F6c 要求具体资源解析，而 F2a 豁免输入中已存在的标识符，导致陈旧值未被重新验证而直接进入发布环节。 - 进阶基线重放（advancing replay）暴露了这一失败并在持久化前**拒绝该补丁**，证明编辑质量具有策略上下文依赖性。 —- ### 5. RQ4：晋升规则与检查点权衡在固定提议器、候选顺序与重放证据的前提下，仅改变接受器（acceptor），比较不同门控规则的检查点差异。 | 接受器 | 接受补丁数 | S / C / R | |:—-|:—-:|:—-:| | RIPPLE-U（ headline 双信号容差门控） | 4 | 77.8 / 75.7 / 0.644 | | RIPPLE varepsilon -AND（Coverage-Adaptive 轨迹） | 4 | 69.2 / 76.8 / 0.599 | | Skill-Compact（SkillOpt-style & SkillGen-style） | 1 | 70.9 / 82.2 / 0.625 | 关键发现： - 更严格的 SkillOpt-style（仅当严格改进）与 SkillGen-style（最小修复计数阈值）均收敛到**单补丁检查点** π_0 oplus F3a （Skill-Compact）。 - Skill-Compact 在正确率上显著高于四补丁检查点（ +5.4 pp），成功率仅低 1.7% ，表明**接受严格度不仅改变检查点大小，还改变收益分布**。 - 然而，RIPPLE-U 仍是整体最强配置；两种检查点在请求子集上各占优势，存在**请求级互补性**（post-hoc oracle 可将 mean reward 从 0.625 提升至 0.665 ）。 - 晋升规则是**实质性的策略构建决策**，而非单纯的过滤强度调节。 —- ### 6. 补充分析 - **奖励组成分解**：Haiku 上的提升主要来自 S （验证成功）， E （编辑效率）亦有改善， K （执行成本）下降；不同配置间 C 差异较小。 - **族级一致性**：Haiku 在 Flow-HO 的 A、B、C、D 四族上均取得正奖励增益（图 3）；迁移模型在三族上提升，退化族各不相同。 - **补丁配置文件**：跨配置比较显示，即使接受补丁数量相同（如均为 4 个），具体接受的补丁集合与顺序亦不同（如 F3a 在 Coverage-Adaptive 被接受，在 RIPPLE-S 被重放拒绝），导致不同的持久化策略。 - **收敛轨迹**：Coverage-Adaptive 在迭代 2 接受的两条补丁提升了重放分数，但未转化为 Flow-HO 增益；Multi-Iteration 的六补丁策略反而劣于四补丁策略，进一步验证**编辑交互决定最终质量**。 Q5: 有什么可以进一步探索的点？基于论文内容，以下是可以进一步探索的研究方向： —- ### 1. 更强的统计确认与门控机制分析 - **请求不相交的确认池**：引入与训练和重放池完全不相交的确认池（confirmation pool），配合更多真实工作流族（ground-truth families）及跨独立环境的重复运行，以提供更具统计鲁棒性的性能保证。 - **Anytime-valid 检验规则**：将 PACE 等 anytime-valid 的 e-process 方法整合到顺序接受过程中，支持对复用开发池的严格顺序检验，而非仅依赖经验性容差。 - **阈值扫描与归因**：对门控容差 (varepsilon_R, varepsilon_C) 进行系统性扫描，结合留一补丁归因（leave-one-patch-out attribution），分离提议器质量、边际安全性与序列级回归的贡献。 ### 2. 累积预算与序列级单调性约束 - 当前 RIPPLE 的晋升规则仅约束**边际**回归（相对于最新接受前缀），允许小的负向增量在序列中累积。未来可探索： - **累积回放预算**：对整个已接受补丁序列设置总回归上限； - **锚定约束**：增加相对于迭代起始策略 π_k 的额外约束，防止多步组合后策略质量低于初始检查点。 ### 3. 自动化失败分类学与补丁库构建 - 论文采用人工构建的六类失败分类学与 23 条预注册补丁。可探索： - **开放词汇归纳**：借鉴 GRASP 的方法，从执行轨迹中自动归纳失败模式并动态扩展分类学，而非依赖固定的先验类别； - **LLM 辅助补丁生成**：在保持片段类型化与有界性的前提下，利用 LLM 根据诊断证据自动生成或优化补丁指令，替代纯检索式补丁库。 ### 4. 更广泛的任务域与全系统基线对比 - **跨域验证**：在 ALFWorld、 τ -Bench、SWE-bench Verified 等公开执行评分环境中验证 RIPPLE，检验其在代码生成、网页交互等更复杂工具使用场景中的泛化性。 - **端到端方法对比**：与 GRASP、SkillGen、SkillOpt、GEPA、MIPROv2、OPRO、TextGrad 等现有方法进行完整的 propose-and-select 流程对比，量化诊断定位、片段化策略与重放门控的独立贡献。 ### 5. 初始化策略与跨模型迁移 - **初始化敏感性**：系统评估不同初始策略 π_0 （如最小化提示、模型生成提示、专家级提示）对收敛路径与最终策略质量的影响，检验是否收敛到相似的稳定策略。 - **检查点跨模型迁移**：在主干模型升级（如从 Haiku 迁移到更强模型）时携带已适应的检查点，识别哪些补丁可迁移、哪些因新模型能力冗余而需撤销，建立模型迁移时的补丁生命周期管理协议。 ### 6. 主干模型特异性调优 - 论文中的迁移实验直接复用 Haiku 的提议器、补丁库、重放池组成与门控容差，未做 backbone-specific 优化。未来可探索： - 针对 Gemma、Ministral 等较弱模型**重新校准** (varepsilon_R, varepsilon_C) 容差； - 构建**模型特异性的补丁库**与**重放池采样策略**，以缩小主模型与迁移模型之间的性能差距。 ### 7. 请求级检查点选择与动态路由 - RQ4 发现 Skill-Compact（单补丁）与 RIPPLE-U（四补丁）在请求级别存在显著互补性，后验 oracle 可将平均奖励从 0.625 提升至 0.665 。可探索： - 基于输入请求 q 与初始工作流 y_0 的特征，训练一个**可部署的请求级选择器**，在多个持久化检查点间动态路由，以在不观察真实工作流的前提下捕获这种互补收益。 ### 8. 可解释性与交互机制的深度剖析 - **交互频率与模式**：系统量化“局部有益但组合有害”类编辑的出现频率与典型交互模式（如 F2a 与 F6c 的资源解析冲突），建立编辑交互的预测模型。 - **正确性约束的增量价值**：当前日志中尚无仅因正确性条件而失败的候选，未来需构造或等待奖励与正确性条件产生分歧的决策轨迹，以实证验证双信号门控相对于单信号门控的独立决策价值。 Q6: 总结一下论文的主要内容这篇论文针对**冻结模型（frozen-model）LLM 智能体在可执行工作流合成中的持久化提示词策略适应**问题，提出了 **RIPPLE（Replay-Informed Persistent Policy Localization and Editing）** 框架，核心内容与贡献可概括如下： —- ### 1. 研究背景与核心挑战论文关注一类必须满足执行契约的 LLM 智能体任务——生成可执行的工作流 JSON、基础设施配置等。在模型权重不可更新的场景下，持续改进只能依赖提示词策略（prompt policy）的编辑。然而，这类编辑面临两个紧密耦合的固有性质： - **编辑局部性不蕴含效果局部性**：对提示词某一预定义片段的局部修改，其影响可沿智能体多轮执行链路产生“涟漪效应”（ripples），波及下游的工具调用、资源解析、工作流结构、验证与修复行为。 - **编辑效果具有组合敏感性**：孤立评估时有益的编辑，在与先前已接受的编辑组合后可能相互干扰，导致收益削弱甚至产生危害。因此，提示词适应不是一次性选择问题，而是一个**顺序策略组合问题**。 —- ### 2. RIPPLE 方法为应对上述挑战，RIPPLE 将适应过程分解为三个顺序决策，并通过**重放门控晋升机制**将“在哪里编辑”与“组合后是否安全”解耦： - **WHAT：行为诊断** 对当前策略下的训练轨迹，依据预定义的六类失败分类学（F1 澄清、F2 工具使用、F3 模式、F4 修复、F5 编辑局部性、F6 完整性）进行确定性谓词诊断，识别失败根因并提取证据。 - **WHERE：片段类型化补丁构建** 将基础提示词固定划分为七个行为片段（如 REQ UNDERSTANDING、TOOL USE、EDIT 等）。每个诊断出的失败族被映射到特定片段，并从版本化补丁库中检索有界指令，以确定性方式追加到目标片段，实现编辑的局部化与可追溯。 - **WHETHER：重放门控持久化** 候选补丁先在共享父策略上进行训练侧预筛选（隔离单步增益），再按支持度排序。随后进入**进阶基线重放**：依次在由先前已接受补丁构成的当前策略上评估每个候选的边际效应 Delta_R^g 与 Delta_C^g ，仅当奖励与正确性双信号均满足容差 (varepsilon_R, varepsilon_C) 时才接受。这确保了补丁在其实际将要持久化的策略上下文中被验证，暴露并拦截有害的交互效应。 —- ### 3. 实验与结果论文在合成基准 **Flow-HO**（39 个 held-out 工作流修改任务，分属四个互不相交的工作流族）上展开评估： - **主模型 Claude Haiku 4.5**：RIPPLE 将服务验证成功率从 54.7% 提升至 77.8% （ +23.1 个百分点），复合奖励从 0.525 提升至 0.644 ，同时保持编辑效率最优与执行成本最低。工作流正确率基本持平。 - **跨模型迁移**：在未针对 Gemma 3-12B 与 Ministral 3-14B 调优的情况下，RIPPLE 仍分别将验证成功率提升 6.8 个百分点，奖励正向增益，验证了方法的无调优迁移能力。 - **消融研究**： - 重放设计（聚合方式、静态/自适应重放池、门控机制）实质性影响最终检查点质量；移除重放门控（Train-Only）虽 aggregate 表现接近，但接受了被门控拒绝的有害编辑。 - 多迭代（Multi-Iteration）增加补丁数量却导致性能下降，证明**持久化性能由编辑组合与交互决定，而非单纯补丁数量**。 - **交互分析**：补丁 F2a 在孤立训练评估中增益为正，但在四条先前补丁组合后导致验证成功率归零；进阶重放成功检测并拦截了该破坏性交互。 —- ### 4. 主要贡献 - **失败局部化的策略编辑**：在分段的提示词策略上形式化冻结智能体适应，将轨迹诊断映射到预定义策略片段与有界补丁。 - **组合感知的持久化**：提出重放门控晋升流程，通过双信号约束（奖励 + 正确性）在演进策略上评估候选，分离局部效用与组合安全性。 - **Flow-HO 评估与交互分析**：构建合成 held-out 基准，揭示局部编辑可产生全局涟漪、孤立增益可在组合后反转，从而将持久化提示词适应确立为一个顺序策略组合问题。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Manqing Mao, Hong Wang, Samson Koelle, Jie Yuan, Zhuoer Wang, James Feng, Yanjun Lin, Daniel Edmiston, Nikki Lijing Kuang, Zhecheng Sheng, Wei Niu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12127.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12127

Published: 2026-09-15T01:54:21.323Z

7. Population-level measures of perceived food access reveal barriers beyond geographic proximity

Abstract:Food access is multidimensional, but population-level measurement still relies heavily on geography because perceived dimensions of access are difficult to measure at scale. Here, we use 25,125 Google Maps reviews from 49 grocery stores in Raleigh, North Carolina, to measure five dimensions of food access: availability, accessibility, affordability, accommodation, and acceptability. We identify review topics with unsupervised topic modeling and assign them to access dimensions using zero-shot classification, with 85.4% agreement against manual coding. The resulting store-level measures capture distinct aspects of food access and reveal barriers that geographic proximity alone does not capture. Comparisons between nearby stores in the same chain further show that identical store policies can be perceived very differently across locations, consistent with food access reflecting the fit between residents and their food environment. Perceived food access also follows systematic socioeconomic and demographic patterns that broadly parallel, but do not replicate, those observed for geographic access. These results show that online grocery reviews can provide a scalable complement to geographic measures of food access.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12132 (HTTP 429)

Authors: Teresa Groton, Benjamin rachunok

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12132.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12132

Published: 2026-09-15T01:54:21.323Z

8. GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents

Abstract:Comparing and selecting task-oriented LLM agents increasingly relies on a low-cost offline evaluation gate: persona-driven LLM user-simulators converse with each candidate, an LLM-as-a-judge scores the transcripts, and the higher-scoring agent is promoted. We introduce GAUGE, a reusable offline protocol that measures whether this gate’s ranking matches a grounded verifiable reward across 25 agents from six providers on the $\tau^2$-bench and SimulatorArena benchmarks, separating two kinds of evaluation validity that release practices conflate: ranking validity and construct validity. First, a satisfaction-success gap: satisfaction carries essentially no information about task success, as conversations rated satisfied by our blind panel are decorrelated from actual success, with 57.5% of them failing the customer’s task, a pattern consistent across five rater populations, both benchmarks, and every subjective dimension we rated. Second, while the gate’s ranking is robust across the broad capability span, it loses resolution among the near-equal strong agents: this decision-disagreement rate jumps from $<$1% on wide-reward pairs to 31% on close pairs. The gate is thus human-validated yet mis-anchored. As a remedy, we propose a calibrate-then-trust cadence in which a judge-free completion bit is a zero-cost tripwire for truncation regressions.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12191 (HTTP 429)

Authors: Umesh Bodhwani, Thanh Tran, Kai Wei

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12191.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12191

Published: 2026-09-15T01:54:21.323Z

9. Repair Before Reinforce: Context-Augmented Knowledge Graph Reasoning for Multi-Hop Question Answering

Abstract:Question-answering often requires reasoning across multiple connected facts rather than retrieving a single isolated relation. Knowledge graphs (KGs) provide a structured way to represent such facts, but training large language models (LLMs) only on isolated KG head-relation-tail triples may limit their ability to learn the surrounding context needed for multi-hop reasoning. In this work, we propose a context-augmented training framework for multi-hop question-answering. Although generally applicable, we validate the framework in the context of disease-specific KGs, extracted using a reliable KG extraction framework called GraphMERT, for Gastroparesis and Diabetes. For each primary KG triple, we attach supporting triples extracted from the same source text chunk to form a context graph (CG). This creates two supervision settings: KG-grounded supervision, which uses only the target KG triple or path, and CG-grounded supervision, which uses the target KG triple or path together with supporting context triples. We train the Qwen3-14B model using supervised fine-tuning (SFT) under both settings, producing KGModel and CGModel variants. To strengthen the lower-hop factual foundation of the models, we introduce an LLM-judged, history-aware adaptive repair pipeline that identifies unresolved one-hop failures, continually fine-tunes on targeted repair examples, and removes or quarantines problematic noisy triples. This repair stage enables the models to reach 100% accuracy on the cleaned retained one-hop validation sets. Finally, we employ reinforcement learning (RL) using lower-hop question-answer items and evaluate generalization on harder 3-hop, 4-hop, and 5-hop tasks. Across both diseases, context-augmented supervision consistently improves multi-hop performance over KG-only supervision. RL initialized from repaired SFT checkpoints yields larger and more stable gains.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文主要致力于解决\*\*大语言模型（LLM）在基于知识图谱（KG）的多跳问答（multi-hop QA）中推理能力不足\*\*的问题，具体可从以下三个层面理解： ### 1. 孤立KG三元组缺乏上下文证据的问题现有方法通常将KG三元组视为独立事实进行监督微调，但单个三元组往往省略了理解该关系所需的局部临床或领域上下文。例如，一个疾病-症状关系仅在相邻机制、解剖部位或相关发现的语境下才具有完整意义。论文指出，仅基于孤立三元组训练会限制模型获取支撑多跳组合推理所需的语境信息。 ### 2. 监督微调（SFT）后一跳知识基础不稳固的问题即使经过SFT，模型仍可能在部分一跳（1-hop）KG事实上出现验证失败。这些失败并非随机误差，而往往对应未学到的知识缺口；同时，部分失败还源于噪声三元组或生成质量不佳的验证问题。盲目对所有失败案例进行再训练会引入噪声，而直接忽略则会为后续多跳推理留下隐患。 ### 3. 强化学习（RL）初始化缺陷导致高跳泛化受限的问题多跳推理依赖于多个一跳事实的可靠组合。若RL从一个仍存在未修复一跳错误的SFT检查点启动，底层知识缺口会在更长推理链中传播和放大，导致RL在3跳、4跳及5跳任务上的增益有限且不稳定。 --- ### 对应的核心解决思路为系统性应对上述问题，论文提出了\*\*“先修复，再强化”\*\*的框架： - \*\*上下文增强监督\*\*：为每个主三元组附加来自同一段源文本的支持三元组，构建上下文图（Context Graph, CG），形成CG-grounded监督，以替代单纯的KG-grounded监督。 - \*\*LLM评判的自适应修复流水线\*\*：在SFT后引入历史感知的自适应修复，由LLM法官（Judge）鉴别无效三元组、坏验证问题与真实知识缺失，仅对有效缺失知识生成针对性样本进行持续微调，并隔离噪声三元组，使模型在清洗后的一跳验证集上达到100%准确率。 - \*\*基于修复检查点的RL\*\*：将GRPO强化学习初始化于经修复的SFT模型，而非原始SFT模型，以验证更干净的一跳基础能否带来更强的高跳泛化。综上，该论文试图解决的核心科学问题是：\*\*如何在确保低阶（一跳）知识基础可靠且语境丰富的前提下，通过分阶段训练策略（SFT→自适应修复→RL）实现LLM在长程（多跳）知识图谱推理上的稳定泛化。\*\* Q2: 有哪些相关研究？根据论文第2节（Background and Related Work）及全篇引用，相关研究可归纳为以下六个方向： --- ### 1. 生物医学知识图谱与问答该方向关注如何利用结构化知识图谱提升问答系统的可解释性与事实 grounding： - \*\*QA-GNN\*\* (Yasunaga et al., 2021)：将问题与候选答案连接到相关 KG 节点，在联合的语言-图表示上进行推理。 - \*\*Think-on-Graph\*\* (Sun et al., 2024)：将 LLM 视为智能体，探索 KG 实体与关系以检索推理路径并支持答案生成。 - \*\*JointLK\*\* (Sun et al., 2022) 与 \*\*GreaseLM\*\* (Zhang et al., 2022)：通过图-语言联合表示进行常识问答。 - \*\*基于 MCTS 的 KG 推理\*\*：包括 ReKG-MCTS (Song et al., 2025)、LLM-Guided MCTS (Jakhar et al., 2026) 等，利用蒙特卡洛树搜索引导 LLM 在 KG 上进行组合推理。 - \*\*UMLS\*\* (National Library of Medicine)：大型生物医学资源，为结构化知识表示提供基础。 --- ### 2. 上下文增强与结构化监督研究指出孤立三元组可能不足以支持鲁棒推理，因此有工作探索为三元组附加上下文： - \*\*Context Graph (CG)\*\* (Xu et al., 2024)：扩展传统三元组表示，将实体和事实与额外的实体上下文、关系上下文相关联，形成上下文感知的事实表示。 --- ### 3. 知识图谱驱动的合成数据生成利用 KG 自动生成问答监督信号是该论文的核心基础之一： - \*\*Dedhia et al. (2025)\*\*：将 KG 三元组和路径作为领域原语，合成 KG 基础推理任务与思维痕迹。 - \*\*Stephen et al. (2026)\*\*：基于神经科学 KG 生成课程式问答项。 - \*\*BioKGQA / PrimeKG 相关\*\* (Yan et al., 2024; Chandak et al., 2023)：构建生物医学 KG 问答数据集，展示结构化生物医学 KG 可作为生成 QA 基准与监督的基础。 - \*\*KG-SFT\*\* (Chen et al., 2025)：利用外部 KG 构建推理子图用于监督微调。 --- ### 4. 监督微调与知识更新该方向探讨 SFT 在知识密集型任务中的能力与局限： - \*\*LIMA\*\* (Zhou et al., 2023)：探讨少量高质量指令数据即可实现对齐。 - \*\*Gekhman et al. (2024)\*\* 与 \*\*Ghosal et al. (2024)\*\*：研究表明 SFT 虽能影响输出格式与风格，但对事实知识的可靠更新仍具挑战，这直接促使了本文的“修复”动机。 --- ### 5. 自适应修复与技能针对性训练针对模型在特定子集上的持续失败，已有工作探索超越均匀采样的自适应训练： - \*\*STAT (Skill-Targeted Adaptive Training)\*\* (He et al., 2026)：使用更强的教师模型识别学生模型中的剩余弱点，并将训练数据自适应地定向到这些弱点上。本文的自适应修复流水线即受此启发。 --- ### 6. 强化学习与多跳推理该方向研究 RL 在 LLM 后训练及 KG 推理中的作用： - \*\*“SFT Memorizes, RL Generalizes”\*\* (Chu et al., 2025)：提出 SFT 学习任务格式与模仿模式，而 RL 更能鼓励可泛化行为，构成本文 SFT→RL 两阶段框架的理论基础。 - \*\*DeepPath\*\* (Xiong et al., 2017)：将关系遍历建模为序列决策问题，使用 RL 进行 KG 推理。 - \*\*GRPO (Group Relative Policy Optimization)\*\* (Shao et al., 2024; DeepSeek-AI, 2025)：本文采用的 RL 算法，无需单独的价值模型即可优化推理。 - \*\*奖励设计\*\*：Kansal et al. (2026) 发现结合最终答案正确性与 KG 路径对齐可为组合推理提供更强信号；Zhu et al. (2025) 表明对错误生成施加强惩罚可鼓励模型探索替代正确轨迹；Stephen et al. (2026) 与 Lin et al. (2018) 探讨了路径派生奖励与奖励塑形。 - \*\*Havrilla et al. (2024)\*\*：研究使用 RL 教大型语言模型推理。 --- ### 7. 其他相关基准与生物医学 QA 框架 - \*\*MedHopQA\*\* (Islamaj et al., 2026)、\*\*BioHopR\*\* (Kim et al., 2025)：面向生物医学领域的多跳推理基准。 - \*\*GraphMERT\*\* (Belova et al., 2026)：本文采用的 KG 抽取框架，用于从非结构化生物医学文本中蒸馏可靠的领域特定 KG。 Q3: 论文如何解决这个问题？该论文提出了一套分阶段训练框架，核心思想可概括为 \*\*"先修复（Repair），再强化（Reinforce）"\*\*：首先通过上下文增强的监督微调（SFT）建立丰富的单跳事实表征，继而利用 LLM 评判的自适应修复流水线清洗并巩固一跳知识基础，最后从修复后的检查点启动强化学习（RL），以优化更长推理链的组合泛化能力。具体解决路径如下。 --- ### 1. 上下文增强的 KG 监督（Context-Augmented KG Supervision）针对\*\*孤立三元组缺乏支撑语境\*\*的问题，论文将传统 KG 扩展为\*\*上下文图（Context Graph, CG）\*\*： - \*\*同源文本块溯源\*\*：利用 GraphMERT 抽取框架的副产物 \`path\_idx\`，将每个主三元组 τ_p = langle h, r, t rangle 回溯至其 originating source text chunk。 - \*\*语义相似度筛选\*\*：将同一块内的候选三元组与主三元组分别经 SapBERT 编码并做 L2 归一化，计算余弦相似度：

s(τp, τ_c) = z(τp)^top z(τ_c)
仅保留相似度不低于阈值 θ 的候选作为支持三元组：
C(τ_p) = τ_c ∈ N(τ_p) mid τ_c ≠ τ_p,, s(τ_p, τ_c) ≥ θ

**两层图结构**：CG 的下层保留原始主三元组，上层挂载经筛选的支持三元组，形成局部证据邻域。由此生成两套监督信号： | 监督类型 | 输入证据 | 用途 | |—-|—-|—-| | KG-grounded | 仅目标三元组或路径 p | 基线 SFT | | CG-grounded | 目标三元组/路径 p + 支持三元组 C(p) = ∪_(τ_i ∈ p) C(τ_i) | 上下文增强 SFT | —- ### 2. 结构化多阶段 QA 生成与过滤为将 KG/CG 转化为可训练的 QA 监督，论文设计了四阶段合成与验证流水线，以缓解合成数据常见的**无效问题、弱干扰项、答案泄漏**等风险： 1. **MCQ 生成**（Gemini-2.5-Flash）：基于路径生成临床情景题与四选一选项，要求题目必须通过完整路径推理、不可被单跳捷径解答。 2. **质量过滤**（Qwen3-1.7B-FP8）：剔除干扰项重复或过于相似的低质量样本，并进行答案位置均衡化（约 25% 均匀分布）。 3. **思考痕迹生成**（Gemini-2.5-Pro）：为每个 QA 项生成基于 KG/CG 证据的详细推理解释 e 。 4. **三元组锚定正确性验证**（Qwen3-32B + Qwen2.5-72B 双法官一致）：验证答案是否由源路径严格支撑、推理中是否存在幻觉。仅当两名独立 LLM 均通过时保留。该流水线确保 SFT、修复与 RL 所用数据均与底层 KG 路径严格对齐。 —- ### 3. 监督微调（SFT）以 Qwen3-14B 为基座，使用 LoRA 在所有一跳 QA 样本上进行全量覆盖的 SFT： - **KGModel**：仅使用 KG-grounded QA。 - **CGModel**：使用 CG-grounded QA。 SFT 目标为最小化 token 级负对数似然：

L(SFT)(θ) = -∑((xi, y_i) ∈ D)(SFT) ∑(j=1)^(|y_i|) log pθ(y(i,j) mid x_i, y(i,<j))
—- ### 4. LLM 评判的历史感知自适应修复流水线针对**SFT 后仍存在未解决的一跳知识缺口**，论文提出了一套诊断-修复-隔离机制，避免盲目再训练引入噪声。 #### 4.1 Judge 1：初始失败审计对 SFT 后所有验证失败案例，使用 Qwen3.6-27B 进行三分类诊断： - **INVALID_TRIPLE**：三元组本身事实无效、语义模糊或缺乏支持 → 从验证集中移除。 - **BAD_VAL**：验证问题与三元组未对齐（答案不唯一、可被无关知识解答等） → 重新生成问题并复评；若当前模型能答对则替换原题。 - **MISSING_KNOWLEDGE**：三元组与问题均有效，但模型确实未学会 → 进入靶向修复。 #### 4.2 历史感知自适应修复循环对 Judge 1 确认的 MISSING_KNOWLEDGE，持续追踪每个 `path_idx` 在多轮修复中的状态变迁： | 类别 | 定义 | 修复强度 | |—-|—-|—-| | New-error | 修复后首次变错的全新失败 | 轻量：3× 额外 QA | | Regression | 曾被修复或原本正确，后续又变错 | 中等：5× 额外 QA | | Persistent | 连续两轮靶向 SFT 后仍错 | 强量：7× 额外 QA | | Quarantine candidate | 连续三轮靶向 SFT 后仍错 | 送交 Judge 2 | 修复采用**持续微调**（continual SFT）：学习率降至 5 × 10^(-5) ，每轮 6 个 epoch，并在每 epoch 后于验证集上选拔最优检查点，以抑制对修复子集的过拟合。 #### 4.3 Judge 2：隔离审查对反复失败的隔离候选，使用 Qwen3-32B 进行终审： - **Case A**（原 Judge 1 确认的缺失知识）：判定为 INVALID_TRIPLE 或 VALID_UNLEARNABLE。 - **Case B**（未经 Judge 1 审计的候选）：在 INVALID_TRIPLE、BAD_VAL、VALID_UNLEARNABLE 中三选一。最终被判定为 invalid 或 valid-unlearnable 的三元组从保留验证集中移除或单独报告。该流程使模型在**清洗后的保留验证集上达到 100% 准确率**。 —- ### 5. 强化学习：从修复检查点启动的多跳优化针对**RL 初始化质量影响高跳泛化**的问题，论文对比了两种 RL 初始化策略： - **路径 (a)**：RL 直接从未经修复的 SFT 检查点启动（KGModel-RL / CGModel-RL）。 - **路径 (b)**：RL 从修复后的一跳 100% 检查点启动（KGModel-Repaired-RL / CGModel-Repaired-RL）。 #### 5.1 RL 训练语料构建为避免 RL 遗忘一跳知识，训练集混合 1 跳与 2 跳路径（目标 6,000 条，经筛选后约 5,500 条保留）。路径选择强调： - 已修复或困难三元组； - 高连通性节点（支撑多跳组合）； - 稀有关系对的逆频率加权采样，以增强结构多样性。 #### 5.2 GRPO 与奖励设计采用 GRPO（Group Relative Policy Optimization）进行全模型 RL，每提示生成 N=2 条输出。总奖励由两部分组成：

R(total)(O_i) = R(bin)(ai, a^*) + R(path)(r_i, p, a_i, a^*)

**二元正确性奖励**：
R(bin)(a_i, a^) = +0.1, & a_i = a^ -1.0, & a_i ≠ a^
以非对称设计强惩罚错误答案。 - \*门控路径对齐奖励**：仅当答案正确时激活，
R(path)(ri, p, a_i, a^*) = min([γ_1 · coverage(r_i, p) + γ_2 · I(|T(r_i) ∩ T(p)| ≥ 2)] · φ(rep)(ri),, R(max))
其中路径覆盖率 coverage(ri, p) = (|T(r_i) ∩ T(p)|) / (|T(p)|) ，鼓励推理痕迹显式覆盖路径中的实体，同时通过重复惩罚 φ(rep) 抑制退化生成。 —- ### 6. 高跳泛化评估与鲁棒性验证 - **高跳测试**：所有模型最终在 3 跳、4 跳、5 跳 QA 上评估，以检验低阶训练的组合泛化能力。 - **选项打乱测试**（Stress-Test 3）：随机重排四个选项文本的位置，验证模型是否依赖选项顺序等表面启发式而非真实推理。 —- ### 总结论文通过**上下文图丰富监督信号**、**LLM 评判的自适应修复清洗一跳基础**、以及**从修复检查点启动的 RL 优化组合推理**，系统性地解决了孤立 KG 三元组语境缺失、SFT 知识覆盖不完全、以及 RL 高跳泛化受限三个关键问题。实验表明，三者协同作用时（CGModel-Repaired-RL），在 Gastroparesis 与 Diabetes 两个疾病 KG 的 3–5 跳 QA 上均取得最优且 Q4: 论文做了哪些实验？该论文的实验围绕**上下文增强监督**、**自适应修复**与**修复后强化学习**三个核心假设展开，在 Gastroparesis 与 Diabetes 两个疾病知识图谱上进行了系统评估。主要实验可归纳如下。 —- ### 1. 实验设定与对比模型实验基于 GraphMERT 抽取的疾病特定 KG 与上下文图 CG，覆盖了从 1 跳到 5 跳的结构化多项选择问答。共训练与评估了 **9 类模型变体**（见原论文 Table 6）： - **Base**：原始 Qwen3-14B - **SFT 阶段**：KGModel（KG-grounded 监督）、CGModel（CG-grounded 监督） - **修复阶段**：KGModel-Repaired、CGModel-Repaired - **RL 阶段（未修复初始化）**：KGModel-RL、CGModel-RL - **RL 阶段（修复后初始化）**：KGModel-Repaired-RL、CGModel-Repaired-RL 主评测指标为准确率：

Accuracy = (1) / (|mathcalD)(test)| ∑(i=1)^(|D)_(test)| I(a_i = a_i^)
—- ### 2. 上下文增强 SFT 的多跳泛化实验为验证 \*CG-grounded 监督是否优于 KG-grounded 监督**，论文在初始 SFT 后，于两种评估设定（KG-grounded / CG-grounded）下测试了 3-hop、4-hop、5-hop QA。 - **结果**：在 Gastroparesis 与 Diabetes 的全部设定中，CGModel 均一致优于 KGModel。 - 例如，Gastroparesis KG-grounded 设定下，CGModel 在 3/4/5-hop 上分别领先 KGModel **1.98、2.20、2.15** 个百分点；在 CG-grounded 设定下领先幅度更大（最高达 **3.79** 个百分点）。 - 该提升不仅出现在 CG 评估设定中，也出现在 KG 评估设定中，说明上下文增强训练促进了模型对生物医学关系的内在化与组合能力，而非仅受益于训练-测试格式匹配。 —- ### 3. LLM 评判的自适应修复流水线实验为验证 **自适应修复能否清洗一跳基础并达到完全覆盖**，论文在完整 1-hop 验证集上执行了多轮修复，关键观测包括： - **初始 SFT 后的失败诊断**：利用 Judge 1（Qwen3.6-27B）将验证失败划分为 `INVALID_TRIPLE`、`BAD_VAL` 与 `MISSING_KNOWLEDGE`。 - 例如 CGModel-Gastro 初始 6,018 例中 243 例错误，Judge 1 判定其中 16 例为无效三元组、87 例为问题未对齐、140 例为真实知识缺失。 - **历史感知修复**：按 `new-error`（3× 样本）、`regression`（5× 样本）、`persistent`（7× 样本）的权重进行多轮持续微调。 - **Judge 2 隔离审查**：对连续 3 轮仍未修复的候选进行终审，判定为 `INVALID_TRIPLE` 或 `VALID_UNLEARNABLE` 后移出保留验证集。 - **最终效果**：全部四个设定（KG/CG × Gastro/Diabetes）均在 **9–10 轮修复后于清洗保留的验证集上达到 100% 准确率**。清洗后的验证集规模介于 5,861–5,943 例之间，移除了无效或不可学习案例。 —- ### 4. 修复初始化对 RL 高跳泛化的影响实验为验证 **修复后的 SFT 检查点是否为 RL 提供更优初始化**，论文对每种疾病与设定对比了两条 RL 路径： - **路径 (a)**：RL 从未修复的 SFT 模型启动（KGModel-RL / CGModel-RL） - **路径 (b)**：RL 从修复后模型启动（KGModel-Repaired-RL / CGModel-Repaired-RL） RL 使用混合的 1-hop/2-hop 语料（约 5,500 例），采用 GRPO 优化，奖励函数包含二元正确性（ +0.1 / -1.0 ）与门控路径对齐奖励。 - **结果**：在所有设定下，从修复检查点启动的 RL 均获得更大且更稳定的增益。 - 以 Gastroparesis CG-grounded 为例，CGModel-RL 相较于 CGModel 的平均每 hop 增益仅为 **+0.29** 个百分点，而 CGModel-Repaired-RL 相较于 CGModel-Repaired 的平均增益达 **+2.35** 个百分点。 - 类似趋势在 Diabetes 中同样显著，修复后 RL 的 3-hop 增益可达 **+2.17**（KG）与 **+1.90**（CG）个百分点。 —- ### 5. 全模型变体高跳推理综合对比论文在 3-hop、4-hop、5-hop 测试集上对所有 9 个模型变体进行了完整对比（见原论文 Table 11 与 Table 34）。核心发现包括： - **SFT 阶段**：CGModel > KGModel > Base，表明上下文增强与结构化监督均有效。 - **修复阶段**：KGModel-Repaired > KGModel，CGModel-Repaired > CGModel，说明清洗一跳基础可直接提升高跳表现。 - **RL 阶段**：CGModel-Repaired-RL 在所有疾病、所有评估设定、所有跳数上均取得**最高准确率**，验证了“上下文 + 修复 + RL”三阶段的互补性与累积效应。 —- ### 6. 选项打乱鲁棒性实验（Stress-Test 3）为排除模型依赖选项位置偏见的可能，论文对 3/4/5-hop 测试集执行了答案选项随机重排：

Delta(shuffle) = Acc(shuffle) - Acc_(original)

**方法**：在固定随机种子下，将四个选项文本随机置换，正确答案文本保留但标签随新位置更新。 - **结果**：绝大多数模型在所有设定下的 |Delta_(shuffle)| 均低于 1 个百分点。虽然部分修复后 RL 模型出现轻微负向波动（如 -0.85 至 -1.11 个百分点），但整体表明性能提升主要源于推理改善，而非对选项顺序的虚假依赖。 —- ### 7. 附录中的补充实验与分析论文附录还提供了大量支撑性实验细节，包括： - **KG 构建消融**：GraphMERT 在 Gastroparesis 语料上的完整超参数、PMC 文献检索与清洗统计、以及 Diabetes 子图的关系感知采样策略。 - **CG 阈值选择**：通过预实验对比不同 SapBERT 相似度阈值 θ （0.40–0.80），最终选定 Gastroparesis θ=0.65 、Diabetes θ=0.60 。 - **QA 生成管道验证**：四阶段生成（MCQ → 质量过滤 → 思维痕迹 → 双法官正确性过滤）的完整提示词、答案选项分布统计，以及高跳评估集的额外对齐审查。 - **SFT 训练动态**：训练损失、梯度范数与学习率随 epoch 的变化曲线。 - **修复逐轮追踪**：以 CGModel-Gastro 为例，给出 9 轮修复中 fixed / persistent / regression / new-error / quarantine 的详细演变（见原论文 Table 31）。 - **完整鲁棒性结果**：Gastroparesis KG-grounded、Diabetes KG-grounded、Diabetes CG-grounded 三个设定下的选项打乱完整数据。 Q5: 有什么可以进一步探索的点？基于论文第6节（Limitations and Future Work）及方法论中可拓展的环节，可从以下方向进一步探索： —- ### 1. 合成数据的质量提升与专家介入当前框架依赖自动化的四阶段 QA 生成与 LLM 双法官过滤，虽显著降低了噪声，但合成数据仍可能存在残余歧义或幻觉。未来工作可引入**医学专家对难例子集的人工审计**，特别是对反复进入 quarantine 的 triple 以及被判定为 `VALID_UNLEARNABLE` 的案例，以厘清是数据边界模糊还是模型能力瓶颈。 —- ### 2. 更强、更专用的 LLM 法官自适应修复流水线依赖通用 LLM（Qwen3.6-27B、Qwen3-32B）作为法官，其判决可能携带模型特定偏见。可探索： - **法官模型集成**（ensemble of judges）：通过多模型投票降低单一法官的系统性偏差； - **领域专用法官微调**：借鉴 JudgeLM 的思路，在生物医学 KG 验证与 QA 对齐任务上微调专用评判模型，提升对临床语义、关系方向性和细微医学错误的敏感度。 —- ### 3. 超越三元组的丰富上下文形式当前 CG 的上下文仅局限于**同一源文本块的结构化支持三元组**。这一设计虽保证了可追溯性与结构化，但也限制了语境丰富度。未来可尝试融入： - 原始文本段落或摘要； - 电子健康记录（EHR）、实验室检查、影像报告； - 临床治疗路径与临床指南片段； - 生物医学图表或多模态证据。关键挑战在于如何在保留结构化路径对齐的同时，有效利用非结构化长上下文。 —- ### 4. 扩展到更多疾病领域与开放域 KG 论文仅在 Gastroparesis 与 Diabetes 两个疾病 KG 上验证。框架的普适性需要在更多疾病、更大规模或**开放域通用 KG**（如 Wikidata、PrimeKG 的全量）上检验。此外，关系类型的多样性（如 Diabetes KG 有 28 种关系，Gastroparesis 仅 20 种）对修复策略与 RL 奖励设计的影响也值得深入分析。 —- ### 5. 自适应上下文阈值与动态图构建当前 CG 构建使用固定的 SapBERT 相似度阈值 θ （Gastroparesis 取 0.65，Diabetes 取 0.60）。未来可探索： - **基于下游任务反馈的动态阈值调整**：将 θ 视为可学习或可通过验证性能自适应的超参数； - **可学习的上下文选择机制**：例如训练一个小型检索器，为每个主三元组动态选择最有助推理的支持三元组数量与内容，而非静态相似度截断。 —- ### 6. 解析“Valid but Unlearnable”案例的机理修复流水线最终移除了一部分被判定为有效但模型始终无法学会（`VALID_UNLEARNABLE`）的 triple。这一现象的成因尚不明确： - 是否源于 **LoRA 的低秩瓶颈**（rank 16 不足以编码某些复杂关系）？ - 是否源于三元组与预训练知识的冲突（parametric knowledge interference）？ - 更大规模的基座模型或全量微调（full fine-tuning）能否消解这类不可学习性？系统性地分析这些案例有助于界定当前参数高效训练范式的能力边界。 —- ### 7. 课程式强化学习与渐进式跳数扩展 RL 阶段目前采用固定的 1-hop / 2-hop 混合语料。可设计更系统的**课程 RL**： - 初期以高置信度的 1-hop 路径为主，逐步增加 2-hop、3-hop 乃至更长路径； - 根据模型在修复阶段的错误模式，动态调整 RL 训练集中不同关系对（relation-pair）的采样权重； - 引入难度度量（如路径上的关系稀有度、实体 ambiguity）作为课程调度信号。 —- ### 8. 更细粒度的路径对齐奖励现有路径对齐奖励基于生成文本与路径实体间的 **token 覆盖（coverage）**：

coverage(r_i, p) = (|T(r_i) ∩ T(p)|) / (|T(p)|)
该指标较粗糙，未来可探索： - **实体链接后再匹配**：先将推理轨迹中的 mention 链接到标准医学本体（如 UMLS CUI），再计算与 KG 路径的实体/关系对齐； - **关系级对齐**：不仅奖励提及实体，还奖励正确复述或推理出路径上的关系语义； - **逻辑一致性奖励**：利用外部医学逻辑规则检验推理链的因果或解剖学合理性。 —- ### 9. 推理阶段的检索增强与搜索训练后的模型在推理时仍采用直接生成。未来可将训练得到的 KG/CG 与推理时的 **MCTS（Monte Carlo Tree Search）或 Beam Search** 结合： - 在生成答案前，先在 CG 中检索与问题相关的子图； - 使用模型自身的路径对齐能力作为搜索启发式，显式构造推理链后再作答； - 探索 “训练时学上下文，推理时用搜索” 的混合范式。 —- ### 10. 从多项选择到开放域生成式问答当前评估限定于**多项选择（MCQ）**格式，便于控制变量与大规模评测，但也限制了框架在真实临床场景中的适用性。未来需探索： - 开放域生成式生物医学 QA：模型直接生成自由文本答案与可验证的推理链； - 与临床决策支持系统（CDSS）对接：将多跳推理路径转化为可解释的临床证据链，供医生审核。 —- ### 11. 增量式知识更新与终身学习当底层 KG 随新文献发布而动态更新时，如何避免从零开始重新训练？可研究方向包括： - **增量修复**：仅对新增或修改的 triple 执行局部自适应修复，而非全量 SFT+RL； - **知识冲突消解**：当新证据与模型已内化的旧知识矛盾时，如何可靠地更新参数化知识而不引发灾难性遗忘。 —- ### 12. 计算效率与流水线自动化自适应修复需多轮 LLM 评判、QA 再生与持续微调，成本较高。未来可研究： - **一次性或少量修复**：利用更强的初始法官直接预测最优修复样本量，减少迭代轮次； - **蒸馏法官**：将 LLM 法官的决策蒸馏为轻量级分类器，降低审计开销； - **并行修复**：对独立的 error cluster 并行执行靶向 SFT，压缩总训练时间。 Q6: 总结一下论文的主要内容该论文提出了一种面向多跳问答的**上下文增强知识图谱推理框架**，核心思想是 **“先修复，再强化（Repair Before Reinforce）”**，通过丰富低阶知识监督、清洗事实基础、再优化组合推理，系统性地提升大语言模型在长程知识图谱路径上的推理可靠性。 —- ### 1. 研究背景与核心问题多跳问答要求模型将多个关联事实组合为连贯推理链，而非依赖孤立事实。知识图谱（KG）以结构化三元组 (h, r, t) 编码事实，是支撑此类推理的重要资源。然而，现有方法存在三方面不足： - **孤立三元组缺乏语境**：单个三元组往往丢弃了理解该关系所需的局部证据（如相关机制、解剖部位、并发症状），限制模型学习可组合的语义。 - **一跳基础不稳固**：监督微调（SFT）后，模型仍可能对部分一跳事实存在未修复的知识缺口；盲目再训练会引入噪声，直接忽略则导致高阶推理时错误传播。 - **强化学习初始化缺陷**：若 RL 从一个仍含一跳错误的 SFT 检查点启动，底层知识缺口会在 3 跳、4 跳及 5 跳路径中被放大，导致泛化增益有限。 —- ### 2. 方法框架 #### (1) 上下文图构建与增强监督利用 KG 抽取框架 GraphMERT 的文本溯源能力，为每个主三元组 τ_p 从同一源文本块中检索语义相关的支持三元组，构建**上下文图（Context Graph, CG）**：

C(τ_p) = τ_c mid s(τ_p, τ_c) ≥ θ
其中 s(·,·) 为 SapBERT 余弦相似度。基于此，论文构建了两种监督信号： - **KG-grounded**：仅使用目标三元组/路径生成 QA； - **CG-grounded**：使用目标三元组/路径及其支持上下文三元组生成 QA。 #### (2) 结构化 QA 生成与过滤设计了四阶段合成流水线： 1. **MCQ 生成**（Gemini-2.5-Flash）：生成临床情景式选择题； 2. **质量过滤**（Qwen3-1.7B-FP8）：剔除干扰项重复、格式错误样本，并均衡答案位置； 3. **思维痕迹生成**（Gemini-2.5-Pro）：基于 KG/CG 证据生成详细推理解释； 4. **双法官正确性验证**（Qwen3-32B + Qwen2.5-72B 一致通过）：确保答案严格由源路径支撑。 #### (3) LLM 评判的历史感知自适应修复 SFT 后，在完整 1-hop 验证集上执行多轮诊断-修复循环： - **Judge 1**（Qwen3.6-27B）将失败分为： - `INVALID_TRIPLE`：无效/噪声三元组 → 移除； - `BAD_VAL`：验证问题未对齐 → 重新生成并复评； - `MISSING_KNOWLEDGE`：有效但模型未学会 → 进入靶向修复。 - **靶向持续微调**：按错误历史分配修复强度： - 新错误（new-error）： 3× 样本； - 回归（regression）： 5× 样本； - 顽固错误（persistent）： 7× 样本。 - **Judge 2**（Qwen3-32B）审查连续三轮仍未修复的隔离候选，判定为无效或当前不可学习后移出验证集。该流程使模型在**清洗保留的验证集上达到 100% 准确率**。 #### (4) 修复后初始化 RL 将修复后的 SFT LoRA 适配器合并为基座，再执行全模型 GRPO 强化学习： - **训练语料**：混合 1-hop 与 2-hop QA（约 5,500 例），强调困难三元组、高连通节点及稀有关系对； - **奖励函数**： - 二元正确性：正确 +0.1 ，错误 -1.0 ； - 门控路径对齐：仅当答案正确时，根据推理轨迹与 KG 路径的实体覆盖率给予额外奖励。论文对比了两条 RL 路径：直接从未修复 SFT 启动 vs. 从修复后 SFT 启动。 —- ### 3. 实验设置 - **数据集**：GraphMERT 抽取的 Gastroparesis KG（6,018 三元组）与 Diabetes KG（5,954 三元组）。 - **基座模型**：Qwen3-14B。 - **评估任务**：在 3-hop、4-hop、5-hop 多项选择 QA 上测试泛化能力；另执行答案选项打乱（Stress-Test 3）检验鲁棒性。 —- ### 4. 主要结果 - **上下文增强有效**：CGModel 在所有疾病与跳数设定下均一致优于 KGModel，最高领先 **3.79** 个百分点，且提升同时体现在 KG-grounded 与 CG-grounded 评估设定中，表明模型内在化了更丰富的关系语义。 - **自适应修复达到完全覆盖**：四个设定（KG/CG × Gastro/Diabetes）经 9–10 轮修复后，均在清洗验证集上达到 **100%** 准确率； Judge 1/2 共移除/隔离了 27–80 例无效或不可学习案例。 - **修复后再强化更稳定**：RL 从修复检查点初始化带来的增益显著大于从未修复检查点启动。例如 Gastroparesis CG-grounded 设定下，修复后 RL 平均增益为 **+2.35** 个百分点，而未修复 RL 仅 **+0.29** 个百分点。 - **最佳模型**：**CGModel-Repaired-RL** 在两种疾病的 3/4/5-hop 任务上均取得最高准确率。 - **鲁棒性**：选项打乱后，各模型的平均绝对变化低于 **1** 个百分点，表明性能提升主要源于真实推理而非选项位置偏见。 —- ### 5. 核心贡献 - 提出将源文本支持三元组附加到主 KG 三元组的**上下文增强监督框架**； - 构建 Gastroparesis 与 Diabetes 的疾病特定 KG/CG 及 1–5 跳结构化 QA 数据集； - 设计 **LLM 评判、历史感知的自适应修复流水线**，在清洗验证集上实现一跳知识完全覆盖； - 证明**修复后的 SFT 检查点为 RL 提供了更优初始化**，显著改善多跳泛化； - 验证”上下文增强 + 自适应修复 + 修复后 RL”三阶段的互补性与累积效益。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tharaka D. Fonseka, Niraj K. Jha

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12230.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12230

Published: 2026-09-15T01:54:21.323Z

10. Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding

Abstract:Inference-time power sampling via Sequential Monte Carlo (SMC) can substantially improve large language model (LLM) reasoning without requiring post-training. However, many existing SMC approaches rely on equal-weight resampling, which can aggressively prune low-weight trajectories, discarding potentially correct reasoning paths and degrading the genealogical diversity of the search space. To address this, we introduce Chopthin-Consensus Power Sampling (CCPS). Our method applies the Chopthin resampler to LLM decoding: rather than equalizing weights and forcing unnecessary particle duplication, it enforces an upper bound on the ratio between the largest and smallest weights and carries the unequal weights forward. This targeted intervention preserves a richer set of distinct reasoning paths, keeps the weighted SMC approximation unchanged in conditional expectation, and guarantees a lower bound on the post-resampling effective sample size (ESS). To fully exploit this enriched population, we employ a semantic-majority selection mechanism that merges token-identical final trajectories, clusters semantically equivalent answers, and returns the answer supported by the largest number of distinct trajectories. Evaluating across three open-weight models and five reasoning benchmarks, we show that Chopthin increases oracle coverage in 13 of 15 settings. Combined with semantic-majority selection, CCPS matches or exceeds the final-answer accuracy of the Power-SMC baseline in 14 of 15 settings, delivering absolute gains of up to 10.6 percentage points. These findings demonstrate that diversity-preserving resampling and diversity-aware selection are complementary mechanisms for training-free LLM reasoning. Code is available at this http URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决基于序贯蒙特卡洛（Sequential Monte Carlo, SMC）的大语言模型（LLM）推理解码中，\*\*等权重重采样（equal-weight resampling）导致的谱系多样性损失与最终答案选择失配\*\*问题。具体可分解为以下两个核心问题： ### 1. 等权重重采样对推理路径多样性的破坏在标准SMC解码（如Power-SMC）中，为缓解权重退化（weight degeneracy），等权重重采样会将低权重粒子剔除并复制高权重粒子，所有存活粒子的权重被重置为 1/N 。该论文指出，这一机制带来两个负面效应： - \*\*随机删除（Stochastic Deletion）\*\*：低权重粒子以概率 1 - Nw_i 被直接删除。然而，在语言模型解码中，\*\*当前的重要性权重并非最终正确性的可靠代理\*\*——一条低权重的部分轨迹仍可能在后续解码中延伸为正确答案。等权重重采样会不可逆地丢弃这些潜在正确的推理路径。 - \*\*谱系坍缩（Lineage Collapse）\*\*：高权重粒子被大量复制，导致存活粒子虽数量仍为 N ，但独特的祖先谱系（root lineages）急剧减少。这种\*\*粒子贫乏（particle impoverishment）\*\*现象使得最终种群中独立推理路径的数量远小于 N ，限制了发现多样化正确解的能力。 ### 2. 重采样后的选择机制与多样性不匹配即便通过某种方式保留了更多低权重的多样化轨迹，标准SMC的\*\*权重抽取（weight draw）\*\*选择规则仍以与最终权重成正比的概率抽取单个粒子。这意味着： - 那些被保留下来的低权重、高多样性轨迹恰恰是最不可能被选中的； - 选择机制未能充分利用种群中丰富的候选答案，导致“oracle coverage”（种群中至少包含一个正确答案的比例）无法转化为实际准确率。 --- ### 论文提出的解决思路为同时解决上述问题，该论文提出 \*\*Chopthin-Consensus Power Sampling (CCPS)\*\* 框架，包含两项互补改进： - \*\*Chopthin重采样\*\*：替代等权重重采样，通过限制输出权重的最大/最小比值（ max w_k^+ / min w_k^+ ≤ eta ），允许粒子携带非等权重进入后续步骤。该机制对轻粒子仅概率性稀释（thin）、对中等权重粒子完全保留（keep）、仅对过重粒子进行等权分割（chop），从而在控制有效样本量（ESS）下界的同时，显著减少不必要的粒子复制与路径删除。 - \*\*语义多数选择（Semantic-Majority Selection）\*\*：在解码结束后，先合并token完全相同的轨迹（避免重复计数），再基于任务评分器或代码执行行为将语义等价的答案聚类，最终以\*\*支持该答案的不同轨迹数量\*\*（而非权重）作为投票依据，返回得票最高的答案。简言之，该论文的核心论点是：\*\*在SMC推理解码中，保持谱系多样性的重采样机制与能够利用该多样性的选择机制缺一不可\*\*，二者结合可在无需后训练的情况下显著提升LLM的推理准确率。 Q2: 有哪些相关研究？根据论文第7节“Related work”及全文引用，相关研究可归纳为以下四个方向： ### 1. 基于粒子/序贯蒙特卡洛（SMC）的推理时解码方法这类方法将LLM解码视为序列级推断问题，通过维护一组并行粒子（partial trajectories）并逐步构建完整序列，以逼近目标分布（如幂分布 π_α ）。 - \*\*Twisted SMC\*\*（Zhao et al., 2024）：通过扭曲函数（twist functions）引导粒子向高奖励区域移动。 - \*\*SMC Steering / Controlled Generation\*\*（Lew et al., 2023; Loula et al., 2025）：利用概率程序或句法/语义约束对SMC进行 steering。 - \*\*Reward-Guided Particle Filtering\*\*（Puri et al., 2025）：引入奖励信号指导粒子滤波过程。 - \*\*Power-SMC\*\*（Azizi et al., 2026）：将序列级幂采样转化为SMC框架，通过增量式重要性采样避免Metropolis–Hastings的串行瓶颈，但采用\*\*等权重重采样\*\*。上述方法的共同点是：在重采样步骤中均将粒子权重重新均衡为 1/N ，未显式控制重采样后的权重不均匀度或谱系多样性。 ### 2. 针对多样性损失的改进尝试近期研究尝试在保留等权重重采样的前提下缓解粒子贫乏（particle impoverishment）： - \*\*权重温度调整\*\*（Giannone et al., 2025）：在重采样前对权重进行退火处理，避免过早利用（premature exploitation）。 - \*\*基于未来价值或内在不确定性的辅助权重\*\*（Nguyen et al., 2026; Giannone et al., 2026）：通过额外rollout、学习到的价值函数或模型内在不确定性重新加权粒子。 - \*\*历史前缀池扩展\*\*（Tran et al., 2026）：利用奖励分数保留历史前缀，扩大候选池。 - \*\*Metropolis–Hastings 再生移动\*\*（Markovic-Voronov et al., 2026）：在等权重重采样后执行MH更新以恢复多样性。与这些研究不同，本文的核心差异在于\*\*直接替换重采样规则本身\*\*（采用Chopthin），而非在等权重框架周围添加辅助机制。 ### 3. 答案选择与自一致性机制如何从种群中提取最终答案是另一个独立的研究维度： - \*\*Self-Consistency\*\*（Wang et al., 2023）：对独立采样的多条推理链进行多数投票。 - \*\*Universal Self-Consistency / Semantic Uncertainty\*\*（Chen et al., 2023b; Kuhn et al., 2023）：在聚合前先将自由形式答案按语义等价性聚类。 - \*\*执行/行为级聚类\*\*： - \*\*AlphaCode\*\*（Li et al., 2022）：对代码在自生成测试输入上的执行输出进行聚类。 - \*\*CodeT\*\*（Chen et al., 2023a）：依据候选程序在模型生成测试上的一致性进行选择。 - \*\*覆盖度与选择器失配\*\*（Brown et al., 2024）：指出重复采样的覆盖度随样本数增长，但常见选择器（如单一样本抽取）无法充分利用该覆盖度。 - \*\*Marginal Sharpening\*\*（Arzhantsev et al., 2026）：将答案边际分布的锐化本身作为推理时目标，自一致性是其极限情况。本文的\*\*语义多数选择器（semantic-majority selector）\*\*正是对上述工作的适配：在SMC重采样种群的场景下，先合并token完全重复的轨迹，再按语义/行为聚类，并以\*\*不同轨迹的数量\*\*投票，而非依赖SMC权重。 ### 4. 其他训练无关的推理时方法论文在实验中还与以下基线进行了对比： - \*\*低温度解码\*\*（ τ = 1/α ）：在每步重新归一化的局部近似，无法产生真正的序列级幂分布（Karan & Du, 2026）。 - \*\*Metropolis–Hastings (MH) 幂采样\*\*（Karan & Du, 2026）：通过接受-拒绝机制采样完整序列，理论上正确但存在严重序列化延迟。 - \*\*GRPO 后训练\*\*（Shao et al., 2024）：代表RL后训练路线，需要额外训练资源；论文指出Power-SMC等推理时方法可在无需训练的情况下复现其部分增益。简言之，现有研究要么在等权重SMC框架内修修补补，要么聚焦于独立采样的答案聚合；本文的独特之处在于\*\*将“有界权重重采样”与“语义感知选择”结合\*\*，系统性地解决了SMC解码中“轨迹生成多样性”与“最终答案选择”之间的失配。 Q3: 论文如何解决这个问题？论文通过提出 \*\*Chopthin-Consensus Power Sampling (CCPS)\*\* 框架来解决该问题。该框架包含两个相互关联的组件：\*\*Chopthin 有界权重重采样\*\*负责在解码过程中保留更多样化的推理路径；\*\*语义多数选择器\*\*负责从保留下来的多样化种群中可靠地提取正确答案。 --- ### 1. Chopthin 有界权重重采样标准 SMC 解码采用等权重重采样，将存活粒子的权重全部重置为 1/N 。这种做法通过复制高权重粒子、删除低权重粒子来恢复有效样本量（ESS），但会不可逆地丢弃那些当前权重低、却可能最终导向正确答案的轨迹。 CCPS 将等权重重采样替换为 \*\*Chopthin 重采样器\*\*（Gandy & Lau, 2016），其核心思想是\*\*不强制权重相等，而是限制输出权重的离散程度\*\*。具体而言，给定用户设定的比值上界 eta ≥ 4 ，Chopthin 保证输出权重满足

max(1 ≤ k ≤ N) w_k^+ / min(1 ≤ k ≤ N) wk^+ ≤ eta.
这一有界比值已足以控制权重退化，因为根据论文中的 Proposition 1，它隐含了 ESS 的一个严格下界。 Chopthin 根据输入权重 w_i 与自适应阈值 a 的关系，将粒子划分为三个区间并施加不同操作： - **Thin（稀释）**：若 w_i < a ，粒子以概率 w_i / a 存活。由于阈值满足 a ≤ 1/N ，该存活概率不低于标准系统重采样下的 N w_i ，因此轻粒子被删除的风险不会增加；存活者获得权重 a 。 - **Keep（保留）**：若 a ≤ w_i < eta a / 2 ，粒子完全不受影响，以权重 w_i 直接通过。 - **Chop（分割）**：若 w_i ≥ eta a / 2 ，过重粒子被分割为多个等权重的子粒子，以分散其质量。阈值 a 由方程 ∑(i=1)^N ha^eta(w_i) = N 实时求解，确保输出粒子总数严格为 N 且总权重守恒。 **关键设计**：CCPS 将 Chopthin 的输出权重**携带前进**（carry forward），即令新的累积权重 U_t^((k)) arrow w_k^+ ，而非重置为 1/N 。这保留了历史重要性信息。同时，Chopthin 具有无偏性：
E[. ∑(k: Ak = i) w_k^+ | w(1:N) ] = wi,
这意味着在条件期望下，加权经验近似保持不变，仅改变重采样的方差与谱系结构。 —- ### 2. 语义多数选择器仅保留多样化轨迹并不足以提升最终准确率，因为标准 SMC 的**权重抽取**（weight draw）规则以与最终权重成正比的概率选择单条轨迹，恰恰最不可能选中那些被保留下来的低权重正确路径。为弥合这一鸿沟，CCPS 引入了三步式语义多数选择器： **Step 1: Merge（合并去重）** 将 token 完全相同的最终轨迹（对代码任务则为提取出的完全相同的程序）合并为集合 T 。每条**不同**轨迹在后续投票中仅贡献一票计数权，但其池化权重 W_u = ∑(i: y^((i))=u) W_(final)^((i)) 被保留用于决胜。 **Step 2: Cluster（语义聚类）** 基于任务评分器将语义等价的答案归入同一簇 C 。聚类仅在候选答案之间进行，**从不参考金标答案**。对于代码生成任务（如 HumanEval），程序通过它们在固定自生成测试输入上的执行行为签名（behavioral signature）进行聚类，借鉴了 AlphaCode 与 CodeT 的思想。 **Step 3: Vote（多数投票）** 返回获得最多**不同轨迹**支持的答案簇：

C^ = argmax(C ∈ C) | u ∈ T : a_u ∈ C |,
其中 a_u 为轨迹 u 解析出的答案。若出现平局，则以该簇内所有轨迹的池化权重总和 ∑(u ∈ T): a_u ∈ C W_u 进行打破。 —- ### 3. 协同机制与算法流程 Chopthin 与语义多数选择器形成互补： - \*Chopthin** 提升了解码种群的谱系多样性（surviving root lineages Rt ）与最终不同轨迹数 D ，从而显著提高了**oracle coverage**（最终种群中至少包含一条正确答案的比例）。 - **语义多数选择器**绕开了对 SMC 权重的依赖，直接统计支持各答案的**独立推理路径数量**。这使得那些因 Chopthin 而幸存的低权重正确轨迹，仍有机会通过“票数优势”被选中。完整流程如 Algorithm 2 所示：在标准的 SMC 增量解码循环中，每隔 B 个 token 检查 ESS；若触发重采样，则调用 Chopthin 并携带其输出权重继续解码；待所有粒子生成完毕后，执行合并–聚类–投票，输出共识答案 a(maj) 。 Q4: 论文做了哪些实验？论文的实验围绕 **Chopthin-Consensus Power Sampling (CCPS)** 展开，从模型配置、基线对比到组件消融进行了系统评估。以下是实验内容的详细梳理： —- ### 1. 实验设置 **模型与数据。** 实验在三个开源模型上进行，覆盖数学推理与代码生成任务： - **模型**：Qwen2.5-Math-7B、Qwen2.5-7B、Qwen3-4B（未经额外微调）。 - **基准**：MATH500（500题）、GSM8K（1319题）、AIME 2022–2024（90题）、GPQA Diamond（198题）、HumanEval（164题）。 **超参数配置。** CCPS 与 Power-SMC 共享一致的前向解码配置，仅重采样器不同： - 粒子数 N = 32 ，幂指数 α = 2 ，提案分布温度 τ = 0.5 。 - ESS 触发阈值 kappa = 0.5 ，每 B = 64 个 token 评估一次 ESS。 - CCPS 的 Chopthin 使用比值上界 eta = 3 + √8 ≈ 5.83 ，对应渐近 ESS 下限 N/2 。 —- ### 2. 主要对比实验实验设计了两个核心比较维度：**重采样器 × 选择器** 的完整网格，以及**训练无关基线**的横向对比。 #### (1) 重采样器与选择器的联合消融（Table 1）对每种模型与数据集组合，测试了四种配置： - Systematic resampling + weight draw（Power-SMC 默认） - Systematic resampling + semantic majority - Chopthin + weight draw - Chopthin + semantic majority（即完整 CCPS） **关键发现**：语义多数选择器在两种重采样器下均优于权重抽取（30/32 个对比中占优）；而 Chopthin 对 ceiling（oracle coverage）的提升更为稳定。 #### (2) 最终准确率对比（Table 2） CCPS 与以下训练无关基线进行对比： - **Baseline decoding**：标准温度采样（ τ = 1 ），单样本。 - **Low-temperature decoding**： τ = 1/α = 0.5 ，单样本（局部近似，非真实幂分布）。 - **MH power sampling**（Karan & Du, 2026）：Metropolis–Hastings 序列级采样（文献报告值， α = 4 ）。 - **Power-SMC**（systematic）：等权重重采样 + 权重抽取。 **结果**：CCPS 在 15 个设置中的 14 个达到或超过 Power-SMC 的最终准确率，绝对提升最高达 **10.6 个百分点**（Qwen3-4B 在 GPQA 上：40.4% vs. 29.8%）。 #### (3) Oracle Coverage 分析（Figure 2 与 Table 3） Oracle coverage 定义为：对于每个问题，若最终 N 条轨迹中至少有一条正确，则计为 1，否则为 0，再取平均。该指标衡量任何选择器理论上能达到的准确率上限。 - Chopthin 在 **13/15** 个设置中提升了 oracle coverage，仅在 1 个设置中略有下降（不超过 1.5 个百分点）。 - 绝对 coverage 值见 Table 3。例如，Qwen2.5-Math-7B 在 MATH500 上，systematic 的 coverage 为 84.6%，而 Chopthin 达到 87.0%；在 AIME 上从 17.8% 提升至 22.2%。 #### (4) 与后训练方法的参照（Appendix E.2, Table 4）论文补充引用了 GRPO 后训练的报告值作为上下文（非严格对照）。CCPS 在 MATH500 和 HumanEval 上超过了报告的 GRPO 数值，但在 GPQA 上仍落后。 —- ### 3. 消融实验在主实验单元（Qwen2.5-Math-7B + MATH500）上，对 CCPS 的两个关键设计进行了消融。 #### (1) 比值上界 eta 的敏感性（Figure 3a）将目标 ESS 下限比例 rho 从 0.148 sweep 至 0.64，对应 eta 从约 24.99 变化到 4.0。 - **鲁棒性**：所有 eta 取值下的 oracle coverage 均高于 systematic 基线（84.6%），提升范围 +0.8 至 +2.4 个百分点。 - **准确率**：默认配置 eta = 3 + √8 （对应 rho = 0.5 ）恰好达到最高的多数投票准确率（81.4%）。 - **轨迹多样性**：更宽松的 eta 扰动更少，保留了更多 distinct final trajectories D （从 12 增至 18）。 #### (2) 携带权重 vs. 统一重置（Figure 3b）为解耦“ offspring 分配策略”与“权重是否携带前进”，论文设计了一个诊断性混合方案： - **Hybrid**：使用 Chopthin 的 offspring 分配（thin/keep/chop），但将每个存活粒子的权重**强制重置为** 1/N 。 **结果**： - 混合方案已能带来显著增益：将 distinct trajectories D 从 systematic 的 13.0 提升至 15.2，与完整 CCPS 持平。 - 但**携带非等权重**进一步带来额外收益：多数准确率再 +0.8，oracle coverage 再 +1.2。 - 这表明，Chopthin 的 offspring 分配与权重携带机制各自贡献于最终性能。 —- ### 4. 核心结论 - **Chopthin 的作用**：通过有界权重重采样保留更多低权重但潜在正确的推理路径，系统性地提升了 oracle coverage。 - **语义多数选择器的作用**：将 coverage 的“理论 headroom”转化为实际准确率；若沿用传统的 weight draw，Chopthin 保留的多样化低权重轨迹难以被选中。 - **互补性**：两者结合使得 CCPS 在 14/15 个实验设置中达到或超越 Power-SMC 基线，验证了“多样性保留的重采样”与“多样性感知的选择”在训练无关推理中的协同效应。 Q5: 有什么可以进一步探索的点？基于论文结论与现有实验边界，可从以下方向展开进一步探索： ### 1. 与其他SMC推理框架的模块化集成论文第7节指出，Chopthin仅替换标准SMC中的重采样接口，而不改变提案分布与增量权重的构造方式。因此，一个自然的延伸是将其与现有的SMC变体结合，例如： - **Twisted SMC**（Zhao et al., 2024）：利用扭曲函数（twist functions）作为中间势函数（intermediate potentials）时，Chopthin的有界权重特性可能缓解扭曲函数导致的额外权重偏斜。 - **未来价值引导的粒子采样**（Nguyen et al., 2026）：在已引入辅助价值权重的框架中，使用Chopthin替代等权重重采样，考察是否能进一步降低粒子贫乏。 ### 2. 选择器与外部验证信号的融合论文第4.3节与附录D指出，语义多数投票目前仅依赖轨迹的计数与池化权重进行平局决胜。未来可探索更复杂的选择策略： - 引入**过程奖励模型（Process Reward Model, PRM）**或结果验证器，对聚类后的答案簇进行二级打分； - 结合**置信度度量**（如答案簇内行为签名的一致性熵）替代简单的多数规则，以处理高多样性但低一致性的边缘情形。 ### 3. 自适应或语境感知的 eta 调度消融实验（图3a）显示，不同 eta 在 oracle coverage 与最终准确率上呈现不同表现。当前工作固定 eta = 3 + √8 以匹配渐近ESS下限。可进一步研究： - **动态 eta **：根据当前解码步的权重分布熵、ESS衰减速率或任务难度（如问题长度）实时调整 eta ； - **阶段化 eta **：在 α -ramp阶段（早期步骤，权重方差较小）使用较宽松的 eta ，在幂指数饱和后收紧约束，以精细控制后期多样性。 ### 4. 粒子数 N 的 scaling 规律与计算权衡实验固定 N = 32 。对于更大的粒子预算（如 N = 128 或 256 ），需验证： - Chopthin 的 ESS 保证（命题1）在有限 N 下的紧致性，以及实际 ESS 与谱系多样性 Rt 的 scaling 行为； - **计算-准确率帕累托前沿**：随着 N 增大，Chopthin 保留的低权重轨迹是否仍能被语义多数选择器有效利用，抑或出现“过度多样性”导致的投票分散。 ### 5. 谱系多样性与最终覆盖率的理论建模论文经验性地观察到 oracle coverage 与最终准确率之间存在系统性差距（附录E.1），但缺乏对以下关系的定量刻画： - 建立 R_t （存活根谱系数）或 D （最终不同轨迹数）与覆盖概率 P(c=1) 的解析或半解析模型； - 分析在特定选择器下，coverage 增益转化为准确率增益的**转化效率**，从而指导重采样器与选择器的联合设计。 ### 6. 跨领域验证：开放域与长程推理当前基准集中于数学符号推理与代码生成，其答案等价性可通过符号匹配或执行签名判定。在以下场景中，重要性权重作为正确性代理的可靠性更弱，Chopthin 的保多样性优势可能更为显著： - **开放式问答与创意写作**：缺乏确定性评分器，语义聚类需依赖更强的模型嵌入或NLI模型； - **多轮对话与工具使用**：轨迹长度更长，重采样事件更频繁，谱系坍缩风险更高。 ### 7. 与轻量训练后方法的混合范式论文将 CCPS 定位为完全无需训练的解码策略，但其与低成本后训练技术的结合值得探索： - 使用经过轻量**强化学习微调**的模型作为提案分布 q(·) ，同时保留 Chopthin 与语义多数选择器，观察推理时多样性与模型先验的协同； - 利用**蒸馏后的验证器**对 Chopthin 保留下来的低权重轨迹进行重新排序，而非仅依赖无监督的聚类投票。 ### 8. 重采样触发条件与块大小的联合优化实验固定 ESS 触发分数 kappa = 0.5 与评估块大小 B = 64 。Chopthin 的介入程度直接取决于重采样事件的频率，因此可研究： - **自适应块大小**：在权重退化急剧的阶段（如 α -ramp 结束时）缩小 B 以提高重采样频率，在平稳阶段放大 B 以降低开销； - **基于 R_t 的触发**：除 ESS 外，将谱系多样性指标 R_t 纳入重采样决策，当 R_t 下降速率超过阈值时强制触发 Chopthin。 ### 9. 权重携带机制的深层分析图3(b)的消融显示，将 Chopthin 的输出权重携带前进（carried weights）相比统一重置（uniform reset）能带来额外增益。未来需明确： - 携带的权重如何影响后续步骤的增量重要性权重 ω_t^((i)) 的方差； - 历史权重信息在长时间解码中是否存在**信号衰减**或**路径依赖陷阱**，以及是否需要引入权重衰减或滑动窗口机制。 ### 10. Chopthin 与再生移动（Rejuvenation Moves）的组合近期工作（Markovic-Voronov et al., 2026）尝试在等权重重采样后应用 Metropolis–Hastings 再生移动以恢复多样性。可探索将 Chopthin 作为**前置**步骤保留祖先多样性，再通过局部 MH 移动对存活粒子进行微调，形成“保多样性 + 局部优化”的两级重采样架构。 Q6: 总结一下论文的主要内容该论文研究如何在不进行后训练的前提下，通过改进序贯蒙特卡洛（Sequential Monte Carlo, SMC）解码机制来提升大语言模型（LLM）的推理能力。 ### 1. 问题背景与动机近期研究表明，强化学习后训练带来的推理增益很大程度上源于放大了基础模型输出分布中本就存在的高似然推理路径。这催生了**幂采样（power sampling）**：直接对序列级幂分布 πα(y mid x) propto p_θ(y mid x)^α 进行采样。由于精确采样不可行，现有工作采用 SMC 进行近似，通过维护 N 个并行粒子逐步解码。然而，标准 SMC 在每一步使用**等权重重采样**（systematic resampling）来对抗权重退化：低权重粒子被删除，高权重粒子被复制，所有存活粒子的权重被重置为 1/N 。这一机制在推理场景下存在严重缺陷： - **错误删除**：当前低权重的粒子未必是错误的，它仍可能在后续生成中延伸至正确答案；等权重重采样以概率 1 - Nw_i 将其剔除。 - **谱系坍缩**：高权重粒子被大量克隆，导致独特的祖先谱系（genealogical diversity）急剧减少，即“粒子贫乏”。 - **选择失配**：即使多样化轨迹幸存，标准 SMC 的**权重抽取**（weight draw）选择规则仍以最终权重比例抽取答案，恰恰最不可能选中这些低权重的正确轨迹。 ### 2. 方法：Chopthin-Consensus Power Sampling (CCPS) 为解决上述问题，论文提出 CCPS 框架，包含两项核心创新： #### (1) Chopthin 有界权重重采样 CCPS 用 **Chopthin** 替代等权重重采样。Chopthin 不强制权重相等，而是施加一个上界约束：

max(k) w_k^+ / min(k) w_k^+ ≤ eta
其中 eta 为预设比值（论文取 eta = 3 + √8 ）。根据粒子权重相对于自适应阈值 a 的位置，Chopthin 执行三种操作： - **Thin（稀释）**：轻粒子（ w_i < a ）以概率 w_i/a 存活，获得权重 a 。 - **Keep（保留）**：中等权重粒子（ a ≤ w_i < eta a/2 ）完全不受影响，原权重通过。 - **Chop（分割）**：重粒子（ w_i ≥ eta a/2 ）被分割为多个等权重的子粒子。关键设计在于，CCPS **携带** Chopthin 的输出权重进入后续解码步骤（而非重置为 1/N ）。这一机制具有无偏性，保持条件期望下的加权目标不变，并保证重采样后 ESS 存在严格下界：
ESS(w^+) ≥ (4(eta N + 1 - eta^2)) / ((eta + 1)^2)

(2) 语义多数选择器（Semantic-Majority Selection）为充分利用 Chopthin 保留的多样化种群，CCPS 引入三步式选择器： 1. Merge：合并 token 完全相同的最终轨迹，避免重复计数，并池化其权重。 2. Cluster：将语义等价的答案聚为一类（代码任务则按在自生成测试输入上的执行行为签名聚类），聚类仅在候选答案间进行，不参考金标。 3. Vote：返回获得最多不同轨迹支持的答案簇；平局时以池化权重总和决胜。 ### 3. 实验与结果论文在 Qwen2.5-Math-7B、Qwen2.5-7B、Qwen3-4B 三个模型上，于 MATH500、GSM8K、AIME、GPQA、HumanEval 五个基准进行评估。 - Oracle Coverage：Chopthin 在 15 个设置中的 13 个提升了最终种群中“至少包含一条正确答案”的比例，验证了其在保留潜在正确路径上的有效性。 - 最终准确率：完整的 CCPS（Chopthin + 语义多数）在 14/15 个设置中达到或超过 Power-SMC 基线，绝对增益最高达 10.6 个百分点（Qwen3-4B 在 GPQA 上）。 - 消融分析： - 语义多数选择器在两种重采样器下均优于权重抽取（28/30 个对比）。 - 携带非等权重相比统一重置能带来额外增益，证明权重记忆的价值。 - eta 参数在较宽范围内具有鲁棒性，理论推导的默认值恰好也是经验最优。 ### 4. 核心贡献 - 识别出标准等权重重采样在 SMC 推理解码中的谱系多样性损失问题，并将其与基于 ESS 的权重集中度指标区分开来。 - 首次将 Chopthin 有界权重重采样引入语言模型解码，在保留粒子预算、无偏性和 ESS 控制的前提下，显著降低了对低权重正确轨迹的过度修剪。 - 设计了去重-聚类-投票的语义多数选择器，将保留下来的多样化种群有效转化为准确率提升。 - 通过系统性实验表明：多样性保留的重采样与多样性感知的选择是训练无关 LLM 推理中两个互补且不可或缺的关键机制。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Minoo Ahmadi, Seyedarmin Azizi, Erfan Baghaei Potraghloo, Mehdi Kamal, Massoud Pedram

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.12243.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12243

Published: 2026-09-15T01:54:21.323Z

Agent Domain Papers

1. Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work

Abstract:Co-work agents execute complex workflows that combine information gathering, tool use, coding, and file manipulation across many model invocations. Because cost and latency accumulate over the full episode, their practical value depends not only on peak capability but also on how efficiently that capability is delivered. Yet many steps in everyday work emphasize state tracking, coordination, recovery, and follow-through rather than frontier-scale reasoning. We present Occamy-1.0, a cost-efficient co-work model obtained by further training the post-trained Qwen3.6-35B-A3B checkpoint. We construct execution-grounded data and environments, capture replayable long-horizon trajectories across multiple harnesses, and use staged post-training to develop and consolidate complementary execution capabilities. Across a broad suite of co-work benchmarks, Occamy-1.0 is consistently among the strongest comparably sized models and remains competitive with substantially larger frontier systems on several tasks. Under our stated evaluation and pricing protocol, its aggregate performance across four representative benchmarks places it at the low-cost knee of the observed cost—performance Pareto frontier. Supporting evaluations in tool calling, coding, and instruction following further show that this specialization preserves broad agentic capability. We release the model weights and a subset of the training data to support research on practical co-work agents and agentic post-training.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.11977 (HTTP 429)

Authors: Wenhui Chen, Shiwen Cheng, Hao Dong, Chenda Duan, Ruixiang Feng, Zhong Guan, Boqiang Guo, Xueyuan Han, Haojie Hao, Liangmeng Huang, Zhelong Huang, Xinke Kong, Hongyu Li, Jiazheng Li, Junbo Li, Qingchuan Li, Yukun Lian, Chang Liu, Tianyu Liu, Zicheng Liu, Shuyi Ouyang, Yijun Pan, Kunyu Shi, Xiaojun Tang, Bingquan Wang, Kesu Wang, Yuchen Wang, Sibo Wei, Sicong Xie, Xiaoying Xing, Yi Xu, Zhijun Xu, Hongwei Xue, Qingcheng Zeng, Di Zhang, Guannan Zhang, Haochen Zhang, Tianlong Zhang, Tianyu Zhao, Tianyu Zhao, Yanjun Zheng, Jialong Zhu, Zijian Zou

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.11977.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.11977

Published: 2026-09-15T01:55:12.866Z

2. Harness or Model? Isolating the Harness Effect in Agentic Coding with a Contamination-Controlled Private Suite

Abstract:An agentic coding system couples a language model to a harness: the tools, prompts and control flow that turn a chat model into an autonomous software engineer. Vendors ship harnesses tuned to their own models, and practitioners assume the vendor-native pairing solves more tasks. We measure that assumption with paired same-model contrasts on a private, contamination-controlled suite of 256 repository and post-cutoff contest tasks. The same 80 tasks ran under claude-agent-sdk and under deepagents on claude-opus-4-8, and under the openai-codex SDK and deepagents on gpt-5.5, with gemini-3.5-flash and deepseek-v3.2 as side cells. 792 of 800 planned runs were graded by an isolated oracle. Neither contrast resolves an average advantage for either harness: -1.25 pp for Opus 4.8 (48.8% vs 50.0%, task-bootstrap 95% CI [-10.0, +7.5]) and +1.25 pp for GPT-5.5 (55.6% vs 54.4%, CI [-4.4, +6.9]). The Opus average combines opposite strata: the native harness trails by 9.0 pp on the 61 repository tasks and leads by 23.7 pp on the 19 contest tasks (label-permutation p = 0.003). The partition was chosen after seeing the data and needs a designed replication. Correctness and completion also separate: 22 of 81 runs cancelled at the wall-clock ceiling had produced a passing patch. Re-priced from raw per-turn usage at frozen list prices, the neutral harness cost 1.3 to 1.6 times as much per solved task on Opus 4.8 and 1.2 times on GPT-5.5. These are observed-usage estimates. On the Anthropic account 58 runs left no usage record, and allocating that spend to either cell would move the Opus ratio between 0.7 and 2.3, so the billed ordering is unresolved. This revision corrects an August 2026 manuscript whose cost figures rested on a usage-semantics defect in our own telemetry (Section 5.1). We release the orchestrator, grading oracle, reanalysis code and derived aggregates. The tasks stay private.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.11987 (HTTP 429)

Authors: Mohsen Arjmandi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.11987.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.11987

Published: 2026-09-15T01:55:12.866Z

3. Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

Abstract:Cardiovascular diagnosis rests on integrating complementary modalities, like ECG, echocardiography, chest radiographs, and clinical variables, each capturing distinct but correlated aspects of cardiac physiology. Yet most medical foundation models remain modality-specific, combining modalities only for finetuning or post-training. This discards the cross-modal evidence clinicians naturally integrate and ignores the structure within each modality. We introduce Latent-Attention Masked Autoencoders (LAMAE), a multimodal, structure-aware masked autoencoder that jointly learns patient-level representations during self-supervised pretraining. Rather than fusing modalities post hoc, LAMAE exchanges information directly in the latent space through a shared latent-attention module operating over a study-view-entity hierarchy, enabling aggregation of variable observations and graceful handling of missing modalities. Pretrained on over 1.2 million MIMIC-IV hospital stays, LAMAE outperforms modality-specific pretraining and strong contrastive and vision-language baselines across multimodal hospital-stay tasks, such as in-hospital mortality, ICD-10 and DRG coding, and length of stay, while remaining competitive on unimodal tasks. These gains persist even when only a single modality is available at test time, showing that modeling both intra- and inter-modal structure yields more robust, transferable representations.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12035 (HTTP 429)

Authors: Andrea Agostini, Simon Böhi, Moritz Vandenhirtz, Samuel Ruiperez-Campillo, Max Krähenmann, Silke Mühlstedt, Irene Cannistraci, Ece Özkan Elsen, Julia E. Vogt, Thomas M. Sutter

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12035.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12035

Published: 2026-09-15T01:55:12.866Z

4. Competence-Gated Pooling of Language Models and Priors for Event Forecasting

Abstract:In hybrid forecasting, a language model is often one of several available signals. A system may already have a market, crowd, or statistical forecast and must decide whether the model adds useful information or should be ignored. The relevant target is therefore not standalone model accuracy, but relative competence, defined as the model’s marginal value beyond the available external forecast. Under Brier loss, we characterize when model disagreement can improve an external forecast and derive the gain from using domain-specific rather than global pooling weights. We then introduce a competence gate that estimates domain-level source weights from resolved outcomes, shrinks uncertain estimates toward a global weight, and recalibrates the pooled forecast. Across 2,357 resolved binary questions and five language models, the gate improves the main external baseline from 0.0771 to 0.0732 Brier and significantly outperforms global forecast combinations. The gain remains significant under leakage controls and against a leakage-safe time-series prior on the pooled structured set, with separate evidence on FRED. In contrast, the gate gives no significant improvement on the official ForecastBench market subset, where it largely defers to the market. Across four Qwen models, verbal confidence does not reliably identify when the model outperforms the external forecast, while outcome-estimated competence supports better abstention decisions. These results provide a practical approach for selective model use based on measured marginal value.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12101 (HTTP 429)

Authors: Aditi Tiwari, Aashrith Bandaru, Heng Ji

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12101.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12101

Published: 2026-09-15T01:55:12.866Z

5. Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models

Abstract:The prevailing assumption in applied machine learning is that progress on consequential quantitative decisions such as pricing risk, allocating capital, triaging patients, or containing a network intrusion will follow from progress in large language models (LLMs). A language model is trained on a representation of the world that was produced by human description; description is a lossy encoding of the quantitative record, and the loss is irreversible: no downstream model, at any scale, can recover from a description what the description did not encode. We formalize this as a property of the representation on which a model is trained rather than of the model capacity, and we identify three further properties that consequential settings demand of a model and that a language substrate cannot supply by construction: reproducibility, lineage from every output back to the source records that produced. it, and calibrated uncertainty. We argue that these properties define a distinct model class, which we call the Large Quantitative Model (LQM).

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12105 (HTTP 429)

Authors: Reuben Vandeventer, David Imrem, David J. Wild

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12105.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12105

Published: 2026-09-15T01:55:12.866Z

6. DU-NO: A Parameter-Efficient Double U-Shaped Neural Operator for Phase-Resolving Wave Modeling

Abstract:Phase-resolving wave models such as FUNWAVE-TVD are the accuracy standard for nearshore dynamics, resolving the shoaling, refraction, and breaking of individual waves, but their cost rules them out for the ensembles, uncertainty quantification, and real-time warning that operational forecasting demands. Neural operators promise solver-level accuracy at a fraction of that cost, yet on wave-dominated fields the accurate ones are large: hybrid spectral-convolutional operators such as U-FNO (the strongest baseline in our study after DU-NO) buy their fidelity with tens of millions of parameters. We introduce DU-NO (Double U-shaped Neural Operator), a multiscale U-shaped spectral operator that attaches lightweight convolutional U-Net branches only at its two shallowest encoder and decoder levels. The placement follows a sampling argument: high-wavenumber content exists only on fine grids, so the local, full-band pathways go where that content lives, while the coarse, band-limited levels stay purely spectral. A depth-decaying mode schedule holds the model to 3.64M parameters, an order of magnitude below U-FNO. On our publicly released FUNWAVE-TVD benchmark, DU-NO attains the best autoregressive rollout error of six identically trained architectures, improving on U-FNO by 14.9% with 10.8x fewer parameters, and a frequency-band analysis shows the gain holds across all bands, including the high-wavenumber band where truncated-spectral operators collapse. Parameter-matched controls confirm the gain is architectural: rescaled to the same 3.6M budget, the best baseline still trails DU-NO by 28.6%. The advantage carries beyond nearshore waves: DU-NO matches the strongest baselines on 2D Navier-Stokes and wins clearly on PDEBench shallow-water rollouts. Code, trained models, and evaluation artifacts are available at this https URL.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12115 (HTTP 429)

Authors: Enrique Hernandez Noguera, Md Meftahul Ferdaus, Nathan Cooper, Elias Ioup, Mahdi Abdelguerfi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12115.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12115

Published: 2026-09-15T01:55:12.866Z

7. When Successful Knowledge Graph Edits Displace Correct Answers: Rank-Level Locality beyond Parameter Support

Abstract:Editing a knowledge graph embedding (KGE) model to promote a desired answer can displace correct answers from the returned list. Locality tests based only on facts that reuse the edited parameter can miss this ranking effect. We introduce a common rank-displacement audit at three scopes: facts supported by the edited parameter, other correct answers to the target query, and correct answers across queries with the same relation. We also derive dimensional and geometric conditions for an update to improve the target while exactly preserving selected scores. On FB15k-237 with DistMult and ComplEx, direct promotion always moves the target into the top ten, but does so without damage in only 23.0—23.2\% of edits. Strict preservation causes no measured damage, yet succeeds in only 1.3—1.4\%. Support-regularized entity editing gives the highest joint success, 36.3—37.7\%, while rank-truncated preservation reaches 32.8—34.7\% and reduces the mean number of displaced answers from about 14 to 1.2. Experiments across dimensions, scorers, ranking conventions, and a learned editor show that locality depends on both the protected scope and the editing mechanism. KGE editing should therefore report correction success together with the incidence and severity of rank displacement.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12116 (HTTP 429)

Authors: Yi-Cheng Lai, Jerry Wang, Hsin-Ling Hsu, Li-Chu Chi, Ya-Wen Teng, Hen-Hsen Huang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12116.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12116

Published: 2026-09-15T01:55:12.866Z

8. Mined from Scientific Literature: Process Schemas for Atomic Layer Deposition and Etching in Materials Science

Abstract:Atomic layer deposition (ALD) and atomic layer etching (ALE) are reported heterogeneously across experimental and simulation literature in materials science, hindering comparison and machine-actionable reuse. We present four domain-expert-reviewed JSON Schemas for ALD and ALE experimental and simulation processes. Curated with schema-miner and grounded in QUDT using schema-miner pro, the schemas structure materials, process conditions, configurations , and measured or predicted results. We compare their scope, structure, and semantic grounding, and demonstrate their use for schema-guided literature extraction and publication of structured records through ORKG templates.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12139 (HTTP 429)

Authors: Sameer Sadruddin, Eleni Poupaki, Alex Watkins, Bora Karasulu, Adriaan J. M. Mackus, Erwin Kessels, Sören Auer, Jennifer D’Souza

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12139.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12139

Published: 2026-09-15T01:55:12.866Z

9. Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?

Abstract:Draft-verify-revise is a common LLM orchestration pattern for scaling inference-time compute. One LLM drafts, a second critiques the draft and provides feedback, and a third uses that feedback to revise the draft into the final output. As context cascades between stages, LLMs at different stages can resolve a context-dependent expression such as “previous” differently. When that happens, the expression undergoes a deictic shift, a change in what it refers to. This phenomenon was studied with a synthetic dataset of 10 base examples, each rendered in three conditions. Holding the shared components constant, the conditions varied whether the draft stage LLM (the assistant) or the verify stage LLM (the grader) resolved the expression correctly, and how much independent reasoning the revise stage LLM (the meta-evaluator) needed to determine which reading was correct. Six models from three providers were tested across 21 reasoning effort configurations using e-values for sequential testing, in a primary experiment and an ablation experiment that removed error classification labels from the grader’s feedback. A separate LLM analyzed the meta-evaluator’s stated rationale for each wrong verdict. Balanced accuracy (the unweighted mean of sensitivity and specificity) ranged from 0.156, below chance, to near-perfect. GPT-5.2 rose from 0.156 without reasoning to 0.942 at its highest reasoning effort level, while Gemini 3 Pro stayed above 0.94 at every level. Gemini 3 Pro at low reasoning effort outscored GPT-5.2 at xhigh reasoning effort for roughly 5% of the cost per trial. When the meta-evaluator erred, it tended to rely on surface cues rather than operational reasoning. Context engineers implementing draft-verify-revise pipelines should be wary of deictic shifts and make the intended referent explicit at each stage.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12162 (HTTP 429)

Authors: Obinna I. Ekekezie

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12162.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12162

Published: 2026-09-15T01:55:12.866Z

Abstract:Meeting continuation requires tracking the agenda, speaker roles, participant intentions, and disagreement across long multi-party discussions. We introduce the Meeting Dynamic Forecasting Benchmark (MDFB), constructed from 2,207 real-world meetings and 24,794 future-facing queries. Given a transcript prefix and an active question, a model generates a plausible multi-turn continuation in one call. We evaluate utility—-progress toward the question—-and human-likeness—-plausible conversational flow and role consistency—-without requiring exact reproduction of the observed future. We further present GLARE, an adaptation of adversarial imitation learning to conditional language generation. A discriminator ranks the observed continuation above samples from the current actor, and its score supplies a KL-regularized policy reward; retraining on current-policy negatives allows the reward landscape to evolve with the actor. GLARE attains average human-evaluated win rates of 0.66 on utility and 0.70 on human-likeness, outperforming SFT and SPIN while remaining below the observed human continuation. We also demonstrate MDFB as a social reasoning arena for comparing general-purpose models, including closed-source systems, through reference-assisted judgments. Together, these studies illustrate the benchmark’s use for both task-specific learning and output-based evaluation of meeting behavior.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12165 (HTTP 429)

Authors: Tenghao Huang, Zhaoxuan Tan, Muhao Chen, Jonathan May, Mengting Wan, Longqi Yang, Pei Zhou, Sihao Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12165.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12165

Published: 2026-09-15T01:55:12.866Z

Evaluation Domain Papers

1. Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.11977 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.11977.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.11977

Published: 2026-09-15T01:55:25.885Z

2. Harness or Model? Isolating the Harness Effect in Agentic Coding with a Contamination-Controlled Private Suite

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.11987 (HTTP 429)

Authors: Mohsen Arjmandi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.11987.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.11987

Published: 2026-09-15T01:55:25.885Z

3. Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12035 (HTTP 429)

Authors: Andrea Agostini, Simon Böhi, Moritz Vandenhirtz, Samuel Ruiperez-Campillo, Max Krähenmann, Silke Mühlstedt, Irene Cannistraci, Ece Özkan Elsen, Julia E. Vogt, Thomas M. Sutter

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12035.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12035

Published: 2026-09-15T01:55:25.885Z

4. Competence-Gated Pooling of Language Models and Priors for Event Forecasting

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12101 (HTTP 429)

Authors: Aditi Tiwari, Aashrith Bandaru, Heng Ji

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12101.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12101

Published: 2026-09-15T01:55:25.885Z

5. Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12105 (HTTP 429)

Authors: Reuben Vandeventer, David Imrem, David J. Wild

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12105.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12105

Published: 2026-09-15T01:55:25.885Z

6. DU-NO: A Parameter-Efficient Double U-Shaped Neural Operator for Phase-Resolving Wave Modeling

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12115 (HTTP 429)

Authors: Enrique Hernandez Noguera, Md Meftahul Ferdaus, Nathan Cooper, Elias Ioup, Mahdi Abdelguerfi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12115.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12115

Published: 2026-09-15T01:55:25.885Z

7. When Successful Knowledge Graph Edits Displace Correct Answers: Rank-Level Locality beyond Parameter Support

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12116 (HTTP 429)

Authors: Yi-Cheng Lai, Jerry Wang, Hsin-Ling Hsu, Li-Chu Chi, Ya-Wen Teng, Hen-Hsen Huang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12116.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12116

Published: 2026-09-15T01:55:25.885Z

8. Mined from Scientific Literature: Process Schemas for Atomic Layer Deposition and Etching in Materials Science

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12139 (HTTP 429)

Authors: Sameer Sadruddin, Eleni Poupaki, Alex Watkins, Bora Karasulu, Adriaan J. M. Mackus, Erwin Kessels, Sören Auer, Jennifer D’Souza

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12139.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12139

Published: 2026-09-15T01:55:25.885Z

9. Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12162 (HTTP 429)

Authors: Obinna I. Ekekezie

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12162.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12162

Published: 2026-09-15T01:55:25.885Z

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12165 (HTTP 429)

Authors: Tenghao Huang, Zhaoxuan Tan, Muhao Chen, Jonathan May, Mengting Wan, Longqi Yang, Pei Zhou, Sihao Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.12165.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12165

Published: 2026-09-15T01:55:25.885Z

VLM Domain Papers

1. Feature Recovery for Object Understanding After Irreversible Fire Damage

Abstract:Objects in post-fire environments often undergo irreversible physical transformations that change their geometry, material state, and visual appearance. Detecting and identifying these remnants is critical for locating hazards, reconstructing pre-incident contents, and inventorying losses. Unlike standard image corruptions, these degradations affect the physical structure of the object itself. To study this setting, we introduce TRACE, a transformation-aware benchmark for post-fire object understanding. TRACE contains 21.4K real-image-grounded synthetic scenes and paired object-level pristine-to-degraded progressions spanning 499 object identities across 189 categories. We define five tasks targeting localization and pre-degradation understanding: degraded-object detection, pristine-state recovery and retrieval, original material recovery, pristine description generation, and functional reasoning. Existing models degrade sharply with severity. From the least to the most severe level, RF-DETR mAP decreases by 71% relative, while InternVL3.5 retrieval R@1 falls from 93.85 to 28.11. To address this, we propose the Feature Recovery Module (FRM), a plug-and-play module that maps degraded encoder features to pristine-aligned representations while keeping the host frozen. Trained only with paired feature supervision, FRM improves scene-level detection, CLIP/SigLIP2 feature recovery, and all four object-level VLM tasks, with larger gains under more severe degradation. Across VLM hosts and severity levels, relative gains average 12.5% for retrieval, 20.1% for material recovery, 13.2% for description generation, and 12.4% for functional reasoning.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12078 (HTTP 429)

Authors: Aditi Tiwari, Sofia Stoica, Savya Khosla, David Forsyth, Heng Ji

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12078.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12078

Published: 2026-09-15T01:55:38.728Z

2. Does Video Memory Use What It Retrieves? A Causal Audit of Memory Specificity

Abstract:Video models increasingly use memory to preserve information over long sequences, with the assumption that gains come from retrieving and using the correct past content. Standard memory ablations test whether memory helps, but not whether the retrieved content is responsible. We test this directly with read-time memory substitution, which replaces the consumed memory value while leaving the rest of the computation unchanged. This separates memory benefit from memory specificity, the extent to which the gain depends on retrieved content. Across frozen video world models, identity-free controls containing no evaluation-specific content recover essentially the full benefit on Ego-Exo4D and 7-Scenes and about 70% on TUM. In the Ego-Exo4D dose response, recovery falls from 102% to 1% as these values move away from observed training-memory representations, supporting representation repair as the best-supported explanation in this setting. WorldMem shows graded dependence. A wrong memory from the same trajectory recovers 94.1% of the PSNR benefit relative to zero content, while a donor from a disjoint trajectory and biome recovers 43.7%. SAM 2 shows strong content dependence. On DAVIS, replacing the correct spatial memory with a valid wrong memory reduces mean region and boundary score from 0.926 to 0.182. At MOSEv2 reappearance, it falls from 0.459 to 0.000. These results show that memory gains can depend on generic representation support, broader context, or exact episodic content. Read-time substitution provides a direct way to distinguish them.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12090 (HTTP 429)

Authors: Aditi Tiwari, Akshit Bhalla, Darshan Prasad, Heng Ji

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12090.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12090

Published: 2026-09-15T01:55:38.728Z

3. Beyond Argmax: A Mechanistic Study of Semantic Retention in Frozen Foundation-Model Composition for Generalized Few-Shot 3D Segmentation

Abstract:Classical classifier-combination work distinguishes score-level fusion from hard decision-level voting. We revisit this distinction where independently pretrained, frozen foundation models are composed at inference time for generalized few-shot 3D segmentation. We ask: how much useful semantic information is lost when heterogeneous sources are collapsed to a single class before they can interact? We answer with a same-input semantic-retention intervention. Dense RegionPLC and sparse cross-view SAM3 evidence, model weights, masks, geometry, vocabularies, and fusion rules are frozen; only the number of semantic alternatives retained before interaction is varied via a matched top-k ladder. On 156 held-out ScanNet200 scenes, top-1 reaches 28.47 harmonic-mean (HM) IoU while full distribution fusion reaches 34.87 HM (+6.40, 95% CI [+5.24,+7.64]). The pattern replicates on 50 ScanNet++ scenes: 23.02 vs. 26.50 HM (+3.48, 95% CI [+1.64,+5.93]). The conclusion is robust: full-distribution HM is stable across sparse-source weights 0.3—0.7; alternative operators (max, geometric pooling) also outperform top-1; and a GroundingDINO—SAM2.1 source-replacement diagnostic shows monotonic HM increase from 14.77 to 18.75 with full retention. Calibration diagnostics reveal opposite miscalibration of the two sources, yet correcting calibration does not eliminate the retention advantage. Across datasets and source stacks, most information is recovered by retaining a compact set of plausible alternatives. The contribution is a controlled diagnosis of premature semantic collapse as a repeatable information bottleneck in heterogeneous frozen-model composition.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12099 (HTTP 429)

Authors: Silas Kwabla Gah, Ebenezer Owusu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12099.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12099

Published: 2026-09-15T01:55:38.728Z

4. HSI-Road Relabeled: Surface-Aware Road-Scene Segmentation

Abstract:The HSI-Road dataset provides paired RGB and 25-channel NIR (600—960~nm) images with binary masks but no surface-level labels.~This paper introduces a manually labeled six-class taxonomy: Background, Asphalt, Concrete, Dirt, Water, and Grass, and an RGB-to-NIR registration pipeline with corresponding annotations. Six semantic-segmentation models (SSMs) are evaluated under four input configurations: original-resolution RGB (RGB${\text{ori}}$), registered low-resolution RGB (RGB${\text{reg}}$), NIR, and channel-stacked RGB${\text{reg}}$—NIR (RGBN${\text{stk}}$). The comparison quantifies the effect of spatial-resolution reduction on RGB, along with evaluation of NIR and RGBN${\text{stk}}$, with results reported using per-class and mean IoU and F1 scores. RGB${\text{ori}}$ achieves the highest overall performance but contains 12$\times$ more pixels than the matched-resolution inputs. At the matched 192$\times$384 resolution, RGBN${\text{stk}}$ outperforms NIR for all six SSMs and RGB${\text{reg}}$ for five of six, with the most consistent gains for the Water class. These results highlight the importance of spatial resolution while showing that NIR provides complementary information to RGB.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12151 (HTTP 429)

Authors: Imad Ali Shah, Imran Mehmood, Enda Ward, Martin Glavin, Edward Jones, Brian Deegan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12151.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12151

Published: 2026-09-15T01:55:38.728Z

5. Single-Query Person-Centric Bimanual Hand-Object Interaction Detection

Abstract:Understanding person-level bi-manual interactions requires not only detecting hands, but also identifying which two hands belong to the same person and what each hand interacts with. Existing hand—object interaction methods are mostly hand-centric: they treat each hand as an independent instance, which can lead to ambiguous ownership in multi-person scenes. We propose a person-centric formulation in which a single query predicts a structured output for one person, including the human box, body pose, hand boxes and states, and interaction targets. We introduce part-aware deformable attention to allocate attention across human, hand, and pose-specific reference regions, enabling one query to capture the full person structure. We further unify detection and interaction reasoning with a hand-to-query relationship matrix, where each hand selects its interaction target from the detected query set plus a learnable off token, directly recovering the target’s box and class without separate object regression. We build a COCO-based dataset with person-centric bi-manual interaction annotations and define structured metrics for evaluating hand states and complete hand—object tuples. Experiments with a transformer-based detector show that our formulation improves person-level bi-manual interaction parsing and provides an effective unified framework for joint detection, pose estimation, and hand reasoning.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12155 (HTTP 429)

Authors: Jonghyun Kim, Junho Roh, Yubin Yoon, Hyotae Lee, Jongkuk Park, Taehwan Hwang, Jaechul Kim, Jungho Lee

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12155.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12155

Published: 2026-09-15T01:55:38.728Z

6. USPLIT-VQA: U-Shaped Split Learning for Visual Question Answering with Contribution-Aware Weighted Aggregation

Abstract:Visual Question Answering (VQA) systems, jointly interpreting images and natural language queries, hold significant promise across many domains, yet the privacy-sensitive nature of user data creates a fundamental barrier. Centralized training requires access to all data, while federated learning requires each client to host the full model. We propose USPLIT-VQA, a U-shaped split learning framework for privacy-preserving VQA in which each client retains the initial layers and the classification head while the server hosts the computationally heavy intermediate layers, keeping raw inputs and labels on the client device. We further introduce Contribution-Aware Weighted Aggregation (CAWA), a gradientsimilarity-based client scoring mechanism designed to reduce the influence of malicious updates. Experiments on four VQA datasets (VQA-RAD, SLAKE, PathVQA, and VizWiz) with two backbones show accuracy gains over Federated Learning for the Custom model and reduced accuracy for BiomedCLIP under the evaluated fixed split, alongside client memory reductions of up to 5.8X and communication reductions of up to 10.8X. With one malicious client, CAWA reduces the attacker’s influence by over 98%, while experiments at higher corruption levels identify its limitations. Reconstruction experiments further show lower inversion quality under the evaluated attacks.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12168 (HTTP 429)

Authors: Md Khalid Syfullah, Alvi Ataur Khalil

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12168.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12168

Published: 2026-09-15T01:55:38.728Z

7. When Ground-Truth Fidelity Matters: An Orchestrated UAS Framework for Wheat Streak Mosaic Virus Detection Using Vision Transformers and Machine Learning

Abstract:Wheat streak mosaic virus (WSMV) is a destructive pathogen of sweet corn and other cereal crops, causing yield losses and complicating early detection because symptoms are spatially variable and subtle. In sweet corn seed production, WSMV also has regulatory importance, as phytosanitary regulations from countries such as New Zealand and Chile require seed lots to be certified virus-free. Visual scouting is unreliable because symptoms can resemble abiotic stress, while enzyme-linked immunosorbent assay (ELISA) is accurate but expensive, labor-intensive, and difficult to scale. We present an automated pipeline for plant-level WSMV detection using unmanned aircraft systems (UAS) multispectral imagery. The framework integrates orthomosaic reconstruction, geospatial alignment, plant extraction, and classification using a Vision Transformer with seven-channel inputs (five spectral bands, NDVI, and NDRE). Using treatment-based labels, the model achieved 89% accuracy on over 6,500 test patches across multiple growth stages. However, ELISA-based ground truth revealed substantial label noise: only a small fraction of sampled plants in inoculated plots were infected. Treatment labels therefore did not reliably represent infection status, and the high accuracy was largely driven by label bias rather than disease detection. Performance decreased markedly against row-level symptom severity and plant-level ELISA labels. Under these higher-fidelity but smaller-sample conditions, both deep learning and classical machine learning showed limited generalization and weak separability between ELISA-confirmed mock-inoculated and infected plants. These results show that UAS-based disease detection is constrained by label fidelity and data availability, emphasizing biologically grounded labels and models aligned with real-world conditions.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12169 (HTTP 429)

Authors: Dewi Endah Kharismawati, Sandeep Dhakal, Courtney E. McCusker, Jennifer R. Wilson, Erik W. Ohlson, Sami Khanal

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12169.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12169

Published: 2026-09-15T01:55:38.728Z

8. Physics as the label for measuring and correcting materials reasoning in multimodal models

Abstract:Vision-language and language models increasingly interpret materials data, yet benchmarks report that they hallucinate invalid properties and violate physical law. Evaluation matches final answers to scarce human labels, while discovery agents verify final proposals or density functional theory (DFT) execution. Neither measures the physical consistency of a model’s reasoning chain. Materials data carries its own physics, making a large class of materials reasoning verifiable without annotation. We introduce MatPCR, a label-free benchmark whose programmatic oracles check diffraction geometry through Bragg’s law, scale bars, spectral peaks, and Materials Project-grounded checks of near-hull stability, computed band-gap class, and net magnetization. We define the Physical-Consistency Rate over image and structure inputs; introduce Constraint-Grounded Self-Verification, an agentic loop whose gain survives self-refinement and equal-compute re-prompting controls; release an open verifier useful in distribution but near chance on all six held-out constraint types; and derive an exact identity for how oracle error displaces the reported rate.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12181 (HTTP 429)

Authors: Hasan Kurban, Rasul Khanbayov, Mustafa Kurban

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12181.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12181

Published: 2026-09-15T01:55:38.728Z

9. QuPAINT: Physics-Aware Multimodal Reasoning for Quantum Material Characterization

Abstract:Characterizing two-dimensional (2D) quantum materials by optical microscopy requires localizing exfoliated flakes and determining their layer thickness from subtle optical contrast and interference color to select suitable flakes for device fabrication. However, models face synthetic-to-real domain shifts and variation across materials, substrates, laboratories, and imaging conditions. We present QuPAINT, a physics-aware multimodal framework for transferable quantum flake characterization. The Synthetic Materials Framework (Synthia) generates diverse synthetic microscopy images while preserving layer-dependent optical behavior. Using these images, we construct QMat-Instruct, a multimodal instruction dataset with image-specific reasoning traces generated from verified annotations and constrained to observable optical cues. QuPAINT integrates these signals through Physics-Informed Attention (PIA), which injects substrate-relative optical priors into the visual representation to support grounded multimodal reasoning. For evaluation, we introduce QF-Bench, to our knowledge, the largest real-world benchmark for this problem, spanning diverse microscopy and substrate conditions. Using its verified annotations, we study counting, visual grounding, reasoning quality, confidence calibration, and transfer to an unseen material. QuPAINT-8B substantially outperforms prior methods and establishes state-of-the-art performance for both general and monolayer flake detection. Additional experiments show that image-grounded supervision improves strict spatial grounding and confidence calibration while preserving robust general flake detection on the unseen material.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12202 (HTTP 429)

Authors: Sankalp Pandey, Xuan-Bac Nguyen, Hoang-Quan Nguyen, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12202.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12202

Published: 2026-09-15T01:55:38.728Z

10. Revisiting Multi-Object Tracking Baselines: Hyperparameter Optimization with Multi-Fidelity Greedy Coordinate Search

Abstract:Multi-object tracking (MOT) is dominated by the tracking-by-detection paradigm, whose methods typically rely on a small set of hyperparameters that are conventionally chosen by hand. Tuning them requires repeated expert-guided experimentation, while the procedures used to select reported values are often not systematically evaluated or fully documented. Hyperparameter optimization (HPO) automates this process, yet it remains rarely used in MOT, and existing studies applying HPO to MOT predate modern deep-detector-based trackers and HOTA evaluation. We systematically apply HPO across two datasets and four tracking-by-detection methods. We also propose Multi-Fidelity Greedy Coordinate Search (MFGCS), which optimizes one hyperparameter at a time by first evaluating candidate values on a small subset of scenes and re-evaluating only promising candidates on the full dataset. Across all eight tracker-dataset combinations, the Tree-structured Parzen Estimator (TPE) and MFGCS outperform both our hand-tuned configurations and the corresponding published results, with improvements of up to 4.38 and 16.05 HOTA points, respectively. MFGCS also reaches a predefined HOTA target faster than TPE in seven of the eight combinations. Within each tracker-dataset pair, all optimizers share the same search space and evaluation pipeline, isolating the effect of the search strategy. We release the code and tuned configurations to enable future work to compare against systematically optimized rather than default or manually tuned baselines.

中文摘要

翻译失败: Translation limit exceeded. Please try it again later.
Response status: 401 (Unauthorized)
Response body : “{\”ShowCaptcha\”:false}”

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.12261 (HTTP 429)

Authors: Momir Adžemović

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.12261.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.12261

Published: 2026-09-15T01:55:38.728Z

ArXiv Domain 2026-09-15

LLM Domain Papers

1. R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration

(4) 序列似然校准与弃权（Calibrate） 训练一个逻辑回归校准器 fφ ，将验证分数、生成对数概率、候选间一致性等特征映射为校准置信度 π_i = fφ(features(z_i)) 。最终通过两阶段阈值机制决策：

2. What Counts as a Mistake? Annotating Recitation Events in Quran Memorization Transcripts

3. Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement

4. The Cost of Compression: A Rate-Distortion Limit on Factual Hallucination

5. Quantifying Consonant Contributions to Word Intelligibility via Acoustic Masking

6. Local Edits, Global Ripples: Replay-Informed Policy Adaptation for Workflow Synthesis

4.2 重放侧晋升（advancing-baseline replay） 对于排序后的第 j 个候选 a_j ，令 P_k^(<j) 表示前 j-1 个位置中已接受的补丁序列。定义当前评估策略为：

7. Population-level measures of perceived food access reveal barriers beyond geographic proximity

8. GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents

9. Repair Before Reinforce: Context-Augmented Knowledge Graph Reasoning for Multi-Hop Question Answering

10. Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding

Agent Domain Papers

1. Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work

2. Harness or Model? Isolating the Harness Effect in Agentic Coding with a Contamination-Controlled Private Suite

3. Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

4. Competence-Gated Pooling of Language Models and Priors for Event Forecasting

5. Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models

6. DU-NO: A Parameter-Efficient Double U-Shaped Neural Operator for Phase-Resolving Wave Modeling

7. When Successful Knowledge Graph Edits Displace Correct Answers: Rank-Level Locality beyond Parameter Support

8. Mined from Scientific Literature: Process Schemas for Atomic Layer Deposition and Etching in Materials Science

9. Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?

10. GLARE: Generative Learning via Adversarial Reward Estimation For Social Dynamics Forecasting

Evaluation Domain Papers

1. Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work

2. Harness or Model? Isolating the Harness Effect in Agentic Coding with a Contamination-Controlled Private Suite

3. Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

4. Competence-Gated Pooling of Language Models and Priors for Event Forecasting

5. Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models

6. DU-NO: A Parameter-Efficient Double U-Shaped Neural Operator for Phase-Resolving Wave Modeling

7. When Successful Knowledge Graph Edits Displace Correct Answers: Rank-Level Locality beyond Parameter Support

8. Mined from Scientific Literature: Process Schemas for Atomic Layer Deposition and Etching in Materials Science

9. Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?

10. GLARE: Generative Learning via Adversarial Reward Estimation For Social Dynamics Forecasting

VLM Domain Papers

1. Feature Recovery for Object Understanding After Irreversible Fire Damage

2. Does Video Memory Use What It Retrieves? A Causal Audit of Memory Specificity

3. Beyond Argmax: A Mechanistic Study of Semantic Retention in Frozen Foundation-Model Composition for Generalized Few-Shot 3D Segmentation

4. HSI-Road Relabeled: Surface-Aware Road-Scene Segmentation

5. Single-Query Person-Centric Bimanual Hand-Object Interaction Detection

6. USPLIT-VQA: U-Shaped Split Learning for Visual Question Answering with Contribution-Aware Weighted Aggregation

7. When Ground-Truth Fidelity Matters: An Orchestrated UAS Framework for Wheat Streak Mosaic Virus Detection Using Vision Transformers and Machine Learning

8. Physics as the label for measuring and correcting materials reasoning in multimodal models

9. QuPAINT: Physics-Aware Multimodal Reasoning for Quantum Material Characterization

10. Revisiting Multi-Object Tracking Baselines: Hyperparameter Optimization with Multi-Fidelity Greedy Coordinate Search

(4) 序列似然校准与弃权（Calibrate）训练一个逻辑回归校准器 fφ ，将验证分数、生成对数概率、候选间一致性等特征映射为校准置信度 π_i = fφ(features(z_i)) 。最终通过两阶段阈值机制决策：

4.2 重放侧晋升（advancing-baseline replay）对于排序后的第 j 个候选 a_j ，令 P_k^(<j) 表示前 j-1 个位置中已接受的补丁序列。定义当前评估策略为：