ArXiv Domain 2026-11-02

数据来源：ArXiv Domain

LLM Domain Papers

1. The FlightFinder Occurrence Corpus: harmonising 128 aviation-safety source codes into one deduplicated cross-national accident dataset

Abstract:National aviation-investigation databases are deep but territorial; global compilations such as the Aviation Safety Network and the Bureau of Aircraft Accidents Archives are hand-curated, apply their own inclusion thresholds, and publish no per-record lineage. The FlightFinder Occurrence Corpus harmonizes 279,485 occurrences and 131,882 attached narratives from 128 source codes — national accident-investigation authorities, occurrence-reporting systems and four global compilations. Records are mapped into one schema; each normalized record reduces to exactly one key from an ordered ladder — event signature, registration and date, rounded position and date, or source and native identifier — so a missing field never creates a link, and the key is the occurrence identifier. Records the ladder cannot reach are scored in a blocked pass into an explicit merge table and applied only within an automatically approved score band or after a person confirms them. Field conflicts follow a documented source ranking; one provenance row per contributing source — its native identifier and URL — is retained, with attribution and licence terms per source code. Linkage error is measured on five adjudicated samples totalling 200 pairs. A recorded uniform random draw of 60 from the 3,441 merges the automatic band applies as it ships found no error; the exact two-sided 95% Clopper-Pearson upper bound on its false-merge rate is 6.0%, or 205 pairs. The measured error covers the scored band only; the ladder’s deterministic joins are not adjudicated. The corpus has no exposure denominators and inherits the under-reporting of its sources. It is offered as a base for cross-national safety statistics, source-disagreement studies and narrative text mining; a frozen, DOI-referenced snapshot accompanies the live API.

中文摘要

摘要：国家航空调查数据库内容丰富但具有地域性；像航空安全网络（Aviation Safety Network）和飞机事故档案局（Bureau of Aircraft Accidents Archives）这样的全球汇编是手工整理的，应用它们自己的纳入阈值，并且不发布每条记录的来源信息。FlightFinder 事件语料库协调了来自128个来源代码的279,485条事件和131,882条附加叙述 —— 国家事故调查机构、事件报告系统以及四个全球汇编。记录被映射到一个统一模式；每条标准化记录精确归约为有序梯队中的一个关键点 —— 事件签名、注册号和日期、四舍五入的位置和日期、或来源及本地标识符 —— 因此缺失字段永远不会创建链接，并且该关键点即为事件标识符。梯队无法覆盖的记录会被评估为阻塞传递，进入一个明确的合并表，仅在自动批准的评分区间内或经人工确认后应用。字段冲突遵循文档化的来源排名；每个贡献来源保留一行来源信息 —— 其本地标识符和URL，并附带每个来源代码的归属及许可条款。链接错误通过五个裁定样本（共200对）进行测量。在3,441次合并中，通过记录的60次均匀随机抽样，自动评分区间应用时未发现错误；其错误合并率的精确双侧95% Clopper-Pearson上限为6.0%，即205对。测量的错误仅涵盖评分区间；梯队的确定性连接未经过裁定。该语料库没有暴露分母，并继承了其来源的漏报现象。它作为跨国安全统计、来源不一致研究和叙述性文本挖掘的基础提供；附有冻结的、DOI引用的快照与实时API一起提供。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37671 (HTTP 429)

Authors: Denys Kolomiiets

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37671.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37671

Published: 2026-11-02T02:44:28.678Z

2. Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data

Abstract:Automated interpretability scores an explanation of a sparse-autoencoder (SAE) feature by asking a model to predict, token by token, where the feature fires on evaluation examples or to judge whether marked tokens fit it. We find that the evaluation data standard pipelines build can be scored without reading the explanation. On Neuronpedia’s stored fuzzing runs for 500 random GPT-2 small features, 91.3% of activating examples are cropped with the peak on the centre token, and a rule that says “yes” when the centre token is marked reaches balanced accuracy 0.979, against 0.838 for the stored LLM scorers (recomputed from the stored per-item verdicts, on marks rebuilt from the pipeline’s code); a rule reading only the mark count reaches 0.969. The cue changes form across pipelines: current delphi always marks the same slot in its fuzzing negatives, and full-context runs mark negatives with more tokens. OpenAI’s simulation benchmark lists each neuron’s top-activating sequences first; a rule that predicts activity on the first five scores 0.227 in pooled correlation against 0.160 for GPT-4’s published simulator (post hoc). We give closed forms for what such rules can score; show that one scorer’s simulation scores are higher on stored snippets than on natural windows but not shown to be reordered; and build windows that remove the position cue, derive but do not build negatives that remove the mark cues, and separate the sequence cue by decomposition. On natural-text windows cut at random offsets, the best fixed-offset prior shared by all features scores 0.015. On them, that scorer, a typed decision model (Jev), reaches a pooled correlation of 0.331 over 49 features, against 0.013 with shuffled explanations, and an open 8B simulator with the original read-out reads the explanation there (0.194 against 0.019). Scores should be reported beside the best explanation-free rule on the same items.

中文摘要

摘要：自动可解释性通过让模型逐个标记预测稀疏自编码器（SAE）特征在评估样本中何处触发，或者判断标记的token是否适合该特征，从而对其解释进行评分。我们发现，使用标准管道构建的评估数据可以在不读取解释的情况下进行评分。在Neuronpedia为500个随机GPT-2 small特征存储的模糊测试运行中，91.3%的激活示例在中心token处达到峰值，而一个规则当中心token被标记时说“是”可以达到0.979的平衡准确率，而存储的LLM评分器（根据存储的每个条目结论重新计算，对从管道代码重建的标记）为0.838；仅读取标记数量的规则达到0.969。不同管道中线索形式会变化：当前Delphi在其模糊测试负样本中总是标记相同的位置，而全上下文运行会用更多token标记负样本。OpenAI的模拟基准将每个神经元激活最强的序列列在前面；一个规则预测前五个序列的激活，在汇总相关性中得分为0.227，而GPT-4发布的模拟器（事后）得分为0.160。我们给出了此类规则能够评分的闭式形式；显示了一个评分器在存储的片段上的模拟评分高于自然窗口，但未显示被重新排序；并构建了去除位置线索的窗口，推导（但未构建）去除标记线索的负样本，并通过分解分离序列线索。在随机偏移切分的自然文本窗口上，所有特征共享的最佳固定偏移先验得分为0.015。在这些窗口上，该评分器——一个类型化决策模型（Jev）——在49个特征上的汇总相关性达到0.331，而打乱解释后为0.013；使用原始读出开放的8B模拟器读取解释得分为0.194，而打乱为0.019。在报告分数时，应与在相同条目上表现最佳的无需解释规则一起报告。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文针对的是\*\*自动化可解释性（automated interpretability）评估数据中的结构性捷径（structural shortcuts）问题\*\*。具体而言，论文揭示了当前主流评估流程所构建的数据本身就携带了与解释文本无关的构造性线索，使得评分规则无需真正“阅读”解释即可达到甚至超越大型语言模型评分器的表现，从而导致现有分数难以成为解释质量的可靠证据。核心问题可分解为以下几个方面： - \*\*评估数据构造泄露答案\*\*：在稀疏自编码器（SAE）特征的自动解释评估中，标准流程构建的示例窗口、标记方式及序列排布携带了可预测的结构性模式。例如，激活示例的峰值常被裁剪在窗口正中央，负样本的标记位置与数量遵循固定采样规律，而模拟任务的序列按激活强度排序。 - \*\*无解释基线即可击败现有评分器\*\*：利用上述构造线索，仅依赖项目结构（如“若中央token被标记则回答yes”或“预测前五个序列激活”）的简单规则，在多个公开流水线（Neuronpedia、delphi、OpenAI发布的数据）上取得了高于存储的LLM评分器的分数。例如，在Neuronpedia的500个随机特征上，中央标记规则的平衡准确率达到0.979，而存储的LLM评分器仅为0.838。 - \*\*现有分数难以证明解释被真正理解\*\*：由于构造线索的存在，评分器的高分可能源于对数据格式的利用，而非对解释语义的把握。论文指出，只有当评分器在同一批数据上击败所有不读解释的预设规则，并且打乱解释后分数显著下降时，该分数才能构成对解释质量的证据。 - \*\*缺乏去除线索后的标准化评估\*\*：论文进一步构建并验证了去除位置线索（随机偏移自然窗口）、标记线索（匹配正负样本标记分布）及序列线索（分解序列间与序列内贡献）的方法，证明在清洁数据上，评分器依然能够读取解释，从而区分真正的解释能力与结构性投机。简言之，该论文试图纠正自动可解释性领域中对评分数据的盲目信任，主张\*\*在报告任何解释得分时，必须同步报告同批数据上最优的无解释规则分数，并采用去除构造捷径的评估协议\*\*，以确保评估指标真实反映模型对特征解释的理解程度。 Q2: 有哪些相关研究？根据论文第2节（Related Work），相关研究可归纳为以下五个方向： ### 1. 自动解释与单元评分该方向涵盖从视觉网络到语言模型神经元的自动描述与评分方法。 - \*\*视觉网络\*\*：Bau 等人 (2017) 提出网络解剖学（Network Dissection）量化深度视觉表示的可解释性；Hernandez 等人 (2022) 与 Oikarinen & Weng (2023) 进一步探索自然语言描述深层视觉特征的方法。 - \*\*语言模型神经元\*\*：Bills 等人 (2023) 提出“先解释后模拟”（explain-then-simulate）范式，用于语言模型神经元的自动解释。 - \*\*稀疏自编码器（SAE）特征\*\*：Cunningham 等人 (2024)、Bricken 等人 (2023) 与 Templeton 等人 (2024) 将该范式迁移至 SAE 字典特征；Paulo 等人 (2025) 将其扩展至数百万特征，并引入检测（detection）与模糊测试（fuzzing），发布为 \*\*delphi\*\* 工具；Neuronpedia 则运行该代码分支并存储评分结果。 - \*\*辅助技术\*\*：Choi 等人 (2024) 微调解释器与模拟器；Singh 等人 (2023) 与 Gur-Arieh 等人 (2025) 改进解释质量；Shaham 等人 (2024) 构建多模态自动解释智能体。 ### 2. 解释分数与 SAE 评估该方向关注现有评估指标的可靠性与局限性。 - \*\*模拟分数的局限\*\*：Huang 等人 (2023) 指出高模拟分数可能与解释遗漏单元因果角色共存；Bolukbasi 等人 (2021) 发现解释依赖于用于发现顶部激活的数据分布。 - \*\*验证方法\*\*：Schwettmann 等人 (2023) 在具有已知描述的函数上检验解释方法；Kopf 等人 (2024) 生成概念数据；Oikarinen 等人 (2025) 提出统一框架与合理性检查。 - \*\*基准与诊断\*\*：Heap 等人 (2026) 发现自动可解释性指标难以区分训练与随机 Transformer；Puri 等人 (2025) 的 FADE 框架分离失败模式；Makelov 等人 (2025)、Karvonen 等人 (2025) 与 Kantamneni 等人 (2025) 引入基于任务的 SAE 评估基准。 - \*\*无解释评估\*\*：Paulo & Belrose (2026) 在不生成解释的情况下评估 SAE 可解释性；van der Ben 等人 (2026) 发现流水线设置（语料、示例抽取）对分数与特征排名的影响超过架构差异。 ### 3. 评估数据中的捷径与泄露该方向指出基准测试常存在忽略预期信号的替代解决方案。 - \*\*注释伪影与假设基线\*\*：Poliak 等人 (2018) 与 Gururangan 等人 (2018) 发现自然语言推理数据中的假设-only 基线与注释伪影。 - \*\*启发式与捷径学习\*\*：McCoy 等人 (2019) 诊断自然语言推理中的语法启发式；Geirhos 等人 (2020) 讨论深度学习中的捷径学习（shortcut learning）。 - \*\*显著性与泄露\*\*：Adebayo 等人 (2018) 对显著性图进行合理性检查；Kapoor & Narayanan (2023) 分析机器学习科学中的数据泄露与可重复性危机。 - \*\*本文定位\*\*：上述研究聚焦于文本或标签层面的泄露，而本文的“无解释规则”是针对项目构造（窗口裁剪、标记位置、序列排序）的输入-only 基线。 ### 4. Transformer 首位置效应与激活异常 - \*\*注意力汇与残差异常\*\*：Xiao 等人 (2024) 发现首个 token 作为注意力汇（attention sink）；Sun 等人 (2024) 发现其具有极大的残差值。 - \*\*位置单元\*\*：Voita 等人 (2024) 识别出纯位置神经元。 - \*\*对 SAE 的影响\*\*：使用序列开始（BOS）token 训练的 SAE 在应用时若缺少 BOS，会将首个真实 token 误判为异常值，导致激活分布偏移。 ### 5. 类型化决策模型与廉价评判器 - \*\*LLM 作为评判器\*\*：Gilardi 等人 (2023)、Ziems 等人 (2024) 与 Zheng 等人 (2023) 将 LLM 用于文本注释与评判；Wang 等人 (2024) 发现 LLM 评判存在位置偏差。 - \*\*成本感知路由\*\*：Chen 等人 (2024)、Ding 等人 (2024) 与 Ong 等人 (2025) 研究如何将简单查询路由至更廉价的模型。 - \*\*编码器式评分\*\*：Schick & Schütze (2021)、Devlin 等人 (2019)、Warner 等人 (2025) 与 Marone 等人 (2026) 利用编码器以完形填空方式对预定义选项评分。 - \*\*类型化决策模型（Typed Decision Models）\*\*：Ibrahim & Zaki (2026) 发现其比前沿 LLM 更廉价但准确度较低；Convai Innovations (2026) 的 Laya 是开放实现；Sun 等人 (2026) 表明此类模型的决策头可能跟随选项名称而非绑定的评分标准。 - \*\*校准\*\*：Guo 等人 (2017)、Zhao 等人 (2021) 与 Kadavath 等人 (2022) 研究模型与格式对校准的影响。 Q3: 论文如何解决这个问题？论文通过\*\*识别结构性捷径、建立无解释基线、重构评估数据\*\*以及\*\*提出标准化报告规范\*\*四个层面解决该问题。 ### 1. 识别并量化三个结构性线索论文系统分析了四个公开流水线中的数据构造，定位了三类可被无解释规则利用的线索，并给出其闭式表达或严格上界： - \*\*位置线索（Position cue）\*\*：Neuronpedia 存储的激活示例为 17-token 窗口，峰值固定在中心 token（第 9 位）。仅预测中心位置的固定先验在模拟任务中达到 pooled correlation 0.732 ；在模糊测试中，"若中心 token 被标记则回答 yes" 的规则达到 balanced accuracy 0.979 ，远超存储的 LLM 评分器（ 0.838 ）。 - \*\*标记线索（Mark cues）\*\*：模糊测试的负样本通过固定种子采样标记，导致标记位置与数量分布与正样本可区分。仅读取标记数量或固定槽位的规则在 GPT-2 数据上达到 0.969 ，在 Gemma 数据上达到 0.981 。 - \*\*序列线索（Sequence cue）\*\*：OpenAI 的模拟基准将高激活序列排在前面，利用序列顺序即可达到 pooled correlation 0.227 ，高于 GPT-4 发布模拟器的 0.160 。论文通过\*\*序列均值预言机（sequence-mean oracle）\*\* eta 给出了所有序列内常数规则的上界（Proposition 1(c)）。 ### 2. 建立"无解释基线"原则论文提出，任何解释评分只有在\*\*同一批数据上击败所有预设的无解释规则\*\*时，才能构成对解释质量的证据。具体而言，需报告配对指标：

(score(f), max_(g ∈ G) score(g))
其中 G 为仅依赖项目构造（token 位置、标记集合、序列归属）的规则族。若评分器未超过该基线，或打乱解释后分数未降至基线附近，则分数无效。 ### 3. 构建去除线索的评估数据论文设计并验证了三种去除或分离线索的构造方法： - **去除位置线索**：在 OpenWebText 上构建**随机偏移自然窗口**（random-offset natural windows），将峰值位置均匀随机化。此时最佳共享偏移先验仅得 0.015 ，中心先验近乎归零（ 0.003 ），彻底消除了位置捷径。 - **去除标记线索（推导）**：依据 Proposition 3，若负样本的标记集合从与正样本相同的分布中独立抽取（如将正样本标记一对一重排给负样本），则任何仅依赖标记的规则期望平衡准确率严格为 0.5 。论文推导了该构造但未实际实施。 - **分离序列线索**：利用方差分解（Proposition 1(b)）将模拟分数拆分为**序列内**（within-sequence）与**序列间**（between-sequence）贡献：

r(a, a) = rw √1-eta^2√1-eta^2 + r_b eta eta
其中 eta 为序列均值预言机。由此可区分评分器是真正在序列内 token 级别匹配激活，还是仅利用了序列间的均值差异。 ### 4. 在清洁数据上验证评分器的真实能力论文证明，当结构性捷径被移除后，评分器仍能读取解释： - Jev（Typed Decision Model） 在随机偏移自然窗口上的模拟 pooled correlation 为 0.331 ，而打乱解释后降至 0.013 ，且显著高于序列均值预言机（ eta = 0.166 ）和最佳共享偏移先验（ 0.015 ）。其得分主要来源于序列内匹配（ 0.285 ），而非序列间偏移。 - 开源 8B 模拟器（Llama-3.1-8B-Instruct）在相同窗口上达到 0.194 ，对打乱解释的分数为 0.019 ，同样证明其在无捷径数据上阅读了解释。 ### 5. 提出基准测试标准化建议基于上述发现，论文建议后续研究在报告分数时必须： - 同步报告同批数据上最优无解释规则的分数； - 在随机偏移窗口上评估，并保留 BOS token 以匹配训练时的残差分布； - 模糊测试的负样本标记应从正样本的标记分布中抽取； - 模拟分数应报告其序列内部分（ r_w ），以避免序列级先验的混淆。通过这些措施，论文将评估焦点从”评分器是否得分高”转移到了”评分器是否因为真正理解了解释而得分高”，从而解决了自动化可解释性评估中的结构性捷径问题。 Q4: 论文做了哪些实验？论文中的实验围绕识别结构性线索、测量其影响、检验是否改变结论，以及构建去除线索后的清洁数据展开，可分为以下五个部分： —- ### 1. 公开流水线中的结构性线索识别该部分对四个公开评估流水线及自建对照的数据构造进行了系统性测量，定位三类可被无解释规则利用的线索。 - Neuronpedia 存储的模糊测试运行 - GPT-2 small（500 随机特征，1,001 次运行）：测量发现 91.3% 的激活示例在 17-token 窗口中将峰值置于中心 token（第 9 位）。正样本的标记几乎总是包含中心，而负样本的固定种子采样标记几乎从不包含中心。 - 前 50 个顺序特征：中心 token 平均承载了 68% 的激活质量。中心先验（centre prior）达到 per-feature pooled correlation 0.723 ，Proposition 2 的闭式公式在数值上复现该结果至 10^(-14) 。 - Gemma-2-2B（12 个特征，27 次运行）：使用 127-token 全上下文窗口，中心先验仅 0.003 ，中心规则在重建标记上为 0.552 。 - delphi 本地构建（50 个特征） - 默认模式（center_examples=True，即不裁剪）：仅 2.8% 的测试峰值落在索引 24，但负样本始终在该索引处标记，导致“索引 24 未被标记则 yes”的规则达到 balanced accuracy 0.978 。 - 中心模式（center_examples=False）：峰值固定在索引 24，固定索引先验在模拟中达 0.466 ；事后发现同伴标记在索引 31 的规则达 0.994 。 - SAEBench 评分窗口 - 使用居中的 21-token 窗口（ 180/200 峰值在索引 10），但窗口以无标记形式展示用于检测，因此标记规则无输入可用。 - OpenAI 2023 发布的模拟数据（400 个 GPT-2 XL 神经元） - 每个神经元的 5 个最高激活序列排在最前面（在 398/400 个神经元上高于所有后续序列）。仅预测前五个序列激活的规则达到 pooled correlation 0.227 （事后），高于 GPT-4 发布模拟器的 0.160 。 - 序列均值预言机 eta （给定每个序列真实均值激活）在 400 个神经元上平均为 0.288 ，构成所有序列内常数规则的上界。 —- ### 2. 无解释规则与存储评分器的直接对比在重建或本地构建的数据上，测试仅读取项目构造（位置、标记、序列顺序）而不读取解释文本的规则，与存储的 LLM 评分器进行比较。 | 数据集 | 规则 | 分数 | 存储 LLM 评分器 | 结果 | |—-|—-|—-|—-|—-| | Neuronpedia GPT-2 模糊测试 | 中心标记规则 | BA 0.979 | 0.838 | 规则在 735/1001 次运行中更高 | | Neuronpedia GPT-2 模糊测试 | 计数规则 | BA 0.969 | 0.838 | 不依赖种子 | | Neuronpedia Gemma 模糊测试 | 计数规则 | BA 0.981 | 0.794 | 24/27 次运行更高 | | delphi 默认模式 | 索引 24 规则 | BA 0.978 | — | 本地构建 | | delphi 中心模式 | 索引 31 规则（事后） | BA 0.994 | — | 本地构建 | | OpenAI 模拟 | 前 5 序列规则 | r = 0.227 | GPT-4: 0.160 | 287/400 神经元更高（事后） | —- ### 3. 预注册的“危害”测试与辅助分析为检验线索是否改变了评分器的结论（即是否导致特征排名与无线索时不同），论文设计并执行了多项预注册测试。 - 排序危害测试（Jev 模拟，49 个特征） - 假设：若存储片段上的分数与中心先验的 Spearman 相关性（ rho(geo) ）高于与自然窗口分数的相关性（ rho(nat) ），则判定存在“排序危害”。 - 结果：$rho(geo) = 0.512

0.23, 0.72
， rho_(nat) = 0.732
0.53, 0.87
，差值 -0.221\
-0.52, 0.06
。预注册裁决为：“几何混杂存在，排序危害未显示”。 - 水平差异（事后配对比较） - Jev 在存储片段上的均值 pooled correlation 为 0.478 ，在自然窗口上为 0.331 ， 44/49 个特征更低（ p = 7.6 × 10^(-9) ）。但两组数据在窗口长度和组成上亦有差异，因此不唯一归因于位置线索。 - 存储模糊测试上的评分器行为（前 50 特征） - LLM 评分器的 per-feature 准确率与中心规则无显著正相关（Spearman 约 -0.20 ），但与计数规则显著正相关（Spearman 约 0.30 ）。 - 在极少数中心线索与真实标签冲突的项目中（每评分器 16 项），LLM 很少遵循中心线索；但 5 个中心标记的负样本均被正确拒绝。 - 训练过的评分器（360 特征训练，100 特征测试） - 基于 all-MiniLM-L6-v2 的编码器在存储片段上达到 pooled correlation 0.526 ；无解释训练达 0.438 （ 83% ），打乱解释保留 31% ，在自然窗口上跌落至 0.193 （损失 63% ）。预注册的“空白解释保留一半分数”标准未达成（实际 12% ，低于 50% ）。 - 解释选择测试（49 个特征，105 条解释） - 在存储片段与自然窗口上“最佳解释”一致的比例为 36/49 （机会 Q5: 有什么可以进一步探索的点？基于论文的发现与明确指出的局限性，以下方向值得进一步探索： ### 1. 匹配标记构造的实现与验证论文推导了通过使负样本标记分布与正样本完全一致来消除标记线索的方法（Proposition 3），但明确说明该构造“未构建也未评分”。实际实现这一方案——例如将正样本的标记集合一对一重排给负样本——并验证在此类数据上所有预设的标记规则是否严格降至 chance 水平（balanced accuracy = 0.5 ），是填补理论推导与实验验证之间空白的关键一步。 ### 2. 当前闭源大语言模拟器的测试论文的模拟器比较仅覆盖了 2023 年发布的 GPT-4 和一个开源 8B 模型，未测试任何当前的前沿闭源模型（如 GPT-4o、Claude 3.5/4 等）。这些模型是否同样在有捷径的数据上被简单规则超越？在去除位置与序列线索后的自然窗口上，它们是否能像 Jev 一样显著区分真实解释与打乱解释？这对于评估最新模型的真实可解释性能力至关重要。 ### 3. 开源类型化决策模型的改进与 democratization Jev 作为商业类型化决策模型（typed decision model）在清洁数据上表现良好，但论文测试的两个开源同类模型（Laya 的两个 checkpoint）均未超过其打乱解释的对照基线。探索架构调整（如受限决策头的设计）、训练目标或提示策略的改进，使开源模型也能在无捷径数据上可靠地阅读解释，将降低对商业 API 的依赖，推动标准化评估的普及。 ### 4. 排名危害检验的灵敏度与阳性对照论文的 harm test 基于 49 个特征和单一评分器，且作者明确指出其缺乏真实数据上的阳性对照，因此“未显示排序危害”不等于“无排序危害”。未来可： - 在真实数据或高保真合成数据中人为注入已知的误导性线索（如将中心标记与真实标签故意冲突），检验现有统计方法（Spearman 相关比较、偏相关分析）能否可靠捕获排序失真； - 将该测试扩展到更多 SAE 层、不同字典大小和不同模型架构，评估排名稳定性对数据构造的敏感程度。 ### 5. 序列线索的彻底去除与分数分解工具化当前自然窗口仍混合激活与随机序列，序列均值预言机 eta = 0.166 ，序列线索依然存在。可进一步设计仅含激活序列且序列顺序完全随机的评估集，以将 eta$ 降至零。此外，论文依据 Proposition 1(b) 将模拟分数分解为：

r(a, a) = rw √1-eta^2√1-eta^2 + r_b eta eta
将这种分解自动化并集成到现有基准（如 SAEBench、delphi）的汇报流程中，使“序列内 token 级匹配”与“序列间均值偏移”的贡献一目了然，是提升评估透明度的直接途径。 ### 6. 评估数据捷径的自动审计与动态消除本文手工分析了特定流水线的三种线索，但缺乏通用检测方法。可开发**自动化审计工具**，系统扫描任意评估数据中的构造性偏差： - 峰值位置的分布是否过度集中； - 正负样本标记集合的分布差异（通过总变差距离 TV(P+, P_-) 量化）； - 序列排序是否携带标签信息。更进一步，可探索**自适应数据生成**：在评分过程中实时监测评分器是否过度依赖特定构造特征（如位置或标记数量），并动态调整数据生成策略以压制该依赖。 ### 7. BOS token 与激活重计算的标准化论文发现缺少序列开始（BOS）token 会导致首个真实 token 的残差范数异常增大（ 29.4 倍中位数），并严重扭曲 SAE 激活分布。不同架构（如 Llama、Gemma、GPT-2）和不同层对此效应的敏感性可能不同。系统量化该效应在各模型家族中的差异，并建立“本地重计算激活时必须保留 BOS”的标准协议，对保证跨研究可比性具有实际意义。 ### 8. 清洁评估与人类判断的对齐验证最终，自动可解释性评估的终极目标是逼近人类对特征的理解。在去除结构性捷径的“清洁”数据上，自动评分器（无论是 LLM 还是类型化模型）给出的分数与人类专家手动标注的相关性如何？如果清洁数据上的自动评分与人类排名高度一致，将反向证明去除捷径不仅消除了伪影，还使评估指标更接近真实的可解释性。 Q6: 总结一下论文的主要内容这篇论文揭示了自动化可解释性（automated interpretability）评估数据中的**结构性捷径（structural shortcuts）**问题，指出当前主流评估流程构建的数据本身携带了与解释文本无关的构造性线索，并提出去除这些线索的方法与标准化评估建议。 ### 1. 研究问题自动化可解释性通过让语言模型评分器阅读稀疏自编码器（SAE）特征的解释文本，并评估其在示例上的预测或判断能力。论文发现，**标准流水线构建的评估数据在窗口裁剪、标记放置和序列排序上存在可预测的模式**，使得简单的无解释规则无需阅读解释文本即可达到甚至超越大型语言模型评分器的表现。这导致现有分数难以作为解释质量的可靠证据。 ### 2. 三个结构性线索论文在四个公开流水线中识别并量化了三类结构性线索： - **位置线索（Position cue）**：Neuronpedia 存储的激活示例为 17-token 窗口，激活峰值被裁剪在中心 token（第 9 位， 91.3% 的示例）。仅检查”中心 token 是否被标记”的规则在 500 个随机特征的 1,001 次运行中达到 balanced accuracy 0.979 ，远超存储的 LLM 评分器（ 0.838 ）。中心先验（centre prior）在模拟任务中达到 pooled correlation 0.732 。 - **标记线索（Mark cues）**：模糊测试（fuzzing）的负样本通过固定种子采样标记，导致标记位置与数量分布与正样本高度可区分。仅读取标记数量的规则达到 balanced accuracy 0.969 （GPT-2）和 0.981 （Gemma）。当前 delphi 代码中，负样本固定在特定索引（如索引 24）标记，使得固定位置规则达到 0.978 。 - **序列线索（Sequence cue）**：OpenAI 的模拟基准将高激活序列排在前面。仅预测前五个序列激活的规则达到 pooled correlation 0.227 （事后），高于 GPT-4 发布模拟器的 0.160 。序列均值预言机（给定每个序列真实均值激活） eta 平均为 0.288 ，构成所有序列内常数规则的上界。 ### 3. 理论工具论文给出三个闭式命题，为捷径分析提供严格框架： - **Proposition 1（序列级预测器分解）**：将模拟分数分解为序列内（within-sequence）与序列间（between-sequence）贡献：

r(a, a) = rw √1-eta^2√1-eta^2 + r_b eta eta
其中序列均值预言机 a(st) = a_s 恰好达到上界 eta 。 - **Proposition 2（中心先验闭式）**：固定位置先验的分数仅取决于中心 token 与其他 token 的均值差 μ_c - μ_o 、中心比例 π 与总体标准差 σ_a ：
r(a, c) = (μ_c - μ_o)√π(1-π)/σ_a

**Proposition 3（仅读标记规则的上界）**：任何仅依赖标记统计量 S(x) 的规则，其 balanced accuracy 满足：
BA(g) ≤ (1) / (2)(1 + TV(P+, P-))
若正负样本标记律相同，则所有此类规则严格为 chance 水平（ 0.5 ）。 ### 4. 实验验证 - **公开流水线审计**：在 Neuronpedia（GPT-2 与 Gemma）、delphi、SAEBench 和 OpenAI 发布数据上，预设的无解释规则系统性地击败或逼近存储的 LLM 评分器与 GPT-4 模拟器。 - **预注册危害测试**：在 49 个特征上检验线索是否改变特征排名。Jev 评分器在存储片段与自然窗口上的排名相关性（Spearman rho = 0.732 ）高于其与中心先验的相关性（ 0.512 ），**未显示排序危害**，但在含线索数据上的分数水平显著更高（ 0.478 vs 0.331 ）。 - **训练评分器分析**：一个小型编码器在存储片段上训练后，无解释训练可达全模型的 83% ，在清洁自然窗口上分数跌落 63% ，进一步证明线索可被模型利用。 ### 5. 清洁数据构造与验证论文设计并验证了去除或分离线索的评估协议： - **随机偏移自然窗口**：在 OpenWebText 上构建 64-token 窗口，将峰值偏移均匀随机化。中心先验降至 0.003 ，最佳共享偏移先验仅 0.015 ，彻底消除位置线索。必须使用序列开始（BOS）token 进行本地激活重计算，否则首个 token 的残差异常会导致激活分布严重偏移。 - **匹配标记构造（推导）**：依据 Proposition 3，若负样本标记从正样本律中独立抽取（如正样本标记一对一重排给负样本），所有预设标记规则将严格降至 chance。论文推导了该方案但未实际构建。 - **序列分解**：将模拟分数按 Proposition 1(b) 分解为序列内与序列间项，以区分 token 级匹配能力与序列级均值偏移。在去除位置线索的随机偏移自然窗口上： - **Jev**（商业类型化决策模型）达到 pooled correlation 0.331 ，而打乱解释后降至 0.013 ，显著高于序列均值预言机（ eta = 0.166 ）和任何共享位置先验。其得分主要来源于序列内匹配（ 0.285 ）。 - **Llama-3.1-8B-Instruct** 开源模拟器也达到 0.194 （打乱后 0.019 ），证明在清洁数据上仍能阅读解释。 ### 6. 结论与建议论文主张，**分数只有在同一批数据上击败所有预设的无解释规则、且打乱解释后显著下降时，才能构成对解释质量的证据**。为此提出四项标准化建议： 1. 报告任何解释分数时，必须同步报告同批数据上最优无解释规则的分数； 2. 评估窗口应在随机偏移下裁剪，并保留 BOS token； 3. 模糊测试的负样本标记应从正样本的标记律中抽取； 4. 模拟分数应报告其序列内（within-sequence）部分，以避免序列级先验的混淆。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xupeng Chen

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37676.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37676

Published: 2026-11-02T02:44:28.678Z

3. The Best Second Opinion Is Right Where the Primary Is Wrong: Partner Selection for Selective Span Tagging

Abstract:A span tagger that ranks its outputs by risk can defer the riskiest ones to a person, and a second model can sharpen this ranking. Which second model should it be? Partner selection is conditional, not global: the best second opinion is the model that is right where the primary is wrong. Across eight tagger types, three seeds and three English benchmarks (576 evaluated primary-partner pairings), choosing the partner by held-out accuracy on the primary’s errors recovers 82% of the best partner’s gain, against 69-70% for span F1 or a random pick. Frozen before a fourth dataset was chosen, the rule replicated there (Spearman 0.40 vs. 0.04 for span F1). Partner value is also directional. The predictive distribution is the second opinion: hard labels discard half of a partner’s value, and scoring the served label improves 94% of pairings. Fixed before the fourth dataset was chosen, this score also replicated there. For LoRA-tuned decoders, independently trained partners beat every readout of the primary network. Applied zero-shot to 51 MASSIVE locales, every primary has a helpful trained partner in every locale, and the preferred partner follows competence.

中文摘要

摘要：一个按风险对其输出进行排序的跨度标注器可以将最风险的结果交给人处理，而第二个模型可以进一步优化这一排序。第二个模型应该是什么？伙伴选择是有条件的，而非全局的：最佳的第二意见模型是在主模型出错的地方正确的模型。在八种标注器类型、三个随机种子和三个英文基准（共评估576个主-伙伴组合）中，通过在主模型错误上的保留数据精度选择伙伴，可以恢复最佳伙伴收益的82%，而使用跨度F1值或随机选择则为69%-70%。在第四个数据集确定之前冻结的规则在该数据集上也得到了重复验证（Spearman相关系数0.40，而跨度F1为0.04）。伙伴价值也是有方向性的。预测分布即第二意见：硬标签会丢失伙伴的一半价值，而对所提供标签进行评分则能提升94%的组合表现。在第四个数据集确定之前固定的评分也在该数据集上得到了重复验证。对于LoRA微调的解码器，独立训练的伙伴优于主网络的所有输出。在零样本条件下应用于51个MASSIVE地区，每个主模型在每个地区都有一个有用的训练伙伴，而首选伙伴则遵循能力水平。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37678 (HTTP 429)

Authors: Varun Kotte

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37678.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37678

Published: 2026-11-02T02:44:28.678Z

4. Exposure Is Not Commitment: Double-Stratified Evaluation of Latent Monitors for Tool-Using Agents

Abstract:Tool-using language agents are vulnerable to indirect prompt injection, and a growing literature probes model internals to catch unsafe actions before they execute, with sharply conflicting results. We argue much of the conflict is an evaluation artifact, and propose a double-stratification protocol: separate injection exposure from behavioral commitment, in both the evaluation and the training population. On the primary Qwen AgentDojo grid, monitors trained on the naive mixed unsafe-versus-rest contrast mostly learn exposure: they flag exposed trajectories whether or not the agent complies, and barely predict which cases turn unsafe. Retrained on exposed cases only, the same probe families predict the model’s own unsafe tool call up to two steps early, the maximum the three-step trajectories admit (logistic AUROC 0.853, matched by a trained TF-IDF text baseline at 0.855). Mistral-7B reaches 0.896 and OLMo-2-7B 0.912; their naive contrasts learn different things: inverted exposure ranking on one, both axes on the other. Representations separate on exposure (probe 1.000 versus trained text 0.908) and where visible context is sanitized or unavailable. Training contrast alone reproduces the shape of recent pre-action-probe negative results, one candidate explanation for the conflict: the signal exists, but the model’s own zero-shot forecast and NLA verbalizations do not reliably recover it. An unstratified AUROC overstates what a latent monitor knows, and what a naive contrast learns is population-dependent: evaluations should stratify both.

中文摘要

摘要：使用工具的语言代理容易受到间接提示注入的影响，越来越多的文献通过探测模型内部以在执行不安全操作之前发现这些操作，但结果存在明显冲突。我们认为，这种冲突在很大程度上是评估的伪影，并提出了一种双重分层协议：在评估和训练人群中，将注入暴露与行为承诺分开。在主要的 Qwen AgentDojo 网格上，基于天真混合不安全与其他对照训练的监控器主要学习暴露：它们会标记暴露的轨迹，无论代理是否遵循，并且几乎无法预测哪些情况会变得不安全。仅在暴露案例上重新训练后，同样的探测器家族可以在最多提前两步预测模型自身的不安全工具调用（逻辑 AUROC 0.853，由经过训练的 TF-IDF 文本基线 0.855 匹配）。Mistral-7B 达到 0.896，OLMo-2-7B 达到 0.912；它们的天真对照学习到的内容不同：在一个模型上暴露排序倒置，在另一个模型上学习了两个轴的内容。表示在暴露上是分离的（探测 1.000 对比训练文本 0.908），或者可见上下文被清理或不可用时也是如此。仅训练对照重复了近期预操作探测负面结果的形态，这是冲突的一个可能解释：信号存在，但模型自身的零样本预测和 NLA 口头化无法可靠地恢复它。未分层的 AUROC 会高估潜在监控器所知的信息，而天真对照学到的内容依赖于人群：评估应对两者进行分层。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*工具使用型语言智能体（tool-using agents）在面对间接提示注入攻击时，其内部状态监控器（latent monitors）评估结果相互矛盾\*\*的问题。具体而言，论文聚焦于以下核心问题： - \*\*现有评估指标的混淆\*\*：以往研究通常将“模型接触了注入内容”（\*\*exposure\*\*）与“模型决定执行危险动作”（\*\*commitment/behavioral commitment\*\*）混为一谈。论文指出，许多看似能预测不安全行为的监控器，实际上只是在检测攻击内容是否存在于上下文中，而非预测模型自身即将采取的不安全行动。 - \*\*训练对比方式带来的偏差\*\*：论文发现，采用“不安全 vs. 其余所有案例”（unsafe-vs-rest）这一朴素混合对比训练的监控器，往往学习到的是暴露信号（exposure）而非行为承诺信号（commitment）。这导致了文献中关于“预动作探测是否有效”的尖锐冲突——不同研究得出正负结果，部分原因正是训练/评估人群未按暴露与承诺进行分层。 - \*\*评估协议的不严谨\*\*：现有基准（如 AgentDojo）主要衡量外部可见的失败结果，但缺乏对模型内部决策点的分层测量。论文提出，未分层的 AUROC 会高估监控器实际掌握的信息，且不同模型和人群下朴素对比所学到的“轴”（暴露或承诺）具有模型依赖性。为应对上述问题，论文提出了\*\*双重分层评估协议（double-stratification protocol）\*\*，要求： 1. 在\*\*训练人群\*\*中区分暴露与承诺； 2. 在\*\*评估人群\*\*中同样区分这两个维度。通过该协议，论文证明：在 Qwen、Mistral-7B 和 OLMo-2-7B 上，仅在已暴露案例中重新训练（unsafe vs. attacked-but-safe）后，潜在监控器能够提前最多两步预测模型自身的不安全工具调用（AUROC 达 0.85–0.91），而模型自身的零样本语言判断（zero-shot self-forecast）和 NLA 文本化解释均无法可靠恢复该信号。这为近期预动作探测的负面结果提供了一种机制层面的解释——信号存在，但训练对比方式不当掩盖了它。 Q2: 有哪些相关研究？论文在第2节"Related work"中系统梳理了相关研究，可归纳为以下五个方向： ### 1. 智能体安全基准（Agent-security benchmarks） - \*\*AgentDojo\*\*

Debenedetti et al., 2024
：提供了评估提示注入攻击与防御的动态工具环境，是本文实验的主要基底。本文直接沿用其威胁模型，未另立新基准，而是叠加激活与NLA观测层。 - **InjecAgent**
Zhan et al., 2024
：其攻击分类学推动使用比”被攻击/清洁”更细粒度的标签。 - **ToolHijacker**
Shi et al., 2026
：证明工具选择层本身可被攻击，因此本文在工具选择前后设置审计钩子。 - **ToolEmu**
Ruan et al., 2024
：采用生成/评估分割的结构，本文借鉴此形状，因NLA运行成本过高而无法全量部署。 - **AgentHarm**
Andriushchenko et al., 2025
：展示主流大语言模型即使在没有越狱的情况下，也常遵守恶意的多步智能体请求。 ### 2. 能力控制与安全设计型智能体（Capability control and secure-by-design agents） - **CaMeL**

Debenedetti et al., 2025
：从可信查询中提取控制流与数据流，并按能力阻止未授权动作。 - **FIDES**
Costa et al., 2025
：以确定性方式强制信息流标签。 - **Beurer-Kellner et al.
2025
**：系统化跨行业的安全设计模式目录。 - **Emde et al.
2025
**：在更窄的设置中证明对所有输入的安全边界。 - **与本文关系**：上述工作提供设计时保证；本文的定位是**补充性测量层**而非替代性安全架构，专注于确定性防御无法覆盖的剩余概率性监控表面。 ### 3. 可解释性与潜在监控（Interpretability and latent monitoring） - **Natural Language Autoencoders (NLAs)**

Fraser-Taliente et al., 2026
：将残差流激活映射为文本再重建，本文将其输出作为**噪声审计证据**和输入表示，而非Ground Truth或生产防火墙。 - **稀疏自编码器**
Cunningham et al., 2023
与 **电路追踪**
Ameisen et al., 2025
：提供稀疏机械化解释方法。 - **Chen et al.
2026
**：将激活文本化专门用于欺骗审计。 - **Dingeto
2026
**：指出NLA风格解释的大部分声明级内容不受重建目标约束，这进一步支持本文将NLA文本仅视为证据而非可信解释。 - **Chain-of-thought monitoring**
Korbak et al., 2025
：概念上最接近的邻居；本文探讨的是在推理缺席、隐藏或被清理时的类比问题。 - **Terekhov et al.
2026
**：证明自适应攻击可针对监控器本身，因此潜在探针必须是分层协议中的一个信号，而非可信神谕。 - **Greenblatt et al.
2024
** 与 **Fraser-Taliente et al.
2026
**：对齐伪造与未言语化的评估意识研究，为内部测量提供了额外动机。 ### 4. 潜在注入暴露探测（Latent injection-exposure probes） - **Dong et al.

2026
**：证明智能体LLM在线性子空间中编码间接提示注入暴露，隐藏状态探针在跨模型未见过攻击上达到 90%+ AUROC；其AGRI防御基于探针分数门控反注入推理。 - **Wang et al.
2026a
** (PVDetector)：通过策略违规概念方向检测针对特定用途智能体的直接提示注入查询。 - **与本文的核心区别**：上述工作检测的是**暴露**（exposure，即注入内容是否存在于上下文中），而本文审计的是**承诺**（commitment，即预动作状态是否能预测模型自身随后生成的不安全工具调用）。暴露是必要非充分条件。 ### 5. 预动作内部状态监控及其负面结果（Pre-action internal-state monitoring, and its negative results） - **支持性正结果**： - **Zhu et al.

2026
**：在工具输入位置通过表示工程读出拦截未授权动作。 - **Chauhan and Revankar
2026
**：在输出令牌发出前检测凭证寻求行为。 - **Tatsat and Shater
2026
**：将工具使用决策归因于预动作特征。 - **Wang et al.
2026b
**、**Ruan et al.
2026
**、**Wilhelm and Kao
2026
**：利用隐藏状态探针标记危险具身动作、失败片段及智能体风险状态。 - **Sun et al.
2026
**：在无攻击者时从预生成状态解码工具必要性（AUROC 0.89 – 0.96 ），并警示”被攻击 vs. 清洁”探针可能读取的是工具紧迫性或套件身份而非真正的妥协。 - **负面结果与警示**： - **Fomin et al.
2026
**：报告在构造对比上AUC达 1.000 的方向在 0/143 审计的预助手上下文和 0/342 预填充行上未触发；其最佳未来行为探针仅达AUC 0.801 。 - **Li et al.
2026
**：论证高清洁-攻击AUC本身不足以证明检测到了恶意内容。 - **与本文的关系**：本文在生成的动作上复现了类似的”情境而非动作”负面结果，但进一步证明该负面结果源于**训练对比方式**（unsafe-vs-rest 构造对比）而非表示中缺乏信号；通过承诺对比重新训练后，同一家族探针可恢复预动作信号（AUROC 0.85 于 n=240 ）。 Q3: 论文如何解决这个问题？论文通过提出并实施**双重分层评估协议（double-stratification protocol）**，将“注入暴露”（exposure）与“行为承诺”（commitment）在训练人群和评估人群中严格分离，从而系统性地澄清了潜伏监控器评估中的冲突与混淆。具体解决路径可分为以下四个层面： ### 1. 核心协议：双重分层论文指出，既有文献的矛盾源于将两种不同信号混为一谈： - **暴露（Exposure）**：模型上下文中间接提示注入内容是否**存在**； - **承诺（Commitment）**：模型在工具调用前的内部状态是否**预示**其即将生成不安全的动作。为此，论文要求**在训练对比和评估指标两个维度同时分层**： - **训练分层**：摒弃朴素的“不安全 vs. 其余所有”（unsafe-vs-rest，其中负例混合了clean与attacked-but-safe）对比，改用**承诺对比（commitment contrast）**，即仅在已被暴露的案例中比较“不安全动作”与“被攻击但安全动作”（unsafe vs. attacked-but-safe）。 - **评估分层**：不再汇报单一的混杂AUROC，而是分别报告监控器在**暴露轴**（能否区分被攻击与clean案例）和**承诺轴**（能否在动作发生前预测不安全行为）上的性能。 ### 2. 轻量级潜伏状态审计框架为执行该协议，论文设计了一套可复现的后置审计管道，叠加于现有AgentDojo基准之上： - **激活捕获**：在关键决策点（接触不可信内容后、工具选择前、工具执行前）提取残差流激活，并严格记录提示来源（`normalized_replay` vs. `exact_prefix`），避免重建伪影。 - **NLA文本化**：使用Natural Language Autoencoder将激活映射为文本，作为噪声审计证据（明确不作为Ground Truth或生产防火墙）。 - **多基线对照**：同步评估原始激活探针、L2正则逻辑回归探针、NLA文本分类器、可见文本基线（TF-IDF/朴素贝叶斯）、零样本模型自我评判与工具策略，以定位信号来源。 ### 3. 关键实证：用正确对比恢复预动作信号通过上述协议，论文证明先前负面结果很大程度上是**训练对比造成的评估伪影**，而非信号不存在： - **朴素混合对比**下，监控器主要学习暴露：在Qwen上几乎不预测承诺（pre-action AUROC仅0.672），在Mistral上则出现倒置暴露排序，在OLMo-2上同时读取两轴——说明无分层时“学到什么”具有模型依赖性与人群依赖性。 - **承诺对比重新训练**后，同一家族探针在严格预动作设定下显著恢复承诺预测能力： - Qwen2.5-7B：逻辑探针AUROC达 ** 0.853 **，与TF-IDF文本基线（ 0.855 ）持平； - Mistral-7B：逻辑探针达 ** 0.896 **； - OLMo-2-7B：逻辑探针达 ** 0.912 **。 - 这些监控器最多可提前**两步**标记风险（受限于三步轨迹的最大可观测前置步长）。 ### 4. 解释冲突结果与定位信号边界该协议进一步提供了机制层面的解释： - **近期预动作探测负面结果**（如Fomin et al., 2026; Li et al., 2026）可在本文框架下复现：使用构造对比时，探针读取的是“情境而非动作”；但切换为承诺对比后信号即被释放。 - **零样本自我预测失败**：模型对自身下一步行为的口头化预测（zero-shot LLM judge）在分布内及迁移集上均显著低于训练后的探针与文本基线，说明该信号虽存在于表示中，却无法通过模型自身零样本言语化可靠提取。 - **表示 vs. 文本的边界**：在分布内承诺预测上， competent的TF-IDF文本基线可匹配激活探针；但在**暴露检测、跨模板迁移、上下文被清理或不可见**的场景下，激活表示仍具不可替代的优势。 ### 5. 方法论定位与可复现性论文将潜伏状态审计定位为现有AgentDojo等外部评估的**补充测量轴**（thin, provenance-tracked instrumentation layer），而非替代安全架构。通过建立明确的**证据阶梯（evidence ladder）**（从mock到模型生成动作），并开源全部代码、清单、导出数据及计算脚本，确保每一个引用数字均可追溯与复现。简言之，论文解决该问题的方式并非提出某种新探针架构，而是通过**强制分离暴露与承诺的评估协议**，揭示了训练对比方式是当前领域冲突结果的主导瓶颈，并证明在正确分层后，预动作承诺信号既存在于激活中，也可被有能力的文本基线部分捕获。 Q4: 论文做了哪些实验？论文围绕潜伏状态审计设计了**三个递进实验**及**跨模型复现**，核心是从“重放记录”到“模型自主动作生成”逐步逼近真实决策场景，并在每一步嵌入双重分层对比。 ### 1. 实验设置与证据框架所有激活实验均以 **Qwen2.5-7B-Instruct** 为主模型（层20），并以 **Mistral-7B-Instruct-v0.3** 与 **OLMo-2-7B-Instruct** 作跨模型复现（层23，按相对深度匹配）。生成采用确定性采样（temperature 0 ，80 new tokens）。评估采用5折分层交叉验证，配合1,000次case-level bootstrap重采样；关键结论另附user-task聚类bootstrap以检验泄漏控制。论文引入**证据阶梯**（evidence ladder），将证据强度从mock、合成、重放、精确前缀重放、代理领先时间到模型生成动作逐级划分，确保每个结论仅在其支撑层级上成立。 —- ### 2. 实验1：重放网格的可分离性（Replay Separability） - **数据**：200条AgentDojo导出记录（workspace + slack 套件；ignore_previous + system_message 模板），其中40条clean、160条attacked。 - **观测点**：在“接触不可信内容之后”与“工具选择之前”两个决策点捕获激活。 - **目的**：检验潜伏监控器能否仅基于导出记录（非实时交互）区分attacked与clean案例。 - **结果**：trained NLA文本AUROC达 0.929 ，原始激活探针达 0.999 ；而原始NLA分类学接近随机（ 0.575 ）。精确前缀-only与标准化重放-only的消融均保持该可分离性。 —- ### 3. 实验2：跨套件与跨模板迁移（Transfer） - **设计**：在单一套件或单一攻击模板上训练，在另一套件或 held-out 模板上评估。 - **分组**： - workspace arrow slack 跨套件迁移； - 单一模板训练后在剩余模板上评估。 - **目的**：检验重放结构中的信号是否只是基准构造的伪影，以及监控器能否迁移到未见过场景。 - **结果**：workspace→slack的AUROC为 0.927 （NLA文本）/ 1.000 （激活探针）；slack→workspace为 0.970 / 1.000 ；held-out模板迁移为 0.995 – 1.000 。论文同时指出，重放迁移仍可能受基准构造规律性约束，因此推动实验3。 —- ### 4. 实验3：模型生成的不安全动作（Model-Generated Unsafe Actions）这是论文的核心实验，标签来自模型自身生成的工具调用，而非人为插入的代理标签。 #### 4.1 全网格导出与双重分层 - **数据**：886条独特轨迹（4个套件、5个workspace攻击模板）。主分析聚焦workspace important_instructions全网格：280个cases（40 clean、99 attacked-but-safe、141 unsafe），unsafe标签由生成工具调用是否落入攻击任务推断的不安全工具集机械判定。 - **关键操作**：将训练对比与评估轴同时分层： - **朴素混合对比（naive mixed）**：unsafe vs. rest（负例混合clean与attacked-but-safe）。 - **承诺对比（commitment contrast）**：仅在已暴露人群中比较 unsafe vs. attacked-but-safe，且严格限定在动作发生前的步骤（pre-action）。 - **评估轴**： - **暴露轴**：区分 attacked-but-safe 与 clean。 - **承诺轴**：在动作发生前（最多两步，因轨迹共三步）预测模型自身即将生成的不安全调用。 #### 4.2 监控器家族对比在同折上同步评估： - 原始激活探针（nearest-centroid）、L2正则逻辑回归探针； - 训练后的NLA文本分类器（naive Bayes、TF-IDF）； - 可见文本基线（naive Bayes、TF-IDF logistic）； - 零样本LLM自我评判（模型对自身下一步暴露与合规可能性的口头预测）； - 工具策略（tool policy，作为可见调用后的上限参照）。 #### 4.3 主要发现 - **朴素混合训练**：在Qwen上主要学习暴露（暴露AUROC 1.000 ），但承诺预测微弱（pre-action仅 0.672 ，NLA文本接近随机 0.556 ）。 - **承诺对比重新训练**：同一家族探针恢复强预动作信号——逻辑探针AUROC ** 0.853 **（分层折）/** 0.795 **（按user task分组折），与TF-IDF文本基线（ 0.855 / 0.780 ）持平；质心探针达 0.763 。步级分析显示 t-2 与 t-1 均携带信号（ 0.878 、 0.871 ）。 - **零样本自我预测失败**：模型对自身行为的口头化预测在承诺上仅 0.615 （分布内），held-out模板降至 0.442 ，显著低于训练后探针。 #### 4.4 迁移测试（承诺对比下） - **跨模板**：4个held-out攻击模板（33 unsafe / 160 attacked），质心探针AUROC 0.756 ，TF-IDF 0.794 ，逻辑探针 0.572 。 - **跨套件**：travel套件（15 unsafe / 140 attacked），质心探针AUROC 0.837 ，TF-IDF 0.717 。 - **结论**：质心探针在迁移中最稳定，逻辑探针与TF-IDF在分布内更强但跨人群更脆弱。 —- ### 5. 跨模型家族复现在相同workspace网格上重复双重分层协议，验证现象是否模型依赖： | 模型 | 朴素混合对比所学 | 承诺对比恢复 | |———|—————————|———————| | **Mistral-7B** | 承诺预测尚可（ 0.835 ），但暴露排序**倒置**（ 0.282 ，低于随机） | 逻辑探针达 ** 0.896 ** | | **OLMo-2-7B** | 同时读取暴露（ 0.957 ）与承诺（ 0.785 ）两轴 | 逻辑探针达 ** 0.912 ** | 这证明：无分层时“探针学到什么”具有**模型依赖性与人群依赖性**；而承诺对比在所有三家模型上均能恢复预动作承诺信号。 —- ### 6. 补充分析（附录） - **附录C**：承诺对比监控器的配对bootstrap差异检验与FPR@90TPR操作点分析（监控器排名虽好，但门控成本仍高）。 - **附录D**：系统记录负面结果——原始NLA十三类分类学完全失效、banking与slack套件无unsafe生成、固定阈值0.5的误导性、单样本NLA文本在承诺对比下崩溃（三样本部分恢复）。 - **附录E**：校准与互补性讨论——工具策略在可见调用后 trivially 完美，潜伏监控的核心价值在于**领先时间**（lead time）而非头对头检测。 - **附录J**：重放网格完整指标表（含AUPRC、FPR@90TPR、阈值与准确率）。 Q5: 有什么可以进一步探索的点？基于论文的局限性与开放问题，以下几个方面值得进一步探索： ### 1. 自适应攻击下的监控器鲁棒性论文明确指出当前攻击均为非自适应的，而**监控器感知型攻击者**可能主动抑制承诺方向或在阈值以下操作

Terekhov et al., 2026
。未来应将自适应攻击者作为双重分层协议中的第三个人群维度（exposure × commitment × adaptation），评估监控器在策略性规避下的 AUROC 与领先时间衰减曲线。 ### 2. 从离线审计到实时在线干预现有实验属于后置审计（post hoc instrumentation），轨迹最多三步，领先时间上限为两步。下一步需验证： - 在**实时交互环境**中，环境状态转换是否会改变不安全动作的分布与时机； - 如何将预动作承诺信号转化为**运行时阻断机制**（如与 AGRI

Dong et al., 2026
对应、但门控对象为 commitment 而非 exposure 的防御层），并测量干预对任务实用性的影响。 ### 3. 表示层与文本化技术的深化 - **多层与跨层聚合**：当前仅在单一中间层（Qwen 层 20，Mistral/OLMo 层 23）提取激活。合成消融虽显示多层均可分离，但未系统搜索最优层或探索多层聚合（如加权拼接）对承诺预测与迁移稳定性的增益。 - **改进 NLA 训练目标**：Dingeto

2026
指出 NLA 解释的大部分声明级内容不受重建约束，导致单样本 verbalization 在承诺对比下崩溃（AUROC 从 0.853 跌至 0.570 ）。引入**可解码性监督（decodability supervision）**或对比式 verbalization 目标，可能提升激活到文本的承诺信号保留率。 ### 4. 扩展行为与参数层面的承诺定义论文将 commitment 限定在**工具选择（控制流）**层面。AgentDojo 及后续工作

Debenedetti et al., 2025
已识别出**参数层面劫持**（argument-level hijacking，即调用必要工具但填入恶意参数）的风险。未来需将双重分层协议扩展至参数级危险模式，并定义相应的预动作标签与领先时间度量。 ### 5. 跨基准、跨模态与更广泛的人群覆盖 - **超越 AgentDojo**：当前三个模型家族共享同一基准结构，虽然混淆论证具有先验普适性，但具体 AUROC 受网格构造（如 attack template 的词汇规律性）影响。需在 InjecAgent、ToolEmu、AgentHarm 等异构基准上验证承诺对比的通用性。 - **多模态场景**：Li et al.

2026
已提示多模态计算机使用代理中的隐藏状态探测问题。将双重分层协议扩展至视觉-语言激活与跨模态暴露/承诺分离，是一个紧迫方向。 - **覆盖更多套件与攻击模板**：当前 unsafe 生成高度集中于 workspace 与 travel 套件，以及 `important_instructions` 与 `tool_knowledge` 模板，banking 和 slack 套件未产生 unsafe 行为。需要设计更高产或更细粒度的攻击模板以填充稀疏象限。 ### 6. 因果机制与表示工程当前工作基于**相关性探测**（线性探针、最近质心）。未来可通过： - **表示工程**（如 Zhu et al.

2026
的方法）直接干预承诺方向，验证其因果性； - **激活修补（activation patching）**区分“暴露编码”与“承诺编码”的神经子空间，回答二者在表示几何中是正交、重叠还是层级依赖的。 ### 7. 零样本自我预测的失败机制模型自身的零 shot 口头化预测在分布内仅达 AUROC 0.615 ，显著低于训练后探针。这一差距的成因尚不明确： - 是否源于**自我知识缺失**（模型确实无法访问自身的预动作承诺状态）； - 还是**言语化偏差**（状态存在但无法通过语言头可靠解码）； - 或是**对齐伪装**（Greenblatt et al., 2024）导致的策略性隐瞒。针对性的因果实验（如强制链式思考、不同系统提示下的自我预测）可厘清该机制。 ### 8. 工程化部署与成本考量 - **黑盒与 API 限制**：激活访问对多数前沿 API 代理不可用。需探索从**有限查询**（如 logit 偏置、嵌入端点）或**侧信道**（生成延迟、token 概率分布）中恢复承诺信号的可行性。 - **误报成本与阈值校准**：当前 FPR@90TPR 在承诺对比下为 0.343 （逻辑探针）至 0.626 （质心探针），且 clean-traffic 误报成本未测量。未来需在真实部署基数与业务成本结构下进行阈值重校准，并探索监控器组合（如激活探针 + 工具策略级联）的最优操作点。 ### 9. 更长轨迹与多步承诺推理当前轨迹长度限制为三步，最大领先时间为两步。对于需要**多步准备**的复杂攻击（如先收集凭证再外泄数据），承诺信号可能在更早步骤即已出现，但因轨迹截断而被忽略。构建更长视野的审计框架，并定义跨多步的“累积承诺”度量，将提升协议对复杂攻击的敏感性。 Q6: 总结一下论文的主要内容该论文研究工具使用型语言智能体（tool-using agents）面对间接提示注入攻击时，**内部状态监控器（latent monitors）评估结果相互冲突**的问题，指出该冲突 largely 源于评估协议未能区分两种不同信号：**暴露**（exposure，模型是否接触了注入内容）与**承诺**（commitment，模型是否即将执行不安全动作）。论文提出**双重分层评估协议**（double-stratification protocol），系统证明了训练对比方式而非表示缺乏才是近期负面结果的主导瓶颈。 ### 一、研究背景与核心问题 - **安全场景**：工具使用型智能体可调用外部工具（发送邮件、删除文件等），间接提示注入通过污染不可信内容（邮件、网页、工具返回）劫持其行为。 - **评估缺口**：现有基准（如 AgentDojo）仅测量外部可见的失败结果，未区分内部决策点上的两种信号： - **暴露（Exposure）**：注入内容是否存在于上下文中； - **承诺/行为承诺（Behavioral Commitment）**：预动作内部状态是否预示模型自身将生成不安全工具调用。 - **文献冲突**：部分研究显示预动作探针可检测风险，另一些则报告负面结果。论文论证这种冲突是**评估伪影**（evaluation artifact），因为“不安全 vs. 其余所有”（unsafe-vs-rest）的朴素混合对比会将暴露信号与承诺信号混为一谈。 ### 二、双重分层协议论文的核心方法论贡献是要求**在训练人群与评估人群中同时分离暴露与承诺**： | 对比方式 | 正例 | 负例 | 学习的信号 | |————-|———|———|—————-| | 朴素混合（naive mixed） | unsafe | rest（clean + attacked-but-safe） | 主要为暴露 | | 承诺对比（commitment contrast） | unsafe | attacked-but-safe（仅已暴露人群） | 承诺 | 评估时不再报告单一混杂 AUROC，而是分别报告监控器在**暴露轴**（区分 attacked-but-safe 与 clean）和**承诺轴**（在动作发生前预测 unsafe）上的性能。 ### 三、主要实验与发现论文设计了从 AgentDojo 重放到模型自主生成动作的递进实验，并在 **Qwen2.5-7B**、**Mistral-7B**、**OLMo-2-7B** 上验证： 1. **朴素混合训练的结果（暴露检测）** - 在 Qwen 上，探针几乎完美识别暴露（AUROC 1.000 ），但对承诺的预动作预测仅 0.672 （NLA 文本接近随机 0.556 ）。 - 在 Mistral 上，朴素对比学习承诺但伴随**倒置的暴露排序**（AUROC 0.282 ）。 - 在 OLMo-2 上，朴素对比同时读取暴露与承诺两轴。 - 结论：**无分层时，监控器学到什么具有模型依赖性与人群依赖性**。 2. **承诺对比重新训练的结果（承诺预测）** - 仅在已暴露案例上重新训练后，同一家族探针显著恢复预动作承诺信号（最多提前两步，因轨迹仅三步）： - Qwen：logistic 探针 AUROC ** 0.853 **（与 TF-IDF 文本基线 0.855 持平）； - Mistral：logistic 探针 AUROC ** 0.896 **； - OLMo-2：logistic 探针 AUROC ** 0.912 **。 - 跨模板与跨套件迁移显示，质心探针最稳定（如 travel 套件 0.837 ），逻辑探针与 TF-IDF 在分布内更强但迁移更脆弱。 3. **基线层级与信号来源定位** - **表示（激活）与文本的平价性**：在分布内承诺预测上，competent 的 TF-IDF 文本基线可匹配激活探针；但在**暴露检测、跨模板迁移、上下文被清理或不可见**的场景下，激活表示仍具不可替代的优势。 - **零样本自我预测失败**：模型对自身下一步行为的口头化预测（zero-shot LLM judge）在分布内仅达 AUROC 0.615 ，held-out 模板降至 0.442 ，说明信号虽存在于表示中，却无法通过模型自身零样本言语化可靠提取。 - **NLA 文本的局限**：单样本 NLA verbalization 在承诺对比下信号严重损失（ 0.570 ），三样本部分恢复（ 0.704 ），印证 NLA 更适合作为噪声证据而非可信解释。 ### 四、结论与意义 - **对负面结果的解释**：论文复现了近期预动作探测负面结果（如 Fomin et al., 2026）的“情境而非动作”现象，但证明该现象源于**训练对比方式**（unsafe-vs-rest 构造对比），而非表示中缺乏承诺信号。这是文献冲突的**机制级候选解释**。 - **评估规范**：未分层的 AUROC 会系统性地高估监控器所知，且不同模型上朴素对比所学轴不可预期。论文主张**所有潜在监控器评估必须双重分层**。 - **定位与局限**：潜伏状态审计应作为现有外部安全基准的补充测量层（thin instrumentation layer），而非替代确定性防御（如最小权限、信息流控制）。其当前假设开放/自托管模型，攻击为非自适应，且激活访问对多数 API 代理不可用。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Rishabh Sinha

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37679.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37679

Published: 2026-11-02T02:44:28.678Z

5. Artifact Distillation: Training-Free Transfer from Frontier to Small Language Models

Abstract:Closing the gap between frontier and smaller language models is usually approached by distillation: fine-tuning the small model (student) on a frontier model’s (teacher) outputs, which binds transfer to training compute and leaves the transferred knowledge largely opaque. We propose Artifact Distillation: a teacher solves training instances and externalizes its problem-solving procedure into an artifact bank that a student queries at inference time, with no gradient updates. Across four LiveBench tasks, a bank written by Claude Opus 4.5 lets Claude Haiku 4.5 outperform unaided Claude Sonnet 4.5 on spatial reasoning (0.707 vs. 0.647) at 60% of its cost, and reach Sonnet 4.5’s level on table joining at 89% of its cost. The same raw bank raises Qwen3.5-27B’s pooled score from 0.730 to 0.800, showing that transfer is not confined to the teacher’s model family.

中文摘要

摘要：缩小前沿模型与小型语言模型之间的差距通常通过蒸馏来实现：在前沿模型（教师）的输出上对小模型（学生）进行微调，这会将迁移与训练计算绑定在一起，并使转移的知识在很大程度上不透明。我们提出了“工件蒸馏”：教师解决训练实例，并将其问题解决过程外部化到一个工件库中，学生在推理时查询该库，无需梯度更新。在四个LiveBench任务中，由Claude Opus 4.5编写的工件库使Claude Haiku 4.5在空间推理任务上以60%的成本超过未使用帮助的Claude Sonnet 4.5（0.707比0.647），并在表格合并任务上以89%的成本达到Sonnet 4.5的水平。同样的原始工件库将Qwen3.5-27B的汇总得分从0.730提高到0.800，显示迁移并不限于教师的模型系列。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*如何在不进行训练或微调的前提下，将前沿大语言模型（teacher）的问题解决能力有效迁移到更小、更廉价的模型（student）上\*\*，并克服传统基于监督微调（SFT）的知识蒸馏所固有的以下缺陷： - \*\*计算成本与训练绑定\*\*：传统蒸馏必须通过梯度更新将教师知识嵌入学生模型的权重，消耗大量训练计算资源。 - \*\*灾难性遗忘风险\*\*：微调过程可能损害学生模型在原始任务上的性能。 - \*\*知识不透明性\*\*：一旦知识被编码进模型参数，便难以检查、理解或事后修订。为此，论文提出 \*\*Artifact Distillation（工件蒸馏）\*\* 框架，其核心解决思路是： 1. \*\*将知识外化而非内化\*\*：教师模型在解决训练任务后，把通用的解题方法、策略和检查步骤以自然语言形式写成“工件”（artifacts），存入一个可读的工件库（artifact bank）。 2. \*\*推理时检索替代训练\*\*：学生模型权重保持冻结，在推理阶段通过两阶段流程（先根据触发条件选择相关工件，再结合工件内容作答）查询该库。 3. \*\*实现可解释、可复用的能力迁移\*\*：由于工件以自然语言显式存储，转移的知识是透明、可审计且可跨模型家族复用的。实验表明，该方案能够在部分任务上使小模型以显著更低的推理成本达到甚至超越未辅助的更大模型的表现，例如让 Claude Haiku 4.5 在空间推理任务上以 Sonnet 4.5 60% 的成本超越后者，同时同一工件库也能提升 Qwen3.5-27B 的跨家族性能。 Q2: 有哪些相关研究？根据论文第5节，与 \*\*Artifact Distillation\*\* 相关的研究工作可分为以下四类，论文同时阐明了自身与这些工作的核心差异： ### 1. 标准知识蒸馏（Standard Distillation）这类方法通过监督微调（SFT）将教师能力迁移到学生模型的权重中，具体形式包括： - \*\*输出分布匹配\*\*：如 Hinton 等人提出的经典知识蒸馏，使学生模仿教师的软标签分布； - \*\*序列级蒸馏\*\*：如 Kim & Rush (2016) 的方法，让学生复制教师的输出序列； - \*\*中间表示蒸馏\*\*：如 Jiao 等人的 TinyBERT，对齐教师与学生的隐藏层表示； - \*\*推理过程蒸馏\*\*：如 Hsieh 等人的 "Distilling step-by-step" 以及 Wadhwa 等人对 CoT 增强蒸馏的探究，将教师的推理链或 rationales 作为训练目标。 \*\*核心差异\*\*：Artifact Distillation \*\*完全不更新学生权重\*\*，所有转移的知识以自然语言工件的形式外化存储，学生仅在推理时检索。 ### 2. 检索增强生成（RAG）与少样本学习（Few-Shot Learning） - \*\*RAG\*\*（Lewis 等人）：从外部语料库检索相关文本段落，再结合生成； - \*\*少样本示例\*\*（Brown 等人）：在提示中提供输入-输出样例，包括后续工作如 Rubin 等人通过检索优化示例选择。 \*\*核心差异\*\*：上述方法检索的是\*\*原始文档或已解决的实例\*\*；Artifact Distillation 检索的是\*\*教师撰写的、领域通用的解题策略与程序性指导\*\*，而非具体答案或文本片段。 ### 3. 模型路由与级联（Routing & Cascades） - \*\*FrugalGPT / RouteLLM\*\*（Chen 等人；Ong 等人）：根据查询难度或成本约束，将请求路由到不同能力的模型，或由小模型回答、大模型复核。 \*\*核心差异\*\*：路由方法决定\*\*“哪个模型”\*\*来回答问题；Artifact Distillation 的目标是\*\*让廉价模型自身变得更准确\*\*，而非依赖调用更强的模型。 ### 4. 教师撰写的指导性文本（Teacher-Written Guidance）这是最接近的先例，但存在关键区别： | 工作 | 主要内容 | 与 Artifact Distillation 的区别 | |------|----------|-------------------------------| | \*\*TPD\*\* (Wang 等人, 2024) | 教师从\*\*学生自身的错误\*\*中提炼原则，并将其折叠进修订后的系统指令与少样本示例。 | TPD 需观察学生错误且依赖指令重写；Artifact Distillation 的教师仅从\*\*自身解题过程\*\*写工件，无需观察学生，一个库可服务多个模型。 | | \*\*RICP\*\* (Sun 等人, 2024) | 从训练错误中检索与测试问题最相近的见解（insights）。 | 同样要求学生在标注数据上先产生错误；Artifact Distillation 的工件是\*\*前瞻性、领域通用\*\*的策略，而非针对特定历史错误的复盘。 | | \*\*AutoManual\*\* (Chen 等人, 2024b) | 通过与环境交互自动生成手册，指导较小 LLM 完成任务。 | 依赖环境交互与试错；Artifact Distillation 通过一次性解决训练集并外化工件完成，无需在线交互。 | | \*\*ExpeL / AutoGuide\*\* (Zhao 等人; Fu 等人, 2024) | 从智能体（agent）的经验轨迹中提取并总结指导性规则。 | 面向长程交互与智能体学习；Artifact Distillation 面向单轮任务的问题解决程序转移。 | | \*\*基于自身错误/经验的学习\*\* (Zhang 等人; Shinn 等人; Ouyang 等人) | 模型从自身的推理错误（如 Reflexion）或经验库（如 ReasoningBank）中进化。 | 侧重自我改进与记忆积累；Artifact Distillation 是\*\*跨模型\*\*的知识转移，且工件内容由更强的教师模型撰写。 | ### 总结性区分论文强调 Artifact Distillation 在三个层面区别于已有工作： 1. \*\*教师-学生解耦\*\*：教师写库时\*\*无需观察学生\*\*在训练数据上的表现，工件库可被同一教师生成的多个不同学生（甚至教师自身）复用，且支持跨模型家族转移（如 Claude → Qwen）。 2. \*\*触发-内容分离的两阶段推理\*\*：学生先仅根据\*\*触发器（trigger）\*\*选择工件 ID，再在独立调用中才看到工件\*\*完整内容\*\*，避免信息过载。 3. \*\*成本-精度联合评估\*\*：论文明确将“学生 + 工件库”的系统与\*\*未辅助的更强模型\*\*在\*\*准确率与推理成本\*\*两个维度上对比，证明小模型可在更低成本下追平或超越大模型。 Q3: 论文如何解决这个问题？论文通过 \*\*Artifact Distillation（工件蒸馏）\*\* 框架解决该问题，其核心在于将教师模型的解题程序外化为自然语言工件库，供冻结权重的学生模型在推理时检索。具体流程分为\*\*库构建\*\*与\*\*库使用\*\*两大阶段，详述如下： --- ### 1. 问题形式化给定教师模型 T 、学生模型 S 、以及包含训练集 D_(train) 与验证集 D_(eval) 的任务。转移效果定义为：学生在 D_(eval) 上的准确率，在可访问工件库相对于无库时的变化量。 --- ### 2. 工件库的构建（教师阶段） #### 2.1 初始解题与工件撰写对 D_(train) 中的每个实例，教师 T 首先独立求解问题；随后，针对其解题过程撰写一条或多条 \*\*artifact（工件）\*\*。每条工件是一个三元组： - \*\*唯一标识符（identifier）\*\*：如 \`a017\`； - \*\*触发条件（trigger）\*\*：描述该工件适用于何种结构化的任务情境； - \*\*自由文本内容（content）\*\*：可包含程序性指导、检查清单、通用模式或注意事项。所有工件必须满足\*\*领域通用性\*\*约束：禁止包含特定实体名、数值、固定解题序列或训练实例的专属信息，确保其能迁移到同领域的未知实例。 #### 2.2 错误反思（Reflection）若教师对某训练实例的初始答案不正确，则启动一次反思调用： - 向教师展示该实例的参考答案（ground truth）； - 要求教师复盘错误根源，并\*\*重新撰写\*\*新的工件； - 新工件将\*\*替换\*\*该实例首次尝试产生的工件（因首次工件基于有缺陷的推理，不可复用）。 --- ### 3. 工件库的清理（Bank Cleaning）构建完成的原始库会经过一次由 LLM judge（由 T 兼任）执行的审计清理。Judge \*\*一次性读取全库\*\*，通过横向比较决定每条工件的去留： | 清理规则 | 判定标准 | |---------|---------| | \*\*实例泄露（Leakage）\*\* | 包含特定实体、情节、数值或固定解题序列 | | \*\*重复（Duplicate）\*\* | 与库中另一工件在触发条件与核心教训上重叠，仅保留表述最清晰完整的一条 | | \*\*琐碎（Trivial）\*\* | 仅为通用解题常识，不含非显然信息 | | \*\*不可行（Not Actionable）\*\* | 触发器过于模糊，或内容未指明学生应采取何种不同操作 | 经清理后保留的工件构成最终\*\*工件库（artifact bank）\*\*。 --- ### 4. 学生的两阶段推理（无梯度更新）学生模型 S 的权重保持冻结，在推理时通过以下两阶段调用工件库： #### 4.1 选择阶段（Selection） - \*\*输入\*\*：待求解任务，以及一份\*\*清单（manifest）\*\*——仅包含每条工件的标识符与触发条件，\*\*不暴露其完整内容\*\*； - \*\*操作\*\*： S 判断哪些工件的触发条件与当前任务的结构匹配，返回最精简的工件 ID 列表，或返回 \`NONE\`； - \*\*约束\*\*：要求基于任务\*\*结构类型\*\*而非具体数值进行匹配，禁止在选择阶段直接解题。 #### 4.2 回答阶段（Answer） - \*\*输入\*\*：待求解任务，以及在选择阶段被选中的工件的\*\*完整内容\*\*； - \*\*操作\*\*： S 在全新调用中结合这些策略性指导生成最终答案。此设计的目的是避免学生被大量文本淹没，同时确保其仅在确认相关后才读取具体策略。 --- ### 5. 核心机制总结 | 机制 | 说明 | |-----|------| | \*\*知识外化\*\* | 教师能力以自然语言形式存入工件库，而非编码为学生权重 | | \*\*零梯度更新\*\* | 学生模型无需任何微调或 SFT，推理成本仅增加两次 API 调用（选择 + 回答） | | \*\*触发-内容分离\*\* | 学生先基于摘要式触发器做相关性判断，再读取详细内容，降低噪声干扰 | | \*\*可审计与复用\*\* | 工件为显式文本，可被人工检查、编辑，并可跨模型家族共享（如 Claude 教师 → Qwen 学生） | 通过上述流程，Artifact Distillation 将传统“参数化蒸馏”转变为“推理时检索式蒸馏”，在保留小模型轻量优势的同时，按需注入前沿模型的程序性知识。 Q4: 论文做了哪些实验？论文围绕 \*\*Artifact Distillation\*\* 的有效性、适用条件与工程细节开展了一系列实验，涵盖任务筛选、跨模型评估、机制消融与成本分析。具体实验内容如下： --- ### 1. 实验任务与数据划分从 LiveBench（截至 2026 年 8 月未退役实例）的四个类别中，依据教师（Claude Opus 4.5）与学生（Claude Haiku 4.5）的\*\*无辅助准确率差距\*\* g = Acc_(Opus) - Acc_(Haiku) 进行筛选，保留每个类别中差距最大且显著的任务，最终得到四项任务： | 任务 | 类别 | 核心要求 | 差距 g | |------|------|----------|----------| | \*\*connections\*\* | language | 将 12–16 个单词归入隐藏的 4 词组 | 0.240 | | \*\*math\_comp\*\* | math | 竞赛级数学问题 | 0.386 | | \*\*spatial\*\* | reasoning | 计算切割或排列立体图形后的块数/形状数 | 0.233 | | \*\*tablejoin\*\* | data analysis | 在列名被哈希替换后映射两表之间的列，按 F1 评分 | 0.299 | 每项任务的全部实例按约 \*\*40/60\*\* 划分为训练集（用于建库）与评估集，并按问题子类型分层；近重复实例被强制置于同一侧。 --- ### 2. 模型与评估配置 - \*\*教师模型\*\*：Claude Opus 4.5（负责解题、撰写工件、反思错误、执行清理 Judge）。 - \*\*学生模型\*\*： - Claude Haiku 4.5（主要学生，验证小模型收益） - Claude Sonnet 4.5（验证中等模型是否仍有提升） - Qwen3.5-27B（本地部署，验证\*\*跨模型家族\*\*转移） - Claude Opus 4.5（验证教师自身是否受益于自己的库） - \*\*实验条件\*\*：每种配置（无库 / 原始库 / 清理库）在评估集的每个实例上\*\*独立运行 5 次\*\*，取平均分以降低方差。 - \*\*指标\*\*：LiveBench 官方评分（准确率）；对 Claude 模型，额外统计每 1,000 实例的推理费用（按 Anthropic 定价，含选择阶段与回答阶段的总调用成本）。 --- ### 3. 核心结果实验 #### 3.1 原始库（Raw Bank）的转移效果原始库显著提升了部分学生模型在部分任务上的表现，且呈现出\*\*非均匀转移\*\*： - \*\*Haiku 4.5\*\*： - \*\*spatial\*\*：准确率从 0.587 提升至 \*\*0.707\*\*（ +0.120 ），以 Sonnet 4.5 \*\*60%\*\* 的推理成本超越无辅助的 Sonnet 4.5（0.647）。 - \*\*tablejoin\*\*：准确率从 0.498 提升至 \*\*0.675\*\*（ +0.177 ），达到 Sonnet 4.5 水平（0.698），成本仅为其 \*\*89%\*\*。 - \*\*connections 与 math\_comp\*\*：无显著提升；四项任务汇总（Pooled）提升 +0.071 。 - \*\*Qwen3.5-27B\*\*（跨家族转移）： - 原始库使其四项汇总分从 0.730 提升至 \*\*0.800\*\*（ +0.070 ），其中 tablejoin 从 0.408 提升至 0.671，证明转移不局限于教师模型家族。 - \*\*Sonnet 4.5 与 Opus 4.5\*\*： - 原始库对较强学生增益有限（Pooled 分别仅 +0.020 与 +0.026 ），表明该方法对\*\*原本能力已较强\*\*的模型边际递减。 #### 3.2 清理库（Clean Bank）的对比实验使用 Opus 4.5 作为 Judge，一次性审阅全库，按“泄露/重复/琐碎/不可行”四标准剔除不合格工件（243 条中删除 74 条，其中 58 条为重复）： - \*\*Haiku 4.5\*\*：Pooled 增益从 +0.071 降至 +0.039 ，主要损失来自 tablejoin（ -0.060 ）与 spatial（ -0.067 ）。 - \*\*Qwen3.5-27B\*\*：未受清理负面影响，Pooled 反而微增 +0.018 。 - \*\*Sonnet 4.5\*\*：基本无变化。该实验表明，清理冗余并非总是有益——弱学生可能依赖被 Judge 视为“重复”但包含具体示例或多次强化提示的工件。 --- ### 4. 机制与条件分析实验 #### 4.1 转移何时有效论文通过分析学生\*\*最常被选择的工件\*\*及其对解题行为的影响，归纳出转移成功的两个必要条件： 1. \*\*跨实例复现性（Recurrence）\*\*：工件描述的程序需适用于多个实例，而非窄域技巧。 2. \*\*提供缺失步骤（Novelty）\*\*：工件必须补充学生原本不会主动执行的步骤。 - \*\*spatial（成功）\*\*：工件要求“逐区域追踪边界并计数顶点”，使 Haiku 4.5 采用该策略的比例从 23% 升至 46%，直接弥合了 52% 的准确率差距。 - \*\*tablejoin（成功）\*\*：工件指导学生比较值分布而非列名，使 Haiku 4.5 平均返回列映射数从 2.2 提升至 3.2（接近 gold 的 3.2），Recall 从 0.47 提升至 0.70。 - \*\*connections（失败）\*\*：工件虽通用，但 87% 的无辅助答案已包含“检测隐藏公共词”步骤，缺乏 novelty；提升次要含义检查比例（6%→21%）未转化为准确率收益。 - \*\*math\_comp（失败）\*\*：工件提供的新技术过于狭窄，75% 的评估运行中 selector 返回 \`NONE\`，因很少有评估题需要这些特定技巧。 #### 4.2 清理造成的具体行为变化 - \*\*tablejoin\*\*：清理删除了 Haiku 4.5 最常选择的 4 条工件中的 3 条（ deemed 为重复），导致“按值匹配”建议从每实例 3.9 次降至 0.9 次；学生转而选择相互矛盾的策略，Precision 从 0.68 降至 0.62。 - \*\*spatial\*\*：被删除的重复工件中 38% 包含具体示例，而保留的仅 16% 包含示例。具体示例虽增加长度，但似乎是弱学生执行程序的关键，这解释了 Haiku 与 Opus 在清理后 spatial 上的（非显著）下滑。 --- ### 5. 附录中的补充实验与统计 - \*\*建库成本与规模\*\*（Appendix B）： - 各任务训练集规模：connections（20）、math\_comp（17）、spatial（20）、tablejoin（20）。 - 原始工件数量：connections（69）、math\_comp（38）、spatial（59）、tablejoin（77）；清理后分别降至 52、29、38、50。 - 教师建库成本（不含清理）： 0.57– 1.18。以 spatial 为例，Haiku 使用原始库后单次推理成本 0.0067，低于 Sonnet 的 0.0112，约 \*\*170 次查询\*\*即可收回建库成本。 - \*\*高频工件分析\*\*（Appendix C）： - 列出了 Haiku 4.5 在每项任务上选择频率最高的 4 条原始工件全文及其选择率（如 tablejoin 中 value-pattern 类工件选择率高达 97%–100%），为“成功工件具备跨实例性与程序性”提供了质性证据。 --- 综上，实验体系从\*\*宏观性能\*\*（准确率与成本）、\*\*跨家族泛化\*\*（Claude → Qwen）、\*\*微观机制\*\*（工件选择行为与解题步骤变化）以及\*\*工程细节\*\*（清理策略的经济性）四个层面验证了 Artifact Distillation 的可行性与边界条件。 Q5: 有什么可以进一步探索的点？基于论文的局限性与实验中发现的现象，以下几个方向值得进一步探索： ### 1. 扩展任务范围与场景 - \*\*跨基准验证\*\*：当前四项任务均来自 LiveBench，在其他基准（如 SWE-bench、AgentBench 等）以及真实生产负载上的转移行为尚不明确。 - \*\*长程与智能体任务（Agentic Tasks）\*\*：论文仅考察单轮任务。在多步交互、工具调用或长程规划场景中，按需查询工件库的潜在价值可能更大，需验证工件库能否支撑动态决策与错误恢复。 ### 2. 跨模型家族的系统性转移规律 - \*\*教师-学生配对的泛化\*\*：目前仅验证了 Claude Opus 4.5 → Qwen3.5-27B 的单一跨家族案例。需系统测试不同架构（如 OpenAI GPT 系列、Google Gemini、DeepSeek 等）之间的转移效率，并建立教师-学生能力差距与转移收益之间的预测关系。 - \*\*多教师融合\*\*：探索将多个前沿模型撰写的工件库合并或去重，以提升覆盖范围与鲁棒性。 ### 3. 工件库构建与维护策略 - \*\*动态增量更新\*\*：当前工件库为离线静态构建。可探索在部署后持续收集新错误、自动触发反思并追加工件，实现工件库的自进化（类似 ExpeL / ReasoningBank 的思路，但保持跨模型可复用性）。 - \*\*自适应清理（Adaptive Cleaning）\*\*：实验表明统一清理会损害弱模型表现（如删除重复但含具体示例的工件）。可开发\*\*学生感知的清理策略\*\*，根据特定学生的选择模式与能力保留或精简工件，而非使用通用 Judge。 ### 4. 工件的形式与表征 - \*\*结构化与可执行化工件\*\*：当前工件为自然语言文本。可尝试混合伪代码、形式化规则或领域特定语言（DSL），以降低歧义并提升复杂程序（如数学推导、数据转换）的执行精度。 - \*\*工件间的依赖与层级\*\*：将扁平库重构为具有依赖关系的图或层级结构（例如先判断问题类型，再加载对应子策略），可能提升选择精度并减少回答阶段的信息过载。 ### 5. 推理效率与成本优化 - \*\*单阶段检索-生成优化\*\*：当前两阶段（先选 ID，再读内容）增加了延迟与调用次数。可研究在单次调用中通过摘要或索引高效注入相关工件，或设计更紧凑的触发器以压缩 manifest 长度。 - \*\*选择性激活机制\*\*：并非所有任务都需要工件库。可训练一个轻量级路由器（在不改动学生主权重的前提下）判断何时查询库、何时直接回答，以进一步降低平均推理成本。 ### 6. 与参数化方法的结合 - \*\*混合蒸馏\*\*：Artifact Distillation 可与标准 SFT 结合。例如，先利用工件库在推理时提升学生表现，再将“学生+工件”的输入-输出对作为高质量数据用于微调，从而将程序性知识最终固化到参数中，同时缓解直接蒸馏教师输出带来的不稳定。 - \*\*差异化知识定位\*\*：区分“事实性知识”（适合 RAG）与“程序性知识”（适合 Artifact Distillation），构建统一框架决定何种知识应外化、何种应内化。 ### 7. 失败模式的理论分析 - \*\*任务特性与转移可预测性\*\*：论文发现 \`math\_comp\` 与 \`connections\` 几乎无转移，而 \`spatial\` 与 \`tablejoin\` 效果显著。需建立理论框架或元预测模型，基于任务的\*\*程序性密度\*\*、\*\*实例间结构相似性\*\*和\*\*学生基础能力缺口\*\*预判 Artifact Distillation 的适用性，避免在不适用的任务上浪费建库成本。 ### 8. 多模态工件库 - 将方法扩展至视觉-语言或多模态任务，使工件包含图像操作程序、空间布局规则等，验证跨模态程序性知识的可转移性。 Q6: 总结一下论文的主要内容 \*\*Artifact Distillation: Training-Free Transfer from Frontier to Small Language Models\*\* 一文提出了一种无需训练即可将前沿大语言模型能力迁移至小模型的替代范式。以下是论文的主要内容总结： --- ### 1. 研究背景与动机传统知识蒸馏通常依赖监督微调（SFT），将教师模型（teacher）的输出或推理过程蒸馏为学生模型（student）的权重更新。这种方式存在三个固有缺陷： - \*\*计算绑定\*\*：转移效果与训练算力挂钩； - \*\*灾难性遗忘\*\*：微调可能损害学生原有的通用能力； - \*\*知识不透明\*\*：被编码进参数的知识难以检查、解释或事后修订。为此，论文提出 \*\*Artifact Distillation\*\*，一种完全冻结学生权重、通过外部可检索工件库实现知识转移的框架。 --- ### 2. 方法：Artifact Distillation 该方法将教师的问题解决\*\*程序性知识\*\*外化为自然语言工件（artifacts），存储于工件库（artifact bank）中，供学生在推理时查询。 #### 2.1 工件库的构建 - \*\*教师解题与撰写\*\*：教师模型 T 对训练集 D_(train) 中的每个实例求解，并撰写若干工件。每条工件包含： - \*\*唯一标识符\*\*（identifier） - \*\*触发条件\*\*（trigger）：描述该工件适用的任务结构情境 - \*\*内容\*\*（content）：可复用的解题策略、检查清单或程序说明 - \*\*领域通用性约束\*\*：工件禁止包含特定实体名、数值或固定解题序列，确保可迁移至同领域的未知实例。 - \*\*错误反思（Reflection）\*\*：若教师初始答案错误，则向教师展示参考答案（ground truth），要求其复盘并重新撰写工件，以替换基于错误推理产生的工件。 - \*\*库清理（Bank Cleaning）\*\*：由 LLM judge 一次性审阅全库，剔除存在\*\*泄露\*\*、\*\*重复\*\*、\*\*琐碎\*\*或\*\*不可行\*\*问题的工件。 #### 2.2 学生的两阶段推理（零梯度更新）学生模型 S 权重保持冻结，在推理时通过两次调用使用工件库： 1. \*\*选择阶段（Selection）\*\*：学生仅看到任务描述与各工件的\*\*标识符 + 触发条件\*\*（manifest），返回最相关的工件 ID 列表，或 \`NONE\`； 2. \*\*回答阶段（Answer）\*\*：在全新的调用中，学生接收任务描述及所选工件的\*\*完整内容\*\*，据此生成最终答案。这种“触发-内容分离”设计旨在避免学生被无关文本淹没，同时确保仅加载确有必要的信息。 --- ### 3. 实验设计论文从 LiveBench 的四个类别中筛选出教师-学生差距最大的四项任务： | 任务 | 类别 | 评估指标 | |------|------|----------| | connections | language | 准确率 | | math\_comp | math | 准确率 | | spatial | reasoning | 准确率 | | tablejoin | data analysis | F1 | - \*\*数据划分\*\*：每项任务约 40% 实例用于训练（建库），60% 用于评估； - \*\*模型\*\*：教师为 Claude Opus 4.5；学生包括 Claude Haiku 4.5、Claude Sonnet 4.5、Claude Opus 4.5（自蒸馏）以及本地部署的 Qwen3.5-27B（跨家族验证）； - \*\*对照条件\*\*：无库（baseline）、原始库（raw bank）、清理库（clean bank）； - \*\*评估指标\*\*：LiveBench 官方评分；对 Claude 模型额外统计每 1,000 实例的推理成本。 --- ### 4. 主要结果 #### 4.1 性能与成本原始工件库在部分任务上实现了显著的能力跃迁： - \*\*Haiku 4.5 + 原始库\*\*： - \*\*spatial\*\*：准确率从 0.587 提升至 \*\*0.707\*\*，以无辅助 Sonnet 4.5 \*\*60%\*\* 的成本超越后者（0.647）； - \*\*tablejoin\*\*：准确率从 0.498 提升至 \*\*0.675\*\*，达到 Sonnet 4.5 水平（0.698），成本仅为其 \*\*89%\*\*； - 四项汇总（Pooled）提升 +0.071 。 - \*\*Qwen3.5-27B + 原始库\*\*（跨家族转移）： - 四项汇总分从 0.730 提升至 \*\*0.800\*\*，其中 tablejoin 从 0.408 跃升至 0.671。 - \*\*Sonnet 4.5 与 Opus 4.5\*\*： - 作为较强学生，增益边际递减（Pooled 分别仅 +0.020 与 +0.026 ）。 #### 4.2 清理库的影响清理删除了 30% 的工件（主要为重复），但效果因模型-任务对而异： - Haiku 4.5 的汇总增益从 +0.071 降至 +0.039 ，在 tablejoin 与 spatial 上受损明显； - Qwen3.5-27B 未受负面影响，汇总反而微增； - 这表明弱学生可能依赖被 judge 视为“重复”但包含具体示例或多次强化的工件，\*\*清理并非无代价\*\*。 --- ### 5. 关键发现与分析论文通过分析学生最常选择的工件及其对解题行为的影响，揭示了转移成功的核心条件： 1. \*\*跨实例复现性（Recurrence）\*\*：工件描述的程序必须适用于多个实例，而非狭窄的特定技巧； 2. \*\*提供缺失步骤（Novelty）\*\*：工件必须补充学生原本不会主动执行的步骤。 - \*\*成功示例（spatial / tablejoin）\*\*：工件分别提供了“逐区域追踪边界计数顶点”和“比较值分布而非列名”的系统性程序，填补了学生的推理缺口。 - \*\*失败示例（connections / math\_comp）\*\*： - connections：工件虽通用，但学生已普遍掌握“检测隐藏公共词”策略，缺乏 novelty； - math\_comp：工件提供的技巧过于狭窄，75% 的评估运行中 selector 返回 \`NONE\`，因很少有评估题恰好需要这些技术。此外，\*\*教师-学生的原始准确率差距并不能预测转移效果\*\*：Haiku 在 connections 与 spatial 上落后 Opus 的幅度相近，但仅 spatial 发生了有效转移。 --- ### 6. 贡献与意义论文的主要贡献包括： - \*\*提出 Artifact Distillation\*\*：一种无需训练、权重冻结、基于可检索自然语言工件的能力转移框架； - \*\*验证成本效益可行性\*\*：证明小模型借助工件库可在更低推理成本下追平甚至超越未辅助的更大模型； - \*\*揭示跨家族转移能力\*\*：同一 Claude 教师撰写的工件库可直接提升 Qwen 模型表现； - \*\*界定转移生效条件\*\*：明确工件需同时具备跨实例适用性与对学生缺失步骤的补充性； - \*\*警示清理策略的副作用\*\*：用于精简库的自动化判断可能意外删除弱学生依赖的重复与示例信息。 --- ### 7. 局限性论文也指出了若干待拓展的方向： - 四项任务均来自单一基准 LiveBench，其在其他基准或真实负载上的泛化性待验证； - 未覆盖多轮交互、长程规划等智能体（agentic）任务； - 跨家族转移仅测试了 Claude → Qwen 一组配对，更广泛的模型组合规律有待探索。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是Artifact%20Distillation%3A%20Training-Free%20Transfer%20from%20Frontier%20to%20Small%20Language%20Models，链接是https://arxiv.org/pdf/2610.37680，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.37680。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=false) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mustafa Safa Ozdayi, Somin Wadhwa

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37680.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37680

Published: 2026-11-02T02:44:28.678Z

6. Supervised Fine-Tuning for Reasoning Large Language Models: A Survey

Abstract:Large reasoning models have recently demonstrated remarkable capabilities in solving complex tasks, where supervised fine-tuning (SFT) on long chain-of-thought data serves as a crucial foundation for eliciting and enhancing their reasoning abilities. Despite rapid progress in both improving and analyzing reasoning-oriented SFT, the field still lacks a systematic survey that consolidates its fast-growing literature. To fill this gap, we present a comprehensive review of recent advancements in reasoning SFT, examining the literature through the dual lenses of methodological design and analytical investigation. First, we review methodological improvements across the SFT pipeline and categorize them into data-centric approaches and algorithm-centric innovations. Second, we reorganize analytical studies along three dimensions: data characteristics, optimization dynamics, and mechanistic insights. Finally, by synthesizing current research focuses and remaining bottlenecks, we outline promising future directions for reasoning SFT. We hope this survey deepens the understanding of reasoning SFT and paves the way for advanced reasoning models.

中文摘要

摘要：大型推理模型最近在解决复杂任务方面展示了显著的能力，其中在长链思维数据上的有监督微调（SFT）是激发和增强其推理能力的关键基础。尽管在改进和分析面向推理的SFT方面取得了快速进展，但该领域仍缺乏系统的综述来整合其快速增长的文献。为填补这一空白，我们呈现了对推理SFT近期进展的全面回顾，从方法设计和分析研究两个角度审视相关文献。首先，我们回顾了SFT流程中的方法改进，并将其归类为以数据为中心的方法和以算法为中心的创新。其次，我们沿着三个维度重新组织了分析研究：数据特征、优化动态和机制洞察。最后，通过综合当前的研究重点和现有的瓶颈，我们概述了推理SFT的有前景的未来方向。我们希望本综述能够加深对推理SFT的理解，并为先进的推理模型铺平道路。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*推理导向的监督微调（Supervised Fine-Tuning, SFT）领域缺乏系统性综述\*\*的问题。具体而言，其试图填补以下关键空白： - \*\*现有综述的局限性\*\*：尽管推理SFT的文献快速增长，但此前缺乏专门整合该领域最新进展的系统综述。已有相关工作主要存在三方面局限： - 过度侧重基于强化学习（RL）的后训练框架，而将SFT仅视为RL的辅助或前置步骤； - 对SFT的讨论局限于早期阶段的数据构建（Data Curation），忽视了近期的算法层面创新； - 未能系统性地整合关于推理SFT行为与机制的分散分析性发现。 - \*\*方法论整合的缺失\*\*：近期研究在SFT的优化目标上提出了诸多非平凡的算法创新（如Token级/样本级重加权、分布级正则化、与RL的融合等），但缺乏一个统一的分类体系来梳理这些进展。 - \*\*分析洞察的碎片化\*\*：关于推理SFT的实证分析（如数据特征、训练动态、机制可解释性等）高度分散，尚未被系统地组织与综合。为应对上述问题，该论文构建了一个双重视角的综述框架： 1. \*\*方法论视角\*\*：建立了从数据为中心（Data-Centric）到算法为中心（Algorithm-Centric）的结构化分类法，涵盖Token级、样本级、分布级优化及与RL的整合； 2. \*\*分析视角\*\*：将碎片化的研究发现重新组织为\*\*数据特征\*\*、\*\*优化动态\*\*与\*\*机制分析\*\*三大维度； 3. \*\*未来方向\*\*：基于当前瓶颈，展望了与RL兼容的SFT、推理与知识学习的平衡、因果分析等关键研究方向。 Q2: 有哪些相关研究？该论文系统梳理了推理导向监督微调（Reasoning SFT）领域的相关研究。按照论文建立的分类体系，相关研究可归纳为以下几个主要分支： --- ### 1. 基础与早期工作 - \*\*Chain-of-Thought (CoT) 提示\*\*：Wei et al. (2022); Kojima et al. (2022); Wang and Zhou (2024) 等，通过提示词在推理时激发模型的逐步推理能力。 - \*\*早期数据构建\*\*：Cobbe et al. (2021, GSM8K); Hendrycks et al. (2021b, MATH); Zelikman et al. (2022, STaR); Lightman et al. (2024, PRM800K) 等，专注于构造逐步推理的示范数据。 --- ### 2. 数据为中心的方法（Data-Centric Methods） #### 2.1 数据增强（Data Augmentation）旨在通过丰富训练分布的多样性来防止过拟合与格式僵化： - \*\*GFT\*\* (Gan et al., 2024)：混合专家、教师与自生成轨迹，缓解单一路径依赖。 - \*\*NFT\*\* (Chen et al., 2026a)：联合建模成功与失败的推理响应，构建隐式负策略以远离幻觉模式。 - \*\*RIFT\*\* (Liu et al., 2026d)：为正确轨迹分配正奖励，为错误轨迹分配负奖励，进行奖励校准。 #### 2.2 数据精炼（Data Refinement）旨在缓解离轨（off-policy）专家轨迹与模型固有分布之间的失配： - \*\*Self-alignment 框架\*\* (Gupta et al., 2025; Zhao et al., 2026a)：利用模型自身生成的正确响应及其改写版本来构造在分布内的训练数据。 - \*\*SPOT\*\* (Lin and Han, 2026)：使用更强的教师模型进行最小化编辑的步骤级修正，并采用解耦目标强化正确步骤、惩罚逻辑错误。 - \*\*RL-based 数据精炼\*\* (Wang et al., 2026c)：将数据精炼建模为策略学习任务，在任务一致性约束下通过强化学习优化语义多样性。 --- ### 3. 算法为中心的方法（Algorithm-Centric Methods） #### 3.1 Token级优化（Token-Level Optimization）通过调制单Token权重 w_t^((i)) 来控制学习动态： - \*\*重加权（Reweighting）\*\*： - \*\*DFT\*\* (Wu et al., 2026a)：基于预测概率缩放Token更新。 - \*\*VCORE\*\* (Gong et al., 2026)：基于梯度一致性进行方差控制重加权。 - \*\*EAFT\*\* (Diao et al., 2026)：基于输出分布熵进行熵自适应微调。 - \*\*DEFT\*\* (Wang et al., 2026g)：引入熵驱动的信任门控，将优化焦点从不确定区域转移到自信预测。 - \*\*RANKTUNER\*\* (Yu et al., 2026a)：聚合概率与熵为统一排序指标，系统性地提升关键低概率-低熵目标。 - \*\*TALR\*\* (Lin et al., 2026)：基于Token级损失与批次中位损失的softmax归一化动态赋权。 - \*\*AESL\*\* (Li et al., 2026a)：通过序列相对加权放大不确定Token的梯度，为后续RL保留探索潜力。 - \*\*GIFT\*\* (Zhao et al., 2026b)：基于有限温度Gibbs分布提升正确Token权重，显式保留替代Token的相对概率质量。 - \*\*PEAR\*\* (Zhang et al., 2026a)：采用多级重要性采样与折扣后缀加权，构建更优的RL初始化策略。 - \*\*选择/掩码（Selection/Masking）\*\*： - \*\*SFT-GO\*\* (Kim et al., 2025)：基于分组优化，保留最高训练损失的Token。 - \*\*Token Cleaning\*\* (Pang et al., 2025)：基于跨模型损失差异保留关键Token。 - \*\*ssToken\*\* (Qin et al., 2026)：基于语义感知的响应-提示注意力机制选择关键Token。 - \*\* Q3: 论文如何解决这个问题？该综述通过以下系统性策略解决推理SFT领域文献碎片化、缺乏整合的问题： --- ### 1. 建立双重视角的整合框架不同于既有文献侧重单一维度，该论文从\*\*方法论设计\*\*（Methodological Design）与\*\*分析研究\*\*（Analytical Investigation）两个互补视角重构知识版图： - \*\*方法论视角\*\*：系统梳理“如何改进推理SFT”的技术手段； - \*\*分析视角\*\*：归纳“SFT为何有效/失效”的实证与机制洞察。两者相互对照，既覆盖工程实践，也深入理解底层原理。 --- ### 2. 构建层次化的分类体系（Taxonomy）针对方法论文献的复杂性，论文提出以\*\*优化粒度\*\*为主轴的Exclusive分类标准，将算法创新划分为互斥且完备的四个层级： | 层级 | 核心干预对象 | 代表性机制 | |------|-------------|-----------| | \*\*Token级优化\*\* | 单Token权重 w_t^((i)) | 基于概率、熵、梯度一致性的重加权；关键Token选择/掩码 | | \*\*样本级优化\*\* | 样本权重 α_i | 基于难度、遗忘缓解、模仿-探索权衡的样本重加权或筛选 | | \*\*分布级正则化\*\* | 全局策略分布 π_θ | KL散度约束、熵保持、非对称正则化 | | \*\*与RL的整合\*\* | SFT与RL目标的联合优化 | 动态损失加权、难度路由、前缀监督、阶段式过渡 | 同时，论文提供了\*\*二维映射表\*\*（Granularity × Data Heuristic），将Token/样本/分布级方法与“模型置信度/难度/语义规则/参考策略偏离”等启发式动机交叉索引，澄清概念重叠。 --- ### 3. 重组碎片化的分析发现针对分散在大量论文中的实证观察，论文将其归纳为三大分析维度，形成结构化的知识聚合： - \*\*数据特征分析\*\*：CoT长度、分布对齐、难度、多样性、推理模式、数据量等经验规律； - \*\*优化动态分析\*\*：训练时长、学习率、检查点选择、模型能力依赖性等非单调现象； - \*\*机制分析\*\*：SFT是“格式模仿”还是“能力获取”、记忆vs泛化、SFT与RL的互补机制等。 --- ### 4. 建立“从分析到方法”的因果桥梁论文不仅罗列方法，更通过\*\*F节（Bridging Analytical Insights and Methodological Design）\*\* 明确四类“观察-创新”因果链： - 分布对齐的重要性 → 驱动自对齐数据精炼（Self-alignment）； - 多样性需求 → 驱动混合轨迹增强（GFT等）； - 过拟合风险 → 驱动选择性Token优化（SFTKey、DEFT等）； - SFT与RL的互补性（SFT扩展Pass@k，RL精炼质量） → 驱动熵正则化SFT与阶段式过渡方法（SRFT、CHORD等）。 --- ### 5. 提供统一数学形式与量化元分析 - \*\*统一目标函数框架\*\*：将各类SFT变体统一为广义目标

L(SFT)^g(θ) = -(1) / (|D|)∑(i=1)^(|D|) αi · [∑(t=1)^(|y^(i))| wt^((i)) log πθ(yt^((i))|y(<t)^((i)), x^((i)))],
使得不同方法可在同一数学语言下比较。 - **受控量化元分析**：在固定基线（Qwen2.5-Math-7B + NuminaMath-CoT）上聚合跨论文结果，验证“自生成CoT优于外部轨迹”、“早期检查点更适合RL初始化”等关键假设，降低因设置差异导致的结论偏差。 —- ### 6. 识别瓶颈并系统化未来方向基于前述整合，论文提炼出当前核心瓶颈： - 推理增强与知识学习的冲突； - 推理链长度与推理效率的权衡； - 现有SFT方法缺乏RL兼容性评估； - 因果分析不足（多为相关性观察）。并据此提出四个未来方向：能力感知优化、推理轨迹压缩、RL兼容的SFT目标设计、以及因果干预研究。 —- 通过以上策略，该综述将快速膨胀且高度碎片化的推理SFT文献转化为**可导航的结构化知识图谱**，既服务于研究者的文献定位，也为算法设计提供了从经验规律到技术实现的明确路径。 Q4: 论文做了哪些实验？作为一篇**综述论文（Survey）**，该工作的核心贡献在于对现有文献进行系统性的分类、整合与分析，而非提出全新的训练算法。因此，文中并未报告传统意义上的“新训练实验”。不过，为了验证跨研究结论的可靠性并提供实证参考，作者在**附录 I（Appendix I）**中进行了一项**受控定量元分析（Quantitative Meta-Analysis）**，具体包括以下内容： —- ### 实验设计：固定基线下的跨方法对比为避免因基座模型、训练数据与评估设置差异导致的不可比问题，作者严格筛选了共享**完全相同训练配置**的已有结果： - **基座模型**：Qwen2.5-Math-7B - **训练数据**：NuminaMath-CoT（静态CoT标注） - **评估基准**：Minerva Math、OlympiadBench、AIME 2024、AMC 2023（取四个数据集的宏平均） - **对比方法**（从相关论文中收集结果）： - 标准SFT基线 - Token级/样本级/分布级改进方法：EAFT、ASFT、ProFiT、DFT、RASFT、TALR、iw-SFT、RANKTUNER - 基于自生成轨迹的方法（例外配置）：RFT*、RIFT*（使用模型自生成响应而非静态NuminaMath-CoT标注进行训练） —- ### 主要发现该元分析得出了三点关键观察（见原文 Table 10）： 1. **修改SFT目标不必然带来性能提升** 部分改进目标（如EAFT平均16.5、ASFT平均26.4）甚至**低于**标准SFT基线（26.8），表明重加权或正则化的成功高度依赖于其归纳偏置与任务的匹配程度。 2. **早期基线仍具强竞争力** 相对简单的早期方法如**DFT**（29.4）和**iw-SFT**（32.0）优于若干新近提出的复杂变体，说明“方法的新颖性”与“实际增益”并非单调对应。 3. **自生成CoT优于外部专家轨迹** 在自生成数据上训练的**RFT***（30.7）与**RIFT***（35.6）取得了最高平均性能，暗示自生成轨迹与模型自身策略分布更匹配，因而更容易被内化。 —- ### 论文中的其他“实验”形式除上述元分析外，论文本质上是一个**大规模文献分析“实验”**，其“实验材料”是2024年7月至2026年5月间的数十篇相关研究。作者通过以下方式系统化这些结果： - **分类法验证**：依据优化粒度（Token/样本/分布/RL整合）对现有方法进行互斥分类； - **二维映射**（Table 1）：将算法粒度与数据启发式（置信度、难度、语义规则、参考策略偏离）交叉索引，验证分类体系的完备性； - **机制关联分析**（Appendix F）：将第4节的分析洞察与第3节的方法设计进行因果桥接，验证“观察→方法”的逻辑一致性。 —- ### 总结该论文**未开展从头训练的模型实验**，但其通过**严格的受控元分析**和**系统文献重组**，为推理SFT领域提供了首个可量化的跨方法对比基准，弥补了单纯定性综述缺乏实证锚点的不足。 Q5: 有什么可以进一步探索的点？基于论文第5节（Challenges and Future Directions）及全文分析，可进一步探索的研究点可分为**四个核心未来方向**与若干**衍生开放问题**： —- ### 一、核心未来方向 #### 1. 调和推理增强与知识学习（Harmonizing Reasoning Enhancement with Knowledge Learning）现有基于置信度的SFT策略虽能有效提升推理能力，但会**强化模型预存信念**，抑制对新颖事实与欠代表性领域的学习信号。未来需探索： - **能力感知的优化框架**：设计能动态平衡推理精炼与事实获取的目标函数，避免在数学/逻辑推理任务中损害知识更新能力。 - **多目标训练机制**：使模型同时成为严谨的推理器（rigorous reasoner）与可靠的知识库（reliable knowledge repository）。 #### 2. 推理高效的轨迹生成（Inference-Efficient Reasoning Trajectories）当前推理SFT通过严格克隆冗长专家演示，导致模型生成**过度冗长的CoT**，带来严重推理延迟与计算开销。未来需研究： - **长度-准确率权衡的显式优化**：从被动复制长链条转向主动压缩，开发将延长逻辑步骤蒸馏为密集、简洁轨迹的方法。 - **推理预算自适应机制**：在不牺牲数学严谨性与演绎可靠性的前提下，使模型根据问题难度动态调整推理深度。 #### 3. 面向RL兼容的监督微调（Toward RL-Compatible Supervised Fine-Tuning）在现代后训练流程中，SFT通常作为RL的初始化阶段，但**更好的独立SFT性能并不等价于更好的RL初始化**（Zhang et al., 2026a）。关键探索点包括： - **流程级重新评估**：在完整SFT-then-RL管线中重新检验现有数据构造方法与算法设计，识别真正有利于RL进入的数据类型、目标函数与检查点。 - **保留探索潜力的SFT目标**：开发显式维持策略多样性（policy diversity）、奖励可改进性（reward-improvable behavior）与分布外探索空间的SFT变体，避免模仿导致的分布坍塌。 #### 4. 推理SFT的因果分析（Toward Causal Analysis of Reasoning SFT）现有分析多为相关性结论，易受混杂变量干扰。例如，更长CoT的增益可能源于其同时改变了**推理结构、Token预算、问题难度或教师模型分布**（Yang et al., 2025e; Chandra et al., 2025）。未来需开展： - **控制实验设计**：严格隔离单一数据属性（如CoT长度、难度、多样性）、模型能力与训练动态对泛化的因果效应。 - **反事实数据干预**：通过系统性扰动推理链的特定维度（如保留长度但破坏结构，或保持结构但替换内容），区分格式模仿与真正能力获取。 —- ### 二、其他值得探索的开放问题除上述系统性方向外，论文分析部分还揭示了以下具体研究空白： #### 5. SFT与RL交互的细粒度机制 - **初始化检查点选择**：验证集损失或大- k 的Pass@k可能比SFT结束时的表现更可靠地预测RL初始化质量（Kang et al., 2026）。 - **条件性有害性**：在VLM推理中，SFT可能损害后续RL（Chen et al., 2025a）；需明确SFT对RL有益的**模型能力阈值**与**任务条件**。 #### 6. 弱模型与小规模数据的推理学习 - **易化监督信号**：为弱模型探索更易内化的监督形式，如短CoT数据混合（Li et al., 2025f）、小教师模型蒸馏，或**中间尺寸教师**作为数据生成桥梁（Ding et al., 2025b）。 - **数据量下限**：研究在极少样本（甚至10例极端设置）下激发推理能力的充分条件（Yang et al., 2025d; Ye et al., 2025b）。 #### 7. 负样本与错误轨迹的策略性利用 Tian et al. (2026)发现训练于**错误CoT**可改善分布外泛化，暗示失败样本蕴含验证、回溯与纠错的学习信号。未来可探索： - **噪声感知的样本路由**：如何自动区分“有益错误”（促进泛化）与“有害错误”（强化幻觉）。 - **对比式纠错训练**：系统性地将错误步骤及其修正过程纳入SFT目标。 #### 8. 分布对齐的自监督精炼鉴于LLM改写的CoT即使含错也可能优于人工数据（Chandra et al., 2025），可进一步探索： - **无参考的分布对齐**：不依赖外部正确答案，仅通过模型自身生成与改写实现训练语料与策略分布的自洽。 - **最小编辑距离校正**：如SPOT（Lin and Han, 2026）所示，开发更精细的步骤级、而非轨迹级的分布匹配算法。 Q6: 总结一下论文的主要内容该论文是一篇关于**推理大语言模型监督微调（Reasoning SFT）**的系统性综述，核心内容可概括如下： —- ### 1. 研究背景与动机 - **推理能力**已成为现代大语言模型（LLMs）的核心能力，广泛应用于数学解题、代码生成、科学推理等领域。 - 早期研究依赖**链式思维提示（Chain-of-Thought, CoT）**在推理时激发模型能力，但存在不稳定性和局限性。 - **监督微调（SFT）**通过让模型内化长CoT轨迹，成为培养模型稳定推理能力的基础范式。 - **现有空白**：尽管该领域文献快速增长，但缺乏专门系统整合最新算法创新与分析洞察的综述。已有工作或侧重RL框架，或仅关注早期数据构建，未能覆盖推理SFT的全貌。 —- ### 2. 核心贡献论文首次从**方法论设计**与**分析研究**双重视角，对推理SFT进行了全面梳理，建立了结构化分类体系，并识别了关键瓶颈与未来方向。 —- ### 3. 方法论分类体系论文将推理SFT的改进方法分为两大主线： #### 3.1 数据为中心的方法（Data-Centric Methods）聚焦于训练数据的构造与筛选，以提升分布多样性与对齐度： - **数据增强**：通过提示多样化、混合专家/教师/自生成轨迹、引入负样本对比信号（如NFT、RIFT）等方式，防止模型过拟合于单一路径或表面格式。 - **数据精炼**：解决离轨（off-policy）专家轨迹与模型固有分布的失配问题，采用模型自生成正确响应改写（Self-alignment）、最小化编辑步骤修正（SPOT）、或基于RL的语义多样性优化等策略。 #### 3.2 算法为中心的方法（Algorithm-Centric Methods）直接修改优化动态，按干预粒度分为四层： - **Token级优化**：通过动态重加权（如基于概率、熵、梯度一致性的DEFT、RANKTUNER、TALR）或选择性掩码（如SFTKey、Token Cleaning），优先学习关键Token并抑制过拟合。 - **样本级优化**：基于样本难度、遗忘风险或参考策略比率，对完整样本进行重加权（如FLOW、BFT）或硬筛选（如SelectIT、LESS、Q-Tuning）。 - **分布级正则化**：约束全局策略分布，通过KL散度惩罚（Anchored SFT）、梯度裁剪（PSFT）或熵保持机制（GEM、CurioSFT），缓解灾难性遗忘并维持探索潜力。 - **与RL的整合**：在统一框架中联合优化SFT与RL目标，通过动态损失加权（AMFT、RED）、难度路由（DyME、ReLIFT）或阶段式过渡（CHORD、BRIDGE），避免纯模仿瓶颈与纯RL不稳定性。 —- ### 4. 分析研究维度论文将碎片化的实证发现重组为三大分析维度： #### 4.1 数据特征分析 - **CoT长度**：并非越长越好，存在倒U型关系；长度的重要性可能超过问题难度。 - **分布、难度与多样性**：与模型分布对齐的CoT（即使含错）可能比表面正确但分布外的人工数据更有效；提示多样性与响应多样性对泛化至关重要。 - **推理模式**：结构化的推理组织比表面内容更重要；过度探索性或含”Aha时刻”的复杂模式不一定有益；保留错误步骤可能帮助模型学习验证与回溯。 - **数据量**：推理SFT对数据规模依赖较低，少量（甚至10条）精心筛选的高质量样本即可有效激发能力。 #### 4.2 优化动态分析 - **训练动态**：多轮训练对推理内化很重要；OOD性能可能随训练呈非单调变化（先降后升或先升后降）；作为RL初始化时，**早期检查点**往往优于充分收敛的SFT模型。 - **模型能力**：弱模型难以内化强模型生成的复杂长CoT；短CoT或中间尺寸教师模型可作为更易学习的监督信号。 #### 4.3 机制分析 - **SFT的本质**：存在分歧——一方认为SFT主要是**格式模仿与行为塑造**（甚至10条内容损坏的样本也能提升性能）；另一方认为SFT能**扩展模型能力边界**（提升Pass@k）并支持技能组合。 - **记忆 vs. 泛化**：SFT在不利条件下（短CoT、数据质量差、优化不足）倾向记忆而非泛化；但在长CoT、充分优化、高质量数据与强基座条件下可实现有效泛化。 - **SFT与RL的交互**：主流观点认为SFT提供基础推理行为，RL通过探索进一步精炼；但SFT对RL的益处是**条件性**的（在弱模型上有帮助，对强模型可能有害）。简单SFT-then-RL流程在修正实现错误后仍是强基线。 —- ### 5. 挑战与未来方向基于上述整合，论文提出四个关键未来方向： - **平衡推理增强与知识学习**：避免置信度优化抑制新颖事实学习，开发能力感知的多目标框架。 - **推理效率优化**：从被动复制冗长CoT转向主动压缩，显式优化长度-准确率权衡。 - **RL兼容的SFT**：重新评估现有SFT方法在完整SFT-then-RL管线中的表现，设计保留探索潜力与策略多样性的初始化目标。 - **因果分析**：通过控制实验隔离CoT长度、结构、难度等单一因素的因果效应，超越现有相关性结论。 —- ### 6. 结论该综述通过建立结构化的分类法与系统化的分析框架，将快速膨胀的推理SFT文献整合为清晰的知识图谱，为后续研究者提供了从数据构造、算法设计到机制理解的全景式参考，旨在推动更先进的推理基础模型发展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yongcan Yu, Kuangpu Guo, Jian Liang, Lingxiao He, Meng Wang, Ran He

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37681.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37681

Published: 2026-11-02T02:44:28.678Z

7. Rank-Aware Differentially Private Release of Listwise Preferences for LLM Alignment

Abstract:Listwise preference feedback offers richer supervision for large language model (LLMs) alignment than pairwise comparisons, but a full ranking also reveals more sensitive user preferences. Existing privacy-preserving alignment methods focus mainly on pairwise feedback, while listwise alignment under local differential privacy (LDP) remains unexplored. Extending LDP to this listwise domain raises a critical challenge: the high sensitivity of the full ranking space demands excessive noise, neutralizing the benefits of listwise supervision. To address this challenge, we analyze the interaction between supervision granularity and privacy noise in downstream training, and introduce a rank-aware exponential mechanism that privatizes listwise preference data into a low-sensitivity granularity suitable for downstream alignment. The mechanism leverages ranking information to sample a fixed-size binary partition, concentrating the noise near borderline items instead of perturbing all items uniformly as randomized response (RR) does. Empirical evaluations on downstream LLM alignment tasks show that our mechanism consistently outperforms existing LDP baselines at matched privacy budgets. The code is available at this https URL.

中文摘要

摘要：列表式偏好反馈相比于成对比较，为大语言模型（LLMs）的对齐提供了更丰富的监督，但完整排序也揭示了更多敏感的用户偏好。现有的隐私保护对齐方法主要关注成对反馈，而在本地差分隐私（LDP）下的列表式对齐尚未被探索。将LDP扩展到列表式领域带来了一个关键挑战：完整排序空间的高敏感性需要过多噪声，从而抵消了列表式监督的优势。为了解决这一挑战，我们分析了下游训练中监督粒度与隐私噪声的交互，并引入了一种排序感知指数机制，将列表式偏好数据私有化为适合下游对齐的低敏感性粒度。该机制利用排序信息采样固定大小的二分法，将噪声集中在边界项目附近，而不是像随机响应（RR）那样均匀扰动所有项目。在下游LLM对齐任务的实证评估中，我们的机制在相同隐私预算下持续优于现有的LDP基线。代码可在此https URL获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文研究的核心问题是：\*\*如何在局部差分隐私（Local Differential Privacy, LDP）约束下，有效发布列表式（listwise）偏好数据以用于大语言模型（LLM）对齐，同时避免因隐私噪声过大而破坏列表监督信号的优势。\*\* 具体而言，论文针对以下关键挑战与目标展开： - \*\*隐私风险与监督粒度的矛盾\*\* 列表式偏好（如对多个候选回答进行完整排序或评分）比成对比较（pairwise）包含更丰富的相对结构信息，能提升对齐效果；但这种细粒度反馈也更容易泄露用户的价值观、行为习惯等敏感特征。直接在LDP框架下对完整排序或分数向量进行隐私化，其极高的敏感性会导致必须注入大量噪声，从而摧毁排序信息本身的价值。 - \*\*现有方法的空白\*\* 当前隐私保护偏好对齐的研究主要集中在成对反馈（如基于随机响应的LDP方法），缺乏针对列表式反馈的LDP发布机制。列表式数据的隐私定义、敏感度度量和噪声注入策略均与二元标签有本质不同。 - \*\*核心设计目标\*\* 论文提出一种\*\*秩感知指数机制（Rank-Aware Exponential Mechanism, RAEM）\*\*，其核心思路是：在客户端本地利用完整排序信息，但通过指数机制采样一个固定大小的二元分区（binary top- B partition）发布给服务器。该机制将隐私噪声\*\*集中施加在排序边界附近的“模糊”条目\*\*，而非像随机响应（RR）那样对所有条目无差别均匀扰动，从而在严格满足LDP的前提下，为下游训练（如KTO）保留更高质量的监督信号。 - \*\*理论验证与实证评估\*\* 论文从理论上证明了该机制的隐私保证以及线性边界分数在敏感度校准意义下的最优性，并通过LLM对齐实验表明：在相同隐私预算下，该方法在多项评估指标上均优于传统的随机响应基线。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要分布在\*\*列表式偏好对齐\*\*和\*\*差分隐私偏好对齐\*\*两个方向： ### 1. 列表式反馈下的偏好对齐近期的研究广泛探讨了利用同一提示下的多个回答进行偏好对齐，以替代单一的成对比较： - \*\*基于序数排名的方法\*\*：RRHF

26
、SLiC
28
和 PRO
19
主要利用序数排名，通过鼓励模型为更受偏好的回答分配更高的似然概率来进行对齐。 - **细粒度列表式信号方法**：LiPO- λ
14
和 PPA
27
采用了更细粒度的列表式监督信号，例如 LambdaRank 风格的加权
2
和基于 NDCG 的列表式效用函数
21
，以更精确地反映排序质量和偏好强度。 - **一元标签方法**：KTO
9
仅需一元化的“期望/不期望”标签即可进行训练，这使得它便于处理多回答数据而无需构建显式的偏好对，但其代价是丢弃了正负样本组内部的排序信息。 ### 2. 差分隐私偏好对齐差分隐私已被用于降低对齐过程中个体偏好泄露的风险，相关研究按隐私设置可分为两类： - **中心差分隐私（Central-DP）设置**： - Yu 等人

25
生成差分隐私合成指令，以减少真实用户反馈的直接暴露。 - Gao 等人
11
提出 DPPrefSyn，从敏感的成对反馈中隐私地学习偏好模型，并结合公开提示合成差分隐私偏好数据用于对齐。 - Wu 等人
23
在多个对齐阶段应用 DP 机制（如 DP-SGD），以缓解训练数据泄露和成员推断风险。 - **本地差分隐私（Local-DP）设置**： - Teku 等人
20
提出 PROPS，在本地隐私约束下保护用户的偏好标签，并利用渐进对齐的模型为后续训练阶段生成额外反馈。 - Chowdhury 等人
5
研究了从经随机响应（Randomized Response）扰动的偏好中进行学习的鲁棒目标函数。论文指出，上述隐私保护对齐工作主要聚焦于**成对反馈**，尚未解决在本地差分隐私下对**列表式反馈**进行发布的问题——即如何在隐私机制中考虑整个排序的结构与敏感性，同时仅向服务器暴露低敏感度的监督信号用于训练。 Q3: 论文如何解决这个问题？论文通过**重新界定隐私邻接关系、选择低敏感度发布粒度、设计秩感知的指数机制**三个层面解决该问题，具体方法如下： —- ### 1. 定义适用于排序数据的本地差分隐私论文首先将本地差分隐私（LDP）直接定义在排序空间上，提出**条目级重定位邻接**（item-level relocation adjacency）： - **定义**：两个排序 φ, φ’ ∈ S_m 是条目级相邻的，当且仅当 φ’ 可通过将 φ 中的某一个条目从其当前位置移除并插入到另一个位置得到，同时保持其余所有条目的相对顺序不变。 - **隐私保证**：基于此邻接关系，机制 Q 满足 varepsilon -条目级本地差分隐私，当且仅当对任意相邻排序及任意输出 o ，有

(Q(o mid φ)) / (Q(o mid φ’)) ≤ e^(varepsilon).
该保证确保对手无法从发布信号中推断任意单个条目的精确位置。 —- ### 2. 选择低敏感度的发布粒度论文系统比较了列表式偏好数据在不同粒度下的本地敏感度与所需噪声规模（见下表归纳）： | 发布粒度 | 代表性方法 | L_1 敏感度 | 噪声规模 | |—-|—-|—-|—-| | 基数分数向量 | PPA | m^2 | O(m^2/varepsilon) | | 排序向量 | SLiC | 2(m-1) | O(m/varepsilon) | | 二元标签（top- B ） | KTO | 2 | O(1/varepsilon) | 分析表明，越细粒度的发布（如完整分数或排序）敏感度越高，所需隐私噪声越大，越容易破坏对下游训练至关重要的相对偏好结构；而二元 top- B 分区的敏感度仅为常数 2 ，能在相同隐私预算下承受更少的噪声。因此，论文采取的策略是：**在客户端本地保留并利用完整的排序信息，但仅向服务器发布低敏感度的二元 top- B 分区**，将排序信息“内化”于采样过程，而非直接发布。 —- ### 3. 提出秩感知指数机制（RAEM）为实现上述策略，论文设计了一种**秩感知指数机制**（Rank-Aware Exponential Mechanism），其核心是借助指数机制在客户端本地采样一个隐私化的二元分区。 #### 效用函数设计对于包含 m 个候选回答的列表，设 r_i(φ) 为回答 y_i 在干净排序 φ 中的位次（位次越小越受偏好）。机制从候选输出空间

ZB = {z ∈ 0,1^m : |z|_0 = B}
中采样一个恰好包含 B 个正例的掩码 z 。论文采用的线性边界效用函数为：
U(φ, z) = ∑(i=1)^m z_i ((B+1) / (2) - r_i(φ)).
该函数赋予排序高于边界的条目正权重、低于边界的条目负权重，从而鼓励机制选择高排位条目，同时惩罚选择低排位条目。 #### 敏感度与隐私校准在条目级重定位邻接下，该效用函数的敏感度为

Delta = maxB, , m-B.
依据指数机制的标准结论，以
eta = (varepsilon) / (2Delta) = (varepsilon) / (2maxB, m-B)
作为缩放系数，即满足 varepsilon -本地差分隐私。 #### 秩相关的翻转特性与随机响应（RR）对所有条目施加**均匀且独立**的翻转概率不同，RAEM 通过效用函数诱导出**位次相关**的边际翻转率： - 极端排名（最靠前或最靠后）的条目翻转概率低，保持高度稳定； - 靠近 top- B 边界的“模糊”条目翻转概率高，隐私噪声被集中吸收于此。这一特性对下游 KTO 训练至关重要：因为边界附近的标签本身歧义较大，其翻转对优化方向的损害远小于极端优质/劣质样本被错误翻转。 —- ### 4. 下游训练流程服务器仅接收 (x, Y(x), z) ，其中 z_i=1 表示 y_i 为“期望”回答， z_i=0 表示“不期望”。服务器据此构造一元偏好样本集：

D(priv)(x) = (x, y_i, z_i)(i=1)^m,
并直接使用 KTO 目标函数进行策略优化。整个过程中，服务器无法接触到用户的本地分数、干净排序或真实 top- B 标签。 —- ### 5. 理论最优性保证论文进一步证明（定理 5.1），在所有单调位次评分函数中，线性边界效用函数在“校准位次跨度” S_w/Delta_w 意义下是**敏感度最优**的：它能在固定隐私预算下最大化极端位次间的对数几率差距，从而确保最优的极端排名稳定性。 Q4: 论文做了哪些实验？论文的实验围绕**私有列表式偏好对齐的效用评估**展开，涵盖模型训练、自动化评估、错误纠正分析及定性案例检验。具体实验内容如下： —- ### 1. 实验设置 - **数据集**：使用 **ListUltraFeedback** 进行偏好对齐训练。该数据集基于 UltraFeedback

6
构建，融合了 SimPO-Llama3-8B 生成的补充回答，并以 ArmoRM 打分获得列表式偏好，包含 59.9K 训练样本与 1,968 个held-out测试样本。 - **基线方法**： - **非私有对照**：PPA
27
、SLiC
28
、KTO
9
。这些方法使用干净的偏好监督，用于量化隐私噪声造成的效用损失上限。 - **私有基线**：RR+KTO。将随机响应（Randomized Response）应用于干净的 top- B 二元标签，再训练 KTO。这是 LDP 设置下最直接的对照方法。 - **模型**：以 **Qwen2-0.5B**
24
和 **Mistral-7B**
12
为骨干模型，均先经 UltraChat-200K
7
进行 SFT，再从同一 SFT 检查点初始化各对齐方法。 - **评估体系**： - **代理模型评估（Proxy Model）**：在 held-out 的 ListUltraFeedback 上，分别以 ArmoRM 进行打分，并以 RLHFlow pair-preference model 作为成对评判器，计算相对 SFT 模型的胜率。 - **通用基准评估（General Benchmark）**：在 **AlpacaEval**
8
与 **MT-Bench**
29
上测试对话质量，由 GPT-4 Turbo
1
担任评判。为消除 A/B 顺序偏差，评判前随机打乱回答顺序。 - **隐私预算**：测试 varepsilon ∈ 0.5, 1, 3 ，列表大小固定为 m=8 ，正例边界 B=4 。 —- ### 2. 主要结果对比论文报告了各方法在代理模型与通用基准上的胜率（表 2）。核心发现包括： - **私有方法中的最优表现**：在两种骨干模型、所有测试隐私预算下，**RAEM+KTO** 的平均胜率均优于 RR+KTO。 - **噪声定位的有效性**：RR 对所有坐标施加均匀且独立的翻转概率；而 RAEM 利用本地排序将翻转集中在 top- B 边界附近。实验表明，在相同隐私预算下，**“何处出错”比“平均噪声水平”对下游 KTO 训练更为关键**。 - **模型规模差异**：Qwen2-0.5B 上的性能差距更为显著；Mistral-7B 因基线更强、绝对性能更高，但 RAEM 相对 RR 的优势趋势保持一致。 —- ### 3. 错误到正确的翻转率（Error-to-Correct Flip Rate, E2C）为检验隐私化后的监督信号是否仍能纠正 SFT 模型的错误偏好，论文定义了 **E2C** 指标： > E2C 衡量经对齐后，由 SFT 模型对数概率隐含的成对偏好中被纠正为正确方向的比例。实验结果（图 3）显示： - RAEM 的 E2C 在所有隐私预算下均**高于 RR**，且更接近无噪声的理想参考点。 - 这表明 RAEM 保留了更强的**极端排序信号**（高置信度的正例/负例），从而能更有效地修正初始策略的错误。 —- ### 4. 列表大小（ m ）的影响论文进一步分析了候选列表规模对私有发布的影响（图 4）： - **候选预筛选策略对比**： - **Oracle top-bottom**：非私有地保留排序中最好与最差的回答，其余随机填充。小列表时表现理想，但随着 m 增大，边界附近的低置信度样本引入更多噪声，收益不再单调提升。 - **Random subset**：在观察排序前随机选择子集。虽然增大子集可提升包含极端样本的概率，但随机性导致其无法稳定捕获高质量信号。 - **Full list（默认 RAEM）**：直接对整个列表应用秩感知隐私发布，无需预筛选。 - **翻转率剖面**：图 4(b) 表明，随着 m 增大，RAEM 保持**极端排名（最前与最后）的翻转率稳定**，新增的隐私预算消耗被边界附近的中间排名样本吸收。因此，增大列表规模可在不损害最可靠样本的前提下，为训练提供更多候选信号。 —- ### 5. 定性分析（补充实验）附录 D（表 5 与表 6）提供了 **AlpacaEval** 上由 GPT-4 Turbo 评判的具体生成案例，对比了 RAEM 与 RR 在相同隐私预算下的输出质量： - **Qwen2-0.5B**（表 5）：在代码生成、主题推文撰写、JavaScript 函数实现及观点反驳等任务中，RR 的输出常出现事实错误（如 Python 大小写错误）、遗漏约束（如缺少万圣节元素）或逻辑缺陷（如漏判质数）；而 RAEM 能给出更正确、完整且符合指令要求的回答。 - **Mistral-7B**（表 6）：RR 在科学事实类问题中表现犹豫（如对恐龙存在性采取模糊表述）、产品推荐中出现事实错误（如误认为 MacBook Air 支持触控笔）、或叙事中途截断；RAEM 则能给出立场明确、事实准确且结构完整的回答。这些定性实例与定量胜率一致，验证了**将隐私噪声集中于排序边界而非均匀 perturb 全部标签**的策略优势。 Q5: 有什么可以进一步探索的点？基于论文第7节及全文分析，以下是可以进一步探索的研究方向： —- ### 1. 更强的隐私粒度与紧界分析论文的核心分析建立在**条目级**（item-level）本地差分隐私之上，其邻接关系定义为单个条目的重定位。附录A讨论了两种更强的定义： - **排序级**（rank-level）LDP：要求任意两个完整排序不可区分； - **用户级**（user-level）LDP：要求保护同一用户的全部偏好画像（含多个列表）。直接将这些更强隐私概念应用于现有机制会导致隐私预算随列表数量 N 线性增长（例如，朴素的序贯组合给出 varepsilon_(user) = Nvarepsilon 甚至更保守的 N(m-1)varepsilon ）。如何在不破坏下游对齐效果的前提下，为排序级或用户级 LDP 设计**紧界**（tight bound）的隐私校准机制，仍是开放问题。 —- ### 2. 自适应或动态的发布粒度选择论文固定了二元 top- B 分区中的 B （实验中 B=4, m=8 ）。当列表规模 m 变化或候选回答质量分布不均时，**固定 B 未必最优**。可探索的方向包括： - 根据本地排序的置信度（如相邻条目间的分数 gap）**自适应调整 B **； - 在隐私预算约束下，动态选择发布粒度（如二元、三元分区或粗粒度排序），以平衡敏感度与信息量； - 将候选数量 m 本身作为可调整变量，分析其对隐私–效用权衡的非线性影响。 —- ### 3. 支持更丰富的下游对齐目标当前方法将私有信号转化为一元标签，服务于 KTO 训练。然而，更先进的列表式对齐方法（如 PPA

27
、LiPO
14
）依赖于**完整的排序结构或基数分数**。如何设计针对这些目标的低敏感度私有发布机制——例如，在保持排序级或分数级信号的同时将敏感度控制在次线性或常数范围——是极具价值的扩展方向。 —- ### 4. 高效采样与大规模列表的可扩展性秩感知指数机制需在 mB 个可能的二元分区上采样。虽然 m=8 时计算开销可控，但当 m 增大（如数十甚至上百个候选）时，直接计算初等对称多项式 σ_B 和归一化常数会变得昂贵。开发**亚线性或近似采样算法**（如基于Gumbel trick的采样、MCMC方法），使机制适用于大规模列表场景，是工程与理论上的重要课题。 —- ### 5. 成员推断攻击（MIA）的定量风险评估论文在引言中指出，偏好数据可能通过训练后的模型遭受成员推断攻击（MIA）

10; 15
。虽然 RAEM 在经验上改善了下游对齐效果，但其对 MIA 风险的**定量缓解程度**尚未被严格刻画。未来工作可以： - 建立 RAEM 隐私保证与 MIA 成功概率之间的形式化联系； - 在列表式偏好数据上设计针对性的 MIA，并检验不同发布粒度（分数、排序、二元标签）对攻击面（attack surface）的影响。 —- ### 6. 多维偏好与异质排序现有工作假设用户反馈为**单一维度的全序关系**。实际场景中，用户偏好可能是**多维的**（如安全性、有用性、简洁性各有不同的排序），或包含**偏序/平局**（ties）。将条目级邻接关系扩展至： - 多目标帕累托排序； - 允许平局的弱排序空间； - 异质用户群体的聚合发布，均需重新定义敏感度与效用函数，并设计相应的指数机制。 —- ### 7. 与联邦学习或中心化隐私框架的结合论文严格处于**本地差分隐私**（LDP）设定，即每个用户在本地完成隐私化后才向服务器发送数据。若引入可信聚合器或安全聚合协议（secure aggregation），可探索： - **混合格私设定**（shuffle model 或 federated analytics）：通过用户间噪声抵消降低总噪声量； - 将 RAEM 与 DP-SGD 结合，在保护发布标签的同时进一步保护模型参数更新。 —- ### 8. 其他效用函数与敏感度最优性准则定理 5.1 证明了在**单调位次评分**与**条目级重定位邻接**下，线性分数是敏感度最优的。若改变邻接定义（如允许条目交换 swap adjacency）或优化目标（如最大化下游 KTO 损失的期望改进而非位次跨度），最优效用函数的形式可能不同。系统刻画不同邻接–效用组合下的机制最优性，是机制设计理论的延伸方向。 Q6: 总结一下论文的主要内容该论文研究了**列表式偏好数据在本地差分隐私（LDP）下的安全发布问题**，旨在为大语言模型（LLM）对齐提供既保护用户隐私又保留高质量监督信号的训练数据。 ### 1. 研究背景与核心挑战 - **列表式反馈**（如对同一提示的多个回答进行排序或评分）比成对比较包含更丰富的相对结构信息，可提升对齐效果，但也更易泄露用户价值观、行为模式等敏感特征。 - **现有空白**：隐私保护对齐工作多聚焦于成对偏好，缺乏针对列表式反馈的 LDP 机制。 - **关键矛盾**：若直接在 LDP 下对完整排序或分数向量加噪，其灵敏度极高（分别为 O(m) 和 O(m^2) ），所需噪声会摧毁排序信息本身，抵消列表监督的优势。 ### 2. 核心思想与方法论论文提出**秩感知指数机制**（Rank-Aware Exponential Mechanism, RAEM），核心思想是：**在客户端本地利用完整排序信息，但仅向服务器发布低灵敏度的二元 top- B 分区**。 - **隐私模型**：定义了适用于排序数据的**条目级重定位邻接**（item-level relocation adjacency）——两个排序相邻当且仅当其中一个条目被移至另一位置。基于此的 varepsilon -LDP 保证单个条目的位置不被推断。 - **发布粒度选择**：系统比较了基数分数（灵敏度 m^2 ）、排序向量（灵敏度 2(m-1) ）与二元 top- B 标签（灵敏度 2 ）。选择二元分区作为发布粒度，以将噪声规模控制在 O(1/varepsilon) 。 - **效用函数设计**：采用线性边界效用

U(φ, z) = ∑_(i=1)^m z_i ((B+1) / (2) - r_i(φ)),
其中 r_i(φ) 为条目 i 的位次。该效用鼓励选择高排位条目、惩罚低排位条目，其在条目级邻接下的灵敏度为 Delta = maxB, m-B 。 - **私有发布**：通过指数机制以 eta = varepsilon/(2Delta) 的缩放系数采样二元掩码 z ∈ 0,1^m （恰好 B 个正例），发布后服务器仅见 (x, Y(x), z) ，并用于 KTO 一元偏好训练。 ### 3. 理论贡献 - **隐私保证**：证明 RAEM 满足 varepsilon -条目级 LDP。 - **秩相关翻转特性**：机制诱导出**位次相关**的翻转率——极端排名（最前/最后）翻转概率低，噪声集中在 top- B 边界附近的模糊条目，这与随机响应（RR）的均匀扰动形成对比。 - **灵敏度最优性**（定理 5.1）：在所有单调位次评分中，线性边界效用最大化校准位次跨度 S_w/Delta_w ，即在固定隐私预算下实现最优的极端位次分离。 ### 4. 实验验证在 **ListUltraFeedback** 数据集上，以 Qwen2-0.5B 和 Mistral-7B 为骨干，对比非私有基线（PPA、SLiC、KTO）与私有基线（RR+KTO）： - **主要结果**：在 varepsilon ∈ 0.5, 1, 3 下，RAEM+KTO 的平均胜率在私有方法中 consistently 最优，表明在相同隐私预算下，噪声的**位置**比单纯的噪声水平更重要。 - **错误纠正分析**：RAEM 的 error-to-correct flip rate（E2C）高于 RR，更接近无噪声参考，说明其保留了更强的极端排序校正信号。 - **列表规模影响**：增大候选列表 m 时，RAEM 保持极端排名的翻转率稳定，新增噪声被边界附近条目吸收，从而在隐私约束下安全利用更大规模的列表监督。 ### 5. 局限与未来方向论文主要聚焦于**条目级** LDP；更强的**排序级**或**用户级** LDP 会导致隐私预算随列表数量线性增长，其紧界机制设计留待未来工作。此外，将方法扩展至基数分数发布、大规模列表的高效采样、以及定量化的成员推断攻击风险评估，均为后续可探索方向。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Junwei Chen, Manjiang Yu, Pengpeng Qiao, Yang Cao

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37682.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37682

Published: 2026-11-02T02:44:28.678Z

8. Prompt-agnostic Language Models

Abstract:Despite their strong performance, large language models remain highly sensitive to prompt formulation. This issue is typically addressed at inference-time through manual prompt optimization, which introduces overhead and lacks scalability. Conversely, we focus on train-time approaches that build prompt robustness into the model during instruction tuning. A common strategy is to mix multiple paraphrases of each prompt into training. We demonstrate that across trainable parameters, the per-paraphrasing gradients interfere, with 57% exhibiting sign conflicts and the naive gradient average discarding approximately a fifth of the magnitude. Therefore, we develop two gradient-merging methods, Prompt-TIES and Prompt-DARE, that address this interference by leveraging interference-resolution operators from model and gradient merging and applying them to prompt gradients. In this study, we compare the efficacy of our methods to increase model robustness to train-time robustness methods spanning all three established classes: data construction, consistency regularization, and contrastive alignment. The evaluation is conducted across four models from two families at two scales. We observe the interaction between prompt phrasing and the specific examples accounts for 54% of per-example variability on average, and exceeds 70% on tasks such as ANLI and WiC. The gradient-merging methods directly improve this local robustness and nearly halve per-example variance on fully fine-tuned models at little cost to overall accuracy. The other train-time methods enhance raw performance, but fail to improve per-example variance reliably. Code: this https URL. Model checkpoints: this https URL.

中文摘要

摘要：尽管大型语言模型表现强劲，但它们对提示的表述仍然高度敏感。这个问题通常在推理阶段通过手动提示优化来解决，但这会带来额外开销并且缺乏可扩展性。相反，我们关注在训练阶段的方法，在指令调优过程中为模型构建提示稳健性。一种常见策略是将每个提示的多种改述混合到训练中。我们证明，在可训练参数中，每个改述的梯度存在干扰，其中57%表现出符号冲突，而简单的梯度平均会丢弃约五分之一的梯度幅度。因此，我们开发了两种梯度合并方法——Prompt-TIES和Prompt-DARE，它们通过利用模型和梯度合并中的干扰解决操作，并将其应用于提示梯度来解决这种干扰。在本研究中，我们将这些方法的有效性与涵盖所有三类已建立路径的训练阶段稳健性方法进行了比较：数据构建、一致性正则化和对比对齐。评估在两类模型的四个模型上，在两个规模下进行。我们观察到，提示表述与具体示例之间的交互平均占每个示例变异性的54%，在如ANLI和WiC的任务中甚至超过70%。梯度合并方法直接提高了这种局部稳健性，并在对完全微调模型时几乎将每个示例的方差减半，同时对整体准确性造成的影响很小。其他训练阶段方法提升了原始性能，但未能可靠地改善每个示例的方差。代码：此https URL。模型检查点：此https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37683 (HTTP 429)

Authors: Frederic Sadrieh

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37683.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37683

Published: 2026-11-02T02:44:28.678Z

9. An Introduction to Large Language Models for Scientists and Professionals

Abstract:Large Language Models (LLMs) have rapidly become important tools for science, education, medicine, and professional work. Despite their apparent simplicity from the user’s perspective, effective and responsible use requires an understanding of how these systems work, what their limitations are, and how their outputs should be evaluated. I wrote this document as a basis for my lecture on LLM in the master in artificial intelligence in medicine at the university of Turin, Italy. This book provides a practical and accessible introduction to LLMs for scientists and professionals. It explains the fundamental ideas behind tokenisation, embeddings, training, inference, context windows, prompting, and instruction hierarchies, while deliberately avoiding mathematical detail. Particular attention is given to the limitations of LLM-generated answers, including hallucinations, uncertainty, reproducibility, bias, and the need for systematic verification and human oversight. The book also discusses privacy, governance, security, and the responsible handling of personal and sensitive information. More advanced topics include Retrieval-Augmented Generation (RAG), retrieval quality, chunking, embeddings, vector search, agents, tools, and workflows. A substantial practical exercise guides the reader through running a local LLM with Ollama and Open WebUI and using it to interact with a collection of scientific papers. The exercise emphasizes evidence retrieval, source verification, uncertainty, disagreement between studies, and the distinction between plausible language and scientifically supported conclusions. No programming knowledge is required.

中文摘要

摘要：大语言模型（LLMs）迅速成为科学、教育、医学和专业工作中的重要工具。尽管从用户的角度看它们似乎很简单，但有效且负责任的使用需要理解这些系统的工作原理、它们的局限性以及如何评估其输出。我编写这份文档作为我在意大利都灵大学医学人工智能硕士课程中关于LLM的讲座基础。本书为科学家和专业人士提供了对LLM的实用且易于理解的介绍。它解释了分词、嵌入、训练、推理、上下文窗口、提示和指令层级背后的基本理念，同时刻意避免数学细节。特别关注LLM生成答案的局限性，包括幻觉、不确定性、可重复性、偏见，以及系统验证和人工监督的必要性。本书还讨论了隐私、治理、安全以及对个人和敏感信息的负责任处理。更高级的主题包括检索增强生成（RAG）、检索质量、分块、嵌入、向量搜索、代理、工具和工作流程。一项实质性的实践练习引导读者通过使用Ollama和Open WebUI运行本地LLM，并用它与一系列科学论文进行互动。该练习强调证据检索、来源验证、不确定性、研究之间的分歧，以及可信语言与有科学支持结论之间的区别。不需要编程知识。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37684 (HTTP 429)

Authors: Umberto Michelucci

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37684.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37684

Published: 2026-11-02T02:44:28.678Z

10. From Geometry to Behavior: How Instruction Exposure Unlocks Latent Rhetorical Directions in LLMs

Abstract:Language models do not merely memorize facts; they absorb rhetorical strategies from pretraining data, including the human tendency to reason by analogy. We ask: is this absorbed capability geometrically accessible before any instruction tuning, and what determines whether it can be activated at inference time? We extract an “Analogy Vector” from the residual stream via difference-in-means and show it enables steerable explanation style across seven instruction-tuned models (Gemma-2, Llama-3.1, Qwen-2.5; 2B-32B), improving harmonic mean from 3.22 to 3.94 (+22%) for Gemma-2-9B-IT on 300 held-out test prompts. A small human validation study confirms the LLM judge on Analogy Quality. Our central finding, from seven matched base-instruct pairs, is a gradient of behavioral accessibility: the analogy direction exists in every base model, but its behavioral accessibility under linear intervention scales continuously with instruction exposure during training. Gemma-2 base models (strict pretraining/IT separation) show flat steering landscapes: present but behaviorally inert. Qwen-2.5 base models (instruction data woven into pretraining) are already partially accessible before any explicit fine-tuning; base-instruct cosine similarity of the analogy vector reaches 0.94-0.97 for Qwen versus 0.37-0.66 for Gemma, providing geometric corroboration of the behavioral gradient. This challenges the binary “base vs instruct” framing: the relevant variable is how much instruction exposure a model has received across its full training pipeline. We position activation steering as a complementary interpretability tool that reveals how instruction exposure organizes rhetorical knowledge in activation space.

中文摘要

摘要：语言模型不仅仅是记忆事实；它们还从预训练数据中吸收修辞策略，包括人类通过类比进行推理的倾向。我们提出问题：这种吸收的能力在任何指令微调之前是否在几何上可访问，以及是什么决定了它在推理时是否可以被激活？我们通过均值差异从残差流中提取了一个“类比向量”，并展示它能够在七个指令微调模型（Gemma-2、Llama-3.1、Qwen-2.5；2B-32B）中实现可控的解释风格，在300个保留的测试提示上将Gemma-2-9B-IT的调和平均值从3.22提升到3.94（+22%）。一项小规模的人类验证研究确认了LLM在类比质量判断上的可靠性。我们从七对匹配的基础-指令模型中得到的核心发现是行为可访问性的梯度：类比方向在每个基础模型中都存在，但其在行为上的可访问性在训练过程中随着指令曝光量连续变化。Gemma-2基础模型（严格的预训练/指令微调分离）显示出平坦的操控景观：存在但在行为上无效。Qwen-2.5基础模型（将指令数据融入预训练）在任何显式微调之前已经部分可访问；类比向量的基础-指令余弦相似度在Qwen中达到0.94-0.97，而在Gemma中为0.37-0.66，这为行为梯度提供了几何上的支持。这挑战了二元的“基础与指令”框架：相关变量是模型在整个训练过程中接受了多少指令曝光。我们将激活操控定位为一种互补的可解释性工具，揭示指令曝光如何在激活空间中组织修辞知识。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37685 (HTTP 429)

Authors: Shengjie Xu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.37685.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37685

Published: 2026-11-02T02:44:28.678Z

Agent Domain Papers

1. LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes

Abstract:Sparse Mixture-of-Experts (MoE) models offer scalable capacity for Web applications, but uneven routing creates computation and communication bottlenecks. Existing placement and replication methods redistribute this workload, yet additional expert copies compete with token-related buffers for limited GPU memory. We present LRMoE, a memory-aware MoE training system that jointly recalibrates backward demand and balances the retained workload. During forward execution, it plans retention quotas and expert placement under resource constraints while preserving all routed computations. During backpropagation, a load recalibration metric estimates each token-expert pair’s contribution to the expert update and selects pairs within these quotas. A capacity-aware routing algorithm distributes retained pairs among eligible instances of their original experts. Physical compaction then forms smaller communication payloads and variable-size grouped GEMMs, reducing backward traffic, computation, and execution-buffer demand. Experiments on Qwen3-30B-A3B and GLM4.5-106B-A12B show that LRMoE reduces cumulative MoE-layer training time to fixed-loss targets by 21.2-44.8% relative to SYMI.

中文摘要

摘要：稀疏专家混合（MoE）模型为 Web 应用提供了可扩展的容量，但不均衡的路由会产生计算和通信瓶颈。现有的放置和复制方法可以重新分配这类工作负载，但额外的专家副本会与与标记相关的缓冲区竞争有限的 GPU 内存。我们提出了 LRMoE，一种内存感知的 MoE 训练系统，它能联合重新校准反向需求并平衡保留的工作负载。在前向执行过程中，它在资源限制下规划保留配额和专家放置，同时保留所有路由计算。在反向传播过程中，一个负载重新校准指标评估每个标记-专家对对专家更新的贡献，并在这些配额内选择配对。一个容量感知路由算法将保留的配对分配给其原始专家的可用实例。物理压缩随后形成更小的通信负载和可变大小的分组 GEMM，从而减少反向流量、计算量和执行缓冲需求。在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上的实验表明，相较于 SYMI，LRMoE 将 MoE 层训练达到固定损失目标的累计时间减少了 21.2% 到 44.8%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37720 (HTTP 429)

Authors: Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37720.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37720

Published: 2026-11-02T02:46:41.491Z

2. Amortized Localized Posterior Inference for Model Calibration with Application to an Ocean Turbulence Closure

Abstract:Model discrepancy may prevent a single calibration parameter from reproducing a physical response across the context domain. In addition, uncertainties in observations and contexts affect calibration and must be accounted for and quantified. We construct a family of localized posteriors by weighting observation likelihoods according to their proximity to a target context. Gaussian localization weights incorporate context uncertainty through covariance inflation, with reflection at domain boundaries and an optional correction for uneven context sampling. A conditional normalizing flow approximates the family of posteriors through amortized variational inference. Integrating the localized posteriors under a prescribed context measure gives the marginalized parameter distribution. In a twin experiment with the Branin-Hoo model, we compare global and localized inference under uniform and skewed context distributions. Localization reduces the reported aggregate predictive errors relative to the global posterior. An application to the k-$\epsilon$ turbulence closure in a single-column ocean model, with atmospheric surface forcing as context, shows that localized posterior calibration reduces temperature and zonal-velocity errors relative to deterministic and global-posterior calibration. Both twin experiments are constructed to admit local compensation.

中文摘要

摘要：模型差异可能导致单一的校准参数无法在整个情境域中重现物理响应。此外，观察和情境的不确定性会影响校准，必须加以考虑和量化。我们通过根据观测似然与目标情境的接近程度加权来构建一组局部后验分布。高斯局部化权重通过协方差膨胀引入情境不确定性，并在域边界进行反射，同时可选择性地修正情境采样不均的情况。条件归一化流通过摊销变分推断近似这一组后验分布。在规定的情境测度下对局部后验进行积分可以得到边缘化的参数分布。在使用Branin-Hoo模型的双胞实验中，我们比较了在均匀和偏斜情境分布下的全局和局部推断。与全局后验相比，局部化降低了报告的整体预测误差。在单柱海洋模型的k-$\epsilon$湍流闭合应用中，将大气表面强迫作为情境，结果表明局部后验校准相对于确定性和全局后验校准减少了温度和经向速度误差。两个双胞实验都构造为允许局部补偿。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37731 (HTTP 429)

Authors: Exaucé Luweh Adjim Ngarti, Élise Arnaud, Léo Nicoletti, Victor Trappler, Arthur Vidard

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37731.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37731

Published: 2026-11-02T02:46:41.491Z

3. ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions

Abstract:Many uses of language models end in a typed decision: a choice among a closed set of options, whose probabilities code can act on. Reading those probabilities from one forward pass is fast but often wrong on decisions that take several steps, such as arithmetic, counting, and date comparison. Letting the model think first fixes most of these errors, but costs seconds per decision instead of milliseconds. To pay for thinking only where it helps, ThinkJev builds a fast and a slow system from one open hybrid-thinking model that can answer directly or after a thought. System 1 reads the model’s probabilities for the option letters when it answers directly; System 2 reads the same letters after the model has thought on the same cached prompt, so escalating repeats no work and both systems give probabilities over the same options. Because the letters can be read after any number of thought tokens, one sampled thought also gives the answer under every thinking budget. Without training, ThinkJev lets System 1 answer alone only where a statistical test on labeled dev data guarantees that its accepted answers stay under a target error rate. At a 5% target, Qwen3.5-27B answers 24.5% of 8359 test decisions this way with a realized error of 3.9% (Qwen3.5-4B and 9B: 6.5% and 0.0%). For the rest, stopping each thought as soon as its answer is confident reaches 81.6% accuracy, against 82.7% for always thinking, with 72% of the thought tokens. Choosing when to think from System 1’s confidence alone saves less, because the decisions System 1 is least sure of are often not the ones thinking fixes. On the public items of JevBench, an independent benchmark of typed-decision services, Qwen3.5-27B thinks on 29.4% and is not distinguishable in accuracy from the two thinking APIs listed (exploratory). Code and data generators are available at this https URL.

中文摘要

摘要：语言模型的许多使用最终都以键入决策告终：在一组封闭选项中进行选择，其概率代码可以操作。通过一次前向传播读取这些概率很快，但在需要多步决策的情况（如算术、计数和日期比较）中经常出错。让模型先思考可以修正大多数错误，但每次决策的时间从毫秒增加到秒。为了只在有帮助的情况下使用思考，ThinkJev 从一个开放的混合思考模型构建了一个快速系统和一个慢速系统，该模型可以直接回答或经过思考后回答。系统1在模型直接回答时读取选项字母的概率；系统2在模型在相同缓存提示上思考之后读取相同的字母，因此升级不会重复工作，并且两个系统都给出相同选项的概率。由于字母可以在任意数量的思考令牌之后读取，一次抽样的思考也提供了在每个思考预算下的答案。无需训练，ThinkJev 仅在经过标注开发数据的统计测试保证其接受的答案保持在目标错误率以下的情况下，让系统1单独回答。在5%的目标下，Qwen3.5-27B 以这种方式回答了8359个测试决策中的24.5%，实际错误率为3.9%（Qwen3.5-4B和9B分别为6.5%和0.0%）。对于其余部分，在答案有信心时立即停止每次思考的策略达到81.6%的准确率，而总是进行思考的准确率为82.7%，使用了72%的思考令牌。仅根据系统1的置信度选择思考时间节省较少，因为系统1最不确定的决策通常不是思考可以解决的。根据JevBench公共项目，这是一个独立的键入决策服务基准，Qwen3.5-27B 在29.4%的情况下进行思考，其准确率与列出的两个思考API没有显著差异（探索性）。代码和数据生成器可在此https URL获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37732 (HTTP 429)

Authors: Xiaolu Ding, Kai Yang, Dongdong Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37732.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37732

Published: 2026-11-02T02:46:41.491Z

4. OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery

Abstract:Large language models (LLMs) have shown increasing promise in research-level problem solving, yet a comprehensive collection of such problems is still missing, and evaluating them on research-level problems remains challenging. We introduce OpenFrontiers, a cross-disciplinary resource that combines a structured corpus of open research problems with a retrospective benchmark of recently resolved problems in mathematics. The corpus records problem statements, context, progress, and other information for 12,151 problems. The benchmark contains 200 problems, 110 resolved in 2026 and 90 still open, each with a Lean~4 statement checked by automated probes and two independent reviews; a subset HQ-50 further filters based on quality score, etc. Our evaluation protocol grades formal proofs with two independent checkers in an isolated sandbox under closed-book, frozen-retrieval, and live-web conditions. Evaluating seven LLM agents on the HQ-50 subset under a standardized budget, we find that closed-book rediscovery is rare, at most 7 of 40 resolved problems, whereas live-web success mostly reflects retrieval of published solutions. By linking a broad research-problem corpus to a formally graded evaluation subset with documented solutions, OpenFrontiers provides a foundation for measuring research-level rediscovery and studying progress toward solving currently open scientific problems. The dataset and benchmark could be found in this https URL.

中文摘要

摘要：大型语言模型（LLMs）在研究级问题解决中显示出越来越大的潜力，但这样的问题的综合收集仍然缺失，对这些问题的评估也仍然具有挑战性。我们引入了 OpenFrontiers，这是一个跨学科资源，将结构化的开放研究问题语料库与最近在数学上解决的问题的回顾性基准相结合。该语料库记录了 12,151 个问题的题目、背景、进展及其他信息。基准包含 200 个问题，其中 110 个在 2026 年得到解决，90 个仍未解决，每个问题都有经过自动探测器和两位独立审核检查的 Lean~4 语句；其中的 HQ-50 子集进一步根据质量评分等进行筛选。我们的评估协议在封闭书籍、冻结检索和实时网络条件下，在隔离沙箱中用两个独立检查器对形式化证明进行评分。在标准预算下评估七个 LLM 代理在 HQ-50 子集上的表现时，我们发现封闭书籍下的重新发现很少，最多只有 40 个已解决问题中的 7 个，而实时网络的成功主要反映了已发布解决方案的检索。通过将广泛的研究问题语料库与具有文档化解决方案的正式评分评估子集联系起来，OpenFrontiers 为衡量研究级重新发现以及研究目前未解决科学问题的进展提供了基础。数据集和基准可以在此 https URL 找到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37739 (HTTP 429)

Authors: Jiarui Yao, Ruida Wang, Tong Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37739.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37739

Published: 2026-11-02T02:46:41.491Z

5. WebAnything: From the Wild Web to Scalable Agent Environments

Abstract:Web agents require diverse, executable, and resettable website environments for reproducible training and evaluation. Human-assisted mirrors demand per-site engineering, while generative construction can diverge from specified real websites. Capture-and-replay preserves observations, with interaction coverage constrained by captured content and replay capabilities. We present WebAnything, a fully automated framework that reconstructs source-grounded, reusable Web environments from real URLs without per-site manual implementation or repair after initial setup and authorization. An Explorer-Builder collects browser-observable structures, resources, and interaction outcomes; an independent verifier checks frozen candidates and guides local repair or targeted source recapture. We construct 244 website artifacts across 14 application domains and 53 categories, supporting 12,984 executed and accepted tasks. Compared with human-assisted WebHarbor, WebAnything achieves higher aggregate scores on three fidelity metrics, with 12 wins, two ties, and no losses in a blind audit. Fine-tuning Qwen3.5-9B on 5,856 interaction trajectories improves REAL success by 9.9 percentage points, Odysseys-Easy Rubric Avg and Task Avg by 6.25 and 6.32 percentage points, and WebArena-Verified Overall success by 13.33 percentage points under the fixed harness. Code: this https URL

中文摘要

摘要：Web代理需要多样化、可执行且可重置的网站环境，以实现可复现的训练和评估。人工辅助的镜像需要针对每个网站进行工程处理，而生成式构建可能偏离指定的真实网站。抓取与重放可以保留观察结果，但交互覆盖受限于捕获的内容和重放能力。我们提出了WebAnything，一个全自动框架，可从真实URL重建以源为基础、可重复使用的Web环境，无需在初始设置和授权后对每个网站进行手动实现或修复。Explorer-Builder收集浏览器可观察的结构、资源和交互结果；独立验证器检查冻结的候选对象，并指导本地修复或针对性地重新捕获源。我们构建了跨14个应用领域和53个类别的244个网站工件，支持12,984个执行并接受的任务。与人工辅助的WebHarbor相比，WebAnything在三项保真度指标上实现了更高的综合评分，在一次盲审中获得12次胜利、2次平局，且未出现失败。在5,856条交互轨迹上微调Qwen3.5-9B，使REAL成功率提高了9.9个百分点，Odysseys-Easy Rubric平均分和任务平均分分别提高6.25和6.32个百分点，WebArena-Verified整体成功率在固定测试环境下提高13.33个百分点。代码：此https网址

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37786 (HTTP 429)

Authors: Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li, Rui Zheng, Hang Yan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37786.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37786

Published: 2026-11-02T02:46:41.491Z

6. What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs

Abstract:LLM agents that answer questions over Web knowledge graphs are increasingly wrapped in checks derived from the graph’s ontology, on the assumption that a formal schema makes a reliable judge. Yet a checker can be wrong as well: it can miss errors, and it can flag correct answers and push the agent into “fixing” them. Whether a curated ontology is worth its cost as such a judge, and how it compares with an ontology an LLM writes or a schema mined from the data, is unknown. We make the checker itself the object of study. Across curated, LLM-generated and data-derived ontologies, used as prompt context, as a checker, or both, and across open-weight and proprietary agents on public graphs and a private graph of nearly $10^{9}$ triples, we account for what ontology-derived checks catch and what they wrongly flag. We show how each source trades caught errors against false alarms, how a curated schema used as published can contradict its own data, which errors structural checks miss, and whether combining sources or giving the agent the checker’s specific feedback pays off. On UniProt, the curated ontology flags more correct answers than either an ontology derived from the data or one an LLM derives from a summary of the data with masked identifiers. On real agent answers, its flags are only marginally more precise than random flags.

中文摘要

摘要：针对网络知识图谱回答问题的LLM代理越来越多地被包装在源自图谱本体的检查机制中，假设正式的模式能够成为可靠的判断标准。然而，检查器也可能出错：它可能漏掉错误，也可能标记正确答案并推动代理去“修正”它们。作为这样一个判断者，人工策划的本体是否值得其成本，以及它与LLM生成的本体或从数据挖掘出的模式相比如何，目前尚不清楚。我们将检查器本身作为研究对象。跨越人工策划、LLM生成和数据派生的本体，无论是用作提示上下文、检查器还是两者兼用，以及在公开权重和专有代理上，针对公共图谱和近10^9三元组的私有图谱，我们分析了本体派生检查能捕捉到的内容以及其错误标记的内容。我们展示了每种来源如何权衡捕获的错误与误报、策划的模式在原样使用时如何可能与自身数据相矛盾、结构性检查错过了哪些错误，以及结合来源或向代理提供检查器的具体反馈是否有价值。在UniProt上，人工策划的本体标记的正确答案比从数据派生的本体或LLM从带有隐藏标识符的数据摘要生成的本体都更多。在实际代理回答中，它的标记准确性仅比随机标记略高。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37809 (HTTP 429)

Authors: Michal Orzechowski, Rund Tawfiq, Tomasz Kosciolek

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37809.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37809

Published: 2026-11-02T02:46:41.491Z

7. Measuring Where Intent Gets Lost in Agentic Smart Contract Synthesis

Abstract:AI agents can now write software from a plain-English description, but code that runs is not the same as code that does what was asked. This gap matters most for smart contracts, the programs behind Web3 applications that move money on a blockchain and cannot be fixed once deployed. We ask how to check whether an AI-written contract behaves as it should, and where the requested behavior gets lost. We design an evaluation built on execution rather than opinion. We replay the same transactions on an AI-written contract and on the original it should reproduce and measure how often they agree. We test every grading tool on planted mistakes, compare against an answer key written without the description, and audit our own scorer until known wrong answers cannot pass. Common methods, such as AI judges and standard analysis tools, miss obvious mistakes, and scoring choices matter too. Checking only the functions every system includes hid about half the difference between pipelines. We then propose an elicitation-first architecture. Before writing code, the agent asks the client a short checklist of questions, checks the contract against an independently written executable answer key, and returns disagreements to the client instead of silently rewriting code. Asking first matters far more than reviewing or patching afterwards, across three AI models, while automated security fixes often break requested behavior. A few well-chosen questions recover much of what a short description omits, and their value can be estimated without the original contract. To our knowledge, this is the first study in smart contract synthesis to gather missing requirements before generation and check the result against an independently written executable model. The lessons extend to any setting where AI agents turn requests into programs. We release our tools, 600 tasks and all results.

中文摘要

摘要：AI 代理现在可以根据纯英文描述编写软件，但能运行的代码并不等同于能完成所要求操作的代码。这种差距在智能合约中尤为重要，智能合约是支撑 Web3 应用的程序，在区块链上转移资金并且一旦部署无法修改。我们探讨如何检查 AI 编写的合约是否按预期工作，以及请求的行为在哪里丢失。我们设计了一种基于执行而非主观意见的评估方法。我们在 AI 编写的合约和其应再现的原始合约上重放相同交易，并测量它们一致的频率。我们在预设错误上测试每个评分工具，与未基于描述编写的答案关键进行比较，并审核我们自己的评分器，直到已知错误的答案无法通过。常用方法，如 AI 裁判和标准分析工具，会漏掉明显错误，评分选择也很重要。仅检查每个系统包含的函数，隐藏了大约一半的流程差异。然后我们提出了一种先引导提问的架构。在编写代码之前，代理会向客户提出一个简短的检查清单，使用独立编写的可执行答案关键检查合约，并将分歧返回给客户，而不是默默重写代码。先提问比之后的复查或补丁更重要，这一点在三种 AI 模型中均得到了验证，同时自动化安全修复通常会破坏请求的行为。一些精心选择的问题可以追回短描述遗漏的大部分内容，并且其价值可以在不依赖原始合约的情况下估计。据我们所知，这是智能合约合成领域首次在生成前收集缺失需求并将结果与独立编写的可执行模型进行检查的研究。这些经验可以推广到任何将请求转化为程序的 AI 代理场景。我们发布了工具、600 个任务及所有结果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37830 (HTTP 429)

Authors: Abhinav Goel, Agostino Capponi, Alfio Gliozzo, Chaitya Shah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37830.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37830

Published: 2026-11-02T02:46:41.491Z

8. Detecting Covert Collusion between AI Agents through Partner-Outsider Positive Listening

Abstract:AI agents that share a secret convention can coordinate through messages that look innocent, so a monitor that reads only the messages can miss them. We propose a behavioural test: a partner that uses a code reacts to the exact wording of a message, whereas an uninvolved agent placed in its seat does not. Partner—Outsider Positive Listening (PoPLi) is the difference between the two agents in how much their action changes when the message is reworded with its meaning kept, and it is computed after the fact by replaying logged prompts. In a simulated market with five conditions (no collusion, a joint reward with neutral messages, the same with an openly stated intention, a covert first-letter code, and the code with a stated intention), PoPLi is between 0.48 and 0.59 whenever the code is present (95% intervals all above 0.29) and between -0.10 and -0.01 without it. Message-only monitors did not separate the conditions: one reading the speaker’s messages answered “no” in all 50 markets, and one reading every seller’s messages flagged 9 of 10 markets with no collusion. PoPLi detects the use of a private channel, not collusion as such, and it cannot detect collusion through incentives alone or codes carried by meaning.

中文摘要

摘要：共享秘密约定的人工智能代理可以通过看似无害的信息进行协调，因此只读取信息的监控器可能会漏掉这些行为。我们提出了一种行为测试：使用代码的伙伴会对信息的确切措辞做出反应，而放在其位置的无关代理则不会。伙伴—外部者积极倾听（PoPLi）是两类代理在信息重新措辞后其行为变化程度上的差异，并通过回放已记录的提示事后计算。在具有五种条件的模拟市场中（无共谋、与中立信息的联合奖励、同样情况下公开声明意图、隐蔽的首字母代码，以及带有声明意图的代码），每当存在代码时，PoPLi介于0.48和0.59之间（95%区间均高于0.29），而没有代码时介于-0.10和-0.01之间。仅依靠信息的监控器无法区分这些条件：一个读取发言者信息的监控器在所有50个市场中都回答“否”，而一个读取每个卖家信息的监控器却在10个无共谋的市场中标记了9个。PoPLi可以检测私有通道的使用，而非共谋本身，它无法仅通过激励或信息传递的意义代码来检测共谋。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37849 (HTTP 429)

Authors: Kevin Yandoka Denamganaï

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37849.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37849

Published: 2026-11-02T02:46:41.491Z

9. Evaluating and improving AI agents for sequencing protocol understanding

Abstract:Existing scientific-agent benchmarks rarely evaluate whether agents can reconstruct the exact molecular structures and generation workflows specified by sequencing protocols, a capability critical for analyzing customized sequencing assays. We introduce LibStructBench, a document-grounded benchmark for reconstructing sequencing-library structures and molecular workflows. Our experiments show that frontier agents often produce approximately correct reconstructions but remain unreliable at exact reconstruction, particularly in molecular-state representation and workflow connectivity. Switching the underlying language model produced larger average performance differences than switching agent harnesses, with a statistically significant difference only for molecular-state reconstruction. Additional knowledge improved oligo-family recovery in a small pilot without improving mean molecular-workflow scores. Autonomous accumulation of procedural rules and cross-protocol examples showed non-monotonic validation performance and no mean held-out molecular-workflow improvement in the tested trajectory. These findings highlight the need for more controlled and verifiable approaches to scientific reasoning about molecular processes in complex experimental protocols.

中文摘要

摘要：现有的科学代理基准很少评估代理是否能够重建测序协议指定的精确分子结构和生成工作流程，而这种能力对于分析定制测序实验至关重要。我们引入了 LibStructBench，这是一种基于文档的基准，用于重建测序文库结构和分子工作流程。我们的实验表明，前沿代理通常能够生成大致正确的重建结果，但在精确重建方面仍不可靠，尤其是在分子状态表示和工作流程连通性方面。切换底层语言模型产生的平均性能差异大于切换代理工具，且只有在分子状态重建方面差异具有统计学显著性。额外的知识在一个小型试点中改善了寡核苷酸家族的恢复，但未提高平均分子工作流程得分。程序规则和跨协议示例的自主积累显示了非单调的验证性能，并且在测试的轨迹中未提高平均保留的分子工作流程。这些发现凸显了在复杂实验协议中进行分子过程科学推理时，需要更可控和可验证的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37851 (HTTP 429)

Authors: Chi-Lam Poon, Michael Goneos, Zezheng Song, Xi Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37851.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37851

Published: 2026-11-02T02:46:41.491Z

10. Seq@K: Evaluating Language Models Under Sequential Feedback

Abstract:Language-model agents differ fundamentally from prior intelligent systems in their ability to learn from natural language in context. This capability enables agents to iteratively refine their answers in response to feedback, a prevalent mode of operation in modern agentic workflows. However, the community primarily ranks models by metrics such as Pass@1 or Pass@K, which cannot capture how they utilize feedback on prior attempts. We introduce Seq@K, a natural evaluation protocol that measures whether a model can solve a problem within K sequential attempts, provided feedback after each previous failure. Unlike multi-turn agentic benchmarks that examine long-horizon planning, Seq@K isolates and formalizes the core capability of refinement from feedback. We evaluate Seq@K on a suite of 7 benchmarks and 16 frontier models, and show that Seq@K reveals a materially different model-selection landscape: under Seq@K, (1) model rankings often differ, (2) the Pareto frontiers admit more efficient configurations and (3) the gains from choosing the optimal model configuration can widen or shrink relative to those of Pass@K. We further show that analyzing model trajectories under Seq@K helps characterize iterative refinement behavior, such as the rate at which models address issues raised in feedback, or how rigidly they hold onto their own answers. Finally, we study how the nature of feedback affects models’ iterative refinement, showing that practitioners must carefully design and benchmark the feedback loops of iterative agentic systems. Together, these results establish how Seq@K offers a more faithful metric for intelligent systems that typically operate in such feedback loop, and the necessity to consider Seq@K in evaluating models for these systems.

中文摘要

摘要：语言模型代理与以往的智能系统在根本上不同之处在于其能够从上下文中的自然语言中学习。这种能力使代理能够根据反馈迭代地优化其答案，这是现代代理工作流程中普遍的操作模式。然而，社区主要通过诸如 Pass@1 或 Pass@K 的指标对模型进行排序，这无法捕捉模型如何利用对先前尝试的反馈。我们引入了 Seq@K，一种自然的评估协议，用于衡量模型是否能够在 K 次连续尝试内解决问题，并在每次先前失败后获取反馈。与考察长周期规划的多轮代理基准不同，Seq@K 分离并形式化了从反馈中进行改进的核心能力。我们在 7 个基准和 16 个前沿模型上评估了 Seq@K，结果表明 Seq@K 揭示了一个实质上不同的模型选择格局：在 Seq@K 下，(1) 模型排名往往不同，(2) 帕累托前沿允许更高效的配置，(3) 选择最优模型配置所带来的收益相对于 Pass@K 可能扩大或缩小。我们进一步展示了在 Seq@K 下分析模型轨迹有助于刻画迭代改进行为，例如模型解决反馈中提出问题的速率，或它们对自身答案的坚持程度。最后，我们研究了反馈性质如何影响模型的迭代改进，表明在设计和评估迭代代理系统的反馈循环时，实践者必须谨慎。综合来看，这些结果确立了 Seq@K 如何为通常在此类反馈循环中运行的智能系统提供更忠实的度量，以及在评估此类系统模型时考虑 Seq@K 的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37859 (HTTP 429)

Authors: Thomson Yen, Gilbert Yang, Naimeng Ye, Minghui Chen, Dong Xia, Tianyi Shen, Yechan Jeon, Yaqin Chen, Daksh Mittal, Fangyu Wu, Hongseok Namkoong

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37859.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37859

Published: 2026-11-02T02:46:41.491Z

Evaluation Domain Papers

1. LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes

中文摘要

摘要：稀疏专家混合（MoE）模型为 Web 应用提供了可扩展的容量，但不均衡的路由会产生计算和通信瓶颈。现有的放置和复制方法可以重新分配这类工作负载，但额外的专家副本会与与令牌相关的缓冲区争夺有限的 GPU 内存。我们提出了 LRMoE，一种内存感知的 MoE 训练系统，它可以联合重校正反向需求并平衡保留的工作负载。在前向执行过程中，它在资源约束下规划保留配额和专家放置，同时保留所有路由的计算。在反向传播中，负载重校正指标估计每个令牌-专家对对专家更新的贡献，并选择在这些配额内的配对。容量感知路由算法将保留的配对分配到原始专家的可用实例中。物理压缩随后形成较小的通信负载和可变大小的分组 GEMM，从而减少反向传输、计算和执行缓冲需求。在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上的实验证明，与 SYMI 相比，LRMoE 将累计 MoE 层训练到固定损失目标的时间减少了 21.2%-44.8%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37720 (HTTP 429)

Authors: Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37720.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37720

Published: 2026-11-02T02:47:03.899Z

2. Amortized Localized Posterior Inference for Model Calibration with Application to an Ocean Turbulence Closure

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37731 (HTTP 429)

Authors: Exaucé Luweh Adjim Ngarti, Élise Arnaud, Léo Nicoletti, Victor Trappler, Arthur Vidard

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37731.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37731

Published: 2026-11-02T02:47:03.899Z

3. ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions

中文摘要

摘要：语言模型的许多使用最终都以键入决策告终：在一组封闭选项中进行选择，其概率代码可以操作。通过一次前向传播读取这些概率很快，但在需要多步操作的决策中（如算术、计数和日期比较）通常会出错。让模型先思考可以修正大多数错误，但每次决策的时间从毫秒增加到秒。为了只在有帮助的情况下进行思考，ThinkJev 从一个开放的混合思考模型构建了一个快速和一个慢速系统，该模型可以直接回答或经过思考后回答。系统1在直接回答时读取模型对选项字母的概率；系统2在模型在相同缓存提示上思考之后读取相同的字母，因此升级不会重复工作，并且两个系统对相同选项给出概率。因为字母可以在任意数量的思考token后读取，一次采样的思考也可以在每个思考预算下给出答案。在无需训练的情况下，ThinkJev 仅在经过标注开发数据的统计测试保证其接受的答案保持在目标错误率以下时，让系统1单独回答。在5%目标下，Qwen3.5-27B 以这种方式回答了8359个测试决策中的24.5%，实际误差为3.9%（Qwen3.5-4B和9B分别为6.5%和0.0%）。对于其余情况，在答案自信时尽早停止每次思考可达到81.6%的准确率，而始终思考的准确率为82.7%，使用了72%的思考token。仅根据系统1的自信度选择何时思考节省较少，因为系统1最不确定的决策往往不是思考能解决的决策。在JevBench的公共项目中，一个独立的键入决策服务基准，Qwen3.5-27B 对29.4%的项目进行思考，其准确率与列出的两个思考API没有显著差异（探索性）。代码和数据生成器可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37732 (HTTP 429)

Authors: Xiaolu Ding, Kai Yang, Dongdong Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37732.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37732

Published: 2026-11-02T02:47:03.899Z

4. OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery

中文摘要

摘要：大型语言模型（LLMs）在研究级问题解决中显示出越来越大的潜力，但这样的问题的综合收集仍然缺失，对这些问题的评估也仍然具有挑战性。我们引入了OpenFrontiers，这是一个跨学科资源，将结构化的开放研究问题语料库与最近在数学上解决的问题的回顾性基准相结合。该语料库记录了12,151个问题的题目陈述、背景、进展及其他信息。基准测试包含200个问题，其中110个在2026年已解决，90个仍未解决，每个问题都附有由自动探测器检查并经过两次独立审查的Lean~4表述；一个子集HQ-50进一步根据质量评分等进行筛选。我们的评估协议在隔离沙箱中使用两名独立检查员对形式证明进行评分，条件包括闭卷、冻结检索和实时网络。对HQ-50子集下的七个LLM代理进行标准化预算评估时，我们发现闭卷重新发现问题的情况很少，最多仅有40个已解决问题中的7个，而在实时网络条件下的成功主要反映了已发布解决方案的检索。通过将广泛的研究问题语料库与具有正式评分且附有文档化解决方案的评估子集关联，OpenFrontiers为测量研究级重新发现能力及研究当前未解决科学问题的进展提供了基础。数据集和基准测试可在此https URL中找到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37739 (HTTP 429)

Authors: Jiarui Yao, Ruida Wang, Tong Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37739.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37739

Published: 2026-11-02T02:47:03.899Z

5. WebAnything: From the Wild Web to Scalable Agent Environments

中文摘要

摘要：Web代理需要多样化、可执行且可重置的网站环境，以实现可复现的训练和评估。人工辅助的镜像需要针对每个网站进行工程处理，而生成式构建可能偏离指定的真实网站。抓取与重放可以保留观察结果，但交互覆盖受限于捕获的内容和重放能力。我们提出了WebAnything，一个全自动框架，可从真实URL重建以源为基础、可重复使用的Web环境，无需在初始设置和授权后对每个网站进行手动实现或修复。Explorer-Builder收集浏览器可观察的结构、资源和交互结果；独立验证器检查冻结的候选对象，并指导本地修复或针对性地重新捕获源。我们构建了跨14个应用领域和53个类别的244个网站工件，支持12,984个已执行且通过的任务。与人工辅助的WebHarbor相比，WebAnything在三项保真度指标上的综合得分更高，在盲审中实现12胜、2平、0负。对Qwen3.5-9B进行5,856条交互轨迹的微调，使REAL成功率提高了9.9个百分点，Odysseys-Easy Rubric平均分和任务平均分分别提高了6.25和6.32个百分点，WebArena-Verified总体成功率在固定测试下提高了13.33个百分点。代码：https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37786 (HTTP 429)

Authors: Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li, Rui Zheng, Hang Yan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37786.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37786

Published: 2026-11-02T02:47:03.899Z

6. What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs

中文摘要

摘要：针对网络知识图谱回答问题的LLM代理越来越多地被包装在源自图谱本体的检查机制中，假设正式的模式能够成为可靠的判断标准。然而，检查器也可能出错：它可能漏掉错误，也可能标记正确答案并推动代理去“修正”它们。作为这样一个判断者，人工策划的本体是否值得其成本，以及它与LLM生成的本体或从数据中挖掘的模式相比如何，目前尚不清楚。我们将检查器本身作为研究对象。在策划的、LLM生成的以及基于数据的本体中，无论是作为提示上下文、作为检查器，或两者兼有，以及在公开权重和专有代理上，在公共图谱和一个接近$10^{9}$三元组的私有图谱上，我们都考察了本体衍生的检查能捕捉到什么和错误标记了什么。我们展示了每种来源如何在捕获错误与误报之间权衡、作为已发布的策划模式如何可能与自身数据矛盾、结构检查错过了哪些错误，以及结合多来源或将检查器的具体反馈提供给代理是否有效。在UniProt上，策划的本体比从数据中派生的本体或LLM从带有掩码标识符的数据摘要中派生的本体标记了更多正确答案。在真实代理的回答中，其标记的精确性仅略高于随机标记。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37809 (HTTP 429)

Authors: Michal Orzechowski, Rund Tawfiq, Tomasz Kosciolek

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37809.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37809

Published: 2026-11-02T02:47:03.899Z

7. Measuring Where Intent Gets Lost in Agentic Smart Contract Synthesis

中文摘要

摘要：AI 代理现在可以根据纯英文描述编写软件，但能运行的代码并不等同于能完成所要求操作的代码。这种差距在智能合约中尤为重要，智能合约是支撑 Web3 应用的程序，在区块链上转移资金并且一旦部署无法修改。我们探讨如何检查 AI 编写的合约是否按预期运行，以及请求的行为在哪里丢失。我们设计了一种基于执行而非主观意见的评估方法。我们在 AI 编写的合约和其应再现的原始合约上重放相同交易，并测量它们一致的频率。我们在预设错误上测试每个评分工具，与未基于描述编写的答案关键进行比较，并审核我们自己的评分器，直到已知错误的答案无法通过。常用方法，如 AI 裁判和标准分析工具，会漏掉明显错误，评分选择也很重要。仅检查每个系统包含的函数，隐藏了大约一半的流程差异。然后我们提出了一种先引导提问的架构。在编写代码之前，代理会向客户提出一个简短的检查清单，使用独立编写的可执行答案关键检查合约，并将分歧返回给客户，而不是默默重写代码。事先提问比事后复查或修补重要得多，在三种 AI 模型上均如此，而自动安全修复常常破坏请求的行为。一些精心选择的问题可以找回简短描述中遗漏的大部分内容，并且无需原始合约也可以估计它们的价值。据我们所知，这是智能合约生成领域首次在生成前收集缺失的需求，并将结果与独立编写的可执行模型进行检查。其经验教训适用于任何 AI 代理将请求转化为程序的场景。我们发布了我们的工具、600 个任务及所有结果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37830 (HTTP 429)

Authors: Abhinav Goel, Agostino Capponi, Alfio Gliozzo, Chaitya Shah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37830.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37830

Published: 2026-11-02T02:47:03.899Z

8. Detecting Covert Collusion between AI Agents through Partner-Outsider Positive Listening

中文摘要

摘要：共享秘密约定的人工智能代理可以通过看似无害的信息进行协调，因此只读取信息的监控器可能会漏掉这些行为。我们提出了一种行为测试：使用代码的伙伴会对信息的字面措辞做出反应，而放在其位置的无关代理则不会。伙伴—外部者积极倾听（PoPLi）是两类代理在信息在保持意义不变的情况下改写后，其动作变化程度上的差异，这一指标是事后通过重放记录的提示计算得出的。在一个模拟市场中设有五种条件（无共谋、带中性信息的联合奖励、公开声明意图的相同情况、隐蔽的首字母代码，以及带声明意图的代码），当存在代码时，PoPLi介于0.48和0.59之间（95%区间均高于0.29）；没有代码时，PoPLi介于-0.10和-0.01之间。仅依靠信息的监控器无法区分这些条件：一个只读取说话者信息的监控器在所有50个市场中均回答“否”，而一个读取每个卖家信息的监控器则在10个无共谋的市场中标记了9个。PoPLi能够检测私人通道的使用，而非共谋本身，它无法仅通过激励或信息携带的含义来检测共谋。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37849 (HTTP 429)

Authors: Kevin Yandoka Denamganaï

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37849.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37849

Published: 2026-11-02T02:47:03.899Z

9. Evaluating and improving AI agents for sequencing protocol understanding

中文摘要

摘要：现有的科学代理基准很少评估代理是否能够重建测序协议指定的精确分子结构和生成工作流程，而这种能力对于分析定制测序实验至关重要。我们引入了 LibStructBench，这是一种基于文档的基准，用于重建测序文库结构和分子工作流程。我们的实验表明，前沿代理通常能够生成大致正确的重建结果，但在精确重建方面仍不可靠，尤其是在分子状态表示和工作流程连通性方面。切换底层语言模型产生的平均性能差异大于切换代理工具，且只有在分子状态重建方面差异具有统计学显著性。额外的知识在一个小型试点中改善了寡核苷酸家族的恢复，但未提高平均分子工作流程得分。程序规则和跨协议示例的自主积累显示了非单调的验证性能，并且在测试的轨迹中未提高平均保留的分子工作流程。上述发现凸显了在复杂实验协议中进行分子过程科学推理时，需要更可控和可验证的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37851 (HTTP 429)

Authors: Chi-Lam Poon, Michael Goneos, Zezheng Song, Xi Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37851.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37851

Published: 2026-11-02T02:47:03.899Z

10. Seq@K: Evaluating Language Models Under Sequential Feedback

中文摘要

摘要：语言模型代理与以往的智能系统在根本上不同之处在于其能够从上下文中的自然语言中学习。这种能力使代理能够根据反馈迭代地优化其答案，这是现代代理工作流程中普遍的操作模式。然而，社区主要通过诸如 Pass@1 或 Pass@K 的指标对模型进行排序，这无法捕捉模型如何利用对先前尝试的反馈。我们引入了 Seq@K，一种自然的评估协议，用于衡量模型是否能够在 K 次连续尝试内解决问题，并在每次先前失败后获取反馈。与考察长周期规划的多轮代理基准不同，Seq@K 分离并形式化了从反馈中进行改进的核心能力。我们在 7 个基准和 16 个前沿模型上评估了 Seq@K，结果表明 Seq@K 揭示了一个实质上不同的模型选择格局：在 Seq@K 下，(1) 模型排名往往不同，(2) 帕累托前沿允许更高效的配置，(3) 选择最优模型配置所带来的收益相对于 Pass@K 可能扩大或缩小。我们进一步展示了在 Seq@K 下分析模型轨迹有助于刻画迭代改进行为，例如模型解决反馈中提出问题的速率，或它们对自身答案的坚持程度。最后，我们研究了反馈性质如何影响模型的迭代改进，表明在设计和评估迭代代理系统的反馈循环时，实践者必须谨慎。综合来看，这些结果确立了 Seq@K 如何为通常在此类反馈循环中运行的智能系统提供更准确的衡量标准，以及在评估此类系统模型时考虑 Seq@K 的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37859 (HTTP 429)

Authors: Thomson Yen, Gilbert Yang, Naimeng Ye, Minghui Chen, Dong Xia, Tianyi Shen, Yechan Jeon, Yaqin Chen, Daksh Mittal, Fangyu Wu, Hongseok Namkoong

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.37859.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37859

Published: 2026-11-02T02:47:03.899Z

VLM Domain Papers

1. Sparse tensor networks for individual tree diameter estimation in mixed forests

Abstract:Measurements of tree diameter at breast height (DBH) are fundamental to forest inventories, but manual surveys across entire stands or regions are impractical. UAV-borne laser scanning (ULS) enables scalable automated forest surveys, yet canopy occlusion makes accurate DBH estimation from ULS point clouds non-trivial. Limited stem-level point density of ULS data constrains approaches relying on detailed stem reconstruction, such as Quantitative Structure Models (QSMs) and circle fitting. Empirical machine learning methods based on predefined point cloud metrics are an alternative. New deep learning approaches offer an even more principled solution, allowing models to learn directly from point clouds. Sparse tensor networks have shown particular promise, transforming forestry tasks such as tree species classification. We investigate whether these strengths can be extended to estimate individual tree DBH from ULS data across four mixed-species temperate forest plots in Germany. We further advance existing sparse tensor networks by introducing TreeNext, a lightweight deep learning architecture for direct individual tree parameter estimation from voxelized LiDAR point clouds. We present a fully automated forest inventory pipeline from individual tree instance segmentation to DBH regression, and quantify the impact of segmentation errors by comparing performance on automatically segmented and ground truth instances. TreeNext achieves an $R^2$ of 0.8355 on automatically segmented trees and 0.9380 on ground truth segments, outperforming strong tabular baselines including Random Forest and XGBoost. Segmentation quality emerges as the dominant error source in the automated pipeline. TreeNext proves highly data-efficient, performing well even in small data scenarios. Our findings establish sparse tensor networks as a practical foundation for automated individual tree DBH estimation from ULS.

中文摘要

摘要：测量树木胸径（DBH）是森林清查的基础，但在整个林分或区域进行人工调查是不现实的。无人机搭载激光扫描（ULS）能够实现可扩展的自动化森林调查，但由于树冠遮挡，从ULS点云中准确估计DBH并非易事。ULS数据在单株树层面的点密度有限，限制了依赖详细树干重建的方法，如定量结构模型（QSM）和圆形拟合。基于预定义点云指标的经验机器学习方法是一种替代方案。新的深度学习方法提供了更为系统的解决方案，允许模型直接从点云中学习。稀疏张量网络显示出特别的潜力，可用于转变森林相关任务，例如树种分类。我们研究了这些优势是否可以扩展到从德国四个混交温带林地的ULS数据中估计单株树的DBH。我们进一步通过引入TreeNext推进现有的稀疏张量网络，这是一个用于从体素化LiDAR点云直接估计单株树参数的轻量级深度学习架构。我们提出了一个从单株树实例分割到DBH回归的全自动森林清查流程，并通过比较自动分割和实测实例的性能来量化分割误差的影响。TreeNext在自动分割树木上实现了$R^2$为0.8355，在实测分割上为0.9380，优于包括随机森林和XGBoost在内的强大表格基线。分割质量成为自动化流程中主要的误差来源。TreeNext表现出高度的数据效率，即使在小数据场景下也表现良好。我们的研究结果确立了稀疏张量网络作为基于ULS的自动单株树DBH估计的实用基础。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37784 (HTTP 429)

Authors: Clara Lößl, Fabian Ewald Fassnacht, Viacheslav Barkov

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37784.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37784

Published: 2026-11-02T02:47:25.570Z

2. GOFish: Full Field-of-View Gaussian Splatting and Mesh Extraction

Abstract:Robots, autonomous vehicles, and consumer 360° cameras use fisheye lenses for wide fields of view (FoVs). Simulation-ready digital twins require photorealistic rendering across the full FoV and an aligned collision mesh. However, prior fisheye Gaussian Splatting methods only rasterize up to 180° and do not produce meshes, while Gaussian surface reconstruction methods assume pinhole training images. We present GOFish, the first 3D Gaussian Splatting surface reconstruction method to train directly on fisheye images, rasterize FoVs beyond 180°, and extract an aligned mesh from the same scene. Calibrated densification recovers the surface across the entire FoV, while Calibrated Mip Filtering and Wide-Angle Appearance Modeling keep pixel blur and lens falloff out of the scene and mesh. Across the 200° FIORD and 205° FullCircle benchmarks, GOFish improves PSNR over the best prior method by 2.28 and 1.97 dB, respectively. It also outperforms fisheye rendering baselines within their own FoVs and achieves the highest mesh F-score on FIORD and the main ScanNet++ set. Together, the Gaussian scene and mesh form a LiDAR-free, simulation-ready digital twin that renders in real time, ray traces the full FoV, and provides collision geometry.

中文摘要

摘要：机器人、自动驾驶车辆和消费者360°相机使用鱼眼镜头来获得广阔的视场（FoV）。用于仿真的数字孪生需要在整个视场内进行逼真的渲染，并生成对齐的碰撞网格。然而，现有的鱼眼高斯点绘制方法仅能栅格化到180°，且无法生成网格，而高斯表面重建方法则假设针孔训练图像。我们提出了GOFish，这是第一个能够直接在鱼眼图像上进行训练的3D高斯点绘制表面重建方法，可栅格化超过180°的视场，并从同一场景中提取对齐的网格。经过校准的密化方法恢复了整个视场的表面，而校准的Mip滤波和广角外观建模将像素模糊和镜头衰减排除在场景和网格之外。在200°的FIORD和205°的FullCircle基准测试中，GOFish分别比之前最佳方法提升了2.28和1.97 dB的PSNR。它还在各自的视场内超越了鱼眼渲染基线，并在FIORD和主要ScanNet++数据集上获得了最高的网格F评分。高斯场景和网格共同构成了无需LiDAR的、可用于仿真的数字孪生，能够实时渲染、对整个视场进行光线追踪，并提供碰撞几何信息。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37818 (HTTP 429)

Authors: Allen Tu, Meher Gitika Karumuri, Shifan Zhu, Hailing Wang, Yen-Liang Lin, David Held, Matthias Zwicker, Tom Goldstein

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37818.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37818

Published: 2026-11-02T02:47:25.570Z

3. Convex Potential Learning for Optimal Transport Between Medical Images

Abstract:Computing optimal transport maps between medical images plays a fundamental role in morphological analysis. However, existing methods are either difficult to scale to large 3D medical images or rely on regularized formulations that provide only approximate transport maps. To improve the accuracy of downstream medical image analysis, we propose a novel approach for estimating optimal transport maps by parameterizing the convex potential function. By construction, the resulting transport map is guaranteed to be curl-free, consistent with Brenier’s theorem. We evaluate the proposed method on both 2D and 3D medical imaging datasets. Experimental results demonstrate that our approach achieves lower transport estimation errors and produces higher-quality image reconstructions than existing methods.

中文摘要

摘要：在医学图像之间计算最优传输映射在形态学分析中起着基础性作用。然而，现有方法要么难以扩展到大型三维医学图像，要么依赖于仅能提供近似传输映射的正则化形式。为了提高下游医学图像分析的准确性，我们提出了一种通过参数化凸势函数来估计最优传输映射的新方法。通过该构造，得到的传输映射保证无旋度，符合Brenier定理。我们在二维和三维医学影像数据集上评估了所提出的方法。实验结果表明，与现有方法相比，我们的方法在传输估计误差更低，同时生成的图像重建质量更高。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37844 (HTTP 429)

Authors: Hongyu Kan, Ivan Medri, Natasha Ironside, Kristofor Pas, Richard Corp, Shinjini Kundu, Gustavo Kunde Rohde

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37844.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37844

Published: 2026-11-02T02:47:25.570Z

4. Effects of Deep Learning Architecture and Pretraining on Automated Vocal Fold Segmentation in Ex Vivo High-Speed Phonation Images

Abstract:Two-dimensional (2D) intraglottal particle image velocimetry (PIV) of ex vivo phonation experiments quantifies vocal fold medial surface dynamics and the intraglottal flow field. However, it relies on manual segmentation because residual glare, low tissue-to-flow contrast, and tracer-particle speckle obscure the vocal fold boundaries. This study assessed how deep learning architecture and ImageNet pretraining affect automated vocal fold segmentation in these high-speed images. Four established architectures from three categories were benchmarked: the convolutional neural network (CNN)-based UNet and UNet++, the hybrid CNN-transformer-based TransUNet, and the pure transformer-based Swin-UNet, the latter two trained from scratch and from ImageNet-pretrained weights. Using 16,344 expert-annotated images from 227 phonation trials of excised canine larynges, the six pipelines were trained with five seeds under a standardized protocol and compared on 50 held-out test trials using trial-level Wilcoxon signed-rank tests with Holm correction. Mean Dice similarity coefficient (DSC) spanned only 0.9734 to 0.9764, so the pipelines differed mainly in boundary fidelity. Pretraining significantly improved the boundary F1 score (BF1) and 95th percentile Hausdorff distance (HD95) of the TransUNet and Swin-UNet, about four times more for the Swin-UNet. Once pretrained, the two performed similarly, although the Swin-UNet has only about a quarter of the trainable parameters. Without pretraining, the TransUNet had a significantly higher BF1 and a lower HD95 than both CNN-based pipelines and about half their share of images with HD95 > 50 pixels. To our knowledge, this is the first study to apply deep learning to vocal fold segmentation in 2D intraglottal PIV, and it offers a reference framework for segmenting experimental flow-visualization images with noisy optical conditions or highly deformable objects.

中文摘要

摘要：二维（2D）声门内粒子图像测速（PIV）在离体发声实验中量化声带内侧表面动力学和声门内流场。然而，由于残余眩光、组织与流动对比度低以及示踪颗粒斑点掩盖了声带边界，它依赖手动分割。本研究评估了深度学习架构和 ImageNet 预训练如何影响这些高速图像中声带的自动分割。我们对三类中四种已建立的架构进行了基准测试：基于卷积神经网络（CNN）的 UNet 和 UNet++，混合 CNN-Transformer 的 TransUNet，以及纯 Transformer 的 Swin-UNet，其中后两种架构分别从零开始训练和使用 ImageNet 预训练权重训练。利用来自 227 次离体犬喉发声试验的 16,344 张专家标注图像，这六条管线在五个随机种子下按照标准化协议进行训练，并在 50 个保留测试试验上通过试验级 Wilcoxon 符号秩检验及 Holm 校正进行比较。平均 Dice 相似系数（DSC）仅在 0.9734 至 0.9764 之间，因此各管线主要在边界保真度上存在差异。预训练显著改善了 TransUNet 和 Swin-UNet 的边界 F1 分数（BF1）和第 95 百分位 Hausdorff 距离（HD95），Swin-UNet 的改善约为前者四倍。一旦进行预训练，这两者的表现相似，尽管 Swin-UNet 的可训练参数仅约为其四分之一。未预训练时，TransUNet 的 BF1 显著高于两种基于 CNN 的管线，HD95 更低，其 HD95 > 50 像素的图像比例约为两者的一半。据我们所知，这是首个将深度学习应用于二维声门内 PIV 中声带分割的研究，并为在噪声光学条件或高度可变形对象下分割实验流场可视化图像提供了参考框架。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37860 (HTTP 429)

Authors: Varun Vinayak Kalaiarasan, Charles Farbos de Luzan, Khalid Malik, Ephraim Gutmark, Liran Oren

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37860.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37860

Published: 2026-11-02T02:47:25.570Z

5. PairCLIP-SWA: Similarity-Guided Balancing and Stochastic Weight Averaging for Generalized Deepfake Image Detection with OpenCLIP

Abstract:Deepfake detectors are almost always deployed as the single checkpoint that scored best on a validation split, yet the reliability of that choice is rarely measured. We measure it with PairCLIP-SWA, a single-backbone detector that adapts an OpenCLIP ViT-L/14 visual tower by progressive block unfreezing on a class-balanced corpus built by CLIP-similarity-guided one-to-one subsampling, and averages the fine-tuning trajectory in weight space. Trained in-domain on the IEEE SP Cup 2025 (DF-Wild-Cup) benchmark under the same protocol as the strongest published three-backbone ensemble, the weight-averaged detector reaches 97.04% accuracy, 98.64% AU-ROC and a 4.07% equal error rate, against 94.46%, 97.60% and 5.00%. Its training log shows why averaging matters: over the averaged epochs the non-averaged checkpoint swings across 5.34 points of validation accuracy while its validation loss more than doubles, whereas the average is never worse and is up to 5.99 points better. On an OpenForensics-derived benchmark the same instability becomes a misranking: the checkpoint that validation accuracy selects (98.43%) scores 88.85% on a disjoint 10,905-image test partition, rejecting 21.1% of genuine photographs, while the terminal average, ranked last on validation, scores 94.76%. A study of twenty-two in-house configurations on the identical DF-Wild-Cup split, including preprocessing ablations, shows that CLIP pre-training rather than ensembling drives accuracy, that secondary face cropping costs about 34 points, and that frequency-domain inputs transfer poorly. We recommend per-class selection criteria measured off the early-stopping split.

中文摘要

摘要：深度伪造检测器几乎总是作为在验证集上得分最高的单一检查点部署，但这种选择的可靠性却很少被衡量。我们使用 PairCLIP-SWA 进行衡量，这是一种单骨干检测器，通过在由 CLIP 相似性引导的一对一子采样构建的类别平衡语料上逐块解冻，适配 OpenCLIP ViT-L/14 视觉塔，并对权重空间中的微调轨迹进行平均。在 IEEE SP Cup 2025（DF-Wild-Cup）基准数据集上使用与最强三骨干集成发布相同的协议进行域内训练，权重平均检测器达到 97.04% 的准确率、98.64% 的 AU-ROC 以及 4.07% 的等错误率，而未平均检测器分别为 94.46%、97.60% 和 5.00%。其训练日志显示了平均化的重要性：在平均的多个训练周期中，未平均的检查点验证准确率波动 5.34 个百分点，而验证损失增加一倍多，而平均值从未更差，最多提高 5.99 个百分点。在 OpenForensics 派生的基准测试中，相同的不稳定性导致排序错误：验证准确率选择的检查点（98.43%）在不相交的 10,905 张图像测试集上得分为 88.85%，拒绝了 21.1% 的真实照片，而最终平均值在验证上排名最后，却得分 94.76%。对相同 DF-Wild-Cup 切分上的二十二种内部配置进行研究，包括预处理消融实验，显示准确率的提升更多依赖 CLIP 预训练而非集成，二次人脸裁剪约损失 34 个百分点，频域输入迁移能力较差。我们建议使用按照类别在早停分集上衡量的选择标准。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37874 (HTTP 429)

Authors: Md. Nakib, Sudipto Sarkar, A. J. A. Jubayer Talukder, Mohammad Ariful Haque

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37874.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37874

Published: 2026-11-02T02:47:25.570Z

6. Intersectional Invariant Learning for Fair Deepfake Detection

Abstract:Deepfake detection models achieve high overall accuracy but exhibit large performance disparities across demographic groups, causing some groups to experience substantially higher false-positive rates than others. Existing fairness-aware methods address this by constraining model outputs to equalize group predictions, but do not tackle the underlying feature-level bias. As a result, models may still rely on demographic characteristics, such as skin texture, as indirect cues for detecting manipulated content. To address this problem, we propose Intersectional Invariant Learning (IIL), a framework that improves feature learning rather than only adjusting model outputs. IIL alternates between identifying the most challenging demographic partitions and learning features that remain consistent across those partitions. The framework also includes a false-positive-rate fairness objective and group-balanced sampling across six gender x skin-tone intersectional groups. We evaluate IIL on a large-scale fairness benchmark containing over one million images, 10 baseline detectors, and 21 fairness and utility metrics. Results show that IIL achieves Pareto-optimal performance, simultaneously attaining an AUC above 99%, a false-positive rate under 2.5%, and the lowest intersectional fairness disparity (FMEO) among all compared methods. IIL outperforms prior fairness-aware methods on the large majority of the 21 evaluation metrics, while reducing both false-positive rates and intersectional fairness disparities by several-fold compared with the strongest competing method.

中文摘要

摘要：深度伪造检测模型总体上可以达到较高的准确率，但在不同人口群体之间表现出较大的性能差异，导致某些群体的假阳性率显著高于其他群体。现有的公平性感知方法通过限制模型输出以平衡群体预测来应对这一问题，但并未解决潜在的特征层偏差。因此，模型可能仍然依赖于人口特征，例如皮肤纹理，作为检测篡改内容的间接线索。为了解决这一问题，我们提出了交叉不变学习（Intersectional Invariant Learning, IIL）框架，该框架侧重于改进特征学习，而不仅仅是调整模型输出。IIL在识别最具挑战性的人口分区和学习在这些分区上保持一致的特征之间交替进行。该框架还包括假阳性率公平目标以及针对六个人口交叉群体（性别×肤色）的均衡采样。我们在一个包含超过一百万张图像、10个基准检测器和21个公平性与效用指标的大规模公平性基准上评估了IIL。结果显示，IIL实现了帕累托最优性能，同时达到超过99%的AUC、低于2.5%的假阳性率，并在所有比较方法中实现最低的交叉公平性差异（FMEO）。在21个评估指标的大多数方面，IIL优于以往的公平性感知方法，同时相比最强的竞争方法，显著降低了假阳性率和交叉公平性差异数倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37881 (HTTP 429)

Authors: Uzoamaka Ezeakunne, Taiwo Olabamipe, Deevesh Jain, Xiuwen Liu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37881.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37881

Published: 2026-11-02T02:47:25.570Z

7. FYC: FPR-Disparity Weight Perturbation and Youden Calibration for Fair Deepfake Detection

Abstract:Deepfake detectors routinely achieve high aggregate accuracy while exhibiting substantial demographic disparities in their errors: false-positive rates differ by double digits across gender and skin tone. Most existing remedies require either full retraining with a fairness-aware objective or demographic-annotated training data, both impractical when only a pretrained checkpoint is available, while label-free post-hoc calibrators leave the detector’s weights unchanged. We introduce FYC (FPR-disparity Weight Perturbation and Youden Calibration), a two-stage post-hoc method that perturbs a detector’s weights under an FPR-disparity criterion, then calibrates a separate decision threshold for each demographic group - requiring no architectural changes and no full retraining. Evaluated against every detector benchmarked on AI-Face v2 across six intersectional gender x skin-tone groups, FYC outperforms the field on 18 of 21 reported fairness and utility metrics, including purpose-built fairness architectures, at a fraction of the training cost. We further identify why the choice of fairness criterion is critical: the original Demographic Parity objective used in prior weight-perturbation work is architecture-dependent and unpredictable, improving two of four evaluated architectures, leaving a third largely unchanged, and substantially degrading the fourth (PG-FDD), with no way to anticipate the outcome for a given checkpoint in advance. Conditioning the same objective on real images only - our FPR-disparity criterion - eliminates this unpredictability, improving fairness and accuracy jointly across all four architectures with no exceptions.

中文摘要

摘要：深度伪造检测器通常在整体准确率上表现很高，但在错误上存在显著的人口统计差异：不同性别和肤色的假阳性率相差达两位数。大多数现有的补救措施要么需要使用公平性意识目标进行完整的再训练，要么需要带有人口统计标注的训练数据，当只有预训练检查点可用时，这两者都不现实，而无标签的事后校准方法则不会改变检测器的权重。我们提出了FYC（FPR差异权重扰动与Youden校准），这是一种两阶段的事后方法，在FPR差异标准下扰动检测器的权重，然后为每个人口群体校准一个单独的决策阈值——不需要架构更改，也无需完整再训练。在针对AI-Face v2上六个交叉性别×肤色群体的每个检测器进行评估时，FYC在报告的21个公平性和效用指标中有18个指标性能优于现有方法，包括为公平性专门设计的架构，而且训练成本仅为其一小部分。我们进一步指出，公平性准则的选择至关重要：先前权重扰动工作中使用的原始人口统计均等(Demographic Parity)目标依赖于架构且结果不可预测，使得四个评估架构中有两个有所改善，第三个几乎没有变化，而第四个（PG-FDD）则大幅下降，且无法提前判断给定检查点的结果。将同一目标仅以真实图像为条件——我们的FPR差异准则——消除了这种不可预测性，在所有四个架构中无一例外地同时提升了公平性和准确性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37882 (HTTP 429)

Authors: Uzoamaka Ezeakunne, Taiwo Olabamipe, Deevesh Jain, Xiuwen Liu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37882.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37882

Published: 2026-11-02T02:47:25.570Z

8. Venus-DefakerOne2: A Vision-Forensics Foundation Model with Broader Coverage

Abstract:Real-world forgery is inherently heterogeneous: it manifests not only as digital manipulation but also as physical spoofing, and is carried not only by images but also by videos. Despite substantial progress, a unified anti-forgery foundation model covering such a broad threat spectrum remains absent. In this paper, we present Venus-DefakerOne2, which substantially extends the forensic capability boundary along both the forgery-form and media-type dimensions. Trained on tens of millions of open-source and in-house samples, it incorporates two key designs. Tide-Style-Tuning alternates LoRA and full-parameter fine-tuning to balance computational efficiency, generalization, and hard-sample fitting while mitigating catastrophic forgetting. Entropy-based Test Adaptation determines the optimal prediction modality by analyzing prediction entropy. Venus-DefakerOne2 achieves new state-of-the-art performance across a comprehensive suite of benchmarks, including DeepFake faces (96.7%), AI-generated images (93.3%), tampered documents (87.6%), manipulated natural images (89.6%), physical spoofs (93.1%), and AI-generated videos (96.0%). It significantly outperforms both specialized expert models and its predecessor, DefakerOne, establishing itself as a powerful and versatile foundation model for binary-decision forensic tasks.

中文摘要

摘要：现实世界中的伪造本质上是异质的：它不仅表现为数字篡改，还包括物理欺骗，而且不仅存在于图像中，也存在于视频中。尽管已有大量进展，但覆盖如此广泛威胁范围的统一反伪造基础模型仍然缺失。在本文中，我们提出了 Venus-DefakerOne2，它在伪造形式和媒体类型两个维度上显著扩展了取证能力边界。该模型在数千万开源和内部样本上训练，包含两个关键设计。潮汐风格微调（Tide-Style-Tuning）交替使用 LoRA 和全参数微调，以平衡计算效率、泛化能力以及困难样本的拟合，同时缓解灾难性遗忘。基于熵的测试适配（Entropy-based Test Adaptation）通过分析预测熵来确定最佳预测模式。Venus-DefakerOne2 在包括 DeepFake 面部（96.7%）、AI 生成图像（93.3%）、篡改文档（87.6%）、操作自然图像（89.6%）、物理欺骗（93.1%）以及 AI 生成视频（96.0%）在内的综合基准测试中取得了新的最先进性能。它显著优于专门的专家模型及其前身 DefakerOne，确立了作为二元决策取证任务的强大且多功能基础模型的地位。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37918 (HTTP 429)

Authors: Chenfan Qu, Yachao Liang, Mingqi Fang, Jiangwei Xie, Zhenming Wang, Baoyue Zhang, Changjiang Jiang, Zheng Chang, Fanli Jin, Xuekang Zhu, Kaiwen Feng, Junchi Li, Weihong Zhang, Haoyue Wang, Chenfeng Zhang, Yinan Xia, Fangming Cui, Dong Fan, Jingjing Liu, Tianyi Zhang, Luobin Chen, Ji-Zhe Zhou, Sheng Li, Wei Wang, Bin Li, Ran He, Xinpeng Zhang, Linna Zhou, Jian Liu, Weiqiang Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37918.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37918

Published: 2026-11-02T02:47:25.570Z

9. You Don’t Need Aligned Representations: Knowledge Distillation via Random Prototype Spaces

Abstract:A widely held assumption in knowledge distillation is that teacher and student representations must occupy a compatible or explicitly aligned feature space. We propose RPKD (Random Prototype Knowledge Distillation), which discards this assumption by comparing both networks against a shared bank of randomly initialized, frozen prototype vectors. Alignment is therefore carried out in an external reference space rather than in the teacher’s native feature coordinates: the teacher side is projected by fixed random maps that carry no trainable parameters, and only the student adapts. Two branches handle the transfer: a logit branch aligning global prototype similarity distributions and a feature branch matching spatially-resolved prototype activation maps. Both operate within the same fixed prototype space, which can be interpreted as a random feature embedding that approximately preserves inter-sample similarity structure, so the prototype bank and the distillation objective stay unchanged across teacher-student pairs while only the input projections are instantiated per architecture. In low-category settings, decoupling the prototype vocabulary from the task label space yields richer supervision than the label space alone, an advantage absent from logit-based methods, whose supervisory signal collapses as class count shrinks. This advantage is especially relevant in real-world scenarios where the label space is typically constrained. Extensive experiments demonstrate the effectiveness of RPKD, achieving a maximum gain of +7.98% over OFA on CIFAR-100, +12.44% on ImageNet-100, and +1.28% on ImageNet-1K. Source code is available at this https URL

中文摘要

摘要：知识蒸馏中一个广泛持有的假设是教师和学生的表示必须占据兼容或明确对齐的特征空间。我们提出了 RPKD（随机原型知识蒸馏），通过将两个网络与一个共享的、随机初始化并冻结的原型向量库进行比较，从而舍弃了这一假设。因此，对齐是在外部参考空间中进行的，而不是在教师的原生特征坐标中：教师端通过不包含可训练参数的固定随机映射进行投影，只有学生端进行适应。两个分支处理知识迁移：一个是对数分支，对齐全局原型相似性分布；另一个是特征分支，匹配空间分辨的原型激活图。两者都在相同的固定原型空间内操作，该空间可以被解释为一个随机特征嵌入，大致保持了样本间相似性结构，因此原型库和蒸馏目标在教师-学生对之间保持不变，而只有输入投影根据架构实例化。在低类别设置下，将原型词汇与任务标签空间解耦，能够提供比单纯标签空间更丰富的监督，这是基于对数的方法所不具备的优势，因为随着类别数量的减少，其监督信号会崩塌。这一优势在标签空间通常受限的现实场景中尤为重要。大量实验表明了 RPKD 的有效性，在 CIFAR-100 上相比 OFA 最大提升 +7.98%，在 ImageNet-100 上提升 +12.44%，在 ImageNet-1K 上提升 +1.28%。源代码可在此 https URL 获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37937 (HTTP 429)

Authors: Hamza Etcibasi, Ramazan Gokberk Cinbis

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37937.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37937

Published: 2026-11-02T02:47:25.570Z

10. Meta-Initialization of Implicit Neural Representations to Accelerate Deformable Medical Image Registration

Abstract:Implicit neural representation (INR) methods for deformable medical image registration require the network parameters to be optimized for each new image pair, making adaptation speed a practical limitation. This work investigates whether early adaptation can be accelerated using an initialization learned from a collection of previously solved registration tasks. We examine two schemes: Reptile meta-initialization and STRAINER transfer of the shared component of a coordinate network. KAN-IDIR is used as the base INR displacement-field model. Experiments are conducted on OASIS-1, with 364 consecutive pairs used for training and 49 pairs for test-time adaptation. Registration quality is evaluated using mean Dice and HD95, together with the fraction of voxels with a negative Jacobian determinant at iteration 1500. In the configurations studied, both schemes yield higher Dice and lower HD95 at early iterations than random initialization. Reptile numerically outperforms STRAINER under a small iteration budget, although their pretraining budgets are not matched. As the number of iterations increases, the differences between the schemes shrink. STRAINER pretraining takes 39-40 minutes, compared with 44.98 hours for Reptile.

中文摘要

摘要：用于可变形医学图像配准的隐式神经表示（INR）方法需要对每个新的图像对优化网络参数，使得适应速度成为实际限制。本文研究是否可以通过从一系列已解决的配准任务中学习到的初始化来加速早期适应。我们考察了两种方案：Reptile 元初始化和 STRAINER 共享坐标网络组件的迁移。KAN-IDIR 被用作基础的 INR 位移场模型。在 OASIS-1 数据集上进行了实验，使用 364 个连续的图像对进行训练，49 对用于测试时适应。配准质量通过平均 Dice 系数和 HD95 进行评估，同时在迭代 1500 时计算具有负雅可比行列式的体素比例。在所研究的配置中，这两种方案在早期迭代中均比随机初始化获得更高的 Dice 系数和更低的 HD95。Reptile 在小迭代预算下在数值上优于 STRAINER，尽管它们的预训练预算不匹配。随着迭代次数增加，这两种方案之间的差异缩小。STRAINER 的预训练耗时 39-40 分钟，而 Reptile 为 44.98 小时。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.37965 (HTTP 429)

Authors: Marat O. Zinovev, Dmitry V. Sorokin

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.37965.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.37965

Published: 2026-11-02T02:47:25.570Z