ArXiv Domain 2026-10-04

数据来源：ArXiv Domain

LLM Domain Papers

1. On-Device Named-Entity Recognition: A Deployability Study of Accuracy, Cost, Reliability, and Confidence

Abstract:Named-entity recognition (NER) is increasingly wanted on-device (no API, low latency, data kept local). The practitioner’s question is not the leaderboard but which model is deployable, how to evaluate it without human annotation, and whether its confidence can be trusted. We answer these jointly. We place nine systems across three paradigms and 13 M to 8 B parameters: a classical tagger (spaCy), bidirectional-encoder specialists (GLiNER, 166 to 460 M), and generative LLMs run locally (Qwen3-0.6B/1.7B/4B-Instruct, DeepSeek-R1-1.5B/8B), on three datasets of differing character, and report accuracy plus two axes the literature omits: latency and output validity. Because our corpus (RSS-News) had no gold, we built silver gold from a cross-family LLM judge panel, then measured its fidelity against benchmark gold and a full human re-validation of the corpus (strict F1 0.95, an upper bound since the human gold was silver-seeded); gold provenance flips the paradigm ranking, moving from LLM-authored silver to human gold raises every encoder and lowers every generative model. On accuracy alone a 4 B instruct LLM is competitive (it leads on clean newswire), so the encoder’s case is deployability: it matches or slightly trails at one-ninth to one-twenty-fourth the size, at millisecond-to-second latency, with zero malformed output, while the smallest generative models emit up to 27% invalid output on long inputs, a failure fixed by scale, not output budget. We then characterize GLiNER’s per-span confidence: it ranks correctness well (AUROC 0.76 to 0.86) but is overconfident (ECE 0.24 to 0.47, halved by temperature scaling); thresholding gives a small honest out-of-sample F1 gain; an all-local small-to-large cascade gives a modest, corpus-dependent gain over cost-matched random routing; and confidence tracks correctness but not novelty. Every number recomputes offline from per-span records.

中文摘要

摘要：命名实体识别（NER）对设备端的需求日益增加（无需 API、低延迟、数据保留在本地）。实践者关注的问题不是排行榜，而是哪个模型可部署、如何在无需人工标注的情况下评估它，以及是否能信任其置信度。我们对这些问题进行了联合回答。我们将九个系统按照三种范式和 13 M 到 8 B 参数进行分类：一个经典标注器（spaCy）、双向编码器专家（GLiNER，166 到 460 M）和本地运行的生成型大模型（Qwen3-0.6B/1.7B/4B-Instruct，DeepSeek-R1-1.5B/8B），在三个不同特性的数据集上测试，并报告精度以及文献中未涉及的两个维度：延迟和输出有效性。由于我们的语料库（RSS-News）没有金标，我们通过跨家族大模型评审小组构建了银金标，然后将其与基准金标及语料库全面人工复核（严格 F1 0.95，人类金标是银标种子，因此这是上限）进行忠实度测量；金标来源会改变范式排名，从大模型生成的银标转换为人类金标，会提升所有编码器模型，降低所有生成模型。单看精度，4B 指令型大模型具有竞争力（在干净新闻语料上领先），所以编码器的优势在于可部署性：其参数仅为大模型的九分之一到二十四分之一，延迟在毫秒至秒级，且输出无任何格式错误，而最小的生成模型在长输入上最多产生 27% 的无效输出，这一问题通过规模扩大而不是输出预算修复。之后我们对 GLiNER 的每个跨度置信度进行特征分析：它能很好地对正确性进行排序（AUROC 0.76 到 0.86），但过于自信（ECE 0.24 到 0.47，经过温度缩放减半）；阈值处理可在样本外 F1 上带来小幅真实提升；本地小到大级联相比成本匹配的随机路由在语料库依赖情况下带来适度收益；置信度可以追踪正确性，但不能跟踪新颖性。每个数字均从每个跨度记录重新计算。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*设备端（on-device）命名实体识别（NER）的系统性可部署性评估与决策问题\*\*，而非单纯追求榜单上的准确率（F1）最大值。具体而言，论文围绕实践者面临的三个核心问题展开： 1. \*\*模型选择的实际标准是什么？\*\* 在资源受限的设备端场景下，应选择哪种模型进行部署？论文指出，决策依据不应仅是准确率，还必须综合考量\*\*推理延迟\*\*、\*\*内存占用\*\*、\*\*输出有效性\*\*（是否产生无法解析的无效输出）以及\*\*模型规模\*\*。研究对比了三种范式（经典标签器、双向编码器专家模型、本地运行的生成式LLM），发现虽然中等规模的生成式模型（如4B参数）在干净文本上准确率有竞争力，但紧凑型编码器在输出可靠性（零无效输出）和延迟（毫秒到秒级）方面具有决定性优势。 2. \*\*如何在无人工标注预算的情况下进行可信评估？\*\* 针对目标域数据缺乏人工金标（gold labels）的问题，论文提出了一种基于\*\*跨家族LLM评审团\*\*的自动标注（银标，silver gold）协议，并严格测量了其保真度。通过在基准数据集和完整人工重验证的语料库上进行双重检验，论文发现LLM生成的银标存在系统性偏差：它会抬高生成式模型的排名、压低编码器模型的排名。因此，论文强调必须\*\*量化银标的保真度\*\*，并警惕金标来源（provenance）对范式排名的翻转效应。 3. \*\*模型置信度是否可信，能否用于决策？\*\* 论文研究了可部署的编码器模型（GLiNER系列）的\*\*逐跨度置信度\*\*（per-span confidence）特性。虽然该置信度在区分正确与错误跨度上表现良好（AUROC 0.76–0.86），但存在严重的\*\*过度自信\*\*（ECE高达0.24–0.47，可通过温度缩放大致减半）。论文进一步验证了该置信度可用于： - \*\*选择性预测\*\*（阈值过滤低置信度跨度以提升F1）； - \*\*全本地级联\*\*（将困难样本路由到本地更大的模型，而非云端API）； - 但指出它反映的是模型内部确定性，\*\*并非\*\*对新实体或分布外（OOD）输入的检测信号。简言之，论文的核心贡献是将NER研究从“准确率 leaderboard”导向转向\*\*“可部署性 frontier”\*\*导向，为在设备上实际落地NER系统提供了涵盖准确性、成本、可靠性及置信度利用的联合评估框架。 Q2: 有哪些相关研究？根据论文第2节（Related Work），相关研究可归纳为以下四个方向： ### 1. 小模型与生成式NER（Small-model and generative NER） - \*\*编码器专家模型\*\*：GLiNER

1
将NER重新定义为双向编码器中的跨度-类型匹配问题，证明了NER无需大模型即可完成。其能力源自对LLM开放式实体知识的蒸馏，类似思路也见于 UniversalNER
2
和 NuNER
3
。 - **生成式LLM的零样本NER**：已有研究表明，零样本LLM NER对提示敏感且容易出错
4
,
5
。近期的一项评估发现，中等规模LLM可以在CoNLL等干净文本上与强编码器打平，但在专业文本上表现较差，且存在过度生成跨度的问题
6
。 - **与本文的关系**：现有文献多聚焦于准确率本身，本文则将**经典标签器、编码器专家、生成式LLM**三类系统置于同一测量前沿，并首次将**延迟**和**输出有效性**（output validity）纳入一等评估维度。 ### 2. 无标注评估（Annotation-free evaluation） - **LLM作为标注者**：使用LLM进行NER标注已得到验证

2
,
3
。 - **评审团与偏差控制**：采用多样化模型组成的评审团（panel）可减少单一法官的偏差
7
；替代注释者测试（alternative-annotator test）为论证LLM标注者相对于人工子集的合理性提供了形式化框架
8
。 - **LLM标注的系统性偏差**：在信息检索（IR）领域，LLM生成的标签已被证明会使系统排名向LLM风格系统偏移
9
；LLM作为评委的自我偏好偏差（self-preference bias）亦有文献记录
10
。同期的一项多LLM NER标注 pipeline 通过LLM评委质量分数进行验证，而非直接对照人工金标
11
。 - **与本文的关系**：本文的区分度在于提供了**可测量的严格F1保真度界限**（先在基准数据集上转移验证，再经目标语料库完整人工重验证确认），并清晰展示了在NER任务中，**金标来源（provenance）会翻转编码器与生成式模型之间的范式排名**。 ### 3. 校准、选择性预测与级联路由（Calibration, selective prediction, routing） - **模型校准与过度自信**：神经网络普遍存在准确但过度自信的现象

12
；选择性分类（selective classification）通过牺牲覆盖率来降低风险
13
。 - **NER中的不确定性**：在NER任务中，已有研究关注跨度级校准
14
、记录的过度自信现象
15
，以及利用证据不确定性（evidential uncertainty）在分布外（OOD）场景下优于原始置信度的工作
16
。 - **云端级联方案**：LinkNER 将不确定的提及路由到云端大语言模型
17
；C3 则通过校准后的置信度实现小模型到大模型的级联，但针对的是句子级NLU任务
18
。 - **与本文的关系**：本文填补了上述空白，提出了**全本地（all-local）、编码器→编码器、跨度门控（span-gated）**的NER级联配置，无需调用云端API即可在设备端完成不确定性路由。 ### 4. 难度与新颖性（Difficulty and novelty） - **未见实体驱动难度**：未见实体（unseen entities）是NER难度的长期已知来源

19
,
20
。 - **难度表征工具**：可解释的、基于属性分桶的评估
21
和模型感知的实例级难度测量（如V-usable information）是已确立的表征方法
22
；数据集级统计也被用于此目的
23
。 - **与本文的关系**：本文将这一方向上的探索报告为一项**附带警告的负面结果**——即现成的逐文档静态统计特征（如实体密度、文本长度、未见实体比例等）并不能有效预测设备端NER模型的失败位置，只有粗粒度的跨数据集新颖性（novelty）属性（这是长期已知的）与难度趋势一致。 Q3: 论文如何解决这个问题？论文通过一套**联合测量（measurement-oriented）**的研究框架，从三个层面系统性地回应了设备端NER的可部署性难题： —- ### 1. 构建多维度可部署性前沿（Deployability Frontier）为回答“应部署何种模型”，论文设计了一个横跨**三种范式**与**13 M至8 B参数**的系统性对比阶梯，并在**三个刻意差异化的数据集**上进行评估： - **模型阶梯**：涵盖经典标签器（spaCy）、双向编码器专家（GLiNER small/medium/large），以及通过Ollama本地运行的生成式LLM（Qwen3-0.6B/1.7B/4B-Instruct、DeepSeek-R1-1.5B/8B）。其中，同尺寸下的指令模型与推理模型配对，以隔离“推理能力”对抽取任务是否有增益。 - **数据集选择**：CoNLL-2003（干净新闻专线）、WNUT-2017（嘈杂用户生成文本，含新兴实体）、RSS-News（内部长文档，约4 k字符）。三者确保了文本特性与实体新颖性的可测量差异。 - **评估维度**：除传统的SemEval-strict F1（精确边界与类型匹配）外，首次将以下两项纳入一等指标： - **逐文档延迟**（中位数，在长文档上测量）； - **输出有效性**（output validity）：在JSON schema语法约束解码下，生成模型是否在固定输出token预算内成功终止并产生可解析对象，而非截断或未能完成结构。 - **统计可靠性**：所有F1指标均附带5,000次重采样的bootstrap 95%置信区间；模型间头对头比较采用配对bootstrap检验。通过该设计，论文识别出小生成模型（≤1.7 B）在长输入下的**非终止性失效**（invalid-output rate高达27%），并证明该缺陷由**规模**解决（4 B模型降至0%），而非由输出预算增加解决。 —- ### 2. 建立可量化的无标注评估协议（Annotation-Free Evaluation with Measured Fidelity）为在没有人工标注预算时仍能评估目标域（RSS-News），论文构建了一套带保真度测量的银标（silver gold）流程： - **跨家族评审团（Judge Panel）**：采用三个不同家族的云端大模型（Gemini-Flash-Lite、Nemotron-3-Ultra-550B、Mistral-Small-119B）作为标注者，以**≥2-of-3跨度共识**生成银标。该评审团与被测系统属于不同模型家族，避免“自我评分”偏差。 - **双重保真度测量**： - **基准转移**：先在具备人工金标的CoNLL与WNUT上测量评审团质量，strict F1分别为0.834与0.749。 - **目标域完整人工重验证**：对RSS-News的全部93篇文档进行逐跨度人工重验证。人工标注者以银标为种子进行编辑，最终测得银标相对于人工金标的strict F1为 0.952 （95% CI $

0.937, 0.965
），精确率 0.987 ，召回率 0.919 。论文明确将此 0.952 视为上界（因人工金标由银标种子生成，存在乐观偏差）。 - 揭示金标来源效应：通过严格对比银标与人工金标下的排名，论文证明LLM生成的银标会系统性偏袒生成式模型（使其分数虚高），同时低估编码器模型（将其正确发现但评审团遗漏的实体判为假正例）。迁移到人工金标后，范式排名发生翻转——这一发现确立了“评估必须锚定人工金标”的实践原则。 —- ### 3. 表征并修正置信度，驱动选择性预测与全本地级联（Confidence Characterization and Utilization）为判断“置信度是否可信及如何利用”，论文聚焦可实际部署的GLiNER编码器家族，对其原生逐跨度置信度进行了多维表征： - 校准分析： - 计算置信度对正确性的区分能力（AUROC： 0.76 至 0.86 ）与校准误差（ECE： 0.24 至 0.47 ）。 - 通过拟合温度缩放（temperature scaling，优化负对数似然）将ECE大致减半（如RSS-News上从 0.45 降至 0.28 ），确认其过度自信可通过简单后处理修正。 - 样本外选择性预测（Selective Prediction）： - 在验证集上学习置信度阈值，并将其转移到不相交的测试集（40次随机分割取平均），报告诚实的样本外F1增益。 - 结果显示，对校准最差的模型（如GLiNER-medium），选择性弃权可带来最大且稳定的增益（WNUT上 +0.133 ，RSS-News上 +0.143 ），证明“用排名而非绝对概率”进行操作的有效性。 - 全本地置信度门控级联（All-Local Cascade）： - 设计了一种完全在设备端完成的级联：以GLiNER-small为基座，将置信度最低的一定比例文档路由到本地更强的GLiNER-large。 - 与成本匹配的随机路由基线相比，置信度门控在RSS-News上于50%路由比例处取得显著但适度的提升（ Delta = +0.021 ，95% CI

+0.001, +0.044
），证明其可作为无需云端API的本地计算优化策略。 - 置信度语义辨析： - 通过Spearman相关分析，确认逐文档平均置信度与strict F1显著正相关（ rho = +0.30 至 +0.46 ），但与未见实体比例（unseen-entity ratio）无显著关联。 - 结论：该置信度反映模型对其决策的内部确定性，适用于弃权或路由，但不可作为分布外（OOD）或实体新颖性的检测信号。 —- 综上，论文的解决路径并非提出单一新模型，而是通过严格的联合测量、带误差界限的银标协议与面向部署的置信度工程，为设备端NER的实践决策提供了可复现、可操作的完整评估框架。 Q4: 论文做了哪些实验？论文的实验围绕准确性、成本、可靠性、置信度四个维度展开，共涉及以下十项核心实验： —- ### 1. 多范式可部署性前沿测量目的：在设备端硬件上建立跨越经典标签器、编码器专家与生成式LLM的联合前沿。 - 被测系统：spaCy en_core_web_sm（13 M）、GLiNER small/medium/large（166 M–460 M）、本地Ollama运行的 Qwen3-0.6B/1.7B/4B-Instruct 与 DeepSeek-R1-1.5B/8B（596 M–8 B）。 - 数据集：CoNLL-2003（干净新闻）、WNUT-2017（嘈杂社交媒体）、RSS-News（内部长文档，约4 k字符）。 - 指标：nervaluate SemEval-strict F1（精确边界与类型匹配），附带5,000次bootstrap重采样的95%置信区间；头对头比较采用配对bootstrap。 - 关键发现：4 B指令模型在CoNLL与RSS-News上领先，但编码器在WNUT上占优；同范式内规模与准确率非单调相关；推理模型（DeepSeek-R1）在抽取任务上劣于同尺寸指令模型。 —- ### 2. 输出有效性与延迟分解目的：验证生成式模型在长输入下的结构终止可靠性，并测量真实设备端延迟。 - 设计：在RSS-News长文档上，记录逐文档延迟（中位数、最大值）与无效输出率（invalid output rate）。对Qwen3-0.6B/1.7B/4B，在1,200与4,000两种输出token预算下分别测试。 - 指标：无效输出定义为JSON schema约束解码下仍未能终止为合法对象的截断响应；延迟以秒计。 - 关键发现：Qwen3-0.6B无效率高达26.9%，且增到4,000 token仅降至24.7%，最坏延迟暴增至97 s；4 B模型在两种预算下均为0%无效。该病理由规模修复，非由预算修复。 —- ### 3. 逐类型性能与统计显著性检验目的：分析不同范式在实体类型层面的失败模式，并量化差异的统计可靠性。 - 设计：按PER、ORG、LOC、PROD（WNUT/CoNLL）分解strict F1；对关键模型对比进行配对bootstrap检验。 - 关键发现：PERSON最易，PRODUCT最难；spaCy在PRODUCT上近乎归零（固定模式无此槽位）；GLiNER-small > GLiNER-medium在WNUT上+0.093为统计显著。 —- ### 4. 跨家族评审团银标构建与基准保真度测量目的：在无人工标注的目标语料上建立可量化的自动评估基准。 - 设计：以Gemini-Flash-Lite、Nemotron-3-Ultra-550B、Mistral-Small-119B组成三模型评审团，取≥2-of-3跨度共识生成银标（silver gold）。 - 基准验证：在具备人工金标的CoNLL与WNUT上测量评审团strict F1，分别为 0.834 与 0.749 。 —- ### 5. RSS-News完整人工重验证与银标上限估计目的：在目标域上严格标定银标质量，明确其可操作误差界限。 - 设计：对RSS-News全部93篇长文档进行逐跨度人工重验证。人工标注以银标为种子进行编辑（接受/新增/删除/改类型）。 - 指标：以人工金标为参考，计算评审团银标的strict F1、Precision、Recall。 - 关键发现：银标strict F1为 0.952 （95% CI

0.937, 0.965
），精确率 0.987 ，召回率 0.919 。论文指出 0.952 为上限（因人工金标由银标种子生成，存在接受偏差）。人类接受了98.7%的银标跨度，新增143个遗漏，仅删除22个。 —- ### 6. 金标来源效应（Provenance Effect）目的：量化LLM生成金标对范式排名的系统性偏置。 - 设计：将所有九套系统在RSS-News上分别用银标与人工金标重新评分，计算 Delta = F1(human) - F1(silver) 。 - 关键发现：迁移到人工金标后，所有编码器分数上升（最高+ 0.037 ），所有生成式模型分数下降（最低 - 0.029 ）。GLiNER-large在人工金标下超越R1-8B，发生排名翻转。 —- ### 7. 置信度可分性与校准（GLiNER家族）目的：表征设备端可部署模型的原生置信度质量。 - 设计：提取GLiNER small/medium/large的逐跨度原生置信度，计算： - 可分性：AUROC（区分正确与错误跨度），95% CI； - 校准性：ECE（预期校准误差）； - 后处理：温度缩放（temperature scaling），拟合温度 T 以最小化负对数似然。 - 关键发现：AUROC为 0.76 – 0.86 ，排序能力良好；但ECE高达 0.24 – 0.47 ，严重过度自信。温度缩放可将ECE大致减半（如RSS-News上medium从 0.45 降至 0.28 ）。 —- ### 8. 样本外选择性预测目的：验证置信度阈值在“弃权低置信度跨度”策略中的实际增益，并避免测试集调参的乐观偏差。 - 设计：将数据集随机分为验证/测试，在验证集上学习最优置信度阈值，直接转移到测试集；重复40次随机分割，报告均值与标准差。 - 指标：keep-all F1 to 转移后F1，以及阈值无关的AURC。 - 关键发现：增益 modest（+ 0.01 至 +0.06 ），但对校准最差的GLiNER-medium在难数据集上增益显著且稳定（WNUT +0.133 ± 0.014 ，RSS-News +0.143 ± 0.019 ）。 —- ### 9. 全本地置信度门控级联目的：测试不调用云端API的本地小模型→大模型级联是否优于随机分配同等计算预算。 - 设计：基座为GLiNER-small，将置信度最低的若干比例文档路由至本地GLiNER-large；与“相同计算成本下随机路由”的基线对比。 - 指标：在25%与50%路由比例下的strict F1； f_(95) （达到完整级联95%增益所需的路由比例）。 - 关键发现：置信度门控始终优于随机基线，但95% bootstrap CI仅在RSS-News上50%路由时显著（ Delta = +0.021 ，CI $

+0.001, +0.044
）；在CoNLL与WNUT上差距处于噪声范围。 —- ### 10. 置信度语义辨析与数据集难度特征化目的：澄清置信度“感知”的是什么，以及静态统计能否预测模型失败。 - 实验10a——置信度语义：计算GLiNER-small逐文档平均置信度与strict F1、未见实体比例（unseen-entity ratio）的Spearman rho 。 - 结果：与F1显著正相关（CoNLL rho = +0.30 ，WNUT rho = +0.46 ， p < 10^(-4) ）；与未见实体比例无显著相关（ rho = +0.07, -0.05 ）。置信度追踪正确性，不追踪新颖性/OOD。 - 实验10b——难度特征化：测量实体密度、歧义（EnAmb）、类型不平衡、空文档率、未见实体比例等数据集统计量，并检验其与逐文档F1的相关性。 - 结果：静态逐文档特征与F1相关性极弱（ |rho| < 0.17 ，大多不显著）。仅跨数据集的粗粒度未见实体比例（CoNLL 46% vs. WNUT 98%）能解释难度排序，论文将此报告为附带警告的负面结果。 Q5: 有什么可以进一步探索的点？基于论文第9节（Limitations）及全文各处的隐含张力，可从以下五个方向进行深化探索： —- ### 1. 评估协议的扩展与去偏差 - 完全本地的评审团（Fully Local Judge Panel）。当前银标评审团依赖云端大模型（Gemini、Nemotron、Mistral），这与“设备端、数据不出域”的部署诉求存在张力。未来可探索由多个本地小模型（如不同家族的SLM）组成评审团，测量其共识质量是否能达到或逼近云端面板的 0.952 保真度上界。 - 消除种子偏差的人工金标。RSS-News 的人工标注以银标为种子（seed），导致接受率过高（ 98.7% ），可能低估遗漏错误。完全从头（from-scratch）的双盲人工标注可给出更保守的保真度下界，从而更精确地量化 LLM 银标的召回缺口。 - 动态/迭代式评审团。当前采用静态的 ≥ 2-of-3 共识。可探索根据模型置信度或分歧度自适应地增加评审员，或引入主动学习式的人工抽检预算分配，以在固定标注成本下最大化银标质量。 —- ### 2. 模型覆盖与微调策略 - 生成式模型的逐跨度置信度提取。论文的置信度研究仅限 GLiNER 编码器家族，因为 spaCy 与生成式 LLM 不输出原生逐跨度概率。对生成式模型（尤其是 4 B 级别的 instruct 模型）施加结构化约束解码时，是否能通过 token 级对数概率、长度归一化或一致性解码（self-consistency）导出可用的跨度置信度，是一个尚未回答的问题。 - 目标域蒸馏与微调。论文中所有系统均为零样本（未微调）。一个自然的延伸是：以评审团银标或人工金标为监督信号，在 RSS-News 域上对 GLiNER-small 进行微调，或蒸馏 4 B 级 LLM 到更小的设备端学生模型，观察能否在保持零无效输出与低延迟的同时，缩小与 4 B 模型的准确率差距。 - 修复小生成模型的非终止性。论文发现 ≤ 1.7 B 的生成模型在长输入下产生高达 27%$ 的无效输出，且该问题“由规模修复，非由预算修复”。未来可探索是否可通过针对性微调（如增加长文档结构完成数据）、推测解码（speculative decoding）或动态模式松弛（dynamic schema relaxation）在低规模下缓解此病理，而非直接诉诸 4 B 参数。 —- ### 3. 置信度、校准与不确定性量化 - 训练时校准。论文采用温度缩放作为后处理（post-hoc）校准手段，将 ECE 大致减半。未来可将校准目标（如可分解的负对数似然惩罚或焦点损失变体）直接注入 GLiNER 的训练过程，以降低对保留验证集的依赖。 - 超越正确性排序的语义。论文发现 GLiNER 的置信度追踪正确性（correctness）而非新颖性/分布外性（novelty/OOD）。如何为设备端 NER 构建真正的新颖实体检测信号？可探索的证据方向包括： - 基于原型网络（prototypical networks）的嵌入空间距离； - 针对实体提及的证据深度学习（evidential deep learning）变体

16
； - 或利用模型内部层间不一致性（layer-wise disagreement）作为免训练的新颖性指标。 - **多任务置信度联合门控**。当前级联仅基于 NER 跨度置信度。若设备端流水线同时运行多个任务（如 NER + 关系抽取 + 情感分析），可探索跨任务不确定性聚合策略，以全局最优方式分配本地大模型的计算预算。 —- ### 4. 级联与选择性预测的工程化 - **更细粒度的门控单元**。当前级联以**文档**为路由单元。未来可探索**逐跨度（per-span）级联**：仅在低置信度提及上调用大模型重编码，而非整篇文档，从而在保持级联增益的同时进一步压缩平均延迟。 - **非线性成本-准确率前沿**。论文的级联对比了置信度门控与随机路由。可引入基于经济模型的阈值优化（如将延迟或能耗显式纳入损失函数），求解帕累托最优的操作点，而非仅固定 25%/50% 路由比例。 - **多级本地级联**。论文仅测试了两级（small to large）。在内存允许的设备上，可探索三级级联（tiny to small to large）或异构级联（如 spaCy 做高速预过滤 to GLiNER 做精修），并量化其收益递减点。 —- ### 5. 跨语言、跨领域与更系统的难度预测 - **跨领域与跨语言验证**。RSS-News 仅为单一英语新闻域。需要验证以下结论在低频语言、代码切换文本、或专业领域（如医疗、法律长文档）中的稳健性：编码器的零无效输出优势、LLM 银标的偏置方向、以及温度缩放的跨域迁移性。 - **模型感知的实例难度测量**。论文报告了静态数据集统计（实体密度、歧义等）难以预测逐文档失败的负面结果。未来应引入模型感知指标，如 **V-usable information**

22
、**DATASUITE** 式的错预测关联分析，或利用 GLiNER 内部注意力熵构建实例级难度评分，以建立可操作的“输入预警”机制。 Q6: 总结一下论文的主要内容这篇论文围绕**设备端（on-device）命名实体识别（NER）的可部署性**展开，核心论点在于：实践者选择模型时不应仅看准确率榜单，而需综合考量延迟、输出可靠性、评估成本与置信度的可信度。以下是主要内容的结构化总结。 —- ### 1. 研究动机与核心问题传统NER研究以 leaderboard 准确率为导向，但设备端部署面临三个未被充分回答的现实问题： - **可部署性**：在参数、延迟与输出可靠性受限的情况下，应选择何种模型？ - **无标注评估**：如何在没有人工标注预算的前提下，可信地评估模型在自有数据上的表现？ - **置信度利用**：模型输出的置信度是否可靠，能否用于选择性弃权或计算路由？论文将这三个问题整合为一项联合测量研究，明确不以刷新 SOTA 为目标，而是以**可部署性前沿（deployability frontier）**为核心分析对象。 —- ### 2. 研究设计 #### 系统与范式实验覆盖9个系统，横跨三种范式，参数规模从 13,M 到 8,B ： - **经典标签器**：spaCy `en_core_web_sm` - **双向编码器专家**：GLiNER small/medium/large（ 166,M – 460,M ） - **本地生成式LLM**（经 Ollama 以 JSON Schema 约束解码）：Qwen3-0.6B/1.7B/4B-Instruct、DeepSeek-R1-1.5B/8B #### 数据集选用三个特性刻意差异化的数据集： - **CoNLL-2003**：干净新闻专线，实体新颖率中等（ 45.8% ） - **WNUT-2017**：嘈杂用户生成文本，实体几乎全为未见（ 97.8% ） - **RSS-News**：内部长文档语料（约 4,024 字符/篇），无现成人工金标 #### 评估指标在传统的 SemEval-strict F1（精确边界与类型匹配）及 bootstrap 95% 置信区间之外，论文首次将以下两项纳入一等评估维度： - **逐文档延迟**（中位数，统一在 Apple M4 Pro 本地测量） - **输出有效性**（output validity）：生成模型是否在 token 预算内成功终止并输出合法可解析的 JSON 对象，而非截断失效 —- ### 3. 主要发现 #### （1）可部署性前沿：准确率、可靠性与延迟的权衡 - **准确率方面**：Qwen3-4B-Instruct 在 CoNLL（ 0.753 ）与 RSS-News（ 0.684 ）上可与 GLiNER-large（ 0.739/0.603 ）竞争甚至领先；但在嘈杂的 WNUT 上，GLiNER-large（ 0.599 ）显著优于所有生成式模型。同尺寸下，**推理模型（DeepSeek-R1）在抽取任务上劣于指令模型**。 - **输出有效性方面**：小生成模型（ ≤ 1.7,B ）在长文档上出现严重的**非终止性失效**，Qwen3-0.6B 无效输出率高达 27% ，DeepSeek-R1-1.5B 为 14% ；且增加输出 token 预算无法修复（ 27%to 25% ），反使最坏延迟暴增至 97,s 。该病理**仅由规模修复**（4B 模型降至 0% ），非由预算修复。 - **延迟方面**：编码器为毫秒到 4,s 级；小 LLM 为秒级；R1-8B 达 28,s /篇。8B 模型在设备端被“取消资格”。 #### （2）无标注评估协议及其保真度 - **银标构建**：对无金标的 RSS-News，采用三个跨家族云端大模型（Gemini、Nemotron、Mistral）组成评审团，以 ≥ 2-of-3 跨度共识生成银标。 - **保真度测量**： - 在基准人工金标上，评审团 strict F1 为 0.834 （CoNLL）与 0.749 （WNUT）。 - 对 RSS-News 全部 93 篇文档进行**完整人工重验证**（以银标为种子编辑），测得银标相对人工金标的 strict F1 为 0.952 （95% CI $

0.937, 0.965
），精确率 0.987 ，召回率 0.919 。论文明确 0.952 为上限（因人工金标由银标种子生成，存在乐观偏差）。 - 金标来源效应（Provenance Effect）：从 LLM 银标迁移到人工金标后，所有编码器分数上升（最高 +0.037 ），所有生成式模型分数下降（最低 -0.029 ）。范式排名发生翻转——GLiNER-large 在人工金标下超越 R1-8B。这表明 LLM 生成的评估基准会系统性偏袒生成式系统，评估必须锚定人工金标。 #### （3）置信度特性：校准、选择性预测与全本地级联论文聚焦可实际部署的 GLiNER 编码器家族，对其原生逐跨度置信度进行表征： - 排序与校准：置信度区分正确/错误跨度的能力很强（AUROC 0.76 – 0.86 ），但存在严重过度自信（ECE 0.24 – 0.47 ）。温度缩放（temperature scaling）可将 ECE 大致减半。 - 样本外选择性预测：在验证集上学习置信度阈值并转移到测试集（40 次随机分割）。对校准最差的 GLiNER-medium，在难数据集上增益显著且稳定（WNUT +0.133 ，RSS-News +0.143 ）。 - 全本地置信度门控级联：以 GLiNER-small 为基座，将低置信度文档路由到本地 GLiNER-large（无需云端 API）。与成本匹配的随机路由相比，置信度门控始终更优，但 95% CI 仅在 RSS-News 的 50% 路由比例上显著（ Delta = +0.021 ）。 - 置信度语义辨析：逐文档平均置信度与 strict F1 显著正相关（Spearman rho = +0.30 至 +0.46 ），但与未见实体比例无显著关联。置信度反映模型对其决策的内部确定性，适用于弃权或路由，不可作为分布外（OOD）或实体新颖性的检测信号。 #### （4）难度特征化的负面结果论文希望以静态统计（实体密度、歧义、长度、未见实体比例等）预测逐文档失败，但发现逐文档层面相关性极弱（ |rho| < 0.17 ）。仅粗粒度的跨数据集未见实体比例能解释难度排序（CoNLL vs. WNUT），这是一个已知现象，论文将其报告为附带警告的负面结果。 —- ### 4. 结论与实践启示 - 部署选择：对于设备端 NER，紧凑型双向编码器（如 GLiNER）是更优的可部署选择。其论据并非“编码器准确率绝对更高”，而在于它在相近或略低的准确率下，实现了零无效输出、毫秒到秒级延迟，且参数仅为 4B 模型的 1/9 至 1/24$。 - 评估原则：无人工标注时可采用跨家族 LLM 评审团生成银标，但必须测量并报告其保真度，且需意识到 LLM 银标会偏袒生成式模型。 - 置信度使用：GLiNER 的原生置信度不应被读取为概率（因严重过度自信），但其排序足以驱动选择性预测和全本地级联。若需概率解释，温度缩放是有效的后处理手段。 - 开放问题：完全本地的评审团、目标域蒸馏/微调、生成式模型的逐跨度置信度提取，以及真正的新颖实体检测信号，被论文列为未来工作。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Vinay Kumar Chaganti

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00007.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00007

Published: 2026-10-04T02:51:53.443Z

2. SCM-based Fairness and Faithful Explainability for Legal Document Classification

Abstract:Transformer models such as LegalBERT are increasingly used in legal decision support, raising concerns about both fairness and the transparency of model explanations. These properties are usually evaluated separately, leaving open whether a debiasing intervention that changes fairness also changes how faithfully explanations reflect model reasoning. This study investigates that relationship on the ECtHR alleged-violations corpus from LexGLUE. It compares a LegalBERT baseline with a fairness-regularized variant that penalizes stereotypical warmth and competence representations during fine-tuning. The evaluation covers predictive performance, demographic fairness, and SHAP explanation faithfulness across five random seeds. At the performance-optimal regularization strength, the intervention does not reduce demographic disparity. This null result holds across two fairness definitions and a conventional word-pair control on the gender axis. Classification performance is largely unchanged. However, the intervention consistently degrades explanation sufficiency across all five seeds and three thresholds. A shuffled-pair control reproduces this degradation while leaving performance and fairness unchanged, indicating that the effect arises from contrastive representational regularization rather than specifically from the warmth and competence structure. The results demonstrate a dissociation between fairness and explanation faithfulness: changes in explanation behavior do not necessarily indicate changes in fairness, and fairness must therefore be evaluated directly.

中文摘要

摘要：诸如 LegalBERT 的 Transformer 模型在法律决策支持中越来越多地被使用，这引发了关于公平性和模型解释透明度的担忧。这些属性通常是分别评估的，因此尚不清楚改变公平性的去偏干预是否也会改变解释对模型推理的忠实反映。本研究在 LexGLUE 的 ECtHR 违反指控语料库上调查了这种关系。研究比较了 LegalBERT 基线模型与在微调过程中对刻板的温暖和能力表示施加惩罚的公平性正则化变体。评估内容包括预测性能、人群公平性及 SHAP 解释的忠实性，并跨五个随机种子进行。在性能最优的正则化强度下，该干预并未减少人口差异。这一零结果在两种公平性定义以及性别轴的常规词对控制下均适用。分类性能基本保持不变。然而，该干预在所有五个种子和三个阈值下都会持续降低解释的充分性。通过打乱词对的控制实验再现了这种下降，同时性能和公平性保持不变，这表明该效应源于对比表征正则化，而非特定的温暖和能力结构。结果表明公平性与解释忠实性之间存在脱节：解释行为的变化不一定表明公平性发生了变化，因此公平性必须直接评估。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：\*\*在法律文档分类中，基于刻板印象内容模型（SCM）的公平性正则化干预是否同时影响模型的人口统计公平性（demographic fairness）与事后解释（post-hoc explanations）的忠实性（faithfulness）\*\*，以及这两种性质在去偏过程中究竟是协同变化还是相互独立。具体而言，该研究针对以下尚未被充分回答的理论与实证缺口展开： - \*\*公平性与可解释性的联合评估缺口\*\*：现有研究通常将公平性与可解释性作为独立目标分别评估，但尚不清楚旨在提升公平性的去偏干预是否会同时改变事后解释反映模型真实推理过程的忠实程度。 - \*\*SCM-based去偏的下游效应\*\*：以LegalBERT为基线，该研究检验在微调阶段施加SCM启发的对比正则化（contrastive regularisation）是否能够在减少群体预测差异（如Demographic Parity Difference、Equalized Odds Difference）的同时，保持或改变SHAP与Integrated Gradients等方法的解释忠实性（以sufficiency与comprehensiveness衡量）。 - \*\*解释忠实性能否作为公平性的代理指标\*\*：论文进一步检验一个关键的方法论问题——若去偏干预改变了解释的忠实性，这种变化是否能可靠地指示公平性水平的改变，从而为法律AI审计提供间接证据。通过对ECtHR（欧洲人权法院）涉嫌侵权判决语料的多种子受控实验，该研究最终旨在明确：\*\*公平性与解释忠实性在去偏干预下是否呈现“解离”（dissociation）现象\*\*，即两者可以独立变化，从而说明在高风险法律场景中，公平性必须被直接测量，而不能依赖解释质量作为替代指标。 Q2: 有哪些相关研究？该论文的相关研究可归纳为以下四个主要方向： ### 1. 公平性与可解释性的联合研究现有文献多将公平性与可解释性作为独立目标分别评估，但直接考察二者交互的实证研究较为有限： - \*\*Balkir 等

3
** 系统综述了应用于公平性场景的可解释性方法，指出当前研究很少明确说明解释方法如何实际缓解偏见，呼吁建立更原则化的联合评估框架。 - **Brandl 等
5
** 在 ECtHR 与 BIOS 数据集上首次实证研究了公平性与可解释性的交互关系，发现基于微调的偏见缓解并不总能产生更公平的模型，且公平性与可解释性大致正交。该文直接扩展了此项工作，将其从合理性（plausibility）推进到忠实性（faithfulness）层面。 - **Yang 与 Howe
37
** 论证在适度假设下，控制分配公平性（distributive fairness）会影响特征归因，反之亦然。 - **Wang 等
36
** 在仇恨言论检测中发现，基于输入的解释虽可标记偏见预测，但在遴选公平模型方面并不可靠。 - **Zhou 等
38
** 主张解释不应仅被评估准确性，还应评估其是否暴露或掩盖歧视性模式。 ### 2. 基于刻板印象内容模型（SCM）的去偏方法传统去偏多针对特定人口统计轴（如性别、种族）的词对（例如 “man”–“woman”）进行操作，而 SCM 提供了群体无关的替代路径： - **Fiske 等

16
** 提出 SCM 理论，认为刻板印象围绕“温暖”（warmth）与“能力”（competence）两个潜在维度组织。 - **Fraser 等
18
** 在语义嵌入空间中显式定义温暖与能力轴，证明所得四象限能够恢复有记录的群体刻板印象，表明该结构是可测量的表示属性。 - **Omrani 等
29
** 与 **Ungless 等
35
** 发展了直接作用于温暖–能力结构的去偏方法，实现社会群体无关的偏见缓解。 - **Garbat 等
20
** 将温暖与能力操作化为上下文 BERT 嵌入中的显式方向，并应用基于投影的缓解。 - **Zhu 等
39
** 利用 SCM 分数在情感分类中自适应调节实例级别的对抗去偏强度。 - **Kocadag 等
24
** 将 SCM 缓解扩展至交叉性别–种族的静态嵌入表示，并评估去偏对语义连贯性的影响。 ### 3. 可解释性与忠实性评估在高风险领域（如法律），解释必须反映模型的真实推理过程，而非仅仅看起来合理： - **Jacovi 与 Goldberg

22
** 严格区分了**合理性**（plausibility，对人类而言是否可信）与**忠实性**（faithfulness，是否反映模型内部推理），指出二者并不总是一致的。 - **Atanasova 等
1
** 实证表明，连贯的解释可能误代表模型的真实决策过程。 - **DeYoung 等
14
** 提出 ERASER 基准，将忠实性操作化为**充分性**（sufficiency，保留高分特征能否复现预测）与**全面性**（comprehensiveness，移除高分特征是否显著改变预测）。 - **Marchiori Manerba 与 Guidotti
26
** 研究了去偏对分类性能与解释的影响，但未考察去偏是否影响解释的忠实性——这正是该文试图填补的空白。 ### 4. 公平性定义、度量与法律 NLP - **Cao 等

7
** 证明内在的表示级公平性指标常无法预测下游任务级公平性，因此该文采用外在任务级指标（如 DPD、EOD）。 - **Chalkidis 等
11
** 提出 FairLex 多语言基准，为法律文本处理中的公平性评估提供了框架；其同期工作 **Chalkidis 等
10
** 发布的 LexGLUE 基准（含 ECtHR 语料）构成了该研究的实验基础。 - **Gonen 与 Goldberg
21
** 指出许多去偏方法仅掩盖了词嵌入中系统性的性别偏见表面指标，并未根除其底层几何结构。 - **Meade 等
27
** 的实证调查表明，没有单一去偏技术能在不同任务和配置中始终有效。 ### 5. 基础模型与数据集 - **Chalkidis 等

9
** 提出的 **LegalBERT**（在法律文本上预训练的 BERT 变体）是该研究的基线编码器。 - **Chalkidis 等
10
** 构建的 **LexGLUE** 基准中的 ECtHR 涉嫌侵权判决语料（`ecthr_a`），为该研究提供了多标签法律文档分类的实验场景。 Q3: 论文如何解决这个问题？该研究通过**受控实验设计**，在统一的LegalBERT基线上系统比较了四种匹配条件，从预测性能、人口统计公平性与解释忠实性三个维度评估SCM正则化的效应。具体方法论如下： ### 1. 总体研究设计实验采用四组匹配条件、五组随机种子（42、13、7、21、100）的受控结构： - **独立变量**：微调阶段施加的正则化类型（无正则化、SCM正则化、shuffled-pair对照、demographic word-pair对照）。 - **依赖变量**： - 预测性能：测试集宏平均 F_1 （macro F1）。 - 公平性：人口统计均等差异（Demographic Parity Difference, DPD）、均等几率差异（Equalized Odds Difference, EOD）与差别影响（Disparate Impact, DI，仅作诊断）。 - 解释忠实性：基于扰动的充分性（sufficiency）与全面性（comprehensiveness），通过SHAP与Integrated Gradients两种归因方法计算。 - 所有条件共享相同的数据划分、分词器、截断策略、优化器与种子，以确保观测差异仅可归因于正则化项。 ### 2. 数据集与预处理 - 使用 **LexGLUE** 基准中的 **ECtHR alleged-violations**（`ecthr_a`）语料，包含11,000份欧洲人权法院判决的多标签分类任务（10项《欧洲人权公约》条款）。 - 数据按官方划分：训练集9,000例、验证集1,000例、测试集1,000例。 - 针对法律文档远超512 token输入限制的特点，采用 **head + tail 截断**策略，保留前256与后256个子词（subword）token，以同时保留程序性开头与法律推理结尾。 - 类别极度不平衡（最频繁与最稀少标签比例达114.7倍），且10.2%的训练案例无任何侵权标签。 ### 3. 基线模型 - 编码器采用 **Legal-BERT-Base-Uncased**，在其 `

CLS
` 表示上附加线性多标签分类头与Sigmoid激活。 - 损失函数为 **类别加权二元交叉熵**，权重经对数平滑的逆频率计算：
w_i = (log(1 + fracN_i^-) / (N_i^+))mean_j[log(1 + (N_j^-) / (N_j^+))]
其中 N_i^+ 与 N_i^- 分别表示训练集中第 i 个条款的正例与负例数量。 - 优化配置：AdamW优化器，学习率 2 × 10^(-5) ，权重衰减 0.01 ，批次大小8，以验证集macro F1进行早停（耐心值3）。 - 微调后，在每个条款上独立搜索最优决策阈值 $τ ∈
0.05, 0.95
，以最大化验证集 F_1$。 ### 4. SCM公平性正则化（核心干预）在基线损失上增加一项 **SCM启发的对比边界损失**：

L(total) = L(CE) + λ · L(SCM)
其中 L(SCM) 定义为批次内温暖（warmth）与能力（competence）反义词对的对比余弦边界损失：
L(SCM) = (1) / (|mathcalP)| ∑((w+, w-) ∈ P) max0, cos(h(w+), h(w-)) + m

P 为批次中存在的反义词对集合，共38对（温暖维度19对，能力维度19对）。 - h(·) 为最终隐藏层的上下文 token 嵌入。 - m = 0.5 为边界（margin）。 - 正则化强度 λ ∈ 0.01, 0.05, 0.1, 0.5 通过在验证集macro F1上的网格搜索选定。 ### 5. 对照条件为分离“SCM结构本身”与“一般性对比正则化”的效应，设置两组对照： - **Shuffled-pair control**：保留相同的38个SCM词汇，但将每个词与随机伙伴配对，使其不再构成温暖–能力对立。其余设置（损失形式、边界、 λ 网格、种子）与SCM条件完全一致。 - **Demographic word-pair control**：将SCM反义词对替换为传统人口统计词对。性别轴使用19对真实二元对立词（如 man–woman）；种族轴因缺乏自然反义词，将16个少数群体术语与未标记的多数指称术语（如 citizen、resident）配对。该对照用于检验传统词对去偏范式是否在ECtHR上有效。 ### 6. 评估框架 #### 6.1 预测性能 - 以测试集 **macro F1** 为主要指标，赋予所有条款（尤其是少数类）同等权重。 #### 6.2 公平性评估 Q4: 论文做了哪些实验？论文围绕 **LegalBERT** 在 **ECtHR alleged-violations（`ecthr_a`）** 语料上的多标签分类任务，设计并执行了以下系统性实验： ### 1. 基线 LegalBERT 评估在官方 LexGLUE 划分上微调未正则化的 **Legal-BERT-Base-Uncased**，建立参照水平。 - 采用类别加权二元交叉熵（对数平滑逆频率权重）与 head + tail 截断策略。 - 在 5 个随机种子（42、13、7、21、100）上训练，测试集评估： - **预测性能**：macro F1 ； - **公平性**：按性别（40 个关键词）与种族（23 个关键词）两个轴，计算人口统计均等差异（ |DPD| ）、均等几率差异（ EOD ）与差别影响（ DI ）； - **解释忠实性**：对 200 例随机测试样本，使用 KernelSHAP（10 个背景样本、128 个扰动样本）与 Integrated Gradients，计算基于扰动的 **充分性**（sufficiency）与 **全面性**（comprehensiveness）于 k ∈ 1%, 5%, 10% token 比例。 ### 2. SCM 正则化主实验（核心干预）在基线损失上增加对比边界正则项 L(SCM) ，使用 38 组温暖–能力反义词对：

L(total) = L(CE) + λ · L(SCM)
其中
L(SCM) = (1) / (|mathcalP)| ∑((w+, w-) ∈ P) max0, cos(h(w+), h(w_-)) + m

边界 m = 0.5 ， λ ∈ 0.01, 0.05, 0.1, 0.5 按验证集 macro F_1 选优（每种子独立选择）。 - 与基线在相同 5 种子下对比预测性能、公平性与 SHAP / IG 忠实性。 ### 3. Shuffled-pair 对照实验为检验观测效应是否特异于 SCM 的温暖–能力结构，保留相同 38 个词汇，但将每个词与**随机伙伴**配对（不再构成语义对立）。 - 损失形式、边界 m 、 λ 网格、种子、基线完全匹配 SCM 条件。 - 评估 macro F_1 、公平性与 SHAP 充分性，验证“解释忠实性降级”是否源于一般性对比正则化而非 SCM 结构本身。 ### 4. Demographic word-pair 对照实验为检验传统受保护属性词对去偏是否能在该语料上产生公平性改善，使用与 SCM 完全相同的对比损失框架，替换为人口统计词对： - **性别轴**：19 对真实二元对立词（如 man–woman, he–she）； - **种族轴**：16 个少数群体术语各与一个未标记多数指称词（如 citizen, resident）配对（该构造被明确视为人工设计，仅作方法学测试）。 - 每轴独立训练、独立评估 |DPD| 与 EOD ，并与各自新鲜训练的基线比较。 ### 5. 正则化强度 λ 的敏感性分析 - **公平性**：在全部 5 个种子上计算 λ ∈ 0.01, 0.05, 0.1, 0.5 的 |DPD| 与 EOD ，检验是否存在单调的公平性–性能权衡。 - **忠实性**：因 SHAP 计算成本高昂，仅在种子 42 上绘制 λ 与 sufficiency / comprehensiveness 的关系曲线，刻画解释忠实性随正则化强度的非单调变化。 ### 6. Instance-weighted 正则化变体针对“均匀正则化可能因无关文档稀释信号”的质疑，按每篇文档检测到的反义词对比例进行**实例级加权**（SCM 损失按文档权重缩放）。 - 训练集权重分布：均值 0.23，标准差 0.13。 - 在单种子下评估 macro F_1 与公平性，检验集中对高刻板印象文档施压能否恢复公平性改善。 ### 7. 跨编码器复制实验（Cross-encoder Replication）为验证忠实性降级是否特异于 LegalBERT，将基线 vs. SCM 的完整流程在 **bert-base-uncased** 与 **roberta-base** 上各运行 3 个种子。 - 检查 SHAP sufficiency 在 k=5% 处的变化方向，作为效应是否超越法律领域编码器的支持性证据。 ### 8. 受保护群体操作化的稳健性检验针对种族轴，除基于 23 个关键词的整词匹配外，额外使用 **spaCy 命名实体识别（NER）** 提取少数/族裔实体，构建更保守的受保护分组（59 篇 vs. 关键词的 136 篇）。 - 在 5 种子下重复 |DPD| 计算，确认公平性无效结论不依赖于关键词操作化方式。 ### 实验结论概览 | 实验 | 核心发现 | |———|————-| | 基线 vs. SCM（5 种子） | SCM 未降低人口统计差异（性别/种族 |DPD| 、 EOD 均无一致改善），但**一致性地提升 SHAP sufficiency**（忠实性降级），且 macro F_1 无可靠代价。 | | Shuffled-pair 对照 | 公平性仍无效，忠实性仍降级；表明效应源于**一般性对比正则化**，非温暖–能力结构特有。 | | Demographic word-pair 对照 | 即使在性别轴（该范式设计适用场景）亦无 |DPD| ≥ 0.05 改善；扩展了公平性无效的稳健性。 | | λ 敏感性 | 无一 λ 值使公平性超越基线；忠实性随 λ 非单调变化。 | | Instance-weighted | 即使对高刻板印象文档加权，总体公平性仍无改善。 | | 跨编码器复制 | RoBERTa 上忠实性降级最清晰，BERT 上较弱且不一致；提示效应非 LegalBERT 独有，但存在编码器间变异。 | Q5: 有什么可以进一步探索的点？基于该研究的结论与局限性，以下方向可作为后续工作的重点： ## 1. 受保护群体操作化的结构性改进当前公平性结论受限于从文本中推断群体身份的关键词代理方法。ECtHR 判决中的 demographic 术语常具有法律概念功能而非纯粹的人口统计标识，且性别轴分组极度不平衡（931 篇 vs. 69 篇）。后续研究可改用**结构化案件元数据**（如 applicant 的法定性别、国籍、族裔记录）替代文本匹配，以获得更平衡、更准确的群体定义，尤其是性别维度。这将直接检验公平性无效结论是否为操作化方式的产物。 ## 2. 超越 Token-Masking 的忠实性度量当前充分性（sufficiency）与全面性（comprehensiveness）基于将非保留 token 替换为 `

MASK
` 的扰动策略，这会为上下文模型创造分布外（out-of-distribution）输入，可能使概率估计不可靠。未来工作可引入**非掩码忠实性度量**（non-masking faithfulness measures），例如基于自然文本变体、编辑操作或模型内部状态的一致性检验，以排除 OOD 伪影对结论的干扰。 ## 3. 在“有效”公平性干预中验证解离该论文的核心发现——公平性与解释忠实性的解离（dissociation）——建立在 SCM 正则化**未能**改变公平性的基础上。一个关键开放问题是：该解离是否为普遍现象，抑或仅特定于公平性未改变的干预？后续研究应将相同的忠实性评估协议与**确实能移动公平性指标**的去偏方法（如特定于数据的对抗去偏或后处理校准）配对，以判断当公平性发生变化时，解释忠实性是否仍独立运动。 ## 4. 基于公平性准则的正则化强度选择该研究按验证集 macro F_1 选择 λ ，而非依据公平性或忠实性标准。未来可探索以 Delta DPD ≥ 0.05 或联合目标（如 F_1 与 |DPD| 的帕累托前沿）进行 λ 选择，检验是否存在被性能最优标准所掩盖的公平性–忠实性权衡区域。论文附录中的单种子 λ 扫描已提示非单调性，但需在多种子上系统验证。 ## 5. 外部效度的跨域扩展全部实验基于单一语料（ECtHR）、单一语言（英语）及有限编码器集合（LegalBERT、BERT、RoBERTa）。后续应在以下维度复制： - **其他司法管辖区**（如普通法系判决、大陆法系裁判文书）； - **其他语言**（如多语言 FairLex 中的德语、法语法律文本）； - **其他模型家族**（如基于解码器的 LLM、长文本法律模型），以判断解离是否为 transformer 编码器的普适性质。 ## 6. 解释忠实性降级的机制阐释 SCM 正则化提升了 SHAP 充分性（即降低了忠实性），但未显著改变全面性。这表明干预扰乱了**顶部归因 token 的摘要质量**，却未改变完整归因集合的总体贡献。未来工作可借助归因质量分解、表示几何分析（如探测温暖–能力轴在隐藏状态中的投影变化）或因果中介分析，澄清该现象是模型推理路径的实质性改变，抑或仅仅是归因分数的重新分布。 ## 7. 对比正则化与 SCM 结构的分离性研究 Shuffled-pair 控制表明，公平性无效与忠实性降级源于**一般性对比正则化**，而非 SCM 特有的温暖–能力结构。然而，这并不排除 SCM 结构在其他超参数范围、其他表示层或结合投影操作（如 Garbat 等

20
的投影方法）时可能产生不同效果。后续可比较基于边界的对比损失与基于投影的 SCM 去偏在相同下游任务上的差异。 ## 8. 实例级正则化的多种子严格验证论文中实例加权（instance-weighted）变体仅在单种子下测试，虽未能恢复公平性，但缺乏统计稳定性。未来应在五种子框架下重复该变体，并补充 bootstrap 置信区间，以确认“对高刻板印象文档集中施压”是否确实无法突破公平性瓶颈。 Q6: 总结一下论文的主要内容该论文研究了**基于刻板印象内容模型（SCM）的公平性正则化对法律文档分类中的预测公平性与解释忠实性的联合影响**。以下是主要内容总结： ### 1. 研究背景与核心问题随着 **LegalBERT** 等 Transformer 模型被广泛应用于法律决策支持，模型的**公平性**（是否存在系统性群体歧视）与**透明性**（解释是否忠实反映模型内部推理）成为关键关切。现有研究通常独立评估这两个维度，导致一个核心问题未被回答： > 旨在提升公平性的去偏干预，是否会同时改变事后解释（post-hoc explanations）忠实反映模型推理的程度？论文以欧洲人权法院（ECtHR）判决的多标签分类任务（LexGLUE 的 `ecthr_a`）为场景，检验 SCM 启发的对比正则化是否能在改善人口统计公平性的同时，保持或改变 SHAP 等解释方法的忠实性（faithfulness）。 ### 2. 研究方法 - **基线模型**：在 ECtHR 语料（11,000 份判决，10 个二元标签，严重类别不平衡）上微调 **Legal-BERT-Base-Uncased**，使用类别加权二元交叉熵与 head + tail（256+256 token）截断策略。 - **核心干预（SCM 正则化）**：在微调损失中增加一项对比边界正则项：

L(total) = L(CE) + λ · L(SCM)
其中 L(SCM) 基于 38 组 SCM 反义词对（温暖与能力维度各 19 对），通过边界损失（ m=0.5 ）推动反义词对在最终隐藏层中的余弦相似度趋于负值，即强制其在表示空间中分离。正则强度 λ 按验证集 macro F_1 选优。 - **对照条件**： - **Shuffled-pair control**：将相同词汇随机配对，检验效应是否特异于 SCM 结构； - **Demographic word-pair control**：使用传统人口统计词对（如 man–woman）进行相同形式的对比正则化。 - **评估框架**： - **性能**：测试集 macro F_1 （5 个随机种子平均）； - **公平性**：外在任务级指标，包括人口统计均等差异（ |DPD| ）、均等几率差异（ EOD ），按性别（40 个关键词）与种族（23 个关键词 / NER 实体）两个轴计算； - **解释忠实性**：基于 ERASER 基准的扰动评估，计算 SHAP（KernelSHAP）与 Integrated Gradients 在 k ∈ 1%, 5%, 10% token 比例下的**充分性**（sufficiency，越低越忠实）与**全面性**（comprehensiveness）。 ### 3. 主要实验发现 - **公平性无效**：在性能最优的 λ 下，SCM 正则化未能在两个公平性定义（ DPD 、 EOD ）、两个受保护轴（性别、种族）以及更可靠的种族轴上降低人口统计差异。该零结果在 NER 重新分组、实例加权变体以及传统人口统计词对控制中均保持稳健。 - **性能中性**：SCM 正则化未对 macro F_1 造成可靠损害（平均差异 -0.014 ，在种子间变异范围内）。 - **解释忠实性一致降级**：SCM 正则化在所有 5 个种子、所有 3 个阈值上均**提升**了 SHAP 充分性（即降低了忠实性），且基线与 SCM 的标准差带无重叠；Integrated Gradients 方向一致。全面性基本不变。 - **效应源于对比正则化本身**：Shuffled-pair 控制完全复制了“公平性不变 + 忠实性降级”的模式，表明该效应并非 SCM 温暖–能力结构特有，而源于此类对比表示正则化的一般机制。 - **无 λ 驱动的公平性改善**：在 λ ∈ 0.01, 0.05, 0.1, 0.5 的完整扫描中，没有任何值使公平性指标相对基线产生预注册的实质性改善（ Delta DPD ≥ 0.05 ）。 ### 4. 结论与核心贡献论文的核心贡献在于揭示了一种**解离（dissociation）**现象： > 同一干预未能改变人口统计公平性，却一致性地降级了事后解释的忠实性。两者在去偏过程中是**独立变化**的。这一发现对法律 NLP 等高风险场景具有直接的审计与伦理启示：**解释忠实性的变化不能作为公平性状态的代理指标**。一个看起来更连贯的解释并不意味着模型更公平；反之，公平性未改善也不代表解释行为未变。因此，公平性必须被直接测量，而不能依赖解释质量进行间接推断。研究的局限性包括：受保护群体依赖文本关键词代理（尤其性别轴极度不平衡）、忠实性评估基于 token 掩码可能引入分布外伪影、以及实验仅限单一语料与有限编码器家族。未来工作需在更可靠的群体定义、非掩码忠实性度量、以及能够实际改变公平性的干预中进一步验证该解离是否普遍成立。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yasmina El Kacemi, Seyed Sahand Mohammadi Ziabari, Ali Mohammed Mansoor Alsahag

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00045.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00045

Published: 2026-10-04T02:51:53.443Z

3. The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating

Abstract:Reading an LLM judge’s verdict from the logits of its first generated token is cheap, requires no generation, and is exactly what constrained decoding and likelihood-scoring evaluation harnesses produce. We show that this readout distorts position bias in one direction: it overstates it in every condition we test, so figures obtained this way behave as upper bounds. The mechanism is that judges do not always lead with a verdict token, on 12% to 49% of pairs for three Qwen3 judges and under 3% for Llama-3.1-8B and Phi-3.5-mini, and forcing a read on those pairs returns whichever response was shown first rather than a judgment. Pooled over the 924 pairs where a judge did not commit, the forced read flips on 89.7% of them when the responses are swapped, against 47.5% read after generation (paired difference +0.422, 95% CI [+0.365, +0.467]). The distortion is specific to what is measured: it moves position bias by 42 points while moving judge accuracy by under one point in seven of ten conditions, so it misleads whoever audits a judge rather than whoever uses one. A second, smaller failure occurs even when the judge does lead with a verdict token, since it sometimes opens with one letter and reasons its way to the other, on 0 to 5.5% of pairs at a rate uncorrelated with compliance. We recommend reporting the rate at which a judge leads with a verdict token, which costs one forward pass and no labels, alongside any position-bias figure.

中文摘要

摘要：从大型语言模型（LLM）法官生成的第一个标记的 logits 中读取其裁决是廉价的，不需要生成，并且正是受限解码和似然评分评估所产生的内容。我们展示了这种读取方法会在一个方向上扭曲位置偏差：在我们测试的每种条件下它都高估了位置偏差，因此通过这种方式获得的数据图表现为上限。其机制是，法官并不总是以裁决标记开头，对于三个 Qwen3 法官而言，有 12% 到 49% 的配对情况如此，而 Llama-3.1-8B 和 Phi-3.5-mini 的情况不到 3%，在这些配对上强行读取时会返回首先显示的响应，而不是裁决。在 924 个法官未作出承诺的配对中，交换响应时强制读取翻转了其中的 89.7%，而生成后读取翻转为 47.5%（配对差异 +0.422，95% 置信区间 [+0.365, +0.467]）。这种扭曲是特定于测量的内容的：它使位置偏差移动了 42 个点，而在十种条件中有七种中法官准确率的变化不到一点，因此它会误导审计法官的人，而不是使用法官的人。第二种较小的失败即便在法官以裁决标记开头时也会发生，因为它有时以一个字母开头，之后推理得出另一个字母，在 0 到 5.5% 的配对中发生，其发生率与合规性无关。我们建议报告法官以裁决标记开头的比率，这只需一次前向传播而无需标签，同时报告任何位置偏差的数据图。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00054 (HTTP 429)

Authors: Gnaneswar Villuri, Hashmath Shaik, Alex Doboli

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00054.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00054

Published: 2026-10-04T02:51:53.443Z

4. Measuring Human-Like Bias in LLMs? A Critique of Human-Derived Bias Constructs in LLM Evaluation

Abstract:Researchers increasingly use human-derived bias constructs to study Large Language Models (LLMs), including social-cognitive constructs such as implicit bias and stereotype activation, and cognitive biases such as anchoring, framing effects, and confirmation bias. Such approaches offer alternatives to overt bias probes, particularly when direct questioning may obscure bias or when model behaviour appears normatively acceptable. However, adapting human bias constructs to LLMs introduces an inferential gap. Psychological instruments were developed to study human cognition and social behaviour, whereas LLM evaluations rely on probabilities, text completions, rankings, or simulated decisions. This paper critiques human-centered bias evaluation in LLMs. We show how this gap arises from mismatches pertaining to human-derived constructs, human-model differences, and evaluation contexts, which can blur distinct interpretations of model bias. We then introduce a framework providing an analytical lens for relating these elements to warranted interpretations, with attention to target constructs, operationalizations, scope of inference, and limits of human analogy.

中文摘要

摘要：研究人员越来越多地使用源自人类的偏见构念来研究大型语言模型（LLMs），包括社会认知构念如隐性偏见和刻板印象激活，以及认知偏差如锚定效应、框架效应和确认偏差。这类方法为显性偏见探测提供了替代方案，特别是在直接提问可能掩盖偏见或模型行为在规范上似乎可接受的情况下。然而，将人类偏见构念适用于LLMs会引入推理上的差距。心理学工具是为研究人类认知和社会行为而发展，而LLM的评估依赖于概率、文本完成、排序或模拟决策。本文批判了以人为中心的LLM偏见评估。我们展示了这种差距如何源于与人类构念的不匹配、人类与模型的差异以及评估环境的不同，这可能模糊对模型偏见的不同解释。随后，我们引入了一个框架，为关联这些要素与合理解释提供分析视角，重点关注目标构念、操作化、推理范围以及类比人类的局限性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00070 (HTTP 429)

Authors: Antonela Tommasel, Markus Schedl

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00070.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00070

Published: 2026-10-04T02:51:53.443Z

5. Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights

Abstract:The advancement of natural language processing (NLP) has expanded AI-based text classification in the legal domain. However, accurately classifying legal documents remains challenging due to the complexity of legal texts and subtle differences between legal categories. This study evaluates legal text classification models ranging from traditional machine learning techniques to large language models (LLMs) using ten categories of Korean sexual offense precedents. The results show that fine-tuning small-scale models such as KLUE-BERT on legal data outperforms general-purpose models such as GPT-3.5 and GPT-4.0, as well as traditional machine learning models. KLUE-BERT achieved the highest accuracy of 99.3%, indicating that domain adaptation and fine-tuning can be more important than model size for legal document classification. We further employ explainable AI (XAI) techniques to analyze model predictions and misclassification cases. XAI analysis identifies linguistic features influencing model decisions and limitations in capturing subtle textual cues. Using KICS data, which closely resembles real-world legal case records, we further evaluate the model’s generalization capabilities and find that it struggles to interpret implicit contextual cues. These findings highlight the importance of both performance and interpretability in legal AI and demonstrate how XAI can improve transparency in legal text classification. AI-assisted tools can support legal professionals in tasks including document classification, legal information retrieval, and case assessment.

中文摘要

摘要：自然语言处理（NLP）的进步推动了基于人工智能的法律文本分类的发展。然而，由于法律文本的复杂性以及法律类别之间的细微差异，准确分类法律文件仍然具有挑战性。本研究评估了从传统机器学习技术到大型语言模型（LLMs）的法律文本分类模型，使用了韩国性犯罪判例的十个类别。结果显示，在法律数据上对小型模型如 KLUE-BERT 进行微调，其表现优于通用模型如 GPT-3.5 和 GPT-4.0，以及传统机器学习模型。KLUE-BERT 达到了最高准确率 99.3%，表明在法律文件分类中，领域适应和微调可能比模型规模更为重要。我们进一步采用可解释人工智能（XAI）技术分析模型的预测和误分类案例。XAI 分析识别出影响模型决策的语言特征以及在捕捉细微文本线索方面的局限性。利用与真实法律案件记录高度相似的 KICS 数据，我们进一步评估了模型的泛化能力，发现模型在解读隐含的上下文线索方面存在困难。这些发现强调了法律人工智能中性能与可解释性的重要性，并展示了 XAI 如何提升法律文本分类的透明度。人工智能辅助工具可以支持法律专业人员完成包括文件分类、法律信息检索和案件评估在内的任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00087 (HTTP 429)

Authors: Jeongmin Lee

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00087.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00087

Published: 2026-10-04T02:51:53.443Z

6. BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL

Abstract:Data agents over structured sources must fit database schema into the model’s context window. Large catalogs can span many databases and thousands of columns, so cost constraints may require choosing between table coverage and serialization detail well before the context window is full. We introduce BudgetSchemaBench, an execution-grounded diagnostic for this setting. Its construction derives relevance labels mechanically from gold SQL, without human- or LLM-authored ground truth. Using a pooled 80-database catalog, we sweep four schema-context budgets and compare three representations while keeping each retriever’s table ranking fixed. A source-namespace check rejects queries that obtain the correct result from the wrong database. The evaluation covers three conditions: end-to-end retrieval; frozen-gold, in which the required tables are guaranteed; and a probe that removes those tables. For the primary solver with raw serialization, raising the budget from 2.5% to 50% of the catalog improves execution accuracy on 1,279 held-out questions by 18 percentage points under lexical retrieval but only 3 under dense retrieval; the dense retriever already finds most required tables at the smallest budget. When the required tables are removed, 94.6% of correct predictions name one of them exactly, consistent with reconstruction of absent schema from parametric knowledge. For the two main solvers in the frozen-gold condition, the three representations differ by at most 2 percentage points, and the widest paired 95% confidence interval bounds the difference within +/-4 points. We observe the same qualitative patterns with one reasoning model from a different family. When retrieval is coverage-limited, execution accuracy is more sensitive to the schema budget than to the tested serializations. The diagnostic and the code used to construct and evaluate it are publicly available.

中文摘要

摘要：在结构化数据源上，数据代理必须将数据库模式适配到模型的上下文窗口中。大型目录可能跨越多个数据库和数千列，因此成本限制可能要求在上下文窗口还未填满之前，就在表覆盖率和序列化细节之间进行选择。我们引入了 BudgetSchemaBench，这是一种针对这一设置的执行基础诊断工具。其构建过程机械地从黄金 SQL 中推导出相关性标签，无需人工或大语言模型撰写的真实标签。使用一个包含 80 个数据库的汇总目录，我们扫描了四种模式上下文预算，并在保持每个检索器表排名不变的情况下比较三种表示方法。源命名空间检查会拒绝那些从错误数据库获取正确结果的查询。评估涵盖三种情况：端到端检索；固定黄金（frozen-gold），保证所需表存在；以及移除这些表的探测。对于使用原始序列化的主要求解器，将预算从目录的 2.5% 提高到 50%，在词汇检索下对 1,279 个保留问题的执行准确率提高了 18 个百分点，而在密集检索下仅提高了 3 个百分点；因为密集检索器在最小预算下已经找到了大多数所需表。当所需表被移除时，94.6% 的正确预测精确命名了其中之一，这与从参数化知识重建缺失模式一致。在固定黄金条件下，两个主要求解器的三种表示方法差异最多为 2 个百分点，最广的成对 95% 置信区间将差异界定在 +/-4 个百分点内。我们在来自不同家族的一个推理模型中观察到了相同的定性模式。當检索受覆盖范围限制时，执行准确率对模式预算的敏感度高于对所测试的序列化方法的敏感度。该诊断工具及构建和评估它所用的代码已公开提供。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00092 (HTTP 429)

Authors: Chen Shen

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00092.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00092

Published: 2026-10-04T02:51:53.443Z

Abstract:Different error types in machine translation require different evidence. Whether meaning is preserved can be judged only against the source, while whether the target is well-formed, or whether it names one entity consistently, can be judged from the target alone. We present FACET, our reference-free submission to the WMT26 Automated Translation Quality Evaluation Task, which decomposes evaluation into Fluency, Accuracy, and Consistency passes and gives each pass only the context its error type requires. A single fixed model is prompted three times, and the merged error spans yield the three task outputs, error spans, quality scores, and error-free labels, with no trained components. We also submit FACET-C, which omits the Consistency pass. Without gold labels, we characterize the predictions of FACET. Its system rankings place post-edited human translation first, and the Consistency pass changes about a tenth of segment scores while leaving the ranking nearly unchanged.

中文摘要

摘要：机器翻译中的不同错误类型需要不同的证据。是否保留了原意只能通过对照源文本来判断，而目标文本是否结构良好，或是否持续命名同一实体，则可以仅通过目标文本来判断。我们提出了FACET，这是我们在WMT26自动翻译质量评估任务中的无参考提交方法，它将评估分解为流畅性、准确性和一致性三个阶段，并且在每个阶段只提供其错误类型所需的上下文。一个固定的模型被提示三次，合并的错误范围产生三个任务输出，即错误范围、质量评分和无错误标签，而不包含任何训练组件。我们还提交了FACET-C，它省略了一致性阶段。在没有金标准标签的情况下，我们描述了FACET的预测。其系统排名将后编辑的人类翻译排在第一位，一致性阶段更改了大约十分之一的片段评分，同时几乎没有改变排名。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00096 (HTTP 429)

Authors: Ahrii Kim, Chanjun Park, Seong-heum Kim

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00096.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00096

Published: 2026-10-04T02:51:53.443Z

8. Metric-Construction Coupling Inflates Measured Synthetic Dialect Recovery

Abstract:Korean dialect corpora are available but not redistributable: weights may be released, while reproducing training and evaluation from the underlying data cannot be. We ask how much of that supervision synthetic data recovers, and whether that recovery can be measured independently of the synthesis pipeline. We contribute KoDialectBench, 1,000 items across five regions on three axes, released as identifier hashes and scoring code so users reconstruct the items from their own licensed copy. Recovery is strongly axis-dependent: our best synthetic arm reaches 91.2% of the real-data gain on region identification but 63.7% on comprehension. On generation the answer depends on the metric: the deployed marker lexicon reports 92.3% on dialectness and 119.3% on region match, the latter exceeding the real-data reference, whereas reference-based generation reaches 72.4%. We find the marker metrics’ scoring inventory is entirely contained in the inventory our transformation rules can emit. We test the effect of construction access directly with an exact-form construction-disjoint arm that withholds 20% of marker types from the rules. At exactly matched training size (8,600 examples) it reduces dialectness recovery from 91.8% to 8.1% and region-match recovery from 101.9% to 25.6% on the held-out marker inventory, while the three pipeline-independent measurements do not fall at all. A complementary evaluator sweep defines metric-construction coverage (MCC) and finds measured dialectness recovery increasing monotonically as overlap rises from MCC=0 to MCC=1. Shared construction and evaluation inventories can therefore substantially inflate estimates of synthetic-data recovery.

中文摘要

摘要：韩语方言语料库可用，但不可重新分发：模型权重可以发布，但无法从底层数据再现训练和评估。我们探讨合成数据能恢复多少此类监督信息，以及这种恢复是否可以独立于合成管道进行测量。我们贡献了 KoDialectBench，包括跨五个地区的 1,000 个项目，涵盖三个维度，以标识符哈希和评分代码的形式发布，以便用户从自己拥有许可的副本中重构项目。恢复效果高度依赖维度：我们最好的合成模型在地区识别上达到真实数据增益的 91.2%，而在理解能力上为 63.7%。在生成任务中，结果取决于评价指标：使用部署的标记词典显示方言识别度为 92.3%，地区匹配度为 119.3%，后者甚至超过了真实数据参考，而基于参考的生成仅达到 72.4%。我们发现标记词典的评分清单完全包含在我们的转换规则可生成的清单中。我们通过直接测试构造访问的影响，使用了一个精确形式构造不重叠的模型，该模型在规则中保留了 20% 的标记类型待用。在训练规模完全匹配（8,600 个样本）时，它将方言识别度恢复从 91.8% 降至 8.1%，地区匹配度恢复从 101.9% 降至 25.6%，而三项独立于管道的测量完全未下降。一个互补的评估器扫描定义了指标构造覆盖率（MCC），发现随着重叠从 MCC=0 增加到 MCC=1，测得的方言识别度恢复呈单调上升。因此，共享构造和评估清单可能会显著夸大合成数据恢复的估计。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00164 (HTTP 429)

Authors: Hyojung Han

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00164.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00164

Published: 2026-10-04T02:51:53.443Z

9. When a Data Artifact Isn’t a Shortcut: Causal Auditing of Synthetic RLVR Corpora

Abstract:Several recent pipelines build RLVR training data by masking a span of real corpus text and asking a language model to invent plausible wrong answers around it. The correct option is therefore genuine human prose; every distractor is synthetic. Correctness and provenance become entangled, and a policy could in principle learn the second instead of the first. We audit that possibility in GooseReason-0.7M. First we ask whether the asymmetry is visible at all: a classifier reading only five surface statistics (never the meaning) reaches AUROC 0.562 over 315,499 options, barely above chance. The aggregate hides something, though. Code sits at 0.416, below chance, and manual inspection explains why: code distractors turn out to be single-operator mutations of the gold answer rather than freely written alternatives, so the two classes are nearly identical by construction. Detecting a signal is not the same as showing a model uses it, so we then run an intervention. We build a paraphrase-matched control corpus, hold training-set size identical across arms, and train two policies under one fixed budget. The exploitation gap does not favour the unmodified-data arm: 0.021 against 0.027 for the control. Under our budget, in other words, a detectable artifact went unexploited. We think that dissociation, along with the domain-specific construction finding, is worth knowing for anyone curating corpora of this kind, and we release the audit as a mostly CPU-only protocol.

中文摘要

摘要：最近的几条流水线通过屏蔽真实语料文本的一段内容，并让语言模型围绕其编造合理的错误答案，从而构建RLVR训练数据。因此，正确选项是真正的人类散文；每个干扰项都是合成的。正确性和来源变得纠缠不清，从理论上讲，策略可能学习第二个而不是第一个。我们在GooseReason-0.7M中审计了这种可能性。首先，我们要问这种不对称是否可见：一个仅读取五个表面统计数据（从未理解含义）的分类器，在315,499个选项上的AUROC为0.562，仅略高于随机水平。然而，整体结果隐藏了一些问题。代码部分的AUROC为0.416，低于随机水平，人工检查解释了原因：代码干扰项实际上是对正确答案进行单操作符变异，而不是自由书写的替代答案，因此这两类在构造上几乎相同。检测到信号并不等同于证明模型使用了信号，因此我们进行了一次干预。我们构建了一个意译匹配的对照语料库，保持各组训练集大小一致，并在固定的预算下训练两个策略。利用差距并不偏向未修改数据的组：0.021 对比对照组的0.027。换句话说，在我们的预算下，可检测的伪影未被利用。我们认为，这种分离现象及特定领域构建发现，对于任何整理此类语料的人来说都值得注意，同时我们将审计过程作为主要仅使用CPU的协议公开发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00202 (HTTP 429)

Authors: Esther Xin

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00202.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00202

Published: 2026-10-04T02:51:53.443Z

10. A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

Abstract:As ever larger language models grow more ubiquitous, it is crucial to consider their environmental impact. Characterised by extreme size and resource use, recent generations of models have been criticised for their voracious appetite for compute, and thus significant carbon footprint. Although reporting of carbon impact has grown more common in machine learning papers, this reporting is usually limited to compute resources used strictly for training. In this work, we propose a holistic assessment of the footprint of an extreme-scale language model, Noor. Noor is an ongoing project aiming to develop the largest multi-task Arabic language models — with up to 13B parameters — leveraging zero-shot generalisation to enable a wide range of downstream tasks via natural language instructions. We assess the total carbon bill of the entire project: starting with data collection and storage costs, including research and development budgets, pretraining costs, future serving estimates, and other exogenous costs necessary for this international cooperation. Notably, we find that inference costs and exogenous factors can have a significant impact on total budget. Finally, we discuss pathways to reduce the carbon footprint of extreme-scale models.

中文摘要

摘要：随着越来越大型的语言模型变得普及，考虑其环境影响变得至关重要。由于其极大的规模和资源使用，近期几代模型因其对计算资源的贪婪需求而受到批评，因此产生了显著的碳足迹。尽管在机器学习论文中对碳影响的报告变得越来越常见，这类报告通常仅限于严格用于训练的计算资源。在本研究中，我们提出对极大规模语言模型 Noor 的碳足迹进行整体评估。Noor 是一个正在进行的项目，旨在开发最大的多任务阿拉伯语语言模型——参数规模高达 130 亿——利用零样本泛化，通过自然语言指令支持广泛的下游任务。我们评估整个项目的总碳账单：从数据收集和存储成本开始，包括研发预算、预训练成本、未来服务估算以及其他国际合作所必需的外生成本。值得注意的是，我们发现推理成本和外生因素对总预算可能有显著影响。最后，我们讨论了减少极大规模模型碳足迹的路径。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00223 (HTTP 429)

Authors: Imad Lakim, Ebtesam Almazrouei, Ibrahim Abu Alhaol, Merouane Debbah, Julien Launay

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.00223.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00223

Published: 2026-10-04T02:51:53.443Z

Agent Domain Papers

1. Heavy-Tailed Memory Traces in Long-Horizon Language Agents

Abstract:Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval, agent memory can concentrate on a small core while leaving rare states in a long tail where prediction errors accumulate. We study this effect through a conservative tail audit and find that concentration is reproducible but policy-dependent. Random-walk agents produce log-normal-compatible retrieval artifacts, whereas semantic LLM policies yield the strongest truncated-power-law-compatible core—tail traces. Motivated by this audit, we propose Core—Tail World Model (CTWM), a rank-based memory controller that allocates prompt budget with a single exponent $\tau$ while retaining a summarized tail. On Synthetic Graph World, CTWM preserves full state and transition coverage, reduces prompt tokens by 5.9%, and lowers bottom-half tail prediction error by 13.6% relative to a graph-memory baseline. The same paired comparison gives consistent token savings on ALFWorld and a 24.48% token reduction on LongMemEval with aggregate accuracy parity. These results suggest that heavy-tailed memory traces are not only a diagnostic of finite retrieval, but also a practical control signal for token-efficient agent world models.

中文摘要

摘要：长期语言智能体越来越依赖外部记忆作为冻结的世界模型，但目前的记忆系统通常只通过任务成功率或令牌成本来评判。我们认为缺失的要素是记忆使用的形状：在有限上下文和重复检索下，智能体的记忆可能集中于一个小的核心，同时将罕见状态留在长尾中，在长尾中预测误差会累积。我们通过保守的尾部审计研究这一效应，并发现集中性是可重复的，但依赖于策略。随机游走智能体会产生与对数正态兼容的检索痕迹，而语义大型语言模型策略则产生最强的截断幂律兼容的核心——尾部轨迹。受到该审计的启发，我们提出了核心——尾部世界模型（CTWM），一种基于等级的记忆控制器，它通过单个指数 $ au$ 分配提示预算，同时保留总结的尾部。在合成图世界中，CTWM保持了完整的状态和转移覆盖，相比图记忆基线，提示令牌减少了 5.9%，底部尾部预测误差降低了 13.6%。同样的配对比较在 ALFWorld 上也显示出一致的令牌节省，并在 LongMemEval 上实现了 24.48% 的令牌减少，同时总体准确率保持一致。这些结果表明，重尾记忆轨迹不仅是有限检索的诊断指标，也是实现令牌高效智能体世界模型的实用控制信号。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00010 (HTTP 429)

Authors: Xinyuan Song, Zekun Cai

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00010.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00010

Published: 2026-10-04T02:52:45.773Z

2. When Do Causal World Models Help Modular LLM Agents

Abstract:LLM agents increasingly act through modular systems, such as order, payment, inventory, and shipment services, where actions in one module change which transitions are valid in another. Standard world models usually fit observational traces, but this is not the quantity needed for intervention-time planning: a trace may show that payment precedes shipment without identifying whether payment authorizes shipment, inventory mediates the effect, or a hidden trigger explains both. We study this gap through FedCausalCompose, a causal world-model framework for modular LLM agents in which local actions provide intervention-response evidence for cross-module interfaces. We first show that observational world models incur an irreducible interventional error under unblocked back-door paths, that interface recovery improves with intervention-response coverage, and that an oracle causal composition can beat the non-causal lower bound when coverage and local mechanism errors are controlled. We then test the resulting prediction in diagnostic agent settings. Causal interfaces help most in structured tool environments, where API signatures expose preconditions and downstream effects. In contrast, dialogue and narrative environments often ignore raw edge lists unless a short attention anchor makes the causal information decision-relevant. These results identify a concrete condition for causal world models in LLM agents: causal structure helps when cross-module interfaces are both statistically identifiable and presented in a form the agent can use at action time.

中文摘要

摘要：大型语言模型（LLM）代理越来越多地通过模块化系统执行操作，例如订单、支付、库存和发货服务，其中一个模块中的操作会改变另一个模块中哪些转换是有效的。标准的世界模型通常拟合观测轨迹，但这并不是干预时规划所需的量：轨迹可能显示支付发生在发货之前，但无法确定支付是否授权发货，库存是否中介了该效果，或隐藏的触发因素是否解释了两者。我们通过 FedCausalCompose 探讨这一差距，它是一个针对模块化 LLM 代理的因果世界模型框架，其中局部操作为跨模块接口提供干预-响应证据。我们首先表明，在未阻塞的后门路径下，观测世界模型会产生不可约的干预误差，接口恢复会随着干预-响应覆盖的增加而改善，并且当覆盖和局部机制误差得到控制时，理想的因果组合能够超过非因果下界。随后，我们在诊断代理环境中测试了这一预测。因果接口在结构化工具环境中最有帮助，这些环境中 API 签名揭示了前置条件和下游效应。相比之下，对话和叙事环境通常会忽略原始边列表，除非短注意锚使因果信息对决策相关。这些结果为 LLM 代理中的因果世界模型确定了一个具体条件：当跨模块接口既可以在统计上识别，又以代理在执行操作时可利用的形式呈现时，因果结构会起到帮助作用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00012 (HTTP 429)

Authors: Xinyuan Song, Zekun Cai

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00012.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00012

Published: 2026-10-04T02:52:45.773Z

3. From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

Abstract:Large-language-model agents can propose and execute actions, but proposal, authority, dispatch, verified external effect, and serving promotion are different claims. We present Praxa, an agent harness that represents these states explicitly through deterministic admission, brokered execution, external read-back, reconciliation, and reviewed promotion. We report four evidence lanes. First, an author-run repository-local audit at a pinned revision passed 1,027/1,027 unit tests and 89/89 Workerd tests, instrumented all 363 expected source files, and met four coverage floors; raw per-test transcripts and independent reproduction are unavailable. Second, in a provider-backed Terminal-Bench Core 0.1.1 pilot across 12 curated tasks, baseline and reliability-layer arms each passed 17/36 strict trials. The reliability layer used 37.49% more input and 50.73% more output tokens, so the pilot does not support superiority. Third, in a post-debug, two-order coordination-proxy development comparison, baseline and a source-authored candidate each completed 180/180 trials with equal measured accuracy, full hermetic crash recovery, and zero protected violations. The candidate used 37.11% fewer tokens, 33.84% lower estimated endpoint cost, and 11.63% fewer steps; this does not establish improved quality, latency, or production behavior. Fourth, deployed source/configuration evidence shows bounded reflection, recall accounting, memory compilation, and tool-health paths, but no production outcome lift. Praxa’s supported contribution is an evidence-bound architecture that makes authority-to-effect transitions explicit and testable. Current evidence does not establish adversarial security, production safety, general specialist superiority, autonomous recursive optimization, or user benefit.

中文摘要

摘要：大型语言模型代理可以提出和执行操作，但提出、权限、调度、经验证的外部效果和服务提拔是不同的主张。我们提出了 Praxa，这是一种代理框架，通过确定性准入、中介执行、外部回读、对账和审查提拔明确地表示这些状态。我们报告了四条证据线。首先，在作者运行的、固定修订版本的本地仓库审计中，1,027/1,027 单元测试和 89/89 Workerd 测试通过，对所有 363 个预期源文件进行了监控，并满足了四个覆盖率下限；原始每个测试的成绩单和独立复现不可用。其次，在提供方支持的 Terminal-Bench Core 0.1.1 试点中，涵盖 12 个精选任务，基线和可靠性层各自通过了 17/36 严格试验。可靠性层使用了 37.49% 更多输入和 50.73% 更多输出标记，因此试点结果不支持其优越性。第三，在调试后、两级协调代理开发比较中，基线和作者编写的候选方案各自完成了 180/180 次试验，测得准确率相等，完全隔离的崩溃恢复，并且零受保护违规。该候选方案使用了 37.11% 更少的标记，估计端点成本降低 33.84%，步骤减少 11.63%；这并未证明其提高了质量、延迟或生产表现。第四，部署的源/配置证据显示了有限的反思、召回核算、内存编译和工具健康路径，但没有生产结果提升。Praxa 支持的贡献是一个以证据为界的架构，使权限到效果的转换明确且可测试。现有证据未能证明对抗性安全性、生产安全性、一般专家优越性、自主递归优化或用户收益。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00015 (HTTP 429)

Authors: Stefan G. Creadore

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00015.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00015

Published: 2026-10-04T02:52:45.773Z

4. What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA

Abstract:Role-specialized QA pipelines increasingly pass rationales from a reasoner to a verifier, but it is unclear what this message actually buys: better answers, stronger support assessment, or a new failure surface. We introduce a message-intervention diagnostic that fixes the evidence and candidate answer while varying only the rationale passed across the reasoner-to-verifier boundary. On 400 MuSiQue, HotpotQA, and 2WikiMultiHopQA examples with DeepSeek as generator and verifier, faithful rationales add almost no answer accuracy over no rationale, while corrupted rationales strongly alter support judgments. Under a blind verifier prompt, harmless paraphrases shift support by only 0—2.5%, whereas corrupted rationales shift support by 10—22%; an explicit rationale-checking prompt amplifies the same pattern to 34—55%. Final answers move less (2—30%), and only 2.9—35.3% of corrupted support flips co-occur with answer changes. Human audits show why this matters: 16/42 valid corruptions are corruption-overtrust cases, and blind humans reject or mark unclear 9/10 audited corrupted rationales that the model accepts. Cross-model and task-boundary checks show when the channel is active, amplified, inert, or folded into the task label. Rationale sharing should be evaluated as a verification-message mechanism, not merely as a route to higher answer accuracy.

中文摘要

摘要：专门角色的问答（QA）流程越来越多地将推理者的理由传递给验证者，但目前尚不清楚这种信息到底带来了什么：更好的答案、更强的支持评估，还是新的失败面。我们提出了一种信息干预诊断方法，它固定证据和候选答案，仅改变在推理者与验证者之间传递的理由。在使用 DeepSeek 作为生成器和验证者的 400 个 MuSiQue、HotpotQA 和 2WikiMultiHopQA 示例中，可信理由几乎没有比没有理由带来额外的答案准确率，而损坏的理由会强烈改变支持判断。在盲验证者提示下，无害的同义改写仅会使支持变化 0—2.5%，而损坏的理由会使支持变化 10—22%；明确的理由检查提示将这一模式扩大到 34—55%。最终答案变化较小（2—30%），且仅有 2.9—35.3% 的损坏支持变动伴随答案变化。人工审核显示了其重要性：42 个有效损坏中有 16 个属于过度信任损坏案例，而盲人类拒绝或标记了 10 个被模型接受的损坏理由中的 9 个为不清楚。跨模型和任务边界检查显示了该通道在何时活跃、增强、无效或融合到任务标签中。理由共享应被评估为一种验证消息机制，而不仅仅是一种提高答案准确率的途径。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00018 (HTTP 429)

Authors: Jiameng Zhang, Hongqiu Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00018.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00018

Published: 2026-10-04T02:52:45.773Z

5. Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

Abstract:Agent harnesses increasingly want to run small language models (SLMs) on the microtasks around a frontier large language model (LLM) planner: auto-approving shell commands, writing memory, selecting tools, ranking past turns. We ask whether off-the-shelf SLMs meet practitioner-defined thresholds and, when they fail, why, and whether quantization changes the answer. We build a benchmark of 4 such microtasks with fixed prompts and automatic metrics, each with a pre-specified threshold $\tau$ anchored to a cheap non-LLM baseline and a CI-aware eligibility rule (a configuration passes only if its confidence bound clears $\tau$). Sweeping Qwen3 0.6/1.7/4/8B at their best (FP16, greedy, one frozen prompt, no tuning), we find an eligibility gap: 0 of 16 (4 tasks $\times$ 4 models) configurations pass (verified by checking the raw outputs and parser behavior). A logprob decision-threshold diagnostic (T1/T3/T4; T2 via a context-length/cascade probe) separates the failures into capability deficits and failures that can be addressed by changing the decoding threshold (4 regimes). Quantization to 4-bit (RTN/GPTQ/AWQ) does damage that depends on model size and moves no configuration into eligibility (certified on the reconstructable hard-label tasks T1/T3, diagnostic/windowed robustness on T2/T4), so the gap tracks model size more than precision; it replicates on Llama-3.x (12/12 ineligible) and is robust to the anchor choice (a $\tau$-sweep) and to prompt wording (0/112 eligible across the original plus 3 neutral paraphrases per cell). The practical implication: place SLMs behind a baseline that meets the CI-backed threshold, and use the SLM only where the baseline fails to meet the threshold; e.g. a 4B re-ranker over a BM25 shortlist beats BM25 ($+0.047$ [0.020, 0.073], without itself certifying eligibility).

中文摘要

摘要：代理利用越来越多，希望在边缘大语言模型（LLM）规划器周围的微任务上运行小型语言模型（SLMs）：自动批准 shell 命令、写入记忆、选择工具、排序过去的回合。我们探讨现成的 SLM 是否达到从业者定义的阈值，当它们未达到时，原因是什么，以及量化是否会改变结果。我们构建了一个包含 4 个此类微任务的基准，使用固定提示和自动评估指标，每个任务都有一个预先指定的阈值 $ au$，该阈值以廉价的非 LLM 基线为锚，并带有 CI 感知的合格性规则（只有置信区间超过 $ au$ 的配置才被认为合格）。在其最佳状态下扫描 Qwen3 0.6/1.7/4/8B（FP16、贪婪、一个固定提示、无调优），我们发现存在合格性差距：16 个配置（4 个任务 × 4 个模型）中无一合格（通过检查原始输出和解析器行为验证）。使用 logprob 决策阈值诊断（T1/T3/T4；通过上下文长度/级联探测诊断 T2）将失败分为能力不足和可通过改变解码阈值解决的失败（4 种情况）。量化到 4 位（RTN/GPTQ/AWQ）会造成与模型大小相关的损伤，并且没有配置因此变为合格（在可重建硬标签任务 T1/T3 上经过验证，对 T2/T4 进行诊断/窗口稳健性测试），因此差距更多地与模型大小相关而非精度；在 Llama-3.x 上也可复现（12/12 不合格），并且对锚点选择（$ au$ 扫描）和提示措辞稳健（原始加每个单元 3 个中性改写，共 0/112 合格）。实际意义：将 SLM 放置在满足 CI 支持阈值的基线之后，仅在基线未达到阈值时使用 SLM；例如，在 BM25 候选列表上运行 4B 重排序器超过 BM25（$+0.047$ [0.020, 0.073]，自身不认证合格）。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00025 (HTTP 429)

Authors: Jundong Hu, Shekar Ramachandran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00025.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00025

Published: 2026-10-04T02:52:45.773Z

6. Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs

Abstract:Diversity collapse in parallel chain-of-thought has motivated inference-time interventions built on a natural design: when a process reward model (PRM) prunes a chain, its high-PRM prefix is extracted and grafted verbatim as an in-context demonstration into a still-decoding sibling. We isolate this mechanism, PRM-Pruned Fragment Grafting (PPFG), as the most cost-minimal operationalization of cross-trajectory step-level transfer, and test it at the operating point where prior fragment-grafting work reports gains only under additional compensating ingredients. On Qwen2.5-7B-Instruct with Math-Shepherd on full MATH500 (n=500, three seeds), PPFG in both stagnation- and random-targeting variants is statistically indistinguishable from an independent parallel-CoT baseline on every measured axis. We characterize why: a four-bucket classification of 322 stagnation-rule injection events shows only 14% targeted a genuinely struggling chain; the rest landed on chains that had already succeeded, were near completion, or sat on a flat PRM plateau, states a rescue graft cannot change. No compound-gate refinement jointly achieves well-targeted firing and adequate density, and a random control matches the same parity at 2.4x the firing rate, so the inertness is not heuristic-specific. The finding replicates across three base LMs, six benchmarks, a second PRM, and a compatibility-gate sweep; two-one-sided-tests analysis promotes the parity to positive equivalence on all twelve Qwen/LLaMA cells. A per-event spot-check finds injected chains prune at 2.75x the matched-step rate, but a surviving-sibling counterfactual finds no population-level compensation. A hindsight oracle bounds any per-problem gain from choosing PPFG over independent at +0.13 pp. We contribute an equivalence-testing template for establishing inference-time mechanism nulls, with every claim scoped to its tested operating point.

中文摘要

摘要：在并行思维链中多样性崩溃的问题促使研究者开发了基于自然设计的推理时干预方法：当一个过程奖励模型（PRM）修剪一条思维链时，它的高PRM前缀会被提取出来，并原样嫁接为仍在解码的兄弟链中的上下文示例。我们将这一机制隔离出来，称为PRM修剪片段嫁接（PPFG），它是跨轨迹步骤级转移的成本最低的操作化实现，并在以往片段嫁接工作仅在额外补偿因素下报告有收益的操作点上进行了测试。在Qwen2.5-7B-Instruct模型上，使用Math-Shepherd处理完整的MATH500（n=500，三次随机种子），PPFG在停滞目标和随机目标的两种变体上，在每个测量维度上与独立并行思维链基线的统计差异不可区分。我们分析了原因：对322次停滞规则注入事件进行四类归类显示，只有14%的事件真正针对了困难链，其余落在已经成功的链上、接近完成的链上，或处于平坦PRM平台的链上，而救援式嫁接无法改变这些状态。没有复合门限的优化能够同时实现良好的目标触发和足够的密度，而随机控制以2.4倍的触发率匹配了相同的效果，因此这种惰性并非启发式特有。该发现可在三个基础语言模型、六个基准测试、另一PRM以及兼容性门限扫描中复现；两单侧检验分析将平价提升为在所有十二个Qwen/LLaMA单元上的正等效性。每次事件的抽查显示，被注入的思维链的修剪率是匹配步骤的2.75倍，但幸存兄弟链的反事实分析显示未产生群体级补偿。事后预言者限定选择PPFG而非独立方法的每个问题收益上限为+0.13个百分点。我们贡献了一个等效性测试模板，用于建立推理时机制的无效性，每一项声明均限定在其测试的操作点上。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00047 (HTTP 429)

Authors: Khawaja Murad ul Hassan, Mehran Ebrahimi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00047.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00047

Published: 2026-10-04T02:52:45.773Z

7. Gradient-Aligned Pair Selection for Personalized Preference Optimization

Abstract:Personalizing large language models (LLMs) requires aligning generation behavior with user-specific preferences rather than aggregate quality. While Direct Preference Optimization (DPO) provides a stable framework for preference learning, its effectiveness in personalized settings critically depends on how preference pairs are selected. Existing approaches typically rely on heuristic criteria, such as likelihood-based extremes, which decouple optimization from explicit user utility and can lead to degraded personalization. We formalize personalized preference learning as a geometry-aligned optimization problem by analyzing the first-order interaction between gradients of expected user utility and DPO update directions. Our analysis reveals that, under off-policy sampling, the DPO update transitions from a purely error-corrective signal to a reinforcement-like update when preference margins are directionally aligned with utility gradients. This perspective exposes pair selection as a geometric decision that governs whether preference optimization advances or hinders personalization. Motivated by this insight, we propose GAP-DPO (Geometry-Aligned Preference DPO), an iterative algorithm that performs utility-aware, geometry-aligned pair selection while controlling distribution shift via epoch-wise regeneration. Experiments on personalized text generation benchmarks show that GAP-DPO consistently improves stylistic fidelity, preference alignment, and generation quality compared to standard DPO variants. Together, our results establish gradient alignment as a unifying principle for personalized preference optimization and demonstrate that pair selection is an intrinsic component of the optimization geometry rather than a heuristic preprocessing step.

中文摘要

摘要：个性化大型语言模型（LLM）需要将生成行为与用户特定偏好对齐，而不是仅关注总体质量。虽然直接偏好优化（DPO）为偏好学习提供了一个稳定的框架，但其在个性化场景中的有效性关键取决于偏好对的选择方式。现有方法通常依赖启发式标准，例如基于可能性的极值，这会将优化与明确的用户效用脱钩，并可能导致个性化效果下降。我们通过分析期望用户效用梯度与DPO更新方向的一阶交互，将个性化偏好学习形式化为一个几何对齐的优化问题。我们的分析显示，在离策略采样下，当偏好边际方向与效用梯度对齐时，DPO更新会从纯粹的误差校正信号转变为类似强化学习的更新。这一视角揭示了偏好对选择是一个几何决策，它决定了偏好优化是推进还是阻碍个性化。受到这一见解的启发，我们提出了GAP-DPO（几何对齐偏好DPO），这是一种迭代算法，能够在控制分布迁移的同时，通过按周期再生成执行效用感知、几何对齐的偏好对选择。个性化文本生成基准实验表明，与标准DPO变体相比，GAP-DPO在风格一致性、偏好对齐和生成质量方面均稳定提升。综合来看，我们的结果确立了梯度对齐作为个性化偏好优化的统一原则，并证明偏好对选择是优化几何的内在组成部分，而非启发式预处理步骤。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00061 (HTTP 429)

Authors: Ruoming Jin, Xinyu Li, Hao Zhou, Jianfeng Zhu, Ruixin Guo, Feodor Dragan, Lei Xu, Haixun Wang, Yang Zhou

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00061.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00061

Published: 2026-10-04T02:52:45.773Z

8. K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook

Abstract:K-Dense BYOK (bring your own keys) is a free, open-source AI research assistant for scientists in any field that runs on the researcher’s own computer. The researcher supplies access to a model of their choice, hosted or running locally, and the application supplies everything else: a place for the work to run, a layer of scientific scaffolding, and a complete record. Each project is an ordinary folder, so the data, the code, the results, and the record stay on a machine the researcher administers and can be read years later without the application. Three things separate it from a chat assistant or a general-purpose coding agent. It ships a library of written scientific procedures, guided workflow templates, catalogs of where research data can be found, and reviewer and writer roles the agent can hand work to. It keeps a Living Lab Notebook whose entries link into an argument and are added to but never erased. And it records what happened by watching what the agent does rather than by taking the agent’s word for it, in a log the agent has no tool that can write to. That choice targets the most common failure, model overclaiming, in our earlier benchmark of nine frontier models, by making claims checkable rather than preventing them. On twenty interdisciplinary research prompts, scored under a rubric fixed in advance, K-Dense BYOK led two managed platforms on both scientific quality and research execution. Its deliverables were the only ones that recorded the software they ran in, and the only ones that usually arrived with a command that regenerates the results. One of the managed platforms ran the same frontier model and supplied neither. Those environment records were files the agent wrote, not part of the observed log, which does not yet capture the software environment itself. The code is available under the MIT license at this https URL.

中文摘要

摘要：K-Dense BYOK（自带密钥）是一个免费的开源人工智能研究助手，适用于任何领域的科学家，在研究者自己的计算机上运行。研究者提供对他们选择的模型的访问权限，无论是托管的还是本地运行的，而应用程序提供其他所有功能：一个运行工作的地方、一层科学支架以及完整的记录。每个项目都是一个普通文件夹，因此数据、代码、结果和记录都保存在研究者管理的机器上，并且即使多年后没有该应用程序也可以读取。它与聊天助手或通用编码代理不同的三点是：它附带了科学流程库、引导工作流模板、研究数据的目录以及可以将任务交给的审阅者和撰写者角色。它保留一个“活实验记录簿”，其中条目与论证相连，可以添加但从不删除。它通过观察代理的行为而非直接采信代理的话来记录发生的情况，保存在代理无法写入的日志中。这个选择瞄准了我们在之前对九个前沿模型的基准测试中发现的最常见问题——模型夸大，通过使声明可验证而非阻止声明。在二十个跨学科研究题目上，根据预先确定的评分标准，K-Dense BYOK在科学质量和研究执行上领先于两个托管平台。它的交付成果是唯一记录运行软件的，也是唯一通常附带生成结果命令的。而其中一个托管平台运行了同一前沿模型，却未提供任何上述信息。那些环境记录是代理写入的文件，并非观察日志的一部分，观察日志仍未捕获软件环境本身。代码可在此 https URL 以 MIT 许可证获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00074 (HTTP 429)

Authors: Aubrey M. Brueckner, Darshil Patel, Yuhuan He, Timothy Kassis

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00074.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00074

Published: 2026-10-04T02:52:45.773Z

9. Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

Abstract:Detailed profession-specific system prompts raise token use and estimated cost per response without a consistent accuracy gain. We evaluate Scientific Agents, an open-source corpus of 503 profession-specific this http URL profiles, with Gemini 3.8 Flash via OpenRouter in the Pi agent harness. We compare matched profiles with four controls: a minimal baseline (“You are a helpful assistant”), the profile’s opening role sentence, a generic scientific rigor guide, and a profile from an unrelated domain. Across nine text-based science benchmarks (4,531 sampled questions, 100 matched profiles), 4,488 items completed all five conditions after API-error retries, scored with automated, rule-based grading. The average profile-baseline accuracy difference is -0.6 percentage points (95% bootstrap interval [-1.5, +0.2] across fixed tasks), and no benchmark shows a statistically clear improvement. Matched profiles produced 1.5-2.3 times as many output tokens and cost 2.2-4.5 times more per successful call. On 60 tool-using BioMysteryBench bioinformatics problems (three runs each for baseline and profile), mean solve rates were 46.7% with the profile and 56.7% at baseline, a difference of -10.0 percentage points (95% interval [-16.7, -3.3]) driven by more frequent token- and time-limit stops under the profile. Longer prompts had one unexpected operational advantage: on SuperGPQA, frequent provider API drops left the short baseline with a correct first-pass answer on only 54.0% of items, against 71.6% with the profile. Generic and mismatched prompts were about as reliable, so this gain comes from prompt length or formatting rather than domain expertise. For the tested model and tasks, loading full profession profiles by default does not improve accuracy and costs considerably more; whether selective retrieval of profile sections or open-ended scientific tasks would change this remains to be tested.

中文摘要

摘要：详细的特定职业系统提示会增加令牌使用量和每次响应的预计成本，但不会带来一致的准确性提升。我们使用 Pi 代理框架，通过 OpenRouter 调用 Gemini 3.8 Flash，评估了 Scientific Agents，这是一个包含 503 个特定职业简介的开源语料库（此 http URL）。我们将匹配的简介与四个对照条件进行比较：最小基线（“你是一个乐于助人的助手”）、简介的开场角色句子、通用科学严谨指导，以及来自不相关领域的简介。在九个基于文本的科学基准测试（4,531 个抽样问题，100 个匹配简介）中，4,488 个条目在 API 错误重试后完成了所有五种条件的测试，并通过自动规则评分。平均简介与基线的准确率差异为 -0.6 个百分点（95% 自助法区间 [-1.5, +0.2]，固定任务范围内），且没有任何基准显示出统计上明显的提升。匹配简介生成的输出令牌数量是基线的 1.5-2.3 倍，每次成功调用的成本是基线的 2.2-4.5 倍。在 60 个使用工具的 BioMysteryBench 生物信息学问题上（基线和简介各运行三次），平均解决率分别为：简介 46.7%，基线 56.7%，差异为 -10.0 个百分点（95% 区间 [-16.7, -3.3]），主要由于使用简介时更频繁的令牌和时间限制中止。较长的提示有一个意外的操作性优势：在 SuperGPQA 上，由于提供者 API 频繁掉线，短基线在第一轮尝试中仅有 54.0% 的问题得到正确答案，而使用简介时为 71.6%。通用和不匹配的提示的可靠性大致相当，因此该提升来自提示长度或格式，而非领域专业知识。对于测试的模型和任务，默认加载完整职业简介并不会提高准确性，却明显增加成本；是否通过选择性检索简介部分或应对开放式科学任务能够改变这一结果，仍有待测试。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00084 (HTTP 429)

Authors: Timothy Kassis

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00084.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00084

Published: 2026-10-04T02:52:45.773Z

10. Comedic Fool’s Gold: Reward Exploits and Countermeasures in Conversational Humor

Abstract:We investigate automated rewards for training language models in conversational humor, focusing on reward exploits and countermeasures. Two approaches aim to capture understandable surprise and predicted audience amusement. Controlled tests show that an embedding-based surprise reward accepts word-shuffled replies as readily as witty ones. A fluency filter detects the shuffles, but the combined reward also rejects some witty replies and fails further validation. An audience model’s predicted laughter is instead vulnerable to laughter cues in either speaker’s messages. Normalizing these cues across speakers blocks the covered attacks, although unmatched expressions remain exploitable. Three reinforcement-learning runs evaluate training with successive reward revisions. The final run improves the combined evaluation score by 0.0903 and reduces zero-score sessions by 40%, but its humor-specific improvement remains below our preregistered target. These findings illustrate a broader challenge for automated reward design: countermeasures must block exploitable shortcuts while preserving the behavior the reward was intended to encourage.

中文摘要

摘要：我们研究了用于训练会话幽默语言模型的自动奖励，重点关注奖励漏洞及其应对措施。两种方法旨在捕捉可理解的惊喜感和预测的观众愉悦感。受控测试显示，基于嵌入的惊喜奖励对打乱单词顺序的回复和机智回复的接受度相当。流畅性过滤器可以检测到这些打乱，但组合奖励也会拒绝一些机智回复，并且在进一步验证中失败。观众模型预测的笑声则容易受到任意一方发言中的笑声提示的影响。对这些提示进行跨发言者归一化可以阻止已知的攻击，但未匹配的表达仍可被利用。三次强化学习运行评估了在连续奖励修正下的训练效果。最终运行使组合评估分数提高了0.0903，并减少了40%的零分会话，但幽默特定的改进仍低于我们预先注册的目标。这些发现说明了自动奖励设计的更广泛挑战：应对措施必须阻止可利用的捷径，同时保留奖励本意所期望的行为。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00197 (HTTP 429)

Authors: Sam Larson

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00197.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00197

Published: 2026-10-04T02:52:45.773Z

Evaluation Domain Papers

1. Heavy-Tailed Memory Traces in Long-Horizon Language Agents

中文摘要

摘要：长期语言智能体越来越依赖外部记忆作为冻结的世界模型，但目前的记忆系统通常只通过任务成功率或令牌成本来评判。我们认为缺失的要素是记忆使用的形状：在有限上下文和重复检索下，智能体的记忆可能集中于一个小的核心，同时将罕见状态留在长尾中，在长尾中预测误差会累积。我们通过保守的尾部审计研究了这一效应，发现集中性是可复现的，但依赖于策略。随机游走智能体产生与对数正态相兼容的检索伪影，而语义型大语言模型策略产生最强的截断幂律兼容的核心—尾部痕迹。受此审计启发，我们提出了核心—尾部世界模型（CTWM），这是一种基于排名的记忆控制器，通过单一指数 $ au$ 分配提示预算，同时保留尾部的摘要。在合成图世界中，CTWM保持了完整的状态和转换覆盖率，相对于图记忆基线，提示令牌减少了 5.9%，底半部分尾部预测误差降低了 13.6%。同样的配对比较在 ALFWorld 上也给出了稳定的令牌节省，在 LongMemEval 上则实现了 24.48% 的令牌减少，同时总体准确率保持一致。这些结果表明，重尾记忆痕迹不仅是有限检索的诊断指标，也是令牌高效智能体世界模型的实用控制信号。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00010 (HTTP 429)

Authors: Xinyuan Song, Zekun Cai

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00010.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00010

Published: 2026-10-04T02:53:11.231Z

2. When Do Causal World Models Help Modular LLM Agents

中文摘要

摘要：大型语言模型（LLM）代理越来越多地通过模块化系统执行操作，例如订单、支付、库存和发货服务，其中一个模块中的操作会改变另一个模块中哪些转换是有效的。标准的世界模型通常拟合观测轨迹，但这并不是干预时规划所需的量：轨迹可能显示支付发生在发货之前，但无法确定支付是否授权发货，库存是否中介了该效果，或是否存在隐藏触发因素解释两者。我们通过FedCausalCompose研究这一差距，这是一种针对模块化LLM代理的因果世界模型框架，其中局部操作提供跨模块接口的干预-响应证据。我们首先表明，在未阻塞的后门路径下，观测世界模型会产生不可消除的干预误差；随着干预-响应覆盖的增加，接口恢复会得到改善；当覆盖率和局部机制误差得到控制时，神谕因果组合能够超越非因果下界。然后，我们在诊断代理环境中测试了这一预测。在结构化工具环境中，因果接口最有帮助，因为API签名显示了前提条件和下游影响。相比之下，对话和叙事环境通常会忽略原始边列表，除非一个短时注意锚点使因果信息与决策相关。这些结果为LLM代理中的因果世界模型确定了一个具体条件：当跨模块接口既在统计上可识别又以代理在执行操作时能使用的形式呈现时，因果结构才有帮助。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00012 (HTTP 429)

Authors: Xinyuan Song, Zekun Cai

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00012.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00012

Published: 2026-10-04T02:53:11.231Z

3. From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

中文摘要

摘要：大型语言模型代理可以提出和执行操作，但提出、权限、调度、经验证的外部效果和服务提拔是不同的主张。我们提出了 Praxa，这是一种代理框架，通过确定性准入、经中介的执行、外部回读、协调和审核的提拔来明确表示这些状态。我们报告了四条证据路线。首先，在一个作者运行的、固定修订版的本地仓库审计中，通过了1,027/1,027个单元测试和89/89个Workerd测试，检测了预期的363个源文件，并满足了四个覆盖率下限；原始每个测试的记录和独立复现不可用。第二，在支持提供者的 Terminal-Bench Core 0.1.1 试点中，跨12个精心挑选的任务，基线和可靠性层各自通过了36个严格试验中的17个。可靠性层使用了37.49%更多的输入和50.73%更多的输出标记，因此试点结果不支持其优越性。第三，在一个调试后、两级协调代理开发比较中，基线和一个源代码编写的候选代理各自完成了180/180个试验，测得精度相等，完全防护的崩溃恢复，并且没有受保护的违规。候选代理使用了37.11%更少的标记，估计终端成本低33.84%，步骤减少11.63%；但这并不证明其质量、延迟或生产行为有所改善。第四，部署的源/配置证据显示了有限的反思、召回核算、内存编译和工具健康路径，但没有生产结果的提升。Praxa 支持的贡献是一个证据约束的架构，使权限到效果的转换明确且可测试。现有证据未能证明对抗性安全性、生产安全性、一般专家优越性、自主递归优化或用户利益。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00015 (HTTP 429)

Authors: Stefan G. Creadore

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00015.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00015

Published: 2026-10-04T02:53:11.231Z

4. What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA

中文摘要

摘要：专门角色的问答（QA）流程越来越多地将推理者的理由传递给验证者，但目前尚不清楚这种信息传递究竟带来了什么：更好的答案、更强的支持评估，还是新的失败面。我们引入了一种消息干预诊断方法，该方法在固定证据和候选答案的同时，仅变化跨推理者到验证者边界传递的理由。在使用 DeepSeek 作为生成器和验证器的 400 个 MuSiQue、HotpotQA 和 2WikiMultiHopQA 示例上，可信的理由相比没有理由几乎不增加答案准确率，而被篡改的理由则强烈改变了支持判断。在盲验证提示下，无害的改写仅能将支持改变 0–2.5%，而被篡改的理由将支持改变 10–22%；明确的理由检查提示将相同模式放大至 34–55%。最终答案的变化较小（2–30%），且只有 2.9–35.3% 的被篡改支持翻转与答案变化同时发生。人工审核显示了其重要性：在 42 个有效的篡改中有 16 个属于过度信任篡改案例，而盲人工审核中，模型接受的 10 个被审核的篡改理由中有 9 个被拒绝或标记为不清楚。跨模型和任务边界检查显示了该信息通道何时处于活跃、增强、无效或折叠进任务标签。理由共享应作为一种验证消息机制进行评估，而不仅仅是提高答案准确率的途径。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00018 (HTTP 429)

Authors: Jiameng Zhang, Hongqiu Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00018.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00018

Published: 2026-10-04T02:53:11.231Z

5. Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

中文摘要

摘要：代理利用越来越多，希望在边缘大语言模型（LLM）规划器周围的微任务上运行小型语言模型（SLMs）：自动批准 shell 命令、写入内存、选择工具、排序过去的回合。我们探讨现成的 SLM 是否达到从业者定义的阈值，当它们未达到时，原因是什么，以及量化是否会改变结果。我们构建了一个包含 4 个此类微任务的基准，使用固定提示和自动评估指标，每个任务都有一个预先指定的阈值 $ au$，该阈值以廉价的非 LLM 基线为锚，并带有 CI 感知的合格性规则（只有置信区间超过 $ au$ 的配置才被认为合格）。在其最佳状态下扫描 Qwen3 0.6/1.7/4/8B（FP16、贪婪、一个固定提示、无调优），我们发现存在合格性差距：16 个配置（4 个任务 × 4 个模型）中无一合格（通过检查原始输出和解析器行为验证）。使用 logprob 决策阈值诊断（T1/T3/T4；通过上下文长度/级联探测诊断 T2）将失败分为能力不足和可通过改变解码阈值解决的失败（4 种情况）。量化到 4 位（RTN/GPTQ/AWQ）会造成与模型大小相关的损伤，并且没有配置因此变得合格（在可重建硬标签任务 T1/T3 上经过验证，对 T2/T4 进行诊断/窗口稳健性测试），因此差距更多地与模型大小相关而非精度；在 Llama-3.x 上也可复现（12/12 不合格），并且对锚点选择（$ au$ 扫描）和提示措辞稳健（原始加每个单元 3 个中性改写，共 0/112 合格）。实际意义：将 SLM 放置在满足 CI 支持阈值的基线之后，仅在基线未达到阈值时使用 SLM；例如，在 BM25 候选列表上运行 4B 重排序器超过 BM25（$+0.047$ [0.020, 0.073]，自身不认证合格）。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00025 (HTTP 429)

Authors: Jundong Hu, Shekar Ramachandran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00025.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00025

Published: 2026-10-04T02:53:11.231Z

6. Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs

中文摘要

摘要：在并行思维链中多样性崩溃的问题促使研究者开发了基于自然设计的推理时干预方法：当一个过程奖励模型（PRM）修剪一条思维链时，它的高PRM前缀会被提取出来，并原样嫁接为仍在解码的兄弟链中的上下文示例。我们将这一机制隔离出来，称为PRM修剪片段嫁接（PPFG），作为跨轨迹逐步转移的成本最小化实现方法，并在先前片段嫁接工作仅在加入额外补偿因素时报告有收益的操作点上进行了测试。在Qwen2.5-7B-Instruct模型上，使用Math-Shepherd处理完整的MATH500（n=500，三次随机种子），PPFG在停滞目标和随机目标两种变体中，在每一个测量维度上与独立的并行思维链基线统计上无显著差异。我们分析了原因：对322次停滞规则注入事件进行四类归类显示，只有14%的注入针对真正困难的思维链；其余的注入落在已经成功、接近完成或处于平坦PRM平台的链上，而救援式嫁接无法改变这些状态。没有哪种复合门控调整可以同时实现目标明确的触发和足够的触发密度，而随机对照组在触发率增加2.4倍的情况下也达到了相同的结果，因此这一惰性并非特定启发式。该发现已经在三种基础语言模型、六个基准测试、第二个PRM以及兼容门控的扫描中得到重复验证；双单边检验分析将这一同等性提升为在所有十二个Qwen/LLaMA单元上的正等效性。事件级随机检查发现，注入的链以匹配步长率的2.75倍被修剪，但存活兄弟链的反事实分析未发现群体层面的补偿。事后全知模型将选择PPFG而非独立方法的每题增益上限限定在+0.13个百分点。我们贡献了一种用于建立推理时机制无效性的等效性测试模板，并将每一项结论限定在其测试的操作点范围内。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00047 (HTTP 429)

Authors: Khawaja Murad ul Hassan, Mehran Ebrahimi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00047.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00047

Published: 2026-10-04T02:53:11.231Z

7. Gradient-Aligned Pair Selection for Personalized Preference Optimization

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00061 (HTTP 429)

Authors: Ruoming Jin, Xinyu Li, Hao Zhou, Jianfeng Zhu, Ruixin Guo, Feodor Dragan, Lei Xu, Haixun Wang, Yang Zhou

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00061.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00061

Published: 2026-10-04T02:53:11.231Z

8. K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook

中文摘要

摘要：K-Dense BYOK（自带密钥）是一个免费的开源人工智能研究助手，适用于任何领域的科学家，在研究者自己的计算机上运行。研究者提供对他们选择的模型的访问权限，无论是托管的还是本地运行的，而应用程序提供其他所有功能：一个用于运行工作的环境、一层科学支架以及完整的记录。每个项目都是一个普通文件夹，因此数据、代码、结果和记录都保存在研究者管理的机器上，即使几年后也可以在没有应用程序的情况下读取。三个方面将其与聊天助手或通用编码代理区分开来。它提供了一个书面的科学流程库、指导工作流程的模板、研究数据所在位置的目录，以及代理可以交付工作的审稿员和撰写者角色。它维护一个活实验笔记本，其中的条目与论证相连，并且新增内容从不删除。它通过观察代理的行为来记录发生的事情，而不是仅仅依赖代理的自述，日志中代理没有任何工具可以写入。这个选择针对我们之前对九个前沿模型的基准测试中最常见的失败——模型过度声明，通过使声明可验证而非阻止声明。在20个跨学科研究提示下，根据预先固定的评分标准，K-Dense BYOK在科学质量和研究执行方面均领先于两个托管平台。其成果是唯一记录运行软件的，并且通常附带可重新生成结果的命令。一个托管平台运行了相同的前沿模型，却没有提供上述信息。那些环境记录是代理写入的文件，并不属于观察日志的一部分，而观察日志尚未捕获软件环境本身。代码在MIT许可证下可通过此https链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00074 (HTTP 429)

Authors: Aubrey M. Brueckner, Darshil Patel, Yuhuan He, Timothy Kassis

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00074.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00074

Published: 2026-10-04T02:53:11.231Z

9. Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

中文摘要

摘要：详细的职业特定系统提示会增加令牌使用量和每次响应的预计成本，但不会带来一致的准确性提升。我们使用 Pi 代理框架，通过 OpenRouter 调用 Gemini 3.8 Flash，评估了 Scientific Agents，这是一个包含 503 个职业特定简介的开源语料库（此 http URL）。我们将匹配的简介与四个对照条件进行比较：最小基线（“你是一个乐于助人的助手”）、简介的开场角色句子、通用科学严谨指导，以及来自不相关领域的简介。在九个基于文本的科学基准测试（4,531 个抽样问题，100 个匹配简介）中，4,488 个条目在 API 错误重试后完成了所有五种条件的测试，并通过自动规则评分。平均简介与基线的准确率差异为 -0.6 个百分点（95% 自助法区间 [-1.5, +0.2]，固定任务范围内），且没有任何基准显示出统计上明显的提升。匹配简介生成的输出令牌数量是基线的 1.5-2.3 倍，每次成功调用的成本是基线的 2.2-4.5 倍。在 60 个使用工具的 BioMysteryBench 生物信息学问题上（基线和简介各运行三次），平均解题率为：使用简介为 46.7%，基线为 56.7%，差异为 -10.0 个百分点（95% 区间 [-16.7, -3.3]），主要原因是简介下的令牌和时间限制导致的停止更频繁。较长的提示有一个意外的操作优势：在 SuperGPQA 上，频繁的提供商 API 中断导致短基线提示仅在 54.0% 条目中首次尝试正确回答，而简介提示首次尝试正确率为 71.6%。通用和不匹配的提示大致同样可靠，因此这种提升来自提示长度或格式，而非领域专业知识。对于测试的模型和任务，默认加载完整职业简介并不会提高准确性，而且成本显著增加；是否选择性地检索简介部分或处理开放式科学任务会改变这一结果，仍需进一步测试。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00084 (HTTP 429)

Authors: Timothy Kassis

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00084.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00084

Published: 2026-10-04T02:53:11.231Z

10. Comedic Fool’s Gold: Reward Exploits and Countermeasures in Conversational Humor

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00197 (HTTP 429)

Authors: Sam Larson

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.00197.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00197

Published: 2026-10-04T02:53:11.231Z

VLM Domain Papers

1. STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets

Abstract:Vision models pretrained for frame-level appearance often struggle to infer hidden physical properties from motion. We study center-of-mass (CoM) localization for opaque, asymmetric rigid bodies from short monocular videos, where surface cues and point tracking are unreliable under self-occlusion. We propose STATERA, which adapts a pretrained video backbone (V-JEPA) with mostly frozen weights and a lightweight temporal tubelet mixer to predict per-frame CoM heatmaps and trajectories. To support this task, we introduce the HiddenMass Benchmark, comprising 50K MuJoCo trajectories and a 63-sequence real-world test set with physically calibrated CoM ground truth. In simulation, STATERA-50K-Sigma improves normalized CoM error from 41.7% (DINOv2) to 25.2%. In zero-shot sim-to-real transfer, we observe a fundamental trade-off in supervision: phase-aware targets can induce bimodal predictions, while phase-agnostic targets can collapse toward statistically safe centroids. Nevertheless, our phase-aware STATERA-50K-Crescent is the only evaluated method that demonstrates consistent movement toward the true hidden offset. While this leads to a monocular vector overshoot artifact that marginally increases absolute Euclidean error compared to a static geometric centroid, it improves physics capture from 2.6% to 41.0%. These results suggest that frozen temporal representations can better separate inertial dynamics from visual geometry for hidden-parameter estimation.

中文摘要

摘要：针对帧级外观预训练的视觉模型，往往难以从运动中推断隐藏的物理属性。我们研究了从短单目视频中对不透明、不对称刚体的质心（CoM）定位，其中在自遮挡情况下，表面线索和点跟踪不可靠。我们提出了 STATERA，它通过大部分权重冻结、辅以轻量级时间管束混合器，来调整预训练视频骨干网络（V-JEPA），以预测每帧的质心热图和轨迹。为了支持这一任务，我们引入了 HiddenMass 基准，包括 5 万条 MuJoCo 轨迹和 63 个带有物理校准质心真实值的真实世界测试序列。在仿真中，STATERA-50K-Sigma 将归一化质心误差从 41.7%（DINOv2）改进到 25.2%。在零样本仿真到真实转移中，我们观察到监督存在根本性权衡：考虑阶段的目标可能导致双峰预测，而不考虑阶段的目标可能会收敛到统计上安全的质心。然而，我们的考虑阶段的 STATERA-50K-Crescent 是唯一在评估中显示出稳定向真实隐藏偏移运动的方法。虽然这导致单目向量过冲现象，使绝对欧几里得误差相比静态几何质心略有增加，但物理捕获能力从 2.6% 提升至 41.0%。这些结果表明，冻结的时间表示可以更好地将惯性动力学与视觉几何分离，用于隐藏参数估计。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*从短单目视频中估计不透明、非对称刚体隐藏物理属性——特别是质心（Center of Mass, CoM）位置\*\*的问题。具体而言，该研究聚焦于以下核心挑战： - \*\*视觉-运动混叠（Visual-Kinematic Aliasing）\*\*：现有基于帧级外观预训练的视觉基础模型（如 DINOv2）倾向于跟踪高对比度的表面视觉特征，而非恢复真实的内部质量分布，导致预测结果混淆视觉几何与物理惯性。 - \*\*隐藏参数不可观测性\*\*：对于内部质量分布不均的物体，其真实质心是一个不可见的内部数学坐标，与视觉几何中心不重合；在自由翻滚过程中，外部表面点跟踪在数学上无法反推内部体积运动学。 - \*\*自遮挡与表面线索失效\*\*：在多轴旋转和自遮挡条件下，表面纹理、边缘及稠密点跟踪（如 CoTracker、TAPIR）因运动模糊和遮挡而失效，无法提供可靠的内部质量运动证据。 - \*\*零样本仿真到现实迁移（Zero-Shot Sim-to-Real Transfer）\*\*：如何在仅使用仿真数据（MuJoCo）训练的情况下，将模型零样本迁移到真实世界视频，并在标定相机条件下实现跨物体的物理参数估计。 - \*\*监督目标的内在权衡\*\*：相位感知（phase-aware）训练目标虽能捕捉方向性动量，但可能引发双峰预测；相位无关（phase-agnostic）目标虽能稳定收敛，却容易坍缩到统计安全的几何中心，牺牲物理解耦能力。简言之，该工作试图突破传统空间视觉模型仅关注静态外观与表面几何的局限，利用冻结的时序视频表示（V-JEPA）从原始像素中提取牛顿力学动量与旋转扭矩，以实现对隐藏质量分布的隐式推理与跟踪。 Q2: 有哪些相关研究？该论文在第2节系统梳理了四个主要相关研究方向： ### 1. 视觉基础模型与时序表示 - \*\*空间基础模型\*\*：以 DINOv2 为代表的架构通过优化空间相似性与块级重建，在语义分割、深度估计和几何推理等任务上表现优异。然而，由于仅评估孤立帧，缺乏编码动量、转动惯量等牛顿力学所需的时序导数。 - \*\*视频联合嵌入预测架构（V-JEPA）\*\*：通过在抽象潜空间中预测缺失的时序段来优化，迫使网络学习场景的底层转移动力学。STATERA 即构建于部分冻结的 V-JEPA 主干之上，利用其预训练的时序表示来跟踪静态空间嵌入中不可见的运动学属性。 ### 2. 基于视频的直觉物理 - \*\*认知与计算基础\*\*：早期研究围绕直觉物理的认知模型展开（如 Battaglia 等, 2013; Tenenbaum 等, 2011）。 - \*\*物理推理基准\*\*：PHYRE

1
等框架显式测试机械事件的前向预测能力，但主要依赖简化的 2D 物理引擎或显式状态访问。 - **研究过渡**：本文将目标从受控模拟环境转向无约束的真实世界视频，要求网络直接从原始像素的时空导数中提取隐藏质量值，而无需工程化的状态抽象。 ### 3. 以对象为中心的跟踪与推理 - **显式三维与对象级方法**：包括神经辐射场（NeRFs）

21
、3D 高斯溅射（3D Gaussian Splatting）
14
以及 Slot Attention 机制
18
。这些方法在解耦独立实体和重建复杂表面几何方面表现出色。 - **局限性**：尽管空间保真度高，上述方法难以推断隐藏的内部物理属性（如密度或非对称质心），因为其优化目标严格受限于可见表面渲染或分割精度，而非连续的牛顿动量约束。 ### 4. 物理推理与点跟踪 - **经典系统辨识**：机器人领域常采用扩展卡尔曼滤波器（EKF）

12
估计惯性参数，但通常需要显式、无噪声的状态观测（如边界框尺寸或 IMU 数据）。 - **现代两步流水线**：当前常见做法是先使用点跟踪模型（如 CoTracker
13
、TAPIR
5
）提取表面坐标，再将其输入经典刚体求解器。 - **根本缺陷**：对于不透明、翻滚的刚体，光学点跟踪因严重运动模糊和自遮挡而失效。真实质心是一个视觉上不可访问的内部数学坐标，表面点跟踪在数学上不适于内部体积运动学反推。 - **端到端潜时序方法**：STATERA 绕过表面对应关系，直接以端到端方式从视频潜空间提取运动学。 Q3: 论文如何解决这个问题？该论文通过提出 **STATERA**（Spatio-Temporal Analysis of Tensor Embeddings for Rigid-body Asymmetry）框架，将质心（CoM）估计重新定义为**动态连续跟踪任务**，而非静态空间检测任务。其核心解决路径可概括为以下五个层面： —- ### 1. 核心思路：从时序动量中解耦隐藏质量传统空间模型依赖单帧外观或表面纹理，容易将视觉几何中心与真实物理质心混淆。STATERA 基于如下假设：视频预训练模型（尤其是 V-JEPA）在潜空间中编码了关于惯性与动量的物理先验。通过观察刚体在抛掷、碰撞与翻滚过程中的**离轴扭矩与冲量梯度**，模型可以反推出内部质量分布引起的运动学差异。具体而言，真实的 CoM 在空间中遵循平滑的抛物线轨迹，而几何中心会因角速度产生振荡；最小化预测轨迹的高频抖动即可在数学上隔离真实的 CoM。 —- ### 2. 架构设计：冻结时序主干 + 轻量解码器 STATERA 采用一种参数高效的 2.5D 多任务架构（见图 2）： - **部分冻结的 V-JEPA 2.1 主干**：以 ViT-L 为基座，输入 384 × 384 的 16 帧视频序列（ T=16 ，24 FPS）。主干将序列压缩为 T=8 个时序管（temporal tubelets），每个管含 576 个空间块。 - **时序管混合器（Temporal Tubelet Mixer）**：在潜空间中对时序维度施加 1D 卷积（核大小为 3）以计算速度导数，随后通过 F.interpolate 上采样回 T=16 。该插值在**高维连续潜空间**中完成，避免了在离散坐标空间中引入量化噪声。 - **空间保留解码器（Spatial Preservation Decoder）**：区别于全局平均池化破坏局部几何的做法，STATERA 将 576 个块重塑为原生 24 × 24 空间网格，并通过转置卷积上采样至 64 × 64 ，保持局部空间等变性与亚像素精度。 - **双任务头**： - **Head A**：输出 2D 空间热图，表示每帧 CoM 的概率分布； - **Head B**：输出 1D 绝对 Z 深度标量，作为几何正则器，强制潜空间解耦 2D 像素速度与真实 3D 动量，确保透视不变性。整个解码器仅约 250 万可训练参数，可在单张消费级 GPU 上完成训练。 —- ### 3. 连续坐标提取：消除量化噪声直接对离散网格做 argmax 会引入高频量化噪声，破坏二阶时序导数（加速度）的平滑性。STATERA 采用如下两阶段策略： - **训练阶段**：使用 KL 散度（Kullback-Leibler Divergence）在 64 × 64 离散网格上塑造高密度概率分布； - **推理阶段**：应用 **Temperature-Scaled Soft-Argmax**（ τ = 1.0 ）提取连续亚像素坐标：

c = ∑(x=0)^(W-1) ∑(y=0)^(H-1) ( exp(haty(x,y)/τ)∑(i=0)^(W-1)∑(j=0)^(H-1) exp(y(i,j)/τ) ) (x, y)^T
该机制将概率质量轻微扩散到相邻像素，实现从离散空间训练到连续运动学评估的无缝桥接。 —- ### 4. 训练动态与正则化策略为在缺乏直接视觉线索的条件下稳定提取隐藏参数，论文引入了几项关键训练技术： - **Crescent Target（新月形目标）**：将空间径向先验（以几何中心为原点、半径 R = |c(true) - c(box)|_2 的环状分布）与 **Von Mises 角相位掩码** 相交，形成沿真实旋转弧段分布的平滑质量团。其数学形式为：

H(p) = exp( -(|p - c(box)|_2 - R)^22σ^2 ) · exp( kappa · (cos θ_p - 1) )
其中 θ_p 为像素 p 相对于几何中心的方位角与真实 CoM 方位角之差， kappa = 50.0α 为课程浓度参数。 - **课程标签平滑（Curriculum Label Smoothing）**：目标分布从初始的宽斯 sigma（ σ = 12.5 ）按课程逐步收缩至高频脉冲（ σ = 3.0 ），防止网络过早过拟合于静态视觉启发式。 - **非对称时序二次加权掩码**：
W(f) = max(0.05, ((f) / (15.0))^2)
该掩码降低初始帧（ f=0 ）的惩罚权重——因为此时缺乏历史动量，内部质量分布在数学上不可观测——而强化末期帧的监督，迫使网络依赖动力学累积而非单帧外观。 - **时序特征 Dropout**：在 1D 卷积后随机置零 25% 的时序特征图，迫使网络利用潜空间中的物理先验进行轨迹插值，而非逐帧独立检测。 - **多任务损失**：
L(total) = L(KL)(H, H(gt)) + λ L(Huber)(z, z(gt))
其中 λ = 0.1 ，Z 深度分支提供绝对尺度约束，防止 2D 投影中的向量越界。 —- ### 5. 零样本仿真到现实的迁移机制为实现从 MuJoCo 仿真到真实视频的零样本迁移，论文构建了 **HiddenMass-50K** 基准，并采取以下桥接策略： - **域随机化**：53.8% 的仿真序列施加随机相机扰动，Z 深度在 0.43,m 至 14.87,m 间动态缩放，防止透视尺度崩溃。 - **固定物理像素裁剪**：在真实推理时，利用标定的 ArUco 外参计算覆盖整个 16 帧轨迹的单一固定边界框，保持像素-米比例恒定，使绝对深度线索在空间特征中得以保留。 - **ArUco 仅用于真值标定**：外部标记仅作为 ground-truth 姿态锚点，从不作为模型输入，确保网络从自然运动原语而非人工纹理启发式中学习。通过上述设计，STATERA 在不使用真实世界标注训练的情况下，能够将仿真中习得的惯性动力学先验迁移至真实世界的多轴翻滚场景，并在严格物理评估指标（Physics Capture Ratio）上显著优于空间基础模型、3D-CNN 及表面点跟踪器。 Q4: 论文做了哪些实验？论文围绕 **HiddenMass-50K** 仿真基准与 **63 序列真实世界测试集** 开展了一系列实验，涵盖域内验证、零样本迁移、温度敏感性分析及系统消融。具体实验内容如下： —- ### 1. 基准数据集构建 - **HiddenMass-50K（仿真）**：基于 MuJoCo 生成约 50,000 条有效轨迹。刚体包含随机初始化在几何边界半径 10%–90% 范围内的非对称配重；53.8% 的样本施加了随机相机扰动（域随机化），Z 深度动态缩放范围为 0.43,m 至 14.87,m 。训练集 40K，留出 10K 用于域内验证。 - **真实世界测试集**：63 条独立序列（共 1,008 帧），使用不透明长方体（加固纸板）内藏偏轴高密度配重。通过静态支点校准、ArUco 时序锚定与 SO(3) 手性对齐，结合 OpenCV SQPnP 与二次运动学回归，实现亚厘米级物理真值标定。视频以 4K/60FPS 采集，降采样至 24FPS 以匹配 V-JEPA 时序先验。 —- ### 2. 评估指标实验采用四维指标严格解耦空间误差、时序稳定性与物理解耦能力： - **N-CoME（Normalized Center of Mass Error）**：预测与真值坐标间的平均欧氏距离，按每帧动态投影的 2D 边界框对角线 D(bbox) 归一化。 - **Normalized Kinematic Jitter（ J ）**：预测加速度与真值加速度差的 L_2 范数均值，同样归一化于 D(bbox) ，用于惩罚由视觉混叠引起的非物理高频抖动。 - **Physics Capture Ratio**：衡量预测轨迹从视觉几何中心向真实隐藏质量偏移的定向捕获百分比：

Capture = [ ∑(t=1)^(T) (hatc_t - c(box),t) · (c(true),t - c(box),t)∑(t=1)^(T) |c(true),t - c_(box),t|_2^2 ] × 100%

Unified HMS（HiddenMass Score）：加权综合指标（25% 运动学精度 + 25% 跟踪稳定性 + 50% 物理解耦），显式惩罚向几何中心坍缩的统计安全策略。 —- ### 3. 主要定量实验 #### 3.1 域内仿真性能（Table 1）在 10,000 条 MuJoCo 验证序列上，所有基线配备与 STATERA 完全相同的 2.5D 解码器、Crescent Target 课程与多任务损失，以严格隔离主干表征差异： | 模型配置 | N-CoME (%) ↓ | Norm. Jitter ↓ | |:—-|:—-:|:—-:| | Geometric Centroid (Naive Physics) | 34.67 | 0.1796 | | ResNet3D | 55.73 | 0.2425 | | DINOv2 | 41.74 | 0.3119 | | VideoMAE v2 | 39.02 | 0.2136 | | STATERA-50K-Crescent (Phase-Aware) | 29.64 | 0.2011 | | STATERA-50K-Sigma (Phase-Agnostic) | 25.23 | 0.1509 | - DINOv2 表现出显著的视觉-运动混叠，虽然欧氏误差看似可接受，但其 Physics Capture 仅为 2.6%，表明其仅跟踪表面几何而非内部动量。 - STATERA-50K-Sigma 在仿真集上取得最低 N-CoME（25.23%）与抖动（0.1509），但其 Soft-Argmax 期望会向几何中心坍缩（expectation collapse），属于统计安全但物理未解耦的极小化策略。 #### 3.2 零样本真实世界迁移（Table 2）在 63 条真实序列上进行零样本推理，所有模型未见任何真实训练数据： | 模型配置 | N-CoME (%) ↓ | Norm. Jitter ↓ | Physics Capture ↑ | |:—-|:—-:|:—-:|:—-:| | Meta CoTracker2 | 23.99 | 0.0297 | 8.62% | | Google TAPIR | 22.78 | 0.0272 | 8.37% | | Geometric Centroid | 15.19 | 0.0052 | 0.00% | | DINOv2 | 16.87 | 0.0307 | 2.62% | | VideoMAE v2 | 22.53 | 0.0368 | 18.17% | | STATERA-50K-Sigma | 13.44 | 0.0193 | 24.15% | | STATERA-50K-Crescent | 16.09 | 0.0274 | 40.96% | 关键发现： - 期望坍缩（Expectation Collapse）：DINOv2 与 STATERA-50K-Sigma 的 Physics Capture 极低（分别为 2.62% 与 24.15%），说明它们通过向几何中心收缩来最小化欧氏风险，未能提取隐藏质量。 - 向量过冲（Vector Overshoot）：STATERA-50K-Crescent 的 N-CoME（16.09%）略高于几何中心（15.19%），这是其主动远离几何中心、沿真实运动学向量推断隐藏质量所导致的单目 2.5D 投影过冲。但其 Physics Capture 达到 40.96%，是唯一实现显著正向物理解耦的方法。 - 点跟踪器的运动学存活偏差：CoTracker2 与 TAPIR 的 Capture 约 8%，但这并非真正的惯性推理，而是由于表面极端点在旋转中因遮挡过早丢失跟踪，存活点聚集在转动轴（靠近 CoM）附近产生的伪影。 #### 3.3 Soft-Argmax 温度帕累托扫描（Table 3）针对 STATERA-50K-Crescent，在 $τ ∈

1.0, 2.0
范围内评估温度对欧氏精度与物理相位的权衡： | Temperature ( τ ) | N-CoME (%) ↓ | Norm. Jitter ↓ | Physics Capture (%) ↑ | |:—-:|:—-:|:—-:|:—-:| | 1.0 (Default) | 16.09 | 0.0274 | 40.96 | | 1.25 | 15.81 | 0.0270 | 40.13 | | 1.5 | 15.97 | 0.0265 | 39.11 | | 1.75 | 16.61 | 0.0260 | 38.03 | | 2.0 | 17.67 | 0.0255 | 36.95 | - 随着 τ to 2.0 ，Soft-Argmax 期望算子人为平坦化预测分布，以牺牲物理解耦为代价换取轻微的抖动降低。 - 论文选定 τ = 1.0 作为默认配置，显式优先提取真实牛顿向量，而非最小化统计安全的欧氏界。 —- ### 4. 消融实验与深入分析在 1K 序列子集与完整 50K 数据上进行了严格的架构与训练动态消融（详见 Appendix E）： - V-JEPA 时序先验的必要性（Frozen-Anchor）：完全冻结最后两个 Transformer 自适应块（finetune_blocks=0）。该配置性能显著退化（N-CoME: 38.74%，Capture: 25.76%），接近空间基线，证明必须对时序转移动力学进行任务特定的微调。 - Z 深度正则器（Head B）的消融（No-Z-Depth）：移除绝对 Z 深度监督后，模型虽能识别隐藏质量的相位方向，但失去物理尺度约束，导致严重的无界欧氏过冲（N-CoME: 45.11%）。Head B 对锚定 2D 坐标到绝对 3D 边界至关重要。 - 1D 时序卷积消融：移除时序卷积后，性能退化为静态空间基线水平（N-CoME 约 38.74%），证实真正的运动学提取需要在基础层进行时序编码，而非事后拼接。 - VideoMAE v2 替代主干：即使配备相同的 1D 时序混合器，VideoMAE v2 的 Physics Capture 仅 18.17%，远低于 STATERA。因其优化目标为像素级重建，迫使网络记忆表面纹理；而 V-JEPA 的潜预测目标允许网络忽略表层纹理，专运动原语。 - Settling-State 数据集偏差：相位感知目标（Crescent）在仿真中记忆了“重面向下静止”的统计偏好，导致高扭矩空中反弹时出现双峰预测（bimodal split）。论文指出，必须接受这种欧氏惩罚，才能换取真实的物理相位解耦。 —- ### 5. 定性可视化实验 - Figure 3：对比了 DINOv2 与 STATERA-50K-Crescent 的 2D 预测路径。空间模型跟踪高对比表面干扰物，而 STATERA 成功隔离出隐藏质量的平滑抛物线轨迹，尽管存在沿真实运动学向量的欧氏过冲。 - Figure 5：展示了 Crescent 目标在高度模糊相位下产生的视觉-运动混叠——热图呈现双峰分裂，网络在“真实重侧”与“重力底部”之间对冲。 - Figure 6：对比了完整模型（1K-Anchor）与无 Z 深度正则模型（1K-No-Z-Depth）。后者因缺乏 3D 尺度约束，预测点严重超出刚体物理边界，直观呈现向量过冲伪影。 - Figure 7：统一的 HiddenMass Benchmark Performance Profile 雷达图显示，STATERA-50K-Crescent 以最高的 Unified HMS（59.6）显著优于 DINOv2（39.4）与 Sigma 变体（53.9），核心优势体现在 Physics Disentanglement（41. Q5: 有什么可以进一步探索的点？基于论文第 5 节（Conclusion / Limitations / Future Work），可从以下维度展开进一步探索： —- ### 1. 全量训练与架构扩展当前受限于单张消费级 GPU（RTX 5070 Ti），V-JEPA 主干仅部分冻结。未来可在集群级算力支持下从头（from scratch）在物理动力学数据集上训练完整的视频基础架构，而非仅微调适配块。这有望从根本上缓解当前观察到的向量过冲（vector overshoot）与视觉-运动混叠问题，并进一步提升亚像素精度。 —- ### 2. 无碰撞场景的惯性推断现有架构严重依赖接触动力学（抛掷、地面碰撞、摩擦静止）产生的离轴扭矩来激发惯性参数。对于纯空中翻滚（mid-air tumbling without impact）的物体，缺乏冲量梯度可能导致隐藏质量不可观测。需探索如何仅通过空气阻力或磁力矩等弱激励实现惯性辨识。 —- ### 3. 多模态边界约束与安全抓取尽管 STATERA 实现了较强的方向性物理解耦，但其欧氏向量过冲意味着预测的 CoM 偶尔会超出刚体物理边界。对下游机器人操作而言，仅凭视觉方向不足以保证抓取安全。未来可探索： - 触觉/本体感觉先验：将视觉估计与力矩传感器或抓取反馈融合，对预测幅度进行物理硬边界约束； - 不确定性校准与拒绝机制：利用热图的空间熵（高熵对应高度分散的概率质量）作为置信度指标，自动拒绝可能导致末端执行器落空的低置信度抓取。 —- ### 4. 尺度不变与无标定迁移当前零样本迁移假设固定相机距离与标定内参，通过固定物理像素裁剪隐式消除单目深度歧义。要实现真正的无约束跨场景迁移，需引入： - 尺度不变自适应机制：如焦距无关的归一化坐标系或在线相机标定； - 焦距变化鲁棒性：消除对固定像素-米比例的依赖。 —- ### 5. 长时程动态与记忆机制现有模型仅处理 T=16 帧（约 0.66,s ）的短窗口，在复杂多 bounce 场景中偶发双峰预测（同时猜测真实重侧与重力底部）。这表明网络依赖局部状态匹配，而非持续全局物理表示。未来可探索： - 动态时序加权：将静态二次时序掩码替换为由运动学阈值（如角加速度、接触检测）门控的动态掩码，以适应可变静止相位； - 长时程记忆模块：引入循环或缓存机制，在更长轨迹上维持 CoM 估计的时序一致性。 —- ### 6. 无纹理与高度异构物体的泛化虽然 ArUco 标记仅用于真值标定、不作为显式输入，但基础模型对高频纹理的敏感性尚未被完全排除。需在完全无纹理或强表面干扰物（如工具、品牌包装、液体容器）上验证时序先验的鲁棒性，以确证网络提取的是运动学原语而非表面跟踪启发式。 —- ### 7. 生成式物理视频合成该方法可逆向应用于视频生成领域：将 STATERA 提取的运动学嵌入直接输入潜在扩散模型（LDM），在生成视频合成中强制执行严格的牛顿动量约束，从而生成长时程物理一致的多体动力学场景。 —- ### 8. 更广泛的具身 AI 任务由于框架在理论上具有尺度不变性，可将其时序架构适配至更广泛的具身智能任务，例如： - 不透明液体容器操作：通过晃动与旋转产生的时序动量推断内部液体的质心与体积； - 非刚性或铰接体物理参数估计：将刚性假设扩展至可变形体与关节体。 Q6: 总结一下论文的主要内容该论文提出 STATERA（Spatio-Temporal Analysis of Tensor Embeddings for Rigid-body Asymmetry），旨在解决从短单目视频中估计不透明非对称刚体隐藏质心（Center of Mass, CoM）的问题。以下是该工作的主要内容概括： —- ### 1. 研究问题与动机标准视觉基础模型（如 DINOv2）与稠密点跟踪器（如 CoTracker、TAPIR）擅长静态外观或表面运动分析，但在处理多轴翻滚、自遮挡的刚体时，会遭遇视觉-运动混叠（visual-kinematic aliasing）：模型倾向于跟踪高对比度的表面视觉特征，而非恢复真实的内部质量分布。由于真实 CoM 是一个不可见的内部坐标，且表面点跟踪在数学上无法反推内部体积运动学，传统方法在物理上未能实现真正的物理解耦。 —- ### 2. 核心方法：STATERA 该工作将 CoM 估计重新定义为动态连续跟踪任务，而非静态空间检测任务。其架构核心包括： - 部分冻结的 V-JEPA 2.1 主干：利用预训练的时序管（temporal tubelets）表示，提取视频潜空间中的运动转移动力学。 - 时序管混合器：在潜空间中对压缩的时序管施加 1D 卷积以计算速度导数，并通过连续插值上采样，避免离散坐标空间的量化噪声。 - 空间保留解码器：将 patch 特征重塑并上采样至 64 × 64 ，保持局部空间等变性；通过双任务头输出 2D CoM 热图（Head A）与 1D 绝对 Z 深度标量（Head B），后者作为几何正则器强制网络解耦 2D 像素速度与 3D 动量。 - 连续坐标提取：训练阶段使用 KL 散度塑造离散热图，推理阶段采用 Temperature-Scaled Soft-Argmax（ τ = 1.0$）提取亚像素坐标：

c = ∑(x=0)^(W-1) ∑(y=0)^(H-1) ( exp(haty(x,y)/τ)∑(i=0)^(W-1)∑(j=0)^(H-1) exp(y(i,j)/τ) ) (x, y)^T

**课程标签平滑（Crescent Target）**：将径向环状先验与 Von Mises 角相位掩码结合，并配合非对称时序二次加权 W(f) = max(0.05, (f/15.0)^2) ，在训练初期容忍模糊的初始帧，随着时序累积强化对隐藏质量方向的监督。 —- ### 3. 基准与实验论文构建了 **HiddenMass-50K**（约 50,000 条 MuJoCo 仿真轨迹，含域随机化）和 **63 条真实世界序列**（通过 ArUco 标定与 SQPnP 实现亚厘米级物理真值）作为严格测试平台。关键实验结果如下： - **域内仿真**：STATERA-50K-Sigma 将归一化 CoM 误差（N-CoME）从 DINOv2 的 41.7% 降至 25.2% 。 - **零样本真实世界迁移**：发现监督目标存在根本性权衡： - **相位无关目标（Sigma）**：倾向于**期望坍缩（expectation collapse）**，即预测向统计安全的几何中心收缩，获得较低欧氏误差（N-CoME: 13.44% ），但 Physics Capture 仅为 24.15% 。 - **相位感知目标（Crescent）**：是唯一在真实世界实现显著正向**物理解耦**的方法（Physics Capture: 40.96% ）。尽管因单目 2.5D 投影导致**向量过冲（vector overshoot）**，其绝对欧氏误差（N-CoME: 16.09% ）略高于几何中心基线（ 15.19% ），但成功提取了隐藏质量的方向性动量。 - **点跟踪基线**：CoTracker2 与 TAPIR 约 8% 的 Capture 源于遮挡导致的运动学存活偏差（kinematic survivorship bias），而非真正的惯性推理。 —- ### 4. 核心贡献 - 提出 STATERA，证实冻结的时序视频表示可在潜空间中分离**惯性动力学**与**视觉几何**，实现隐藏物理参数的零样本提取。 - 揭示并分析了**settling-state 数据集偏差**：相位感知模型会记忆仿真中“重侧朝下静止”的统计偏好，导致高扭矩场景下的双峰预测；课程标签平滑是缓解该问题的关键。 - 建立了严格解耦空间误差（N-CoME）、时序稳定性（Normalized Jitter）与物理方向解耦（Physics Capture Ratio）的评估体系，显式惩罚向几何中心坍缩的统计安全策略。 - 在单张消费级 GPU（RTX 5070 Ti）上实现了高效训练（约 250 万可训练参数，10 个 epoch 收敛）。 —- ### 5. 局限与未来方向 - 当前依赖接触/碰撞动力学来激发惯性参数，纯空中无碰撞场景的可观测性受限。 - 单目向量过冲导致预测偶发超出物理边界，需引入触觉/本体感觉先验或不确定性校准以支持安全机器人抓取。 - 固定相机距离假设限制了无标定迁移；短窗口（ 0.66,s ）时程限制了长时程物理记忆。 - 未来可探索在无纹理异构物体上的泛化、长时程动态门控机制，以及将运动学嵌入用于生成式物理一致视频合成。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Animesh Varma

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00003.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00003

Published: 2026-10-04T02:53:33.809Z

2. Emergent Object Binding Has a Finite Spatial Horizon

Abstract:Pretrained Vision Transformers encode whether two image patches belong to the same object. This IsSameObject signal is decodable from frozen patch embeddings at high accuracy, which suggests that object binding emerges from self-supervised pretraining alone. We show that this single accuracy number hides the structure of the signal. Binding is local: the probability that two patches of the same object are decoded as bound falls off monotonically with the distance between them and levels off at a nonzero floor, a falloff well described by an exponential with a finite length scale. This decay holds across object sizes, across three families of probe, on both ADE20K and COCO, and across DINO and CLIP backbones, which indicates that it is a property of the representation rather than of the decoder. Reading binding as local spatial coherence with a finite range accounts for a set of behaviors that the aggregate score leaves unexplained: binding weakens on large objects, separates distinct objects of the same class less reliably than objects of different classes, and groups object parts with their wholes. It is, by contrast, unaffected by occlusion once object size is controlled. We map each behavior with confounds controlled. As a preliminary observation, the horizon and its floor are organized at different depths in DINOv2 and DINOv3, which we report as suggestive given the small number of layers probed and the confound between the two models.

中文摘要

摘要：预训练的视觉变换器能够编码两个图像块是否属于同一对象。这个 IsSameObject 信号可以从冻结的图像块嵌入中高精度解码，这表明对象绑定仅通过自监督预训练就会出现。我们展示了单一的精度数值掩盖了信号的结构。绑定是局部的：同一对象的两个图像块被解码为绑定的概率会随着它们之间距离的增加单调下降，并在非零基线处趋于平稳，这种下降可以用具有有限长度尺度的指数函数很好地描述。这种衰减在不同对象大小、三种探测器族、ADE20K 和 COCO 数据集上，以及 DINO 和 CLIP 主干网络中都成立，这表明它是表示本身的特性，而非解码器的属性。将绑定解读为具有有限范围的局部空间相干性，可以解释汇总得分未能说明的一系列行为：在大对象上绑定减弱，对同类不同对象的区分不如对不同类别对象可靠，并将对象部分与整体组合起来。相比之下，一旦控制对象大小，遮挡并不影响绑定。我们对每种行为进行了映射，并控制了混杂因素。作为初步观察，在 DINOv2 和 DINOv3 中，地平线及其基线在不同深度上被组织，这一结果在探测层数较少且两个模型之间存在混杂时具有提示性意义。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00006 (HTTP 429)

Authors: Mayank Singal

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00006.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00006

Published: 2026-10-04T02:53:33.809Z

3. Spatial Lifting for Dense Prediction

Abstract:We present Spatial Lifting (SL), a novel methodology for dense prediction tasks. SL operates by lifting standard inputs, such as 2D images, into a higher-dimensional space and subsequently processing them using networks designed for that higher dimension, such as a 3D U-Net. Counterintuitively, this dimensionality lifting allows us to achieve good performance on benchmark tasks compared to conventional approaches, while reducing inference costs and \textbf{drastically lowering the number of model parameters}. The SL framework produces intrinsically structured outputs along the lifted dimension. This emergent structure facilitates dense supervision during training and enables single-forward-pass self-consistency-based quality and uncertainty estimation at test time. Spatial Lifting introduces a simple and general modeling strategy that offers a promising path toward more efficient, accurate, and reliable deep networks for dense prediction tasks in vision.

中文摘要

摘要：我们提出了空间提升（Spatial Lifting，SL），这是一种用于密集预测任务的新方法。SL 的操作方式是将标准输入（如二维图像）提升到更高维度空间，然后使用为该高维设计的网络（如三维 U-Net）进行处理。违反直觉的是，这种维度提升使我们在基准任务中与传统方法相比取得良好性能，同时降低推理成本并大幅减少模型参数数量。SL 框架沿提升维度生成本质上结构化的输出。这种新兴结构有助于在训练期间进行密集监督，并在测试时实现基于单次前向传播的自我一致性质量和不确定性估计。空间提升引入了一种简单且通用的建模策略，为视觉领域密集预测任务中的深度网络实现更高效、更准确、更可靠提供了一个有前景的路径。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决密集预测任务（如语义分割、深度估计）中\*\*计算效率、模型复杂度与预测可靠性\*\*之间的核心矛盾。具体而言，其针对的关键问题可归纳如下： ### 1. 高昂的计算与参数成本现有的密集预测方法（无论是基于 CNN 还是 Transformer）通常通过在原始输入维度内增加架构复杂度来提升精度，导致模型参数量与计算量（GMACs）急剧增长，严重限制了在资源受限设备上的部署。 ### 2. 不确定性估计的额外推理开销传统的不确定性或质量估计方法（如深度集成、蒙特卡洛 Dropout、测试时增强）依赖多次前向传播或辅助模块，在推理阶段引入显著的计算负担，难以满足实时应用需求。 ### 3. 原始空间维度内的表示瓶颈常规方法直接在原生低维空间（如 2D）中进行特征提取与处理，未能充分利用在更高维空间中显式编码复杂空间关系的可能性，且对冗余信息的压缩往往局限于原始维度的操作（如剪枝、量化、知识蒸馏）。 --- ### 核心解决思路为应对上述问题，论文提出了 \*\*Spatial Lifting (SL)\*\* 范式： - \*\*维度提升与高效处理\*\*：将 k 维输入（如 2D 图像）沿辅助轴复制并提升为 (k+1) 维表示（如伪 3D 体数据），然后使用固定窄通道宽度的高维网络（如 3D U-Net）进行处理。通过将通道维度维持为极小的常数 C^* （如 8），在提升空间维度的同时大幅降低参数量与计算复杂度。 - \*\*内建的自一致性机制\*\*：提升维度后，网络自然输出沿辅助轴的多个切片预测。这种“切片族”在训练时通过密集切片监督实现隐式共识正则化；在测试时，仅通过单次前向传播即可利用切片间的一致性度量 Q 作为几乎零开销的质量代理与不确定性指标，无需额外模型或多次推理。简言之，该论文试图证明：\*\*通过将计算空间提升到更高维度并在其中进行窄通道处理，可以在减少模型参数和推理成本的同时，达到甚至超越传统低维方法的精度，并内建高效的不确定性估计能力。\*\* Q2: 有哪些相关研究？论文在第2节将相关工作划分为四个主要领域，Spatial Lifting (SL) 与这些领域的关联及区别如下： ### 1. 密集预测架构（Dense Prediction Architectures）现代密集预测主要基于编码器-解码器结构的多尺度表示学习，代表性研究包括： - \*\*FCN\*\*（Fully Convolutional Networks）与 \*\*U-Net\*\* 系列架构，奠定了语义分割的基础； - \*\*DeepLab 系列\*\*，引入空洞（atrous/dilated）卷积与空间金字塔池化（ASPP）以扩大感受野； - \*\*Vision Transformers（ViTs）\*\* 及其衍生模型（如 \*\*SegFormer\*\*、\*\*SETR\*\*），利用全局自注意力取得强性能。上述方法通常通过在\*\*原生输入维度内\*\*增加架构复杂度来提升精度，导致计算成本显著上升。与之不同，SL 将图像提升到更高维空间处理，利用标准高维卷积（如 3D 卷积）更高效地编码复杂空间关系。 ### 2. 高效深度学习（Efficient Deep Learning）该领域的研究可分为两类： - \*\*高效架构设计\*\*：如 \*\*MobileNets\*\*（深度可分离卷积）、\*\*ShuffleNets\*\*（逐点组卷积与通道混洗）、\*\*EfficientNet\*\*（复合缩放策略），均在原始 2D 数据空间内优化操作； - \*\*模型压缩与加速\*\*：包括\*\*网络剪枝\*\*（如

14,21
）、**量化**（如
15
）、**知识蒸馏**（如
22
）以及**神经架构搜索 NAS**（如
23,24,25
）。 SL 与这些工作的核心差异在于：**改变计算发生的维度空间**，而非在原始低维空间中精简操作。通过在提升后的高维表示中使用窄通道宽度的标准卷积，SL 以不同路径实现了参数与计算量的削减。 ### 3. 维度操控（Dimensionality Manipulation） - **Depth-to-Space / Pixel Shuffle**

26
：常用于超分辨率，通过重排通道维度到空间维度实现高效上采样。其本质仅是信息的重新分布，并未在更高维空间中进行额外的特征提取； - **计算几何中的 Lifting**
27
：例如将 2D 点映射到 3D 抛物面以简化 Voronoi 图计算。这类方法将问题映射到抽象高维空间以简化几何结构。 SL 借鉴了“提升维度”的思想，但目的与方式均不同：SL 旨在**丰富学习框架中的空间特征表示**，且提升后的空间仍是可进行标准卷积操作的空间域，而非抽象几何构造。 ### 4. 预测质量与不确定性估计（Prediction Quality and Uncertainty Estimation）可靠的质量与不确定性估计对安全关键应用至关重要，现有方法包括： - **Monte Carlo Dropout**

**深度集成（Deep Ensembles）**
9
**贝叶斯神经网络**
28,29
**测试时增强（TTA）**
30
**专用不确定性头（Uncertainty Heads）**
31
这些方法通常需要**多次前向传播**或引入额外模块，显著增加推理开销。SL 提供了一种替代方案：利用提升维度后自然产生的、沿辅助轴的切片族结构，通过切片间的一致性（consistency）作为预测质量与不确定性的代理，实现**单次前向传播、几乎零额外计算**的质量估计。 Q3: 论文如何解决这个问题？论文通过提出 **Spatial Lifting (SL)** 框架来解决密集预测任务中的效率与可靠性问题。该方法的核心在于将低维输入提升到高维空间进行处理，同时利用高维输出固有的切片结构实现内建的质量估计。具体实现分为以下几个层面： —- ### 1. 空间提升与网络前向传播 **输入提升（Lifting）**。给定一个 k 维输入图像 I （例如二维图像 I ∈ R^(w × h × 3) ），沿一条新的辅助轴将其复制 m 次（默认 m=16 ），构造一个 (k+1) 维的张量：

I’(x, y, z, c) = I(x, y, c), quad ∀ z ∈ 1, 2, …, m
**高维网络处理**。将提升后的张量 I’ 输入到专为 (k+1) 维数据设计的网络 fθ 中（例如将伪三维体数据送入 3D U-Net）。网络输出的预测张量为：
P = fθ(I’) ∈ R^(w × h × m × C_(out))
其中沿辅助轴的 m 个输出称为“切片预测”。 —- ### 2. 密集切片监督与切片选择 **训练阶段**。对于真值掩膜 M ，同样将其沿辅助轴复制 m 次得到 M’ 。训练时，对每个切片独立施加像素级损失（如 Dice 损失或交叉熵），并取平均：

L(train) = (1) / (m) ∑(z=1)^(m) ell(P^((i))(·, ·, z, ·), M^((i))(·, ·, ·))
**最优切片选择**。训练完成后，计算每个切片在验证集上的平均损失，从中选取损失最低的 s 个切片（默认 s=5 ）构成可靠切片集 Z = z_1, …, z_s ，用于后续推理聚合。 —- ### 3. 测试时的聚合预测测试阶段，将输入图像提升后送入训练好的网络，仅对选定的 s 个可靠切片的 logits 进行平均，再通过激活函数（如 sigmoid）和 argmax 得到最终预测：

Segmentation(x, y) = argmax(c) σ( ∑(z ∈ Z) P_(test)(x, y, z, c) )
—- ### 4. 基于切片一致性的质量与不确定性估计 SL 在单次前向传播中输出 m 个切片预测，这种内在结构为质量估计提供了几乎零成本的代理指标。 **一致性分数 Q **。令 Z^c 为未被选中的切片集合， P_B(·, ·, z, ·) 为第 z 个切片的二值化预测。定义选定集与剩余集之间的平均成对 Dice 相似度为：

Q = (1) / (|Z| · |Z^c|) ∑(i ∈ Z) ∑(j ∈ Z^c) Dice(P_B(·, ·, i, ·), P_B(·, ·, j, ·))

** Q 值高**：表明内部切片族围绕一个稳定解高度集中，预测可靠； - ** Q 值低**：表明切片间存在显著分歧，暗示输入存在歧义或模型不稳定。 **不确定性分数**。由此导出主要不确定性分数 U(disp) = 1 - Q ，以及辅助的异质性分数 U(var) （即成对 Dice 相似度的方差）。与 MC Dropout 或深度集成不同， Q 和 U 均来自**单次前向传播**，额外计算开销可忽略不计。 —- ### 5. 理论解释：有限轴共识正则化自集成论文进一步从理论上阐释 SL 生效的机制： - **边界条件切片族**。由于辅助轴是有限的且采用零填充（非周期性），每个切片 z 实际上对应一个不同的有效二维算子 K^(eff)_z 。因此，切片间的多样性并非来自输入信息的不同，而是来自**有限轴的边界效应**和局部耦合：

Pz = g(θ, z)(I)
所有切片共享同一组参数 θ ，但因距边界的距离不同而产生差异化的计算路径。 - **密集监督作为共识正则化**。对于满足 Bregman 散度形式的损失（如交叉熵），平均切片损失可精确分解为：
(1) / (m) ∑(z=1)^(m) ell(y, u_z) = ell(y, u) + (1) / (m) ∑(z=1)^(m) DPhi(u_z, u)
其中 u 为平均 logit。这表明训练不仅优化平均预测器，还通过 Bregman 散度（如 KL 散度）显式惩罚切片间的分歧，起到**隐式集成与共识正则化**的作用。 - **聚合的偏差-方差权衡**。选定切片的聚合误差可分解为偏差项与残差协方差项。当所选切片的残差误差不完全相关时，聚合可降低方差。而交叉集离散度 Delta_Z 的理论分析表明，低切片离散度（即高 Q ）对应更可靠的聚合预测，从而为 Q 作为质量代理提供了理论依据。 —- ### 6. 复杂度控制：窄通道高维卷积 SL 的效率源于将传统 2D 网络中随深度二次增长的通道宽度，替换为固定极窄的通道数 C^ （例如 8）。虽然 3D 卷积引入了一个与提升维度 m 和深度核尺寸 k_z 成正比的因子，但由于 C^ 远小于传统 2D 网络的通道乘积 C_ell C(ell+1) ，总参数量和 MACs 得以大幅降低：

MAC(SL)MAC(2D) ≈ (m kz (C^*)^2) / (C_ell C(ell+1)), quad Param(SL)Param(2D) ≈ (kz (C^*)^2) / (C_ell C(ell+1))
当 C^ 满足 C^ < √Cell C(ell+1) / (m kz) 时，SL 即可在计算上优于对应的 2D 层。 Q4: 论文做了哪些实验？论文围绕语义分割、深度估计以及质量/不确定性估计展开了系统性实验，覆盖 **19 个公开数据集** 与多种主流架构。实验内容可归纳如下： —- ### 1. 语义分割实验 #### (1) UNet 基线与 SL-UNet 对比在 **13 个医学与自然图像分割数据集**（如 CHASE_DB1、ISIC2018、MoNuSeg、BCCD、GlaS 等）上，对比了标准 UNet 与 SL-UNet 在不同网络深度（5L / 8L）与残差块配置（1Res / 2Res）下的表现。 - **评价指标**：Dice 分数（%）、参数量（Params）、计算量（MACs） - **关键结果**：SL-UNet 在多数数据集上取得更高或相当的 Dice 分数，同时实现参数量与计算量数量级的削减。例如，在 8L,2Res 配置下，SL-UNet 将参数量从 43.24M 降至 0.0464M（减少近 99.9%），MACs 从 20.74G 降至 7.07G，且在 DSB2018、ISIC2018、GlaS 等数据集上 Dice 提升明显（见 Table 1）。 #### (2) 视觉解码器上的 SL 增强采用预训练的 **PVTv2** 作为编码器，将 SL 应用于多种解码器架构： - **对比方法**：HSNet、UNet、CASCADE、EMCAD 及其对应的 SL 版本（SL-UNet、SL-CASCADE、SL-EMCAD）。 - **关键结果**：SL-EMCAD 在将参数量从 1.91M 降至 0.26M、MACs 从 1.13G 降至 1.05G 的同时，在多数数据集上保持或提升了 Dice 性能；SL-CASCADE 同样展现了参数与计算量的显著缩减（见 Table 2）。 —- ### 2. 深度估计实验在 **6 个深度估计数据集**（Cityscapes、Make3D、DIODE、KITTI、NYU Depth、MODEST）上评估了 SL 的通用性。 - **架构组合**：MobileNet+FastDepth、ResNeXt+MiDaS、FLEncoder+FLDecoder 及其 SL 变体。 - **评价指标**：RMSE（↓）、 δ_1 （↑）、MACs、参数量 - **关键结果**：SL 变体在大幅减少参数与 GMACs 的同时，多数配置下取得了更优或相当的精度。例如，ResNeXt+SL-MiDaS 将参数量压缩至原模型的 1.2%，MACs 降低 65.3%，且在多个数据集上 δ_1 持续提升（见 Table 3）。 —- ### 3. 质量与不确定性估计验证 #### (1) 切片一致性分数 Q 的有效性验证在 13 个分割数据集上，分析测试时计算的 **切片一致性分数 Q ** 与 **真实 Dice** 的相关性。 - **评价指标**：Pearson r 、Spearman rho 、 p -value - **关键结果**： Q 与真实 Dice 在大多数数据集上呈现显著正相关（如 BCCD 的 r=0.87 ，FIVES 的 r=0.88 ），表明 Q 是有效的无监督质量代理（见 Table 4）。 #### (2) 不确定性估计对比通过 **Risk–Coverage Curves (RCC)** 评估不确定性排序能力，并与以下基线对比： - **MC Dropout**（5 次随机前向） - **Max-Softmax Confidence**、**Predictive Entropy**、**TTA Consistency**（附录 G） - **关键结果**： - 在 BCCD、FIVES、MoNuSAC、TNBC、ISIC2018 等数据集上，SL 的不确定性排序使得随着低不确定性样本保留比例下降，平均 Dice 稳定上升，表现优于 MC Dropout（Fig 2a-e）。 - 推理时间仅为单次前向，相比 5 次 MC Dropout 实现 **5 倍以上加速**（Fig 2f）。 - 对比其他低/零成本基线，SL 方法在 9 个数据集上的 RCC 曲线更稳定、更优（Fig 5）。 #### (3) 模型校准与鲁棒性 - **校准指标**：Brier Score、Expected Calibration Error (ECE) - **关键发现**：SL 的校准质量（Brier/ECE）与 MC Dropout 相当，但时间成本降低约 5 倍（Table 10）。 - **温度缩放鲁棒性**：在不同温度 T ∈ 0.5, 1, 2 下，Brier 与 ECE 的标准差大多低于 0.01，表明不确定性估计稳定，非特定温度配置的伪影（Table 11）。 —- ### 4. 消融实验与架构分析 #### (1) 超参数 (m, C^, s) 的影响以 8L,2Res UNet 为基线，系统分析了提升维度 m 、固定通道宽度 C^ 与选中切片数 s 对性能与资源的影响。 - **配置对比**： (16,4,5) 、 (16,8,5) 、 (16,16,5) 、 (32,8,5) 、 (16,8,8) - **关键结果**： (16,8,5) 在参数量（0.0464M）、MACs（7.07G）与 Dice 性能之间达到最佳平衡；过度压缩（如 C^=4 ）导致性能下降，而增大 m 或 C^ 则会增加训练时间与显存占用（Table 7）。 #### (2) 与其他轻量化策略对比将 SL-UNet 与以下方法在同等或相近复杂度下比较： - **PixelShuffle**（通道高效上采样） - **Low-Rank Tensor Factorization**（低秩张量分解） - **关键结果**：SL-UNet 在多数数据集上显著优于这两种轻量化策略，尤其在 DSB2018、Kvasir-SEG、ISIC2018 等数据集上优势明显；同时 SL-UNet 在测试阶段保持了较低的时间与显存开销（Table 8）。 #### (3) 与显式集成（Explicit Ensemble）对比将 SL-UNet 解释为“隐式集成”，并与 1/8/16 个独立窄通道 UNet 的显式集成对比。 - **关键结果**：16 模型显式集成在部分数据集上略优，但参数量约为 SL-UNet 的 8 倍，训练时间约 4 倍，峰值显存更高；SL-UNet 在 13 个数据集中的 9 个上取得最佳表现，且在资源效率上更具优势（Table 9）。 —- ### 5. 可视化与可解释性分析 - **切片级可解释性**：利用 Grad-CAM、Guided Backpropagation 和 Saliency Maps 分析不同深度切片（ m=16 ）的激活模式。发现中间切片（如 2–13）梯度响应更强、结构更清晰，而边界切片（0 和 15）因零填充导致信息截断与伪影，这与自动选择的 Top- s 切片集中分布于中部而非边界的现象一致（Fig 3，附录 C）。 - **定性结果**：展示了语义分割与深度估计的代表性可视化对比，验证了 SL 在保持边界细节与空间一致性方面的优势（Fig 4，附录 H）。 Q5: 有什么可以进一步探索的点？基于论文的理论分析、实验观察以及附录中明确讨论的局限性，可从以下几个方向开展进一步探索： —- ### 1. 自适应与可学习的提升维度当前 SL 采用固定的提升维度 m （如 m=16 ）与简单的输入复制机制。未来可探索： - **数据依赖的动态提升**：设计轻量化的可学习提升模块，根据输入内容自适应地确定最优提升深度 m 或生成非重复的初始切片状态，而非沿轴简单复制。 - **自动化架构搜索**：利用神经架构搜索（NAS）或元学习，针对特定任务与硬件约束自动搜索最优的 (m, C^, s, k_z) 组合，而非依赖经验设定。 —- ### 2. 面向提升表示的专用网络架构论文目前使用标准 3D U-Net 等现成高维架构处理提升后的数据，尚未充分挖掘提升空间的结构特性： - \*专用算子设计**：开发针对伪 3D（或更高维）提升数据特性的专用卷积算子或注意力机制，例如显式建模切片间依赖的轴向注意力（axial attention），以替代标准 3D 卷积。 - **与 Transformer 的深度融合**：将提升范式与层次化视觉 Transformer（如 PVT、Swin Transformer）结合，探索在高维空间中进行自注意力计算的高效实现，兼顾长程依赖与计算效率。 —- ### 3. 硬件-算法协同优化论文指出，尽管 SL 在参数量与 GMACs 上显著降低，但实际峰值显存与墙钟时间并未同比下降，根源在于现有 CUDA 内核对高维窄通道卷积的支持不足： - **定制 CUDA 内核**：针对提升后窄通道 3D 卷积的内存访问模式与并行策略进行底层优化，减少高维张量重排带来的隐式开销。 - **编译器与图优化**：在深度学习编译器层面引入对“空间提升-窄通道处理”这一特定计算模式的自动融合与调度优化，缩小理论效率与实际部署效率之间的差距。 —- ### 4. 质量与不确定性估计的增强自一致性分数 Q 存在理论局限：当所有切片共享同一系统性偏差时， Q 可能很高但预测仍错误： - **多信号融合**：将 Q 与置信度校准（temperature scaling）、离群分布检测（OOD detection）或似然比检验结合，构建更鲁棒的质量评估指标。 - **结构化不确定性建模**：利用切片间的方差-协方差结构（如 Sigma(ij) = Cov(varepsilon_i, varepsilon_j) ）构建更精细的不确定性分解，区分偶然不确定性（aleatoric）与认知不确定性（epistemic）。 —- ### 5. 理论层面的深化 - **边界效应与最优切片分布**：理论分析（Appendix J.2）表明切片多样性由有限轴的边界效应驱动。可进一步建立边界距离与切片有效感受野的解析关系，以指导最优切片数 s 与位置的选择策略。 - **非 Bregman 损失的共识行为**：论文已给出交叉熵等损失下的精确共识分解 (1) / (m)∑ ell(y, u_z) = ell(y, u) + (1) / (m)∑ D_Phi(u_z, u) 。对于 Dice/IoU 损失，可深入分析其二阶近似下的局部共识正则化强度，并设计显式的切片间一致性正则项。 - **聚合规则的推广**：当前采用 logits 求和（等价于 product-of-experts）。可研究在更一般的指数族分布下，基于切片预测的几何平均、调和平均或加权聚合的最优贝叶斯风险性质。 —- ### 6. 向更广密集预测任务与模态的拓展论文已验证语义分割与深度估计，但提升范式的通用性尚待检验： - **其他像素级任务**：如光流估计、表面法线估计、多光谱/高光谱图像重建、视频帧预测等，其中时空维度或波段维度可能与提升轴产生有趣交互。 - **3D 医学与科学计算**：将 2D 切片堆叠提升为 4D 进行处理，或把 3D 体数据提升为 4D，以解决低标注量下的 3D 医学图像分割问题。 —- ### 7. 提升机制的信息论分析当前提升不注入新信息，性能增益完全来自归纳偏置与共识正则化。可从信息论角度量化： - **有效模型容量**：分析有限轴边界条件如何增加耦合预测族的有效假设空间容量，以及这种容量与泛化边界的关系。 - **切片间互信息**：研究训练过程中不同切片表示之间的互信息变化，以理解共识正则化如何影响特征去相关与冗余消除。 Q6: 总结一下论文的主要内容该论文提出了 **Spatial Lifting (SL)**，一种面向密集预测任务（如语义分割与深度估计）的新颖建模范式，其核心思想是**将低维输入提升到更高维空间进行处理，从而以更低的参数与计算成本获得相当或更优的性能，并内建几乎零开销的预测质量估计机制**。以下是论文主要内容的系统总结： ### 1. 研究背景与动机密集预测任务传统上在原生输入维度（如 2D）内通过加深网络、扩大通道或引入复杂注意力来提升性能，导致模型参数量与计算量（GMACs）急剧膨胀，且不确定性估计通常依赖多轮前向传播（如 MC Dropout、深度集成），推理开销高昂。论文质疑了“必须在原始维度内压缩冗余”的惯性思维，提出通过**维度提升**来改变计算空间，以更高效地编码空间关系。 ### 2. 核心方法：Spatial Lifting 给定 k 维输入（如图像 I ∈ R^(w × h × 3) ），SL 沿一条辅助轴将其复制 m 次，构造 (k+1) 维张量：

I’(x, y, z, c) = I(x, y, c), quad ∀ z ∈ 1, …, m
随后将 I’ 输入到对应维度的网络（如 3D U-Net）中进行处理。为控制计算成本，网络采用**极窄的固定通道宽度** C^ （例如 8），避免了传统 2D 网络中通道数随深度二次增长的计算膨胀。 ### 3. 训练与推理机制 - \*密集切片监督**：训练时，真值掩膜同样被复制到辅助轴，网络输出的 m 个切片各自独立计算损失（如 Dice 或交叉熵）并取平均。这种监督不仅优化平均预测，还隐式惩罚切片间分歧。 - **切片选择**：训练结束后，在验证集上评估每个切片的平均损失，选取损失最低的 s 个切片（默认 s=5 ）构成可靠集合 Z 。 - **聚合预测**：测试时，仅对选定切片的 logits 取平均后激活，得到最终输出：

Prediction(x, y) = argmaxc σ(∑(z ∈ Z) P(x, y, z, c))

4. 内建质量与不确定性估计 SL 的单次前向传播天然输出 m 个切片预测。论文提出利用切片一致性作为质量代理：

Q = (1) / (|Z| · |Z^c|) ∑(i ∈ Z) ∑(j ∈ Z^c) Dice(P_B^((i)), P_B^((j)))

Q 高意味着切片族高度一致，预测可靠； - Q 低则表明模型对输入存在分歧或歧义。不确定性分数定义为 U_(disp) = 1 - Q 。与 MC Dropout 等方法相比，该估计仅需**单次前向传播**，额外计算可忽略不计，且在风险-覆盖曲线上展现出更优的样本排序能力。 ### 5. 理论分析论文将 SL 解释为**有限轴、共识正则化的自集成**： - **切片多样性来源**：并非来自输入信息差异，而是源于辅助轴的**有限长度与非周期性边界效应**。不同位置的切片因边界填充不对称而对应不同的有效 2D 算子。 - **共识正则化**：对于 Bregman 损失（如交叉熵），平均切片损失可精确分解为：

(1) / (m)∑(z=1)^m ell(y, u_z) = ell(y, u) + (1) / (m)∑(z=1)^m D_Phi(u_z, u)
其中第二项为切片 logit 与均值间的 Bregman 散度，显式驱动切片达成“共识”。 - **聚合的偏差-方差权衡**：选定切片的聚合误差包含共享偏差与残差协方差项。当切片残差不完全相关时，聚合可降低方差；而 Q 实质是跨集离散度的有界代理，为自一致性估计质量提供了理论依据。 ### 6. 实验验证论文在 **13 个语义分割数据集** 与 **6 个深度估计数据集** 上进行了广泛验证： - **效率**：SL-UNet（8L, 2Res）将参数量从 43.24M 降至 0.0464M（减少近 99.9%），MACs 从 20.74G 降至 7.07G，同时在多数数据集上取得更高 Dice。 - **通用性**：将 SL 应用于 PVTv2 后的多种解码器（如 EMCAD、CASCADE）以及多种深度估计架构（MobileNet+FastDepth、ResNeXt+MiDaS 等），均实现了参数与计算量缩减，同时保持或提升精度。 - **质量估计**： Q 与真实 Dice 在大多数数据集上显著正相关（如 FIVES 上 Pearson r=0.88 ）；不确定性估计的风险-覆盖性能优于 MC Dropout，且推理速度快 5 倍以上。 ### 7. 主要贡献 1. 提出 Spatial Lifting 新范式，通过高维空间中的窄通道处理，实现密集预测的**精度-效率权衡**重构； 2. 在大幅降低参数（两个数量级以上）与计算成本的同时，达到或超越传统架构的性能； 3. 利用提升维度产生的切片结构，实现了**单次前向、几乎零开销**的预测质量与不确定性估计； 4. 提供了将 SL 理解为共识正则化自集成的理论框架，阐明了边界条件、密集监督与聚合的协同机制； 5. 在跨任务、跨数据集的广泛实验 setting 中验证了方法的有效性与通用性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mingzhi Xu, Tao Zhou, Yong Li, Yizhe Zhang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00017.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00017

Published: 2026-10-04T02:53:33.809Z

4. Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null

Abstract:Across three vision-language model architectures (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B), we report a universal negative finding for mid-layer interpretability. On POPE — the benchmark common to all three — the mid layers encode the ground-truth answer in 68-91% of errors, yet this signal is not causally active for the final prediction: residual-stream patching yields 0% non-trivial flip at the layer level on all three architectures, and on two of three at the per-head level (Qwen: 0/12,600 patched forwards). The lone exception, InternVL3 layer-20 head-2, is a non-vocab, self-attending head whose effect is localized to that specific head (p < 1e-4). Despite the null, the errors separate operationally into three failure modes — Perception Failure, Encoded-but-Disconnected, Prior-Override — learnable above 60% on all three architectures, and the architecture’s prior direction predicts which of two interventions elicits a category-specific response. We report these mitigation effects under oracle labels as evidence the categories are mechanistically real, not as a deployable method.

中文摘要

摘要：在三种视觉-语言模型架构（LLaVA-1.5-7B、Qwen2.5-VL-7B、InternVL3-8B）中，我们报告了关于中间层可解释性的普遍负面结果。在 POPE —— 三者共有的基准 —— 上，中间层在 68-91% 的错误中编码了真实答案，但这一信号对于最终预测并非因果活跃：在三种架构中，残差流补丁操作在层级上导致 0% 的非平凡翻转，在三个架构中的两个在每个注意力头层面也是如此（Qwen：0/12,600 前向补丁）。唯一的例外是 InternVL3 的第 20 层头部 2，这是一个非词汇、自注意力头，其效应局限于该特定头部（p < 1e-4）。尽管结果为零，错误在操作上可分为三种失败模式——感知失败、已编码但未连接、先验覆盖——在三种架构上均可学到超过 60%，且架构的先验方向能够预测哪种干预会引发特定类别的反应。我们在使用 oracle 标签下报告了这些缓解效果，作为这些类别在机制上真实存在的证据，而非可部署的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00024 (HTTP 429)

Authors: Genpei Zhang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00024.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00024

Published: 2026-10-04T02:53:33.809Z

5. Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap

Abstract:Object detection models often experience performance degradation when deployed under distribution shifts, caused by for example changes in weather type, operational environment, or object appearance. Domain Generalization (DG) aims to develop models that remain robust under such shifts and generalize well to unseen domains. DG research specifically focused on object detection models is scarce, although these models face additional challenges around localization and multi-scale representations. Synthetic data is a promising tool to support in DG, by enabling large-scale generation of diverse new samples. In this paper, we present an object detection-centric review of DG and examine the role of synthetic data from three complementary perspectives. First, synthetic data acts as an enabler of DG through diversification and alignment strategies that aim to improve robustness to distribution shifts. Second, it serves as a probe that enables controlled experimentation to identify and understand failure modes. Third, we discuss the synthetic-to-real gap, a particularly challenging form of domain shift that arises when models trained on synthetic imagery are deployed on real-world data. Through reviewing these perspectives, we identify limitations of current DG approaches for object detection and argue that future research requires representation-aware methods that explicitly address both localization and classification under domain shift.

中文摘要

摘要：当物体检测模型在分布发生变化的环境下部署时，例如天气类型、操作环境或物体外观的变化，模型的性能常常会下降。领域泛化（Domain Generalization, DG）旨在开发在此类变化下仍然稳健且能很好地推广到未见领域的模型。专门针对物体检测模型的 DG 研究相对稀缺，尽管这些模型在定位和多尺度表示方面面临额外的挑战。合成数据是支持 DG 的有前景工具，它可以实现多样化新样本的大规模生成。在本文中，我们提出了以物体检测为中心的 DG 综述，并从三个互补的视角探讨了合成数据的作用。首先，合成数据通过多样化和对齐策略作为 DG 的推动者，旨在提高模型对分布变化的鲁棒性。其次，它作为探针，可进行可控实验以识别和理解失败模式。第三，我们讨论了合成到真实的差距，这是域转移中的一种特别具有挑战性的形式，当模型在合成图像上训练后部署到真实数据时会出现这种情况。通过回顾这些视角，我们识别出当前物体检测 DG 方法的局限性，并认为未来的研究需要关注表示的方式的方法，明确解决域转移下的定位和分类问题。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00030 (HTTP 429)

Authors: Elfi I.S. Hofmeijer, Ella P. Fokkinga, Friso G. Heslinga, Klamer Schutte, Jörgen M. Karlholm

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00030.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00030

Published: 2026-10-04T02:53:33.809Z

6. Seeing the City or Recognizing the Place? What Street-View Imagery Adds Beyond Existing Urban Data in VLM Urban Sensing

Abstract:Street-view imagery is increasingly used to infer urban attributes, but predictive accuracy alone does not reveal how much a photograph contributes beyond data already available for the same place. We compare image-based predictions with existing urban data across seven attributes from five public resources and three VLMs. The same urban units are evaluated using images, task context, nearby observations, and public records, while image replacements and conflicting records test source reliance. Existing urban data matched or exceeded image-only models for road damage, curb ramps, and house price, while neighbouring official statistics nearly matched the best image result for population. Images were more informative for building type, building function, and low-rise floor count. For floor count, image advantage increased by 5.7 percentage points per doubling of distance to the nearest labelled building and declined for tall buildings whose rooflines often fell outside the frame. Models frequently followed conflicting records. OpenFACADES floor annotations were generated with OpenStreetMap floor values and showed the opposite height-dependent error pattern from image-only reruns. Street-view image value therefore depends on visual legibility and local data coverage. Comparing images with existing urban data can guide image collection and clarify the provenance of derived urban maps.

中文摘要

摘要：街景图像日益被用于推断城市属性，但仅靠预测准确性无法揭示一张照片相比已有同地数据的额外贡献。我们将基于图像的预测与来自五个公共资源和三个VLM的七个城市属性的现有城市数据进行比较。同一城市单元通过图像、任务背景、周边观察和公共记录进行评估，同时利用图像替换和冲突记录测试数据来源的依赖性。在道路损坏、人行道坡道和房价方面，现有城市数据与仅图像模型相比表现相当或更好，而邻近的官方统计数据在人口方面几乎达到最佳图像结果。对于建筑类型、建筑功能和低层楼层数量，图像信息更具价值。在楼层数量方面，随着到最近标注建筑的距离每增加一倍，图像的优势增加5.7个百分点，而对于屋顶常超出画面的高层建筑，这种优势则下降。模型经常遵循冲突记录。OpenFACADES楼层注释是使用OpenStreetMap楼层值生成的，并显示出与仅用图像重新运行的模型相反的高度依赖错误模式。因此，街景图像的价值取决于视觉可读性和本地数据覆盖。将图像与现有城市数据进行比较，可以指导图像收集并澄清生成城市地图的来源。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00031 (HTTP 429)

Authors: Kaizhen Tan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00031.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00031

Published: 2026-10-04T02:53:33.809Z

7. DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians

Abstract:Recent advances in 3D Gaussian Splatting have enabled open-vocabulary and referring segmentation by distilling semantic knowledge from 2D foundation models into 3D representations. However, existing referring fields embed language features in a globally view-invariant space, making them fundamentally unable to resolve observer-centric spatial relations (e.g., “to the left of”) that depend on camera pose. We propose DSSR-3D, an inference-time framework for view-dependent referring segmentation on continuous 3D Gaussian fields, formalized as two interfaces - pose-invariant semantic localization and pose-conditioned spatial reasoning - such that any pair of functions satisfying these constraints yields a valid instantiation, requiring no retraining of the underlying semantic field and no reliance on discrete geometric proxies such as bounding boxes. We instantiate the two interfaces with a temperature-sharpened softmax localization mechanism and a projection-based directional scoring function, fused via a lightweight, training-free step, and show they transfer zero-shot to structurally distinct semantic fields without adaptation. We further propose ViewRef-GS, a benchmark isolating view-dependent segmentation on 3D Gaussian fields, evaluated jointly with an augmented Ref-LERF to provide a comprehensive testbed for viewpoint-dependent spatial grounding. Experiments show consistent gains over existing 3DGS-based referring methods, with no additional training beyond the base semantic field

中文摘要

摘要：近年来，3D高斯点云（3D Gaussian Splatting）的进展使得通过将2D基础模型的语义知识蒸馏到3D表示中，实现开放词汇和指称分割成为可能。然而，现有的指称场在一个全局视图不变的空间中嵌入语言特征，使其在根本上无法解决依赖摄像机姿态的以观察者为中心的空间关系（例如，“在左侧”）。我们提出了DSSR-3D，这是一种用于连续3D高斯场的视角依赖指称分割的推理时框架，被形式化为两个接口——姿态不变的语义定位和姿态条件的空间推理——这样任何满足这些约束的函数对都能产生有效实例，无需对底层语义场进行重新训练，也无需依赖诸如边界框等离散几何代理。我们通过温度锐化的softmax定位机制和基于投影的方向评分函数实例化了这两个接口，并通过轻量、无需训练的步骤融合，并展示了它们在结构上不同的语义场中无需适应即可进行零-shot迁移。我们进一步提出了ViewRef-GS，这是一个专门用于3D高斯场的视角依赖分割的基准，并与增强版Ref-LERF联合评估，为视角依赖的空间定位提供了全面的测试平台。实验结果显示，与现有基于3DGS的指称方法相比，本方法在无需额外训练基础语义场的情况下，取得了持续的性能提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00040 (HTTP 429)

Authors: Thanh-Khoi Nguyen, Thien-Phuc Tran, Minh-Triet Tran

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00040.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00040

Published: 2026-10-04T02:53:33.809Z

8. Reachability Is Not Generalization: Understanding Verb—Noun Decomposition in Assembly Action Recognition

Abstract:Assembly actions are compositional: they combine a manipulation with a part or tool. In deployment, systems routinely encounter novel combinations of familiar components, yet an atomic action classifier assigns every unseen combination exactly zero probability by construction. The prevailing solution is verb—noun decomposition, which predicts components separately and recombines them to reach unseen actions. While widely adopted, how decomposition generalizes under compositional shift remains poorly understood. We present a systematic analysis of verb—noun decomposition across three assembly datasets (MECCANO, HAViD, and IMPACT). Although decomposition escapes the atomic ceiling, its generalization extends only partially beyond it. Unseen-composition performance remains strongly tied to the co-occurrence structure of the training data, indicating that much of the observed gain arises from interpolation within densely supported regions of the compositional space rather than from unconstrained recombination. Across datasets, failures consistently concentrate on the larger-vocabulary component, and IMPACT’s verb-heavy vocabulary reverses the bottleneck from nouns to verbs. We further show that shared-encoder training introduces component entanglement, encouraging reliance on co-occurrence patterns that transfer poorly to unseen compositions and trailing independent recombination by up to $6.0\times$ in harmonic mean. Taken together, these findings explain why decomposition achieves only partial compositional generalization in practice. By identifying primitive support, vocabulary asymmetry, and component entanglement as connected sources of error, we provide a portable diagnostic framework for studying compositional recognition beyond aggregate accuracy. Code: this https URL.

中文摘要

摘要：装配动作具有组合性：它们将操作与零件或工具结合。在实际部署中，系统经常遇到熟悉组件的全新组合，但原子动作分类器按照设计会将每个未见组合的概率分配为零。现行的解决方案是动词—名词分解，它分别预测组件并重新组合以实现对未见动作的预测。尽管该方法被广泛采用，但在组合变化情况下分解策略如何泛化仍然知之甚少。我们对三个装配数据集（MECCANO、HAViD 和 IMPACT）中的动词—名词分解进行了系统分析。虽然分解方法突破了原子上限，但其泛化能力仅超出原子上限的一部分。未见组合的性能仍然与训练数据的共现结构密切相关，这表明观察到的大部分提升源自组合空间中密集支撑区域的插值，而非无约束的重新组合。在各数据集中，失败现象始终集中在较大词汇量的组件上，而 IMPACT 中以动词为主的词汇量将瓶颈从名词转向动词。我们进一步表明，共享编码器训练会引入组件纠缠，促使模型依赖于共现模式，而这些模式在未见组合上迁移性能较差，其调和平均值落后于独立重组最多可达 $6.0 imes$。综合来看，这些发现解释了为何分解方法在实践中仅能实现部分的组合泛化。通过将原语支持、词汇不对称和组件纠缠识别为相关的误差来源，我们提供了一个可推广的诊断框架，用于研究超越整体准确率的组合识别。代码：这个 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00064 (HTTP 429)

Authors: Changyi Li, Yu Xiao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00064.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00064

Published: 2026-10-04T02:53:33.809Z

9. Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation

Abstract:Reliable visual inspection is essential for quality assurance in aero-engine blade manufacturing, where defect appearance may vary across production lines, imaging conditions, blade poses, and surface backgrounds. Such domain shifts cause a mismatch between training and deployment data and degrade the reliability of deep defect detectors in online inspection. This problem is particularly challenging because aero-engine blade images usually contain sparse defects, making pseudolabel-based adaptation vulnerable to noisy or missing predictions. To address this issue, we propose Aero-engine Blade Defect Detector (ABDD), an online adaptive detection framework based on test-time adaptation. ABDD introduces a Dual-Alignment Strategy to jointly adapt global visual style and local defect morphology by combining feature-statistics alignment with pseudo-box alignment. To reduce error accumulation from unreliable pseudo labels, an Uncertainty-aware Box Filtering mechanism evaluates pseudo boxes using classification confidence, classification entropy, and localization entropy. In addition, a lightweight Sparse Dilated Mona module enables parameter-efficient delta tuning while limiting source-domain forgetting. ABDD is evaluated on CD-AeBD and HD-AeBD under multiple domain-shift scenarios, with TTA strategies compared under a unified RT-DETR + Swin-T architecture. Experiments show that ABDD consistently improves detection robustness under domain shifts, and its practicality is further validated on an industrial inspection platform.

中文摘要

摘要：可靠的视觉检测对于航空发动机叶片制造中的质量保证至关重要，而缺陷的出现可能因生产线、成像条件、叶片姿态和表面背景的不同而有所变化。这种领域转移会导致训练数据与部署数据之间的不匹配，从而降低在线检测中深度缺陷检测器的可靠性。这个问题尤为具有挑战性，因为航空发动机叶片图像通常包含稀疏缺陷，使基于伪标签的适应方法容易受到噪声或缺失预测的影响。为了解决这一问题，我们提出了航空发动机叶片缺陷检测器（ABDD），一种基于测试时自适应的在线自适应检测框架。ABDD引入了双重对齐策略，通过将特征统计对齐与伪框对齐相结合，联合适应全局视觉风格和局部缺陷形态。为了减少不可靠伪标签造成的误差积累，一种基于不确定性的框过滤机制通过分类信心、分类熵和定位熵来评估伪框。此外，一个轻量级稀疏膨胀Mona模块实现了参数高效的增量调优，同时限制了对源域知识的遗忘。在多个领域转移场景下，ABDD在CD-AeBD和HD-AeBD上进行了评估，并在统一的RT-DETR + Swin-T架构下比较了TTA策略。实验表明，ABDD在领域转移情况下持续提升检测的鲁棒性，其实用性也在工业检测平台上得到了进一步验证。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00067 (HTTP 429)

Authors: Zhaoyang Wang, Haiyong Chen, Dongying Li, Yining Wang, Huapeng Wu, Xinwei Lv, Atik Shahariar

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00067.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00067

Published: 2026-10-04T02:53:33.809Z

10. A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

Abstract:Long-horizon ego/exo data contains rich procedural evidence, but are redundant, noisy, and costly to process or retain. We propose a compact framework that converts continuous multimodal workplace video into a structured Procedural State Memory, implemented as a Work Environment Model (WEM). Inspired by event segmentation theory, we detect boundaries using changes in visual context, location, motion, narration, gaze/object interaction, and optional exocentric workspace evidence, rather than fixed windows or visual novelty alone. Each segment is abstracted into an evidence-linked event card containing actor, interval, location, action, objects/tools, pre/post state, confidence, and provenance. These event cards incrementally update the WEM, enabling compact, auditable documentation and retrieval under on-premise privacy constraints. We instantiate the design with frozen DINOv2 and VJEPA-2 encoders and a local language model, and outline evaluation criteria for segmentation quality, memory compression, retrieval fidelity, and long-horizon QA.

中文摘要

摘要：长时间范围的自我/外部数据包含丰富的程序性证据，但冗余、嘈杂且处理或存储成本高。我们提出了一个紧凑的框架，将连续的多模态工作场所视频转换为结构化的程序状态记忆（Procedural State Memory），并实现为工作环境模型（Work Environment Model, WEM）。受事件分割理论启发，我们通过视觉环境、位置、运动、叙述、注视/物体互动以及可选的外视角工作空间证据的变化来检测边界，而不仅仅依赖固定窗口或视觉新奇性。每个片段被抽象为包含相关证据的事件卡，包括参与者、时间区间、位置、动作、物体/工具、前/后状态、置信度和来源。这些事件卡增量更新WEM，实现紧凑、可审计的文档记录和在本地隐私约束下的检索。我们使用冻结的DINOv2和VJEPA-2编码器以及本地语言模型来实例化该设计，并概述了用于评估分割质量、记忆压缩、检索保真度和长时间范围问答的评估标准。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00069 (HTTP 429)

Authors: Vivek Chavan, Jörg Krüger

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.00069.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.00069

Published: 2026-10-04T02:53:33.809Z

ArXiv Domain 2026-10-04

LLM Domain Papers

1. On-Device Named-Entity Recognition: A Deployability Study of Accuracy, Cost, Reliability, and Confidence

2. SCM-based Fairness and Faithful Explainability for Legal Document Classification

3. The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating

4. Measuring Human-Like Bias in LLMs? A Critique of Human-Derived Bias Constructs in LLM Evaluation

5. Legal text classification in Korean sexual offense cases: from traditional machine learning to large language models with XAI insights

6. BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL

7. FACET at WMT 2026 Automated Translation Quality Evaluation Task

8. Metric-Construction Coupling Inflates Measured Synthetic Dialect Recovery

9. When a Data Artifact Isn’t a Shortcut: Causal Auditing of Synthetic RLVR Corpora

10. A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

Agent Domain Papers

1. Heavy-Tailed Memory Traces in Long-Horizon Language Agents

2. When Do Causal World Models Help Modular LLM Agents

3. From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

4. What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA

5. Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

6. Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs

7. Gradient-Aligned Pair Selection for Personalized Preference Optimization

8. K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook

9. Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

10. Comedic Fool’s Gold: Reward Exploits and Countermeasures in Conversational Humor

Evaluation Domain Papers

1. Heavy-Tailed Memory Traces in Long-Horizon Language Agents

2. When Do Causal World Models Help Modular LLM Agents

3. From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

4. What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA

5. Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

6. Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs

7. Gradient-Aligned Pair Selection for Personalized Preference Optimization

8. K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook

9. Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

10. Comedic Fool’s Gold: Reward Exploits and Countermeasures in Conversational Humor

VLM Domain Papers

1. STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets

2. Emergent Object Binding Has a Finite Spatial Horizon

3. Spatial Lifting for Dense Prediction

4. 内建质量与不确定性估计 SL 的单次前向传播天然输出 m 个切片预测。论文提出利用**切片一致性**作为质量代理：

4. Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null

5. Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap

6. Seeing the City or Recognizing the Place? What Street-View Imagery Adds Beyond Existing Urban Data in VLM Urban Sensing

7. DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians

8. Reachability Is Not Generalization: Understanding Verb—Noun Decomposition in Assembly Action Recognition

9. Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation

10. A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

4. 内建质量与不确定性估计 SL 的单次前向传播天然输出 m 个切片预测。论文提出利用切片一致性作为质量代理：