ArXiv Domain 2026-09-20

数据来源：ArXiv Domain

LLM Domain Papers

1. Modality Discrepancy Transformer for Ambivalence and Hesitancy Recognition

Abstract:Ambivalence and hesitancy (A/H) are affective states in which individuals express contradictory signals across facial, vocal, and linguistic channels. Automatically recognising A/H in clinical videos requires detecting cross-modal disagreement — the signal that standard fusion methods suppress. Based on the conflict-aware multimodal fusion framework of Bekhouche et al., we present the Modality Discrepancy Transformer (MDT). MDT enriches the original 6-token design to a 9-token representation comprising three modality embeddings, three absolute-difference features, and three Hadamard-product discrepancy features learned through linear projections. These nine tokens undergo Transformer self-attention, with FiLM-based text-conditioned modulation and LoRA fine-tuning as core architectural components. A text-guided late fusion branch blends a text-only auxiliary head with the full multimodal output at inference. On the BAH dataset from the 3rd ABAW Challenge, MDT achieves 0.7408 Macro F1 on the labelled test split and 0.7368 on the private leaderboard, outperforming the strongest published baseline by over 10 points while training in under 20 minutes on a single GPU.

中文摘要

摘要：矛盾情绪和犹豫不决（A/H）是一种情感状态，其中个体在面部、声音和语言通道上表达矛盾信号。在临床视频中自动识别A/H需要检测跨模态不一致——这是标准融合方法所抑制的信号。基于Bekhouche等人的冲突感知多模态融合框架，我们提出了模态差异变换器（MDT）。MDT将原始的6 token设计扩展为9 token表示，包括三个模态嵌入、三个绝对差异特征和三个通过线性投影学习的Hadamard乘积差异特征。这九个token经过Transformer自注意力处理，核心架构组件包括基于FiLM的文本条件调制和LoRA微调。在推理阶段，文本引导的后融合分支将仅文本辅助头与完整多模态输出融合。在第三届ABAW挑战赛的BAH数据集上，MDT在标注测试集上实现了0.7408的宏F1，在私人排行榜上达到0.7368，超过最强已发布基线超过10点，同时在单GPU上训练时间不足20分钟。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*视频临床场景中矛盾与犹豫状态（Ambivalence and Hesitancy, A/H）的自动识别\*\*问题。具体而言，其核心针对以下关键挑战： \*\*1. 跨模态矛盾信号的检测困境\*\* A/H 的本质定义为跨模态不一致（例如患者口头同意治疗，但面部表情和声音却流露疑虑）。然而，标准的多模态融合方法通常被设计用于\*\*放大模态间的一致性\*\*，这会主动抑制或忽略表征 A/H 的关键"不一致"信号。 \*\*2. 文本主导方法的系统性偏差\*\* 现有工作表明文本模态在 A/H 识别中占主导地位，但纯文本方法会因临床语言中的模糊措辞（hedging language）而\*\*过度检测\*\* A/H，导致正负类性能差距悬殊（如 F1-AH 与 F1-NoAH 差距可达 0.178），缺乏视觉与音频通道的交叉验证。 \*\*3. 小数据场景下的过拟合风险\*\* BAH 数据集仅有 778 个训练样本。简单的模态差异表示（如仅使用三对绝对差特征构成的 6-token 序列）会引入过多参数，反而使模型过拟合到虚假的冲突模式，其性能甚至不如不建模差异的基线。 \*\*4. 差异表示的表达能力不足\*\* 现有冲突感知架构（CA-AH）仅通过绝对差值 |v-a| 等度量模态分歧的"幅度"，无法捕捉模态对之间逐维度的交互模式（per-dimension interaction patterns），难以区分真正的跨模态冲突与噪声。为应对上述问题，论文提出 \*\*Modality Discrepancy Transformer (MDT)\*\*，通过引入 9-token 富化差异表示（结合绝对差与 Hadamard 积投影特征）、FiLM 文本条件跨模态调制，以及 LoRA 参数高效微调，在抑制过拟合的同时更完整地建模跨模态不一致关系。 Q2: 有哪些相关研究？根据论文第2节及引言中的综述，相关研究可归纳为以下几个方向： ### 1. 矛盾/犹豫识别与ABAW挑战赛该领域的基准工作主要围绕ABAW（Affective Behavior Analysis in-the-wild）系列竞赛及BAH数据集展开： - \*\*ABAW挑战赛\*\*

9–11
：推动了野外多模态情感计算的标准化评测，为A/H识别提供了持续的竞赛平台。 - **BAH数据集基线**：González et al.
5
在BAH数据集上报告了视频级基线结果，包括LFAN
25
（0.593 Macro F1）与零样本多模态大模型（0.634）。 - **文本主导方法**：Savchenko
21
采用以文本为关键的帧级特征融合策略，取得了0.772 Macro F1，验证了词汇内容在A/H识别中的显著重要性。 - **冲突感知融合**：Bekhouche et al.
3
提出CA-AH Transformer，通过计算模态嵌入间的成对绝对差值构建6-token表示，首次为A/H任务建立了显式的差异建模框架，在ABAW10榜单上达到0.715 Macro F1。 ### 2. 多模态编码器骨干网络论文采用成熟的预训练编码器进行单模态表征学习： - **视觉模态**：VideoMAE-Base

22
（86M参数），用于从16帧人脸视频中提取视觉特征。 - **音频模态**：HuBERT-Base
7
（94M参数），用于编码16 kHz单声道音频。 - **文本模态**：RoBERTa-GoEmotions
4, 13, 20
（125M参数），基于GoEmotions情感数据预训练，用于编码完整转录文本（区别于基于窗口的对齐方式）。 ### 3. 多模态融合与跨模态差异建模 - **融合范式分类**：Baltrušaitis et al.

2
将多模态融合系统性地划分为早期（early）、晚期（late）与混合（hybrid）融合。 - **差异/不一致感知机制**：跨模态不一致建模已在相关任务中得到探索，例如情感分析
18
与欺骗检测
17
，但将其应用于BAH这类极小数据集（778例）仍具挑战。 - **特征调制与条件化**：Perez et al.
16
提出的FiLM（Feature-wise Linear Modulation）被用于实现文本条件化的视频与音频特征调制，使语言信号能够直接塑造视觉与声学信息的表达。 - **辅助监督与晚期融合**：Holste et al.
6
提出的辅助监督策略被借鉴用于构建文本专用辅助分支，并在推理阶段与全模态输出混合。 ### 4. 小数据学习、正则化与参数高效微调鉴于BAH数据集训练样本稀少，研究引入了多种正则化与高效训练技术： - **参数高效微调**：Hu et al.

8
提出的LoRA（Low-Rank Adaptation）通过低秩矩阵注入替代全层解冻，显著降低可训练参数量以抑制过拟合。 - **类别不平衡处理**：Lin et al.
12
的Focal Loss（ γ = 2.0 ）用于缓解A/H与No-A/H类别分布不均的问题。 - **特征空间增强**：Yun et al.
24
提出的CutMix（概率0.5）被用于特征空间正则化。 - **注意力聚合机制**：Bahdanau et al.
1
的软注意力机制被用于模态内的时间/词元池化聚合。 Q3: 论文如何解决这个问题？论文提出 **Modality Discrepancy Transformer (MDT)**，从**差异表示富化**、**跨模态条件调制**、**参数高效微调**与**文本偏差修正**四个维度系统性地解决A/H识别中的跨模态不一致检测与小数据过拟合问题。具体方案如下： ### 1. 富化差异表示：从6-token到9-token的Transformer输入标准融合往往抑制跨模态分歧信号，而早期冲突感知架构（CA-AH）仅通过三对绝对差值捕获分歧幅度，容易在小数据下过拟合。MDT将输入序列从6个token扩展为9个token，包含三类信息： - **三个模态嵌入**： v, a, t ∈ R^D （视频、音频、文本）； - **三对绝对差值特征**：捕获模态间分歧的逐维幅度

d(va) = |v - a|,quad d(vt) = |v - t|,quad d_(at) = |a - t|

**三对Hadamard积差异特征**：通过可学习的投影矩阵 W* ∈ R^(D × D) 映射逐维度交互模式
h(va) = W(va)(v odot a),quad h(vt) = W(vt)(v odot t),quad h(at) = W(at)(a odot t)
这九个token v, a, t, d(va), d(vt), d(at), h(va), h(vt), h(at) 被送入一个2层、8头的Transformer中，由后续的MLP分类器输出全模态预测 ell(full) 。实验表明，相比仅含绝对差的6-token基线，9-token表示在保持整体性能的同时显著改善了负类（No-A/H）的校准（F1-NoAH从0.6457提升至0.6700）。 ### 2. 文本条件化的FiLM跨模态调制为利用文本在临床场景中的主导性，并让其直接塑造其他模态的表达方式，MDT在计算差异之前，先以文本嵌入 t 为条件，通过FiLM（Feature-wise Linear Modulation）对视频和音频特征进行逐元素线性变换：

[γv; β_v] = Linear(film)^v(t),quad v’ = γ_v odot v + β_v
音频分支 a 亦作同样处理。该机制使得高置信度的语言信号能够抑制视觉与声学通道中的噪声维度，从而生成更具判别性的跨模态差异特征。 ### 3. 参数高效微调：LoRA抑制过拟合 BAH数据集仅有778个训练样本，完全解冻编码器层会导致严重过拟合。MDT冻结VideoMAE、HuBERT与RoBERTa的主权重，仅在各编码器的Query与Value投影中注入低秩适配器：

W arrow W + BA
其中低秩分解的秩 r=8 ，缩放系数 α=16 。这种基于LoRA的参数高效微调将可训练参数量降至最低，在消融实验中单模块增益最大（Macro F1 +1.47），直接证明正则化而非容量是本任务的核心瓶颈。 ### 4. 文本引导的晚期融合与辅助监督为纠正纯文本模型过度检测A/H的偏差（文本-only推理的类别F1差距高达0.178），MDT引入联合训练的文本专用辅助头：

L = (1-w)L(BCE)(ell(full), y) + wL(BCE)(ell(text), y),quad w=0.5
在推理阶段，通过验证集调优的混合系数 α=0.6 对两分支输出进行加权融合：
p = α · σ(ell(text)) + (1-α) · σ(ell(full))
该策略将全模态的跨模态一致性检查与文本分支的强大判别力相结合，将正负类F1差距压缩至0.090。 ### 5. 小数据训练策略体系除架构设计外，MDT还整合了针对778例样本的正则化与增强策略： - **Focal Loss**（ γ=2.0 ）缓解类别不平衡； - **CutMix**（概率0.5）实现特征空间增强； - **多窗口训练**（训练时 K=3 个均匀分布窗口均值池化，推理时 N=5 个窗口平均），以覆盖稀疏的A/H时间线索； - **LoRA+多窗口+富化差异**的组合最终在BAH标注测试集上达到0.7408 Macro F1，在ABAW11私有榜单上达到0.7368，超越此前最强已发表基线逾10个百分点。 Q4: 论文做了哪些实验？论文的实验围绕 **BAH 数据集** 展开，涵盖数据集配置、与基线方法的主结果对比，以及多组消融实验与讨论。具体内容如下： ### 1. 数据集与实验设置实验在 ABAW11 A/H Challenge 的 BAH 数据集上进行，其划分如表所示： | Split | Videos | A/H | No-A/H | |———-|————|——-|————| | Train | 778 | 385 (49%) | 393 (51%) | | Validation | 124 | 75 (60%) | 49 (40%) | | Test (labelled) | 525 | 318 (61%) | 207 (39%) | | Test (unlabelled) | 151 | – | – | - **硬件与环境**：单张 RTX 4090 (24 GB)，基于 PyTorch 与 HuggingFace Transformers 实现，LoRA 通过 PEFT 库部署。 - **优化配置**：AdamW（ β_1=0.9 , β_2=0.999 , weight decay 10^(-2) ），初始学习率 3 × 10^(-5) ，余弦退火至 3 × 10^(-7) ，fp16 混合精度，有效 batch size 为 16。 - **可选增强模块**：Focal Loss（ γ = 2.0 ）、CutMix（概率 0.5）、5-epoch 学习率 warmup、多窗口训练（训练时 K=3 均匀采样窗口并均值池化，推理时 N=5 窗口平均）。 - **训练细节**：早停 patience 为 15 个 epoch；每轮在 $

5
| 0.283 | | BAH: Video-FocalNet
5
| 0.566 | | BAH: LFAN (V+A+T)
5
| 0.593 | | BAH: ZF M-LLM + transcript
5
| 0.634 | | CA-AH
3
| 0.715 | | **MDT (labelled test)** | **0.7408** | | **MDT (private test, 151 unlabelled)** | **0.7368** | MDT 在标注测试集上达到 **0.7408**，较最强 BAH 基线（0.634）提升 10.7 点，较 CA-AH（0.715）提升 2.6 点；在私有测试集上取得 **0.7368**。 —- ### 3. 消融实验 #### 3.1 差异表示与文本融合系数（Table 3）在 CA-AH 配置（解冻 top-2 层，6-token 绝对差， α=0.6 ）基础上，验证核心融合组件的有效性： - **Frozen CA-AH**（编码器全冻结）：0.7181 - **CA-AH 基线**（6-token abs， α=0.6 ）：0.7219 - **移除所有差异特征**（仅拼接 $

v; a; t
）：0.7325 —— 说明在 778 例样本下，简单的 6-token 差异反而引入噪声 - 加入 Hadamard 差异（9-token）：0.7322，F1-NoAH 从 0.6457 提升至 0.6700，改善类别校准 - 融合系数消融： - α = 0.0 （仅全模态推理）：0.7080 - α = 1.0 （仅文本推理）：0.7185，但类别差距最大（F1-AH 0.8075 vs. F1-NoAH 0.6295） - α = 0.6 取得最佳平衡：0.7219 #### 3.2 模态贡献分析（Table 4）利用 CA-AH 检查点，在推理阶段仅激活指定模态： | Active Modalities | Macro F1 | F1-AH | F1-NoAH | |—————————-|—————|———-|————-| | Video only | 0.3772 | 0.7544 | 0.0000 | | Audio only | 0.3772 | 0.7544 | 0.0000 | | Text only | 0.7059 | 0.7608 | 0.6511 | | Video + Audio + Text (CA-AH) | 0.7219 | 0.7982 | 0.6457 | 仅视频或仅音频时模型坍塌为全部预测 A/H 阳性（F1-NoAH 为 0），说明唯有语言通道能独立判别负类；多模态融合主要提升 F1-AH（从 0.7608 到 0.7982）。 #### 3.3 训练策略增量分析（Table 5）从 CA-AH 基线逐步添加单个模块，观察各自贡献： | Configuration | Macro F1 | F1-AH | F1-NoAH | |———————-|—————|———-|————-| | CA-AH baseline | 0.7219 | 0.7982 | 0.6457 | | + LoRA fine-tuning | 0.7366 | 0.8119 | 0.6613 | | + Hadamard discrepancy (9-token) | 0.7322 | 0.7944 | 0.6700 | | + Focal loss ( γ = 2.0 ) | 0.7275 | 0.7836 | 0.6715 | | + CutMix augmentation | 0.7300 | 0.8077 | 0.6524 | | + LR warmup (5 epochs) | 0.7242 | 0.7883 | 0.6600 | | + Multi-window training ( K = 3$) | 0.7354 | 0.8024 | 0.6684 | | MDT (all combined) | 0.7408 | 0.7857 | 0.6959 | - LoRA 带来最大单模块增益（+1.47），验证参数高效微调在此小数据场景下的关键作用。 - 多窗口训练 次之（+1.35），说明扩展时间覆盖有助于捕捉稀疏的 A/H 线索。 - 最终 MDT 将所有组件结合，达到 0.7408，并将正负类 F1 差距从文本-only 的 0.178 缩小至 0.090。 —- ### 4. 讨论与发现论文进一步通过实验结果分析得出以下结论： - 过拟合是核心瓶颈：在 778 例训练样本下，6-token 绝对差引入的参数足以让 Transformer 过拟合到虚假的冲突模式，导致其性能反而不如不使用差异特征（0.7219 vs. 0.7325）。9-token 的富化表示通过提供更有判别力的交互模式才重新弥合并超越这一差距。 - 文本偏差修正机制：MDT 的跨模态差异特征与 FiLM 调制充当了负类预测的一致性校验，缓解了纯文本模型过度检测 A/H 的倾向。 - 当前局限：16 帧窗口仅覆盖视频局部；差异测量为几何级而非语义级（无对比预训练）；整体绝对性能水平仍受限于数据规模与任务难度。 Q5: 有什么可以进一步探索的点？基于论文的讨论与结论，未来可从以下方向进一步探索： ### 1. 从视频级分类到细粒度时间定位 BAH 数据集同时包含帧级标注（frame-level annotations）。当前 MDT 仅执行视频级别的二分类，尚未利用这些细粒度标签。未来可将差异范式扩展至时间定位（temporal grounding），使模型不仅能判断一段视频中是否存在 A/H，还能精确定位： - 何时发生跨模态不一致（时间戳级别）； - 通过哪些模态表现该不一致（例如面部–语言冲突发生在第 5 秒，音频–语言冲突发生在第 12 秒）。 ### 2. 从几何差异迈向语义级差异学习当前 MDT 的绝对差值与 Hadamard 积属于几何层面的 discrepancy 度量，缺乏语义对齐。引入对比预训练（contrastive pre-training） 或跨模态语义映射网络，可将模态嵌入先投影到公共语义空间，再计算差异，从而区分“真实的跨模态矛盾”与“低层特征噪声”，提升表示的判别性和可解释性。 ### 3. 长程动态时间建模现有方法受限于 16 帧的固定视觉窗口，仅能覆盖视频的局部片段。未来可探索： - 可变长度或层次化时序编码（如视频长程 Transformer、时间金字塔池化），以捕捉稀疏且可能分布在视频任意位置的 A/H 线索； - 自适应关键帧采样，而非均匀采样，使模型聚焦于面部动作或语音停顿等高信息密度片段。 ### 4. 利用未标注数据提升数据效率 BAH 训练集仅 778 例，而私有测试集包含 151 段未标注视频。结合半监督学习（如 FixMatch、伪标签迭代）或自监督预训练（基于模态掩码重建或跨模态对齐任务），可在不增加人工标注成本的前提下扩大有效训练规模，进一步缓解过拟合。 ### 5. 可解释的模态矛盾归因当前模型输出全局的 A/H 概率，但未显式量化各模态对“矛盾信号”的贡献。未来可引入模态级注意力归因或解耦表示学习，显式建模：

s(v to t), quad s(a to t), quad s_(v arrow a)
即文本–视觉、文本–音频、视觉–音频三对通道各自的冲突强度，为临床动机访谈（motivational interviewing）提供可操作的反馈——例如明确指出“患者语言表示同意，但面部表情在 00:32 处出现怀疑微表情”。 Q6: 总结一下论文的主要内容该论文针对视频临床场景中**矛盾与犹豫（Ambivalence/Hesitancy, A/H）的自动识别**展开研究，核心贡献是提出 **Modality Discrepancy Transformer (MDT)**。以下是主要内容概括： —- ### 研究背景与核心问题 A/H 的本质是**跨模态矛盾**（如患者口头同意治疗，但面部表情与声音流露疑虑）。然而，标准多模态融合方法通常旨在放大模态间一致性，这会主动抑制 A/H 诊断所依赖的**分歧信号**。此外，现有基准数据集 BAH 仅有 778 个训练样本，简单的差异建模容易过拟合；而纯文本方法虽表现较强，却因临床语言中的模糊措辞导致对 A/H 的**过度检测**，正负类性能差距悬殊。 —- ### 方法：Modality Discrepancy Transformer (MDT) 基于冲突感知架构 CA-AH，MDT 从三个方向进行扩展： 1. **富化差异表示（9-token Transformer）** 将输入从 6-token 扩展为 9-token，包含： - 三个模态嵌入： v, a, t ∈ R^D ； - 三对绝对差值特征（捕获分歧幅度）：

d(va) = |v - a|,quad d(vt) = |v - t|,quad d_(at) = |a - t|

三对 Hadamard 积差异特征（捕获逐维度交互模式，经可学习投影 W* ∈ R^(D × D) ）：
h(va) = W(va)(v odot a),quad h(vt) = W(vt)(v odot t),quad h(at) = W(at)(a odot t)
九个 token v, a, t, d(va), d(vt), d(at), h(va), h(vt), h(at) 送入 2 层 Transformer 处理。 2. **FiLM 文本条件化调制** 在计算差异前，以文本嵌入 t 为条件，通过 FiLM 对视频与音频特征进行逐元素线性调制：
[γ_v; β_v] = Linear(film)^v(t),quad v’ = γv odot v + β_v
这使高置信度的语言信号能够抑制视觉与声学通道中的噪声维度。 3. **LoRA 参数高效微调** 冻结 VideoMAE、HuBERT 与 RoBERTa 主权重，仅在各编码器的 Query 与 Value 投影中注入低秩适配器：
W arrow W + BA
其中秩 r=8 ，缩放系数 α=16 。这显著降低可训练参数量，抑制小数据场景下的过拟合。 4. **文本引导晚期融合** 联合训练文本专用辅助头 ell(text) ，推理时以验证集调优的系数 α=0.6 混合两分支输出：
p = α · σ(ell(text)) + (1 - α) · σ(ell(full))
以此修正纯文本模型的系统性偏差。 5. **训练策略体系** 整合 Focal Loss、CutMix、学习率 warmup 与多窗口训练（训练 K=3 、推理 N=5 ）以增强正则化与时间覆盖。 —- ### 实验结果在 ABAW11 BAH 数据集上的实验表明： - **主性能**：MDT 在标注测试集上达到 **0.7408 Macro F1**，在私有榜单上达到 **0.7368**，超越最强已发表基线逾 10 个百分点，且单卡训练仅需约 20 分钟。 - **消融发现**： - 在 778 例小数据下，仅使用 6-token 绝对差反而引入过拟合，性能不如直接拼接模态嵌入；而 9-token 富化表示通过 Hadamard 积投影重新弥合并超越了这一差距，同时改善负类校准。 - **LoRA** 带来最大单模块增益（+1.47），直接证明正则化而非容量是本任务的核心瓶颈。 - **多窗口训练** 是次 impactful 的策略，说明扩展时间覆盖有助于捕捉稀疏的 A/H 线索。 - 文本-only 推理的 F1-AH 与 F1-NoAH 差距达 0.178，MDT 将其缩小至 0.090。 —- ### 结论与展望论文指出，在小规模 A/H 识别任务中，**差异表示必须足够丰富**，才能抵消额外 token 带来的过拟合成本；参数高效微调与长时程覆盖是提升性能的关键。未来可进一步利用 BAH 数据集的帧级标注，将差异范式从视频级分类拓展至**细粒度时间定位**，并探索语义级差异学习与半监督方法，以定位 A/H 发生的具体时刻与模态通道。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shiyu Luo, Yu Wang, Jiawen Huang, Zhaoxiang Xiao, Chenxi Huang, Qi Zhang, Bin Liu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19148.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19148

Published: 2026-09-20T01:37:15.701Z

2. Subliminal Prompting Beyond Static Geometry: Causal Depth and Multi-Token Confounds

Abstract:Subliminal learning shows that language models can transmit a hidden trait through outputs that appear unrelated to it. One proposed explanation, token entanglement, links animal and number tokens through the model’s output vocabulary. Yet existing measurements answer different questions: whether outputs co-vary, fixed output vectors align, an answer can be read from a hidden state, or that state causally controls the answer. We measure each separately in a fixed animal-number prompting protocol. From Llama-3.1-8B to 70B, fixed output-vector similarity predicts behavior less well: the paired mean correlation change is -0.080 (95% CI [-0.127, -0.035]). A fixed output-head readout shows no resolved change in normalized depth AUC. To test control, we copy the temporary answer-position state from one number prompt into another at five depths and measure which prompt the final animal score follows. Donor-control AUC rises from 0.254 to 0.540, a paired change of +0.286 (95% CI [+0.272, +0.300]), with increases for all 18 concepts. The contrast remains with exactly eight transformer blocks remaining, while specificity and identity controls remain small or exact. In two Qwen models, scoring every digit in sequence does not recover the positive one-token association. Per-token averaging instead creates a positive pooled association that disappears after controlling number width, revealing a length confound. Thus, fixed geometry, observational readability, causal timing, and multi-token measurement are distinct properties of this frozen prompting channel. They constrain token-level explanations but do not identify the mechanism of training-time trait transfer.

中文摘要

摘要：潜意识学习表明，语言模型可以通过看似无关的输出传递隐藏特性。一种提出的解释——标记纠缠，将动物标记和数字标记通过模型的输出词汇联系起来。然而，现有的测量回答的是不同的问题：输出是否协变，固定输出向量是否对齐，答案是否可以从隐藏状态中读取，或者该状态是否因果地控制答案。我们在固定的动物-数字提示协议中分别测量每一种情况。从 Llama-3.1-8B 到 70B，固定输出向量的相似性对行为的预测性减弱：配对均值相关变化为 -0.080（95% 置信区间 [-0.127, -0.035]）。固定输出头读取显示在归一化深度 AUC 中没有明显变化。为了测试控制性，我们将一个数字提示的临时答案位置状态复制到另一个提示的五个层深度，并测量最终动物得分遵循哪个提示。捐赠者控制 AUC 从 0.254 上升到 0.540，配对变化为 +0.286（95% 置信区间 [+0.272, +0.300]），18 个概念均有所增加。即使只剩下八个 transformer 块，对比仍然存在，同时特异性和身份控制仍然很小或精确。在两个 Qwen 模型中，按顺序对每个数字评分并不能恢复正向的一标记关联。每标记的平均值反而生成了一个正向的合并关联，而在控制数字宽度后消失，揭示了长度混淆。因此，固定几何形状、观察可读性、因果时序和多标记测量是这个冻结提示通道的不同属性。它们限制了标记级解释，但并不能确认训练时特性传递的机制。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19149 (HTTP 429)

Authors: Barath Velmurugan

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19149.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19149

Published: 2026-09-20T01:37:15.701Z

3. Sampling Reveals Style: Unsupervised, Training-Free Discovery of Prompt-Conditional Stylistic Axes in LLM Activations

Abstract:Large language models (LLMs) encode rich stylistic structure in their hidden activations, but discovering which stylistic dimensions are salient for a given prompt typically requires supervised contrastive data. We present a training-free, prompt-conditional alternative: we repeatedly sample completions of a single prompt at elevated temperature, apply Principal Component Analysis (PCA) to the pooled hidden activations, and label the resulting axes automatically from the pole generations. We validate the discovered axes against 245 human-elicited stylistic annotations in a two-phase study. On our strongest model (Qwen-3.5-4B-Instruct), the top two axes match spontaneously requested human dimensions with 72.8% precision and 43.6% macro-recall, and 75.6% of validity ratings judge the axes’ polar generations accurate to their labels, with 90.9% adjacent inter-annotator agreement. Discoverability is strongly model-dependent: both Qwen models and Llama-3.2-3B expose human-salient axes, while DeepSeek-7B-Chat drops to 35.3% precision, its leading components dominated by structural rather than stylistic variance. Simple PCA over a model’s own decoding variance is thus an effective, low-cost probe of stylistic structure in LLM representations, one that also exposes sharp cross-model differences in how that structure is organized.

中文摘要

摘要：大型语言模型（LLMs）在其隐藏激活中编码了丰富的风格结构，但要发现对于给定提示哪些风格维度是显著的，通常需要有监督的对比数据。我们提出了一种无需训练、基于提示条件的替代方法：我们在较高温度下反复采样单个提示的生成结果，对汇总的隐藏激活进行主成分分析（PCA），并根据极端生成自动标注得到的轴。我们在一项两阶段研究中，将发现的轴与245个人工获取的风格注释进行验证。在我们性能最强的模型（Qwen-3.5-4B-Instruct）上，前两个轴与自发请求的人类维度匹配，精确率为72.8%，宏平均召回率为43.6%，且75.6%的有效性评定认为轴的极端生成与其标签一致，相邻评审者间的一致性为90.9%。可发现性与模型高度相关：Qwen系列和Llama-3.2-3B均能揭示人类显著的轴，而DeepSeek-7B-Chat精确率下降至35.3%，其主要成分被结构变化而非风格变化主导。因此，对模型自身解码方差进行简单PCA是一种有效且低成本的方法，可探测LLM表征中的风格结构，同时也显现了模型间该结构组织方式的显著差异。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19150 (HTTP 429)

Authors: Ajit Mallavarapu, Ziwei Gu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19150.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19150

Published: 2026-09-20T01:37:15.701Z

4. What Users Think of Generative AI: A Cross-Platform NLP Analysis of Trust and Friction in App Store Reviews

Abstract:Generative AI (GenAI) applications have achieved rapid consumer adoption, yet little large-scale research examines user-perceived quality, trust, and adoption barriers. We present one of the first cross-application analyses of app store reviews for six major GenAI applications (ChatGPT, Gemini, Microsoft Copilot, Claude, DeepSeek, and Perplexity), comprising 17,012 English-language reviews from Google Play and the Apple App Store. We combine BERTopic topic modeling with RoBERTa sentiment classification and evaluate cross-application differences using chi-square, Kruskal-Wallis, and multinomial logistic regression with Bonferroni correction. Both components are validated against human coding using a stratified sample of 300 reviews. Results show that negative sentiment concentrates in advertising (91%), authentication (89%), server reliability (83%), and subscription pricing (73%). Sentiment differs significantly across applications, with Claude exhibiting the highest negative sentiment (47.7%) alongside a strongly enthusiastic user base, indicating statistically significant polarization. These findings are robust despite unequal review counts across applications. As exploratory observations, a subset of DeepSeek reviews raised geopolitical and data privacy concerns related to its Chinese origin, while a proposed Trust Friction Score summarizes application-specific trust and usability barriers into interpretable dimensions. The study provides validated and actionable evidence on user trust, usability, and adoption barriers in consumer generative AI applications.

中文摘要

摘要：生成式人工智能（GenAI）应用已实现快速的消费者采用，但很少有大规模研究关注用户感知的质量、信任及采用障碍。我们呈现了针对六个主要GenAI应用（ChatGPT、Gemini、Microsoft Copilot、Claude、DeepSeek和Perplexity）的应用商店评价进行的首批跨应用分析之一，涵盖来自Google Play和Apple App Store的17,012条英文评论。我们结合了BERTopic主题建模与RoBERTa情感分类，并使用卡方检验、Kruskal-Wallis检验以及带Bonferroni校正的多项式逻辑回归评估跨应用差异。两个组成部分均通过对300条评论的分层抽样的人类编码验证。结果显示，负面情绪集中在广告（91%）、身份验证（89%）、服务器可靠性（83%）以及订阅定价（73%）等方面。不同应用的情绪存在显著差异，其中Claude的负面情绪最高（47.7%），同时拥有高度热情的用户群，显示出统计学上显著的两极分化。尽管不同应用的评论数量不均，这些发现依然稳健。作为探索性观察，部分DeepSeek评论提出了与其中国背景相关的地缘政治和数据隐私问题，同时提出的“信任摩擦评分”将应用特定的信任与可用性障碍总结为可解释的维度。本研究为消费者生成式AI应用中的用户信任、可用性及采用障碍提供了经过验证且可操作的证据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19151 (HTTP 429)

Authors: Md Jafrin Hossain, Umme Nusrat Jahan, Shouvaggo Sharif Shammo

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19151.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19151

Published: 2026-09-20T01:37:15.701Z

5. FakeSpotter: A content and strategy agnostic Viral Misinformation Detection Tool

Abstract:Misinformation detection tools often rely on binary true and false classifications or models trained on historical examples, limiting their usefulness when novel misleading narratives emerge. Here, we present FakeSpotter, a content- and strategy-agnostic tool designed to estimate the viral misinformation risk of textual content by measuring structural fingerprints of misinformation rather than directly adjudicating truthfulness. FakeSpotter operationalizes a theory-driven framework across linguistic, narrative, logical, and critical-thinking dimensions, using repeated LLM assessments and domain-specific logistic regression classifiers for short and long texts. In a labelled corpus of 764 texts from social media and FakeNewsNet, FakeSpotter achieved macro F1 scores of 0.788 for short texts and 0.793 for long texts on a held-out test set. FakeSpotter’s interpretive layer provides explainable outputs through feature-based scores, signal agreement, and a caution index, and can be used for social listening. These findings suggest that identifying the structural fingerprints of misinformation can support early, explainable, and human-supervised assessment of potentially viral misinformation.

中文摘要

摘要：错误信息检测工具通常依赖于二元的真假分类或基于历史示例训练的模型，在新型误导性叙事出现时，其有用性受到限制。在此，我们提出了FakeSpotter，这是一种内容和策略无关的工具，旨在通过测量错误信息的结构指纹而非直接判断真实性，来估算文本内容的病毒式错误信息风险。FakeSpotter在语言、叙事、逻辑和批判性思维维度上实现了理论驱动的框架，使用重复的LLM评估和针对短文本与长文本的领域特定逻辑回归分类器。在一个包含764条来自社交媒体和FakeNewsNet的标注语料库中，FakeSpotter在保留测试集上对短文本和长文本分别取得了宏F1评分0.788和0.793。FakeSpotter的解释层通过基于特征的评分、信号一致性和警示指数提供可解释的输出，可用于社会倾听。这些发现表明，识别错误信息的结构指纹可以支持对潜在病毒式错误信息进行早期、可解释和人工监督的评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19152 (HTTP 429)

Authors: Giovanni Spitale, Federico Germani

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19152.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19152

Published: 2026-09-20T01:37:15.701Z

6. Stop Removing Stopwords: How an Inherited Preprocessing Default Distorts Legal Text-as-Data

Abstract:Empirical legal scholarship increasingly treats judicial text as data, and much of it still runs on sparse, interpretable pipelines — TF-IDF features and linear classifiers — because the textual feature is often the object of study, not merely a means to a prediction. Yet these pipelines inherit a chain of preprocessing defaults from mid-century information retrieval that were never validated against classification accuracy, the most entrenched being stopword removal. This study introduces an exhaustive single-word ablation that measures a preprocessing step’s effect directly against the downstream objective, and applies it to stopword removal as the hardest case to dislodge. Matching Supreme Court Database labels to Caselaw Access Project opinion texts, it examines two binary tasks that bracket F1 headroom, ideological direction (no-removal baseline F1 ~ 0.68) and constitutional versus non-constitutional law type (~ 0.92), across 7,668 and 7,001 opinions. For each task the analysis approximates the best stoplist any expert could build, removing each of roughly 18,500 candidate words and measuring the effect directly. Three findings follow: generic stoplists in common use fall below the no-removal baseline in every test; even optimized stoplists are statistically indistinguishable from removing nothing; and meta-models trained on word-level features cannot predict which removals help, so list curation has nothing to target. The method generalizes to any inherited preprocessing default, and the result is a caution specific to interpretable legal text-as-data: a step that silently reshapes which features a model sees can distort the very doctrinal and ideological signal such research exists to recover. Leaving stopwords in place is a question of measurement validity.

中文摘要

摘要：经验法学研究越来越多地将司法文本视为数据，并且其中很多研究仍然依赖稀疏且可解释的流程——TF-IDF 特征和线性分类器——因为文本特征通常是研究对象，而不仅仅是预测手段。然而，这些流程继承了中世纪信息检索中的一系列预处理默认设置，而这些默认设置从未经过分类准确性的验证，其中最根深蒂固的是停用词移除。本研究引入了一种详尽的单词消融方法，直接测量预处理步骤对下游目标的影响，并将其应用于停用词移除，这是最难被动摇的案例。通过将最高法院数据库标签与 Caselaw Access Project 的判决文本匹配，研究考察了两个二分类任务，这两个任务在 F1 指标上分别构成了上限和下限：意识形态方向（未移除基线 F1 ~ 0.68）以及宪法法与非宪法法类型区分（~0.92），共涉及 7,668 和 7,001 篇判决文本。对于每个任务，分析近似构建了任何专家可能建立的最佳停用词表，遍历约 18,500 个候选词，并直接测量每个词移除的效果。研究得出三点结论：1）常用的通用停用词表在每项测试中均低于未移除基线；2）即使是优化的停用词表，其效果在统计上也与不移除任何词无显著差异；3）基于单词特征训练的元模型无法预测哪些词的移除有效，因此停用词表的选择没有目标可循。该方法可推广到任何继承的预处理默认设置，研究结果对可解释的法律文本数据分析提出了特定警示：一个悄然改变模型所看到特征的步骤，可能扭曲研究旨在恢复的学说与意识形态信号。保留停用词是测量有效性的问题。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19153 (HTTP 429)

Authors: Gregory M. Dickinson

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19153.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19153

Published: 2026-09-20T01:37:15.701Z

7. Neo-Classic: A Benchmark for Evaluating Linguistic-Aesthetic Reasoning in Classical Chinese Poetry

Abstract:While Large Language Models (LLMs) achieve high accuracy on established Classical Chinese Poetry benchmarks, it remains challenging to distinguish transferable Linguistic-Aesthetic Reasoning from reliance on familiar pre-training patterns. To address this issue, we introduce Neo-Classic, an evaluation benchmark that combines a constructionist Out-of-Sample (OOS) dataset with a suite of reverse understanding probes. Unlike traditional benchmarks that rely on verification or generation over historical corpora, Neo-Classic comprises strictly metrical poetry authored by contemporary experts, reducing the possibility of direct retrieval. We evaluate state-of-the-art models, including Qwen3-Max, Gemini-3-Pro, and DeepSeek-V3.2, across five behavioral probes designed to test hierarchical constraint satisfaction. Our results reveal two primary limitations. First, a performance gap of 20 to 50 percent emerges when models transition from historical to contemporary texts. Second, models exhibit substantial difficulties in discourse-level ordering tasks, with standard accuracy remaining low (0 to 13 percent). Although expert-level guidance improves the performance of reasoning-enhanced models to 36 percent, a notable gap with human experts persists. These findings suggest that while current LLMs capture local formal patterns, they struggle with global hierarchical planning required for robust Linguistic-Aesthetic Reasoning.

中文摘要

摘要：尽管大型语言模型（LLMs）在既定的古典诗词基准测试上取得了较高的准确率，但区分可迁移的语言美学推理与对熟悉预训练模式的依赖仍然具有挑战性。为了解决这一问题，我们引入了Neo-Classic，一项评估基准，它将建构主义的样本外（OOS）数据集与一组反向理解探测器结合起来。不同于依赖历史语料库进行验证或生成的传统基准，Neo-Classic由当代专家创作的严格格律诗组成，减少了直接检索的可能性。我们对包括Qwen3-Max、Gemini-3-Pro和DeepSeek-V3.2在内的最先进模型进行了评估，使用五种行为探测器测试分层约束满足情况。我们的结果揭示了两个主要限制。首先，当模型从历史文本过渡到当代文本时，表现差距达20%到50%。其次，模型在语篇层次的排序任务中表现出显著困难，标准准确率仍然低（0%到13%）。尽管专家级指导将增强推理模型的表现提升至36%，但与人类专家仍存在显著差距。这些发现表明，尽管当前的LLMs能够捕捉局部形式模式，但在实现稳健的语言美学推理所需的全局分层规划方面仍存在困难。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19154 (HTTP 429)

Authors: Han Zhang, Zihan Gu, Zhiyuan Wang, Tianyi Ma, Jiacheng Lu, Xinyan Zhang, Yuhao Wei, Cheng Hua

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19154.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19154

Published: 2026-09-20T01:37:15.701Z

8. Towards Proactive Detection of User-Side Implicit Conflicts in Human-LLM Dialogue

Abstract:In Human-LLM dialogue, follow-up user utterances may implicitly conflict with earlier intents, leading the LLM to misinterpret user needs and generate inappropriate responses. A reliable dialogue system should proactively detect user-side conflicts before generating a response and seek clarification when necessary. However, prior work has largely focused on LLM-side conflicts, leaving user-side conflicts underexplored. To fill this gap, we construct UC-Bench, a human-annotated benchmark for evaluating user-side conflict detection. Preliminary experiments show that existing LLMs struggle with this task, especially when conflicts arise from implicit incompatibilities grounded in dialogue history. To improve lightweight LLMs with limited training data, we investigate data synthesis for user-side conflict detection. Existing synthesis methods do not explicitly model the implicit incompatibilities between historical and current user utterances, making it difficult to capture the evolution of conflicts and to generate reliably labeled implicit conflict samples. We propose SynUC, a constraint-guided synthesis method that represents user-side conflicts in a constraint space and uses the SPEAKING framework to guide traceable constraint transformations. Applying SynUC to WildChat, we construct UC-Data, a user-side conflict training set containing 2,487 samples. On UC-Bench, Qwen3.5-4B trained on UC-Data outperforms larger general-purpose LLMs such as Claude Opus 4.8, as well as the same backbone trained on data synthesized by existing methods.

中文摘要

摘要：在人类与大型语言模型（LLM）的对话中，后续的用户发言可能与早期意图隐含地冲突，导致LLM误解用户需求并生成不适当的回应。一个可靠的对话系统应在生成回应之前主动检测用户侧冲突，并在必要时寻求澄清。然而，以往的研究主要关注LLM侧的冲突，用户侧的冲突仍然研究不足。为填补这一空白，我们构建了UC-Bench，这是一个用于评估用户侧冲突检测的人类标注基准。初步实验显示，现有LLM在该任务上表现不佳，尤其当冲突源于对话历史中隐含的不兼容时。为了改进训练数据有限的轻量级LLM，我们研究了用户侧冲突检测的数据合成方法。现有的合成方法未能明确建模历史用户发言与当前发言之间的隐含不兼容性，从而难以捕捉冲突的演变，也难以生成可靠标注的隐含冲突样本。我们提出了SynUC，一种约束引导的合成方法，它在约束空间中表示用户侧冲突，并使用SPEAKING框架指导可追踪的约束变换。将SynUC应用于WildChat，我们构建了UC-Data，一个包含2,487个样本的用户侧冲突训练集。在UC-Bench上，基于UC-Data训练的Qwen3.5-4B表现优于更大的一般用途LLM，如Claude Opus 4.8，以及使用现有方法生成的数据训练的同一骨干模型。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19155 (HTTP 429)

Authors: Jinqiang Wang, Tao Zhu, Huansheng Ning

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19155.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19155

Published: 2026-09-20T01:37:15.701Z

9. Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes

Abstract:Data-driven fine-tuning is widely adopted to enhance reasoning in Large Language Models (LLMs) due to its simplicity and efficiency. However, mainstream imitation learning methods that rely exclusively on perfect reasoning trajectories suffer from a Scaling Collapse: when the problem set is limited, increasing positive examples fails to yield continuous improvement. However, during inference, an LLM can not guarantee that every intermediate step is correct and is therefore prone to errors. Once such errors arise, the LLM often struggles to recover and may be further misled by the accumulation of previous mistakes. To address this, we propose Reflective Recovery, a simple yet effective self-supervised approach that transforms failed reasoning attempts into recovery training data. Specifically, we extract initial segments of failed trajectories, concatenate them with prompts, and use them to guide the LLM toward valid solutions. Because these segments from failed trajectories are likely to contain errors, this process teaches models to recognize and correct mistakes during reasoning, enabling recovery from erroneous states without relying on external critics or reward models. Evaluated on extensive benchmarks, Reflective Recovery significantly improves performance. On DeepSeek-R1-Distill-Qwen-7B, it boosts accuracy from 30.0% to 37.5% on AIME 2025 and from 37.6% to 47.8% on Minerva. More importantly, analyses demonstrate that it breaks the scaling collapse barrier and enables models to develop emergent self-correction behaviors, representing a paradigm shift from outcome-oriented memorization to process-oriented reflective reasoning.

中文摘要

摘要：数据驱动的微调因其简便高效而被广泛用于提升大型语言模型（LLMs）的推理能力。然而，依赖完全正确推理轨迹的主流模仿学习方法存在规模崩溃问题：当问题集有限时，增加正样本无法带来持续改进。然而，在推理过程中，LLM无法保证每个中间步骤都是正确的，因此容易出错。一旦出现此类错误，LLM通常难以恢复，并且可能因先前错误的累积而被进一步误导。为了解决这一问题，我们提出了反思恢复（Reflective Recovery），一种简单而有效的自监督方法，将失败的推理尝试转化为恢复训练数据。具体来说，我们提取失败轨迹的初始片段，将其与提示拼接，并用来引导LLM获得有效的解决方案。由于这些来自失败轨迹的片段可能包含错误，这一过程教会模型在推理中识别并修正错误，从而无需依赖外部评审者或奖励模型即可从错误状态中恢复。在广泛的基准测试中，反思恢复显著提升了性能。在DeepSeek-R1-Distill-Qwen-7B上，它将AIME 2025的准确率从30.0%提升至37.5%，将Minerva的准确率从37.6%提升至47.8%。更重要的是，分析表明，该方法打破了规模崩溃的障碍，使模型能够开发出新兴的自我纠正行为，标志着从以结果为导向的记忆方法向以过程为导向的反思推理的范式转变。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19156 (HTTP 429)

Authors: Qirui Chen, Renjie Pi, Jiahui Gao, Lingpeng Kong

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19156.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19156

Published: 2026-09-20T01:37:15.701Z

10. VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering

Abstract:Knowledge graphs are usually integrated into question answering by encoding a retrieved subgraph with a graph neural network and fusing it with the language model in the online inference path. The same subgraph is therefore re-encoded from scratch every time a pair is scored, across training epochs, seeds, and evaluation runs, even though the knowledge graph never changes. We ask whether the retrieved knowledge graphs can instead be compiled once, offline, and then accessed as read-only memory. VisKG-LM shows that it can, by decoupling graph encoding from language reasoning. It serializes each retrieved candidate-specific subgraph as Relation-Labeled Paths and renders the result as an image whose two-dimensional layout preserves the branching structure of the paths. Each image is encoded once, offline, and cached for reuse. At inference, the language model contextualizes the question and candidate from text alone, and only its final layer consults the cached visual memory, reading both its global layout and its local relational detail. The graph information thus enters only after the text has been understood. On the test sets of CommonsenseQA, OpenBookQA, and MedQA-USMLE, VisKG-LMimproves over GreaseLM by $1.2$, $0.8$, and $4.3$ points, respectively, while matching or surpassing GraphVis, a $7$B vision-language model, with only about $400$M online parameters. Against a matched text-only control that receives the identical Relation-Labeled Paths, it gains $4.2$, $6.5$, and $5.1$ points across the three benchmarks. These gains show that the complete visual-memory interface adds value beyond path textualization alone and support compiled visual memory as an alternative to online graph propagation.

中文摘要

摘要：知识图谱通常通过使用图神经网络对检索到的子图进行编码，并在在线推理过程中与语言模型融合，从而集成到问答系统中。因此，即使知识图谱从未改变，每次对一个对进行评分时，这个相同的子图都会从头重新编码，这发生在训练周期、随机种子和评估运行中。我们想探讨是否可以将检索到的知识图谱离线编译一次，然后作为只读存储访问。VisKG-LM 通过将图编码与语言推理解耦表明这是可行的。它将每个检索到的候选特定子图序列化为带关系标记的路径，并将结果渲染成图像，其二维布局保留路径的分支结构。每张图像离线编码一次并缓存以供重复使用。在推理时，语言模型仅从文本中将问题和候选对象置入上下文，只有其最终层会查阅缓存的视觉记忆，同时读取其全局布局和局部的关系细节。因此，图谱信息仅在文本被理解之后才被引入。在 CommonsenseQA、OpenBookQA 和 MedQA-USMLE 的测试集上，VisKG-LM 对比 GreaseLM 分别提升了 1.2、0.8 和 4.3 个点，同时以约 4 亿的在线参数匹配或超过了一个 70 亿参数的视觉-语言模型 GraphVis。与一个接收完全相同关系标记路径的匹配文本控件相比，它在这三个基准上分别获得了 4.2、6.5 和 5.1 个点的提升。这些提升表明，完整的视觉记忆接口比仅文本化路径更有价值，并支持将编译的视觉记忆作为在线图传播的替代方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19158 (HTTP 429)

Authors: Yixin Peng, Er Jin, Shiwei Luo, Diego Collarana, Stefan Decker

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19158.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19158

Published: 2026-09-20T01:37:15.701Z

Agent Domain Papers

1. Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes

Abstract:Emphatic temporal-difference learning (ETD) stabilizes the expected off-policy TD update and changes its projection geometry, but neither property determines constant-stepsize sampled dynamics. We construct an ergodic two-state counterexample in which the ETD mean map contracts while the sampled product has a positive top Lyapunov exponent. Regenerative-cycle analysis separates this sign from the infinite variance of the follow-on trace. We introduce regularized emphatic TD (RETD), a normalized first-order post-shock repair that leaves the trace and importance ratios unchanged, stores the emphatic TD signal in a leaky scalar state, and releases a delayed correction. RETD’s raw equilibrium is an affine shift of the ETD equilibrium; single- and two-regularization readouts recover the ETD fixed point exactly. We prove almost-sure convergence for harmonic diminishing stepsizes and a conditional constant-stepsize moment-contraction result from a Markovian random-product bound. RETD has certified negative exponents on the two-state construction and one Baird point, whereas the positive Baird ETD sign remains numerical. Paired 10,000-run experiments validate both separations, fixed-point recovery, a nonmonotone stability region, and task dependence. RETD changes post-shock dynamics; it does not reduce the shared follow-on-trace variance.

中文摘要

摘要：强调时序差分学习（ETD）稳定了期望的离策略 TD 更新，并改变了其投影几何，但这两种特性都不能决定常步长采样动态。我们构建了一个遍历性的两状态反例，其中 ETD 平均映射收缩，而采样的乘积具有正的顶 Lyapunov 指数。再生周期分析将此符号与后续迹的无限方差分开。我们引入了正则化强调 TD（RETD），这是一种归一化的一阶冲击后修复方法，保持迹和重要性比率不变，将强调 TD 信号存储在一个泄漏的标量状态中，并释放延迟修正。RETD 的原始平衡是 ETD 平衡的仿射平移；单重和双重正则化读出可以精确恢复 ETD 固定点。我们证明了对于调和递减步长几乎必然收敛，并通过马尔可夫随机乘积界得到条件常步长矩收缩结果。RETD 在两状态构造和一个 Baird 点上都有经过认证的负指数，而 Baird ETD 的正符号仍为数值结果。成对的 10,000 次实验验证了这两种分离、固定点恢复、非单调稳定区域和任务依赖性。RETD 改变了冲击后的动态；它并不减少共享的后续迹方差。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19170 (HTTP 429)

Authors: Xingguo Chen, Zhaohui Wu, Jinguo Ye, Chao Li, Shangdong Yang, Guang Yang, Skylar Liang, Wenhao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19170.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19170

Published: 2026-09-20T01:37:38.695Z

2. BioPhys-Bridge: A Benchmark for Interdisciplinary Scientific Reasoning in Physics-Grounded Biological Research

Abstract:Language models face unique challenges in analyzing interdisciplinary scientific research literature. In biophysics research, faithful answers require grounding observed data in source evidence, interpreting it through a quantitative physics model, and linking it to a biological mechanism. To address this challenge, we introduce BioPhys-Bridge, a novel benchmark dataset for evidence-grounded scientific reasoning over biophysical literature. Each case contains evidence blocks, stable evidence IDs, quantitative values, units, equations, assumptions, mechanisms, and next decisions as grounding targets for question answering (QA) and retrieval-augmented generation (RAG). The initial release contains 500 cases, 1,517 agent-facing tasks, and covers six biological domains and nine physical model families, including three sparse families reserved for future expansion. We enforce strict quality gates for all cases in schema, evidence-integrity, quantitative-grounding, source-license, duplicate, unit-normalization, with domain expert review and annotation for 81 cases. Preliminary evaluations show that DeepSeek-V4-Flash obtain the highest evidence-ID $F_1$ score (0.360), followed by Qwen3.7-Max (0.316) and GPT-4o-mini (0.294). BioPhys-Bridge is an interdisciplinary benchmark for evaluating attribution, faithfulness, hallucination reduction, and biological experiment design with complex, multi-step scientific reasoning. Future works will increase the size and complexity of the dataset and perform comprehensive evaluations. Code and data are available in the GitHub repository and on Hugging Face.

中文摘要

摘要：语言模型在分析跨学科的科学研究文献时面临独特的挑战。在生物物理学研究中，提供可靠答案需要将观察到的数据基于来源证据，使用定量物理模型进行解释，并将其与生物机制关联。为应对这一挑战，我们引入了 BioPhys-Bridge，这是一种用于基于证据的生物物理学文献科学推理的新型基准数据集。每个案例包含证据块、稳定的证据 ID、定量数值、单位、方程、假设、机制和作为问答 (QA) 与增强检索生成 (RAG) 的基础目标的后续决策。首发版本包含 500 个案例、1,517 个面向代理的任务，涵盖六个生物学领域和九个物理模型系列，其中包括三个预留用于未来扩展的稀疏系列。我们对所有案例在模式、证据完整性、定量基础、来源许可、重复、单位规范方面实施严格的质量检查，并对 81 个案例进行了领域专家的审查和标注。初步评估显示，DeepSeek-V4-Flash 获得最高的证据 ID $F_1$ 分数（0.360），其后是 Qwen3.7-Max（0.316）和 GPT-4o-mini（0.294）。BioPhys-Bridge 是一个跨学科基准，用于评估归因、可靠性、幻觉减少，以及具复杂多步科学推理的生物实验设计。未来的工作将增加数据集的规模和复杂性，并进行全面评估。代码和数据可在 GitHub 仓库及 Hugging Face 上获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19180 (HTTP 429)

Authors: Qingyang Xu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19180.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19180

Published: 2026-09-20T01:37:38.695Z

3. What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

Abstract:Benchmarks are central to how progress in large language models (LLMs) is assessed and communicated. Yet model rankings alone reveal little about how evaluation requirements themselves are changing. The expanding variety of benchmarks offers another perspective: what researchers expect LLMs to do, and what they count as successful performance. We systematically map 14,767 papers introducing or updating evaluation resources from arXiv submissions between January 2022 and August 2026. Using staged screening and automated full-text coding, we examine changes in target systems and domains, evaluation materials and conditions, and scoring mechanisms. The collection shows growing emphasis on action, interaction, and professional applications, while established and newer design elements frequently coexist. Model participation also develops unevenly: LLM-based scoring grows within both agent and non-agent groups, whereas model-generated materials show no comparable sustained increase in recent cohorts. These findings illuminate how public research translates capability expectations into concrete tests and criteria for success. As AI participates in constructing tests, performing tasks, and judging responses, they also raise a question: does expanding evaluation provide more independent evidence, or risk reproducing the preferences and blind spots of its participating models?

中文摘要

摘要：基准测试在评估和传达大型语言模型（LLM）进展方面起着核心作用。然而，仅凭模型排名很难揭示评估需求本身是如何变化的。不断扩展的基准测试种类提供了另一种视角：研究人员期望LLM做什么，以及他们认为什么样的表现算作成功。我们系统地绘制了来自arXiv提交的14,767篇论文，这些论文在2022年1月至2026年8月期间引入或更新了评估资源。通过分阶段筛选和自动全文编码，我们考察了目标系统和领域、评估材料和条件、以及评分机制的变化。该集合显示了对行动、交互和专业应用的日益重视，同时传统和新兴设计元素经常共存。模型参与也呈现不均衡的发展：基于LLM的评分在代理和非代理组均有所增长，而模型生成的材料在近期群体中没有类似的持续增长。这些发现揭示了公共研究如何将能力预期转化为具体的测试和成功标准。随着AI参与构建测试、执行任务和评判回应，它们也提出了一个问题：扩展的评估是提供了更多独立证据，还是有复制参与模型偏好和盲点的风险？

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19182 (HTTP 429)

Authors: Chao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19182.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19182

Published: 2026-09-20T01:37:38.695Z

4. Position: It is Time to Virtualize Foundation Models with a Self-evolving Operating System Layer

Abstract:AI applications have shifted from single, monolithic foundation models (FM) to compound agentic systems. Yet today’s stacks remain fragmented: even as protocols (e.g., MCP, A2A) ease tool/agent connectivity, each framework embeds an implicit runtime for state, memory, budgets, and guardrails, making behavior non-portable and governance brittle. It mirrors computing before operating systems, when every program re-implemented basic services. This position paper argues that the field now needs a Foundation Model Operating System (FMOS) — a system layer that virtualizes FM interactions analogous to how virtual machines abstract physical hardware, giving applications the illusion of dedicated, trustworthy FM instances with effectively unbounded capabilities. Internally, the FMOS orchestrates knowledge across memory tiers, model selection and resource allocation, and verification and policy enforcement. Like the human brain switching between fast intuition and slow deliberation, the FMOS learns when to intervene and when to let inference proceed directly and continuously adapting its policies based on operational experience.

中文摘要

摘要：人工智能应用已经从单一的整体基础模型（FM）转向复合智能系统。然而，如今的技术堆栈仍然分散：即便协议（如 MCP、A2A）简化了工具/代理的连接，每个框架仍嵌入了用于状态、记忆、预算和护栏的隐式运行时，使行为不可移植，治理脆弱。这类似于操作系统出现之前的计算，每个程序都要重新实现基本服务。本文主张该领域现在需要一个基础模型操作系统（FMOS）——一个系统层，它虚拟化 FM 交互，类似于虚拟机抽象物理硬件，为应用提供专用、可信 FM 实例的错觉，并拥有实际上无限的能力。在内部，FMOS 协调跨记忆层的知识、模型选择与资源分配，以及验证和策略执行。就像人脑在快速直觉与缓慢深思之间切换一样，FMOS 学会在何时干预、何时让推理直接进行，并根据操作经验持续调整其策略。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19203 (HTTP 429)

Authors: Suparna Bhattacharya, Tarun Kumar, Cong Xu, Satish Kumar Mopur, Jiahao Li, Ashish Mishra, Aalap Tripathy, Annmary Justine Koomthanam, Martin Foltin, Ian Foster

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19203.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19203

Published: 2026-09-20T01:37:38.695Z

5. What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis

Abstract:Systematic generalization, the ability to solve novel problems by recombining known atomic elements, is central to human intelligence but difficult to study rigorously under controlled settings. Existing studies therefore rely on simplifications such as approximately linear action composition, productivity-based tests, and action-explicit goals, which make systematic generalization easier to study but omit some essential aspects of this capability. To characterize what these simplifications miss, we adopt a reasoning-centered lens and introduce TranSGrid, a testbed that brings deductive, inductive, and abductive reasoning together within a unified task. Experiments with seven Transformers on 4,800 TranSGrid instances show that all models perform much worse on TranSGrid than on a held-out test set: the largest model solves 79.6% of the test set, but only 55.3% of TranSGrid and 15.8% of the hardest subset. The gap remains within the training length range, showing that productivity alone is not sufficient to evaluate systematic generalization. Additionally, we reintroduce the other two simplifications into TranSGrid: one variant makes actions compose almost linearly (reducing the inductive demand), the other makes goals action-explicit (reducing the abductive one). In both, solve rates return to roughly the test set level, showing that either simplification alone is enough to reduce TranSGrid to an ordinary held-out test set. Together, our results show that existing tasks reduce either or both of the inductive and abductive demands, and that comprehensively measuring systematic generalization requires a task that involves all three forms of reasoning.

中文摘要

摘要：系统性概括，即通过重新组合已知的基本元素来解决新问题的能力，是人类智慧的核心，但在受控环境下严格研究却十分困难。因此，现有研究依赖于一些简化方法，如近似线性的动作组合、基于创造力的测试以及动作明确的目标，这些方法虽然便于研究系统性概括，但遗漏了这一能力的一些关键方面。为了刻画这些简化方法所忽略的内容，我们采用以推理为中心的视角，并引入TranSGrid，一个在统一任务中融合演绎、归纳和溯因推理的测试平台。在对七种Transformer模型进行4,800个TranSGrid实例的实验中，所有模型在TranSGrid上的表现远低于在留出测试集上的表现：最大的模型能解决79.6%的测试集问题，但在TranSGrid上仅为55.3%，在最难的子集上仅为15.8%。这一差距在训练长度范围内依然存在，表明仅依靠创造力不足以评估系统性概括。此外，我们将另外两种简化方法重新引入TranSGrid：一种变体使动作几乎线性组合（降低归纳需求），另一种使目标动作明确（降低溯因需求）。在这两种情况下，解决率回升至接近测试集水平，表明单一简化即可将TranSGrid简化为普通的留出测试集。总体来看，我们的结果表明，现有任务降低了归纳或溯因需求，甚至两者都降低，而全面评估系统性概括需要一个涉及三种推理形式的任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19212 (HTTP 429)

Authors: Chengwen Qi, Deheng Ye, Yatao Bian

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19212.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19212

Published: 2026-09-20T01:37:38.695Z

6. Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses

Abstract:Conversational LLM agents increasingly rely on Web search, yet the end-to-end lifecycle of agentic search remains poorly understood. We present the first study of Web search across four major conversational platforms (ChatGPT, Claude, Grok, and DeepSeek), combining real-world user interactions (invivo) with controlled experiments using the same platform’s models by their APIs (invitro). We investigate the quality of agentic decisions to invoke Web search, their strategies to formulate queries, the potential domain preferences in the search results they receive, and the choices they make when transforming search results into grounded responses. We find that Web-search decisions vary substantially across platforms and models, while more frequent Web-search invocation does not necessarily yield better response quality. We further show that conversational agents employ different complex querying strategies and that platform specific search engines return search results from their preferred domains. Finally, although responses are largely grounded in search results, some claims rely on uncited search results, raising concerns about attribution and reliability. Our findings have important implications for the design of future AI agents and Web search tools optimized for conversational retrieval.

中文摘要

摘要：对话型大语言模型（LLM）代理越来越依赖网络搜索，但代理搜索的端到端生命周期仍然理解不足。我们呈现了针对四大主要对话平台（ChatGPT、Claude、Grok 和 DeepSeek）的首次网络搜索研究，将真实用户交互（体内研究）与使用相同平台模型通过其 API 的受控实验（体外研究）相结合。我们调查了代理决定调用网络搜索的质量、它们制定查询的策略、它们收到的搜索结果中可能存在的领域偏好，以及它们将搜索结果转化为有依据回应时所做的选择。我们发现，各平台和模型在网络搜索决策上存在显著差异，而更频繁地调用网络搜索并不一定能提高回应质量。我们进一步表明，对话代理采用不同的复杂查询策略，而特定平台的搜索引擎会返回其偏好的领域搜索结果。最后，尽管回应大体上基于搜索结果，但部分声明依赖未引用的搜索结果，这引发了关于归因和可靠性的担忧。我们的研究结果对未来面向对话检索优化的 AI 代理和网络搜索工具设计具有重要启示。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19244 (HTTP 429)

Authors: Mahsa Amani, Seungeon Lee, Abhisek Dash, Asmaa El Fraihi, Yunah Jang, Elisabeth Kirsten, Qinyuan Wu, Krishna P. Gummadi, Manish Gupta, Abhilasha Ravichander, Muhammad Bilal Zafar, Soumi Das

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19244.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19244

Published: 2026-09-20T01:37:38.695Z

7. Do AI Agents Understand Computer Architecture?

Abstract:Agents are increasingly asked to design hardware, and increasingly reported to succeed. Such reports establish that a design improved; they cannot establish why. An agent that improves an accelerator may be reasoning about the machine, or may be searching competently over knobs whose meaning it never recovers — and only the first transfers to the next architecture. Existing evaluations cannot tell the two apart, because they vary the agent while holding the framing of the problem fixed. We do the opposite. AutoTuring hands the same agent the same 15-dimensional accelerator space twice: once as named architectural knobs with simulator counters, once as anonymous variables on [0,1], with the evaluator, the legal space and the reachable optima held identical, so that the only thing that varies is whether the problem means anything. The gap between the two is the measurement. On a nine-kernel FP16 GEMM basket, meaning pays: the architect beats a modeled H200 by 5.4% and its blind counterpart by 12.3% on average, with 70.1% fewer simulator calls. It does not pay uniquely: a critic loop recovers most of that gap for the blind agent and buys the architect nothing, so architectural knowledge and structured critique behave as substitutes rather than as complements. We report these as preliminary findings — five to six runs per condition on a single modeled accelerator — and take the comparison itself, not the accelerator, to be the contribution.

中文摘要

摘要：代理越来越多地被要求设计硬件，并且报告显示其成功的案例也越来越多。这类报告表明设计得到了改进；但不能说明原因。改进加速器的代理可能是在对机器进行推理，或者可能仅是在熟练搜索那些其含义从未被理解的旋钮——而只有前者可以迁移到下一种架构。现有的评估无法区分这两者，因为它们在固定问题框架的情况下改变代理。我们做了相反的操作。AutoTuring 将同一个代理在相同的 15 维加速器空间中运行两次：一次将其视为带有模拟器计数器的命名架构旋钮，一次将其作为 [0,1] 上的匿名变量，同时评估器、合法空间和可达最优值保持一致，因此唯一不同的是问题是否有意义。两者之间的差距即为测量值。在九核 FP16 GEMM 套件上，有意义的设计带来了收益：架构师在模拟的 H200 上平均领先 5.4%，比盲目代理领先 12.3%，模拟器调用次数减少 70.1%。它并非唯一有利：批评循环为盲目代理恢复了大部分差距，却没有为架构师带来额外收益，因此架构知识与结构化批评表现为互为替代而非互补。我们报告这些为初步发现——每种条件在单个模拟加速器上运行五到六次——并认为比较本身，而非加速器，是本研究的贡献。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：**AI agents 在计算机架构设计任务中取得的成功，究竟源于其对硬件的真正理解，还是仅仅源于通用的黑盒搜索能力？** 现有研究普遍无法回答这一问题。已有工作虽然展示了 AI agents 能够生成改进的硬件设计，但这些评估混淆了两种截然不同的机制： - **架构理解**：agent 利用关于计算机架构的语义知识进行因果推理，并将这种知识迁移到新的架构上； - **搜索能力**：agent 仅仅在高维空间中进行有效的数值优化，却从未恢复出旋钮（knobs）的物理意义。为了将这两种机制分离开来，论文提出了 **AutoTuring** 框架，并试图回答以下两个具体问题： 1. **能力问题（Competence）** 一个自主 agent 是否能够在给定特定工作负载约束的情况下，从 A100 初始配置出发，设计出超越 H200 性能的最终架构？ 2. **理解问题（Understanding）** 当评估器、合法设计空间以及可达最优解被严格固定时，赋予 agent 架构层面的语义知识（命名参数、硬件计数器、物理含义）是否能够带来比纯黑盒优化（匿名变量 $x_0, dots, x_(14) ∈

0,1
$）更优的结果？通过将同一个 15 维加速器设计空间以两种视图（**hardware-aware** vs. **opaque**）呈现给同一个 agent，论文将“意义”作为唯一变化的变量，从而将标题中的问题转化为可操作的测量：**剥离语义后 agent 的表现差距，即为其架构理解的度量**。 Q2: 有哪些相关研究？根据论文内容，相关研究可分为以下几个方向： ### 1. AI 辅助芯片设计与架构探索 - **LUMINA**

13
：利用 LLM 生成的架构知识和瓶颈分析来指导 GPU 设计空间探索（DSE），表明架构层面的语义推理能够减少寻找优质设计所需的样本数。 - **MicroEvo**
10
：将 LLM 引导的进化算子与蒙特卡洛树搜索相结合，并在迭代过程中积累优化知识，展示了知识引导采样在微架构 DSE 中的有效性。 - **gem5 Co-Pilot**
5
：将 LLM agent 与模拟器反馈及设计空间数据库结合，用于自动化的架构探索。 - **Agentic HLS（高层次综合）**
4
：在硬件栈的更底层应用 agent，通过迭代式的工具反馈自动修改代码和 pragma，以优化延迟和资源使用。 ### 2. 其他计算机科学领域的 Agent 应用近期的研究已将 agent 自动化扩展至计算机科学的多个子领域，这些工作构成了将 AI 应用于系统设计的背景动机： - **编译器工程**：如 LLM-Vectorizer

7
，利用 LLM 实现经过验证的循环向量化。 - **GPU 内核编程**：如 CAKE
11
，采用编译器与 agent 协同设计的方法来演化高性能内核。 - **操作系统**：如 AutoOS
2
，探索利用大语言模型增强操作系统功能。 - **网络配置**：如 NetConfEval
8
，评估 LLM 在网络配置任务中的能力。 ### 3. Agent 能力评估与基准测试 - **ArchEval**

9
：在 varying levels of simulator and tool support（不同程度的模拟器和工具支持）下，对 agent 执行计算机架构任务的能力进行系统性评估。其发现 agent 在结构化模拟器反馈下表现显著提升，但未能回答这种提升究竟来自**硬件特定的推理**还是**通用的自适应搜索能力**。 ### 4. 多 Agent 辩证优化框架 - **Abbasloo

1
：提出受黑格尔辩证法启发的增强方法，通过 Actor 与 Critic 的辩证循环（dialectical loop）来提升 agent 解决序列优化问题的能力。本文的 AutoTuring 即采用了这种 Actor–Critic 架构作为其搜索框架之一。 —- ### 本文与相关工作的核心区别现有工作（如 LUMINA、MicroEvo、gem5 Co-Pilot 等）主要展示了 agent 能够成功找到更好的硬件设计，或证明增加工具与指导能够改善输出；ArchEval 等基准测试则聚焦于性能表现随资源支持变化的趋势。然而，这些研究均无法分离以下两种能力： - agent 固有的计算机架构理解与领域知识； - agent 通用的黑盒优化与实验能力。本文通过 AutoTuring 实现了这种分离：在严格固定评估器、合法设计空间以及可达最优解的前提下，仅改变问题的语义表征**（hardware-aware 的命名参数与物理计数器 vs. opaque 的匿名变量 $x0, dots, x(14) ∈

0,1
），从而将“AI 是否真正理解计算机架构”转化为一个可操作的测量问题。 Q3: 论文如何解决这个问题？论文通过提出 AutoTuring 框架，将“AI 是否真正理解计算机架构”这一抽象问题转化为一个可操作的对比实验。其核心策略是在严格固定问题本质的前提下，仅剥离问题的语义表征，通过测量性能差距来量化“理解”的价值。具体解决方法包括以下五个层面： ### 1. 控制变量的双视图对比框架该方法的核心创新在于：将“意义”（meaning）作为唯一变化的自变量。具体而言： - 固定不变：评估器（基于 LLMCompass 的 GPU 架构模拟器）、15 维设计空间的合法范围、物理约束（面积与海岸线预算）、可达最优解、agent 底层模型（Anthropic claude-opus-4.8）、解码策略（greedy decoding）、工具访问权限、搜索轮次（12-turn horizon）以及每轮评估预算（300 次模拟调用）。 - 唯一变化：问题呈现给 agent 的方式——即 agent 是否能看到参数和反馈的物理语义。 ### 2. 两种等价的设计空间表征同一设计空间以两种视图暴露给同一个 agent，通过外部映射确保二者在物理层面完全等价： - Hardware-aware（架构师）视图：参数为具名硬件旋钮，如 num_sms、l2_mb、tc_m 等；模拟器反馈为可解释的硬件计数器（如各级缓存带宽、容量、延迟等）。Agent 可基于计算机架构知识进行因果推理。 - Opaque（黑盒优化器）视图：参数被替换为 15 个匿名连续变量 x0, dots, x(14) ∈

0, 1
；模拟器反馈被剥离所有领域语义，仅报告为通用组件索引 c_0, dots, c_8$ 和约束值。Agent 在此条件下无法直接获知任何物理含义。两种视图通过外部映射层链接到相同的硬件配置，确保 evaluator 接收到的设计、模拟统计量及约束信息在内容上是严格一致的。 ### 3. Actor–Critic 搜索架构为了进一步分离“结构化推理”与“纯搜索能力”，实验在两种视图上分别测试了两种搜索模式： - Single-agent 条件：Actor 每轮编写并执行可运行的 Python 优化器，根据历史评估结果自适应调整搜索策略（如坐标下降、进化搜索或代理模型辅助优化），并提交一个候选设计。 - Actor–Critic 条件：在 Actor 每轮提交设计并获得评估结果后，引入一个无工具访问权限、不编写代码、不能直接提交设计的 Critic。Critic 基于累积的搜索历史提供辩证式反馈（例如建议探索未充分采样的维度或质疑当前策略），Actor 随后决定接受或拒绝这些建议。 ### 4. 统一的评估与度量标准所有候选架构均在相同的九核 FP16 GEMM 工作负载篮上评估，覆盖带宽受限、中等强度与计算受限三种机制。目标函数为 GPU 时间加权的遗憾值（GPU-time-weighted regret）：

R(d) = ∑i w_i ell_i(d)/ell_i^(ref)∑_i w_i
其中 ell_i(d) 为设计 d 在第 i 个内核上的建模延迟， ell_i^(ref) 为参考延迟， w_i 为运行时权重。关键测量指标包括： - 每轮运行中找到的最佳可行设计的延迟； - 多次运行的平均最佳延迟（mean best）； - 达成该结果所需的模拟器调用次数（Evals/run）。 ### 5. 操作化的“理解”定义论文将“理解”操作化为语义剥离代价： - 若移除参数与反馈的物理语义后，agent 的性能（延迟与搜索效率）保持不变，则表明其从未真正利用架构知识，只是在高维空间中进行有效的黑盒搜索。 - 若 hardware-aware 视图显著优于 opaque 视图，则差距可被归因于 agent 对计算机架构的语义推理能力。此外，通过对比 single-agent 与 Actor–Critic 在两种视图下的表现，实验进一步检验了架构知识与结构化辩证批评之间是互补还是替代关系，从而深化对“理解”在搜索过程中作用的认识。 Q4: 论文做了哪些实验？论文围绕 AutoTuring 框架开展了一系列受控实验，旨在分离并度量 AI agent 的“架构理解”与“通用搜索能力”。实验设计遵循严格的变量控制：评估器、合法设计空间、物理约束、可达最优解、底层模型（Anthropic claude-opus-4.8）、解码策略、工具访问、搜索轮次（12-turn horizon）及每轮评估上限（300 次模拟调用）均保持不变，仅改变问题表征的语义丰富度与 agent 组织结构。 ### 1. 主实验：2×2 因子对比（Table 1）该实验构成论文的核心结果，在相同的 15 维 GPU 加速器设计空间与九核 FP16 GEMM 工作负载篮上，系统比较了四种条件： | 条件 | 问题表征 | 搜索结构 | 运行次数 | |:—-|:—-|:—-|:—-| | Hardware-aware, single-agent | 具名硬件参数 + 硬件特定反馈 | 单 Agent | 6 | | Hardware-aware, Actor–Critic | 具名硬件参数 + 硬件特定反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, Actor–Critic | 匿名变量 $x_0,dots,x(14) ∈

0,1

语义剥离的通用反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, single-agent | 匿名变量 + 语义剥离反馈 | 单 Agent | 5 | 评估指标包括： - Best ( μ s)：单次运行中找到的最佳可行设计的总延迟 - Mean best ( μ s)：各次运行最佳延迟的均值 - Evals/run：单次运行中平均模拟器调用次数（反映搜索效率） - Best vs H200：相对于建模 H200 参考设计的性能差距 参考基线： - Modeled A100 baseline：以 A100 配置为起点的建模基线 - H200 reference：作为性能锚点的建模 H200 设计关键发现包括：hardware-aware single-agent 在 mean best 上比 black-box single-agent 低 12.3%，且模拟器调用减少 70.1%；引入 Critic 后，opaque 条件的差距被大幅追回，两种 Critic 条件的最佳设计仅相差 0.8%。 ### 2. 设计空间特征与景观分析（Figure 2, Appendix B.6）为支撑对结果的解释，论文通过系统性采样刻画了设计空间的结构特征： - Sobol 采样：在 15 维空间中生成 1683 个可行设计 - 局部网格扫描：围绕受控锚点评估 25 组双参数切片，共尝试 5021 个点，其中 2413 个通过预筛选并完成模拟 - 可视化：将高维设计投影至前两个主成分（解释 27.3% 方差），用于定性观察可行区域、灵敏度边界与近最优区域的分布该分析揭示了设计空间存在宽广的近最优plateau，为解释“为何 Critic 在 hardware-aware 条件下增益有限”以及“为何 opaque 搜索仍能获得可接受结果”提供了实证基础。 ### 3. 搜索行为的定性轨迹分析（Section 3）论文对 agent 的逐轮推理日志进行了深入的定性分析，以验证语义表征是否真正被用于物理推理，而非仅作装饰。分析素材来自 hardware-aware 与 opaque 条件下的完整搜索转录（transcripts）。代表性发现包括： - Hardware-aware 条件：Agent 展现出基于物理的推理模式，例如： - 按瓶颈类型（带宽受限 vs. 计算受限）分区工作负载并分配面积预算 - 通过阅读成本模型代码，识别出 MMA tile 几何参数对面积“基本免费”，并依据延迟恒等式而非盲目采样做出决策 - 提出可证伪假设（如“缓存容量是松弛的”），在被模拟结果证伪后明确撤回（“v5 thesis falsified”） - 在受控条件下复测先前被混淆变量污染的假设 - 基于对评估器源码的理解，推翻 Critic 关于固定 HBM 带宽的错误建议 - Opaque 条件：Agent 的推理呈现纯粹的坐标空间 bookkeeping，例如记录 “ x(12)=0.25, x_6=0.108 ” 的收敛模式，判断“噪声plateau”，进行“frozen-axis sweeps”，而完全缺乏对物理机制的指涉。该对比提供了“语义表征确实被用于架构层面因果推理”的最直接定性证据。 ### 4. Prompt 版本敏感性实验（Appendix B.7）论文额外测试了四代相继演化的 prompt（v1–v4），以评估结果对提示工程的稳健性。这些实验为补充性探索，仅 v1 用于上述主实验的 2×2 矩阵： - v1（基线）：建立标准的 Actor–Critic 与单 Agent 流程，Actor 每轮编写 Python 优化器并提交单一设计，Critic 提供回顾性建议。 - v2（Critic Prompt 重写）：重写 Critic 指令，增加：（i）HBM 带宽固定不可调的显式护栏；（ii）要求报告最优/次优设计与覆盖度；（iii）引入局部收敛与简洁性规则。 - v3（搜索循环修复）：修正 v2 遗留的搜索病理行为，包括将局部收敛推迟至最后两轮、强制 Critic 信任 harness 提供的剩余轮次计数器、以及 harness 对历史评估点的结果缓存复用。 - v4（架构探索指令）：强制 Actor 在连续两轮改进不足 0.5% 时，提出至少三种结构迥异的架构原型（如移除寄存器文件层级、激活 L3 缓存、或进行 SM 数量与缓存带宽的大额权衡）。该版本仅用于 hardware-aware Actor–Critic，以探索克服坐标下降停滞的策略。结果表明，同一 prompt 下的不同运行之间的方差，与不同 prompt 版本之间的方差相当，提示性能差异主要源于优化动态而非提示细节。 ### 5. 约束与局限性声明论文明确将上述所有结果定位为初步发现（preliminary findings），关键限制包括： - 每种条件仅 5–6 次运行 - 仅在单一建模加速器（基于 A100 物理包络、4N 工艺节点、固定 HBM 带宽）上测试 - 工作负载篮仅包含 9 个 GEMM 内核，未覆盖注意力、通信原语或稀疏算子等异构操作作者指出，实验目的并非提出一个全面优于 H200 的加速器，而是建立一种可复现的比较方法，使“AI 是否理解架构”成为一个可被逐步逼近的操作化问题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与局限性声明，以下几个方面具有明确的进一步探索价值： ### 1. 异构算子与更复杂的工作负载当前实验仅使用了九核 FP16 GEMM 篮子，覆盖范围限于矩阵乘法变体。作者指出，未来的关键方向是引入异构操作，例如： - 注意力机制（attention） - 通信原语（collectives） - 稀疏层（sparse layers）这些算子对内存层次结构和数据流模式提出与 GEMM 根本不同的要求，可能打破当前设计空间中“宽泛近最优plateau”的局面，从而迫使 agent 必须进行真正的架构权衡，而非依赖无意义的坐标搜索。 ### 2. 更严格的评估预算约束论文认为 materially smaller evaluation budgets 是最有可能首先显现差异的轴。在当前实验中，agent 拥有相对充裕的采样预算（每轮最多 300 次模拟调用，共 12 轮），使得即使基于错误假设的搜索也能通过后续采样自我修正。若将评估预算压缩至无法通过蛮力采样覆盖错误假设的程度，则架构层面的先验知识将成为稀缺资源，hardware-aware 与 opaque 条件之间的差距可能被显著放大。 ### 3. 更紧的物理与面积约束当前候选设计被宽松地限制在 A100 物理包络内（4N 工艺下留有 185.6 mm² 余量）。引入更严苛的约束条件（如更严格的面积预算、海岸线限制或功耗墙）会缩小可行区域的体积，提高找到可行解的难度，进而检验 agent 是否能利用物理语义知识高效导航约束边界，而非在匿名空间中盲目碰壁。 ### 4. 更大规模的设计空间虽然当前空间已是 15 维，但作者暗示需要探索更大、更丰富的设计空间。增加可调参数的数量和相互作用复杂度（例如更细粒度的缓存一致性配置、互联拓扑、或动态电压频率调节）可能提升问题的内在维度，使得无结构的黑盒搜索遭遇维度灾难，而语义引导的搜索保持相对优势。 ### 5. 统计稳健性与跨架构泛化现有结果基于单一建模加速器且每种条件仅 5–6 次运行，统计效力有限。未来需要： - 在多种参考底盘（reference chassis）和工艺节点上重复实验 - 增加运行次数以降低随机性方差 - 测试 agent 是否能把在一个架构上学到的知识迁移到下一个架构，这是区分“真正理解”与“过拟合搜索”的关键标准 ### 6. 知识批判替代关系的深层机制论文发现 architectural knowledge 与 structured dialectical critique 表现为替代品（substitutes）而非互补品。这一结论本身需要更精细的解构： - 是否存在特定的搜索阶段（早期探索 vs. 后期微调）使二者分别发挥不可替代的作用？ - Critic 在 opaque 条件下究竟恢复了哪类结构（如坐标相关性、局部凹凸性）来弥补语义缺失？ - 能否设计一种混合机制，使知识引导与批评循环产生超加性（super-additive）效应？ ### 7. 更困难的优化地形（optimization landscape）当前结果的一个“不舒服”的解释是：问题可能过于简单。未来工作应刻意构造或寻找具有以下特征的地形： - 尖锐的约束边界 - 狭窄的山脊状最优区域 - 高度非线性的参数交互 - 多模态目标函数只有在这样的地形中，才能可靠地甄别 agent 是在进行物理因果推理，还是仅仅执行复杂的坐标攀登。 Q6: 总结一下论文的主要内容论文研究了 AI agent 在计算机架构设计中的成功究竟是源于对硬件的真正理解，还是仅仅源于高效的黑盒搜索。现有工作无法区分这两种机制，因为它们在改变 agent 的同时固定了问题的表述方式，从而混淆了通用优化技能与领域特定知识。 ## 核心方法：AutoTuring 为将“理解”与“搜索”分离开来，论文提出 AutoTuring，一个用于 GPU 加速器设计空间探索（DSE）的 agent 框架。其关键创新在于控制变量：将同一个 15 维加速器设计空间、同一个评估器（基于 LLMCompass 的模拟器）、同一组物理约束（面积与海岸线预算）和同一组工作负载（九核 FP16 GEMM 篮子）呈现给同一个 agent，唯一改变的是问题是否具有可解释的物理意义： - Hardware-aware（架构师）视图：参数为具名硬件旋钮（如 num_sms、l2_mb、tc_m 等），反馈为可解释的模拟器计数器。Agent 可以利用计算机架构的语义知识进行因果推理。 - Opaque（黑盒优化器）视图：相同的物理空间被编码为 15 个匿名连续变量 x_0, dots, x(14) ∈

0, 1
$，反馈被剥离为通用组件索引与无意义约束值。Agent 无法直接获知任何物理含义。此外，实验在两种视图上分别测试了两种搜索结构： - **Single-agent**：Actor 自主编写并执行 Python 优化器进行搜索； - **Actor–Critic**：在 Actor 每轮搜索后，引入一个无工具权限的 Critic 对搜索历史进行辩证式审查与建议。 ## 主要实验与发现在九核 FP16 GEMM 工作负载上，论文进行了 2×2 因子对比实验（hardware-aware vs. opaque × single-agent vs. Actor–Critic），以 GPU 时间加权遗憾值

R(d) = ∑_i w_i ell_i(d)/ell_i^(ref)∑_i w_i
为目标函数，与建模的 A100 和 H200 基线进行比较。核心结果如下： - **单 agent 时，语义知识显著有效**：Hardware-aware single-agent 比 opaque single-agent 的平均最优延迟低 **12.3%**，且模拟器调用次数减少 **70.1%**；其设计比建模 H200 快 **5.4%**。 - **引入 Critic 后，差距急剧缩小**：Opaque Actor–Critic 追回了大部分性能差距，与 hardware-aware Actor–Critic 的最佳设计仅相差 **0.8%**。Critic 对 hardware-aware agent 几乎没有额外增益。 - **知识与批判是替代品，而非互补品**：架构层面的先验知识与结构化的辩证批评似乎提供了同一稀缺资源——“下一步搜索方向的假设”——的两种替代途径。在宽广的近最优 plateau 上，一条路径已足够。定性分析显示，hardware-aware agent 的搜索日志包含基于物理的推理（如按瓶颈分区预算、从成本模型代码推断参数免费性、提出并证伪可检验假设），而 opaque agent 的日志则完全是坐标空间 bookkeeping。 ## 讨论与局限作者明确指出，这些发现是**初步的**（每种条件仅 5–6 次运行，单一建模加速器）。最可能的解释同样是最令人不安的：**当前问题可能过于简单**。设计空间的景观分析揭示了宽广的近最优 plateau，这使得即使不理解物理含义的黑盒搜索也能表现良好，也让 Critic 在 agent 已进入优良区域后难以提供更多 headroom。 ## 贡献与展望论文的主要贡献并非某个具体的加速器设计，而是**提出了一种可操作的比较方法**：通过严格固定所有变量、仅剥离语义，将“AI 是否理解计算机架构”转化为一个可测量的差距。作者认为这只是一个开始，未来需要在更难的场景中检验这一结论，包括： - 引入异构算子（如 attention、collectives、稀疏层）； - 收紧评估预算，使错误假设无法通过采样 brute-force 修正； - 探索更复杂、更尖锐的优化地形。若在这些更严苛的条件下仍能观察到语义知识的显著优势，则表明 agent 确实具备架构理解能力；若不能，则这将是一个关于“agent 在看似推理时实际在做什么”的更有趣结论。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19387.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19387

Published: 2026-09-20T01:37:38.695Z

8. MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs

Abstract:LLM coding agents now generate complex programs at a scale that makes thorough human review increasingly difficult, raising the risk of safety and security failures. Common approaches, including fuzz testing, static analysis, and LLM-as-a-Verifier, can detect many failures but struggle to cover all possible edge cases. Formal verification addresses this by providing machine-checkable guarantees over specified properties, but traditionally demands substantial manual specification and proof engineering. We introduce a unified multi-agent framework, MAGS, that generates executable programs with formal safety guarantees, using Dafny as a verification-aware intermediate representation where safety properties can be mechanically checked. MAGS formalizes and freezes human-audited APIs and safety requirements, translates generated code into Dafny, repairs violations using verifier feedback, and compiles verified programs back into executable code. We evaluate MAGS on 100 CUDA kernels, 100 terminal scripts, and 20 robotic-arm tasks. Across all 220 examples, it achieves a 100% success rate in producing programs with non-trivial safety guarantees against frozen specifications. Independent safety and functional evaluations further show strong performance across all three domains, while revealing failures when the auto-formalized semantics do not fully capture the target behavior.

中文摘要

摘要：大型语言模型（LLM）编码代理现在能够生成复杂程序，其规模使得人工彻底审查变得越来越困难，从而增加了安全性和保障失败的风险。常见方法，包括模糊测试、静态分析以及将LLM作为验证器（LLM-as-a-Verifier），可以检测许多故障，但在覆盖所有可能的边缘情况方面仍存在困难。形式化验证通过对指定属性提供机器可检验的保证来解决这一问题，但传统上需要大量的人工规范和证明工程。我们提出了一个统一的多代理框架MAGS，该框架使用Dafny作为具有验证意识的中间表示生成可执行程序，从而提供形式化的安全保证，在其中安全属性可以被机械地检查。MAGS将人工审核的API和安全要求形式化并固定，将生成的代码翻译为Dafny，使用验证器反馈修复违规，并将经过验证的程序编译回可执行代码。我们在100个CUDA内核、100个终端脚本以及20个机械臂任务上评估了MAGS。在所有220个示例中，它在生成符合固定规范的非平凡安全保证程序方面实现了100%的成功率。独立的安全性和功能性评估进一步显示其在所有三个领域均表现出色，同时也揭示了当自动形式化语义未能完全捕捉目标行为时存在失败情况。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19391 (HTTP 429)

Authors: Albert Wu, Nicholas Roberts, Tzu-Heng Huang, Haoran Lin, Gil Friedman, Sungjun Cho, Gabriel Orlanski, Frederic Sala

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19391.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19391

Published: 2026-09-20T01:37:38.695Z

9. Closed-World Resolution Against Tool Hallucination in LLM Agents

Abstract:Tool-augmented large language model (LLM) agents fail in a way no tool-selection or tool-security method addresses: they call tools that do not exist and pass arguments no schema declares. Existing defenses either pick the right tool (selection) or constrain what an agent may do with real tools (gating), both of which presuppose the emitted call refers to a real tool at all. We show this is a structural blind spot: a hallucinated call is by construction not a decision any gate made, so no gate can reject it. This paper is primarily a measurement and benchmark study. We give a five-class taxonomy of tool hallucination (H1-H5) and, as a reference point, the Resolution Rung: a training-free, closed-world resolver (registry membership plus a signature check) whose interest is where it must sit, not what it computes. We prove hallucination defense must precede any causal gate, and characterize the one irreducible residue (borrowed arguments schema-indistinguishable from a valid call). Across ten hosted models under two invocation surfaces we measure 322 genuine hallucinations; fabricated-tool calls concentrate on the unconstrained raw-JSON surface (34 vs. 3), and model scale does not help (a 675B model matches a 7-8B one). We then extend to the Model Context Protocol, where merging several servers into one namespace creates hallucination surfaces a single registry cannot express (a second taxonomy, M1-M5); on the live MCP surface we measure 154 hallucinations, including from frontier models that were clean on the single-registry surface, because collisions and shadowing are structural to the merge. We release the versioned Hallucinated-Tools Benchmark (HTB) so any resolver is comparable across submissions.

中文摘要

摘要：增强工具的大型语言模型（LLM）代理以一种任何工具选择或工具安全方法都无法解决的方式失败：它们调用不存在的工具，并传递任何模式未声明的参数。现有防御要么选择正确的工具（选择），要么限制代理可以使用实际工具的方式（门控），这两者都假设发出的调用至少指向一个真实的工具。我们表明这是一个结构性的盲点：幻觉调用本质上不是任何门控作出的决策，因此没有门控能够拒绝它。本文主要是一个测量和基准研究。我们提供了五类工具幻觉分类（H1-H5），并作为参考点提出了解析阶梯（Resolution Rung）：一个无需训练、封闭世界的解析器（注册表成员资格加签名检查），其重点在于它必须处于的位置，而不是它计算的内容。我们证明，幻觉防御必须先于任何因果门控，并描述了一个不可约剩余（借用的参数模式与有效调用在结构上无法区分）。在两个调用界面下对十个托管模型，我们测量了322次真实幻觉；伪造工具调用集中出现在不受限制的原始JSON界面（34次对3次），而模型规模无助于减少幻觉（一个675B模型与一个7-8B模型表现相同）。然后我们扩展到模型上下文协议（MCP），其中将多个服务器合并到一个命名空间会产生单一注册表无法表达的幻觉界面（第二类分类，M1-M5）；在实际MCP界面上，我们测量了154次幻觉，包括来自在单注册表界面上清晰的前沿模型，因为冲突和遮蔽是合并的结构性现象。我们发布了版本化的幻觉工具基准（HTB），以便任何解析器在各次提交中都可以进行比较。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19425 (HTTP 429)

Authors: Laxmipriya Ganesh Iyer

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19425.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19425

Published: 2026-09-20T01:37:38.695Z

10. The syntax and semantics of goals

Abstract:In both cognitive science and computer science, goals are conceptualized as cognitive states that flexibly combine with world knowledge to organize and specify purposeful behavior. In this way, goals are compositional representations whose content relates to rational behavior. We here draw attention to goals as representations and their content because it highlights a parallel with other areas in cognitive science - in particular, the syntax-semantics interface in linguistics and logic - while also foregrounding foundational questions about the expressivity, design, and efficiency of different goal representations. For example, goals are typically taken as fixed and imposing constraints on desirable behaviors, but we can also identify constraints on goal representations themselves, such as whether a particular goal language is sufficiently expressive to capture behaviors of interest, or whether different goal representations capture the same behavior. Here, we synthesize work that aims to characterize the properties of different goal representations and suggest these are points of a broader design space. We close by discussing how distinguishing the form and meaning of goals can elucidate the implicit assumptions we make about goals, inform the study of interactions between higher-level cognition and motivation, and isolate axes of variation for different conceptions of goals.

中文摘要

摘要：在认知科学和计算机科学中，目标被概念化为认知状态，这些认知状态能够灵活地与世界知识结合，以组织和具体化有目的的行为。这样，目标就是复合性的表征，其内容与理性行为相关。我们在这里强调目标作为表征及其内容，因为这凸显了与认知科学其他领域的平行——特别是语言学和逻辑中的句法-语义接口——同时也突出了关于不同目标表征的表达能力、设计和效率的基础性问题。例如，目标通常被视为固定的并对可取的行为施加约束，但我们也可以识别对目标表征自身的约束，例如某种特定的目标语言是否足够表达感兴趣的行为，或者不同的目标表征是否捕捉相同的行为。在这里，我们综合了旨在描述不同目标表征属性的研究，并提出这些属性是更广泛设计空间的一部分。最后，我们讨论了区分目标的形式和意义如何能够阐明我们对目标所持的隐含假设，指导对高级认知与动机之间互动的研究，并为不同目标概念的变异轴提供明确划分。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19448 (HTTP 429)

Authors: David M. Abel, Mark K. Ho

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19448.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19448

Published: 2026-09-20T01:37:38.695Z

Evaluation Domain Papers

1. Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes

中文摘要

摘要：强调时序差分学习（ETD）稳定了期望的离策略 TD 更新，并改变了其投影几何，但这两种特性都不能决定常步长采样动态。我们构建了一个遍历性的两状态反例，其中 ETD 平均映射收缩，而采样的乘积具有正的顶 Lyapunov 指数。再生周期分析将此符号与后续迹的无限方差分开。我们引入了正则化强调 TD（RETD），这是一种归一化的一阶冲击后修复方法，保持迹和重要性比率不变，将强调 TD 信号存储在一个泄漏的标量状态中，并释放延迟修正。RETD 的原始平衡是 ETD 平衡的仿射平移；单重和双重正则化读出可以精确恢复 ETD 固定点。我们证明了对于调和递减步长几乎必然收敛，并通过马尔可夫随机乘积界得到条件常步长矩收缩结果。RETD 在两状态构造和一个 Baird 点上都有经过认证的负指数，而 Baird ETD 的正符号仍为数值结果。成对的 10,000 次运行实验验证了这两种分离、固定点恢复、非单调稳定区域和任务依赖性。RETD 改变了冲击后的动态；它不会减少共享的后续迹方差。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19170 (HTTP 429)

Authors: Xingguo Chen, Zhaohui Wu, Jinguo Ye, Chao Li, Shangdong Yang, Guang Yang, Skylar Liang, Wenhao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19170.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19170

Published: 2026-09-20T01:37:59.507Z

2. BioPhys-Bridge: A Benchmark for Interdisciplinary Scientific Reasoning in Physics-Grounded Biological Research

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19180 (HTTP 429)

Authors: Qingyang Xu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19180.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19180

Published: 2026-09-20T01:37:59.507Z

3. What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19182 (HTTP 429)

Authors: Chao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19182.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19182

Published: 2026-09-20T01:37:59.507Z

4. Position: It is Time to Virtualize Foundation Models with a Self-evolving Operating System Layer

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19203 (HTTP 429)

Authors: Suparna Bhattacharya, Tarun Kumar, Cong Xu, Satish Kumar Mopur, Jiahao Li, Ashish Mishra, Aalap Tripathy, Annmary Justine Koomthanam, Martin Foltin, Ian Foster

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19203.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19203

Published: 2026-09-20T01:37:59.507Z

5. What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis

中文摘要

摘要：系统性概括，即通过重新组合已知的基本元素来解决新问题的能力，是人类智慧的核心，但在受控环境下严格研究它是困难的。因此，现有研究依赖于一些简化方法，例如近似线性动作组合、基于生产力的测试和动作明确的目标，这些方法使得系统性概括更容易研究，但忽略了这一能力的一些关键方面。为了刻画这些简化方法所遗漏的内容，我们采用以推理为中心的视角，引入TranSGrid，这是一个将演绎推理、归纳推理和溯因推理统一到单一任务中的测试平台。在对七种Transformer模型进行的4,800个TranSGrid实例实验中，所有模型在TranSGrid上的表现都远低于保留测试集：最大模型解决了测试集的79.6%，但在TranSGrid上仅为55.3%，在最难子集上仅为15.8%。这一差距在训练长度范围内依然存在，表明仅凭生产力不足以评估系统性概括。此外，我们在TranSGrid中重新引入了另外两种简化方法：一种变体使动作几乎线性组合（降低归纳需求），另一种使目标动作明确（降低溯因需求）。在这两种情况下，解决率回升到测试集大致水平，显示出任一简化方法都足以将TranSGrid降至普通保留测试集水平。总体而言，我们的结果显示，现有任务降低了归纳和溯因需求中的一项或两项，而全面测量系统性概括则需要一个涉及三种推理形式的任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19212 (HTTP 429)

Authors: Chengwen Qi, Deheng Ye, Yatao Bian

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19212.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19212

Published: 2026-09-20T01:37:59.507Z

6. Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses

中文摘要

摘要：对话型大语言模型（LLM）代理越来越依赖网络搜索，但代理搜索的端到端生命周期仍然理解不足。我们呈现了针对四大主要对话平台（ChatGPT、Claude、Grok 和 DeepSeek）的首次网络搜索研究，结合了真实用户交互（体内实验）与使用同一平台模型通过其 API 进行的受控实验（体外实验）。我们调查了代理决定调用网络搜索的质量、它们制定查询的策略、所接收搜索结果中潜在的领域偏好，以及它们将搜索结果转化为有依据回应时所做的选择。我们发现，各平台和模型在网络搜索决策上存在显著差异，而更频繁地调用网络搜索并不一定能提高回应质量。我们进一步表明，对话代理采用不同的复杂查询策略，而特定平台的搜索引擎会返回其偏好的域名的搜索结果。最后，虽然回应在很大程度上基于搜索结果，但一些声明依赖于未引用的搜索结果，这引发了关于归属和可靠性的担忧。我们的研究结果对未来针对对话检索优化的 AI 代理和网络搜索工具的设计具有重要意义。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19244 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19244.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19244

Published: 2026-09-20T01:37:59.507Z

7. Do AI Agents Understand Computer Architecture?

中文摘要

摘要：代理越来越多地被要求设计硬件，并且报告显示其成功的案例也越来越多。这类报告表明设计得到了改进；但不能说明原因。改进加速器的代理可能是在对机器进行推理，或者可能仅是在熟练搜索那些其含义从未被理解的调节项——而只有前者的知识可以迁移到下一架构。现有的评估无法区分两者，因为它们在保持问题框架不变的情况下改变代理。我们采取了相反的方法。AutoTuring 让同一个代理在同一个15维加速器空间中运行两次：一次将其视为带有模拟器计数器的命名架构调节项，一次视为 [0,1] 上的匿名变量，同时评估器、合法空间和可达最优值保持一致，因此唯一不同的是问题是否有意义。两者之间的差距即为测量值。在九核 FP16 GEMM 套件上，有意义的设计带来了收益：架构师在模拟的 H200 上平均领先 5.4%，比盲目代理领先 12.3%，模拟器调用次数减少 70.1%。它并非唯一有利：批评循环为盲目代理恢复了大部分差距，却没有为架构师带来额外收益，因此架构知识与结构化批评表现为互为替代而非互补。我们报告这些为初步发现——每种条件在单个模拟加速器上运行五到六次——并认为比较本身，而非加速器，是本研究的贡献。

LLM Analysis

0,1

语义剥离的通用反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, single-agent | 匿名变量 + 语义剥离反馈 | 单 Agent | 5 | 评估指标包括： - Best ( μ s)：单次运行中找到的最佳可行设计的总延迟 - Mean best ( μ s)：各次运行最佳延迟的均值 - Evals/run：单次运行中平均模拟器调用次数（反映搜索效率） - Best vs H200：相对于建模 H200 参考设计的性能差距 参考基线： - Modeled A100 baseline：以 A100 配置为起点的建模基线 - H200 reference：作为性能锚点的建模 H200 设计关键发现包括：hardware-aware single-agent 在 mean best 上比 black-box single-agent 低 12.3%，且模拟器调用减少 70.1%；引入 Critic 后，opaque 条件的差距被大幅追回，两种 Critic 条件的最佳设计仅相差 0.8%。 ### 2. 设计空间特征与景观分析（Figure 2, Appendix B.6）为支撑对结果的解释，论文通过系统性采样刻画了设计空间的结构特征： - Sobol 采样：在 15 维空间中生成 1683 个可行设计 - 局部网格扫描：围绕受控锚点评估 25 组双参数切片，共尝试 5021 个点，其中 2413 个通过预筛选并完成模拟 - 可视化：将高维设计投影至前两个主成分（解释 27.3% 方差），用于定性观察可行区域、灵敏度边界与近最优区域的分布该分析揭示了设计空间存在宽广的近最优plateau，为解释“为何 Critic 在 hardware-aware 条件下增益有限”以及“为何 opaque 搜索仍能获得可接受结果”提供了实证基础。 ### 3. 搜索行为的定性轨迹分析（Section 3）论文对 agent 的逐轮推理日志进行了深入的定性分析，以验证语义表征是否真正被用于物理推理，而非仅作装饰。分析素材来自 hardware-aware 与 opaque 条件下的完整搜索转录（transcripts）。代表性发现包括： - Hardware-aware 条件：Agent 展现出基于物理的推理模式，例如： - 按瓶颈类型（带宽受限 vs. 计算受限）分区工作负载并分配面积预算 - 通过阅读成本模型代码，识别出 MMA tile 几何参数对面积“基本免费”，并依据延迟恒等式而非盲目采样做出决策 - 提出可证伪假设（如“缓存容量是松弛的”），在被模拟结果证伪后明确撤回（“v5 thesis falsified”） - 在受控条件下复测先前被混淆变量污染的假设 - 基于对评估器源码的理解，推翻 Critic 关于固定 HBM 带宽的错误建议 - Opaque 条件：Agent 的推理呈现纯粹的坐标空间 bookkeeping，例如记录 “ x(12)=0.25, x_6=0.108 ” 的收敛模式，判断“噪声plateau”，进行“frozen-axis sweeps”，而完全缺乏对物理机制的指涉。该对比提供了“语义表征确实被用于架构层面因果推理”的最直接定性证据。 ### 4. Prompt 版本敏感性实验（Appendix B.7）论文额外测试了四代相继演化的 prompt（v1–v4），以评估结果对提示工程的稳健性。这些实验为补充性探索，仅 v1 用于上述主实验的 2×2 矩阵： - v1（基线）：建立标准的 Actor–Critic 与单 Agent 流程，Actor 每轮编写 Python 优化器并提交单一设计，Critic 提供回顾性建议。 - v2（Critic Prompt 重写）：重写 Critic 指令，增加：（i）HBM 带宽固定不可调的显式护栏；（ii）要求报告最优/次优设计与覆盖度；（iii）引入局部收敛与简洁性规则。 - v3（搜索循环修复）：修正 v2 遗留的搜索病理行为，包括将局部收敛推迟至最后两轮、强制 Critic 信任 harness 提供的剩余轮次计数器、以及 harness 对历史评估点的结果缓存复用。 - v4（架构探索指令）：强制 Actor 在连续两轮改进不足 0.5% 时，提出至少三种结构迥异的架构原型（如移除寄存器文件层级、激活 L3 缓存、或进行 SM 数量与缓存带宽的大额权衡）。该版本仅用于 hardware-aware Actor–Critic，以探索克服坐标下降停滞的策略。结果表明，同一 prompt 下的不同运行之间的方差，与不同 prompt 版本之间的方差相当，提示性能差异主要源于优化动态而非提示细节。 ### 5. 约束与局限性声明论文明确将上述所有结果定位为初步发现（preliminary findings），关键限制包括： - 每种条件仅 5–6 次运行 - 仅在单一建模加速器（基于 A100 物理包络、4N 工艺节点、固定 HBM 带宽）上测试 - 工作负载篮仅包含 9 个 GEMM 内核，未覆盖注意力、通信原语或稀疏算子等异构操作作者指出，实验目的并非提出一个全面优于 H200 的加速器，而是建立一种可复现的比较方法，使“AI 是否理解架构”成为一个可被逐步逼近的操作化问题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与局限性声明，以下几个方面具有明确的进一步探索价值： ### 1. 异构算子与更复杂的工作负载当前实验仅使用了九核 FP16 GEMM 篮子，覆盖范围限于矩阵乘法变体。作者指出，未来的关键方向是引入异构操作，例如： - 注意力机制（attention） - 通信原语（collectives） - 稀疏层（sparse layers）这些算子对内存层次结构和数据流模式提出与 GEMM 根本不同的要求，可能打破当前设计空间中“宽泛近最优plateau”的局面，从而迫使 agent 必须进行真正的架构权衡，而非依赖无意义的坐标搜索。 ### 2. 更严格的评估预算约束论文认为 materially smaller evaluation budgets 是最有可能首先显现差异的轴。在当前实验中，agent 拥有相对充裕的采样预算（每轮最多 300 次模拟调用，共 12 轮），使得即使基于错误假设的搜索也能通过后续采样自我修正。若将评估预算压缩至无法通过蛮力采样覆盖错误假设的程度，则架构层面的先验知识将成为稀缺资源，hardware-aware 与 opaque 条件之间的差距可能被显著放大。 ### 3. 更紧的物理与面积约束当前候选设计被宽松地限制在 A100 物理包络内（4N 工艺下留有 185.6 mm² 余量）。引入更严苛的约束条件（如更严格的面积预算、海岸线限制或功耗墙）会缩小可行区域的体积，提高找到可行解的难度，进而检验 agent 是否能利用物理语义知识高效导航约束边界，而非在匿名空间中盲目碰壁。 ### 4. 更大规模的设计空间虽然当前空间已是 15 维，但作者暗示需要探索更大、更丰富的设计空间。增加可调参数的数量和相互作用复杂度（例如更细粒度的缓存一致性配置、互联拓扑、或动态电压频率调节）可能提升问题的内在维度，使得无结构的黑盒搜索遭遇维度灾难，而语义引导的搜索保持相对优势。 ### 5. 统计稳健性与跨架构泛化现有结果基于单一建模加速器且每种条件仅 5–6 次运行，统计效力有限。未来需要： - 在多种参考底盘（reference chassis）和工艺节点上重复实验 - 增加运行次数以降低随机性方差 - 测试 agent 是否能把在一个架构上学到的知识迁移到下一个架构，这是区分“真正理解”与“过拟合搜索”的关键标准 ### 6. 知识批判替代关系的深层机制论文发现 architectural knowledge 与 structured dialectical critique 表现为替代品（substitutes）而非互补品。这一结论本身需要更精细的解构： - 是否存在特定的搜索阶段（早期探索 vs. 后期微调）使二者分别发挥不可替代的作用？ - Critic 在 opaque 条件下究竟恢复了哪类结构（如坐标相关性、局部凹凸性）来弥补语义缺失？ - 能否设计一种混合机制，使知识引导与批评循环产生超加性（super-additive）效应？ ### 7. 更困难的优化地形（optimization landscape）当前结果的一个“不舒服”的解释是：问题可能过于简单。未来工作应刻意构造或寻找具有以下特征的地形： - 尖锐的约束边界 - 狭窄的山脊状最优区域 - 高度非线性的参数交互 - 多模态目标函数只有在这样的地形中，才能可靠地甄别 agent 是在进行物理因果推理，还是仅仅执行复杂的坐标攀登。 Q6: 总结一下论文的主要内容论文研究了 AI agent 在计算机架构设计中的成功究竟是源于对硬件的真正理解，还是仅仅源于高效的黑盒搜索。现有工作无法区分这两种机制，因为它们在改变 agent 的同时固定了问题的表述方式，从而混淆了通用优化技能与领域特定知识。 ## 核心方法：AutoTuring 为将“理解”与“搜索”分离开来，论文提出 AutoTuring，一个用于 GPU 加速器设计空间探索（DSE）的 agent 框架。其关键创新在于控制变量：将同一个 15 维加速器设计空间、同一个评估器（基于 LLMCompass 的模拟器）、同一组物理约束（面积与海岸线预算）和同一组工作负载（九核 FP16 GEMM 篮子）呈现给同一个 agent，唯一改变的是问题是否具有可解释的物理意义： - Hardware-aware（架构师）视图：参数为具名硬件旋钮（如 num_sms、l2_mb、tc_m 等），反馈为可解释的模拟器计数器。Agent 可以利用计算机架构的语义知识进行因果推理。 - Opaque（黑盒优化器）视图：相同的物理空间被编码为 15 个匿名连续变量 x_0, dots, x(14) ∈

Authors: Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19387.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19387

Published: 2026-09-20T01:37:59.507Z

8. MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs

中文摘要

摘要：大型语言模型（LLM）编码代理现在能够生成复杂程序，其规模使得人工彻底审查变得越来越困难，从而增加了安全性和保障失败的风险。常见方法，包括模糊测试、静态分析以及将LLM作为验证器（LLM-as-a-Verifier），可以检测许多故障，但在覆盖所有可能的边缘情况方面仍存在困难。形式化验证通过对指定属性提供机器可检验的保证来解决这一问题，但传统上需要大量的人工规范和证明工程。我们提出了一个统一的多代理框架 MAGS，该框架使用 Dafny 作为具有验证意识的中间表示生成可执行程序，从而提供形式化的安全保证，在其中安全属性可以被机械地检查。MAGS 将人工审核的 API 和安全要求形式化并固定，将生成的代码翻译为 Dafny，使用验证器反馈修复违规行为，并将经过验证的程序编译回可执行代码。我们在 100 个 CUDA 内核、100 个终端脚本和 20 个机械臂任务上评估了 MAGS。在所有 220 个示例中，它在生成符合固定规范的非平凡安全保证的程序方面达到了 100% 的成功率。独立的安全性和功能评估进一步显示了它在三个领域的出色表现，同时也揭示了当自动形式化语义未能完全捕捉目标行为时会出现失败。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19391 (HTTP 429)

Authors: Albert Wu, Nicholas Roberts, Tzu-Heng Huang, Haoran Lin, Gil Friedman, Sungjun Cho, Gabriel Orlanski, Frederic Sala

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19391.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19391

Published: 2026-09-20T01:37:59.507Z

9. Closed-World Resolution Against Tool Hallucination in LLM Agents

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19425 (HTTP 429)

Authors: Laxmipriya Ganesh Iyer

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19425.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19425

Published: 2026-09-20T01:37:59.507Z

10. The syntax and semantics of goals

中文摘要

摘要：在认知科学和计算机科学中，目标被概念化为认知状态，这些认知状态能够灵活地与世界知识结合，以组织和具体化有目的的行为。这样，目标就是复合性的表征，其内容与理性行为相关。我们在此强调目标作为表征及其内容，因为这凸显了与认知科学其他领域的平行——特别是语言学和逻辑中的句法-语义接口——同时也突出了关于不同目标表征的表达能力、设计和效率的基础性问题。例如，目标通常被视为固定的并对可取的行为施加约束，但我们也可以识别对目标表征自身的约束，例如某一特定目标语言是否足够表达以捕捉感兴趣的行为，或不同的目标表征是否捕捉相同的行为。在此，我们综合了旨在描述不同目标表征属性的研究，并提出这些是更广泛设计空间的切入点。最后，我们讨论了区分目标的形式和意义如何阐明我们对目标所作的隐含假设，如何指导更高级认知与动机之间的相互作用研究，以及如何孤立不同目标概念的变化轴。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19448 (HTTP 429)

Authors: David M. Abel, Mark K. Ho

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19448.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19448

Published: 2026-09-20T01:37:59.507Z

VLM Domain Papers

1. Open ultrasound foundation model for robust segmentation and clinical measurement across heterogeneous settings

Abstract:Ultrasound is the most widely deployed imaging modality worldwide, yet clinical AI remains fragmented into narrow single-task models that fail when device, operator, or anatomy changes. Here we present SonoCorpus, an open resource unifying 456,963 images and 1,626,085 expert masks from 53 public datasets spanning 24 clinical applications and 17 countries, and SonoBase, an interactive segmentation foundation model pretrained on it. Across fifteen evaluation datasets introducing new organs, devices, operators, and geographies, SonoBase outperforms SAM2, MedSAM2, and the concept-promptable MedSAM3 on every dataset and matches per-dataset specialist models trained on the same data; on fully external data it exceeds the accuracy these baselines achieve on their own in-distribution benchmarks. Ejection fraction derived from its segmentations falls within inter-observer variability (6.63\% error), with fewer misclassifications at the defibrillator-candidacy threshold than either promptable baseline (13\% versus 18—42\%); fetal head-circumference (1.81~mm) and gestational-age (1.2 days) errors fall below inter-observer variability. Where a baseline fails outright, one in four test cases, SonoBase recovers a usable segmentation in 81\% of them, including on handheld probes operated by minimally trained users in two low- and middle-income countries (Sierra Leone and Tanzania). Five labeled examples can help the model adapt to a new setting, and the identical training protocol transfers well to newer models such as SAM3, locating the advantage in ultrasound-specific pretraining rather than any single architecture. To ensure reproducibility and enable the community to build on SonoBase as a platform, we release all checkpoints, optimizer states, data-split indices, deduplication hashes, and starter code.

中文摘要

摘要：超声是全球部署最广泛的成像模式，但临床人工智能仍分散为狭窄的单一任务模型，当设备、操作员或解剖结构发生变化时就会失效。这里介绍SonoCorpus，一个开放资源，整合了来自24个临床应用和17个国家53个公共数据集的456,963张图像和1,626,085个专家面罩，以及基于该模型预训练的交互式分割基础模型SonoBase。在15个引入新器官、设备、操作员和地理的评估数据集中，SonoBase在所有数据集上都优于SAM2、MedSAM2和可概念提示的MedSAM3，并匹配了基于同一数据训练的每个数据集的专家模型;在完全外部数据中，SonoBase的准确性超过了这些基线在自身的分发基准测试中所取得的准确性。其切割所得的射血分数属于观察者间变异性（6.63%误差），在除颤器-候选人阈值处的误分类比可提示基线（13%对18—42%）更少;胎儿头围误差（1.81~毫米）和孕龄误差（1.2天）低于观察者间变异性。在基线完全失败时，四分之一的测试案例中，SonoBase在81%的测试案例中恢复了可用的分割，包括由训练最少的用户操作的手持探头，地点为两个低收入和中等收入国家（塞拉利昂和坦桑尼亚）。五个标记示例有助于模型适应新环境，且相同的训练协议也能很好地迁移到新模型如SAM3，优势在于超声特异的预训练，而非单一架构。为了确保可重复性并让社区能够基于 SonoBase 平台构建，我们发布了所有检查点、优化器状态、数据拆分索引、去重哈希和起始代码。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19230 (HTTP 429)

Authors: Chao Qin, Fahad Shahbaz Khan, Salman Khan, Sarim Ather, Siddiq Anwar, Rao Muhammad Anwer, Shadab Khan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19230.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19230

Published: 2026-09-20T01:38:21.001Z

2. RAUL: Reference-Assisted Ureteroscopy Localization for Skill Assessment

Abstract:Objective: Incomplete navigation of anatomy during ureteroscopic kidney stone surgeries can contribute to repeat interventions. While skilled surgeons have lower reintervention rates, there are no objective metrics to quantify scope-navigation performance to evaluate when a trainee becomes skilled. This work aims to recover ureteroscope trajectories from endoscopic video and derive navigation metrics to quantify differences in skill. Methods: We propose RAUL, a reference-assisted reconstruction framework for recovering ureteroscope trajectories from ureteroscope videos only in phantoms. For each phantom, we use a slow, high-quality reference exploration video to generate a reference reconstruction. We localize subsequent exploration videos against this reference. We evaluate localization accuracy against electromagnetically tracked scope pose. We compute navigation metrics from phantom exploration trajectories to compare surgical residents across experience levels. Results: The proposed reference-assisted framework achieves a mean translation root mean square error of $0.5 \pm 0.1$ mm across 9 phantoms. Compared to standard Structure-from-Motion (SfM), the proposed pipeline increases frame-wise localization coverage from $50.5 \pm 14.9\%$ to $86.1 \pm 7.2\%$ of all video frames. The reconstructed trajectories revealed significant differences between high- and low-experience trainees in established navigation metrics. Conclusion: RAUL enables substantially more complete recovery of ureteroscope trajectories from videos compared to standard SfM pipelines, enabling trajectory-based skill assessment without additional tracking equipment. Significance: To the best of our knowledge, this is the first use of video-only recovery of ureteroscope trajectories without external tracking sensors for skill assessment, supporting scalable automated assessment of ureteroscopy navigation skill.

中文摘要

摘要：目标：输尿管镜肾结石手术中解剖导航不完整可能导致重复干预。虽然熟练外科医生的再介入率较低，但目前尚无客观指标来量化内窥镜导航表现，以评估学员何时具备技能。本研究旨在从内窥镜视频中恢复输尿管镜轨迹，并推导导航指标以量化技能差异。方法：我们提出了RAUL辅助重建框架，仅用于从幻影中的输尿管镜视频恢复输尿管镜轨迹。对于每个幻影，我们使用一段缓慢且高质量的参考探索视频生成参考重建。我们对后续的探索视频进行定位，并基于该参考进行定位。我们评估定位精度与电磁追踪的内窥镜姿势。我们从幻影探索轨迹计算导航指标，以比较不同经验水平的外科住院医师。结果：拟议的参考辅助框架在9个幻影中实现了平均翻译均方根误差为$0.5 \pm 0.1 mm。与标准的Structure-from-Motion（SfM）相比，拟议流程将所有视频帧的逐帧定位覆盖率从$50.5 \pm 14.9%%提升至$86.1 \pm 7.2%$。重建后的轨迹显示，高经验和低经验学员在既定导航指标上存在显著差异。结论：与标准SfM流程相比，RAUL能够显著更完整地从视频中恢复输尿管镜轨迹，实现基于轨迹的技能评估，无需额外跟踪设备。重要性：据我们所知，这是首次在无外部跟踪传感器的情况下，仅通过视频回收输尿管镜轨迹进行技能评估，支持可扩展的自动输尿管镜导航技能评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19236 (HTTP 429)

Authors: Fangjie Li, Mai Bui, Charan Mohan, Michael Miga, Matthieu Chabanas, Nicholas Kavoussi, Jie Ying Wu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19236.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19236

Published: 2026-09-20T01:38:21.001Z

3. Can Vision-Language Models Judge Olympic Diving? From Reasoning to Scores in Zero-Shot Action Quality Assessment

Abstract:Automated action quality assessment (AQA) in Olympic sports remains a challenging task due to the complexity of human motion and the subjectivity inherent in expert judging. This work evaluates the capability of open-source Vision-Language Models (VLMs) to perform zero-shot action quality assessment on Olympic diving videos using the AQA-7 benchmark dataset. In this regard, a regression-based framework is pro-posed to leverage both the semantic reasoning and phase-level sub-scores generated by the VLMs, combining TF-IDF vectorization, dimensionality reduction, and ensemble learning to predict final competition scores. Experimental results show that standalone VLMs achieve moderate Spearman correlations below 0.32, while the proposed ensemble regression framework substantially improves performance in the reported evaluation, reaching a Spearman correlation of 0.67 with a four-model configuration. Textual reasoning features con-sistently outperformed raw numerical sub-scores, highlighting the richness of VLM-generated explanations for action quality analysis. These findings suggest that VLMs hold strong potential as assistive tools for explainable and semi-automated sports performance evaluation. The code is publicly available on GitHub this https URL diving judge vlm

中文摘要

摘要：由于人体运动的复杂性以及专家裁判的主观性，奥林匹克体育中的自动化动作质量评估（AQA）仍然是一项具有挑战性的任务。本研究评估了开源视觉-语言模型（VLMs）在奥运跳水视频上进行零样本动作质量评估的能力，使用AQA-7基准数据集。在这方面，提出了一种基于回归的框架，以利用VLM生成的语义推理和阶段级子分数，并结合TF-IDF向量化、降维和集成学习来预测最终比赛得分。实验结果表明，单独的VLMs实现的斯皮尔曼相关性中等，低于0.32，而提出的集成回归框架在报告的评估中显著提高了性能，在四模型配置下达到0.67的斯皮尔曼相关性。文本推理特征始终优于原始数值子分数，突显了VLM生成的解释在动作质量分析中的丰富性。这些发现表明，VLM作为可解释和半自动化体育表现评估的辅助工具具有很大潜力。代码已在GitHub公开，可通过此URL访问 diving judge vlm。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19354 (HTTP 429)

Authors: Henry O. Velesaca, David Freire-Obregon, Luigi Miranda, Abel Reyes-Angulo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19354.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19354

Published: 2026-09-20T01:38:21.001Z

4. Open-vocabulary 3D object detection with promptable segmentation

Abstract:Three-dimensional object detection for autonomous driving is dominated by detectors trained on large corpora of human-annotated 3D boxes. Such a detector learns a fixed category list, and everything outside it is invisible. This paper asks whether the task can be solved training-free and open-vocabulary. A promptable segmentation model (SAM3), queried with class names as text prompts, supplies instance masks in the vehicle’s six surround-view cameras, and the masks are turned into metric 3D boxes using the geometry of the scene. The core is a controlled three-stage comparison on nuScenes in which 2D detection is held fixed and only the source of 3D geometry changes. Geometry predicted from images alone reaches 0.183 mean average precision (mAP) under the official protocol; fitting boxes from raw LiDAR points inside the same masks with training-free rules reaches 0.298 mAP / 0.348 nuScenes detection score (NDS) at zero labeling cost; borrowing supervised box geometry at inference time lifts the same detections to 0.413 mAP / 0.555 NDS, which locates the pipeline’s largest deficit in measurement precision rather than 2D detection, while class confusion and confidence calibration survive that substitution. Reversing the direction, a three-state camera-witness rule built from the same masks improves a supervised LiDAR-only detector from 0.596 to 0.630 mAP, roughly half the gain of fully supervised camera fusion, with no training. A coverage analysis shows that SAM3 finds 84% of in-range objects with a correctly named mask; the classes that fail in the official metric are misnamed or geometrically unforgiving, not unseen.

中文摘要

摘要：用于自动驾驶的三维物体检测主要依赖于在大量人工标注的三维框数据集上训练的检测器。这类检测器学习的是一个固定的类别列表，而列表之外的内容是不可见的。本文探讨了该任务是否可以实现无训练和开放词汇解决。一个可提示分割模型（SAM3），通过类名作为文本提示进行查询，提供车辆六个环视摄像头中的实例掩码，这些掩码使用场景几何信息转换为度量三维框。核心是在 nuScenes 上进行的受控三阶段比较，其中文本检测保持不变，仅三维几何来源改变。仅从图像预测的几何在官方协议下达到 0.183 的平均精度（mAP）；在相同掩码内用无训练规则从原始 LiDAR 点拟合框，达到 0.298 mAP / 0.348 nuScenes 检测得分（NDS），且标注成本为零；在推理时借用监督的框几何将相同检测提升至 0.413 mAP / 0.555 NDS，这表明流水线的最大缺陷在于测量精度而非二维检测，同时类别混淆和置信度校准在替换后仍然存在。反过来，从相同掩码构建的三状态摄像机见证规则在没有训练的情况下，将一个仅使用 LiDAR 的监督检测器从 0.596 提升至 0.630 mAP，大约是完全监督摄像机融合增益的一半。覆盖率分析显示，SAM3 能找到 84% 的在范围内物体并提供正确命名的掩码；在官方指标中失败的类别是命名错误或几何条件苛刻，而非未见过的类别。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19358 (HTTP 429)

Authors: Ömer Faruk Deniz, Mustafa Taha Koçyiğit

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19358.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19358

Published: 2026-09-20T01:38:21.001Z

5. LinePilot Digitizer: Line-Plot Recovery with Manual and Automatic Calibration

Abstract:Recovering numerical series from line plots requires accurate axis calibration and reliable curve extraction. We present LinePilot Digitizer (LinePilot), which combines continuous color-based curve recovery with three calibration modes: LinePilot (standard), LinePilot (enhanced), and LinePilot (OCR). We also introduce DigitizerBench, the first dedicated benchmark for systematically evaluating digitizer performance, using an orthogonal design spanning signal, rendering, and plot-structure factors with complementary automatic and human-guided evaluations. We evaluate performance using failure-penalized capped normalized root-mean-square error (FPC-NRMSE), which assigns unit loss to missing, unusable, or catastrophically inaccurate outputs. On DigitizerBench-Full, LinePilot (OCR) achieves the lowest mean FPC-NRMSE (0.672) and highest trusted usability (38.2%) among the tested automatic pipelines. On DigitizerBench-Lite, LinePilot (enhanced) achieves the lowest mean FPC-NRMSE (0.081), 100% output success, and highest trusted usability (93.3%). The orthogonal benchmark design further enables factor analysis to identify the factors that most significantly affect digitizer performance. Together, the three calibration modes provide a practical trade-off between automation, user control, and accuracy within a shared curve-recovery workflow.

中文摘要

摘要：从折线图中恢复数值序列需要精确的坐标轴校准和可靠的曲线提取。我们提出了 LinePilot 数字化工具（LinePilot），它将基于颜色的连续曲线恢复与三种校准模式相结合：LinePilot（标准）、LinePilot（增强）和 LinePilot（OCR）。我们还介绍了 DigitizerBench，这是首个用于系统评估数字化工具性能的专用基准，通过涉及信号、渲染和图表结构因素的正交设计，并辅以自动和人工指导评估。我们使用故障惩罚的上限归一化均方根误差（FPC-NRMSE）评估性能，该指标对缺失、不可用或严重不准确的输出分配单位损失。在 DigitizerBench-Full 上，LinePilot（OCR）在测试的自动流程中实现了最低的平均 FPC-NRMSE（0.672）和最高的可信可用性（38.2%）。在 DigitizerBench-Lite 上，LinePilot（增强）实现了最低的平均 FPC-NRMSE（0.081）、100% 输出成功率以及最高的可信可用性（93.3%）。正交基准设计进一步支持因素分析，以识别最显著影响数字化工具性能的因素。三种校准模式共同在共享曲线恢复工作流中提供了自动化、用户控制和精度之间的实际折衷方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19377 (HTTP 429)

Authors: Fengbo Ma, Rayan Akhtar, Aakash H. Joshi, Xiaoting Li, Haijian Sun, Zhen Xiang, Xianyan Chen, Yiping Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19377.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19377

Published: 2026-09-20T01:38:21.001Z

6. Riemannian—Lorentz Fusion of Vision Transformers and State-Space Models

Abstract:Scaling deep learning faces critical bottlenecks: data exhaustion, exponential training costs, and resource concentration. Model merging combines pre-trained checkpoints without gradient descent, offering orders-of-magnitude savings versus retraining. Combining independently trained vision models is difficult when their architectures and parameter shapes differ. Existing weight-space merging methods generally assume aligned, shape-compatible checkpoints, whereas a Vision Transformer (ViT) and a state-space model (SSM) implement token mixing with different operators. We study a hybrid Heterogeneous merging setting that retains both architectures while aligning parameter groups by semantic role. Our proposed Riemannian—Lorentz Parameter Fusion (RLPF) method projects aligned groups to common coordinates, lifts selected coordinates to the Lorentz hyperboloid model of hyperbolic space, computes a regularized geodesic barycenter, and decodes the result into the two branches. A learned gate then combines branch logits for each input. Component groups use fixed curvature values, with normalization parameters treated as Euclidean. In the results available in this manuscript, the fine-tuned system obtains 82.37\% on CIFAR-10, 75.04\% on Oxford-IIIT Pet, and 78.58\% top-1 accuracy on ImageNet-1K; the corresponding best-parent accuracies are 76.54\%, 71.42\%, and 76.42\%. On ImageNet-1K, the reported pre-fine-tuning initialization reaches 77.80\%. These results support further study of geometry-aware heterogeneous fusion, but not a training-free single-checkpoint merge: RLPF is a two-branch hybrid whose gate and reported final models are trained.

中文摘要

摘要：深度学习的扩展面临关键瓶颈：数据耗尽、指数级训练成本以及资源集中。模型合并可以在不进行梯度下降的情况下结合预训练检查点，与重新训练相比节省数量级成本。当独立训练的视觉模型在架构和参数形状不同的时候，组合它们是困难的。现有的权重空间合并方法通常假设检查点已经对齐且形状兼容，而视觉变换器（ViT）和状态空间模型（SSM）使用不同的算子实现令牌混合。我们研究了一种混合异构合并设置，在保留两种架构的同时按语义角色对齐参数组。我们提出的黎曼-洛伦兹参数融合（RLPF）方法将对齐的参数组投影到公共坐标系，将选定坐标提升到双曲空间的洛伦兹双曲面模型，计算正则化测地质心，并将结果解码到两个分支。然后，一个学习的门控对每个输入的分支logits进行组合。组件组使用固定的曲率值，归一化参数被视为欧几里得。在本文提供的结果中，微调后的系统在CIFAR-10上达到了82.37%，在Oxford-IIIT Pet上达到了75.04%，在ImageNet-1K上达到了78.58%的Top-1准确率；对应的最优父模型准确率分别是76.54%、71.42%和76.42%。在ImageNet-1K上，报告的微调前初始化达到77.80%。这些结果支持对几何感知的异构融合的进一步研究，但不支持无需训练的单检查点合并：RLPF是一个两分支的混合模型，其门控和报告的最终模型均经过训练。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19384 (HTTP 429)

Authors: Badri N. Patro, Vijay S. Agneeswaran

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19384.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19384

Published: 2026-09-20T01:38:21.001Z

7. WZPlanner: Safe End-to-End Path Planning for Autonomous Driving in Work Zones

Abstract:Work zones alter lane geometry through temporary traffic controls and closures that may be absent from on-board maps, challenging autonomous vehicle (AV) perception and planning. Generalization is also limited by scarce public datasets with structured geometric supervision. We present WorkZonePlan, a dataset comprising 149K+ synthetic and 5K+ real-world multimodal samples with 3D annotations for lane boundaries, work zone boundaries, and driving trajectory options. It also provides 76 closed-loop CARLA scenarios replayed under three weather conditions, yielding 228 Bench2Drive-format evaluation routes. We introduce WAVE (Work-zone-focused AV data generation in Virtual and rEal Environments), a semi-automated pipeline for creating the dataset, and BoundaryFormer (BF), a transformer-based model that jointly predicts lane and work zone boundary polynomials and driving trajectories. BF uses slot attention for boundary prediction. Ablations show that a separate trajectory decoder using boundary slot features substantially improves trajectory prediction over a slot-attention-only approach. Building on this finding, BF++ offers Camera and Camera+LiDAR variants with metric ground-plane encoding, typed boundary/trajectory queries, long-range point anchors, image-space curve refinement, and conservative gated LiDAR fusion. On the 211 routes common to all four models at the evaluation freeze, BF++-Camera and BF++-Camera+LiDAR achieve Driving Scores of 63.0 and 64.4, respectively, compared with 59.3 for SimLingo and 26.1 for TransFuser++ (TF++). BF++ is 40 times smaller than SimLingo and more than 10 times smaller than TF++, while achieving higher Driving Scores. These results support jointly predicting lane boundaries, work zone boundaries, and driving trajectories as a promising direction toward safer AV operation in work zones. Code and dataset: this https URL.

中文摘要

摘要：施工区通过临时交通控制和封闭改变车道几何形状，这些在车载地图中可能没有显示，从而对自动驾驶车辆（AV）的感知和规划构成挑战。由于缺乏带结构化几何监督的公开数据集，泛化能力也受到限制。我们提出了WorkZonePlan数据集，包括149K+的合成样本和5K+的真实世界多模态样本，带有车道边界、施工区边界和驾驶轨迹选项的3D标注。它还提供了76个闭环CARLA场景，在三种天气条件下重放，生成228条Bench2Drive格式的评估路线。我们引入了WAVE（虚拟与真实环境中的施工区自动驾驶数据生成），这是一个半自动化的数据集生成流程；以及BoundaryFormer（BF），一种基于Transformer的模型，可联合预测车道边界、施工区边界多项式和驾驶轨迹。BF使用槽注意力进行边界预测。消融实验表明，使用边界槽特征的单独轨迹解码器相比仅使用槽注意力的方法，在轨迹预测上有显著提升。基于这一发现，BF++提供了Camera和Camera+LiDAR两种变体，具有度量地面编码、类型化边界/轨迹查询、远程点锚、图像空间曲线优化以及保守门控LiDAR融合。在评估冻结下所有四个模型共有的211条路线中，BF++-Camera和BF++-Camera+LiDAR的驾驶分数分别为63.0和64.4，而SimLingo为59.3，TransFuser++（TF++）为26.1。BF++比SimLingo小40倍，比TF++小10倍以上，同时实现了更高的驾驶分数。这些结果支持联合预测车道边界、施工区边界和驾驶轨迹作为朝向施工区更安全自动驾驶操作的有前景方向。代码和数据集可通过该https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19393 (HTTP 429)

Authors: Nishad Sahu, Changzhong Qian, Guangzhou Cai, Shounak Sural, Ragunathan, Rajkumar

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19393.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19393

Published: 2026-09-20T01:38:21.001Z

8. RGS: Reflection-aware Gaussian Splatting via Learning Geometry Continuity for Reflective Objects

Abstract:Gaussian Splatting has significantly improved the quality of novel view synthesis with explicit Gaussian representation. However, we observed that existing 3D Gaussian Splatting methods (3DGS) often suffer from surface collapse issues on reflective regions, and thus produce inferior geometry and low-quality specular. In this work, we propose a physically-based deferred rendering framework, named Reflection-aware Gaussian Splatting (RGS), that can accurately model specular regions and improve novel view synthesis performance. Specifically, we found that a powerful 3D foundation model can provide a strong 3D geometric prior to foster correct geometric modeling. Based on this, we propose a cross-view shape consistency regularization to regularize the geometry surface with the large model prior and cross-view constraints. In this manner, our RGS can produce smoother geometric surfaces on reflective regions while reducing geometric hollows. To further improve rendering results on reflective regions, we present a reflection-aware densification strategy that is designed to capture specular variations across various views. With this strategy, our RGS is able to render novel views of objects in higher quality. Extensive experiments demonstrate our method consistently renders high-quality reflective objects, achieving state-of-the-art performance.

中文摘要

摘要：高斯点溅（Gaussian Splatting）通过显式高斯表示显著提升了新视图合成的质量。然而，我们观察到现有的三维高斯点溅方法（3DGS）在反射区域经常存在表面塌陷问题，从而导致几何形状不佳和镜面反射质量低。在本工作中，我们提出了一种基于物理的延迟渲染框架，称为反射感知高斯点溅（Reflection-aware Gaussian Splatting, RGS），它能够准确建模镜面区域，并提升新视图合成性能。具体来说，我们发现一个强大的三维基础模型可以提供强大的三维几何先验，从而促进正确的几何建模。在此基础上，我们提出了跨视图形状一致性正则化，以利用大模型先验和跨视图约束来正则化几何表面。通过这种方式，我们的 RGS 能在反射区域生成更平滑的几何表面，同时减少几何凹陷。为了进一步提升反射区域的渲染效果，我们提出了一种反射感知密集化策略，旨在捕捉各视角间的镜面变化。利用该策略，我们的 RGS 能够以更高质量渲染物体的新视图。大量实验表明，我们的方法可以稳定地渲染高质量反射物体，达到了最先进的性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19421 (HTTP 429)

Authors: Xiaobiao Du, Yida Wang, Cheng Bi, Kun Zhan, Xin Yu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19421.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19421

Published: 2026-09-20T01:38:21.001Z

9. Seeing Abnormal from Normal: Glomerular Abnormality in Representations of Normal Renal Morphology

Abstract:Fine-grained evaluation of glomerular pathology must distinguish normal glomeruli from abnormalities such as global and segmental glomerulosclerosis, obsolescent, ischemic, solidified, disappearing, and atubular glomeruli. Supervised classification requires labeled examples of every category, which is impractical when subtypes are rare or absent from the training cohort. One-class anomaly detection offers an alternative by modeling normal data and scoring deviations, allowing previously unseen abnormalities to be detected. We use the frozen residual U-Net backbone of Omni-Seg, pretrained to segment structurally normal renal primitives without abnormal-subtype labels. We propose NoRDeC (Normal-Reference Detection and Characterization), a framework combining Mahalanobis normal-reference scoring with layer-wise representation analysis to determine whether and where glomerular pathology is encoded, how spatial aggregation affects detection, and whether abnormalities alter inter-layer relationships differently. Using glomerular images from two institutions, we evaluate backbone layers and aggregation strategies, compare NoRDeC with PaDiM and PatchCore, and analyze representations using centered kernel alignment (CKA). Layer 4 with Center-70 aggregation achieved a pooled AUROC of $0.926\pm0.013$. NoRDeC achieved the highest AUROC in six of seven abnormality categories and in the pooled analysis, while CKA suggested subtype-dependent changes in inter-layer relationships not captured by anomaly scores alone. The normal-reference model is fitted using only normal glomeruli; abnormality labels are used for configuration selection, evaluation, and grouping in the representation analysis. These results show that a frozen renal feature extractor can support both detection and representation-level characterization of glomerular abnormalities without using abnormal examples to fit the detector.

中文摘要

摘要：对肾小球病理的细粒度评估必须区分正常肾小球与异常肾小球，如全局和节段性肾小球硬化、退化性、缺血性、固化性、消失性和无小管肾小球。监督分类需要每个类别的标注示例，但当亚型稀少或在训练队列中缺失时，这不切实际。一类异常检测提供了一种替代方法，通过对正常数据建模并评分偏差，从而允许检测之前未见过的异常。我们使用Omni-Seg的冻结残差U-Net主干网络，该网络预训练用于分割结构正常的肾脏原始单元，而无需异常亚型标签。我们提出了NoRDeC（正常参考检测与表征），该框架将马氏距离正常参考评分与分层表示分析相结合，以确定肾小球病理是否以及在哪里被编码，空间聚合如何影响检测，以及异常是否以不同方式改变层间关系。利用来自两个机构的肾小球图像，我们评估了主干网络层和聚合策略，比较NoRDeC与PaDiM和PatchCore，并使用中心核对齐（CKA）分析表示。第4层结合Center-70聚合实现了汇总AUROC为$0.926\pm0.013$。NoRDeC在七类异常中的六类以及汇总分析中实现了最高AUROC，而CKA表明亚型依赖的层间关系变化无法仅通过异常评分捕获。正常参考模型仅使用正常肾小球进行拟合；异常标签用于配置选择、评估及表示分析中的分组。这些结果表明，冻结的肾脏特征提取器可以在不使用异常样本拟合检测器的情况下，同时支持肾小球异常的检测和表示层面的表征。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19444 (HTTP 429)

Authors: Greta Hasko, Rachit Saluja, Tianyu Shi, Leiyue Zhao, Yuechen Yang, Daniel Reisenbuechler, Tianyuan Yao, Zhenhao Guo, John Cannon, Haichun Yang, Yuankai Huo, Yuling Chi, Lorraine Gudas, Mert R. Sabuncu, Yihe Yang, Ruining Deng

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19444.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19444

Published: 2026-09-20T01:38:21.001Z

10. Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge

Abstract:The Mobile Unified Multimodal Understanding (MUMU) Challenge requires a single efficient model to jointly perform multi-concept image tagging, open-vocabulary object detection, and image captioning. We present Efficient Unified Multimodal Understanding (EUMU), the winning solution for the MUMU Track of the 8th LSVOS Challenge. EUMU builds on a shared pretrained multimodal model, using its prompt-based capabilities for detection and captioning and training lightweight heads on shared visual features to predict quality, scene, and event tags. Rather than treating the three tasks independently, EUMU applies task-aware inference refinement by reusing task outputs as cross-task cues. For detection, caption cues help recover objects missed by the initial detection. For captioning, detection cues help refine the caption to better reflect the detected objects. For tagging, image statistics refine quality predictions, while caption and detection cues refine scene and event predictions. This design unifies all three tasks within a single model while satisfying the challenge’s resource constraints. EUMU contains 239.169M parameters, requires 23.947 GFLOPs, uses 4.5 GB of peak inference memory, and achieves a final challenge score of 17.3409. Code and models are available at this https URL.

中文摘要

摘要：移动统一多模态理解（MUMU）挑战要求一个高效的单一模型联合执行多概念图像标注、开放词汇对象检测和图像生成描述。我们提出了高效统一多模态理解（EUMU），它是第八届LSVOS挑战MUMU赛道的获奖解决方案。EUMU基于共享的预训练多模态模型，利用其基于提示的检测和描述能力，并在共享视觉特征上训练轻量级头部以预测质量、场景和事件标签。EUMU不是将三项任务独立对待，而是通过将任务输出作为跨任务提示来应用任务感知推理优化。在检测任务中，描述提示有助于恢复初始检测中遗漏的物体。在图像生成描述任务中，检测提示有助于优化描述，使其更好地反映检测到的物体。在图像标注任务中，图像统计信息优化质量预测，而描述和检测提示优化场景和事件预测。这种设计在单一模型中统一了三项任务，同时满足挑战的资源限制。EUMU包含239.169M参数，需求23.947 GFLOPs，峰值推理内存为4.5 GB，并实现了最终挑战得分17.3409。代码和模型可在此https链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19451 (HTTP 429)

Authors: Dayoung Kil, Seong-heum Kim

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19451.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19451

Published: 2026-09-20T01:38:21.001Z