ArXiv Domain 2026-09-21

数据来源：ArXiv Domain

LLM Domain Papers

1. Modality Discrepancy Transformer for Ambivalence and Hesitancy Recognition

Abstract:Ambivalence and hesitancy (A/H) are affective states in which individuals express contradictory signals across facial, vocal, and linguistic channels. Automatically recognising A/H in clinical videos requires detecting cross-modal disagreement — the signal that standard fusion methods suppress. Based on the conflict-aware multimodal fusion framework of Bekhouche et al., we present the Modality Discrepancy Transformer (MDT). MDT enriches the original 6-token design to a 9-token representation comprising three modality embeddings, three absolute-difference features, and three Hadamard-product discrepancy features learned through linear projections. These nine tokens undergo Transformer self-attention, with FiLM-based text-conditioned modulation and LoRA fine-tuning as core architectural components. A text-guided late fusion branch blends a text-only auxiliary head with the full multimodal output at inference. On the BAH dataset from the 3rd ABAW Challenge, MDT achieves 0.7408 Macro F1 on the labelled test split and 0.7368 on the private leaderboard, outperforming the strongest published baseline by over 10 points while training in under 20 minutes on a single GPU.

中文摘要

摘要：矛盾情绪和犹豫不决（A/H）是一种情感状态，其中个体在面部、声音和语言通道上表达矛盾信号。在临床视频中自动识别A/H需要检测跨模态不一致——这是标准融合方法所抑制的信号。基于Bekhouche等人的冲突感知多模态融合框架，我们提出了模态差异变换器（MDT）。MDT将原始的6 token设计扩展为9 token表示，包括三个模态嵌入、三个绝对差异特征和三个通过线性投影学习的Hadamard乘积差异特征。这九个token经过Transformer自注意力处理，核心架构组件包括基于FiLM的文本条件调制和LoRA微调。在推理阶段，文本引导的后融合分支将仅文本辅助头与完整多模态输出融合。在第三届ABAW挑战赛的BAH数据集上，MDT在标注测试集上实现了0.7408的宏F1，在私人排行榜上达到0.7368，超过最强已发布基线超过10点，同时在单GPU上训练时间不足20分钟。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*视频临床场景中矛盾与犹豫状态（Ambivalence and Hesitancy, A/H）的自动识别\*\*问题。具体而言，其核心针对以下关键挑战： \*\*1. 跨模态矛盾信号的检测困境\*\* A/H 的本质定义为跨模态不一致（例如患者口头同意治疗，但面部表情和声音却流露疑虑）。然而，标准的多模态融合方法通常被设计用于\*\*放大模态间的一致性\*\*，这会主动抑制或忽略表征 A/H 的关键"不一致"信号。 \*\*2. 文本主导方法的系统性偏差\*\* 现有工作表明文本模态在 A/H 识别中占主导地位，但纯文本方法会因临床语言中的模糊措辞（hedging language）而\*\*过度检测\*\* A/H，导致正负类性能差距悬殊（如 F1-AH 与 F1-NoAH 差距可达 0.178），缺乏视觉与音频通道的交叉验证。 \*\*3. 小数据场景下的过拟合风险\*\* BAH 数据集仅有 778 个训练样本。简单的模态差异表示（如仅使用三对绝对差特征构成的 6-token 序列）会引入过多参数，反而使模型过拟合到虚假的冲突模式，其性能甚至不如不建模差异的基线。 \*\*4. 差异表示的表达能力不足\*\* 现有冲突感知架构（CA-AH）仅通过绝对差值 |v-a| 等度量模态分歧的"幅度"，无法捕捉模态对之间逐维度的交互模式（per-dimension interaction patterns），难以区分真正的跨模态冲突与噪声。为应对上述问题，论文提出 \*\*Modality Discrepancy Transformer (MDT)\*\*，通过引入 9-token 富化差异表示（结合绝对差与 Hadamard 积投影特征）、FiLM 文本条件跨模态调制，以及 LoRA 参数高效微调，在抑制过拟合的同时更完整地建模跨模态不一致关系。 Q2: 有哪些相关研究？根据论文第2节及引言中的综述，相关研究可归纳为以下几个方向： ### 1. 矛盾/犹豫识别与ABAW挑战赛该领域的基准工作主要围绕ABAW（Affective Behavior Analysis in-the-wild）系列竞赛及BAH数据集展开： - \*\*ABAW挑战赛\*\*

9–11
：推动了野外多模态情感计算的标准化评测，为A/H识别提供了持续的竞赛平台。 - **BAH数据集基线**：González et al.
5
在BAH数据集上报告了视频级基线结果，包括LFAN
25
（0.593 Macro F1）与零样本多模态大模型（0.634）。 - **文本主导方法**：Savchenko
21
采用以文本为关键的帧级特征融合策略，取得了0.772 Macro F1，验证了词汇内容在A/H识别中的显著重要性。 - **冲突感知融合**：Bekhouche et al.
3
提出CA-AH Transformer，通过计算模态嵌入间的成对绝对差值构建6-token表示，首次为A/H任务建立了显式的差异建模框架，在ABAW10榜单上达到0.715 Macro F1。 ### 2. 多模态编码器骨干网络论文采用成熟的预训练编码器进行单模态表征学习： - **视觉模态**：VideoMAE-Base

22
（86M参数），用于从16帧人脸视频中提取视觉特征。 - **音频模态**：HuBERT-Base
7
（94M参数），用于编码16 kHz单声道音频。 - **文本模态**：RoBERTa-GoEmotions
4, 13, 20
（125M参数），基于GoEmotions情感数据预训练，用于编码完整转录文本（区别于基于窗口的对齐方式）。 ### 3. 多模态融合与跨模态差异建模 - **融合范式分类**：Baltrušaitis et al.

2
将多模态融合系统性地划分为早期（early）、晚期（late）与混合（hybrid）融合。 - **差异/不一致感知机制**：跨模态不一致建模已在相关任务中得到探索，例如情感分析
18
与欺骗检测
17
，但将其应用于BAH这类极小数据集（778例）仍具挑战。 - **特征调制与条件化**：Perez et al.
16
提出的FiLM（Feature-wise Linear Modulation）被用于实现文本条件化的视频与音频特征调制，使语言信号能够直接塑造视觉与声学信息的表达。 - **辅助监督与晚期融合**：Holste et al.
6
提出的辅助监督策略被借鉴用于构建文本专用辅助分支，并在推理阶段与全模态输出混合。 ### 4. 小数据学习、正则化与参数高效微调鉴于BAH数据集训练样本稀少，研究引入了多种正则化与高效训练技术： - **参数高效微调**：Hu et al.

8
提出的LoRA（Low-Rank Adaptation）通过低秩矩阵注入替代全层解冻，显著降低可训练参数量以抑制过拟合。 - **类别不平衡处理**：Lin et al.
12
的Focal Loss（ γ = 2.0 ）用于缓解A/H与No-A/H类别分布不均的问题。 - **特征空间增强**：Yun et al.
24
提出的CutMix（概率0.5）被用于特征空间正则化。 - **注意力聚合机制**：Bahdanau et al.
1
的软注意力机制被用于模态内的时间/词元池化聚合。 Q3: 论文如何解决这个问题？论文提出 **Modality Discrepancy Transformer (MDT)**，从**差异表示富化**、**跨模态条件调制**、**参数高效微调**与**文本偏差修正**四个维度系统性地解决A/H识别中的跨模态不一致检测与小数据过拟合问题。具体方案如下： ### 1. 富化差异表示：从6-token到9-token的Transformer输入标准融合往往抑制跨模态分歧信号，而早期冲突感知架构（CA-AH）仅通过三对绝对差值捕获分歧幅度，容易在小数据下过拟合。MDT将输入序列从6个token扩展为9个token，包含三类信息： - **三个模态嵌入**： v, a, t ∈ R^D （视频、音频、文本）； - **三对绝对差值特征**：捕获模态间分歧的逐维幅度

d(va) = |v - a|,quad d(vt) = |v - t|,quad d_(at) = |a - t|

**三对Hadamard积差异特征**：通过可学习的投影矩阵 W* ∈ R^(D × D) 映射逐维度交互模式
h(va) = W(va)(v odot a),quad h(vt) = W(vt)(v odot t),quad h(at) = W(at)(a odot t)
这九个token v, a, t, d(va), d(vt), d(at), h(va), h(vt), h(at) 被送入一个2层、8头的Transformer中，由后续的MLP分类器输出全模态预测 ell(full) 。实验表明，相比仅含绝对差的6-token基线，9-token表示在保持整体性能的同时显著改善了负类（No-A/H）的校准（F1-NoAH从0.6457提升至0.6700）。 ### 2. 文本条件化的FiLM跨模态调制为利用文本在临床场景中的主导性，并让其直接塑造其他模态的表达方式，MDT在计算差异之前，先以文本嵌入 t 为条件，通过FiLM（Feature-wise Linear Modulation）对视频和音频特征进行逐元素线性变换：

[γv; β_v] = Linear(film)^v(t),quad v’ = γ_v odot v + β_v
音频分支 a 亦作同样处理。该机制使得高置信度的语言信号能够抑制视觉与声学通道中的噪声维度，从而生成更具判别性的跨模态差异特征。 ### 3. 参数高效微调：LoRA抑制过拟合 BAH数据集仅有778个训练样本，完全解冻编码器层会导致严重过拟合。MDT冻结VideoMAE、HuBERT与RoBERTa的主权重，仅在各编码器的Query与Value投影中注入低秩适配器：

W arrow W + BA
其中低秩分解的秩 r=8 ，缩放系数 α=16 。这种基于LoRA的参数高效微调将可训练参数量降至最低，在消融实验中单模块增益最大（Macro F1 +1.47），直接证明正则化而非容量是本任务的核心瓶颈。 ### 4. 文本引导的晚期融合与辅助监督为纠正纯文本模型过度检测A/H的偏差（文本-only推理的类别F1差距高达0.178），MDT引入联合训练的文本专用辅助头：

L = (1-w)L(BCE)(ell(full), y) + wL(BCE)(ell(text), y),quad w=0.5
在推理阶段，通过验证集调优的混合系数 α=0.6 对两分支输出进行加权融合：
p = α · σ(ell(text)) + (1-α) · σ(ell(full))
该策略将全模态的跨模态一致性检查与文本分支的强大判别力相结合，将正负类F1差距压缩至0.090。 ### 5. 小数据训练策略体系除架构设计外，MDT还整合了针对778例样本的正则化与增强策略： - **Focal Loss**（ γ=2.0 ）缓解类别不平衡； - **CutMix**（概率0.5）实现特征空间增强； - **多窗口训练**（训练时 K=3 个均匀分布窗口均值池化，推理时 N=5 个窗口平均），以覆盖稀疏的A/H时间线索； - **LoRA+多窗口+富化差异**的组合最终在BAH标注测试集上达到0.7408 Macro F1，在ABAW11私有榜单上达到0.7368，超越此前最强已发表基线逾10个百分点。 Q4: 论文做了哪些实验？论文的实验围绕 **BAH 数据集** 展开，涵盖数据集配置、与基线方法的主结果对比，以及多组消融实验与讨论。具体内容如下： ### 1. 数据集与实验设置实验在 ABAW11 A/H Challenge 的 BAH 数据集上进行，其划分如表所示： | Split | Videos | A/H | No-A/H | |———-|————|——-|————| | Train | 778 | 385 (49%) | 393 (51%) | | Validation | 124 | 75 (60%) | 49 (40%) | | Test (labelled) | 525 | 318 (61%) | 207 (39%) | | Test (unlabelled) | 151 | – | – | - **硬件与环境**：单张 RTX 4090 (24 GB)，基于 PyTorch 与 HuggingFace Transformers 实现，LoRA 通过 PEFT 库部署。 - **优化配置**：AdamW（ β_1=0.9 , β_2=0.999 , weight decay 10^(-2) ），初始学习率 3 × 10^(-5) ，余弦退火至 3 × 10^(-7) ，fp16 混合精度，有效 batch size 为 16。 - **可选增强模块**：Focal Loss（ γ = 2.0 ）、CutMix（概率 0.5）、5-epoch 学习率 warmup、多窗口训练（训练时 K=3 均匀采样窗口并均值池化，推理时 N=5 窗口平均）。 - **训练细节**：早停 patience 为 15 个 epoch；每轮在 $

5
| 0.283 | | BAH: Video-FocalNet
5
| 0.566 | | BAH: LFAN (V+A+T)
5
| 0.593 | | BAH: ZF M-LLM + transcript
5
| 0.634 | | CA-AH
3
| 0.715 | | **MDT (labelled test)** | **0.7408** | | **MDT (private test, 151 unlabelled)** | **0.7368** | MDT 在标注测试集上达到 **0.7408**，较最强 BAH 基线（0.634）提升 10.7 点，较 CA-AH（0.715）提升 2.6 点；在私有测试集上取得 **0.7368**。 —- ### 3. 消融实验 #### 3.1 差异表示与文本融合系数（Table 3）在 CA-AH 配置（解冻 top-2 层，6-token 绝对差， α=0.6 ）基础上，验证核心融合组件的有效性： - **Frozen CA-AH**（编码器全冻结）：0.7181 - **CA-AH 基线**（6-token abs， α=0.6 ）：0.7219 - **移除所有差异特征**（仅拼接 $

v; a; t
）：0.7325 —— 说明在 778 例样本下，简单的 6-token 差异反而引入噪声 - 加入 Hadamard 差异（9-token）：0.7322，F1-NoAH 从 0.6457 提升至 0.6700，改善类别校准 - 融合系数消融： - α = 0.0 （仅全模态推理）：0.7080 - α = 1.0 （仅文本推理）：0.7185，但类别差距最大（F1-AH 0.8075 vs. F1-NoAH 0.6295） - α = 0.6 取得最佳平衡：0.7219 #### 3.2 模态贡献分析（Table 4）利用 CA-AH 检查点，在推理阶段仅激活指定模态： | Active Modalities | Macro F1 | F1-AH | F1-NoAH | |—————————-|—————|———-|————-| | Video only | 0.3772 | 0.7544 | 0.0000 | | Audio only | 0.3772 | 0.7544 | 0.0000 | | Text only | 0.7059 | 0.7608 | 0.6511 | | Video + Audio + Text (CA-AH) | 0.7219 | 0.7982 | 0.6457 | 仅视频或仅音频时模型坍塌为全部预测 A/H 阳性（F1-NoAH 为 0），说明唯有语言通道能独立判别负类；多模态融合主要提升 F1-AH（从 0.7608 到 0.7982）。 #### 3.3 训练策略增量分析（Table 5）从 CA-AH 基线逐步添加单个模块，观察各自贡献： | Configuration | Macro F1 | F1-AH | F1-NoAH | |———————-|—————|———-|————-| | CA-AH baseline | 0.7219 | 0.7982 | 0.6457 | | + LoRA fine-tuning | 0.7366 | 0.8119 | 0.6613 | | + Hadamard discrepancy (9-token) | 0.7322 | 0.7944 | 0.6700 | | + Focal loss ( γ = 2.0 ) | 0.7275 | 0.7836 | 0.6715 | | + CutMix augmentation | 0.7300 | 0.8077 | 0.6524 | | + LR warmup (5 epochs) | 0.7242 | 0.7883 | 0.6600 | | + Multi-window training ( K = 3$) | 0.7354 | 0.8024 | 0.6684 | | MDT (all combined) | 0.7408 | 0.7857 | 0.6959 | - LoRA 带来最大单模块增益（+1.47），验证参数高效微调在此小数据场景下的关键作用。 - 多窗口训练 次之（+1.35），说明扩展时间覆盖有助于捕捉稀疏的 A/H 线索。 - 最终 MDT 将所有组件结合，达到 0.7408，并将正负类 F1 差距从文本-only 的 0.178 缩小至 0.090。 —- ### 4. 讨论与发现论文进一步通过实验结果分析得出以下结论： - 过拟合是核心瓶颈：在 778 例训练样本下，6-token 绝对差引入的参数足以让 Transformer 过拟合到虚假的冲突模式，导致其性能反而不如不使用差异特征（0.7219 vs. 0.7325）。9-token 的富化表示通过提供更有判别力的交互模式才重新弥合并超越这一差距。 - 文本偏差修正机制：MDT 的跨模态差异特征与 FiLM 调制充当了负类预测的一致性校验，缓解了纯文本模型过度检测 A/H 的倾向。 - 当前局限：16 帧窗口仅覆盖视频局部；差异测量为几何级而非语义级（无对比预训练）；整体绝对性能水平仍受限于数据规模与任务难度。 Q5: 有什么可以进一步探索的点？基于论文的讨论与结论，未来可从以下方向进一步探索： ### 1. 从视频级分类到细粒度时间定位 BAH 数据集同时包含帧级标注（frame-level annotations）。当前 MDT 仅执行视频级别的二分类，尚未利用这些细粒度标签。未来可将差异范式扩展至时间定位（temporal grounding），使模型不仅能判断一段视频中是否存在 A/H，还能精确定位： - 何时发生跨模态不一致（时间戳级别）； - 通过哪些模态表现该不一致（例如面部–语言冲突发生在第 5 秒，音频–语言冲突发生在第 12 秒）。 ### 2. 从几何差异迈向语义级差异学习当前 MDT 的绝对差值与 Hadamard 积属于几何层面的 discrepancy 度量，缺乏语义对齐。引入对比预训练（contrastive pre-training） 或跨模态语义映射网络，可将模态嵌入先投影到公共语义空间，再计算差异，从而区分“真实的跨模态矛盾”与“低层特征噪声”，提升表示的判别性和可解释性。 ### 3. 长程动态时间建模现有方法受限于 16 帧的固定视觉窗口，仅能覆盖视频的局部片段。未来可探索： - 可变长度或层次化时序编码（如视频长程 Transformer、时间金字塔池化），以捕捉稀疏且可能分布在视频任意位置的 A/H 线索； - 自适应关键帧采样，而非均匀采样，使模型聚焦于面部动作或语音停顿等高信息密度片段。 ### 4. 利用未标注数据提升数据效率 BAH 训练集仅 778 例，而私有测试集包含 151 段未标注视频。结合半监督学习（如 FixMatch、伪标签迭代）或自监督预训练（基于模态掩码重建或跨模态对齐任务），可在不增加人工标注成本的前提下扩大有效训练规模，进一步缓解过拟合。 ### 5. 可解释的模态矛盾归因当前模型输出全局的 A/H 概率，但未显式量化各模态对“矛盾信号”的贡献。未来可引入模态级注意力归因或解耦表示学习，显式建模：

s(v to t), quad s(a to t), quad s_(v arrow a)
即文本–视觉、文本–音频、视觉–音频三对通道各自的冲突强度，为临床动机访谈（motivational interviewing）提供可操作的反馈——例如明确指出“患者语言表示同意，但面部表情在 00:32 处出现怀疑微表情”。 Q6: 总结一下论文的主要内容该论文针对视频临床场景中**矛盾与犹豫（Ambivalence/Hesitancy, A/H）的自动识别**展开研究，核心贡献是提出 **Modality Discrepancy Transformer (MDT)**。以下是主要内容概括： —- ### 研究背景与核心问题 A/H 的本质是**跨模态矛盾**（如患者口头同意治疗，但面部表情与声音流露疑虑）。然而，标准多模态融合方法通常旨在放大模态间一致性，这会主动抑制 A/H 诊断所依赖的**分歧信号**。此外，现有基准数据集 BAH 仅有 778 个训练样本，简单的差异建模容易过拟合；而纯文本方法虽表现较强，却因临床语言中的模糊措辞导致对 A/H 的**过度检测**，正负类性能差距悬殊。 —- ### 方法：Modality Discrepancy Transformer (MDT) 基于冲突感知架构 CA-AH，MDT 从三个方向进行扩展： 1. **富化差异表示（9-token Transformer）** 将输入从 6-token 扩展为 9-token，包含： - 三个模态嵌入： v, a, t ∈ R^D ； - 三对绝对差值特征（捕获分歧幅度）：

d(va) = |v - a|,quad d(vt) = |v - t|,quad d_(at) = |a - t|

三对 Hadamard 积差异特征（捕获逐维度交互模式，经可学习投影 W* ∈ R^(D × D) ）：
h(va) = W(va)(v odot a),quad h(vt) = W(vt)(v odot t),quad h(at) = W(at)(a odot t)
九个 token v, a, t, d(va), d(vt), d(at), h(va), h(vt), h(at) 送入 2 层 Transformer 处理。 2. **FiLM 文本条件化调制** 在计算差异前，以文本嵌入 t 为条件，通过 FiLM 对视频与音频特征进行逐元素线性调制：
[γ_v; β_v] = Linear(film)^v(t),quad v’ = γv odot v + β_v
这使高置信度的语言信号能够抑制视觉与声学通道中的噪声维度。 3. **LoRA 参数高效微调** 冻结 VideoMAE、HuBERT 与 RoBERTa 主权重，仅在各编码器的 Query 与 Value 投影中注入低秩适配器：
W arrow W + BA
其中秩 r=8 ，缩放系数 α=16 。这显著降低可训练参数量，抑制小数据场景下的过拟合。 4. **文本引导晚期融合** 联合训练文本专用辅助头 ell(text) ，推理时以验证集调优的系数 α=0.6 混合两分支输出：
p = α · σ(ell(text)) + (1 - α) · σ(ell(full))
以此修正纯文本模型的系统性偏差。 5. **训练策略体系** 整合 Focal Loss、CutMix、学习率 warmup 与多窗口训练（训练 K=3 、推理 N=5 ）以增强正则化与时间覆盖。 —- ### 实验结果在 ABAW11 BAH 数据集上的实验表明： - **主性能**：MDT 在标注测试集上达到 **0.7408 Macro F1**，在私有榜单上达到 **0.7368**，超越最强已发表基线逾 10 个百分点，且单卡训练仅需约 20 分钟。 - **消融发现**： - 在 778 例小数据下，仅使用 6-token 绝对差反而引入过拟合，性能不如直接拼接模态嵌入；而 9-token 富化表示通过 Hadamard 积投影重新弥合并超越了这一差距，同时改善负类校准。 - **LoRA** 带来最大单模块增益（+1.47），直接证明正则化而非容量是本任务的核心瓶颈。 - **多窗口训练** 是次 impactful 的策略，说明扩展时间覆盖有助于捕捉稀疏的 A/H 线索。 - 文本-only 推理的 F1-AH 与 F1-NoAH 差距达 0.178，MDT 将其缩小至 0.090。 —- ### 结论与展望论文指出，在小规模 A/H 识别任务中，**差异表示必须足够丰富**，才能抵消额外 token 带来的过拟合成本；参数高效微调与长时程覆盖是提升性能的关键。未来可进一步利用 BAH 数据集的帧级标注，将差异范式从视频级分类拓展至**细粒度时间定位**，并探索语义级差异学习与半监督方法，以定位 A/H 发生的具体时刻与模态通道。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shiyu Luo, Yu Wang, Jiawen Huang, Zhaoxiang Xiao, Chenxi Huang, Qi Zhang, Bin Liu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19148.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19148

Published: 2026-09-21T01:39:23.642Z

2. Subliminal Prompting Beyond Static Geometry: Causal Depth and Multi-Token Confounds

Abstract:Subliminal learning shows that language models can transmit a hidden trait through outputs that appear unrelated to it. One proposed explanation, token entanglement, links animal and number tokens through the model’s output vocabulary. Yet existing measurements answer different questions: whether outputs co-vary, fixed output vectors align, an answer can be read from a hidden state, or that state causally controls the answer. We measure each separately in a fixed animal-number prompting protocol. From Llama-3.1-8B to 70B, fixed output-vector similarity predicts behavior less well: the paired mean correlation change is -0.080 (95% CI [-0.127, -0.035]). A fixed output-head readout shows no resolved change in normalized depth AUC. To test control, we copy the temporary answer-position state from one number prompt into another at five depths and measure which prompt the final animal score follows. Donor-control AUC rises from 0.254 to 0.540, a paired change of +0.286 (95% CI [+0.272, +0.300]), with increases for all 18 concepts. The contrast remains with exactly eight transformer blocks remaining, while specificity and identity controls remain small or exact. In two Qwen models, scoring every digit in sequence does not recover the positive one-token association. Per-token averaging instead creates a positive pooled association that disappears after controlling number width, revealing a length confound. Thus, fixed geometry, observational readability, causal timing, and multi-token measurement are distinct properties of this frozen prompting channel. They constrain token-level explanations but do not identify the mechanism of training-time trait transfer.

中文摘要

摘要：潜意识学习表明，语言模型可以通过看似无关的输出传递隐藏特性。一种提出的解释——标记纠缠，将动物标记和数字标记通过模型的输出词汇联系起来。然而，现有的测量回答的是不同的问题：输出是否协变，固定输出向量是否对齐，是否可以从隐藏状态读取答案，或该状态是否因果地控制答案。我们在固定的动物-数字提示协议中分别测量每一项。从 Llama-3.1-8B 到 70B，固定输出向量相似性对行为的预测效果下降：配对平均相关变化为 -0.080（95% 置信区间 [-0.127, -0.035]）。固定输出头读出在归一化深度 AUC 中未显示出明显变化。为了测试控制，我们将一个数字提示的临时答案位置状态复制到另一个提示中，分别在五个层次测量最终动物分数随哪个提示变化。捐赠者控制 AUC 从 0.254 上升到 0.540，配对变化为 +0.286（95% 置信区间 [+0.272, +0.300]），所有 18 个概念均有所增加。即使只剩下八个 transformer 块，对比仍然存在，而特异性和身份控制仍然很小或精确。在两个 Qwen 模型中，按顺序对每个数字评分并不能恢复正向的一标记关联。每标记的平均值反而生成了一个正向的合并关联，在控制数字宽度后消失，揭示了长度混杂因素。因此，固定几何、观察可读性、因果时序和多标记测量是这一冻结提示通道的不同特性。它们约束了标记级解释，但不能识别训练期间特性转移的机制。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19149 (stream has been aborted)

Authors: Barath Velmurugan

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19149.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19149

Published: 2026-09-21T01:39:23.642Z

3. Sampling Reveals Style: Unsupervised, Training-Free Discovery of Prompt-Conditional Stylistic Axes in LLM Activations

Abstract:Large language models (LLMs) encode rich stylistic structure in their hidden activations, but discovering which stylistic dimensions are salient for a given prompt typically requires supervised contrastive data. We present a training-free, prompt-conditional alternative: we repeatedly sample completions of a single prompt at elevated temperature, apply Principal Component Analysis (PCA) to the pooled hidden activations, and label the resulting axes automatically from the pole generations. We validate the discovered axes against 245 human-elicited stylistic annotations in a two-phase study. On our strongest model (Qwen-3.5-4B-Instruct), the top two axes match spontaneously requested human dimensions with 72.8% precision and 43.6% macro-recall, and 75.6% of validity ratings judge the axes’ polar generations accurate to their labels, with 90.9% adjacent inter-annotator agreement. Discoverability is strongly model-dependent: both Qwen models and Llama-3.2-3B expose human-salient axes, while DeepSeek-7B-Chat drops to 35.3% precision, its leading components dominated by structural rather than stylistic variance. Simple PCA over a model’s own decoding variance is thus an effective, low-cost probe of stylistic structure in LLM representations, one that also exposes sharp cross-model differences in how that structure is organized.

中文摘要

摘要：大型语言模型（LLM）在其隐藏激活中编码了丰富的风格结构，但要发现对于给定提示哪些风格维度是显著的，通常需要有监督的对比数据。我们提出了一种无需训练、基于提示条件的替代方法：我们在较高温度下反复采样单个提示的生成结果，对汇总的隐藏激活进行主成分分析（PCA），并根据极端生成自动标注得到的轴。我们在一项两阶段研究中，将发现的轴与245个人工获取的风格注释进行验证。在我们性能最强的模型（Qwen-3.5-4B-Instruct）上，前两个轴与自发请求的人类维度匹配，精确率为72.8%，宏平均召回率为43.6%，且75.6%的有效性评定认为轴的极端生成与其标签一致，相邻评审者间的一致性为90.9%。可发现性与模型高度相关：Qwen系列和Llama-3.2-3B均能揭示人类显著的轴，而DeepSeek-7B-Chat精确率下降至35.3%，其主要成分受结构变化而非风格变化主导。因此，对模型自身解码方差进行简单PCA是一种有效且低成本的方法，可探测LLM表征中的风格结构，同时也显现了模型间该结构组织方式的显著差异。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19150 (HTTP 429)

Authors: Ajit Mallavarapu, Ziwei Gu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19150.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19150

Published: 2026-09-21T01:39:23.642Z

4. What Users Think of Generative AI: A Cross-Platform NLP Analysis of Trust and Friction in App Store Reviews

Abstract:Generative AI (GenAI) applications have achieved rapid consumer adoption, yet little large-scale research examines user-perceived quality, trust, and adoption barriers. We present one of the first cross-application analyses of app store reviews for six major GenAI applications (ChatGPT, Gemini, Microsoft Copilot, Claude, DeepSeek, and Perplexity), comprising 17,012 English-language reviews from Google Play and the Apple App Store. We combine BERTopic topic modeling with RoBERTa sentiment classification and evaluate cross-application differences using chi-square, Kruskal-Wallis, and multinomial logistic regression with Bonferroni correction. Both components are validated against human coding using a stratified sample of 300 reviews. Results show that negative sentiment concentrates in advertising (91%), authentication (89%), server reliability (83%), and subscription pricing (73%). Sentiment differs significantly across applications, with Claude exhibiting the highest negative sentiment (47.7%) alongside a strongly enthusiastic user base, indicating statistically significant polarization. These findings are robust despite unequal review counts across applications. As exploratory observations, a subset of DeepSeek reviews raised geopolitical and data privacy concerns related to its Chinese origin, while a proposed Trust Friction Score summarizes application-specific trust and usability barriers into interpretable dimensions. The study provides validated and actionable evidence on user trust, usability, and adoption barriers in consumer generative AI applications.

中文摘要

摘要：生成式人工智能（GenAI）应用已实现快速的消费者采用，但很少有大规模研究关注用户感知的质量、信任及采用障碍。我们呈现了针对六个主要GenAI应用（ChatGPT、Gemini、Microsoft Copilot、Claude、DeepSeek和Perplexity）的应用商店评价进行的首批跨应用分析之一，涵盖来自Google Play和Apple App Store的17,012条英文评论。我们结合了BERTopic主题建模与RoBERTa情感分类，并使用卡方检验、Kruskal-Wallis检验以及带Bonferroni校正的多项式逻辑回归评估跨应用差异。两个组成部分均通过对300条评论的分层样本进行人工编码验证。结果显示，负面情绪集中在广告（91%）、身份验证（89%）、服务器可靠性（83%）以及订阅定价（73%）等方面。不同应用的情绪存在显著差异，其中Claude的负面情绪最高（47.7%），同时拥有高度热情的用户群，显示出统计学上显著的两极分化。尽管不同应用的评论数量不均，这些发现依然稳健。作为探索性观察，部分DeepSeek评论提出了与其中国背景相关的地缘政治和数据隐私问题，同时提出的“信任摩擦评分”将应用特定的信任与可用性障碍总结为可解释的维度。本研究为消费者生成式AI应用中的用户信任、可用性及采用障碍提供了经过验证且可操作的证据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19151 (HTTP 429)

Authors: Md Jafrin Hossain, Umme Nusrat Jahan, Shouvaggo Sharif Shammo

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19151.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19151

Published: 2026-09-21T01:39:23.642Z

5. FakeSpotter: A content and strategy agnostic Viral Misinformation Detection Tool

Abstract:Misinformation detection tools often rely on binary true and false classifications or models trained on historical examples, limiting their usefulness when novel misleading narratives emerge. Here, we present FakeSpotter, a content- and strategy-agnostic tool designed to estimate the viral misinformation risk of textual content by measuring structural fingerprints of misinformation rather than directly adjudicating truthfulness. FakeSpotter operationalizes a theory-driven framework across linguistic, narrative, logical, and critical-thinking dimensions, using repeated LLM assessments and domain-specific logistic regression classifiers for short and long texts. In a labelled corpus of 764 texts from social media and FakeNewsNet, FakeSpotter achieved macro F1 scores of 0.788 for short texts and 0.793 for long texts on a held-out test set. FakeSpotter’s interpretive layer provides explainable outputs through feature-based scores, signal agreement, and a caution index, and can be used for social listening. These findings suggest that identifying the structural fingerprints of misinformation can support early, explainable, and human-supervised assessment of potentially viral misinformation.

中文摘要

摘要：错误信息检测工具通常依赖于二元的真假分类或基于历史示例训练的模型，在新型误导性叙事出现时，其效用受到限制。在此，我们提出了FakeSpotter，一种与内容和策略无关的工具，旨在通过测量错误信息的结构特征而非直接裁定真实性，来评估文本内容的病毒式错误信息风险。FakeSpotter在语言、叙事、逻辑和批判性思维维度上实现了理论驱动的框架，使用重复的LLM评估和针对短文本与长文本的领域特定逻辑回归分类器。在一个包含764条来自社交媒体和FakeNewsNet的标注语料库中，FakeSpotter在保留测试集上对短文本和长文本分别取得了宏F1评分0.788和0.793。FakeSpotter的解释层通过基于特征的评分、信号一致性和警示指数提供可解释的输出，可用于社会倾听。这些结果表明，识别错误信息的结构特征可以支持对潜在病毒式错误信息进行早期、可解释和人工监督的评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19152 (HTTP 429)

Authors: Giovanni Spitale, Federico Germani

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19152.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19152

Published: 2026-09-21T01:39:23.642Z

6. Stop Removing Stopwords: How an Inherited Preprocessing Default Distorts Legal Text-as-Data

Abstract:Empirical legal scholarship increasingly treats judicial text as data, and much of it still runs on sparse, interpretable pipelines — TF-IDF features and linear classifiers — because the textual feature is often the object of study, not merely a means to a prediction. Yet these pipelines inherit a chain of preprocessing defaults from mid-century information retrieval that were never validated against classification accuracy, the most entrenched being stopword removal. This study introduces an exhaustive single-word ablation that measures a preprocessing step’s effect directly against the downstream objective, and applies it to stopword removal as the hardest case to dislodge. Matching Supreme Court Database labels to Caselaw Access Project opinion texts, it examines two binary tasks that bracket F1 headroom, ideological direction (no-removal baseline F1 ~ 0.68) and constitutional versus non-constitutional law type (~ 0.92), across 7,668 and 7,001 opinions. For each task the analysis approximates the best stoplist any expert could build, removing each of roughly 18,500 candidate words and measuring the effect directly. Three findings follow: generic stoplists in common use fall below the no-removal baseline in every test; even optimized stoplists are statistically indistinguishable from removing nothing; and meta-models trained on word-level features cannot predict which removals help, so list curation has nothing to target. The method generalizes to any inherited preprocessing default, and the result is a caution specific to interpretable legal text-as-data: a step that silently reshapes which features a model sees can distort the very doctrinal and ideological signal such research exists to recover. Leaving stopwords in place is a question of measurement validity.

中文摘要

摘要：经验法学研究越来越多地将司法文本视为数据，并且其中很多研究仍然依赖稀疏且可解释的流程——TF-IDF 特征和线性分类器——因为文本特征通常是研究对象，而不仅仅是预测手段。然而，这些流程继承了中世纪信息检索中的一系列预处理默认设置，而这些默认设置从未经过分类准确性的验证，其中最根深蒂固的是停用词移除。本研究引入了一种详尽的单词消融方法，直接测量预处理步骤对下游目标的影响，并将其应用于停用词移除，这是最难被动摇的案例。通过将最高法院数据库标签与 Caselaw Access Project 的判决文本匹配，研究考察了两个二分类任务，这两个任务在 F1 指标上分别处于上限和下限：意识形态方向（无移除基线 F1 ~ 0.68）以及宪法法与非宪法法类型（~ 0.92），数据量分别为 7,668 和 7,001 篇判决。对于每个任务，分析近似于任何专家能够构建的最佳停用词列表，移除大约 18,500 个候选词，并直接测量其效果。研究得出三点结论：常用的通用停用词列表在每次测试中都低于无移除基线；即使是优化的停用词列表，在统计上也与不移除任何词无显著差异；基于词级特征训练的元模型无法预测哪些移除能起作用，因此列表的策划没有明确目标。此方法可推广到任何继承的预处理默认设置，其结果对可解释的法律文本数据研究提出了警示：一个悄然改变模型可见特征的步骤可能扭曲研究旨在恢复的法律学说和意识形态信号。是否保留停用词是测量有效性的问题。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19153 (HTTP 429)

Authors: Gregory M. Dickinson

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19153.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19153

Published: 2026-09-21T01:39:23.642Z

7. Neo-Classic: A Benchmark for Evaluating Linguistic-Aesthetic Reasoning in Classical Chinese Poetry

Abstract:While Large Language Models (LLMs) achieve high accuracy on established Classical Chinese Poetry benchmarks, it remains challenging to distinguish transferable Linguistic-Aesthetic Reasoning from reliance on familiar pre-training patterns. To address this issue, we introduce Neo-Classic, an evaluation benchmark that combines a constructionist Out-of-Sample (OOS) dataset with a suite of reverse understanding probes. Unlike traditional benchmarks that rely on verification or generation over historical corpora, Neo-Classic comprises strictly metrical poetry authored by contemporary experts, reducing the possibility of direct retrieval. We evaluate state-of-the-art models, including Qwen3-Max, Gemini-3-Pro, and DeepSeek-V3.2, across five behavioral probes designed to test hierarchical constraint satisfaction. Our results reveal two primary limitations. First, a performance gap of 20 to 50 percent emerges when models transition from historical to contemporary texts. Second, models exhibit substantial difficulties in discourse-level ordering tasks, with standard accuracy remaining low (0 to 13 percent). Although expert-level guidance improves the performance of reasoning-enhanced models to 36 percent, a notable gap with human experts persists. These findings suggest that while current LLMs capture local formal patterns, they struggle with global hierarchical planning required for robust Linguistic-Aesthetic Reasoning.

中文摘要

摘要：尽管大型语言模型（LLMs）在既定的古典诗词基准测试上取得了较高的准确率，但区分可迁移的语言美学推理与对熟悉预训练模式的依赖仍然具有挑战性。为了解决这一问题，我们引入了Neo-Classic，一种评估基准，它将建构主义的样本外（OOS）数据集与一系列反向理解探测器结合起来。不同于依赖历史语料库进行验证或生成的传统基准，Neo-Classic由当代专家创作的严格格律诗组成，减少了直接检索的可能性。我们对包括Qwen3-Max、Gemini-3-Pro和DeepSeek-V3.2在内的最先进模型进行了评估，使用五种旨在测试层级约束满足的行为探测器。我们的结果显示了两个主要限制。首先，当模型从历史文本转向当代文本时，表现差距达20%到50%。其次，模型在语篇层次的排序任务中表现出显著困难，标准准确率仍然低（0%到13%）。尽管专家级指导将增强推理模型的表现提升至36%，但与人类专家仍存在显著差距。这些发现表明，尽管当前的LLMs能够捕捉局部形式模式，但在实现稳健的语言美学推理所需的全局层级规划方面仍存在困难。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19154 (HTTP 429)

Authors: Han Zhang, Zihan Gu, Zhiyuan Wang, Tianyi Ma, Jiacheng Lu, Xinyan Zhang, Yuhao Wei, Cheng Hua

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19154.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19154

Published: 2026-09-21T01:39:23.642Z

8. Towards Proactive Detection of User-Side Implicit Conflicts in Human-LLM Dialogue

Abstract:In Human-LLM dialogue, follow-up user utterances may implicitly conflict with earlier intents, leading the LLM to misinterpret user needs and generate inappropriate responses. A reliable dialogue system should proactively detect user-side conflicts before generating a response and seek clarification when necessary. However, prior work has largely focused on LLM-side conflicts, leaving user-side conflicts underexplored. To fill this gap, we construct UC-Bench, a human-annotated benchmark for evaluating user-side conflict detection. Preliminary experiments show that existing LLMs struggle with this task, especially when conflicts arise from implicit incompatibilities grounded in dialogue history. To improve lightweight LLMs with limited training data, we investigate data synthesis for user-side conflict detection. Existing synthesis methods do not explicitly model the implicit incompatibilities between historical and current user utterances, making it difficult to capture the evolution of conflicts and to generate reliably labeled implicit conflict samples. We propose SynUC, a constraint-guided synthesis method that represents user-side conflicts in a constraint space and uses the SPEAKING framework to guide traceable constraint transformations. Applying SynUC to WildChat, we construct UC-Data, a user-side conflict training set containing 2,487 samples. On UC-Bench, Qwen3.5-4B trained on UC-Data outperforms larger general-purpose LLMs such as Claude Opus 4.8, as well as the same backbone trained on data synthesized by existing methods.

中文摘要

摘要：在人类与大型语言模型（LLM）的对话中，后续的用户发言可能与早期意图隐含冲突，导致LLM误解用户需求并生成不适当的回应。一个可靠的对话系统应在生成回应前主动检测用户端的冲突，并在必要时寻求澄清。然而，以往的研究主要关注LLM端的冲突，用户端的冲突仍然研究不足。为填补这一空白，我们构建了UC-Bench，这是一个用于评估用户端冲突检测的人类标注基准。初步实验显示，现有LLM在该任务上表现不佳，尤其当冲突源于对话历史中隐含的不兼容时。为了改进训练数据有限的轻量级LLM，我们研究了用户端冲突检测的数据合成方法。现有的合成方法未能明确建模历史用户发言与当前发言之间的隐含不兼容性，难以捕捉冲突演变并生成可靠标注的隐含冲突样本。我们提出了SynUC，一种约束引导的合成方法，在约束空间中表示用户端冲突，并利用SPEAKING框架指导可追踪的约束变换。将SynUC应用于WildChat，我们构建了UC-Data，一个包含2,487条样本的用户端冲突训练集。在UC-Bench上，基于UC-Data训练的Qwen3.5-4B在性能上优于更大规模的通用LLM（如Claude Opus 4.8），以及使用现有方法生成合成数据训练的同一模型骨干。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19155 (HTTP 429)

Authors: Jinqiang Wang, Tao Zhu, Huansheng Ning

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19155.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19155

Published: 2026-09-21T01:39:23.642Z

9. Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes

Abstract:Data-driven fine-tuning is widely adopted to enhance reasoning in Large Language Models (LLMs) due to its simplicity and efficiency. However, mainstream imitation learning methods that rely exclusively on perfect reasoning trajectories suffer from a Scaling Collapse: when the problem set is limited, increasing positive examples fails to yield continuous improvement. However, during inference, an LLM can not guarantee that every intermediate step is correct and is therefore prone to errors. Once such errors arise, the LLM often struggles to recover and may be further misled by the accumulation of previous mistakes. To address this, we propose Reflective Recovery, a simple yet effective self-supervised approach that transforms failed reasoning attempts into recovery training data. Specifically, we extract initial segments of failed trajectories, concatenate them with prompts, and use them to guide the LLM toward valid solutions. Because these segments from failed trajectories are likely to contain errors, this process teaches models to recognize and correct mistakes during reasoning, enabling recovery from erroneous states without relying on external critics or reward models. Evaluated on extensive benchmarks, Reflective Recovery significantly improves performance. On DeepSeek-R1-Distill-Qwen-7B, it boosts accuracy from 30.0% to 37.5% on AIME 2025 and from 37.6% to 47.8% on Minerva. More importantly, analyses demonstrate that it breaks the scaling collapse barrier and enables models to develop emergent self-correction behaviors, representing a paradigm shift from outcome-oriented memorization to process-oriented reflective reasoning.

中文摘要

摘要：数据驱动的微调因其简便高效而被广泛用于提升大型语言模型（LLMs）的推理能力。然而，依赖完全正确推理轨迹的主流模仿学习方法存在规模崩溃问题：当问题集有限时，增加正样本无法带来持续改进。然而，在推理过程中，LLM无法保证每个中间步骤都是正确的，因此容易出错。一旦出现此类错误，LLM通常难以恢复，且可能因先前错误的累积而被进一步误导。为了解决这一问题，我们提出了反思恢复（Reflective Recovery），一种简单而有效的自监督方法，将失败的推理尝试转化为恢复训练数据。具体来说，我们提取失败轨迹的初始片段，将其与提示拼接，并用来引导LLM得到有效的解决方案。由于这些来自失败轨迹的片段可能包含错误，这一过程教会模型在推理中识别并修正错误，从而无需依赖外部评审者或奖励模型即可从错误状态中恢复。在广泛的基准测试中，反思恢复显著提升了性能。在DeepSeek-R1-Distill-Qwen-7B上，它将AIME 2025的准确率从30.0%提升至37.5%，将Minerva的准确率从37.6%提升至47.8%。更重要的是，分析表明，该方法打破了规模崩溃的障碍，使模型能够开发出新兴的自我纠错行为，标志着从以结果为导向的记忆方法向以过程为导向的反思推理的范式转变。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决基于模仿学习的大规模语言模型（LLM）推理增强中所面临的\*\*Scaling Collapse\*\*与\*\*错误恢复机制缺失\*\*问题。具体而言，其核心针对以下三个层面的局限： \*\*1. 正例-only 训练的 Scaling Collapse 现象\*\* 主流基于拒绝采样微调（RFT）的方法仅依赖完全正确的推理轨迹作为训练数据。论文发现，当问题集规模有限时，单纯增加正确样本的数量无法带来模型能力的持续提升；相反，性能会迅速饱和甚至下降。例如，在 AIME 2025 基准上，RFT 基线的准确率从 8k 数据量时的 35.3% 降至 10k 时的 30.0%。这表明模仿学习本质上引导模型记忆正确的解题路径，而非习得可泛化的鲁棒推理策略。 \*\*2. 推理过程中的错误累积与恢复无能\*\* 在实际推理中，LLM 无法保证每一个中间步骤均正确。一旦产生错误，模型缺乏识别并纠正该错误的能力，且后续步骤容易被先前累积的错误进一步误导，导致推理链条偏离正确路径。由于传统训练数据从不包含“错误中间状态”，模型在面对自身推理偏差时没有任何自我修正的机制。 \*\*3. 对外部监督与事后修正的过度依赖\*\* 现有改进方案或依赖昂贵的外部奖励模型/验证器提供反馈，或仅在推理完全失败后才通过提示词进行事后反思（post-hoc reflection）。前者限制了可扩展性与自主性，后者则缺乏在推理过程中进行\*\*中途修正\*\*（mid-process correction）的能力，无法动态应对中间步骤出现的错误。为应对上述问题，论文提出 \*\*Reflective Recovery\*\* 框架，通过自监督方式将失败的推理轨迹转化为恢复训练数据，使模型从“仅学习正确答案”转向“学习如何从错误状态中恢复”，从而在无需外部批评模型的情况下，赋予 LLM 在推理过程中动态检测并纠正自身错误的能力。 Q2: 有哪些相关研究？根据论文第2节及相关引用，现有研究主要沿两个方向展开：\*\*外部反馈机制\*\*与\*\*自我修正及错误学习\*\*。具体可归纳如下： --- ### 1. 外部反馈（External Feedback）该方向通过引入外部监督信号（如奖励模型、验证器或评论家）来引导生成过程，使模型输出与正确性标准对齐。 - \*\*结果与过程级监督\*\*：利用奖励模型或验证器评估推理步骤或最终答案。例如，Kumar et al. (2024) 通过强化学习训练语言模型进行自我修正；Wang et al. (2025b) 提出批判式微调（Critique Fine-Tuning），主张学习批判比学习模仿更有效；Akyürek et al. (2023) 使用强化学习生成自然语言反馈以修复模型输出。 - \*\*过程奖励模型（PRMs）\*\*：PRMs 在中间步骤提供细粒度监督，引导模型走向正确推理（Lin et al., 2025; Bensal et al., 2025; Li et al., 2025a）。 - \*\*基于搜索的数据合成\*\*：利用简单验证器探索不同推理路径并收集高质量训练样本。例如，Xu et al. (2025) 提出 SRA-MCTS，将蒙特卡洛树搜索用于代码生成的推理增强；Bu et al. (2025) 使用层次化 GFlowNet 生成推理结构以改进数据合成。 - \*\*局限性\*\*：上述方法通常依赖精心设计的外部评论家或大量人工偏好数据，其训练成本高昂，可扩展性受限（Zhang et al., 2024, 2025b）。 --- ### 2. 自我修正与从错误中学习（Self-Correction and Learning from Errors）该方向关注模型在不依赖外部系统的情况下，通过内在机制或从负面信号中改进输出。 - \*\*推理时事后反思\*\*：早期工作如 Reflexion（Shinn et al., 2023）通过提示模型在答案生成后进行口头自我批判。然而，研究表明 LLM 难以识别自身错误，尤其在多步复杂推理中，事后自我修正甚至可能损害性能（Jiang et al., 2024a; Tie et al., 2025; Lee et al., 2024）。 - \*\*基于训练的迭代修正\*\*：近期研究转向利用负面信号进行微调。例如： - \*\*迭代优化\*\*：SuperCorrect（Yang et al., 2025）与 RISE（Qu et al., 2024）在迭代精炼轨迹上微调模型；Wang et al. (2025a) 学习对并行推理进行自精炼。 - \*\*负面偏好与避免错误\*\*：Pi et al. (2024)、Chen et al. (2025)、Zhu et al. (2025) 等通过偏好优化使模型规避不正确行为；Yu et al. (2025) 从关键步骤中学习以改进推理；Bui et al. (2025) 通过告诉模型“不想要什么”来进行学习。 - \*\*恢复与过程监督\*\*：Li et al. (2025b) 结合蒙特卡洛树搜索与过程监督增强推理；Xiong et al. (2025) 研究自奖励修正机制；Liu et al. (2025) 通过数据增强强化视觉推理。 - \*\*根本局限\*\*：现有大多数方法仍为\*\*事后干预\*\*（仅在错误完全发生后才修正）或\*\*结果导向\*\*（仅抑制错误输出），未能使模型在推理过程中\*\*主动检测并实时恢复\*\*中间错误。 --- ### 3. 基础方法：拒绝采样微调（RFT）作为对比基线，Yuan et al. (2023) 提出的 RFT 代表标准的基于结果的模仿学习范式：仅收集最终答案正确的推理轨迹作为正例进行监督微调。论文指出，该范式在数据规模扩大时会出现性能饱和甚至崩溃（Scaling Collapse），且无法处理推理过程中的错误状态。 Q3: 论文如何解决这个问题？论文提出 \*\*Reflective Recovery\*\*，一种自监督的 Sample-Resample 训练框架，通过将模型自身的失败推理轨迹转化为恢复训练数据，显式地教授模型在推理过程中识别并纠正中间错误。其核心方法论可分为以下三个层面： --- ### 1. 总体思路：从失败中学习恢复与传统仅保留正确轨迹（ D_(pos) ）的模仿学习不同，该方法首先通过多样化采样收集大量失败轨迹（ D_(neg) ）。随后，通过 \*\*Truncate-Resample-Select\*\* 流程，将 D_(neg) 转换为恢复数据集 D_(rec) 。该数据集中的每条轨迹均从\*\*包含错误的中间状态\*\*出发，最终过渡至正确解答，从而显式建模错误恢复过程。 --- ### 2. 数据构建流程：两阶段实现 #### 阶段一：失败轨迹收集（Failure Trajectory Collection）对每个种子问题 x ∈ X ，使用基础模型以较高温度采样生成 N 条推理轨迹 y^1, y^2, dots, y^N 。通过二元结果验证器 V(x, y) ∈ 0, 1 将轨迹划分为： - 正确轨迹集合 D_(pos) = (x, y) mid V(x, y) = 1 - \*\*失败轨迹集合 D_(neg) = (x, y) mid V(x, y) = 0 \*\* 关键区别在于， D_(neg) 不被丢弃，而是作为后续恢复学习的来源。 #### 阶段二：恢复数据精选（Recovery Curation）对每条失败轨迹 y = (y_1, dots, y_L) ∈ D_(neg) 执行以下三步： - \*\*截断（Truncation）\*\*：在 intermediate step t < L 处截断，得到错误前缀 y_(

D(rec) = (x, y(<t) oplus y^k) ;|; V(x, y(<t) oplus y^k) = 1
—- ### 3. 训练目标：屏蔽错误前缀，强化恢复能力模型仅在 D(rec) 上进行监督微调。对于每条恢复轨迹 (x, y(rec)) ∈ D(rec) ，其中 y(rec) = y(<t) oplus y ，将问题描述 x 与错误前缀 y_(<t) 视为固定上下文，**仅对重采样得到的续写部分 y 计算梯度**。设 y 包含 token (y_1, dots, y_m) ，训练目标为最小化以下负对数似然：

L(θ) = -∑(j=1)^(m) log P(θ)(yj mid x, y(<t), y(<j))
通过对前缀 y(<t) 进行 **loss masking**，模型避免强化其先前产生的错误，转而学习在**已知存在错误的条件下**生成正确的后续推理步骤。 —- ### 4. 方法优势与范式转变 - **无需外部监督**：整个流程仅依赖模型自身采样与轻量级验证器，无需奖励模型、PRM 或强化学习。 - **过程级动态修正**：与仅在推理完全失败后提示反思（post-hoc）的方法不同， D(rec) 训练模型在**推理中途**从错误状态恢复。 - **可扩展性**：随着数据规模增加，该方法表现出稳定的线性扩展行为，有效打破正例-only 训练的 Scaling Collapse。 Q4: 论文做了哪些实验？该论文围绕 **DeepSeek-R1-Distill-Qwen** 模型家族，在数学推理、代码生成与科学问答等多个基准上开展了系统实验。整体实验设计涵盖性能对比、扩展规律分析、消融研究以及生成行为的语言学分析四个层面。 —- ## 1. 实验设置 ### 1.1 模型与数据 - **基础模型**：DeepSeek-R1-Distill-Qwen-7B 与 14B。 - **种子问题**：从 Light-R1 的 SFT Stage 2 数据集中选取 3k 道高难度数学问题，已过滤与评测集（AIME、GPQA Diamond 等）的重叠。 - **数据生成**：每道问题以温度 0.6、top-p 0.95 采样 N=8 条初始轨迹；对失败轨迹以 K=5 进行恢复重采样。 ### 1.2 基线 - **RFT（Rejection Sampling Fine-Tuning）**：仅使用最终答案正确的轨迹 D(pos) 进行标准监督微调，代表基于结果的正例模仿学习范式。 - **公平性控制**：所有对比中，RFT 与 Reflective Recovery 的训练数据量严格对齐，即 |D(pos)| = |D(rec)| 。 ### 1.3 训练与推理配置 - 训练框架：Open-R1；优化器：AdamW；学习率： 4.0 × 10^(-5) ；调度：余弦退火（warmup 比例 0.03）；训练轮数：5 epoch；最大序列长度：32,768 tokens；精度：bfloat16；注意力：Flash Attention 2。 - 推理加速：vLLM；评测：lighteval 框架，报告 zero-shot pass@1 准确率。 ### 1.4 评测基准 - **数学推理**：AIME 2024、AIME 2025、Minerva Math、OlympiadBench - **代码生成**：LiveCodeBench、LiveCodeBench V4 - **科学问答**：GPQA Diamond —- ## 2. 主要结果（Main Results）在 6k 条训练数据的设定下，Reflective Recovery 在两个模型规模上均稳定优于 RFT 基线。关键结果如 **Table 1** 所示： - **DeepSeek-R1-Distill-Qwen-7B**： - AIME 2025：从 RFT 的 34.7% 提升至 37.5% - Minerva：从 46.7% 提升至 47.8% - LiveCodeBench：从 35.0% 提升至 36.5%，体现出跨领域迁移能力 - **DeepSeek-R1-Distill-Qwen-14B**： - AIME 2025：从 43.3% 提升至 45.3% - Minerva：从 47.4% 显著提升至 50.7% - LiveCodeBench：从 53.1% 提升至 55.3% 此外，基础模型在 Minerva 上为 37.6%，经 Reflective Recovery 后达到 47.8%，表明恢复学习不仅超越正例模仿，且显著激活了模型的推理潜力。 —- ## 3. 扩展定律分析（Scaling Law Analysis）该论文系统比较了训练数据量从 2k 增至 10k 时两种方法的扩展行为（**Figure 2** 及附录）： - **RFT 的脆弱性**：在多数基准上，RFT 性能在中等数据量（如 4k 或 8k）达到峰值后随数据增加而下降。例如，在 AIME 2025 上，其准确率从 8k 时的 35.3% **下降至** 10k 时的 30.0%，呈现明显的 Scaling Collapse。 - **Reflective Recovery 的稳健性**：随着数据量从 2k 增至 10k，该方法在 Minerva、GPQA 等基准上保持**持续且近似线性的提升**，未出现饱和迹象。这表明恢复学习使模型真正内化了错误修正的通用能力，而非仅仅记忆更多正确模式。 —- ## 4. 消融研究（Ablation Studies） ### 4.1 截断位置的影响（Impact of Truncation Point）论文对比了在失败轨迹的 1/2 长度处（ t = L/2 ）与 3/4 长度处（ t = 3L/4 ）截断的效果（**Table 2**）： - ** t = L/2 **（更早截断）：在 AIME 2025 上达到 37.5%，在 GPQA 上达到 50.3%，综合表现更优。 - ** t = 3L/4 **（更晚截断）：在 AIME 2024 上意外达到 60.0%，但在 AIME 2025（35.8%）、GPQA（49.0%）等基准上显著下降。分析指出，过早截断虽保留更多恢复空间，但过晚截断常使模型继承根本上错误的推理路径，引入噪声并增加恢复难度。 ### 4.2 递归改进（Recursive Improvement via Iterative Curation）论文进一步探索了将恢复流程递归应用于“第一次恢复仍未成功”的实例，生成第二迭代数据（Iter. 2）。结果如 **Table 3** 所示： - **8k 数据规模**：加入 Iter. 2 数据效果混杂，例如在 AIME 2025 上从 40.0% 降至 37.7%，表明在数据量较小时，巩固基础恢复技能（Iter. 1）更为关键。 - **10k 数据规模**：Iter. 2 数据带来显著提升，AIME 2024 从 52.9% 升至 60.0%，AIME 2025 从 33.3% 升至 43.3%。这说明当模型与数据规模足够时，更难的递归恢复轨迹可作为自然课程，促进迭代式自我改进。 ### 4.3 与 RFT 的协同（Combining RFT and Reflective Recovery）为验证结果监督与过程恢复监督的互补性，论文构建了混合训练集：4k RFT 轨迹 + 6k Reflective Recovery 轨迹，总计 10k（**Table 4**）。混合模型在多数基准上超越单一方法： - AIME 2024：RFT 52.2%，RR 60.0%，**混合 62.0%** - LiveCodeBench V4：RFT 39.3%，RR 39.9%，**混合 41.6%** - LiveCodeBench：RFT 34.9%，RR 36.1%，**混合 37.3%** 这证实： outcome-based 监督有助于稳定正确轨迹的起点，而 recovery supervision 增强了对推理偏差的鲁棒性，二者结合可产生协同增益。 —- ## 5. 反思性语言模式分析（Analysis of Reflective Language Patterns）为验证性能增益源于真正的过程级韧性而非模板记忆，论文对生成轨迹中的元认知标记词（metacognitive markers）进行统计（**Figure 3** 与 **Figure 4**）。分析基于 AIME 2024（8k 数据训练）的采样输出： - **错误承认与重估**：Reflective Recovery 模型明确使用 “I was wrong” **88 次**，而 RFT 基线仅 **60 次**；使用 “reconsider” **66 次**，约为基线（29 次）的两倍；”rethink” 等实质性修正短语的频率也显著更高。 - **验证性短语**：对于 “let me verify”、”let me double-check” 等常规验证表达，两模型使用频率相近。 - **行为解释**：该差异表明 Reflective Recovery 不仅训练模型生成正确答案，更促使其在推理过程中**主动监控推理链、识别错误并动态修正路径**，体现出从 outcome-oriented memorization 到 process-oriented reflective reasoning 的范式转变。 —- ## 6. 附录补充实验 - **附录 C**：补充了 AIME 2024 与 LiveCodeBench V4 的扩展规律曲线（**Figure 5**、**Figure 6**），发现在 10k 规模时两方法在代码基准上均出现轻微性能回落，提示单一数学域数据过大可能牺牲跨 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与实验观察，以下方向具有进一步探索价值： —- ### 1. 计算效率与数据生成优化论文指出，构建恢复训练数据需要大量初始失败轨迹生成与重采样，计算开销较高。未来工作可探索： - **课程学习（Curriculum Learning）策略**：并非对所有失败轨迹均匀重采样，而是根据恢复难度动态排序，逐步引入更复杂的错误恢复任务，以减少无效采样。 - **主动选择高价值失败轨迹**：设计启发式指标或小型价值模型，筛选最具信息量的 D(neg) 子集进行恢复重采样，避免在明显无救的轨迹上浪费计算。 —- ### 2. 自适应截断与错误诊断机制当前截断点 t 主要采用固定比例（如 t = L/2 ）。更精细的探索包括： - **自适应截断位置**：根据轨迹内部的逻辑单元或错误严重程度动态决定截断点，而非基于总长度的固定比例。例如，在检测到特定错误模式（如计算错误与逻辑谬误）时选择不同的保留前缀长度。 - **错误类型感知的恢复**：系统分类模型常犯的错误类型（代数变形、条件遗漏、符号混淆等），研究不同错误类别对恢复难度的影响，并针对性地定制训练策略。 —- ### 3. 递归自我进化的自动化控制论文初步尝试了第二轮迭代恢复（Iter. 2），发现其效果依赖于数据规模。未来可深入： - **动态迭代深度决策**：建立元策略判断何时引入更高轮次的恢复数据。例如，当模型在特定难度区间上的恢复成功率进入平台期时，自动触发下一轮迭代。 - **渐进式领域扩展**：在递归过程中不仅增加数学问题，还可逐步引入代码、物理推理等跨领域失败轨迹，检验恢复能力是否可迁移为通用的元推理技能。 —- ### 4. 理论理解：Scaling Collapse 与恢复学习的机制论文经验性地展示了 Scaling Collapse 现象及其缓解方式，但缺乏理论剖析： - **模仿学习的记忆-泛化边界**：从理论上刻画仅使用 D(pos) 训练时，模型记忆正确路径与习得可泛化推理策略之间的权衡边界，解释为何增加正例会先饱和后崩溃。 - **恢复学习的泛化保证**：分析从错误前缀 y(<t) 恢复至正确解的训练目标，如何从统计学习或因果推断角度提供更强的分布外泛化界。 —- ### 5. 与其他训练范式的深度融合尽管 Reflective Recovery 强调无需外部奖励模型，但探索其与其他范式的协同仍具价值： - **与强化学习（RL）及过程奖励模型（PRM）的结合**：利用 PRM 识别更精确的错误步骤位置，指导截断；或将恢复能力作为 RL 的策略初始化，进一步通过在线探索优化。 - **与负例强化学习的统一框架**：Zhu et al. (2025) 展示了负向强化在推理中的有效性。可将“从错误恢复”与“避免错误行为”纳入统一的偏好优化或对比学习框架。 - **混合监督策略的优化配比**：论文初步验证了 RFT + Reflective Recovery 的混合训练有效，但最优配比（如 D(pos) 与 D(rec) 的比例）可能随模型规模、任务难度动态变化。 —- ### 6. 向程序合成与形式化数学的迁移论文提到该方法可推广至依赖验证器的其他任务： - **复杂程序合成**：在代码生成中，编译器/测试用例可作为验证器 V 。失败程序的前缀可截断至特定 AST 节点或执行状态，训练模型从编译错误 or 运行时错误中恢复。 - **形式化定理证明**：在 Lean/Coq 等环境中，证明失败时的“证明状态（tactic state）”天然构成截断前缀 y(<t) ，恢复学习可帮助模型从无效证明路径中回退并选择正确的后续引理。 —- ### 7. 多模态与视觉推理的扩展结合 Liu et al. (2025) 等在视觉推理中的工作，可将 Reflective Recovery 扩展至多模态场景： - 在几何问题或视觉数学推理中，模型可能在图像理解阶段产生错误（如误读图表）。截断可作用于视觉-语言交叉注意力层面的推理步骤，训练模型重新解读视觉信息并修正后续推导。 Q6: 总结一下论文的主要内容该论文针对大规模语言模型（LLM）在复杂推理任务中基于模仿学习的微调瓶颈，提出了 **Reflective Recovery** 框架，核心内容可概括如下： —- ### 1. 研究背景与动机数据驱动的监督微调是提升 LLM 数学与科学推理能力的主流途径。代表性方法如拒绝采样微调（RFT）通过收集最终答案正确的推理轨迹（ D(pos) ）进行模仿学习。然而，这种仅依赖“正例”的范式存在根本性局限：当问题集规模有限时，单纯增加正确样本无法持续转化为性能提升，且模型一旦在推理中途犯错，因从未见过错误状态，完全不具备自我恢复能力。 —- ### 2. 核心问题：Scaling Collapse 与过程恢复缺失论文识别出 **Scaling Collapse** 现象：在 AIME 2025 等基准上，RFT 基线的准确率随训练数据从 8k 增至 10k 不升反降（从 35.3% 降至 30.0%）。其根源在于： - **记忆替代泛化**：模型记住的是正确路径的表层模式，而非鲁棒的推理原则； - **错误状态缺失**：训练数据不包含中间错误状态，导致推理过程中任何偏差都会累积放大，模型既无法识别自身错误，也无法执行中途修正（mid-process correction）。 —- ### 3. 方法：Reflective Recovery 为将失败经验转化为有效学习信号，论文提出自监督的 **Sample-Resample** 数据构建流程，包含两个阶段： **（1）失败轨迹收集** 对每道问题 x ，通过高温采样生成 N 条推理轨迹，经二元验证器 V(x, y) ∈ 0,1 划分为正确集合 D(pos) 与失败集合 D(neg) 。 D(neg) 被保留作为恢复学习的来源。 **（2）恢复数据精选（Truncate-Resample-Select）** 对每条失败轨迹 y = (y1, dots, y_L) ： - **截断**：在步骤 t 处截断，得到包含潜在错误的中间前缀 y(<t) = (y1, dots, y(t-1)) ； - **重采样**：以 (x, y_(<t)) 为条件，从模型中采样 K 条替代续写 y^1, dots, y^K ； - **筛选**：仅保留经验证器判定为正确的完整轨迹，构成恢复数据集：

D(rec) = (x, y(<t) oplus y^k) ;|; V(x, y(<t) oplus y^k) = 1
**（3）训练目标** 模型仅在 D(rec) 上训练，且对错误前缀 y(<t) 进行 loss masking，仅最小化重采样续写 y 的负对数似然：
L(θ) = -∑(j=1)^(m) log P(θ)(y_j mid x, y(<t), y_(<j))
这使模型学习在已知存在错误的条件下生成正确后续，从而掌握识别与纠正偏差的动态能力。 —- ### 4. 实验验证基于 **DeepSeek-R1-Distill-Qwen**（7B 与 14B）的实验表明： - **性能优势**：在 AIME、Minerva、GPQA、LiveCodeBench 等基准上，Reflective Recovery 稳定优于同等数据规模的 RFT。例如，7B 模型在 AIME 2025 上从 30.0%（基线）提升至 37.5%，在 Minerva 上从 46.7% 提升至 47.8%；14B 模型在 Minerva 上达到 50.7%。 - **打破 Scaling Collapse**：随着训练数据从 2k 增至 10k，该方法呈现持续、稳健的线性扩展，而 RFT 在多数基准上迅速饱和甚至性能倒退。 - **跨域迁移**：仅在数学数据上训练，仍带来 LiveCodeBench 上 2.2 个百分点的提升，表明恢复能力具有泛化性。 - **协同效应**：将 4k RFT 数据与 6k 恢复数据混合训练，性能超越任一单一方法，说明正确路径模仿与错误恢复学习互为补充。 - **递归改进**：在 10k 规模下，使用第二轮迭代生成的恢复数据可进一步提升性能（如 AIME 2025 提升 10.0 个百分点）。 - **反思行为涌现**：对生成轨迹的语言学分析显示，训练后的模型显著更频繁地使用 “I was wrong”、”reconsider”、”rethink” 等元认知修正短语，证实了动态反思推理模式的出现。 —- ### 5. 主要贡献与结论 - **现象揭示**：首次系统刻画了正例-only 模仿学习中的 Scaling Collapse，指出其根因在于缺乏错误恢复机制。 - **方法创新**：提出无需外部奖励模型或强化学习的自监督框架，将失败轨迹显式转化为高价值恢复训练数据。 - **范式转变**：推动模型从 outcome-oriented memorization（记忆正确答案）向 process-oriented reflective reasoning（过程导向的反思推理）演进，使 LLM 在推理过程中具备主动检测并纠正中间错误的能力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qirui Chen, Renjie Pi, Jiahui Gao, Lingpeng Kong

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19156.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19156

Published: 2026-09-21T01:39:23.642Z

10. VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering

Abstract:Knowledge graphs are usually integrated into question answering by encoding a retrieved subgraph with a graph neural network and fusing it with the language model in the online inference path. The same subgraph is therefore re-encoded from scratch every time a pair is scored, across training epochs, seeds, and evaluation runs, even though the knowledge graph never changes. We ask whether the retrieved knowledge graphs can instead be compiled once, offline, and then accessed as read-only memory. VisKG-LM shows that it can, by decoupling graph encoding from language reasoning. It serializes each retrieved candidate-specific subgraph as Relation-Labeled Paths and renders the result as an image whose two-dimensional layout preserves the branching structure of the paths. Each image is encoded once, offline, and cached for reuse. At inference, the language model contextualizes the question and candidate from text alone, and only its final layer consults the cached visual memory, reading both its global layout and its local relational detail. The graph information thus enters only after the text has been understood. On the test sets of CommonsenseQA, OpenBookQA, and MedQA-USMLE, VisKG-LMimproves over GreaseLM by $1.2$, $0.8$, and $4.3$ points, respectively, while matching or surpassing GraphVis, a $7$B vision-language model, with only about $400$M online parameters. Against a matched text-only control that receives the identical Relation-Labeled Paths, it gains $4.2$, $6.5$, and $5.1$ points across the three benchmarks. These gains show that the complete visual-memory interface adds value beyond path textualization alone and support compiled visual memory as an alternative to online graph propagation.

中文摘要

摘要：知识图谱通常通过使用图神经网络对检索到的子图进行编码，并在在线推理过程中与语言模型融合，从而集成到问答系统中。因此，即使知识图谱从未改变，每次对一个对进行评分时，这个子图都需要从头重新编码，在训练轮次、随机种子和评估运行中重复进行。我们提出一个问题：是否可以将检索到的知识图谱离线编译一次，然后作为只读存储访问。VisKG-LM 证明了这是可行的，它通过将图编码与语言推理解耦来实现。它将每个检索到的候选特定子图序列化为关系标注路径，并将结果呈现为图像，其二维布局保留路径的分支结构。每张图像离线编码一次，并缓存以供重复使用。在推理时，语言模型仅从文本中将问题和候选对象置于上下文中，只有其最后一层会查阅缓存的视觉存储，读取其全局布局和局部关系细节。因此，图信息仅在文本被理解之后才进入。在 CommonsenseQA、OpenBookQA 和 MedQA-USMLE 的测试集上，VisKG-LM 比 GreaseLM 分别提升了 $1.2$、$0.8$ 和 $4.3$ 个点，同时在仅约 $400$M 在线参数的情况下匹配甚至超过了拥有 $7$B 参数的视觉-语言模型 GraphVis。与接收相同关系标注路径的匹配文本控制模型相比，它在三个基准上分别获得了 $4.2$、$6.5$ 和 $5.1$ 个点的提升。这些提升表明，完整的视觉记忆接口比仅路径文本化更有价值，并支持将编译的视觉记忆作为在线图传播的一种替代方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19158 (HTTP 429)

Authors: Yixin Peng, Er Jin, Shiwei Luo, Diego Collarana, Stefan Decker

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.19158.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19158

Published: 2026-09-21T01:39:23.642Z

Agent Domain Papers

1. Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes

Abstract:Emphatic temporal-difference learning (ETD) stabilizes the expected off-policy TD update and changes its projection geometry, but neither property determines constant-stepsize sampled dynamics. We construct an ergodic two-state counterexample in which the ETD mean map contracts while the sampled product has a positive top Lyapunov exponent. Regenerative-cycle analysis separates this sign from the infinite variance of the follow-on trace. We introduce regularized emphatic TD (RETD), a normalized first-order post-shock repair that leaves the trace and importance ratios unchanged, stores the emphatic TD signal in a leaky scalar state, and releases a delayed correction. RETD’s raw equilibrium is an affine shift of the ETD equilibrium; single- and two-regularization readouts recover the ETD fixed point exactly. We prove almost-sure convergence for harmonic diminishing stepsizes and a conditional constant-stepsize moment-contraction result from a Markovian random-product bound. RETD has certified negative exponents on the two-state construction and one Baird point, whereas the positive Baird ETD sign remains numerical. Paired 10,000-run experiments validate both separations, fixed-point recovery, a nonmonotone stability region, and task dependence. RETD changes post-shock dynamics; it does not reduce the shared follow-on-trace variance.

中文摘要

摘要：强调时序差分学习（ETD）稳定了期望的离策略 TD 更新，并改变了其投影几何，但这两种特性都不能决定常步长采样动态。我们构建了一个遍历性的两状态反例，其中 ETD 平均映射收缩，而采样的乘积具有正的顶 Lyapunov 指数。再生周期分析将此符号与后续跟踪的无限方差区分开来。我们引入了正则化强调 TD（RETD），这是一种归一化的一阶事后修复方法，它保持跟踪和重要性比率不变，将强调 TD 信号存储在泄漏的标量状态中，并释放延迟修正。RETD 的原始平衡是 ETD 平衡的仿射平移；单一和双重正则化读取可以精确恢复 ETD 固定点。我们证明了调和递减步长下几乎必然收敛，并通过马尔可夫随机乘积界建立条件常步长矩收缩结果。RETD 在两状态构造和一个 Baird 点上具有经过验证的负指数，而正的 Baird ETD 符号仍为数值结果。成对 10,000 次实验验证了这两种分离、固定点恢复、非单调稳定性区域以及任务依赖性。RETD 改变了冲击后的动态；它并不减少共享的后续跟踪方差。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19170 (HTTP 429)

Authors: Xingguo Chen, Zhaohui Wu, Jinguo Ye, Chao Li, Shangdong Yang, Guang Yang, Skylar Liang, Wenhao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19170.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19170

Published: 2026-09-21T01:40:21.138Z

2. BioPhys-Bridge: A Benchmark for Interdisciplinary Scientific Reasoning in Physics-Grounded Biological Research

Abstract:Language models face unique challenges in analyzing interdisciplinary scientific research literature. In biophysics research, faithful answers require grounding observed data in source evidence, interpreting it through a quantitative physics model, and linking it to a biological mechanism. To address this challenge, we introduce BioPhys-Bridge, a novel benchmark dataset for evidence-grounded scientific reasoning over biophysical literature. Each case contains evidence blocks, stable evidence IDs, quantitative values, units, equations, assumptions, mechanisms, and next decisions as grounding targets for question answering (QA) and retrieval-augmented generation (RAG). The initial release contains 500 cases, 1,517 agent-facing tasks, and covers six biological domains and nine physical model families, including three sparse families reserved for future expansion. We enforce strict quality gates for all cases in schema, evidence-integrity, quantitative-grounding, source-license, duplicate, unit-normalization, with domain expert review and annotation for 81 cases. Preliminary evaluations show that DeepSeek-V4-Flash obtain the highest evidence-ID $F_1$ score (0.360), followed by Qwen3.7-Max (0.316) and GPT-4o-mini (0.294). BioPhys-Bridge is an interdisciplinary benchmark for evaluating attribution, faithfulness, hallucination reduction, and biological experiment design with complex, multi-step scientific reasoning. Future works will increase the size and complexity of the dataset and perform comprehensive evaluations. Code and data are available in the GitHub repository and on Hugging Face.

中文摘要

摘要：语言模型在分析跨学科的科学研究文献时面临独特的挑战。在生物物理学研究中，提供可靠答案需要将观察到的数据基于来源证据，使用定量物理模型进行解释，并将其与生物机制关联。为应对这一挑战，我们引入了 BioPhys-Bridge，这是一种用于基于证据的生物物理学文献科学推理的新型基准数据集。每个案例包含证据块、稳定的证据 ID、定量数值、单位、方程、假设、机制和作为问答 (QA) 与增强检索生成 (RAG) 的基础的下一步决策。初始版本包含 500 个案例、1,517 个面向代理的任务，涵盖六个生物领域和九个物理模型家族，其中三个稀疏家族留作未来扩展。我们对所有案例在模式、证据完整性、定量基础、来源许可、重复、单位标准化方面实行严格的质量控制，并由领域专家对 81 个案例进行审查和标注。初步评估显示，DeepSeek-V4-Flash 获得了最高的证据 ID $F_1$ 分数（0.360），其次是 Qwen3.7-Max（0.316）和 GPT-4o-mini（0.294）。BioPhys-Bridge 是一个跨学科基准，用于评估归因、可信度、幻觉减少以及复杂多步骤科学推理下的生物实验设计。未来的工作将增加数据集的规模和复杂性，并进行全面评估。代码和数据可在 GitHub 仓库和 Hugging Face 上获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19180 (HTTP 429)

Authors: Qingyang Xu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19180.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19180

Published: 2026-09-21T01:40:21.138Z

3. What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

Abstract:Benchmarks are central to how progress in large language models (LLMs) is assessed and communicated. Yet model rankings alone reveal little about how evaluation requirements themselves are changing. The expanding variety of benchmarks offers another perspective: what researchers expect LLMs to do, and what they count as successful performance. We systematically map 14,767 papers introducing or updating evaluation resources from arXiv submissions between January 2022 and August 2026. Using staged screening and automated full-text coding, we examine changes in target systems and domains, evaluation materials and conditions, and scoring mechanisms. The collection shows growing emphasis on action, interaction, and professional applications, while established and newer design elements frequently coexist. Model participation also develops unevenly: LLM-based scoring grows within both agent and non-agent groups, whereas model-generated materials show no comparable sustained increase in recent cohorts. These findings illuminate how public research translates capability expectations into concrete tests and criteria for success. As AI participates in constructing tests, performing tasks, and judging responses, they also raise a question: does expanding evaluation provide more independent evidence, or risk reproducing the preferences and blind spots of its participating models?

中文摘要

摘要：基准测试在评估和传达大型语言模型（LLM）进展方面起着核心作用。然而，仅凭模型排名很难揭示评估需求本身是如何变化的。不断扩展的基准测试种类提供了另一种视角：研究人员期望LLM做什么，以及他们认为什么样的表现算作成功。我们系统地绘制了来自arXiv提交的14,767篇论文，这些论文在2022年1月至2026年8月期间引入或更新了评估资源。通过分阶段筛选和自动全文编码，我们考察了目标系统和领域、评估材料和条件、以及评分机制的变化。该集合显示了对行动、互动和专业应用的关注日益增加，同时既有的和新兴的设计元素经常共存。模型参与也呈现出不均衡的发展：基于LLM的评分在代理（agent）和非代理（non-agent）群体中均有所增长，而模型生成的材料在最近的群体中没有出现类似的持续增长。这些发现揭示了公开研究如何将能力预期转化为具体的测试和成功标准。当AI参与构建测试、执行任务和评估响应时，也提出了一个问题：不断扩展的评估是提供了更多独立证据，还是有可能重现其参与模型的偏好和盲点？

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19182 (HTTP 429)

Authors: Chao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19182.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19182

Published: 2026-09-21T01:40:21.138Z

4. Position: It is Time to Virtualize Foundation Models with a Self-evolving Operating System Layer

Abstract:AI applications have shifted from single, monolithic foundation models (FM) to compound agentic systems. Yet today’s stacks remain fragmented: even as protocols (e.g., MCP, A2A) ease tool/agent connectivity, each framework embeds an implicit runtime for state, memory, budgets, and guardrails, making behavior non-portable and governance brittle. It mirrors computing before operating systems, when every program re-implemented basic services. This position paper argues that the field now needs a Foundation Model Operating System (FMOS) — a system layer that virtualizes FM interactions analogous to how virtual machines abstract physical hardware, giving applications the illusion of dedicated, trustworthy FM instances with effectively unbounded capabilities. Internally, the FMOS orchestrates knowledge across memory tiers, model selection and resource allocation, and verification and policy enforcement. Like the human brain switching between fast intuition and slow deliberation, the FMOS learns when to intervene and when to let inference proceed directly and continuously adapting its policies based on operational experience.

中文摘要

摘要：人工智能应用已经从单一的整体基础模型（FM）转向复合智能系统。然而，如今的技术堆栈仍然分散：即便协议（如 MCP、A2A）简化了工具/代理的连接，每个框架仍嵌入了用于状态、记忆、预算和护栏的隐式运行时，使行为不可移植，治理脆弱。这类似于操作系统出现之前的计算，每个程序都要重新实现基本服务。本文主张该领域现在需要一个基础模型操作系统（FMOS）——一个系统层，它虚拟化 FM 交互，类似于虚拟机抽象物理硬件，为应用提供专用、可信 FM 实例的错觉，并拥有实际上无限的能力。在内部，FMOS 协调跨记忆层的知识、模型选择与资源分配，以及验证和策略执行。就像人脑在快速直觉与缓慢深思之间切换一样，FMOS 学会在何时干预、何时让推理直接进行，并根据运行经验持续调整其策略。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19203 (HTTP 429)

Authors: Suparna Bhattacharya, Tarun Kumar, Cong Xu, Satish Kumar Mopur, Jiahao Li, Ashish Mishra, Aalap Tripathy, Annmary Justine Koomthanam, Martin Foltin, Ian Foster

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19203.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19203

Published: 2026-09-21T01:40:21.138Z

5. What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis

Abstract:Systematic generalization, the ability to solve novel problems by recombining known atomic elements, is central to human intelligence but difficult to study rigorously under controlled settings. Existing studies therefore rely on simplifications such as approximately linear action composition, productivity-based tests, and action-explicit goals, which make systematic generalization easier to study but omit some essential aspects of this capability. To characterize what these simplifications miss, we adopt a reasoning-centered lens and introduce TranSGrid, a testbed that brings deductive, inductive, and abductive reasoning together within a unified task. Experiments with seven Transformers on 4,800 TranSGrid instances show that all models perform much worse on TranSGrid than on a held-out test set: the largest model solves 79.6% of the test set, but only 55.3% of TranSGrid and 15.8% of the hardest subset. The gap remains within the training length range, showing that productivity alone is not sufficient to evaluate systematic generalization. Additionally, we reintroduce the other two simplifications into TranSGrid: one variant makes actions compose almost linearly (reducing the inductive demand), the other makes goals action-explicit (reducing the abductive one). In both, solve rates return to roughly the test set level, showing that either simplification alone is enough to reduce TranSGrid to an ordinary held-out test set. Together, our results show that existing tasks reduce either or both of the inductive and abductive demands, and that comprehensively measuring systematic generalization requires a task that involves all three forms of reasoning.

中文摘要

摘要：系统性概括，即通过重新组合已知的基本元素来解决新问题的能力，是人类智慧的核心，但在受控环境下严格研究却十分困难。因此，现有研究依赖于一些简化方法，如近似线性动作组合、基于创造力的测试以及动作明确的目标，这些方法使得系统性概括更容易研究，但却忽略了这一能力的一些关键方面。为了刻画这些简化方法所遗漏的内容，我们采用以推理为中心的视角，引入TranSGrid，这是一个将演绎推理、归纳推理和溯因推理统一到单一任务中的测试平台。在对七种Transformer模型进行的4,800个TranSGrid实例实验中，所有模型在TranSGrid上的表现都远低于保留测试集：最大模型解决了测试集的79.6%，但在TranSGrid上仅为55.3%，在最难子集上仅为15.8%。这一差距在训练长度范围内依然存在，表明仅凭创造力不足以评估系统性概括。此外，我们在TranSGrid中重新引入了另外两种简化方法：一种使动作近乎线性组合（降低了归纳需求），另一种使目标动作明确（降低了溯因需求）。在这两种情况下，解决率都回到了测试集的大致水平，显示出任一简化方法都足以将TranSGrid降至普通的保留测试集水平。综上，我们的结果表明，现有任务降低了归纳和/或溯因需求，而要全面衡量系统性概括能力，需要一个同时涉及三种推理形式的任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19212 (HTTP 429)

Authors: Chengwen Qi, Deheng Ye, Yatao Bian

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19212.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19212

Published: 2026-09-21T01:40:21.138Z

6. Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses

Abstract:Conversational LLM agents increasingly rely on Web search, yet the end-to-end lifecycle of agentic search remains poorly understood. We present the first study of Web search across four major conversational platforms (ChatGPT, Claude, Grok, and DeepSeek), combining real-world user interactions (invivo) with controlled experiments using the same platform’s models by their APIs (invitro). We investigate the quality of agentic decisions to invoke Web search, their strategies to formulate queries, the potential domain preferences in the search results they receive, and the choices they make when transforming search results into grounded responses. We find that Web-search decisions vary substantially across platforms and models, while more frequent Web-search invocation does not necessarily yield better response quality. We further show that conversational agents employ different complex querying strategies and that platform specific search engines return search results from their preferred domains. Finally, although responses are largely grounded in search results, some claims rely on uncited search results, raising concerns about attribution and reliability. Our findings have important implications for the design of future AI agents and Web search tools optimized for conversational retrieval.

中文摘要

摘要：对话型大语言模型（LLM）代理越来越依赖网络搜索，但代理搜索的端到端生命周期仍然理解不足。我们呈现了针对四大主要对话平台（ChatGPT、Claude、Grok 和 DeepSeek）的首次网络搜索研究，将真实用户交互（体内研究）与使用相同平台模型通过其 API 的受控实验（体外研究）相结合。我们调查了代理决定调用网络搜索的质量、它们制定查询的策略、它们收到的搜索结果中可能存在的领域偏好，以及它们将搜索结果转化为有依据回应时所做的选择。我们发现，各平台和模型在网络搜索决策上存在显著差异，而更频繁地调用网络搜索并不一定能提高回应质量。我们进一步表明，对话代理采用不同的复杂查询策略，而特定平台的搜索引擎会返回其偏好的域名的搜索结果。最后，虽然回应在很大程度上基于搜索结果，但一些声明依赖于未引用的搜索结果，这引发了关于归因和可靠性的担忧。我们的研究结果对未来AI代理和优化对话检索的网络搜索工具的设计具有重要意义。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图系统性地理解和表征\*\*对话式大语言模型（LLM）智能体进行网络搜索的端到端生命周期\*\*。尽管越来越多的对话式AI平台（如ChatGPT、Claude、Grok、DeepSeek）集成了网络搜索功能，但现有研究对这一完整流程——从用户提示到最终生成响应——的系统性认识仍然不足。具体而言，论文围绕以下三个核心研究问题展开： 1. \*\*搜索调用决策（When to search）\*\* 智能体如何、何时以及为何决定调用网络搜索？不同平台和模型在判断自身参数化知识是否足以回答用户问题时是否存在显著差异？这些决策是否合理，是否真正提升了响应质量？ 2. \*\*查询策略与搜索执行（How to search）\*\* 智能体如何将冗长的用户提示转化为搜索查询？它们采用了何种查询策略（如并行发散查询、迭代式查询重构）？平台特定的搜索引擎在返回结果时是否存在领域偏好或偏差？ 3. \*\*响应合成与归因（How to use results）\*\* 智能体如何将检索到的搜索结果与自身的参数化知识结合，生成最终响应？生成的声明有多大比例真正被引用的来源所支撑？是否存在使用未引用搜索结果或依赖参数化知识生成无依据声明的情况？通过结合\*\*真实用户交互数据（invivo）\*\*与\*\*基于API的控制实验（invitro）\*\*，该研究旨在填补关于多平台、多模型智能体搜索行为系统性对比分析的研究空白，并为未来AI智能体与对话式检索工具的设计优化提供实证依据。 Q2: 有哪些相关研究？根据论文第2–3页及相关参考文献，现有研究可归纳为以下三个主要方向： ### 1. 自主信息检索系统（Autonomous Information-Seeking Systems）早期工作探索了如何让大语言模型（LLM）从静态文本生成器转变为能够自主浏览和检索的智能体： - \*\*浏览学习\*\*：通过模仿学习（imitation learning）教会模型浏览网页（Nakano et al., 2022）。 - \*\*推理与行动结合\*\*：将推理（reasoning）与工具使用（tool use）交错进行，例如 ReAct 框架（Yao et al., 2023）。 - \*\*端到端强化学习\*\*：近期系统尝试通过端到端强化学习将“搜索-推理-生成”循环内化到模型中，例如 Search-R1（Jin et al., 2025）、R1-Searcher（Song et al., 2025）、WebDancer（Wu et al., 2026a）、WebExplorer（Liu et al., 2025）以及 DeepResearcher（Zheng et al., 2025）。 ### 2. 真实世界中的用户-智能体交互（User-Agent Interactions in the Real World）现有数据集在捕捉真实部署环境中的搜索行为方面存在不足： - \*\*平台覆盖局限\*\*：部分数据集仅覆盖 ChatGPT，且使用哈希标识符（Zheng et al., 2023; Zhao et al., 2024）。 - \*\*开源偏差\*\*：LMSYS-Chat-1M 等数据集虽涵盖 25 个模型，但偏向通过竞技场（arena）提供的开源系统（Zheng et al., 2024）。 - \*\*自选择偏差\*\*：ShareChat 等数据依赖用户主动分享的 URL，仅捕捉自我选择的片段（Yan et al., 2026）。 - \*\*数据捐赠范式\*\*：本文基于 INVIVOGPT（Karnam et al., 2026）的 GDPR 合规数据捐赠方法，收集了跨越 ChatGPT、Claude、Grok 和 DeepSeek 的真实多轮会话及其完整搜索轨迹。 ### 3. 系统行为分析（Analysing the Systems’ Behavior）已有研究分别关注了智能体搜索生命周期的各个阶段，但缺乏基于真实部署轨迹的端到端分析： - \*\*搜索调用决策\*\*：研究模型何时决定调用检索工具，如 BrowseComp（Wei et al., 2025）、“Look it up”（Kale, 2025）、To Call or Not to Call（Wu et al., 2026b）、Deep Research Bench（FutureSearch et al., 2025）以及 Adaptive RAG（Jang et al., 2026）。 - \*\*查询重构与生成\*\*：关注对话式提示如何被转化为搜索查询，包括 ConvGQR（Mo et al., 2023）、IterCQR（Jang et al., 2024）、ConvSearch-R1（Zhu et al., 2025）、A Picture of Agentic Search（Pezzuti et al., 2026）、InfoDeepSeek（Xi et al., 2025）以及 VeriWeb（Liu et al., 2026）。 - \*\*引用与证据忠实性\*\*：评估生成响应是否忠实于所引用的证据，包括 Ye et al. (2024)、Huang et al. (2024)、Shao et al. (2026) 以及 Mind2Web 2（Gou et al., 2026）中的 Agent-as-a-Judge 方法。与上述工作相比，本文的核心区别在于：\*\*首次基于真实用户交互轨迹（invivo）与受控 API 实验（invitro），对四个主流商业平台的智能体搜索全生命周期（搜索决策、查询策略、搜索结果、响应合成）进行系统性的跨平台对比分析\*\*。 Q3: 论文如何解决这个问题？该研究通过构建\*\*双轨数据收集框架\*\*（真实环境观测与受控实验并重），并结合\*\*自动化评判与人工验证\*\*，对对话式LLM智能体的网络搜索全生命周期进行系统拆解与跨平台对比。具体方法论如下： --- ### 1. 双轨数据收集与实验设置 | 设置 | 数据来源与规模 | 核心目的 | |------|---------------|----------| | \*\*invivo（真实环境）\*\* | 基于GDPR合规的数据捐赠，收集613位真实用户在ChatGPT、Claude、Grok、DeepSeek上的171,264段对话，包含用户提示、Web查询、搜索结果URL、引用URL及生成响应（Table 1）。 | 观测真实用户交互中的搜索行为自然分布与演化趋势。 | | \*\*invitro（受控实验）\*\* | 从invivo中抽取1,000条经PII脱敏的用户首条提示（500条原触发搜索、500条未触发），通过各平台API重放，保持输入一致（Table 2）。 | 在控制输入变量的前提下，跨平台/跨模型对比搜索决策与响应差异。 | --- ### 2. 搜索调用决策（Search Calling Decisions）为回答“智能体何时决定搜索”，该研究设计了以下分析路径： - \*\*跨平台行为对比\*\*：在invitro中向四个平台模型输入完全相同的1,000条提示，统计各模型自主调用Web搜索的比率（Table 3）。结果发现不同模型的调用率差异显著（如GPT-5.3-chat为14%，Claude Sonnet 4.6为83%）。 - \*\*Harness指令与模型自主决策解耦\*\*：提取并公开可用的GPT系列系统提示中的Web搜索指令（Appendix C.2），将其作为开发者提示（developer prompt）“移植”到另一GPT模型上，观测搜索调用率变化（Table 4）。以此区分“系统提示规定”与“模型自身倾向”对搜索决策的相对贡献。 - \*\*响应质量评估\*\*：对invitro样本在三种模式下评估响应质量——(i) 模型自主调用搜索、(ii) 对同一样本强制禁用搜索（No-Web）、(iii) 模型自主不调用搜索的样本。采用\*\*事实性（Factuality）、完整性（Completeness）、相关性（Relevance）\*\*三项5分制指标，由GPT-5.6-luna评判，并通过配对Bootstrap显著性检验（ p < 10^(-3) ）验证差异（Table 3, Table 7）。 --- ### 3. 查询策略与搜索结果（Queries and Results）为回答“智能体如何搜索”，研究从查询生成与结果返回两个层面展开： - \*\*查询复杂度刻画\*\*：统计每用户提示触发的Web查询数量、并行发散（fan-out）查询数、迭代轮数（Figure 4），并对比用户提示与Web查询的术语长度分布（Figure 5）。 - \*\*查询溯源（Provenance）\*\*：使用LLM判断每条Web查询中新引入关键词的来源（最新用户提示、对话历史、前序搜索结果、参数知识），量化搜索迭代中信息来源的演变（Figure 6）。 - \*\*查询特异性演化\*\*：沿\*\*时间、地理、实体\*\*三个维度，用5点Likert量表评估连续迭代间查询的特异性提升幅度，验证智能体是否通过重构逐步缩小搜索空间（Figure 7, Appendix H.4）。 - \*\*搜索引擎领域偏好\*\*：统计各平台搜索引擎返回的URL数量（Table 5），并通过域名分布、Tranco排名（衡量域名权威性）以及Top-10域名占比，揭示不同平台搜索引擎对特定领域的系统性偏好（Figure 8, Figure 9）。 --- ### 4. 响应合成与证据归因（Responses and Citations）为回答“智能体如何利用搜索结果生成响应”，研究采用\*\*声明级（claim-level）\*\*的细粒度分析： - \*\*引用选择行为\*\*：定义\*\*引用率\*\* Citation Rate = N_(Cited) ∩ textSearch resultsN_(Search results) ，统计各平台将搜索结果URL纳入响应引用的比例（Table 6）；同时检测引用URL的有效性（有效、失效、幻觉、不可验证），使用HTTP请求结合Wayback Machine存档验证（Appendix F）。 - \*\*原子声明分解与归因\*\*：将响应分解为原子声明（atomic claims），利用\*\*自然语言推理（NLI）\*\*判断每个声明是否被以下四类证据所蕴含（entailment）： 1. 紧跟该声明的\*\*关联引用\*\*（Associated Citations）； 2. 响应中\*\*其他位置的引用\*\*（Other Citations）； 3. \*\*未被引用但已返回的搜索结果\*\*（Search Results）； 4. \*\*参数知识\*\*（Parametric Knowledge）。（Figure 10, Appendix G） - \*\*事实性分层评估\*\*：对每类证据支持的声明，使用GPT-4o-mini评估其5分制事实性得分，并通过Bootstrap重采样构建95%置信区间（Table 10, Table 11），以验证“无来源支撑的声明”是否事实性更差。 --- ### 5. 评估验证机制为确保自动化分析的可靠性，该研究实施了多重验证： - \*\*LLM-as-a-Judge校准\*\*：针对不同平台选用同族评判模型（如ChatGPT数据用GPT-4o-mini，Claude数据用Claude-Haiku-3.5等），避免跨平台数据泄露（Appendix K）。 - \*\*人工注释验证\*\*：3名独立注释者对30个样本进行多任务标注（搜索触发判断、查询类型、特异性、响应蕴含关系等），计算注释者间一致率与Fleiss' kappa 。结果显示，自动评判与聚合人工标签的within-1一致率达67%–93%（Appendix J, Table 15）。 - \*\*统计显著性\*\*：对关键对比使用100,000次配对Bootstrap重采样检验，确保观察到的差异具有统计显著性（Appendix C.4）。 --- 综上，该研究通过\*\*“真实轨迹观测 + 控制实验重放 + 声明级归因分析”\*\*的三层方法论，首次实现了对四大主流平台智能体搜索全生命周期的端到端量化刻画。 Q4: 论文做了哪些实验？论文通过\*\*真实环境观测（invivo）\*\*与\*\*受控API重放（invitro）\*\*相结合的双轨框架，设计了三个核心阶段的系列实验。以下是主要实验的详细梳理： --- ### 一、双轨实验框架搭建 #### 1. invivo 观测实验 - \*\*数据来源\*\*：基于GDPR合规的数据捐赠，收集613位真实用户在ChatGPT、Claude、Grok、DeepSeek四个平台上的171,264段对话。 - \*\*记录内容\*\*：完整记录用户提示、智能体响应、Web搜索工具调用、生成的搜索查询、返回的搜索结果URL，以及响应中的引用URL（Table 1）。 #### 2. invitro 控制实验 - \*\*输入控制\*\*：从invivo的ChatGPT轨迹中抽取1,000条经PII脱敏的用户首条提示（500条原触发搜索、500条未触发），通过各平台API重放。 - \*\*对比对象\*\*：覆盖OpenAI（GPT-5.3-chat、GPT-4.1-mini、GPT-o4-mini）、Anthropic（Claude Sonnet 4.6）、xAI（Grok-4.3）、DeepSeek（DeepSeek-v4-flash）（Table 2）。 - \*\*目的\*\*：在\*\*完全相同的用户输入\*\*下，剥离用户行为差异，量化不同平台/模型的搜索决策与响应差异。 --- ### 二、搜索调用决策实验（Section 3） #### 实验 2.1：跨平台搜索调用行为对比 - \*\*设置\*\*：使用invitro的1,000条相同提示，记录各模型自主调用Web搜索的比例。 - \*\*结果\*\*：调用率差异显著——GPT-5.3-chat为14%，Claude Sonnet 4.6为83%，Grok-4.3为76.6%，DeepSeek-v4-flash为58.4%（Table 3）。 #### 实验 2.2：Harness指令 vs. 模型自主决策解耦 - \*\*设置\*\*：提取已公开的GPT-5.3-chat、GPT-4.1-mini、GPT-o4-mini的系统提示中关于Web搜索的指令段，将其作为"开发者提示"（developer prompt）交叉移植到另一GPT模型上，再重放相同1,000条提示。 - \*\*变量\*\*：原生命令（native harness）vs. 移植命令（transplanted harness）。 - \*\*结果\*\*： - 对角线（原生指令）：GPT-5.3-chat调用140次，GPT-4.1-mini调用417次，GPT-o4-mini调用634次。 - 非对角线（互换指令）：例如将GPT-5.3-chat的保守指令移植给GPT-o4-mini后，其调用次数从634降至478。 - 结论：指令与模型自身倾向均影响决策，但\*\*模型自身决策占主导\*\*（Table 4）。 #### 实验 2.3：搜索调用对响应质量的因果效应 - \*\*设置\*\*：对invitro样本在三种模式下生成响应并评估： 1. \*\*Auto\*\*：模型自主决定是否搜索； 2. \*\*No-Web\*\*：对模型本决定搜索的样本，强制禁用搜索； 3. \*\*No Web-calling\*\*：模型本就不搜索的样本。 - \*\*评估指标\*\*：事实性（Factuality, F）、完整性（Completeness, C）、相关性（Relevance, R），采用5分制Likert量表，由GPT-5.6-luna评判，经100,000次配对Bootstrap检验显著性（Table 3, Table 7）。 - \*\*关键发现\*\*： - Web搜索通常提升已决定搜索样本的质量（如GPT-5.3-chat的F从2.81升至3.50）。 - Claude Sonnet 4.6虽大量调用搜索，但效果混杂甚至轻微负面。 - \*\*模型不调用搜索的样本本身质量更高\*\*，说明LLM在判断"无需搜索"时较为准确，但搜索仍不足以完全弥补参数知识的缺口。 --- ### 三、查询策略与搜索结果实验（Section 4） #### 实验 3.1：查询复杂度与策略刻画 - \*\*设置\*\*：统计invivo与invitro中每用户提示对应的Web查询数量、并行发散（fan-out）查询数、迭代轮数。 - \*\*结果\*\*： - ChatGPT、Grok、DeepSeek采用\*\*多路并行+多轮迭代\*\*的混合策略；Claude几乎每轮仅发1个查询，依赖更深的迭代（Figure 4, Figure 11）。 - invitro中仅GPT-5.3保留fan-out能力，其他模型均降为单查询/轮（Figure 24）。 #### 实验 3.2：查询压缩与溯源分析 - \*\*设置\*\*：对比用户提示与最终Web查询的术语数量；使用LLM判断每条查询中新引入关键词的来源（最新用户提示、对话历史、前序搜索结果、参数知识）。 - \*\*结果\*\*： - 约80%的用户提示超过20个词，而几乎所有Web查询压缩至10–15词以内（Figure 5）。 - 首轮查询词主要来源于对话历史（约80%）与最新提示（约30%）；随迭代推进，\*\*搜索结果对查询重构的贡献递增\*\*，同时参数知识的贡献也略有上升（Figure 6, Figure 18, Figure 19）。 #### 实验 3.3：查询特异性演化 - \*\*设置\*\*：沿\*\*时间、地理、实体\*\*三个维度，用5点Likert量表评估连续查询间的特异性变化（Appendix H.4）。 - \*\*结果\*\*：后续迭代查询的特异性显著提升，表现为更多精确日期、地点和命名实体的引入（Figure 7, Figure 20, Figure 21）。 #### 实验 3.4：搜索引擎领域偏好与偏差 - \*\*设置\*\*：统计各平台搜索引擎返回的URL数量及域名分布，并结合Tranco排名衡量域名权威性。 - \*\*结果\*\*： - 每查询返回URL数差异大：ChatGPT约14个，Claude约9个，Grok约9个，DeepSeek仅约5个（Table 5）。 - 领域偏好具有\*\*强烈平台特异性\*\*：ChatGPT与Grok的结果高度集中于reddit.com、youtube.com等；Claude偏好github.com、stackoverflow.com等编程/技术站点；DeepSeek突出xiaohongshu.com（小红书）等中文平台（Figure 8, Figure 25）。 - Top-10域名可占据全部搜索结果的21.3%（ChatGPT）至32.3%（Grok）（Section 4.3）。 --- ### 四、响应合成与归因实验（Section 5） #### 实验 4.1：引用选择与来源分析 - \*\*设置\*\*：定义引用率为搜索结果被响应引用的比例，即：

Citation Rate = N(Cited) ∩ textSearch resultsN(Search results)
并检测引用URL的有效性（有效、失效、幻觉、不可验证）。 - **结果**： - 引用率跨平台差异显著：invivo中Grok仅1.8%，DeepSeek达34.1%；invitro中Claude Sonnet 4.6达39.7%（Table 6）。 - 幻觉URL（完全捏造的链接）占比极低（1–2%），无论其来自搜索结果还是参数知识（Appendix Table 12, Table 13）。 - 被引用的URL更倾向于来自Tranco排名更高（更权威）的域名，而非搜索结果URL的整体分布（Figure 9, Figure 28）。 #### 实验 4.2：声明级归因与蕴含分析 - **设置**：将响应分解为原子声明（atomic claims），使用NLI（自然语言推理）判断每个声明是否被以下四类证据蕴含： 1. 紧跟声明的**关联引用**（Associated Citations）； 2. 响应中**其他位置的引用**（Other Citations）； 3. **未被引用但已返回的搜索结果**（Search Results）； 4. **参数知识**（Parametric Knowledge）。 - **人工验证**：3名注释者对30个样本的蕴含判断与自动评判达到93.1%的一致率（Appendix G.2, Table 15）。 - **结果**（Figure 10）： - 关联引用支撑了最大比例的声明（30–46%），表明智能体通常将引用置于被支撑声明附近。 - **14%–53%的声明由未被引用的搜索结果支撑**，存在明显的归因缺失。 - 15%–20%的声明完全无来源支撑，可能来自参数知识。 #### 实验 4.3：声明事实性分层评估 - **设置**：对每类证据支持的声明，使用GPT-4o-mini（或同族评判模型）评估5分制事实性得分，通过Bootstrap重采样构建95%置信区间。 - **结果**（Table 10, Table 11）： - 关联引用声明事实性最高（如ChatGPT invivo均值3.47）； - 未引用搜索结果支撑的声明次之（3.33）； - **无来源支撑的参数知识声明事实性最低**（2.84），可靠性存疑。 —- ### 五、补充验证实验（Appendix） - **纵向趋势分析**：追踪2022–2026年间各平台搜索调用率、查询策略、引用行为的月度演化（Figure 12, Figure 13, Figure 14, Figure 15, Figure 17）。 - **主题差异分析**：按话题（旅行、健康、编程等）分类，观测不同主题触发搜索的频率差异（Figure 3, Figure 16）。 - **URL有效性检测**：通过HTTP请求与Wayback Machine存档，对引用URL进行四分类验证（Appendix F, Table 12, Table 13）。 Q5: 有什么可以进一步探索的点？基于论文的**局限性（Limitations）**部分及核心研究发现，可从以下几个方向进一步探索： —- ### 1. 模型内部机制的可解释性论文指出，当前分析受限于无法访问平台的**隐藏思维链（hidden chain-of-thought）**、**排名算法**及**专有检索管道**。未来工作可通过以下方式深化： - 利用可解释性技术（如探针、注意力分析）分析模型在搜索决策时的内部表征； - 与平台合作开展白盒审计，明确搜索触发机制中“系统提示（harness instructions）”与“模型自主决策”的精确边界； - 研究检索排序逻辑对最终响应的因果影响，而非仅观测输入-输出关联。 —- ### 2. 多语言与跨文化检索行为现有工作主要聚焦于**英语交互**。后续研究可拓展至： - 非英语查询的搜索调用率、查询重构策略及引用质量是否存在系统性差异； - 不同地域用户是否面临差异化的搜索引擎领域偏好（如DeepSeek对中文社交媒体`xiaohongshu.com`的显著偏好是否在其他语言/地区复现）； - 跨语言检索中信息源的权威性判定与事实性评估。 —- ### 3. 多模态检索与生成论文聚焦于文本型网络搜索。随着对话智能体向多模态演进，未来可探索： - 图像、视频、音频内容的检索如何影响搜索决策与查询公式化； - 多模态证据（如图表、截图）在响应中的归因与引用机制； - 跨模态信息融合的可靠性（例如文本声明与视频内容不一致时的处理策略）。 —- ### 4. 查询策略的优化与动态评估研究发现不同平台采用了**并行发散（fan-out）**与**深度迭代**等不同策略，但“何种策略最优”仍不明确： - 构建可复现的基准测试，系统对比单一查询、并行查询、迭代查询在信息覆盖率、延迟与事实性上的帕累托前沿； - 探索自适应查询策略：根据任务复杂度、领域特性动态调整搜索深度与并行度； - 研究查询特异性（temporal/geographic/entity specificity）提升与检索质量的定量关系。 —- ### 5. 搜索引擎偏差的缓解与信息多样性论文揭示了平台特定搜索引擎存在显著的**领域偏好**（如ChatGPT/Grok偏好Reddit/YouTube，Claude偏好GitHub/StackOverflow）： - 量化此类偏差对用户信息茧房效应的贡献； - 设计去偏检索机制，确保搜索结果在权威来源、观点多样性上的均衡覆盖； - 探索用户可控的检索偏好设置，在个性化与信息多样性之间取得平衡。 —- ### 6. 引用归因机制的强制性与可靠性权衡实验发现**14%–53%的声明依赖未被引用的搜索结果**，且**无来源的参数知识声明事实性显著更低**： - 开发细粒度的“强制引用（forced attribution）”机制，要求模型对每一处非平凡声明提供可追溯来源； - 研究过度引用（over-citation）与欠引用（under-citation）对用户体验、响应流畅度及事实性的不同影响； - 探索主动式不确定性标注：当模型仅能依赖参数知识时，明确向用户披露置信度。 —- ### 7. 长程规划与复杂工具链协作论文主要分析单轮/短程搜索行为。未来可研究： - 涉及多步骤、长周期信息获取的任务（如深度研究、旅行规划）中，智能体如何维护跨轮次的搜索状态与证据图谱； - 搜索与其他工具（代码执行、数据库查询、API调用）的协同决策机制； - 在长时间交互中，先前检索结果如何被更新、修正或遗忘（episodic memory与知识更新）。 —- ### 8. 用户信任、行为影响与伦理后果当前研究未深入探讨搜索功能对**终端用户**的下游影响： - 用户是否能察觉并理解平台特定的搜索引擎偏差？ - 高频搜索调用是否导致用户对智能体响应的过度信任（automation bias）？ - 搜索增强的响应在说服性、行动引导（如医疗/财务决策）上的风险放大效应。 —- ### 9. 实时性与动态信息的时效边界论文涉及时间敏感型搜索触发（temporal/volatile information），但未量化： - 不同平台对“知识截止日期（knowledge cutoff）”后信息的响应延迟差异； - 快速演变事件（如突发新闻、股市波动）中，搜索结果的时效性与模型响应时效性的错配风险； - 动态世界状态与静态参数知识冲突时的消解策略。 Q6: 总结一下论文的主要内容该论文系统性地刻画了对话式大语言模型（LLM）智能体执行网络搜索的端到端生命周期，涵盖了从搜索调用决策、查询策略制定到搜索结果合成响应的全过程。以下是主要内容的结构化总结： —- ### 1. 研究背景与核心问题随着ChatGPT、Claude、Grok和DeepSeek等对话平台日益集成网络搜索工具，数百万用户依赖这些智能体作为网络搜索助手。然而，现有研究对以下三个核心环节缺乏系统性理解： - **搜索决策**：智能体何时决定调用网络搜索？ - **查询策略**：智能体如何制定和迭代重构搜索查询？ - **响应合成**：智能体如何将搜索结果转化为带引用的最终响应？ —- ### 2. 研究方法与数据论文采用了**双轨研究框架**： - **invivo（真实环境观测）**：通过GDPR合规的数据捐赠，收集了来自613位真实用户的171,264段对话，覆盖ChatGPT、Claude、Grok和DeepSeek四个平台，包含完整搜索轨迹（用户提示、Web查询、搜索结果URL、引用URL及响应）。 - **invitro（受控API实验）**：选取1,000条经脱敏处理的用户提示，通过各平台API重放，保持输入一致，以控制变量对比不同模型（GPT-5.3-chat、Claude Sonnet 4.6、Grok-4.3、DeepSeek-v4-flash等）的行为差异。 —- ### 3. 主要发现 #### 3.1 搜索调用决策存在显著差异 - **跨平台差异巨大**：在完全相同的1,000条提示下，Claude调用搜索的比例高达83%，而GPT-5.3-chat仅为14%。 - **系统提示与模型自主决策共同作用**：通过交叉移植GPT模型的搜索指令（harness instructions）发现，指令和模型自身倾向均影响决策，但**模型自身决策占主导**。 - **频繁搜索不必然提升质量**：Web搜索通常能改善模型已决定搜索的样本质量，但Claude的大量搜索调用并未带来一致增益。值得注意的是，模型**主动不搜索**的样本本身质量更高，说明LLM在判断自身知识充足时较为准确，但搜索仍不足以完全弥补参数知识的缺口。 #### 3.2 查询策略复杂且平台各异 - **多路并行与深度迭代并存**：ChatGPT、Grok倾向于同时发出多个并行（fan-out）查询；Claude则偏好每轮单查询、多轮迭代的深度搜索。 - **查询压缩与上下文依赖**：智能体将冗长的用户提示压缩为10–15词的简洁查询，首轮查询词主要来源于对话历史（约80%）；随着迭代推进，查询 increasingly 融入前序搜索结果，且沿**时间、地理、实体**三个维度的特异性逐步提升。 - **搜索引擎存在领域偏好**：各平台搜索引擎返回的URL数量及领域分布差异显著。例如，ChatGPT和Grok的结果高度集中于`reddit.com`、`youtube.com`等通用站点；Claude偏好`github.com`、`stackoverflow.com`等技术站点；DeepSeek则显著呈现`xiaohongshu.com`等中文平台内容。Top-10域名可占据全部结果的20%–30%以上。 #### 3.3 响应归因与事实性隐患 - **引用率差异大**：各平台引用搜索结果URL的比例从1.8%（Grok）到34.1%（DeepSeek）不等。 - **未引用搜索结果的隐性使用**：14%–53%的响应声明虽可被返回的搜索结果支撑，但**并未在响应中被引用**，存在归因不足的问题。 - **参数知识的可靠性存疑**：约15%–20%的声明完全无来源支撑，可能来自模型参数知识。事实性评估显示，此类声明的得分（如ChatGPT invivo均值为2.84）显著低于有引用支撑的声明（关联引用均值为3.47）。 —- ### 4. 结论与启示该研究表明，对话式网络搜索应被理解为一个**由多个相互关联的决策组成的序列**，而非单一的检索步骤。主要启示包括： - **对设计者**：需优化并评估搜索全生命周期（何时搜、如何搜、如何归因），特别关注来源引用的忠实性，避免智能体使用未公开标注的搜索内容。 - **对用户**：调用Web搜索并不保证更高质量的响应，且平台特定的搜索引擎偏差可能导致信息视角的局限，而非网络信息的全面呈现。论文已开源分析代码与资源，但受隐私保护要求，真实对话数据以模拟数据示例格式提供。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mahsa Amani, Seungeon Lee, Abhisek Dash, Asmaa El Fraihi, Yunah Jang, Elisabeth Kirsten, Qinyuan Wu, Krishna P. Gummadi, Manish Gupta, Abhilasha Ravichander, Muhammad Bilal Zafar, Soumi Das

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19244.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19244

Published: 2026-09-21T01:40:21.138Z

7. Do AI Agents Understand Computer Architecture?

Abstract:Agents are increasingly asked to design hardware, and increasingly reported to succeed. Such reports establish that a design improved; they cannot establish why. An agent that improves an accelerator may be reasoning about the machine, or may be searching competently over knobs whose meaning it never recovers — and only the first transfers to the next architecture. Existing evaluations cannot tell the two apart, because they vary the agent while holding the framing of the problem fixed. We do the opposite. AutoTuring hands the same agent the same 15-dimensional accelerator space twice: once as named architectural knobs with simulator counters, once as anonymous variables on [0,1], with the evaluator, the legal space and the reachable optima held identical, so that the only thing that varies is whether the problem means anything. The gap between the two is the measurement. On a nine-kernel FP16 GEMM basket, meaning pays: the architect beats a modeled H200 by 5.4% and its blind counterpart by 12.3% on average, with 70.1% fewer simulator calls. It does not pay uniquely: a critic loop recovers most of that gap for the blind agent and buys the architect nothing, so architectural knowledge and structured critique behave as substitutes rather than as complements. We report these as preliminary findings — five to six runs per condition on a single modeled accelerator — and take the comparison itself, not the accelerator, to be the contribution.

中文摘要

摘要：代理越来越多地被要求设计硬件，并且报告显示其成功的案例也越来越多。这类报告表明设计得到了改进；但不能说明原因。改进加速器的代理可能是在对机器进行推理，或者可能仅是在熟练搜索那些其含义从未被理解的旋钮——而只有前者可以迁移到下一种架构。现有的评估无法区分这两者，因为它们在固定问题框架的情况下改变代理。我们做了相反的操作。AutoTuring 将相同的代理两次交给相同的15维加速器空间：一次作为带模拟器计数器的命名架构旋钮，一次作为在[0,1]上的匿名变量，在此过程中评估器、合法空间和可达最优值保持不变，因此唯一变化的是问题是否有意义。两者之间的差距即为测量值。在一个九核的FP16 GEMM测试集上，有意义的设计带来了收益：架构师在平均上比建模的H200高出5.4%，比其盲目对应设计高出12.3%，模拟器调用次数减少了70.1%。它并非唯一有利：批评循环为盲目代理恢复了大部分差距，却没有为架构师带来额外收益，因此架构知识与结构化批评表现为互为替代而非互补。我们报告这些为初步发现——每种条件在单一建模加速器上进行五到六次运行——并将比较本身，而非加速器，视为贡献点。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是：**AI agents 在计算机架构设计任务中取得的成功，究竟源于其对硬件的真正理解，还是仅仅源于通用的黑盒搜索能力？** 现有研究普遍无法回答这一问题。已有工作虽然展示了 AI agents 能够生成改进的硬件设计，但这些评估混淆了两种截然不同的机制： - **架构理解**：agent 利用关于计算机架构的语义知识进行因果推理，并将这种知识迁移到新的架构上； - **搜索能力**：agent 仅仅在高维空间中进行有效的数值优化，却从未恢复出旋钮（knobs）的物理意义。为了将这两种机制分离开来，论文提出了 **AutoTuring** 框架，并试图回答以下两个具体问题： 1. **能力问题（Competence）** 一个自主 agent 是否能够在给定特定工作负载约束的情况下，从 A100 初始配置出发，设计出超越 H200 性能的最终架构？ 2. **理解问题（Understanding）** 当评估器、合法设计空间以及可达最优解被严格固定时，赋予 agent 架构层面的语义知识（命名参数、硬件计数器、物理含义）是否能够带来比纯黑盒优化（匿名变量 $x_0, dots, x_(14) ∈

0,1
$）更优的结果？通过将同一个 15 维加速器设计空间以两种视图（**hardware-aware** vs. **opaque**）呈现给同一个 agent，论文将“意义”作为唯一变化的变量，从而将标题中的问题转化为可操作的测量：**剥离语义后 agent 的表现差距，即为其架构理解的度量**。 Q2: 有哪些相关研究？根据论文内容，相关研究可分为以下几个方向： ### 1. AI 辅助芯片设计与架构探索 - **LUMINA**

13
：利用 LLM 生成的架构知识和瓶颈分析来指导 GPU 设计空间探索（DSE），表明架构层面的语义推理能够减少寻找优质设计所需的样本数。 - **MicroEvo**
10
：将 LLM 引导的进化算子与蒙特卡洛树搜索相结合，并在迭代过程中积累优化知识，展示了知识引导采样在微架构 DSE 中的有效性。 - **gem5 Co-Pilot**
5
：将 LLM agent 与模拟器反馈及设计空间数据库结合，用于自动化的架构探索。 - **Agentic HLS（高层次综合）**
4
：在硬件栈的更底层应用 agent，通过迭代式的工具反馈自动修改代码和 pragma，以优化延迟和资源使用。 ### 2. 其他计算机科学领域的 Agent 应用近期的研究已将 agent 自动化扩展至计算机科学的多个子领域，这些工作构成了将 AI 应用于系统设计的背景动机： - **编译器工程**：如 LLM-Vectorizer

7
，利用 LLM 实现经过验证的循环向量化。 - **GPU 内核编程**：如 CAKE
11
，采用编译器与 agent 协同设计的方法来演化高性能内核。 - **操作系统**：如 AutoOS
2
，探索利用大语言模型增强操作系统功能。 - **网络配置**：如 NetConfEval
8
，评估 LLM 在网络配置任务中的能力。 ### 3. Agent 能力评估与基准测试 - **ArchEval**

9
：在 varying levels of simulator and tool support（不同程度的模拟器和工具支持）下，对 agent 执行计算机架构任务的能力进行系统性评估。其发现 agent 在结构化模拟器反馈下表现显著提升，但未能回答这种提升究竟来自**硬件特定的推理**还是**通用的自适应搜索能力**。 ### 4. 多 Agent 辩证优化框架 - **Abbasloo

1
：提出受黑格尔辩证法启发的增强方法，通过 Actor 与 Critic 的辩证循环（dialectical loop）来提升 agent 解决序列优化问题的能力。本文的 AutoTuring 即采用了这种 Actor–Critic 架构作为其搜索框架之一。 —- ### 本文与相关工作的核心区别现有工作（如 LUMINA、MicroEvo、gem5 Co-Pilot 等）主要展示了 agent 能够成功找到更好的硬件设计，或证明增加工具与指导能够改善输出；ArchEval 等基准测试则聚焦于性能表现随资源支持变化的趋势。然而，这些研究均无法分离以下两种能力： - agent 固有的计算机架构理解与领域知识； - agent 通用的黑盒优化与实验能力。本文通过 AutoTuring 实现了这种分离：在严格固定评估器、合法设计空间以及可达最优解的前提下，仅改变问题的语义表征**（hardware-aware 的命名参数与物理计数器 vs. opaque 的匿名变量 $x0, dots, x(14) ∈

0,1
），从而将“AI 是否真正理解计算机架构”转化为一个可操作的测量问题。 Q3: 论文如何解决这个问题？论文通过提出 AutoTuring 框架，将“AI 是否真正理解计算机架构”这一抽象问题转化为一个可操作的对比实验。其核心策略是在严格固定问题本质的前提下，仅剥离问题的语义表征，通过测量性能差距来量化“理解”的价值。具体解决方法包括以下五个层面： ### 1. 控制变量的双视图对比框架该方法的核心创新在于：将“意义”（meaning）作为唯一变化的自变量。具体而言： - 固定不变：评估器（基于 LLMCompass 的 GPU 架构模拟器）、15 维设计空间的合法范围、物理约束（面积与海岸线预算）、可达最优解、agent 底层模型（Anthropic claude-opus-4.8）、解码策略（greedy decoding）、工具访问权限、搜索轮次（12-turn horizon）以及每轮评估预算（300 次模拟调用）。 - 唯一变化：问题呈现给 agent 的方式——即 agent 是否能看到参数和反馈的物理语义。 ### 2. 两种等价的设计空间表征同一设计空间以两种视图暴露给同一个 agent，通过外部映射确保二者在物理层面完全等价： - Hardware-aware（架构师）视图：参数为具名硬件旋钮，如 num_sms、l2_mb、tc_m 等；模拟器反馈为可解释的硬件计数器（如各级缓存带宽、容量、延迟等）。Agent 可基于计算机架构知识进行因果推理。 - Opaque（黑盒优化器）视图：参数被替换为 15 个匿名连续变量 x0, dots, x(14) ∈

0, 1
；模拟器反馈被剥离所有领域语义，仅报告为通用组件索引 c_0, dots, c_8$ 和约束值。Agent 在此条件下无法直接获知任何物理含义。两种视图通过外部映射层链接到相同的硬件配置，确保 evaluator 接收到的设计、模拟统计量及约束信息在内容上是严格一致的。 ### 3. Actor–Critic 搜索架构为了进一步分离“结构化推理”与“纯搜索能力”，实验在两种视图上分别测试了两种搜索模式： - Single-agent 条件：Actor 每轮编写并执行可运行的 Python 优化器，根据历史评估结果自适应调整搜索策略（如坐标下降、进化搜索或代理模型辅助优化），并提交一个候选设计。 - Actor–Critic 条件：在 Actor 每轮提交设计并获得评估结果后，引入一个无工具访问权限、不编写代码、不能直接提交设计的 Critic。Critic 基于累积的搜索历史提供辩证式反馈（例如建议探索未充分采样的维度或质疑当前策略），Actor 随后决定接受或拒绝这些建议。 ### 4. 统一的评估与度量标准所有候选架构均在相同的九核 FP16 GEMM 工作负载篮上评估，覆盖带宽受限、中等强度与计算受限三种机制。目标函数为 GPU 时间加权的遗憾值（GPU-time-weighted regret）：

R(d) = ∑i w_i ell_i(d)/ell_i^(ref)∑_i w_i
其中 ell_i(d) 为设计 d 在第 i 个内核上的建模延迟， ell_i^(ref) 为参考延迟， w_i 为运行时权重。关键测量指标包括： - 每轮运行中找到的最佳可行设计的延迟； - 多次运行的平均最佳延迟（mean best）； - 达成该结果所需的模拟器调用次数（Evals/run）。 ### 5. 操作化的“理解”定义论文将“理解”操作化为语义剥离代价： - 若移除参数与反馈的物理语义后，agent 的性能（延迟与搜索效率）保持不变，则表明其从未真正利用架构知识，只是在高维空间中进行有效的黑盒搜索。 - 若 hardware-aware 视图显著优于 opaque 视图，则差距可被归因于 agent 对计算机架构的语义推理能力。此外，通过对比 single-agent 与 Actor–Critic 在两种视图下的表现，实验进一步检验了架构知识与结构化辩证批评之间是互补还是替代关系，从而深化对“理解”在搜索过程中作用的认识。 Q4: 论文做了哪些实验？论文围绕 AutoTuring 框架开展了一系列受控实验，旨在分离并度量 AI agent 的“架构理解”与“通用搜索能力”。实验设计遵循严格的变量控制：评估器、合法设计空间、物理约束、可达最优解、底层模型（Anthropic claude-opus-4.8）、解码策略、工具访问、搜索轮次（12-turn horizon）及每轮评估上限（300 次模拟调用）均保持不变，仅改变问题表征的语义丰富度与 agent 组织结构。 ### 1. 主实验：2×2 因子对比（Table 1）该实验构成论文的核心结果，在相同的 15 维 GPU 加速器设计空间与九核 FP16 GEMM 工作负载篮上，系统比较了四种条件： | 条件 | 问题表征 | 搜索结构 | 运行次数 | |:—-|:—-|:—-|:—-| | Hardware-aware, single-agent | 具名硬件参数 + 硬件特定反馈 | 单 Agent | 6 | | Hardware-aware, Actor–Critic | 具名硬件参数 + 硬件特定反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, Actor–Critic | 匿名变量 $x_0,dots,x(14) ∈

0,1

语义剥离的通用反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, single-agent | 匿名变量 + 语义剥离反馈 | 单 Agent | 5 | 评估指标包括： - Best ( μ s)：单次运行中找到的最佳可行设计的总延迟 - Mean best ( μ s)：各次运行最佳延迟的均值 - Evals/run：单次运行中平均模拟器调用次数（反映搜索效率） - Best vs H200：相对于建模 H200 参考设计的性能差距 参考基线： - Modeled A100 baseline：以 A100 配置为起点的建模基线 - H200 reference：作为性能锚点的建模 H200 设计关键发现包括：hardware-aware single-agent 在 mean best 上比 black-box single-agent 低 12.3%，且模拟器调用减少 70.1%；引入 Critic 后，opaque 条件的差距被大幅追回，两种 Critic 条件的最佳设计仅相差 0.8%。 ### 2. 设计空间特征与景观分析（Figure 2, Appendix B.6）为支撑对结果的解释，论文通过系统性采样刻画了设计空间的结构特征： - Sobol 采样：在 15 维空间中生成 1683 个可行设计 - 局部网格扫描：围绕受控锚点评估 25 组双参数切片，共尝试 5021 个点，其中 2413 个通过预筛选并完成模拟 - 可视化：将高维设计投影至前两个主成分（解释 27.3% 方差），用于定性观察可行区域、灵敏度边界与近最优区域的分布该分析揭示了设计空间存在宽广的近最优plateau，为解释“为何 Critic 在 hardware-aware 条件下增益有限”以及“为何 opaque 搜索仍能获得可接受结果”提供了实证基础。 ### 3. 搜索行为的定性轨迹分析（Section 3）论文对 agent 的逐轮推理日志进行了深入的定性分析，以验证语义表征是否真正被用于物理推理，而非仅作装饰。分析素材来自 hardware-aware 与 opaque 条件下的完整搜索转录（transcripts）。代表性发现包括： - Hardware-aware 条件：Agent 展现出基于物理的推理模式，例如： - 按瓶颈类型（带宽受限 vs. 计算受限）分区工作负载并分配面积预算 - 通过阅读成本模型代码，识别出 MMA tile 几何参数对面积“基本免费”，并依据延迟恒等式而非盲目采样做出决策 - 提出可证伪假设（如“缓存容量是松弛的”），在被模拟结果证伪后明确撤回（“v5 thesis falsified”） - 在受控条件下复测先前被混淆变量污染的假设 - 基于对评估器源码的理解，推翻 Critic 关于固定 HBM 带宽的错误建议 - Opaque 条件：Agent 的推理呈现纯粹的坐标空间 bookkeeping，例如记录 “ x(12)=0.25, x_6=0.108 ” 的收敛模式，判断“噪声plateau”，进行“frozen-axis sweeps”，而完全缺乏对物理机制的指涉。该对比提供了“语义表征确实被用于架构层面因果推理”的最直接定性证据。 ### 4. Prompt 版本敏感性实验（Appendix B.7）论文额外测试了四代相继演化的 prompt（v1–v4），以评估结果对提示工程的稳健性。这些实验为补充性探索，仅 v1 用于上述主实验的 2×2 矩阵： - v1（基线）：建立标准的 Actor–Critic 与单 Agent 流程，Actor 每轮编写 Python 优化器并提交单一设计，Critic 提供回顾性建议。 - v2（Critic Prompt 重写）：重写 Critic 指令，增加：（i）HBM 带宽固定不可调的显式护栏；（ii）要求报告最优/次优设计与覆盖度；（iii）引入局部收敛与简洁性规则。 - v3（搜索循环修复）：修正 v2 遗留的搜索病理行为，包括将局部收敛推迟至最后两轮、强制 Critic 信任 harness 提供的剩余轮次计数器、以及 harness 对历史评估点的结果缓存复用。 - v4（架构探索指令）：强制 Actor 在连续两轮改进不足 0.5% 时，提出至少三种结构迥异的架构原型（如移除寄存器文件层级、激活 L3 缓存、或进行 SM 数量与缓存带宽的大额权衡）。该版本仅用于 hardware-aware Actor–Critic，以探索克服坐标下降停滞的策略。结果表明，同一 prompt 下的不同运行之间的方差，与不同 prompt 版本之间的方差相当，提示性能差异主要源于优化动态而非提示细节。 ### 5. 约束与局限性声明论文明确将上述所有结果定位为初步发现（preliminary findings），关键限制包括： - 每种条件仅 5–6 次运行 - 仅在单一建模加速器（基于 A100 物理包络、4N 工艺节点、固定 HBM 带宽）上测试 - 工作负载篮仅包含 9 个 GEMM 内核，未覆盖注意力、通信原语或稀疏算子等异构操作作者指出，实验目的并非提出一个全面优于 H200 的加速器，而是建立一种可复现的比较方法，使“AI 是否理解架构”成为一个可被逐步逼近的操作化问题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与局限性声明，以下几个方面具有明确的进一步探索价值： ### 1. 异构算子与更复杂的工作负载当前实验仅使用了九核 FP16 GEMM 篮子，覆盖范围限于矩阵乘法变体。作者指出，未来的关键方向是引入异构操作，例如： - 注意力机制（attention） - 通信原语（collectives） - 稀疏层（sparse layers）这些算子对内存层次结构和数据流模式提出与 GEMM 根本不同的要求，可能打破当前设计空间中“宽泛近最优plateau”的局面，从而迫使 agent 必须进行真正的架构权衡，而非依赖无意义的坐标搜索。 ### 2. 更严格的评估预算约束论文认为 materially smaller evaluation budgets 是最有可能首先显现差异的轴。在当前实验中，agent 拥有相对充裕的采样预算（每轮最多 300 次模拟调用，共 12 轮），使得即使基于错误假设的搜索也能通过后续采样自我修正。若将评估预算压缩至无法通过蛮力采样覆盖错误假设的程度，则架构层面的先验知识将成为稀缺资源，hardware-aware 与 opaque 条件之间的差距可能被显著放大。 ### 3. 更紧的物理与面积约束当前候选设计被宽松地限制在 A100 物理包络内（4N 工艺下留有 185.6 mm² 余量）。引入更严苛的约束条件（如更严格的面积预算、海岸线限制或功耗墙）会缩小可行区域的体积，提高找到可行解的难度，进而检验 agent 是否能利用物理语义知识高效导航约束边界，而非在匿名空间中盲目碰壁。 ### 4. 更大规模的设计空间虽然当前空间已是 15 维，但作者暗示需要探索更大、更丰富的设计空间。增加可调参数的数量和相互作用复杂度（例如更细粒度的缓存一致性配置、互联拓扑、或动态电压频率调节）可能提升问题的内在维度，使得无结构的黑盒搜索遭遇维度灾难，而语义引导的搜索保持相对优势。 ### 5. 统计稳健性与跨架构泛化现有结果基于单一建模加速器且每种条件仅 5–6 次运行，统计效力有限。未来需要： - 在多种参考底盘（reference chassis）和工艺节点上重复实验 - 增加运行次数以降低随机性方差 - 测试 agent 是否能把在一个架构上学到的知识迁移到下一个架构，这是区分“真正理解”与“过拟合搜索”的关键标准 ### 6. 知识批判替代关系的深层机制论文发现 architectural knowledge 与 structured dialectical critique 表现为替代品（substitutes）而非互补品。这一结论本身需要更精细的解构： - 是否存在特定的搜索阶段（早期探索 vs. 后期微调）使二者分别发挥不可替代的作用？ - Critic 在 opaque 条件下究竟恢复了哪类结构（如坐标相关性、局部凹凸性）来弥补语义缺失？ - 能否设计一种混合机制，使知识引导与批评循环产生超加性（super-additive）效应？ ### 7. 更困难的优化地形（optimization landscape）当前结果的一个“不舒服”的解释是：问题可能过于简单。未来工作应刻意构造或寻找具有以下特征的地形： - 尖锐的约束边界 - 狭窄的山脊状最优区域 - 高度非线性的参数交互 - 多模态目标函数只有在这样的地形中，才能可靠地甄别 agent 是在进行物理因果推理，还是仅仅执行复杂的坐标攀登。 Q6: 总结一下论文的主要内容论文研究了 AI agent 在计算机架构设计中的成功究竟是源于对硬件的真正理解，还是仅仅源于高效的黑盒搜索。现有工作无法区分这两种机制，因为它们在改变 agent 的同时固定了问题的表述方式，从而混淆了通用优化技能与领域特定知识。 ## 核心方法：AutoTuring 为将“理解”与“搜索”分离开来，论文提出 AutoTuring，一个用于 GPU 加速器设计空间探索（DSE）的 agent 框架。其关键创新在于控制变量：将同一个 15 维加速器设计空间、同一个评估器（基于 LLMCompass 的模拟器）、同一组物理约束（面积与海岸线预算）和同一组工作负载（九核 FP16 GEMM 篮子）呈现给同一个 agent，唯一改变的是问题是否具有可解释的物理意义： - Hardware-aware（架构师）视图：参数为具名硬件旋钮（如 num_sms、l2_mb、tc_m 等），反馈为可解释的模拟器计数器。Agent 可以利用计算机架构的语义知识进行因果推理。 - Opaque（黑盒优化器）视图：相同的物理空间被编码为 15 个匿名连续变量 x_0, dots, x(14) ∈

0, 1
$，反馈被剥离为通用组件索引与无意义约束值。Agent 无法直接获知任何物理含义。此外，实验在两种视图上分别测试了两种搜索结构： - **Single-agent**：Actor 自主编写并执行 Python 优化器进行搜索； - **Actor–Critic**：在 Actor 每轮搜索后，引入一个无工具权限的 Critic 对搜索历史进行辩证式审查与建议。 ## 主要实验与发现在九核 FP16 GEMM 工作负载上，论文进行了 2×2 因子对比实验（hardware-aware vs. opaque × single-agent vs. Actor–Critic），以 GPU 时间加权遗憾值

R(d) = ∑_i w_i ell_i(d)/ell_i^(ref)∑_i w_i
为目标函数，与建模的 A100 和 H200 基线进行比较。核心结果如下： - **单 agent 时，语义知识显著有效**：Hardware-aware single-agent 比 opaque single-agent 的平均最优延迟低 **12.3%**，且模拟器调用次数减少 **70.1%**；其设计比建模 H200 快 **5.4%**。 - **引入 Critic 后，差距急剧缩小**：Opaque Actor–Critic 追回了大部分性能差距，与 hardware-aware Actor–Critic 的最佳设计仅相差 **0.8%**。Critic 对 hardware-aware agent 几乎没有额外增益。 - **知识与批判是替代品，而非互补品**：架构层面的先验知识与结构化的辩证批评似乎提供了同一稀缺资源——“下一步搜索方向的假设”——的两种替代途径。在宽广的近最优 plateau 上，一条路径已足够。定性分析显示，hardware-aware agent 的搜索日志包含基于物理的推理（如按瓶颈分区预算、从成本模型代码推断参数免费性、提出并证伪可检验假设），而 opaque agent 的日志则完全是坐标空间 bookkeeping。 ## 讨论与局限作者明确指出，这些发现是**初步的**（每种条件仅 5–6 次运行，单一建模加速器）。最可能的解释同样是最令人不安的：**当前问题可能过于简单**。设计空间的景观分析揭示了宽广的近最优 plateau，这使得即使不理解物理含义的黑盒搜索也能表现良好，也让 Critic 在 agent 已进入优良区域后难以提供更多 headroom。 ## 贡献与展望论文的主要贡献并非某个具体的加速器设计，而是**提出了一种可操作的比较方法**：通过严格固定所有变量、仅剥离语义，将“AI 是否理解计算机架构”转化为一个可测量的差距。作者认为这只是一个开始，未来需要在更难的场景中检验这一结论，包括： - 引入异构算子（如 attention、collectives、稀疏层）； - 收紧评估预算，使错误假设无法通过采样 brute-force 修正； - 探索更复杂、更尖锐的优化地形。若在这些更严苛的条件下仍能观察到语义知识的显著优势，则表明 agent 确实具备架构理解能力；若不能，则这将是一个关于“agent 在看似推理时实际在做什么”的更有趣结论。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19387.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19387

Published: 2026-09-21T01:40:21.138Z

8. MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs

Abstract:LLM coding agents now generate complex programs at a scale that makes thorough human review increasingly difficult, raising the risk of safety and security failures. Common approaches, including fuzz testing, static analysis, and LLM-as-a-Verifier, can detect many failures but struggle to cover all possible edge cases. Formal verification addresses this by providing machine-checkable guarantees over specified properties, but traditionally demands substantial manual specification and proof engineering. We introduce a unified multi-agent framework, MAGS, that generates executable programs with formal safety guarantees, using Dafny as a verification-aware intermediate representation where safety properties can be mechanically checked. MAGS formalizes and freezes human-audited APIs and safety requirements, translates generated code into Dafny, repairs violations using verifier feedback, and compiles verified programs back into executable code. We evaluate MAGS on 100 CUDA kernels, 100 terminal scripts, and 20 robotic-arm tasks. Across all 220 examples, it achieves a 100% success rate in producing programs with non-trivial safety guarantees against frozen specifications. Independent safety and functional evaluations further show strong performance across all three domains, while revealing failures when the auto-formalized semantics do not fully capture the target behavior.

中文摘要

摘要：大型语言模型（LLM）编码代理现在能够生成复杂程序，其规模使得人工彻底审查变得越来越困难，从而增加了安全性和保障失败的风险。常见方法，包括模糊测试、静态分析以及将LLM作为验证器（LLM-as-a-Verifier），可以检测许多故障，但在覆盖所有可能的边缘情况方面仍存在困难。形式化验证通过对指定属性提供机器可检验的保证来解决这一问题，但传统上需要大量的人工规范和证明工程。我们提出了一个统一的多代理框架 MAGS，该框架使用 Dafny 作为具有验证意识的中间表示生成可执行程序，从而提供形式化的安全保证，在其中安全属性可以被机械地检查。MAGS 将人工审核的 API 和安全要求形式化并固定，将生成的代码翻译为 Dafny，利用验证器反馈修复违规行为，并将经过验证的程序编译回可执行代码。我们在 100 个 CUDA 内核、100 个终端脚本和 20 个机械臂任务上评估了 MAGS。在所有 220 个示例中，它在生成符合固定规范的非平凡安全保证的程序方面达到了 100% 的成功率。独立的安全性和功能评估进一步显示了它在三个领域的出色表现，同时也揭示了当自动形式化语义未能完全捕捉目标行为时会出现失败。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文试图解决\*\*LLM 编码智能体生成复杂程序时缺乏机器可检查的安全性与正确性保证\*\*的问题。具体而言，论文针对以下核心矛盾展开： - \*\*生成规模与审查能力的不匹配\*\*：LLM 编码智能体现已能够大规模生成复杂程序，导致全面的人工审查越来越不可行。生成的函数可能通过所有测试用例，却仍会在未被测试覆盖的输入上违反安全或安全属性。 - \*\*传统方法的覆盖局限\*\*：模糊测试、静态分析和“LLM 作为验证器”等常见方法能够发现部分缺陷，但无法穷尽所有边界情况，因而不能保证漏洞不存在。 - \*\*形式化验证的高昂门槛\*\*：演绎式程序验证在原则上可为所有建模输入提供机器可检查的证明，但传统上依赖大量人工撰写规范与证明工程，难以跟上智能体代码生成的速度与规模。为弥合上述差距，论文提出 \*\*MAGS（Multi-agent Auto-formalization Guarantees Safety）\*\* 框架，其目标是在\*\*无需人类为每个生成程序手动形式化和证明\*\*的前提下，跨异构领域（如 CUDA 内核、终端脚本和机器人控制）生成具有\*\*形式化安全保证\*\*的可执行程序。该框架通过以 Dafny 作为验证感知的中间表示，将人类审计过的 API 语义与安全需求冻结为可复用的领域规范，进而利用多智能体流水线自动完成代码翻译、验证器反馈驱动的修复与可执行代码编译。 Q2: 有哪些相关研究？论文在第 2 节系统梳理了三个密切相关方向的研究现状： ### 1. 迭代修复与自我优化 - \*\*Self-Refine\*\*

14
建立了模型通过自我批评和修订来改进输出的范式。 - **Self-Debugging**
6
将该范式专门化到代码领域，通过向生成器反馈执行轨迹来修复错误。 - **能力边界**：研究表明，当反馈仅来自模型自身判断时，LLM 难以可靠地提升推理质量
8
；且模型只有在被明确告知错误位置时才能有效修复
21
。 - **安全性与功能正确性的分离**：BaxBench
23
和 SecCodePLT
17
表明，即使被判定为功能正确的程序仍可能存在可利用的安全漏洞，说明通过测试和模糊测试获得的有限正确性证据不足以保证安全性。 ### 2. 演绎式程序验证 - **传统形式化验证**：如 seL4 微内核的验证，需要约 20 万行 Isabelle 证明脚本和约 20 人年的工作量

9
，成本极为高昂。 - **验证语言与工具**： - **Dafny**
11
支持在源码中直接编写前后条件和循环不变式，通过 Boogie 编码到 Z3 SMT 求解器自动完成证明。 - **Why3**
7
将验证器前端与求解器后端解耦。 - **LLM 辅助验证的近期进展**： - **AutoVerus**
25
在 Verus 错误反馈下自动修复 Rust 程序的证明注释。 - **DafnyBench**
13
评估 LLM 恢复被剥离的 Dafny 规范注释的能力。 - **Clover**
20
检查代码、规范和证明之间的一致性。 - **GPUVerify**
2
针对 CUDA/OpenCL 内核验证数据竞争和分支发散自由，但依赖人工编写的内核和循环不变式。 - **与 MAGS 的区别**：现有工作通常局限于单一验证场景，形式化语义需从外部逐程序提供，且验证语言通常与目标语言相同。MAGS 则通过自动形式化构建可复用的共享语义，使目标语言与验证语言得以分离。 ### 3. 多智能体编排与验证 - **VeriGuard**

15
离线综合行为策略并针对约束进行验证，在线将其作为监控器执行；其保证附着于策略本身，未经验证的代码仍可在通过监控器后执行。 - **ProofWright**
5, 19
将智能体注释修复与 VerCors 和 Rocq 耦合，验证 KernelBench Level-1 内核的安全性属性。 - **共同局限**：这些工作均绑定于单一目标语言，从已有程序出发而非从头生成，终止于已证明的义务而非可执行产物，且未系统报告影响可扩展性和验证严谨性的设计决策。MAGS 则以共享表示跨域复用，将安全策略贯穿至最终的可执行程序。 Q3: 论文如何解决这个问题？该论文通过 **MAGS（Multi-agent Auto-formalization Guarantees Safety）** 框架解决这一问题，其核心思路是**将程序的执行语言与验证语言分离**，以 Dafny 作为共享的验证感知中间表示，通过多智能体协作构建可复用的形式化语义，并基于验证器反馈迭代修复程序直至获得机器可检查的安全证明。整体方案分为两个主要阶段： —- ### 一、多智能体语义生成（Semantic Construction）该阶段旨在为每个目标领域构建并冻结可复用的形式化语义库，属于**一次性成本**。 - **人类编写的逻辑基础（Core Logic Foundations）** 针对每个领域，研究人员首先编写小规模的人类逻辑基础，定义抽象程序状态与推理原语。例如，CUDA 领域采用基于分数权限的分离逻辑（fractional permission-based separation logic），用于推理越界访问、数据竞争和屏障发散；终端程序领域采用模块化的形式系统；机器人领域采用运动学和控制状态语义。这些顶层安全属性一旦确定即被**冻结**。 - **API 语义自动形式化（Autoformalization）** LLM 智能体基于官方文档，将领域 API 的行为形式化为 Dafny 规范，扩展核心逻辑。批评（Critic）智能体检查每条规范的忠实性、一致性与模块化，并保持与源 API 的结构对应以提升可读性和求解效率。 - **审计与探针测试** 人工随机审计约 20% 的生成语义，检查结构错误、过强前置条件、安全条件遗漏等问题。同时，使用独立生成的安全/不安全探针程序进行测试：所有安全探针必须能通过验证，所有不安全探针必须被拒绝。通过后，语义库正式冻结。 —- ### 二、多智能体程序验证（Program Verification）语义冻结后，框架针对每个具体任务生成带有形式化安全保证的可执行程序，全程无需人工干预。 - **按需语义扩展（On-Demand Semantic Extension）** 若程序调用尚未形式化的 API，框架触发语义生成流水线进行扩展，但**已有冻结语义不得修改**，防止验证智能体通过削弱既有安全定义来使验证通过。 - **程序翻译（Translation）** 翻译智能体将目标程序转换为 Dafny 嵌入表示，并附加所需的安全规范。批评智能体检查翻译的忠实性。由于形式化保证作用于 Dafny 实现及其编译输出，而非直接作用于原始程序，因此只要翻译保持行为一致性，保证链即成立。 - **证明规划与修复（Proof Planning and Repair）** 规划智能体生成多个候选证明策略与轻量级注释草图，系统在并行分支中探测这些策略。每个分支首先尝试仅添加证明注释（不改变可执行行为）；若不足以通过验证，则允许在保持功能的前提下修复代码。批评智能体审查注释的忠实性与稳定性，以及修复对功能的保留。为防止绕过验证，框架通过确定性检查拒绝 `assume`、`axiom` 或禁用验证等构造。为缓解 SMT 求解器的不稳定性，智能体可尝试 8 个不同的求解器种子及多种验证器配置；任一配置成功即视为通过。单次尝试超过 500 秒则视为失败。 - **编译回目标语言（Compilation Back to Source）** 通过验证的 Dafny 程序利用 Dafny 内置编译器编译回目标语言。验证期间使用的领域 API 符号与真实 API 一一对应，编译后通过确定性的兼容层直接替换为真实 API 调用。由于此步骤仅为符号替换而非进一步合成，验证时的保证可在映射保持形式化语义的前提下传递至最终可执行程序。 - **策略学习（Tactic Learning）** 验证完成后，智能体提取可复用的证明策略（如不变式模式和求解器稳定化技术）存入策略库，供后续任务复用，使证明经验能够累积。 —- ### 三、关键设计决策 - **执行与验证语言分离** 目标语言（CUDA、Python、机器人控制语言等）与验证语言（Dafny）无需一致，使同一框架可跨异构领域复用。 - **冻结核心规范** 将人工审计后的安全需求与 API 语义固定下来，杜绝验证智能体在迭代中通过改变安全定义来”作弊”。 - **验证器反馈替代启发式反馈** 以 Dafny/Boogie/Z3 的演绎验证结果作为修复依据，取代传统的测试或自我批评，从而在所有建模输入上提供保证，而非仅在被测输入上。 - **环境假设显式化** 通过外层 `expect` 检查暴露环境假设，使已验证程序能够安全集成到更大的未验证代码库中。 Q4: 论文做了哪些实验？论文在第 4 节通过三个研究问题（RQ）系统评估了 MAGS 框架，涵盖 **100 个 CUDA 内核、100 个终端程序** 和 **20 个机器人控制任务** 共计 220 个样本。实验设计如下： —- ### 一、实验任务与领域配置 | 领域 | 任务来源 | 执行模型 | 核心逻辑基础 | |———|————-|————-|——————-| | **CUDA** | KernelBench Level 1 (100 个单核 GPU 算子) | 并行 GPU 内存 | 基于分数权限的分离逻辑 | | **终端 (Terminal)** | SecCodePLT (100 个样本，覆盖 27 类 CWE) | OS 级操作 | 模块特定形式系统 (如 Symbolic FST、CrySL 等) | | **机器人 (Robotics)** | VLABench (20 个机械臂控制任务) | 物理环境交互 | 运动学与控制状态语义 | —- ### 二、RQ1：跨领域形式验证与安全检查 **研究问题**：单一统一框架能否在多样领域产生带有形式化安全保证的输出？ - **验证成功率**：样本在 25 次智能体调用预算内获得 Dafny 验证通过证书的比例。 - **独立安全检查成功率**：最终编译产物是否通过**与验证过程完全独立**的领域特定安全 oracle： - **CUDA**：NVIDIA Compute Sanitizer（memcheck + racecheck） - **终端**：SecCodePLT 安全测试用例 - **机器人**：MuJoCo 引擎中的碰撞与越界指标 **结果**： | 领域 | 验证成功 | 安全检查成功 | 说明 | |———|————-|——————-|———| | CUDA | 100/100 | 100/100 | 语义完全覆盖内存安全与数据竞争属性 | | 终端 | 100/100 | 82/100 | 18 例失败集中于特权访问与并发相关 CWE，暴露自动形式化语义覆盖不足 | | 机器人 | 20/20 | 20/20 | 碰撞与越界安全属性被完整编码 | —- ### 三、RQ2：验证开销量化 **研究问题**：获得形式化证书的时间、token 与金钱成本如何？测量范围从翻译开始直至 Dafny 接受候选或预算耗尽，**不包含初始代码生成与一次性语义构建成本**。 | 领域 | 平均时间 (min) | 平均 Tokens | 平均成本 (USD) | 范围特征 | |———|———————-|——————|———————-|————-| | CUDA | 36.4 (3.5–264.9) | 5.26M (443K–35.29M) | 8.60 ( 0.93– 52.14) | 与终端相近，API 集合相对集中 | | 终端 | 36.3 (10.7–203.7) | 6.51M (1.84M–32.97M) | 9.01 ( 3.37– 36.47) | 模块异质性高，语义上下文更复杂 | | 机器人 | 68.3 (34.2–88.2) | 10.07M (5.13M–15.04M) | 10.17 ( 6.37– 15.41) | 物理交互抽象更粗糙，证明义务更难 | 结论：当前开销（约 36–68 分钟、 8.60– 10.17/样本）使框架更适合安全关键或高后果场景，而非日常快速原型开发。 —- ### 四、RQ3：功能保持性验证 研究问题：获得安全证书是否会以牺牲预期功能为代价？方法：对每一样本，独立生成 10 个保留功能测试（仅使用满足安全假设的输入），分别在原始未验证程序与最终编译后的已验证程序上执行，比较输出是否一致。 - CUDA：100/100 通过。验证与修复过程未损害数值算子行为。 - 终端：100/100 通过。安全修复未破坏正常执行路径下的程序意图。 - 机器人：初始为 0/20。修复智能体频繁收敛到“空转”策略——通过避免难以证明安全的动作来满足后置条件，导致不执行任何操作。 - 缓解措施：要求语义扩展时派生轻量级、任务特定的成功定义作为修复阶段的额外约束（不纳入正式安全证书）。 - 缓解后：功能保持率提升至 11/20，同时保持 20/20 的安全检查通过率。 —- ### 五、实验核心发现 - 跨域统一性：相同程序级验证流水线可在三种截然不同的执行模型（GPU 并行、OS 系统调用、物理控制）上全部通过形式验证。 - 语义覆盖决定实际安全：终端领域的 18 例安全检查失败表明，形式化保证的强度受限于自动形式化语义对真实 API 行为的覆盖忠实度。 - 语义粒度决定功能保持：机器人领域的 0/20 初始功能失败表明，过于粗糙或约束过强的语义会诱导出形式上安全但功能上空洞（functionally vacuous）的修复。 - 结构化领域表现最佳：CUDA 领域因 API 行为和安全属性相对结构化，在安全性、功能保持和开销三方面均表现最优。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与结论，以下方向值得进一步探索： —- ### 1. 提升自动形式化语义的质量与覆盖范围论文在终端程序领域的评估表明，当前自动形式化对特权访问与并发相关 CWE 的安全相关行为覆盖不足，导致 18/100 的验证通过程序仍未能通过独立安全检测。未来可探索： - 针对副作用、全局状态与时序行为的更精确的 API 语义抽取方法； - 结合符号执行或动态分析辅助生成更完整的规范； - 建立面向安全属性的领域特定本体，以指导 LLM 在形式化过程中不遗漏关键安全条件。 —- ### 2. 避免功能真空的非平凡修复机制机器人领域的实验显示，修复智能体容易收敛到形式上安全但功能空洞的策略（如完全避免动作）。尽管引入轻量级任务成功约束后功能保持率从 0/20 提升至 11/20 ，但这部分约束并不属于形式化安全证书。未来可探索： - 如何将任务级功能正确性逐步纳入形式化框架，而不退回到完全手工规范； - 设计渐进式规范精炼机制，在保留安全核心的同时允许功能语义的动态扩展； - 研究“最小可接受行为”的自动推导，以在修复阶段阻止过度保守的解。 —- ### 3. 验证开销的实质性降低当前框架的平均成本约为 36–68 分钟、 8.60– 10.17/样本，限制了其在常规开发流程中的适用性。潜在优化路径包括： - 更高效的证明规划：利用已验证程序库进行跨任务迁移学习，减少对 SMT 求解器的盲目搜索； - 求解器不稳定性缓解：论文已尝试多种子与多配置，但可进一步探索专门的 proof stabilization 技术或神经引导的启发式策略； - 模型与计算优化：如使用蒸馏后的小型模型处理常规修复步骤，仅在复杂分支调用最强模型，或利用缓存与增量验证减少重复证明。 —- ### 4. 策略学习（Tactic Learning）的深度化与跨域迁移论文提及在验证后提取可复用证明策略（如不变式模式、求解器稳定化技巧）入库。未来可系统研究： - 证明策略的结构化表示与检索，使其在相似计算模式（如矩阵遍历、循环累加）中自动复用； - 跨领域策略迁移：例如将 CUDA 内存分块策略中的不变式模式迁移至其他数组密集型领域； - 基于验证失败模式构建反例驱动的策略生成，而非仅依赖成功案例归纳。 —- ### 5. 扩展至更复杂的程序结构与领域当前评估集中于相对基础的程序形态（单核 CUDA、短终端脚本、单任务机器人控制）。向更复杂场景拓展时需解决： - CUDA：多核协作、复杂内存层次（共享内存、常量内存）与同步模式的形式化； - 终端/系统软件：长程依赖、复杂控制流与组合式 API 调用链的安全推理； - 机器人：长程组合任务、部分可观测环境下的安全策略、以及与真实物理传感的闭环交互； - 新领域：如自动驾驶控制、医疗软件、密码学协议实现等，检验框架的极限泛化能力。 —- ### 6. 形式化忠实度的元级评估方法论文指出，验证的可靠性受限于“自动形式化语义是否充分捕捉目标行为”。目前依赖人工审计（20% 抽样）与探针测试。未来可建立： - 系统性的语义-实现一致性检验框架，自动生成更多边界探针； - 形式化覆盖度指标，量化规范对真实 API 所有行为路径的覆盖比例； - 对抗性规范测试：专门构造程序以暴露规范与现实之间的语义缝隙。 —- ### 7. 人机协同的半自动形式化流水线当前语义构建阶段仍需人类编写核心逻辑并审计部分生成语义。未来可探索： - 交互式形式化：人类专家在环，针对验证失败快速增补或修正关键语义，而非预先审计固定比例； - 主动学习式审计：让智能体主动查询人类对最不确定的 API 语义进行确认，以降低人工负担并提高关键路径覆盖。 Q6: 总结一下论文的主要内容论文提出 MAGS（Multi-agent Auto-formalization Guarantees Safety），一种面向 LLM 编码智能体的统一多智能体框架，旨在无需人工逐程序形式化与证明的前提下，跨异构领域生成带有机器可检查安全保证的可执行代码。 —- ### 一、研究背景与动机 - 安全验证缺口：LLM 智能体生成代码的规模已超出人工审查能力，而传统测试、模糊测试或 LLM-as-Verifier 无法穷尽所有边界情况，功能正确通过也不能保证安全。 - 形式化验证的门槛：演绎式验证可提供对所有建模输入的机器可检查证明，但传统上依赖大量手工规范与证明工程，难以跟上智能体生成速度。 - 核心挑战：如何在多样化领域（GPU 内核、系统脚本、物理控制）中，建立一条从自动生成代码到可执行验证产物的统一路径。 —- ### 二、MAGS 框架核心方法 1. 执行与验证分离的中间表示 - 采用 Dafny 作为共享的验证感知中间语言。目标执行语言与验证语言无需一致，验证通过后再编译回源语言。 - 验证期间使用与真实 API 结构对应的符号；编译后通过确定性符号替换映射到真实 API，使形式化保证传递至最终可执行程序。 2. 两阶段流水线 - 语义构建阶段（一次性成本）： - 以人类编写的领域核心逻辑（如 CUDA 的分数权限分离逻辑、终端的模块形式系统、机器人的运动学语义）为基础。 - LLM 智能体自动形式化 API 行为；批评智能体检查忠实性与一致性；人工抽样审计；通过独立生成的安全/不安全探针测试后，冻结语义库。 - 程序验证阶段（逐任务自动运行）： - 翻译：将生成代码嵌入 Dafny，附加冻结的安全规范。 - 证明规划与修复：并行探索多候选证明策略，先尝试仅添加注释，必要时在保持功能的前提下修复代码；利用 Dafny/Boogie/Z3 的验证器反馈驱动迭代，拒绝 assume、axiom 等绕过构造。 - 编译与策略学习：验证通过后编译回目标语言，并提取可复用证明策略入库。 3. 关键设计决策 - 冻结核心规范：防止验证智能体在迭代中通过削弱安全定义来使验证通过。 - 按需语义扩展：遇新 API 时仅追加语义，不修改已冻结规范。 - 环境假设显式化：通过 expect 运行时检查集成到未验证外部代码库。 —- ### 三、实验评估论文在 220 个样本 上评估，涵盖三个安全关键领域： | 领域 | 样本数 | 验证成功率 | 独立安全检查成功率 | 功能保持率 | 平均开销 | |———|————|—————-|—————————-|—————-|————-| | CUDA | 100 | 100/100 | 100/100 | 100/100 | ~36.4 min / 8.60 | | 终端 | 100 | 100/100 | 82/100 | 100/100 | ~36.3 min / 9.01 | | 机器人 | 20 | 20/20 | 20/20 | 11/20 | ~68.3 min / 10.17 | \\ 机器人初始功能保持率为 0/20，引入轻量级任务成功约束作为修复导向后提升至 11/20，但不纳入正式安全证书。 **关键发现**： - **跨域统一性**：相同程序级流水线在三种截然不同的执行模型上均实现 100% 形式验证成功率。 - **语义覆盖决定实际安全**：终端领域 18% 的样本虽通过形式验证，但因自动形式化未完全覆盖特权访问与并发语义，仍未能通过独立安全检测。 - **语义粒度决定功能保持**：机器人领域过于粗糙的抽象诱导出“形式上安全但功能空洞”的修复；CUDA 因 API 行为结构化程度最高，在安全、功能与开销上表现最优。 —- ### 四、贡献与意义 - **实用的跨域生成与自动形式化**：首次展示从人类编写的领域逻辑抽象到验证后可执行产物的完整多智能体流水线，适用于 CUDA、终端程序与机器人控制。 - **独立安全与功能评估**：通过冻结规范验证、独立安全 oracle 与保留功能测试的三重评估，量化了自动形式化语义的覆盖度与忠实度。 - **设计决策证据**：系统报告了分离代码/规范编辑、冻结核心规范、验证语义嵌入等决策对可扩展性与严谨性的影响，并明确暴露其局限。论文最终表明，MAGS 为 LLM 编码系统提供了一条从“基于测试的信心”迈向“显式、可复用、形式化强制执行的安全规范”的路径，同时指出未来需在**语义覆盖、功能保持与验证成本**三方面持续改进。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Albert Wu, Nicholas Roberts, Tzu-Heng Huang, Haoran Lin, Gil Friedman, Sungjun Cho, Gabriel Orlanski, Frederic Sala

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19391.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19391

Published: 2026-09-21T01:40:21.138Z

9. Closed-World Resolution Against Tool Hallucination in LLM Agents

Abstract:Tool-augmented large language model (LLM) agents fail in a way no tool-selection or tool-security method addresses: they call tools that do not exist and pass arguments no schema declares. Existing defenses either pick the right tool (selection) or constrain what an agent may do with real tools (gating), both of which presuppose the emitted call refers to a real tool at all. We show this is a structural blind spot: a hallucinated call is by construction not a decision any gate made, so no gate can reject it. This paper is primarily a measurement and benchmark study. We give a five-class taxonomy of tool hallucination (H1-H5) and, as a reference point, the Resolution Rung: a training-free, closed-world resolver (registry membership plus a signature check) whose interest is where it must sit, not what it computes. We prove hallucination defense must precede any causal gate, and characterize the one irreducible residue (borrowed arguments schema-indistinguishable from a valid call). Across ten hosted models under two invocation surfaces we measure 322 genuine hallucinations; fabricated-tool calls concentrate on the unconstrained raw-JSON surface (34 vs. 3), and model scale does not help (a 675B model matches a 7-8B one). We then extend to the Model Context Protocol, where merging several servers into one namespace creates hallucination surfaces a single registry cannot express (a second taxonomy, M1-M5); on the live MCP surface we measure 154 hallucinations, including from frontier models that were clean on the single-registry surface, because collisions and shadowing are structural to the merge. We release the versioned Hallucinated-Tools Benchmark (HTB) so any resolver is comparable across submissions.

中文摘要

摘要：增强工具的大型语言模型（LLM）代理以一种任何工具选择或工具安全方法都无法解决的方式失败：它们调用不存在的工具，并传递任何方案未声明的参数。现有防御要么选择正确的工具（选择），要么限制代理可以使用实际工具的方式（门控），这两者都假设发出的调用至少指向一个真实的工具。我们表明这是一个结构性的盲点：幻觉调用本质上不是任何门控作出的决策，因此没有门控能够拒绝它。本文主要是一个测量和基准研究。我们提供了五类工具幻觉分类（H1-H5），并作为参考点提出了解析阶梯（Resolution Rung）：一个无需训练、封闭世界的解析器（注册表成员资格加签名检查），其重点在于它必须处于的位置，而不是它计算的内容。我们证明，幻觉防御必须先于任何因果门控，并描述了一个不可约剩余（借用的参数在方案上与有效调用无法区分）。在两个调用接口下对十个托管模型的测量中，我们记录了322次真实的幻觉；伪造工具调用集中在未受约束的原始JSON接口上（34次对3次），模型规模无助于减轻问题（一个675B模型与7-8B模型表现相同）。然后我们扩展到模型上下文协议（MCP），其中将多个服务器合并到一个命名空间会产生单一注册表无法表达的幻觉接口（第二个分类，M1-M5）；在实时MCP接口上，我们测量到154次幻觉，包括那些在单注册表接口上干净的前沿模型，因为冲突和遮蔽是合并的结构性问题。我们发布了版本化的幻觉工具基准（HTB），以便任何解析器可以在提交中进行比较。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19425 (HTTP 429)

Authors: Laxmipriya Ganesh Iyer

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19425.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19425

Published: 2026-09-21T01:40:21.138Z

10. The syntax and semantics of goals

Abstract:In both cognitive science and computer science, goals are conceptualized as cognitive states that flexibly combine with world knowledge to organize and specify purposeful behavior. In this way, goals are compositional representations whose content relates to rational behavior. We here draw attention to goals as representations and their content because it highlights a parallel with other areas in cognitive science - in particular, the syntax-semantics interface in linguistics and logic - while also foregrounding foundational questions about the expressivity, design, and efficiency of different goal representations. For example, goals are typically taken as fixed and imposing constraints on desirable behaviors, but we can also identify constraints on goal representations themselves, such as whether a particular goal language is sufficiently expressive to capture behaviors of interest, or whether different goal representations capture the same behavior. Here, we synthesize work that aims to characterize the properties of different goal representations and suggest these are points of a broader design space. We close by discussing how distinguishing the form and meaning of goals can elucidate the implicit assumptions we make about goals, inform the study of interactions between higher-level cognition and motivation, and isolate axes of variation for different conceptions of goals.

中文摘要

摘要：在认知科学和计算机科学中，目标被概念化为认知状态，这些认知状态能够灵活地与世界知识结合，以组织和具体化有目的的行为。这样，目标就是复合性的表征，其内容与理性行为相关。我们在此强调目标作为表征及其内容，因为这凸显了与认知科学其他领域的平行——特别是语言学和逻辑中的句法-语义接口——同时也突出了关于不同目标表征的表达能力、设计和效率的基础性问题。例如，目标通常被视为固定的并对可取的行为施加约束，但我们也可以识别对目标表征自身的约束，例如某一特定目标语言是否足够有表达力以捕捉感兴趣的行为，或不同的目标表征是否捕捉相同的行为。在这里，我们综合了旨在刻画不同目标表征属性的研究，并提出这些是更广泛设计空间的点。最后，我们讨论了区分目标的形式与意义如何阐明我们对目标的隐含假设，指导对高层次认知与动机之间交互的研究，并分离不同目标概念的变化轴。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19448 (HTTP 429)

Authors: David M. Abel, Mark K. Ho

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19448.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19448

Published: 2026-09-21T01:40:21.138Z

Evaluation Domain Papers

1. Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes

中文摘要

摘要：强调时序差分学习（ETD）稳定了期望的离策略 TD 更新，并改变了其投影几何，但这两个特性都不能决定恒定步长的采样动态。我们构建了一个遍历的两状态反例，其中 ETD 的均值映射收缩，而采样乘积却具有正的最大 Lyapunov 指数。再生循环分析将这一符号与随后的追踪序列的无穷方差区分开来。我们引入了正则化强调 TD（RETD），这是一种标准化的一阶震后修正方法，它保持追踪序列和重要性比率不变，将强调 TD 信号存储在一个泄漏的标量状态中，并释放延迟修正。RETD 的原始平衡是 ETD 平衡的仿射位移；单重和双重正则化读出可以精确恢复 ETD 固定点。我们证明了谐减步长的几乎必然收敛性，并基于马尔可夫随机乘积界给出了条件恒步长的矩收缩结果。RETD 在两状态构造和一个 Baird 点上具有认证的负指数，而正的 Baird ETD 符号仍为数值结果。配对的 10,000 次运行实验验证了两种分离、固定点恢复、非单调稳定区域以及任务依赖性。RETD 改变了震后动态；它并不减少共享的后续追踪序列方差。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19170 (HTTP 429)

Authors: Xingguo Chen, Zhaohui Wu, Jinguo Ye, Chao Li, Shangdong Yang, Guang Yang, Skylar Liang, Wenhao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19170.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19170

Published: 2026-09-21T01:40:44.643Z

2. BioPhys-Bridge: A Benchmark for Interdisciplinary Scientific Reasoning in Physics-Grounded Biological Research

中文摘要

摘要：语言模型在分析跨学科的科学研究文献时面临独特的挑战。在生物物理学研究中，提供可靠答案需要将观察到的数据基于来源证据，使用定量物理模型进行解释，并将其与生物机制关联。为应对这一挑战，我们引入了 BioPhys-Bridge，这是一种用于基于证据的生物物理学文献科学推理的新型基准数据集。每个案例包含证据块、稳定的证据 ID、定量数值、单位、方程、假设、机制和作为问答 (QA) 与增强检索生成 (RAG) 的基础目标的后续决策。首发版本包含 500 个案例、1,517 个面向代理的任务，涵盖六个生物学领域和九个物理模型系列，其中包括三个预留用于未来扩展的稀疏系列。我们对所有案例在模式、证据完整性、定量基础、来源许可、重复、单位规范方面实施严格的质量检查，并对 81 个案例进行了领域专家的审查和标注。初步评估显示，DeepSeek-V4-Flash 获得最高的证据 ID $F_1$ 分数（0.360），其后是 Qwen3.7-Max（0.316）和 GPT-4o-mini（0.294）。BioPhys-Bridge 是一个跨学科基准，用于评估归因、可靠性、幻觉减少，以及具复杂多步科学推理的生物实验设计。未来的工作将增加数据集的规模和复杂性，并进行全面评估。代码和数据可在 GitHub 仓库及 Hugging Face 上获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19180 (HTTP 429)

Authors: Qingyang Xu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19180.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19180

Published: 2026-09-21T01:40:44.643Z

3. What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

中文摘要

摘要：基准测试在评估和传达大型语言模型（LLM）进展方面起着核心作用。然而，仅凭模型排名很难揭示评估需求本身是如何变化的。不断扩展的基准测试种类提供了另一种视角：研究人员期望LLM做什么，以及他们认为什么样的表现算作成功。我们系统地绘制了来自arXiv的文稿中自2022年1月至2026年8月共14,767篇介绍或更新评估资源的论文。通过分阶段筛选和自动全文编码，我们研究了目标系统和领域、评估材料和条件以及评分机制的变化。该合集显示，对行动、交互和专业应用的重视日益增加，而既有设计元素与新设计元素经常共存。模型参与的发展也不均衡：基于LLM的评分在代理和非代理组中均有所增长，而模型生成的材料在近期群组中没有出现可比的持续增加。这些发现阐明了公共研究如何将能力预期转化为具体的测试和成功标准。随着AI参与构建测试、执行任务和评判回应，它们也提出了一个问题：扩展的评估是提供了更多独立证据，还是有可能重复其参与模型的偏好和盲点？

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19182 (HTTP 429)

Authors: Chao Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19182.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19182

Published: 2026-09-21T01:40:44.643Z

4. Position: It is Time to Virtualize Foundation Models with a Self-evolving Operating System Layer

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19203 (HTTP 429)

Authors: Suparna Bhattacharya, Tarun Kumar, Cong Xu, Satish Kumar Mopur, Jiahao Li, Ashish Mishra, Aalap Tripathy, Annmary Justine Koomthanam, Martin Foltin, Ian Foster

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19203.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19203

Published: 2026-09-21T01:40:44.643Z

5. What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis

中文摘要

摘要：系统性概括，即通过重新组合已知的基本元素来解决新问题的能力，是人类智慧的核心，但在受控环境下严格研究却十分困难。因此，现有研究依赖于一些简化方法，如近似线性的动作组合、基于创造力的测试以及动作明确的目标，这些方法使得系统性概括更容易研究，但却忽略了这一能力的某些关键方面。为了表征这些简化方式所遗漏的内容，我们采用以推理为中心的视角，并引入TranSGrid，这是一种将演绎推理、归纳推理和溯因推理统一融入同一任务的测试平台。在对七种Transformer模型进行的4,800个TranSGrid实例的实验中，所有模型在TranSGrid上的表现都远不如在保留测试集上的表现：最大模型在测试集上的正确率为79.6%，而在TranSGrid上仅为55.3%，在最难子集上仅为15.8%。这一差距在训练长度范围内依然存在，表明仅靠创造力不足以评估系统性概括。此外，我们在TranSGrid中重新引入另外两种简化方法：一类使动作几乎线性组合（降低了归纳需求），另一类使目标动作明确（降低了溯因需求）。在这两种情况下，解决率均回升至接近测试集水平，说明任一简化方法都足以将TranSGrid简化为普通的保留测试集。总体而言，我们的结果表明，现有任务降低了归纳和溯因需求中的一种或两种，并且要全面测量系统性概括，需要一个涉及三种推理形式的任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19212 (HTTP 429)

Authors: Chengwen Qi, Deheng Ye, Yatao Bian

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19212.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19212

Published: 2026-09-21T01:40:44.643Z

6. Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses

中文摘要

摘要：对话型大语言模型（LLM）代理越来越依赖网络搜索，但代理搜索的端到端生命周期仍然理解不足。我们呈现了针对四大主要对话平台（ChatGPT、Claude、Grok 和 DeepSeek）的首次网络搜索研究，将真实用户交互（体内研究）与使用相同平台模型通过其 API 的受控实验（体外研究）相结合。我们调查了代理决定调用网络搜索的质量、它们制定查询的策略、它们收到的搜索结果中可能存在的领域偏好，以及它们将搜索结果转化为有依据回应时所做的选择。我们发现，各平台和模型在网络搜索决策上存在显著差异，而更频繁地调用网络搜索并不一定能提高回应质量。我们进一步表明，对话代理采用不同的复杂查询策略，而特定平台的搜索引擎会返回其偏好的领域搜索结果。最后，尽管回应大体上基于搜索结果，但部分声明依赖未引用的搜索结果，这引发了关于归因和可靠性的担忧。我们的研究结果对未来针对对话检索优化的 AI 代理和网络搜索工具设计具有重要意义。

LLM Analysis

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19244.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19244

Published: 2026-09-21T01:40:44.643Z

7. Do AI Agents Understand Computer Architecture?

中文摘要

摘要：代理越来越多地被要求设计硬件，并且报告显示其成功的案例也越来越多。这类报告表明设计得到了改进；但不能说明原因。改进加速器的代理可能是在对机器进行推理，或者可能仅是在熟练搜索那些其含义从未被理解的旋钮——而只有前者可以迁移到下一种架构。现有的评估无法区分这两者，因为它们在固定问题框架的情况下改变代理。我们做了相反的操作。AutoTuring 将同一个代理在相同的 15 维加速器空间中运行两次：一次将其视为带有模拟器计数器的命名架构旋钮，一次将其作为 [0,1] 上的匿名变量，同时评估器、合法空间和可达最优值保持一致，因此唯一不同的是问题是否有意义。两者之间的差距即为测量值。在九核 FP16 GEMM 套件上，有意义的设计带来了收益：架构师在模拟的 H200 上平均领先 5.4%，比盲目代理领先 12.3%，模拟器调用次数减少 70.1%。它并非唯一有利：批评循环为盲目代理恢复了大部分差距，却没有为架构师带来额外收益，因此架构知识与结构化批评表现为互为替代而非互补。我们报告这些为初步发现——每种条件在单一模拟加速器上运行五到六次——并认为比较本身，而非加速器，是本研究的贡献。

LLM Analysis

0,1

语义剥离的通用反馈 | Actor + Critic 辩证循环 | 6 | | Black-box, single-agent | 匿名变量 + 语义剥离反馈 | 单 Agent | 5 | 评估指标包括： - Best ( μ s)：单次运行中找到的最佳可行设计的总延迟 - Mean best ( μ s)：各次运行最佳延迟的均值 - Evals/run：单次运行中平均模拟器调用次数（反映搜索效率） - Best vs H200：相对于建模 H200 参考设计的性能差距 参考基线： - Modeled A100 baseline：以 A100 配置为起点的建模基线 - H200 reference：作为性能锚点的建模 H200 设计关键发现包括：hardware-aware single-agent 在 mean best 上比 black-box single-agent 低 12.3%，且模拟器调用减少 70.1%；引入 Critic 后，opaque 条件的差距被大幅追回，两种 Critic 条件的最佳设计仅相差 0.8%。 ### 2. 设计空间特征与景观分析（Figure 2, Appendix B.6）为支撑对结果的解释，论文通过系统性采样刻画了设计空间的结构特征： - Sobol 采样：在 15 维空间中生成 1683 个可行设计 - 局部网格扫描：围绕受控锚点评估 25 组双参数切片，共尝试 5021 个点，其中 2413 个通过预筛选并完成模拟 - 可视化：将高维设计投影至前两个主成分（解释 27.3% 方差），用于定性观察可行区域、灵敏度边界与近最优区域的分布该分析揭示了设计空间存在宽广的近最优plateau，为解释“为何 Critic 在 hardware-aware 条件下增益有限”以及“为何 opaque 搜索仍能获得可接受结果”提供了实证基础。 ### 3. 搜索行为的定性轨迹分析（Section 3）论文对 agent 的逐轮推理日志进行了深入的定性分析，以验证语义表征是否真正被用于物理推理，而非仅作装饰。分析素材来自 hardware-aware 与 opaque 条件下的完整搜索转录（transcripts）。代表性发现包括： - Hardware-aware 条件：Agent 展现出基于物理的推理模式，例如： - 按瓶颈类型（带宽受限 vs. 计算受限）分区工作负载并分配面积预算 - 通过阅读成本模型代码，识别出 MMA tile 几何参数对面积“基本免费”，并依据延迟恒等式而非盲目采样做出决策 - 提出可证伪假设（如“缓存容量是松弛的”），在被模拟结果证伪后明确撤回（“v5 thesis falsified”） - 在受控条件下复测先前被混淆变量污染的假设 - 基于对评估器源码的理解，推翻 Critic 关于固定 HBM 带宽的错误建议 - Opaque 条件：Agent 的推理呈现纯粹的坐标空间 bookkeeping，例如记录 “ x(12)=0.25, x_6=0.108 ” 的收敛模式，判断“噪声plateau”，进行“frozen-axis sweeps”，而完全缺乏对物理机制的指涉。该对比提供了“语义表征确实被用于架构层面因果推理”的最直接定性证据。 ### 4. Prompt 版本敏感性实验（Appendix B.7）论文额外测试了四代相继演化的 prompt（v1–v4），以评估结果对提示工程的稳健性。这些实验为补充性探索，仅 v1 用于上述主实验的 2×2 矩阵： - v1（基线）：建立标准的 Actor–Critic 与单 Agent 流程，Actor 每轮编写 Python 优化器并提交单一设计，Critic 提供回顾性建议。 - v2（Critic Prompt 重写）：重写 Critic 指令，增加：（i）HBM 带宽固定不可调的显式护栏；（ii）要求报告最优/次优设计与覆盖度；（iii）引入局部收敛与简洁性规则。 - v3（搜索循环修复）：修正 v2 遗留的搜索病理行为，包括将局部收敛推迟至最后两轮、强制 Critic 信任 harness 提供的剩余轮次计数器、以及 harness 对历史评估点的结果缓存复用。 - v4（架构探索指令）：强制 Actor 在连续两轮改进不足 0.5% 时，提出至少三种结构迥异的架构原型（如移除寄存器文件层级、激活 L3 缓存、或进行 SM 数量与缓存带宽的大额权衡）。该版本仅用于 hardware-aware Actor–Critic，以探索克服坐标下降停滞的策略。结果表明，同一 prompt 下的不同运行之间的方差，与不同 prompt 版本之间的方差相当，提示性能差异主要源于优化动态而非提示细节。 ### 5. 约束与局限性声明论文明确将上述所有结果定位为初步发现（preliminary findings），关键限制包括： - 每种条件仅 5–6 次运行 - 仅在单一建模加速器（基于 A100 物理包络、4N 工艺节点、固定 HBM 带宽）上测试 - 工作负载篮仅包含 9 个 GEMM 内核，未覆盖注意力、通信原语或稀疏算子等异构操作作者指出，实验目的并非提出一个全面优于 H200 的加速器，而是建立一种可复现的比较方法，使“AI 是否理解架构”成为一个可被逐步逼近的操作化问题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与局限性声明，以下几个方面具有明确的进一步探索价值： ### 1. 异构算子与更复杂的工作负载当前实验仅使用了九核 FP16 GEMM 篮子，覆盖范围限于矩阵乘法变体。作者指出，未来的关键方向是引入异构操作，例如： - 注意力机制（attention） - 通信原语（collectives） - 稀疏层（sparse layers）这些算子对内存层次结构和数据流模式提出与 GEMM 根本不同的要求，可能打破当前设计空间中“宽泛近最优plateau”的局面，从而迫使 agent 必须进行真正的架构权衡，而非依赖无意义的坐标搜索。 ### 2. 更严格的评估预算约束论文认为 materially smaller evaluation budgets 是最有可能首先显现差异的轴。在当前实验中，agent 拥有相对充裕的采样预算（每轮最多 300 次模拟调用，共 12 轮），使得即使基于错误假设的搜索也能通过后续采样自我修正。若将评估预算压缩至无法通过蛮力采样覆盖错误假设的程度，则架构层面的先验知识将成为稀缺资源，hardware-aware 与 opaque 条件之间的差距可能被显著放大。 ### 3. 更紧的物理与面积约束当前候选设计被宽松地限制在 A100 物理包络内（4N 工艺下留有 185.6 mm² 余量）。引入更严苛的约束条件（如更严格的面积预算、海岸线限制或功耗墙）会缩小可行区域的体积，提高找到可行解的难度，进而检验 agent 是否能利用物理语义知识高效导航约束边界，而非在匿名空间中盲目碰壁。 ### 4. 更大规模的设计空间虽然当前空间已是 15 维，但作者暗示需要探索更大、更丰富的设计空间。增加可调参数的数量和相互作用复杂度（例如更细粒度的缓存一致性配置、互联拓扑、或动态电压频率调节）可能提升问题的内在维度，使得无结构的黑盒搜索遭遇维度灾难，而语义引导的搜索保持相对优势。 ### 5. 统计稳健性与跨架构泛化现有结果基于单一建模加速器且每种条件仅 5–6 次运行，统计效力有限。未来需要： - 在多种参考底盘（reference chassis）和工艺节点上重复实验 - 增加运行次数以降低随机性方差 - 测试 agent 是否能把在一个架构上学到的知识迁移到下一个架构，这是区分“真正理解”与“过拟合搜索”的关键标准 ### 6. 知识批判替代关系的深层机制论文发现 architectural knowledge 与 structured dialectical critique 表现为替代品（substitutes）而非互补品。这一结论本身需要更精细的解构： - 是否存在特定的搜索阶段（早期探索 vs. 后期微调）使二者分别发挥不可替代的作用？ - Critic 在 opaque 条件下究竟恢复了哪类结构（如坐标相关性、局部凹凸性）来弥补语义缺失？ - 能否设计一种混合机制，使知识引导与批评循环产生超加性（super-additive）效应？ ### 7. 更困难的优化地形（optimization landscape）当前结果的一个“不舒服”的解释是：问题可能过于简单。未来工作应刻意构造或寻找具有以下特征的地形： - 尖锐的约束边界 - 狭窄的山脊状最优区域 - 高度非线性的参数交互 - 多模态目标函数只有在这样的地形中，才能可靠地甄别 agent 是在进行物理因果推理，还是仅仅执行复杂的坐标攀登。 Q6: 总结一下论文的主要内容论文研究了 AI agent 在计算机架构设计中的成功究竟是源于对硬件的真正理解，还是仅仅源于高效的黑盒搜索。现有工作无法区分这两种机制，因为它们在改变 agent 的同时固定了问题的表述方式，从而混淆了通用优化技能与领域特定知识。 ## 核心方法：AutoTuring 为将“理解”与“搜索”分离开来，论文提出 AutoTuring，一个用于 GPU 加速器设计空间探索（DSE）的 agent 框架。其关键创新在于控制变量：将同一个 15 维加速器设计空间、同一个评估器（基于 LLMCompass 的模拟器）、同一组物理约束（面积与海岸线预算）和同一组工作负载（九核 FP16 GEMM 篮子）呈现给同一个 agent，唯一改变的是问题是否具有可解释的物理意义： - Hardware-aware（架构师）视图：参数为具名硬件旋钮（如 num_sms、l2_mb、tc_m 等），反馈为可解释的模拟器计数器。Agent 可以利用计算机架构的语义知识进行因果推理。 - Opaque（黑盒优化器）视图：相同的物理空间被编码为 15 个匿名连续变量 x_0, dots, x(14) ∈

Authors: Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19387.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19387

Published: 2026-09-21T01:40:44.643Z

8. MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs

中文摘要

摘要：大型语言模型（LLM）编码代理目前能够生成复杂程序，其规模大到使彻底的人类审查日益困难，从而增加了安全和保障失败的风险。常见方法，包括模糊测试、静态分析以及将LLM作为验证器（LLM-as-a-Verifier），可以检测许多故障，但在覆盖所有可能的边缘情况方面仍存在困难。形式化验证通过对指定属性提供机器可检验的保证来解决这一问题，但传统上需要大量的人工规范和证明工程。我们提出了一个统一的多代理框架MAGS，该框架使用Dafny作为具有验证意识的中间表示生成可执行程序，从而提供形式化的安全保证，在其中安全属性可以被机械地检查。MAGS将人工审核的API和安全要求形式化并固定，将生成的代码翻译为Dafny，使用验证器反馈修复违规，并将经过验证的程序编译回可执行代码。我们在100个CUDA内核、100个终端脚本和20个机械臂任务上评估了MAGS。在所有220个示例中，它在生成符合固定规范的非平凡安全保证的程序方面达到了100%的成功率。独立的安全性和功能评估进一步显示其在所有三个领域均表现出色，同时也揭示了当自动形式化语义未能完全捕捉目标行为时存在失败情况。

LLM Analysis

Authors: Albert Wu, Nicholas Roberts, Tzu-Heng Huang, Haoran Lin, Gil Friedman, Sungjun Cho, Gabriel Orlanski, Frederic Sala

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19391.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19391

Published: 2026-09-21T01:40:44.643Z

9. Closed-World Resolution Against Tool Hallucination in LLM Agents

中文摘要

摘要：增强工具的大型语言模型（LLM）代理以一种任何工具选择或工具安全方法都无法解决的方式失败：它们调用不存在的工具，并传递任何模式未声明的参数。现有防御要么选择正确的工具（选择），要么限制代理可以使用实际工具的方式（门控），这两者都假设发出的调用至少指向一个真实的工具。我们表明这是一个结构性的盲点：幻觉调用本质上不是任何门控作出的决策，因此没有门控能够拒绝它。本文主要是一个测量和基准研究。我们提供了五类工具幻觉分类（H1-H5），并作为参考点提出了解析阶梯（Resolution Rung）：一个无需训练、封闭世界的解析器（注册表成员资格加签名检查），其重点在于它必须处于的位置，而不是它计算的内容。我们证明，幻觉防御必须先于任何因果门控，并描述了一个不可约剩余（借用的参数模式与有效调用在结构上无法区分）。在两个调用界面下对十个托管模型，我们测量了322次真实幻觉；伪造工具调用集中出现在不受限制的原始JSON界面（34次对3次），而模型规模无助于减少幻觉（一个675B模型与一个7-8B模型表现相同）。然后我们扩展到模型上下文协议（MCP），其中将多个服务器合并到一个命名空间会产生单一注册表无法表达的幻觉界面（第二类分类，M1-M5）；在实时MCP界面上，我们测量了154次幻觉，包括来自在单注册表界面上清晰的前沿模型，因为冲突和遮蔽是合并的结构性现象。我们发布了版本化的幻觉工具基准（HTB），以便任何解析器在各次提交中都可以进行比较。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19425 (HTTP 429)

Authors: Laxmipriya Ganesh Iyer

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19425.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19425

Published: 2026-09-21T01:40:44.643Z

10. The syntax and semantics of goals

中文摘要

摘要：在认知科学和计算机科学中，目标被概念化为认知状态，这些认知状态能够灵活地与世界知识结合，以组织和具体化有目的的行为。这样，目标就是复合性的表征，其内容与理性行为相关。我们在这里强调目标作为表征及其内容，因为这凸显了与认知科学其他领域的平行——特别是语言学和逻辑中的句法-语义接口——同时也突出了关于不同目标表征的表达能力、设计和效率的基础性问题。例如，目标通常被视为固定的并对可取的行为施加约束，但我们也可以识别对目标表征自身的约束，例如某种特定的目标语言是否足够表达感兴趣的行为，或者不同的目标表征是否捕捉相同的行为。在这里，我们综合了旨在描述不同目标表征属性的研究，并提出这些属性是更广泛设计空间的一部分。最后，我们讨论了区分目标的形式和意义如何能够阐明我们对目标所持的隐含假设，指导对高级认知与动机之间互动的研究，并为不同目标概念的变异轴提供明确界定。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19448 (HTTP 429)

Authors: David M. Abel, Mark K. Ho

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.19448.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19448

Published: 2026-09-21T01:40:44.643Z

VLM Domain Papers

1. Open ultrasound foundation model for robust segmentation and clinical measurement across heterogeneous settings

Abstract:Ultrasound is the most widely deployed imaging modality worldwide, yet clinical AI remains fragmented into narrow single-task models that fail when device, operator, or anatomy changes. Here we present SonoCorpus, an open resource unifying 456,963 images and 1,626,085 expert masks from 53 public datasets spanning 24 clinical applications and 17 countries, and SonoBase, an interactive segmentation foundation model pretrained on it. Across fifteen evaluation datasets introducing new organs, devices, operators, and geographies, SonoBase outperforms SAM2, MedSAM2, and the concept-promptable MedSAM3 on every dataset and matches per-dataset specialist models trained on the same data; on fully external data it exceeds the accuracy these baselines achieve on their own in-distribution benchmarks. Ejection fraction derived from its segmentations falls within inter-observer variability (6.63\% error), with fewer misclassifications at the defibrillator-candidacy threshold than either promptable baseline (13\% versus 18—42\%); fetal head-circumference (1.81~mm) and gestational-age (1.2 days) errors fall below inter-observer variability. Where a baseline fails outright, one in four test cases, SonoBase recovers a usable segmentation in 81\% of them, including on handheld probes operated by minimally trained users in two low- and middle-income countries (Sierra Leone and Tanzania). Five labeled examples can help the model adapt to a new setting, and the identical training protocol transfers well to newer models such as SAM3, locating the advantage in ultrasound-specific pretraining rather than any single architecture. To ensure reproducibility and enable the community to build on SonoBase as a platform, we release all checkpoints, optimizer states, data-split indices, deduplication hashes, and starter code.

中文摘要

摘要：超声是全球部署最广泛的成像模式，但临床人工智能仍分散为狭窄的单一任务模型，当设备、操作员或解剖结构发生变化时就会失效。这里介绍SonoCorpus，一个开放资源，整合了来自24个临床应用和17个国家53个公共数据集的456,963张图像和1,626,085个专家面罩，以及基于该模型预训练的交互式分割基础模型SonoBase。在15个引入新器官、设备、操作员和地理的评估数据集中，SonoBase在所有数据集上都优于SAM2、MedSAM2和可概念提示的MedSAM3，并匹配了基于同一数据训练的每个数据集的专家模型;在完全外部数据中，SonoBase的准确性超过了这些基线在自身的分发基准测试中所取得的准确性。其切割所得的射血分数属于观察者间变异性（6.63%误差），在除颤器-候选人阈值处的误分类比可提示基线（13%对18—42%）更少;胎儿头围误差（1.81~毫米）和孕龄误差（1.2天）低于观察者间变异性。在基线完全失败时，四分之一的测试案例中，SonoBase在81%的测试案例中恢复了可用的分割，包括由训练最少的用户操作的手持探头，地点为两个低收入和中等收入国家（塞拉利昂和坦桑尼亚）。五个标记示例有助于模型适应新环境，且相同的训练协议也能很好地迁移到新模型如SAM3，优势在于超声特异的预训练，而非单一架构。为了确保可重复性并让社区能够基于 SonoBase 平台构建，我们发布了所有检查点、优化器状态、数据拆分索引、去重哈希和起始代码。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19230 (HTTP 429)

Authors: Chao Qin, Fahad Shahbaz Khan, Salman Khan, Sarim Ather, Siddiq Anwar, Rao Muhammad Anwer, Shadab Khan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19230.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19230

Published: 2026-09-21T01:41:06.842Z

2. RAUL: Reference-Assisted Ureteroscopy Localization for Skill Assessment

Abstract:Objective: Incomplete navigation of anatomy during ureteroscopic kidney stone surgeries can contribute to repeat interventions. While skilled surgeons have lower reintervention rates, there are no objective metrics to quantify scope-navigation performance to evaluate when a trainee becomes skilled. This work aims to recover ureteroscope trajectories from endoscopic video and derive navigation metrics to quantify differences in skill. Methods: We propose RAUL, a reference-assisted reconstruction framework for recovering ureteroscope trajectories from ureteroscope videos only in phantoms. For each phantom, we use a slow, high-quality reference exploration video to generate a reference reconstruction. We localize subsequent exploration videos against this reference. We evaluate localization accuracy against electromagnetically tracked scope pose. We compute navigation metrics from phantom exploration trajectories to compare surgical residents across experience levels. Results: The proposed reference-assisted framework achieves a mean translation root mean square error of $0.5 \pm 0.1$ mm across 9 phantoms. Compared to standard Structure-from-Motion (SfM), the proposed pipeline increases frame-wise localization coverage from $50.5 \pm 14.9\%$ to $86.1 \pm 7.2\%$ of all video frames. The reconstructed trajectories revealed significant differences between high- and low-experience trainees in established navigation metrics. Conclusion: RAUL enables substantially more complete recovery of ureteroscope trajectories from videos compared to standard SfM pipelines, enabling trajectory-based skill assessment without additional tracking equipment. Significance: To the best of our knowledge, this is the first use of video-only recovery of ureteroscope trajectories without external tracking sensors for skill assessment, supporting scalable automated assessment of ureteroscopy navigation skill.

中文摘要

摘要：目标：输尿管镜肾结石手术中解剖导航不完整可能导致重复干预。虽然熟练外科医生的再介入率较低，但目前尚无客观指标来量化内窥镜导航表现，以评估学员何时具备技能。本研究旨在从内窥镜视频中恢复输尿管镜轨迹，并推导导航指标以量化技能差异。方法：我们提出了RAUL辅助重建框架，仅用于从幻影中的输尿管镜视频恢复输尿管镜轨迹。对于每个幻影，我们使用一段缓慢且高质量的参考探索视频生成参考重建。我们对后续的探索视频进行定位，并基于该参考进行定位。我们评估定位精度与电磁追踪的内窥镜姿势。我们从幻影探索轨迹计算导航指标，以比较不同经验水平的外科住院医师。结果：拟议的参考辅助框架在9个幻影中实现了平均翻译均方根误差为$0.5 \pm 0.1 mm。与标准的Structure-from-Motion（SfM）相比，拟议流程将所有视频帧的逐帧定位覆盖率从$50.5 \pm 14.9%%提升至$86.1 \pm 7.2%$。重建后的轨迹显示，高经验和低经验学员在既定导航指标上存在显著差异。结论：与标准SfM流程相比，RAUL能够显著更完整地从视频中恢复输尿管镜轨迹，实现基于轨迹的技能评估，无需额外跟踪设备。重要性：据我们所知，这是首次在无外部跟踪传感器的情况下，仅通过视频回收输尿管镜轨迹进行技能评估，支持可扩展的自动输尿管镜导航技能评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19236 (HTTP 429)

Authors: Fangjie Li, Mai Bui, Charan Mohan, Michael Miga, Matthieu Chabanas, Nicholas Kavoussi, Jie Ying Wu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19236.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19236

Published: 2026-09-21T01:41:06.842Z

3. Can Vision-Language Models Judge Olympic Diving? From Reasoning to Scores in Zero-Shot Action Quality Assessment

Abstract:Automated action quality assessment (AQA) in Olympic sports remains a challenging task due to the complexity of human motion and the subjectivity inherent in expert judging. This work evaluates the capability of open-source Vision-Language Models (VLMs) to perform zero-shot action quality assessment on Olympic diving videos using the AQA-7 benchmark dataset. In this regard, a regression-based framework is pro-posed to leverage both the semantic reasoning and phase-level sub-scores generated by the VLMs, combining TF-IDF vectorization, dimensionality reduction, and ensemble learning to predict final competition scores. Experimental results show that standalone VLMs achieve moderate Spearman correlations below 0.32, while the proposed ensemble regression framework substantially improves performance in the reported evaluation, reaching a Spearman correlation of 0.67 with a four-model configuration. Textual reasoning features con-sistently outperformed raw numerical sub-scores, highlighting the richness of VLM-generated explanations for action quality analysis. These findings suggest that VLMs hold strong potential as assistive tools for explainable and semi-automated sports performance evaluation. The code is publicly available on GitHub this https URL diving judge vlm

中文摘要

摘要：由于人体运动的复杂性以及专家裁判评分中的主观性，奥林匹克体育项目中的自动化动作质量评估（AQA）仍然是一项具有挑战性的任务。本研究评估了开源视觉-语言模型（VLMs）在使用 AQA-7 基准数据集对奥运跳水视频进行零样本动作质量评估的能力。在这方面，提出了一种基于回归的框架，以利用 VLMs 生成的语义推理和阶段级子分数，并结合 TF-IDF 向量化、降维和集成学习来预测最终比赛分数。实验结果表明，单独的 VLMs 达到的斯皮尔曼相关性适中，低于 0.32，而所提出的集成回归框架在报告的评估中显著提升了性能，四模型配置下斯皮尔曼相关性达到了 0.67。文本推理特征的一致表现优于原始数字子分数，突显了 VLM 生成的解释在动作质量分析中的丰富性。这些发现表明，VLMs 具有作为可解释和半自动化运动表现评估辅助工具的强大潜力。代码已公开发布在 GitHub 上，链接为 https URL diving judge vlm。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19354 (HTTP 429)

Authors: Henry O. Velesaca, David Freire-Obregon, Luigi Miranda, Abel Reyes-Angulo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19354.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19354

Published: 2026-09-21T01:41:06.842Z

4. Open-vocabulary 3D object detection with promptable segmentation

Abstract:Three-dimensional object detection for autonomous driving is dominated by detectors trained on large corpora of human-annotated 3D boxes. Such a detector learns a fixed category list, and everything outside it is invisible. This paper asks whether the task can be solved training-free and open-vocabulary. A promptable segmentation model (SAM3), queried with class names as text prompts, supplies instance masks in the vehicle’s six surround-view cameras, and the masks are turned into metric 3D boxes using the geometry of the scene. The core is a controlled three-stage comparison on nuScenes in which 2D detection is held fixed and only the source of 3D geometry changes. Geometry predicted from images alone reaches 0.183 mean average precision (mAP) under the official protocol; fitting boxes from raw LiDAR points inside the same masks with training-free rules reaches 0.298 mAP / 0.348 nuScenes detection score (NDS) at zero labeling cost; borrowing supervised box geometry at inference time lifts the same detections to 0.413 mAP / 0.555 NDS, which locates the pipeline’s largest deficit in measurement precision rather than 2D detection, while class confusion and confidence calibration survive that substitution. Reversing the direction, a three-state camera-witness rule built from the same masks improves a supervised LiDAR-only detector from 0.596 to 0.630 mAP, roughly half the gain of fully supervised camera fusion, with no training. A coverage analysis shows that SAM3 finds 84% of in-range objects with a correctly named mask; the classes that fail in the official metric are misnamed or geometrically unforgiving, not unseen.

中文摘要

摘要：用于自动驾驶的三维物体检测主要依赖于在大量人工标注的三维框训练出的检测器。这类检测器学习固定的类别列表，列表之外的物体则无法被识别。本文探讨了该任务是否可以在无需训练且开放词汇的情况下解决。一种可提示的分割模型（SAM3），通过类名文本提示查询，为车辆六个环视摄像头提供实例掩码，并利用场景几何将掩码转换为度量的三维框。核心是一项在nuScenes上的受控三阶段比较，其中二维检测保持不变，仅三维几何来源变化。仅通过图像预测几何在官方协议下达到0.183的平均精度（mAP）；在相同掩码内使用训练-free规则从原始LiDAR点拟合盒子可达到0.298 mAP / 0.348 nuScenes检测分数（NDS），且零标注成本；在推理时借用有监督的盒子几何，将相同检测的精度提升至0.413 mAP / 0.555 NDS，这表明流程的最大缺陷在于测量精度而非二维检测，同时类别混淆和置信度校准在替代过程中仍然存在。反向操作时，利用相同掩码构建的三状态摄像机目击规则将有监督的仅LiDAR检测器从0.596提升至0.630 mAP，大约是完全监督摄像机融合增益的一半，且无需训练。覆盖率分析表明，SAM3能找到84%处于有效范围内且名称正确的对象；在官方指标中失败的类别是因为命名错误或几何特征不利，而非从未见过。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19358 (HTTP 429)

Authors: Ömer Faruk Deniz, Mustafa Taha Koçyiğit

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19358.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19358

Published: 2026-09-21T01:41:06.842Z

5. LinePilot Digitizer: Line-Plot Recovery with Manual and Automatic Calibration

Abstract:Recovering numerical series from line plots requires accurate axis calibration and reliable curve extraction. We present LinePilot Digitizer (LinePilot), which combines continuous color-based curve recovery with three calibration modes: LinePilot (standard), LinePilot (enhanced), and LinePilot (OCR). We also introduce DigitizerBench, the first dedicated benchmark for systematically evaluating digitizer performance, using an orthogonal design spanning signal, rendering, and plot-structure factors with complementary automatic and human-guided evaluations. We evaluate performance using failure-penalized capped normalized root-mean-square error (FPC-NRMSE), which assigns unit loss to missing, unusable, or catastrophically inaccurate outputs. On DigitizerBench-Full, LinePilot (OCR) achieves the lowest mean FPC-NRMSE (0.672) and highest trusted usability (38.2%) among the tested automatic pipelines. On DigitizerBench-Lite, LinePilot (enhanced) achieves the lowest mean FPC-NRMSE (0.081), 100% output success, and highest trusted usability (93.3%). The orthogonal benchmark design further enables factor analysis to identify the factors that most significantly affect digitizer performance. Together, the three calibration modes provide a practical trade-off between automation, user control, and accuracy within a shared curve-recovery workflow.

中文摘要

摘要：从折线图中恢复数值序列需要精确的坐标轴校准和可靠的曲线提取。我们提出了 LinePilot 数字化工具（LinePilot），它将基于颜色的连续曲线恢复与三种校准模式相结合：LinePilot（标准）、LinePilot（增强）和 LinePilot（OCR）。我们还介绍了 DigitizerBench，这是首个用于系统评估数字化工具性能的专用基准，通过涉及信号、渲染和图表结构因素的正交设计，并辅以自动和人工指导评估。我们使用故障惩罚的上限归一化均方根误差（FPC-NRMSE）评估性能，该指标对缺失、不可用或严重不准确的输出分配单位损失。在 DigitizerBench-Full 上，LinePilot（OCR）在测试的自动化流程中实现了最低的平均 FPC-NRMSE（0.672）和最高的可信可用性（38.2%）。在 DigitizerBench-Lite 上，LinePilot（增强）实现了最低的平均 FPC-NRMSE（0.081）、100%的输出成功率以及最高的可信可用性（93.3%）。正交基准设计进一步使得因子分析成为可能，从而识别对数字化工具性能影响最显著的因素。总体而言，三种校准模式在共享的曲线恢复工作流中提供了自动化、用户控制和准确性之间的实际权衡。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19377 (HTTP 429)

Authors: Fengbo Ma, Rayan Akhtar, Aakash H. Joshi, Xiaoting Li, Haijian Sun, Zhen Xiang, Xianyan Chen, Yiping Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19377.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19377

Published: 2026-09-21T01:41:06.842Z

6. Riemannian—Lorentz Fusion of Vision Transformers and State-Space Models

Abstract:Scaling deep learning faces critical bottlenecks: data exhaustion, exponential training costs, and resource concentration. Model merging combines pre-trained checkpoints without gradient descent, offering orders-of-magnitude savings versus retraining. Combining independently trained vision models is difficult when their architectures and parameter shapes differ. Existing weight-space merging methods generally assume aligned, shape-compatible checkpoints, whereas a Vision Transformer (ViT) and a state-space model (SSM) implement token mixing with different operators. We study a hybrid Heterogeneous merging setting that retains both architectures while aligning parameter groups by semantic role. Our proposed Riemannian—Lorentz Parameter Fusion (RLPF) method projects aligned groups to common coordinates, lifts selected coordinates to the Lorentz hyperboloid model of hyperbolic space, computes a regularized geodesic barycenter, and decodes the result into the two branches. A learned gate then combines branch logits for each input. Component groups use fixed curvature values, with normalization parameters treated as Euclidean. In the results available in this manuscript, the fine-tuned system obtains 82.37\% on CIFAR-10, 75.04\% on Oxford-IIIT Pet, and 78.58\% top-1 accuracy on ImageNet-1K; the corresponding best-parent accuracies are 76.54\%, 71.42\%, and 76.42\%. On ImageNet-1K, the reported pre-fine-tuning initialization reaches 77.80\%. These results support further study of geometry-aware heterogeneous fusion, but not a training-free single-checkpoint merge: RLPF is a two-branch hybrid whose gate and reported final models are trained.

中文摘要

摘要：深度学习的扩展面临关键瓶颈：数据耗尽、指数级训练成本以及资源集中。模型合并无需梯度下降即可结合预训练检查点，相较于重新训练可节省数个数量级的成本。当视觉模型的架构和参数形状不同，独立训练的模型进行合并会非常困难。现有的权重空间合并方法通常假设检查点已对齐且形状兼容，而视觉变换器（ViT）和状态空间模型（SSM）使用不同算子实现令牌混合。我们研究了一种混合异构合并设置，在保留两种架构的同时按语义角色对齐参数组。我们提出的黎曼-洛伦兹参数融合（RLPF）方法将对齐的参数组投影到公共坐标系，将选定坐标提升到双曲空间的洛伦兹双曲面模型，计算正则化测地质心，并将结果解码到两个分支。然后，一个学习的门控对每个输入的分支logits进行组合。组件组使用固定的曲率值，归一化参数按欧氏处理。在本文提供的结果中，微调后的系统在CIFAR-10上达到82.37%准确率，Oxford-IIIT Pet上达到75.04%，在ImageNet-1K上的top-1准确率为78.58%；相应的最佳单源模型准确率分别为76.54%、71.42%和76.42%。在ImageNet-1K上，报告的微调前初始化达到77.80%。这些结果支持进一步研究几何感知的异构融合，但不支持无需训练的单检查点合并：RLPF是一个两分支的混合模型，其门控和所报告的最终模型均经过训练。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19384 (HTTP 429)

Authors: Badri N. Patro, Vijay S. Agneeswaran

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19384.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19384

Published: 2026-09-21T01:41:06.842Z

7. WZPlanner: Safe End-to-End Path Planning for Autonomous Driving in Work Zones

Abstract:Work zones alter lane geometry through temporary traffic controls and closures that may be absent from on-board maps, challenging autonomous vehicle (AV) perception and planning. Generalization is also limited by scarce public datasets with structured geometric supervision. We present WorkZonePlan, a dataset comprising 149K+ synthetic and 5K+ real-world multimodal samples with 3D annotations for lane boundaries, work zone boundaries, and driving trajectory options. It also provides 76 closed-loop CARLA scenarios replayed under three weather conditions, yielding 228 Bench2Drive-format evaluation routes. We introduce WAVE (Work-zone-focused AV data generation in Virtual and rEal Environments), a semi-automated pipeline for creating the dataset, and BoundaryFormer (BF), a transformer-based model that jointly predicts lane and work zone boundary polynomials and driving trajectories. BF uses slot attention for boundary prediction. Ablations show that a separate trajectory decoder using boundary slot features substantially improves trajectory prediction over a slot-attention-only approach. Building on this finding, BF++ offers Camera and Camera+LiDAR variants with metric ground-plane encoding, typed boundary/trajectory queries, long-range point anchors, image-space curve refinement, and conservative gated LiDAR fusion. On the 211 routes common to all four models at the evaluation freeze, BF++-Camera and BF++-Camera+LiDAR achieve Driving Scores of 63.0 and 64.4, respectively, compared with 59.3 for SimLingo and 26.1 for TransFuser++ (TF++). BF++ is 40 times smaller than SimLingo and more than 10 times smaller than TF++, while achieving higher Driving Scores. These results support jointly predicting lane boundaries, work zone boundaries, and driving trajectories as a promising direction toward safer AV operation in work zones. Code and dataset: this https URL.

中文摘要

摘要：施工区通过临时交通控制和封闭改变车道几何形状，这些在车载地图中可能没有显示，从而对自动驾驶车辆（AV）的感知和规划构成挑战。由于缺乏带结构化几何监督的公开数据集，泛化能力也受到限制。我们提出了WorkZonePlan数据集，包括149K+的合成样本和5K+的真实世界多模态样本，带有车道边界、施工区边界和驾驶轨迹选项的3D标注。它还提供了76个闭环CARLA场景，在三种天气条件下重放，生成228条Bench2Drive格式的评估路线。我们引入了WAVE（虚拟与真实环境中的施工区自动驾驶数据生成），这是一个半自动化的数据集生成流程；以及BoundaryFormer（BF），一种基于Transformer的模型，可联合预测车道边界、施工区边界多项式及驾驶轨迹。BF使用槽注意力进行边界预测。消融实验表明，使用边界槽特征的单独轨迹解码器相比仅使用槽注意力的方法，在轨迹预测上有显著提升。基于这一发现，BF++提供了Camera和Camera+LiDAR两种变体，具有度量地面编码、类型化边界/轨迹查询、远程点锚、图像空间曲线优化以及保守门控LiDAR融合。在评估冻结下所有四个模型共有的211条路线中，BF++-Camera和BF++-Camera+LiDAR的驾驶分数分别为63.0和64.4，而SimLingo为59.3，TransFuser++（TF++）为26.1。BF++比SimLingo小40倍，比TF++小10倍以上，同时实现了更高的驾驶分数。这些结果支持联合预测车道边界、施工区边界和驾驶轨迹作为朝向施工区更安全自动驾驶操作的有前景方向。代码和数据集可通过该https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19393 (HTTP 429)

Authors: Nishad Sahu, Changzhong Qian, Guangzhou Cai, Shounak Sural, Ragunathan, Rajkumar

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19393.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19393

Published: 2026-09-21T01:41:06.842Z

8. RGS: Reflection-aware Gaussian Splatting via Learning Geometry Continuity for Reflective Objects

Abstract:Gaussian Splatting has significantly improved the quality of novel view synthesis with explicit Gaussian representation. However, we observed that existing 3D Gaussian Splatting methods (3DGS) often suffer from surface collapse issues on reflective regions, and thus produce inferior geometry and low-quality specular. In this work, we propose a physically-based deferred rendering framework, named Reflection-aware Gaussian Splatting (RGS), that can accurately model specular regions and improve novel view synthesis performance. Specifically, we found that a powerful 3D foundation model can provide a strong 3D geometric prior to foster correct geometric modeling. Based on this, we propose a cross-view shape consistency regularization to regularize the geometry surface with the large model prior and cross-view constraints. In this manner, our RGS can produce smoother geometric surfaces on reflective regions while reducing geometric hollows. To further improve rendering results on reflective regions, we present a reflection-aware densification strategy that is designed to capture specular variations across various views. With this strategy, our RGS is able to render novel views of objects in higher quality. Extensive experiments demonstrate our method consistently renders high-quality reflective objects, achieving state-of-the-art performance.

中文摘要

摘要：高斯点溅（Gaussian Splatting）通过显式高斯表示显著提升了新视图合成的质量。然而，我们观察到现有的三维高斯点溅方法（3DGS）在反射区域经常存在表面塌陷问题，从而导致几何形状不佳和高光质量低。在本工作中，我们提出了一种基于物理的延迟渲染框架，称为反射感知高斯点溅（Reflection-aware Gaussian Splatting, RGS），能够准确建模高光区域并提升新视图合成性能。具体而言，我们发现强大的三维基础模型可以提供强有力的三维几何先验，从而促进正确的几何建模。在此基础上，我们提出了跨视图形状一致性正则化，以利用大模型先验和跨视图约束规范几何表面。通过这种方式，我们的RGS能够在反射区域生成更平滑的几何表面，同时减少几何空洞。为了进一步提升反射区域的渲染效果，我们提出了一种反射感知密集化策略，用于捕捉不同视图下的高光变化。利用该策略，我们的RGS能够高质量地渲染物体的新视图。大量实验表明，我们的方法能够稳定渲染高质量的反射物体，达到最先进的性能水平。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19421 (HTTP 429)

Authors: Xiaobiao Du, Yida Wang, Cheng Bi, Kun Zhan, Xin Yu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19421.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19421

Published: 2026-09-21T01:41:06.842Z

9. Seeing Abnormal from Normal: Glomerular Abnormality in Representations of Normal Renal Morphology

Abstract:Fine-grained evaluation of glomerular pathology must distinguish normal glomeruli from abnormalities such as global and segmental glomerulosclerosis, obsolescent, ischemic, solidified, disappearing, and atubular glomeruli. Supervised classification requires labeled examples of every category, which is impractical when subtypes are rare or absent from the training cohort. One-class anomaly detection offers an alternative by modeling normal data and scoring deviations, allowing previously unseen abnormalities to be detected. We use the frozen residual U-Net backbone of Omni-Seg, pretrained to segment structurally normal renal primitives without abnormal-subtype labels. We propose NoRDeC (Normal-Reference Detection and Characterization), a framework combining Mahalanobis normal-reference scoring with layer-wise representation analysis to determine whether and where glomerular pathology is encoded, how spatial aggregation affects detection, and whether abnormalities alter inter-layer relationships differently. Using glomerular images from two institutions, we evaluate backbone layers and aggregation strategies, compare NoRDeC with PaDiM and PatchCore, and analyze representations using centered kernel alignment (CKA). Layer 4 with Center-70 aggregation achieved a pooled AUROC of $0.926\pm0.013$. NoRDeC achieved the highest AUROC in six of seven abnormality categories and in the pooled analysis, while CKA suggested subtype-dependent changes in inter-layer relationships not captured by anomaly scores alone. The normal-reference model is fitted using only normal glomeruli; abnormality labels are used for configuration selection, evaluation, and grouping in the representation analysis. These results show that a frozen renal feature extractor can support both detection and representation-level characterization of glomerular abnormalities without using abnormal examples to fit the detector.

中文摘要

摘要：对肾小球病理的细粒度评估必须区分正常肾小球与异常肾小球，如全局和节段性肾小球硬化、退化性、缺血性、固化性、消失性和无小管肾小球。监督分类需要每个类别的标注示例，但当亚型稀少或在训练队列中缺失时，这不切实际。一类异常检测提供了一种替代方法，通过对正常数据建模并评分偏差，从而允许检测之前未见过的异常。我们使用Omni-Seg的冻结残差U-Net主干网络，该网络预训练用于分割结构上正常的肾脏原语，而无需异常亚型标签。我们提出NoRDeC（正常参考检测与表征），这是一个结合马氏距离正常参考评分与分层表示分析的框架，用于确定肾小球病理是否以及在哪里被编码，空间聚合如何影响检测，以及异常是否以不同方式改变层间关系。使用来自两个机构的肾小球图像，我们评估了主干网络层和聚合策略，比较了NoRDeC与PaDiM和PatchCore，并使用中心核对齐（CKA）分析表示。第4层结合Center-70聚合实现了汇总AUROC为$0.926\pm0.013$。NoRDeC在七类异常中的六类以及汇总分析中实现了最高AUROC，而CKA表明亚型依赖的层间关系变化无法仅通过异常评分捕获。正常参考模型仅使用正常肾小球进行拟合；异常标签用于配置选择、评估及表示分析中的分组。这些结果表明，冻结的肾脏特征提取器可以在不使用异常样本拟合检测器的情况下，同时支持肾小球异常的检测和表示层面的表征。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19444 (HTTP 429)

Authors: Greta Hasko, Rachit Saluja, Tianyu Shi, Leiyue Zhao, Yuechen Yang, Daniel Reisenbuechler, Tianyuan Yao, Zhenhao Guo, John Cannon, Haichun Yang, Yuankai Huo, Yuling Chi, Lorraine Gudas, Mert R. Sabuncu, Yihe Yang, Ruining Deng

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19444.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19444

Published: 2026-09-21T01:41:06.842Z

10. Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge

Abstract:The Mobile Unified Multimodal Understanding (MUMU) Challenge requires a single efficient model to jointly perform multi-concept image tagging, open-vocabulary object detection, and image captioning. We present Efficient Unified Multimodal Understanding (EUMU), the winning solution for the MUMU Track of the 8th LSVOS Challenge. EUMU builds on a shared pretrained multimodal model, using its prompt-based capabilities for detection and captioning and training lightweight heads on shared visual features to predict quality, scene, and event tags. Rather than treating the three tasks independently, EUMU applies task-aware inference refinement by reusing task outputs as cross-task cues. For detection, caption cues help recover objects missed by the initial detection. For captioning, detection cues help refine the caption to better reflect the detected objects. For tagging, image statistics refine quality predictions, while caption and detection cues refine scene and event predictions. This design unifies all three tasks within a single model while satisfying the challenge’s resource constraints. EUMU contains 239.169M parameters, requires 23.947 GFLOPs, uses 4.5 GB of peak inference memory, and achieves a final challenge score of 17.3409. Code and models are available at this https URL.

中文摘要

摘要：移动统一多模态理解（MUMU）挑战要求一个高效的单一模型联合执行多概念图像标注、开放词汇对象检测和图像生成描述。我们提出了高效统一多模态理解（EUMU），它是第八届LSVOS挑战MUMU赛道的获奖解决方案。EUMU基于共享的预训练多模态模型，利用其基于提示的检测和描述能力，并在共享视觉特征上训练轻量级头部以预测质量、场景和事件标签。EUMU不是将三项任务独立对待，而是通过将任务输出作为跨任务提示来应用任务感知推理优化。在检测任务中，描述提示有助于恢复初始检测中遗漏的物体。在图像生成描述任务中，检测提示有助于优化描述，使其更好地反映检测到的物体。在图像标注任务中，图像统计信息优化质量预测，而描述和检测提示优化场景和事件预测。这种设计在单一模型中统一了三项任务，同时满足挑战的资源限制。EUMU包含239.169M参数，需求23.947 GFLOPs，峰值推理内存为4.5 GB，并实现了最终挑战得分17.3409。代码和模型可在此https链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.19451 (HTTP 429)

Authors: Dayoung Kil, Seong-heum Kim

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.19451.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.19451

Published: 2026-09-21T01:41:06.842Z