ArXiv Domain 2026-10-01

数据来源：ArXiv Domain

LLM Domain Papers

1. FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech

Abstract:Natural turn-taking in full-duplex voice interaction requires determining from partial speech whether a pause reflects hesitation or a completed conversational intent. Acoustic voice activity detection lacks this semantic information, while cascaded ASR-based endpointing introduces transcription dependence and additional processing stages. We formulate semantic endpoint detection as a causal audio-language reasoning task and introduce FD-VAD, an ASR-free streaming endpointer that maps bounded causal audio windows directly to Continue/Stop decisions. FD-VAD combines a frozen speech encoder with a lightweight modality adapter and a parameter-efficiently adapted language model, using a last-chunk training objective for streaming inference. We further introduce confidence-gated endpoint commitment to control interruption versus delay and boundary-focused hard-negative sampling to improve decisions around ambiguous turn boundaries. Across in-domain and conversational evaluations, FD-VAD outperforms strong streaming and non-streaming semantic turn classifiers, and achieves the highest EOT recall among qualifying systems on TurnBench dev set $0.853$ (at FP<=0.10) in a zero-shot setting. These results show that semantic endpointing can be performed directly from streaming audio without intermediate ASR or dialogue state tracking.

中文摘要

摘要：全双工语音交互中的自然轮次切换需要根据部分语音判断停顿是表示犹豫还是完成了对话意图。声学语音活动检测缺乏这种语义信息，而级联的基于ASR的端点检测引入了对转录的依赖和额外的处理阶段。我们将语义端点检测表述为一个因果音频-语言推理任务，并引入FD-VAD，一种无需ASR的流式端点检测器，它将有限的因果音频窗口直接映射到继续/停止决策。FD-VAD结合了冻结的语音编码器、轻量级模态适配器和参数高效适配的语言模型，并使用最后一块训练目标进行流式推理。我们进一步引入了基于置信度的端点承诺，以控制打断与延迟，并采用聚焦边界的硬负样本抽样来改进模糊轮次边界的决策。在领域内和对话评估中，FD-VAD超越了强大的流式和非流式语义轮次分类器，并在零样本设置下，在TurnBench开发集上的EOT召回率达到最高$0.853$（在FP<=0.10时）。这些结果表明，语义端点检测可以直接从流式音频执行，无需中间ASR或对话状态跟踪。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35791 (HTTP 429)

Authors: Puneet Mathur, Dinesh Manocha

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35791.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35791

Published: 2026-10-01T02:24:15.086Z

2. Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention

Abstract:Just as Socrates recognized the limits of his own knowledge, Retrieval-Augmented Language Models (RALMs) should learn to abstain when the retrieved evidence cannot support a reliable response. Existing approaches largely rely on monolithic LLMs to handle heterogeneous retrieval failures in a single step, resulting in limited abstention performance and high computational costs. We instead decompose retrieval failures into two distinct states: (i) the unanswerable state, where the required evidence is absent, and (ii) the distracted state, where relevant evidence is mixed with conflicting, negated, or adversarial information. Based on this decomposition, we introduce a lightweight module (Sieve) that screens retrieved document sets for distracting evidence before invoking a costly LLM (Sage) for grounded generation and abstention. Evaluated across both general and high-stakes expert domains, our Sieve and Sage framework preemptively detects distracting noise, improving system accuracy by up to 69.4 percentage points and Macro-F1 by 55.2 percentage points compared to one-stage baselines. Furthermore, it achieves up to a 1.99x speedup, establishing a highly efficient and reliable abstention pipeline for RALM with abstention.

中文摘要

摘要：正如苏格拉底认识到自身知识的局限性一样，增强检索的语言模型（Retrieval-Augmented Language Models, RALMs）也应当在检索到的证据无法支持可靠回答时学会弃答。现有方法大多依赖单一的大型语言模型（LLM）在一步中处理异质的检索失败，导致弃答性能有限且计算成本高。我们则将检索失败分解为两个不同状态：（i）不可回答状态，即所需证据缺失；（ii）干扰状态，即相关证据与冲突、否定或对抗性信息混杂。基于此分解，我们引入了一个轻量级模块（Sieve），在调用成本高昂的LLM（Sage）进行有根据的生成和弃答之前，对检索到的文档集进行干扰证据筛查。在通用和高风险专家领域的评估中，我们的Sieve与Sage框架能够主动检测干扰噪声，相较于单步基线，将系统准确率提高了最多69.4个百分点，Macro-F1提高了55.2个百分点。此外，该方法实现了最高1.99倍的加速，建立了一个高效可靠的RALM弃答管道。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35794 (HTTP 429)

Authors: Jongbin Won, Sung Geun An, Jay-yoon Lee

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35794.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35794

Published: 2026-10-01T02:24:15.086Z

3. Developing an OCR model for Extracting Information from Invoices with Korean Language

Abstract:Invoices are commercial documents that contain various pieces of information, including the purchased items, time, and total money. Making the extraction of important information crucial. The stored information serves different purposes. Korean language is the native language of about 80 million people, playing an important role in not only South and North Korea but also in many other countries such as Vietnam, Philippine where a large number of Korean companies are located. In this context, to automatically extract proper information from the invoices with Korean language, we propose an efficient Optical Character Recognition (OCR) model in which a deep learning model is combined with some image preprocessing techniques. The proposed OCR model is assessed in a rich set of collected invoices showing that 87% F1-score can be achieved with negligible time processing.

中文摘要

摘要：发票是包含各种信息的商业文件，包括购买的商品、时间和总金额。因此，提取重要信息至关重要。存储的信息具有不同的用途。朝鲜语是约8000万人口的母语，在韩国和朝鲜，以及越南、菲律宾等许多韩国企业集中的其他国家中都起着重要作用。在这种背景下，为了自动从朝鲜语发票中提取适当的信息，我们提出了一种高效的光学字符识别（OCR）模型，该模型将深度学习模型与一些图像预处理技术相结合。通过在收集的大量发票上评估所提出的OCR模型，结果显示可以在可忽略的处理时间内实现87%的F1分数。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35796 (HTTP 429)

Authors: Xiem HoangVan, Phu TranQuang, Minh DinhBao, Tien VuHuu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35796.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35796

Published: 2026-10-01T02:24:15.086Z

4. Evaluating the Effects of Prompt Perturbation on Bias and Hallucination in Large Language Models

Abstract:Large language models (LLMs) have shown remarkable capabilities in various natural language processing tasks, leading to their widespread deployment as intelligent assistants in decision-making contexts. However, the increasing complexity of these models raises concerns about their reliability, particularly regarding bias and hallucination. In this work, we evaluate the robustness of LLMs to perturbed variations of the original inquiry in decision-making tasks. We show that contrary to previous studies, perturbations can mitigate bias and hallucination in some LLMs over other models. It’s found that Claude 3 is more effective for the tasks represented in most datasets, whereas models like GPT3.5 exhibit varying levels of adequacy, performing comparably in some cases but falling significantly behind in others. These insights are crucial for understanding the practical implications of deploying LLM-based assistants as effective decision-support tools in real-world applications, emphasising the need for rigorous testing and validation to ensure reliability and effectiveness. This study contributes to the growing body of research on LLM evaluation and provides insights for developing more robust and trustworthy AI assistants in critical decision-making contexts.

中文摘要

摘要：大型语言模型（LLMs）在各种自然语言处理任务中表现出显著能力，促使它们作为智能助手广泛应用于决策环境中。然而，这些模型日益复杂，也引发了对其可靠性的担忧，特别是在偏差和虚构方面。在本研究中，我们评估了LLMs在面对原始查询扰动变化时的稳健性在决策任务中的表现。我们显示，与以往研究相反，某些扰动可以在一些LLMs中减轻偏差和虚构，相较于其他模型。研究发现，Claude 3在大多数数据集中代表的任务中表现更为有效，而像GPT3.5这样的模型表现水平不一，在某些情况下表现相当，但在其他情况下明显落后。这些见解对于理解在真实应用中部署基于LLM的助手作为有效决策支持工具的实际意义至关重要，强调了进行严格测试和验证以确保可靠性和有效性的必要性。本研究为日益增长的LLM评估研究提供了贡献，并为在关键决策环境中开发更稳健、更可信赖的AI助手提供了洞察。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35804 (HTTP 429)

Authors: Mamehgol Yousefi, Ahmad Shahi, Mos Sharifi, Alvaro Romera, Simon Hoermann, Tham Piumsomboon

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35804.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35804

Published: 2026-10-01T02:24:15.086Z

5. Alignment Forecasting: Predicting Misalignment From Training Data

Abstract:Training a language model on data with a narrow flaw can sometimes make the model broadly misaligned. Inspecting the data at face value often does not settle whether it will emerge, and today it is caught only after training, by auditing the resulting model. To complement post-hoc audits, we introduce Alignment Forecasting: the task of predicting alignment failures before training. Given a target model, a fine-tuning dataset, and a failure mode such as deception or sycophancy, a forecaster outputs the probability that fine-tuning would meaningfully increase that failure mode. To measure progress on alignment forecasting, we introduce ALIGNMENTFORECASTBENCH, a benchmark of over 5,000 forecasting questions spanning 17 target models, 32 datasets, and 16 failure modes. Frontier models prompted directly perform poorly on ALIGNMENTFORECASTBENCH. We therefore propose a forecasting scaffold in which an LLM reads the dataset and rates how strongly and broadly it pushes the model toward misbehavior, and a simple learned model combines that rating with the failure mode’s base rate and the target model’s prior tendency. This forecasts well above chance, and beats a model fine-tuned on the task and a simple forecaster allowed to see how weaker models behaved after fine-tuning on the same data. Its signals also flag problematic training examples that a frontier-model classifier misses. Filtering those examples out from real post-training data such as UltraChat results in more aligned models on our multiple-choice evaluation in most cases, though the benefit in open-ended conversations is unclear. More progress is needed before forecasts can reliably guide training data curation in practice, but our results suggest that forecasting many alignment failures before training can be tractable in the SFT setting.

中文摘要

摘要：在数据中进行训练时，如果数据存在狭窄的缺陷，有时会导致语言模型出现广泛的不对齐。仅凭表面检查数据，通常无法确定这种问题是否会出现，目前通常只能在训练后通过审计生成的模型来发现。为了补充事后审计，我们引入了对齐预测（Alignment Forecasting）：即在训练前预测对齐失败的任务。给定一个目标模型、一组微调数据集以及一种失败模式（如欺骗或谄媚），预测器会输出微调将显著增加该失败模式的概率。为了衡量对齐预测的进展，我们引入了ALIGNMENTFORECASTBENCH，这是一个包含5000多个预测问题的基准，覆盖17个目标模型、32个数据集和16种失败模式。前沿模型在直接提示下在ALIGNMENTFORECASTBENCH上的表现很差。因此，我们提出了一种预测框架，其中大型语言模型（LLM）读取数据集并评估其推动模型产生不良行为的强度和广度，然后一个简单的学习模型将该评分与失败模式的基线概率及目标模型的先验倾向结合。这种方法的预测效果远高于随机，并超过了在该任务上微调的模型以及可以观察较弱模型在相同数据微调后的表现的简单预测器。其信号还能够标记出前沿模型分类器未能识别的问题训练样本。从实际的训练后数据（如UltraChat）中过滤掉这些样本，在大多数情况下会在我们的多项选择评估中得到更对齐的模型，尽管在开放式对话中的优势尚不明确。在预测能够可靠地指导训练数据整理之前，还需要更多进展，但我们的结果表明，在SFT设置中，在训练前预测许多对齐失败是可行的。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35805 (HTTP 429)

Authors: Chen Yueh-Han, Bruce W. Lee, Ilia Sucholutsky, Tomek Korbak

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35805.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35805

Published: 2026-10-01T02:24:15.086Z

6. From Lexical Baselines to Agentic Retrieval-Augmented Generation: Structured Skill and Responsibility-Level Extraction with the SFIA Framework

Abstract:Automated skill extraction underpins workforce planning, yet most systems represent skills as flat labels with no notion of the responsibility level at which a skill is practiced. The Skills Framework for the Information Age (SFIA) captures exactly this dimension, defining 147 professional skills across seven responsibility levels, but no automated LLM-based extraction targeting SFIA has been reported. We formalize the task as structured prediction of (skill, level) pairs from free text and ask three questions: how accurately can text be mapped onto SFIA’s closed vocabulary, which strategies reliably predict the level alongside the skill, and do agentic designs improve on simpler retrieval and prompting? We evaluate five strategies (a lexical baseline, dense retrieval with LLM reranking, a zero-shot schema-constrained LLM, single-agent agentic RAG, and a three-agent retriever—matcher—verifier crew) against expert-mapped European ICT role profiles, all drawing on an SFIA~9 corpus built by a fully automated agentic pipeline that we release. Retrieval-based matching identifies the most skills while generative strategies are markedly more precise; only strategies assigning the level as an explicit decision predict it reliably, with similarity-based selection more than twice as inaccurate; and the crew doubles latency without improving accuracy, so added agent roles do not automatically benefit closed-taxonomy matching. These results provide the first reproducible baseline for structured, level-aware skill extraction against SFIA.

中文摘要

摘要：自动化技能提取是劳动力规划的基础，但大多数系统将技能表示为平面标签，未体现技能实践的责任等级。《信息时代技能框架（SFIA）》正是捕捉了这一维度，定义了跨七个责任等级的147项专业技能，但尚未有针对SFIA的基于大型语言模型（LLM）的自动化提取报道。我们将该任务形式化为从自由文本中结构化预测（技能, 等级）对，并提出三个问题：文本能够多准确地映射到SFIA的封闭词汇表，哪些策略可以可靠地预测技能等级，以及代理设计是否优于更简单的检索和提示方法？我们评估了五种策略（词汇基线、带LLM重排的密集检索、零样本模式约束LLM、单代理智能RAG以及三代理检索-匹配-验证组合）与专家映射的欧洲ICT岗位资料进行对比，所有策略均基于我们通过全自动代理管道构建并发布的SFIA~9语料库。基于检索的匹配识别技能数量最多，而生成型策略则在精准度上明显更高；仅明确将等级作为决策的策略能够可靠预测，而基于相似度选择的策略准确率不足一半；三代理组合则增加了延迟但未提升准确率，因此增加代理角色并不必然有利于封闭分类匹配。这些结果为针对SFIA的结构化、等级感知技能提取提供了首个可复现的基线。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*自动化技能提取中缺乏“责任层级（responsibility level）”维度\*\*的问题，并针对\*\*SFIA（Skills Framework for the Information Age）框架\*\*建立了首个基于大语言模型的结构化提取基准。具体而言，其试图解决的问题可归纳为以下几个方面： ### 1. 现有技能表示的扁平化局限当前大多数自动化技能提取系统将技能表示为\*\*无层级区分的扁平标签\*\*（flat labels），仅能识别“具备何种技能”，却无法判断该技能是在何种\*\*责任层级\*\*上被实践的（例如：是遵循指令执行、独立工作、主导交付，还是制定战略）。这在 workforce planning（劳动力规划）中构成了关键缺口，因为招聘、人才分配与发展决策不仅依赖技能本身，更依赖其对应的成熟度与自主权层级。 ### 2. SFIA 框架的自动化提取空白 SFIA 定义了 \*\*147 项专业技能\*\*与 \*\*7 个通用责任层级\*\*（Levels 1–7），并通过自主性、影响力、复杂度和业务技能等维度对每个技能在各层级上的要求进行描述。与 ESCO、O\*NET 等框架不同，SFIA 具有全球适用性、版本化发布、且天然嵌入层级维度。然而，\*\*此前尚无针对 SFIA 的自动化 LLM-based 提取研究\*\*，现有工作也未将层级预测纳入技能匹配任务。 ### 3. 结构化预测任务的定义论文将问题形式化为一个\*\*封闭词汇的结构化预测任务\*\*：给定自由文本 t （如职位描述、课程大纲或角色摘要），匹配器需返回一组 (s_i, ell_i) 对，其中 s_i 为 147 个 SFIA 技能名称之一， ell_i ∈ 1, dots, 7 为该技能对应的责任层级。这要求系统同时解决： - \*\*词汇归一化\*\*：将非结构化文本映射到 SFIA 的封闭技能词汇表； - \*\*层级判定\*\*：为每个识别出的技能准确分配责任层级。 ### 4. 三类核心研究问题为系统性解决上述问题，论文提出并验证以下问题： - \*\*RQ1\*\*：自由文本映射到 SFIA 封闭词汇的准确性如何？ - \*\*RQ2\*\*：哪些策略能够在预测技能的同时可靠地预测责任层级？ - \*\*RQ3\*\*：Agentic（单智能体/多智能体）设计是否优于更简单的检索增强或零样本提示方法？简言之，该工作通过构建自动化语料库管道、设计五种对比策略（从词汇基线到多智能体 Crew），首次实现了面向 SFIA 的、可复现的\*\*层级感知技能提取基准\*\*，并揭示了检索与生成在“技能覆盖”与“层级精确性”上的互补性。 Q2: 有哪些相关研究？该论文从三个维度梳理了相关研究： ### 1. 技能提取与归一化（Skill Extraction and Normalization） - \*\*技能提取作为核心 NLP 任务\*\*：计算性就业市场分析领域已将技能提取与分类视为成熟的自然语言处理任务，但术语不一致仍是持续障碍

2
。 - **监督提取方法**：SkillSpan 提供了带标注跨度的监督提取方案
3
；大语言模型（LLM）在严格跨度指标上仍落后于监督提取器，但对连接性和隐含技能提及的处理方式有所不同
4
。 - **技能归一化到标准分类体系**：SkiLLMo 利用 Transformer 模型将提取的技能映射至 ESCO 分类法
7
；Clavié 与 Soulié 则采用“检索 + shortlisted LLM prompting”的零样本方式将自由文本匹配至 ESCO
6
。后者在方法论上最接近该论文的零样本与 RAG 匹配器，但其操作对象是不含责任层级的扁平分类体系。 - **结构化标签分类**：基于分类法引导的职业分类
11
是与该论文最相近的结构化标签任务类比。 - **SFIA 与层级预测的空白**：现有研究均未以 SFIA 作为映射目标，亦未在预测技能的同时预测其责任层级。 ### 2. 检索增强生成（Retrieval-Augmented Generation, RAG） - **RAG 基础**：RAG 通过检索证据为 LLM 生成提供依据

12
，包括在推理阶段使用冻结模型
13
；Gao 等人对该设计空间进行了系统综述
14
。 - **检索层的互补性**：密集检索（dense retrieval）
15
与基于 BM25 的稀疏词汇评分
16
捕获不同的语义信号，并在不同输入上呈现互补的错误模式
17
–
19
；混合检索策略能够提升 RAG 的准确性
20
。 - **动态证据组合**：该论文受此启发，向智能体同时暴露语义检索与 BM25 关键词检索作为独立工具，由智能体自主决定如何组合证据，而非采用固定的排序融合步骤（如 RRF
21
）。 ### 3. 智能体与多智能体系统（Agentic and Multi-Agent Systems） - **智能体 RAG（Agentic RAG）**：将检索与迭代推理及工具使用相结合

22
，其基础包括 ReAct 式的推理-行动交错框架
23
以及自反思检索机制
24
。 - **角色扮演与架构**：角色扮演提示（role-play prompting）被证实能提升零样本推理能力
25
，这直接启发了 CrewAI 中角色/目标/背景故事（role/goal/backstory）的结构设计
26
。 - **多智能体分解与协作**：多智能体系统通过角色专业化的智能体分解任务
27
–
29
；多智能体辩论可提升生成内容的事实性
30
，多智能体评判可提升评估质量
31
——这两者共同启发了该论文匹配器与语料库构建管道中“验证器智能体”的设计。 - **现有局限**：尽管存在多智能体简历筛选系统
32
，但其智能体交换的是临时结构化组件，而非来自封闭能力分类体系的标准化标签；该论文未发现此前有任何多智能体工作建立在类似 SFIA 的封闭分类法之上。 Q3: 论文如何解决这个问题？该研究通过**形式化结构化预测任务、构建全自动语料库、设计五种可对比的匹配策略，并在标准化评估框架上系统评测**来解决 SFIA 框架下的层级感知技能提取问题。具体方法论可分为以下五个层面： ### 1. 任务形式化将问题定义为**封闭词汇的多标签结构化预测**：给定自由文本 t （如职位描述、角色摘要或课程大纲），匹配器需返回一组有序对 (s_i, ell_i) ，其中 s_i 为 SFIA 9 定义的 147 个技能名称之一， ell_i ∈ 1, dots, 7 为该技能对应的责任层级。此形式化要求系统同时完成技能名归一化与层级判定。 ### 2. 全自动语料库构建由于 SFIA 9 此前无公开的结构化机器可读语料，该研究设计了一条**完全自动化的智能体管道**（fully automated agentic pipeline），将官方文档转化为 669 条带层级描述的技能记录，流程如下： - **获取（Acquisition）**：通过 Cloudflare Worker 爬取 sfia-online.org，将 5,461 个可访问页面存储为 markdown 与原始 HTML，其中 147 个技能页与 318 个非技能文档页进入下游处理。 - **框架上下文阶段**：由 Scout Agent 读取非技能页并提取框架级约定笔记，再由 Synthesizer Agent 将所有笔记压缩为一份不超过 400 个输出 token 的**常驻简报（standing briefing）**，作为背景信息预置于后续每个提取提示中。 - **提取（Extraction）**：对每个技能页进行一次 LLM Agent 调用，输入页面 markdown、HTML 主内容块及常驻简报，按 JSON Schema 输出结构化记录 code, level, text, reasoning 。提示仅规定“以技能名+层级标题开启记录”这一结构标准，不枚举存在哪些层级，完全由页面内容决定生成哪些 (code, level) 对。 - **验证（Validation）**：首先以**确定性范围守卫（deterministic range guard）**对照官方 SFIA 9 技能–层级图表拒绝任何非法组合；随后由 Verifier Agent 重新阅读原文，逐字检验记录是否为对应章节的完整、 verbatim 复制，拒绝非忠实副本。 - **结果**：提取器恰好生成图表定义的 672 对组合，范围守卫拦截 0 次越界生成，Verifier Agent 拒绝 3 条（残差 0.45%），最终释放 669 条覆盖全部 147 个技能的有效记录。 ### 3. 评估协议采用 **CWA 16458:2018** 中的 30 个欧洲 ICT 专业角色画像作为金标准（ground truth），每个画像包含一句摘要陈述与专家标注的 SFIA (skill, level) 映射（共 176 对，覆盖 74 个不同技能）。评估设计如下： - **数据限制**：由于金标准基于 SFIA 9 之前的版本，20 个金标准技能名（54 对，占 31%）已在 SFIA 9 中更名或废止，导致所有策略的**理论召回上限为 0.69**。 - **指标**：在 30 个角色上计算宏平均（macro-averaged）的**技能名层面**精确率（P）、召回率（R）、F1；在**正确命名的技能子集上**计算层级预测的**精确匹配准确率（Exact）**、**±1 准确率（W1）**与**平均绝对误差（MAE）** MAE = (1) / (n)∑ |ell_i - ell_i| ；同时记录每条查询的墙钟延迟（s/rec）。 ### 4. 五种匹配策略所有策略共享同一语料库（作为检索基底或封闭输出词表），并在同一评估框架下运行，但保留各自固有的决策逻辑： - **策略 1：词汇基线（BM25）**：基于 Okapi BM25 在技能–层级记录上打分，返回得分不低于查询最高分 0.7 倍的所有记录（相对阈值，非固定 Top- k ）。 - **策略 2：密集检索 + LLM 重排序（Dense + Rerank）**：使用 Qwen3-Embedding-0.6B 将记录以 “skill name: level text” 的形式嵌入 Qdrant 向量库；查询时按余弦相似度取前 20 条，再由 Llama-3.3-70B 逐条打分相关性，保留得分 ≥ 0.6 的候选。 - **策略 3：零样本 LLM（Zero-shot LLM）**：单次 LLM 调用，不检索外部语料，仅依赖参数化知识。输出由 JSON Schema 强制约束：skill 字段枚举 147 个名称，level 字段为整数 1–7。 - **策略 4：单智能体 Agentic RAG**：基于 CrewAI 的单 Agent 架构，持有两个工具——Qdrant 语义检索与 BM25 关键词检索——可迭代调用（最多 8 轮），最终输出经 Schema 验证与词表校验的 (s_i, ell_i) 对。 - **策略 5：多智能体 Crew（Retriever–Matcher–Verifier）**：三个顺序协作的 CrewAI Agent 共享同一模型：Retriever 持有双检索工具负责召回证据；Matcher 基于证据提议 (s_i, ell_i) 对；Verifier 负责剔除证据不支持的配对。任务输出以对话上下文链式传递。 ### 5. 模型选择与控制由于不同模型在函数调用与约束解码上的能力差异显著

40
，该研究对三种生成式策略（零样本、单智能体、多智能体）分别执行了**模型扫描（sweep）**： - 在全部 30 个角色上、temperature = 0 条件下逐模型运行； - 以**技能 F1** 为选拔标准，采纳各策略中 F1 最高的模型； - 所有扫描与最终运行严格串行执行，避免速率限制干扰。扫描结果中，零样本策略最终选用 Gemma-4-26B，单智能体选用 GLM-4.7-Flash，多智能体 Crew 选用 Kimi-K2.6。通过上述分层设计，该研究不仅建立了首个面向 SFIA 的可复现基准，还能够在**同一语料与评估框架**下，系统比较检索式、生成式与智能体架构在技能覆盖度与层级保真度上的差异化表现。 Q4: 论文做了哪些实验？该论文围绕**结构化 SFIA (skill, level) 提取**开展了一组系统对比实验，涵盖语料构建、模型选择扫描与主评估三个层面。具体实验内容如下： ### 1. 评估数据集与实验设置 - **金标准数据**：采用 **CWA 16458:2018** 中 30 个欧洲 ICT 专业角色画像（European ICT professional role profiles），每个画像包含一句摘要陈述（one-sentence summary）与专家标注的 SFIA (skill, level) 映射，共计 **176 对**、覆盖 **74 个不同技能**。 - **词汇漂移限制**：由于金标准基于 SFIA 9 之前的版本，其中 20 个技能名（54 对，占 31%）在 SFIA 9 中已被更名或废止，因此所有策略的**理论召回上限被严格限制为 0.69**。 - **输入条件**：每种匹配器仅接收角色摘要陈述作为查询，每个角色独立执行一次预测，返回所有适用的 (si, ell_i) 对。 ### 2. 评估指标实验从**技能名称匹配**与**责任层级预测**两个维度进行度量，所有指标均在 30 个角色上作宏平均（macro-averaged）： - **技能维度**：每角色的集合精确率（Precision）、召回率（Recall）、F1；最终 F1 为各角色 F1 的算术平均，而非 P 与 R 的调和平均。 - **层级维度**：仅在**技能名预测正确**的子集上计算： - 精确匹配准确率（Exact）： ell_i = ell_i 的比例； - 相邻容错准确率（W1）： |ell_i - ell_i| ≤ 1 的比例； - 平均绝对误差（MAE）： MAE = (1) / (n)∑(i=1)^(n) |ell_i - ell_i| 。 - **效率指标**：每条记录的平均墙钟延迟（mean wall-clock seconds per record）。 ### 3. 对比策略（五种）所有策略共享同一 669 条记录的 SFIA 9 语料库与同一评估框架，但在匹配机制上保持各自的原生设计： | 策略 | 核心机制 | |———|————-| | **BM25 词汇基线** | Okapi BM25 打分，返回得分不低于查询最高分 0.7 倍的所有记录。 | | **密集检索 + LLM 重排序** | Qwen3-Embedding-0.6B 嵌入至 Qdrant，余弦相似度取 Top-20，再由 Llama-3.3-70B 逐条打分，保留 ≥ 0.6 的候选。 | | **零样本 LLM** | 单次调用，无外部检索，输出由 JSON Schema 强制约束（skill 为 147 个枚举值，level 为 1–7 整数）。 | | **单智能体 Agentic RAG** | CrewAI 单 Agent，持有 Qdrant 语义检索与 BM25 两个工具，最多迭代 8 轮，输出经 Schema 与词表校验。 | | **多智能体 Crew** | 三个顺序 Agent（Retriever → Matcher → Verifier）共享同一模型，链式传递上下文；Verifier 负责剔除证据不足的配对。 | ### 4. 模型选择扫描实验由于不同模型在**函数调用**与**约束解码**上的能力差异显著，论文对三种生成式策略（零样本、单智能体、多智能体）分别执行了**全量模型扫描（model sweep）**： - **扫描条件**：temperature = 0，在全部 30 个角色上逐模型串行运行，避免速率限制干扰。 - **选拔标准**：以**技能 F1** 为单一指标，采纳各策略中 F1 最高的模型进入最终报告。各策略扫描规模如下： - **零样本 LLM**：扫描 **10 个模型**（Table II），最终选定 **Gemma-4-26B-A4B**（F1 0.176）。 - **单智能体 Agentic RAG**：扫描 **8 个模型**（Table III），最终选定 **GLM-4.7-Flash**（F1 0.236）。 - **多智能体 Crew**：扫描 **5 个模型**（Table IV），最终选定 **Kimi-K2.6**（F1 0.189）。扫描中同时记录了**失败率**（failed roles）：部分模型在 schema-constrained 解码或多轮工具对话中耗尽输出预算，导致返回空预测，直接记为零分。 ### 5. 主实验结果（Table I）在选定的最优模型配置下，五种策略的最终表现如下（关键数据）： | 策略 | P | R | F1 | MAE | Exact | W1 | s/rec | |———|—-|—-|—-|——-|———-|——-|———-| | BM25 | 0.141 | 0.133 | 0.128 | 0.94 | 0.260 | 0.875 | 0.001 | | Dense + Rerank | 0.266 | 0.243 | **0.232** | 1.60 | 0.181 | 0.436 | 6.17 | | Zero-shot LLM | **0.436** | 0.117 | 0.176 | 0.74 | 0.368 | **0.895** | 0.23 | | Agentic RAG | 0.361 | 0.172 | 0.213 | **0.68** | **0.526** | 0.816 | 167.1 | | Multi-agent Crew | 0.398 | 0.218 | 0.212 | 1.16 | 0.319 | 0.717 | **327.1** | ### 6. 关键实验发现基于上述结果，论文得出三项核心结论： - **检索策略覆盖更广，生成策略更精确**：Dense + Rerank 取得最高技能 F1（0.232），得益于最高的召回（0.243）；而 Zero-shot LLM 达到最高精确率（0.436），但召回极低。Agentic 策略（单/多智能体）在两者之间取得平衡。 - **层级预测必须依赖显式决策，而非相似度继承**：Dense + Rerank 的层级 MAE 高达 1.60，表现最差，因其层级仅由最近邻记录“附带”决定；而 Agentic RAG 与 Zero-shot LLM 通过 LLM 显式输出层级，MAE 分别降至 0.68 与 0.74，Exact 准确率显著提升。这一差距远超运行间方差，具有稳健性。 - **增加智能体角色并不必然提升性能**：多智能体 Crew 在技能 F1 上与单智能体几乎持平（0.212 vs. 0.213），但延迟翻倍（327 s/rec vs. 167 s/rec），且层级保真度明显恶化（MAE 1.16 vs. 0.68）。证据在对话上下文中链式传递时，似乎损失了单智能体直接从工具输出中读取描述符所获得的 grounding 效果。 ### 7. 模型扫描细节分析（Tables II–IV） - **零样本扫描（Table II）**：技能 F1 与层级准确率对模型的排序并不一致。例如 Llama-4-Scout-17B 的 F1 居中，但层级 Exact（0.694）与 MAE（0.36）最优；而 Gemma-4-26B 赢在综合 F1。此外，4 个模型因隐藏推理耗尽输出预算而频繁失败，表明**约束解码鲁棒性**与模型能力同等重要。 - **单智能体扫描（Table III）**：GLM-4.7-Flash 胜出，但部分模型（如 Llama-4-Scout-17B）虽具备函数调用标志，却从未实际调用检索工具，导致零分。 - **多智能体扫描（Table IV）**：单智能体胜者（GLM-4.7-Flash）在 Crew 中跌至第三，而 Kimi-K2.6 从单智能体第三升至 Crew 第一，说明**多智能体鲁棒性无法由单智能体工具使用表现直接推断**，与已有函数调用基准报告的跨设置方差一致

40
。简言之，实验通过**统一语料、统一评估、模型扫描与策略对比**，首次量化了在封闭分类法上进行层级感知技能提取时，检索深度、生成显式决策与智能体分解之间的权衡关系。 Q5: 有什么可以进一步探索的点？基于论文结论与局限性分析，可从以下几个方向进一步探索： ### 1. 更大规模与更新数据的验证当前评估仅基于 **30 个欧洲 ICT 角色画像**的单句摘要，且金标准源自 SFIA 9 之前的版本（存在 31% 的词汇漂移）。后续工作应在**更大、更新、且与 SFIA 9/10 完全对齐的数据集**上测试，以验证方法在更长输入（如完整职位描述、课程大纲）和更复杂语境下的泛化能力。 ### 2. 联合 (skill, level) 评估指标现有评估将技能名称匹配与层级预测分离度量：层级指标（MAE、Exact、W1）仅条件于“已正确命名技能”的子集，导致不同策略的 denominator 不一致。未来应设计**统一的联合指标**，例如将 (s_i, ell_i) 视为一个完整标签进行集合匹配，或引入加权损失函数：

L(joint) = L(skill)(si, s_i) + λ · 1([si = s)_i] · L(level)(ell_i, ell_i)
从而对“技能错误但层级接近”或“技能正确但层级偏离”的预测进行更精细的惩罚。 ### 3. 混合架构的深度探索论文明确指出，检索策略（Dense + Rerank）在**技能召回**上占优，而生成策略（Agentic RAG、Zero-shot）在**层级精确性**上显著更强。一个特别有前景的方向是设计**显式的两阶段混合架构**： - **阶段一**：利用密集检索或 BM25 广撒网，召回高覆盖率的候选 (s, ell) 记录； - **阶段二**：由 LLM 作为“层级仲裁者”（level adjudicator），基于候选记录的原文描述显式重评或重分配层级，而非直接继承最近邻的层级。这直接对应于论文提出的“retrieval for candidate discovery followed by explicit model-based skill and level adjudication”。 ### 4. 智能体行为的方差刻画与架构瘦身论文报告了同一配置在不同运行间存在显著方差（如 Crew 的 F1 从扫描时的 0.189 波动至最终 0.212）。未来应通过**多次重复运行**系统量化 agentic variance 的来源（如工具调用顺序、上下文窗口截断、解码随机性）。此外，多智能体 Crew 在延迟翻倍的同时未提升精度，提示需要研究**更轻量的单智能体设计**——例如通过更精细的提示工程或反射机制（self-reflection），在单轮或少数几轮内实现Verifier的功能，而非部署三个顺序 Agent。 ### 5. 端到端下游应用集成当前匹配器仅作为独立模块进行评估。未来可将其嵌入实际的人力资源系统链路中： - **申请人追踪系统（Applicant Tracking）**：将简历与职位描述的 SFIA 结构化表示进行对齐，实现基于 (skill, level) 的精确人岗匹配； - **劳动力缺口分析（Workforce Gap Analysis）**：通过对比团队现有能力矩阵与角色要求矩阵的 SFIA 编码，自动识别技能缺口与层级提升路径。 ### 6. 跨服务栈与模型的鲁棒性验证实验中的模型选择、函数调用行为及延迟特征均依赖于单一推理服务栈（Cloudflare Workers AI）。由于不同提供商和模型在**约束解码稳定性**与**多轮工具调用可靠性**上差异显著

40
，需在 OpenAI、Anthropic、本地 vLLM 等不同栈上复现，以验证排名与最优策略配置的迁移性。 ### 7. 语料库残差修复与版本演化当前全自动管道因 Verifier 拒绝了 3 条记录（残差 0.45%）而将其丢弃，其中至少 2 条经人工检查为误拒。未来可引入**人在回路校准**或**更宽松的 verbatim 匹配标准**以回收这些记录。同时，SFIA 为版本化发布（versioned releases），可探索**跨版本迁移机制**：当 SFIA 10 或更高版本发布时，如何利用已有语料与差分文档自动重建检索索引，而非重新执行完整提取流程。 ### 8. 序数层级关系的显式建模 SFIA 的 7 个责任层级具有天然序数结构（Ordinal Structure：自主性与复杂度随 level 单调递增）。当前方法将其视为离散分类（1–7 的整数）。引入**序数回归（Ordinal Regression）**或**层级感知的嵌入空间**（如确保 level 4 的表示介于 level 3 与 level 5 之间），可能进一步压缩 MAE 并提升相邻容错率。 Q6: 总结一下论文的主要内容该论文围绕**层级感知的自动化技能提取**展开，首次针对 **SFIA（Skills Framework for the Information Age）** 框架建立了基于大语言模型的结构化提取基准。核心内容可概括如下： —- ### 1. 研究问题与任务定义现有技能提取系统多将技能视为扁平标签，忽略了**责任层级（responsibility level）**这一关键维度。SFIA 定义了 147 项专业技能与 7 个层级（Levels 1–7），但此前尚无自动化 LLM 提取 targeting SFIA 的研究。论文将任务形式化为**封闭词汇的结构化预测**：给定自由文本 t ，输出一组 (s_i, ell_i) 对，其中 s_i 为 147 个 SFIA 技能之一， ell_i ∈ 1, dots, 7 为该技能对应的层级。围绕此任务，论文提出三个研究问题： - **RQ1**：自由文本映射到 SFIA 封闭词汇的准确性如何？ - **RQ2**：哪些策略能可靠地同时预测技能与责任层级？ - **RQ3**：智能体（agentic）与多智能体设计是否优于简单检索与提示？ —- ### 2. 全自动 SFIA 9 语料库构建由于缺乏现成语料，论文设计了一条**完全自动化的智能体管道**，将公开 SFIA 9 文档转化为结构化检索语料： - 通过爬虫获取 5,461 个页面，经 Scout Agent 提炼框架级背景信息，Extractor Agent 逐页提取 (code, level, text) 记录； - 使用**确定性范围守卫**核对官方技能–层级图表，再经 Verifier Agent 逐字检验副本保真度； - 最终产出 **669 条有效记录**（覆盖全部 147 个技能），零越界生成，残差误差 0.45%。 —- ### 3. 评估框架以 **CWA 16458:2018** 中的 30 个欧洲 ICT 角色画像为金标准（专家标注的 176 对 (skill, level) 映射）。由于金标准早于 SFIA 9，31% 的配对存在词汇漂移，所有策略的理论召回上限为 **0.69**。评估指标包括： - **技能维度**：宏平均精确率（P）、召回率（R）、F1； - **层级维度**（仅在技能名正确时计算）：精确匹配率（Exact）、相邻容错率（W1）、平均绝对误差（ MAE = (1) / (n)∑ |ell_i - ell_i| ）； - **效率**：每条记录平均墙钟延迟（s/rec）。 —- ### 4. 五种匹配策略与模型扫描在统一语料与统一评估框架下，对比了五种策略： 1. **BM25 词汇基线**：稀疏检索，相对阈值过滤； 2. **密集检索 + LLM 重排序**：Qdrant 语义检索 Top-20，经 Llama-3.3-70B 逐条打分； 3. **零样本 LLM**：单次调用，JSON Schema 强制约束输出，无外部检索； 4. **单智能体 Agentic RAG**：CrewAI 单 Agent 迭代调用语义与稀疏检索工具（最多 8 轮），输出经校验； 5. **多智能体 Crew**：Retriever–Matcher–Verifier 三 Agent 顺序协作，链式传递上下文。对三种生成式策略分别执行 temperature-0 的**模型扫描**（10/8/5 个候选模型），按技能 F1 选拔最优模型进入最终报告。 —- ### 5. 核心实验发现 | 维度 | 关键结果 | |———|————-| | **技能覆盖 vs. 精确** | 密集检索 + 重排序取得最高 F1（0.232）与召回（0.243）；零样本 LLM 精确率最高（0.436）但召回最低；Agentic 策略居于两者之间。 | | **层级预测** | 检索式层级的 MAE 高达 1.60（由最近邻记录附带继承），表现最差；单智能体 Agentic RAG 的 MAE 最低（0.68），零样本 LLM 亦达 0.74。**显式让 LLM 决策层级**显著优于相似度隐式继承。 | | **多智能体价值** | 三 Agent Crew 的技能 F1（0.212）与单智能体（0.213）基本持平，但延迟翻倍（327 s/rec vs. 167 s/rec），且层级 MAE 恶化至 1.16。**增加 Agent 角色并未提升封闭分类法匹配的精度**。 | —- ### 6. 结论与贡献论文的主要贡献包括： - 首次将 free-text-to-SFIA 匹配形式化为结构化预测任务，并释放完整的匹配器、语料管道与评估工具； - 提出全自动 SFIA 9 语料构建管道，实现零人工干预与可量化验证； - 在统一框架下系统对比五种代表策略，明确检索与生成在覆盖度与层级保真度上的互补性； - 报告了一项**负面结果**：多智能体分解对封闭分类法的层级感知提取并无益处，延迟成本显著。最终结论指向一种**更简单的混合设计**：以检索负责候选技能发现，再以生成式模型显式裁决技能与层级，而非 progressively deeper 的智能体分解。这为下游人力资源系统（如 applicant tracking 与 workforce gap analysis）提供了可复现的归一化与层级化能力表示基础。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ranuga Disansa, U. S. Samarasinghe, Lasith Gunawardena

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35806.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35806

Published: 2026-10-01T02:24:15.086Z

7. Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety

Abstract:LLM agents can make unsafe tool calls even when instructed to behave safely. Existing defenses constrain agents before execution, modify tool inputs/outputs, or rely on LLM judges; these approaches may depend on model behavior or block unsafe actions without helping the agent recover. We argue that the execution environment should instead enforce safety as the agent runs and steer it toward safe alternatives when violations occur—-we call this Environment Steering. We implement this by modeling the agent and harness execution state as database tables, track the record-level data flows, and check these data flows against declarative policies during runtime. When violations are detected, policy- and context-specific feedback steers the agent toward safe trajectories. On AgentDyn, this enables the agent to improve task success rate over no-defense while achieving 0% attack success rate.

中文摘要

摘要：即使在被指示安全行事的情况下，大型语言模型（LLM）代理仍可能进行不安全的工具调用。现有防御措施在执行前约束代理、修改工具输入/输出，或依赖LLM裁判；这些方法可能依赖模型行为，或在阻止不安全操作的同时无法帮助代理恢复。我们认为执行环境应在代理运行时强制执行安全，并在发生违规时引导其采取安全的替代方案——我们称之为环境引导（Environment Steering）。我们通过将代理和执行状态建模为数据库表来实现这一点，追踪记录级的数据流，并在运行时根据声明性策略检查这些数据流。当检测到违规时，基于策略和上下文的反馈会引导代理走向安全的执行路径。在AgentDyn上，这使得代理在没有防御的情况下提高任务成功率，同时实现攻击成功率为0%.

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*大型语言模型（LLM）智能体在执行任务时的安全性与效用权衡问题\*\*，尤其是智能体在运行过程中可能做出不安全的工具调用（tool calls）或返回敏感信息，即使其已被明确指示要安全行事。具体而言，论文针对以下几个核心问题展开： ### 1. 运行时安全违规的普遍性与隐蔽性智能体在工作流中可能因提示注入（prompt injection）、数据流污染或推理错误而导致严重后果，例如： - \*\*错误购买攻击者指定的商品\*\*（如 AgentDyn 购物场景中因广告注入而购买减肥药） - \*\*泄露敏感医疗记录\*\*（如 AgentLeak 中返回了非请求患者的病历） - \*\*盲目推送包含 API 密钥的文件\*\*（如 WildClawBench 中的代码泄露）这些违规往往具有\*\*隐蔽性\*\*：一个形式上完全合法的工具调用（如 \`buy(ProductID=p2)\`）可能因其参数 \`p2\` 源自被污染的电子邮件而非用户历史订单而成为安全违规。这种数据流层面的依赖关系只有在执行过程中才能显现，无法通过静态预计算计划完全识别。 ### 2. 现有防御机制的局限性论文指出，当前防御手段仅部分满足安全需求，存在明显缺陷： - \*\*规划时约束（Planning-time defenses）\*\*：在执行前限制智能体行为，或依赖智能体自觉遵守计划，无法应对执行过程中动态出现的对抗性数据。 - \*\*运行时语义护栏（Runtime semantic guardrails）\*\*：基于文本痕迹概率性地推断安全性，缺乏对执行状态、工具内部状态和数据流的可观测性。 - \*\*符号监控与信息流控制（Symbolic monitors / IFC）\*\*：虽然能约束动作或传播标签，但无法直接表达\*\*记录级别（record-level）的关系型数据溯源（provenance）\*\*约束。 - \*\*阻断但无恢复（Blocking without recovery）\*\*：多数防御仅阻止违规动作，但不向智能体提供如何构造合法替代动作的指导，导致任务失败率上升。 ### 3. 核心论点：环境应主动引导（Environment Steering）论文主张，\*\*执行环境本身应在运行时确定性强制执行安全策略，并在违规发生时主动将智能体引导回安全轨迹\*\*。这被称为 \*\*Environment Steering\*\*，其关键要求包括： - \*\*确定性执行（Deterministic enforcement）\*\*：基于执行状态、数据流和溯源信息，在动作提交前强制检查声明式策略，而非依赖 LLM 的概率性判断。 - \*\*上下文感知的纠正反馈（Context-aware feedback）\*\*：当检测到违规时，环境不仅阻断动作，还应返回包含失败约束、相关执行记录、策略解释及合法数据源的信息，帮助智能体重试并完成任务。 ### 4. 具体实现路径为实现上述目标，论文将智能体执行状态（提示、工具输入/输出、环境状态）建模为\*\*数据库关系（database relations）\*\*，并将待执行动作视为对这些关系的插入/更新操作。通过扩展 \*\*Data Flow Control (DFC)\*\* 机制，在运行时追踪记录级别的数据流（provenance），并针对违规动作触发 \*\*Constraint-Aware Retry\*\*，从而在不牺牲任务成功率的前提下将攻击成功率降至接近零。简言之，论文试图解决的根本问题是：\*\*如何在智能体执行工作流时，以确定性的、数据流感知的方式强制执行安全策略，同时通过环境反馈提升而非损害任务效用。\*\* Q2: 有哪些相关研究？根据论文内容，相关研究可分为基准测试、规划时防御、运行时防御（工具前/后）、信息流控制与符号监控，以及数据溯源基础等类别。 ### 1. 智能体安全基准测试这些基准定义了评估环境、任务模板与攻击方式，用于衡量任务成功率（TSR）与攻击成功率（ASR）： - \*\*AgentDojo\*\* (Debenedetti et al., 2024)：动态评估平台，提供 Workspace 等域以及 Important Instructions 等攻击方式。 - \*\*AgentDyn\*\* (Li et al., 2026b)：扩展 AgentDojo 的 harder 任务集，覆盖 Shopping、GitHub、Daily Life 等域，并引入 9 种现有防御作为对比基线。 - \*\*AgentLeak\*\* (Yagoubi et al., 2026)：专注于内部通道隐私泄露，包含单智能体与多智能体场景，仅测量 ASR。 - \*\*WildClawBench\*\* (Ding et al., 2026)：面向真实世界、长程智能体评估，其 Safety 域被用于测试代码与数据泄露场景。 ### 2. 规划时防御（Planning-time Defenses）在执行开始前约束智能体行为，通过预生成计划减少运行时偏差： - \*\*CaMeL\*\* (Debenedetti et al., 2025)：在发出工具调用前，将用户请求编译为确定性程序，以固定执行轨迹。 - \*\*Drift\*\* (Li et al., 2026a)：其 Planner 模块生成函数轨迹与参数约束，作为后续执行的参考计划。 ### 3. 运行时防御——工具调用前（Pre-tool Defenses）在工具即将执行时拦截或校验调用，论文将 DFC 定位于此拦截点： - \*\*Tool Filter\*\* (Willison, 2023)：基于必要性禁用被认为无关的工具。 - \*\*Progent\*\* (Shi et al., 2026)：强制执行工具特定的权限策略。 - \*\*Drift Validator\*\* (Li et al., 2026a)：判断智能体是否偏离预生成计划，并决定是否允许执行。 ### 4. 运行时防御——工具输出后（Post-tool Defenses）在工具输出返回并进入下一轮 LLM 提示前修改或检测内容： - \*\*Spotlighting\*\* (Hines et al., 2024; Rothney, 2025)：用特殊标识字符包裹工具输出，以区分用户指令与外部内容。 - \*\*Prompt Repetition / Sandwiching\*\* (Schulhoff, 2024)：在工具输出前后重复用户原始请求，强化指令优先级。 - \*\*Prompt Injection Detectors\*\*： - \*\*Prompt Guard\*\* (Meta AI, 2024) - \*\*PIGuard\*\* (Li et al., 2025) - \*\*ProtectAI.com\*\* (2024) 基于 DeBERTa 的检测器 - \*\*PromptArmor\*\* (Shi et al., 2025) - \*\*Drift Injection Isolator\*\* (Li et al., 2026a)：用于清理被污染的工具响应。 ### 5. 信息流控制与符号监控通过标签传播或显式状态约束来保障安全，但缺乏对记录级关系型溯源的直接表达： - \*\*Securing AI agents with information-flow control\*\* (Costa et al., 2025)：将信息流控制应用于智能体程序。 - \*\*AI agent execution environment to safeguard user data\*\* (Stanley et al., 2026)：构建智能体执行环境以保护用户数据。 - \*\*ToolSafe\*\* (Mou et al., 2026)：主动式步骤级护栏与反馈，可在违规时返回纠正信息，但不暴露失败的声明式约束与可用记录。 - \*\*AgentSpec\*\* (Wang et al., 2026)：可定制的运行时强制执行机制。 - \*\*ToolGate\*\* (Liu et al., 2026)：基于契约的已验证工具执行。 - \*\*GuardAgent\*\* (Xiang et al., 2025)：通过知识启用的推理构建护卫智能体。 ### 6. 数据溯源与数据流控制基础为论文提出的 Environment Steering 提供理论基础： - \*\*Provenance Semirings\*\* (Green et al., 2007)：数据库记录级溯源的基础框架，使用半环表达式编码输入记录对输出记录的联合（ × ）与替代（ + ）贡献。 - \*\*Data Flow Control (DFC)\*\* (Summers and Wu, 2026; Summers et al., 2026)：原本用于约束 SQL 查询中的记录级数据流，论文将其扩展应用于智能体执行环境。 ### 7. 其他相关研究 - \*\*Hugging Face 安全事件披露\*\* (Hugging Face, 2026)：作为真实世界中智能体/服务被攻击导致未授权操作的案例。 - \*\*Benchmark 构造效度讨论\*\* (Bean et al., 2025)：论文在 Limitations 中引用，指出当前基准测试可能未能完全捕捉其所声称测量的广义安全属性。 Q3: 论文如何解决这个问题？论文通过提出 \*\*Environment Steering\*\* 框架解决该问题，其核心是将安全执行的重心从智能体本身或静态规划转移到\*\*执行环境\*\*上。环境在运行时确定性追踪记录级数据流，对待提交的每一个动作进行声明式策略校验，并在违规时返回上下文感知的纠正反馈，引导智能体构造合法替代动作。具体解决方法可分为以下几个层面： --- ### 1. 核心思想：运行时环境引导（Environment Steering）与传统防御仅在执行前约束计划、或仅拦截动作但不提供恢复路径不同，该方法要求执行环境承担两项职责： - \*\*确定性强制（Deterministic Enforcement）\*\*：在动作真正生效前，基于完整的执行状态和数据溯源（provenance）判定其安全性，不依赖智能体的自我约束。 - \*\*主动引导（Active Steering）\*\*：当检测到违规时，环境不仅阻断动作，还暴露失败的策略约束、可用安全数据源及修正建议，使智能体能够继续推进原始任务。 --- ### 2. 关系型执行状态建模论文将智能体执行环境（harness）中的所有安全相关状态建模为一个\*\*状态数据库\*\* D 。具体而言： - \*\*用户提示\*\* u = P_u(∈_(P_u)) 由模板 P_u 与结构化输入记录 ∈_(P_u) 实例化。 - \*\*系统提示\*\* P_s 与 u 构成初始提示 P^0 = u + P_s 。 - 在第 i 次迭代中，智能体选择工具 t_i ∈ T 并构造输入记录 ∈_(t_i)^i ；工具执行后返回输出记录 out_(t_i)^i 。 - 执行状态被表示为若干关系（表）的集合：

D = In(P_u), In(t1), Out(t1), dots, In(tn), Out(t_n)
其中每个工具拥有与其参数和返回模式匹配的输入/输出关系，记录还包含任务标识符与循环迭代信息。任何待执行的工具调用或最终用户响应都被透明地拦截，视为对相应**输入关系**的提议插入（proposed insertion）：
INSERT INTO Int VALUES (∈_t)
—- ### 3. 记录级数据溯源（Provenance）为了判断一个提议插入是否安全，环境需要知道其参数值**从何而来**。论文采用数据库领域的行级溯源（row-level provenance）： - 每个输入记录被赋予符号标识符。 - 每个输出记录被标注为一个表达式，指明哪些输入记录联合（乘法 × ）或替代（加法 + ）地贡献了它。例如，若输出记录 o = (Red shirt) 由供应商记录 b_1 与产品记录 p_2 联接生成，则其溯源为：

P(o) = b1 × p_2
DFC 策略可以直接引用这些贡献记录的属性，即使最终输出中并不包含这些属性。 —- ### 4. 声明式数据流控制（DFC）策略在关系模型之上，论文使用声明式策略约束待执行动作。一个典型的 DFC 策略包含以下子句： - **SINK**：指定受保护的关系（即待插入的工具输入表，如 In(done) 或 CartAddProductInput ）。 - **DIMENSION**：提供决策所需的上下文关系（如用户提示 UserPrompt 、私有库输出 PrivateVaultOutput ），这些记录不一定直接参与溯源，但与策略判定相关。 - **CONSTRAINT**：基于布尔表达式对输出记录及其溯源输入进行约束。约束可包含算术比较、字符串函数，以及用户自定义函数（UDF）。 - **ON FAIL RETRY**：指定违规时的处理动作。 **示例策略（医疗记录防泄露）：** ``` SINK IN_Done D DIMENSION UserPrompt U, PrivateVaultOutput P CONSTRAINT NOT contains(D.final_output, P.ssn) OR P.name = U.patient_name ON FAIL RETRY(‘Only show requested user SSN’) ``` 该策略保护最终返回给用户的内容：仅当泄露的社会安全号码属于被请求的患者时才允许通过。 —- ### 5. 约束感知的重试机制（Constraint-Aware Retry）这是实现 **Steering** 的关键创新。当某个工具调用因违反 DFC 策略被拦截时，系统**不会**简单终止任务，而是触发 `RETRY`，向智能体返回一个结构化的反馈包： - **失败的约束（Failed Constraint）**：具体哪条数据流或状态规则被违反。 - **相关执行记录（Relevant Execution Records）**：当前 D 中与决策相关的维度数据。 - **策略特定解释（Policy-Specific Explanation）**：人类可读的错误信息。 - **安全数据源（Safe Sources）**：策略允许的、可从中派生合法参数的关系。随后，harness 要求 LLM **生成一个显式的 SQL `INSERT` 语句**，从安全数据源中选取记录并插入到同一工具输入关系： ```sql INSERT INTO Int SELECT … FROM … ``` DFC 对该插入进行确定性检查。若通过，则执行工具；否则返回新的违规信息。这种机制将所需的数据源和转换显式化，避免了让智能体通过另一次不透明的工具调用来猜测修复路径。 **对比实验表明**：若将 `RETRY` 替换为直接终止（STOP），任务成功率（TSR）下降 36.2% ；若仅返回通用错误信息（Generic Retry），TSR 仍下降 10.5% ；而 **Constraint-Aware Retry** 在将攻击成功率压至 ≈ 0% 的同时，使 TSR 提升 +6.5% 。 —- ### 6. 内容型攻击的语义扩展对于提示注入等依赖文本内容而非显式数据流的攻击，DFC 允许在 `CONSTRAINT` 中调用**用户自定义函数（UDF）**，包括基于 LLM 的语义谓词。例如，策略可调用 `llm_bool(…)` 判断某段文本是否包含针对智能体的注入指令。此时，仅语义判断环节继承模型不确定性，策略调用和数据流检查本身仍是确定性的。 —- ### 7. 策略生成流水线为将上述机制应用于现有基准，论文建立了一套半自动策略生成流程： 1. 针对每个基准任务，提取用户提示模板、工具模式与关系模式。 2. 使用少量手动整理的高质量策略作为 few-shot 示例。 3. 通过 LLM（如 Opus 4.8）生成候选 DFC 策略及对应的 `RETRY` 消息。 4. 人工校验后部署到运行时环境。尽管生成的策略可能存在假阳性（过严）或假阴性（过松），实验表明其综合效果已显著优于现有防御。 —- ### 8. 总体执行流程综上，论文提出的方法将智能体循环改造为如下安全感知循环：

LLM 生成动作 arrow 建模为 D 上的提议插入 arrow DFC 校验溯源与约束 arrow 通过：执行工具违规：RETRY 反馈 arrow LLM 修订 SQL 插入 arrow 再次校验
通过在四个安全基准（AgentDojo、AgentDyn、AgentLeak、WildClawBench）上的验证，该方法将攻击成功率从 30% — 74% 降至 0.2% — 14% ，同时最高提升任务成功率 12.7% ，在安全性与效用之间实现了更优的帕累托前沿。 Q4: 论文做了哪些实验？论文围绕 **Environment Steering** 的有效性开展了系统性的实验评估，涵盖与现有防御的对比、机制消融、以及跨基准与跨模型的广泛验证。实验设置基于第4节，结果报告于第5节，附录则提供了建模与策略生成的详细实现。 —- ### 1. 基准测试与评估指标实验在四个主流智能体安全基准上进行： | 基准 | 选用领域/任务 | 攻击方式 | 测量指标 | |:—-|:—-|:—-|:—-| | **AgentDojo** | Workspace | Important Instructions | TSR, ASR | | **AgentDyn** | Shopping, GitHub, Daily Life | Important Instructions | TSR, ASR | | **AgentLeak** | Single-Agent, Multi-Agent | 内部通道隐私泄露 | ASR（不测TSR） | | **WildClawBench** | Safety | 真实世界长程任务 | TSR, ASR（手动分类） | - **TSR**（Task Success Rate）：任务成功率，越高越好。 - **ASR**（Attack Success Rate）：攻击成功率，越低越好。 —- ### 2. 对比模型与防御方法 **被测语言模型**（5个开源前沿模型，均通过 AWS Bedrock 运行）： - DeepSeek V3.2 - GPT-OSS 120B - Kimi K2.5 - MiniMax M2.5 - Qwen3 235B A22B 2507 **对比的 9 种 SOTA 防御机制**（覆盖三个干预点）： - **规划时**：CaMeL, Drift Planner - **工具调用前**：Tool Filter, Progent, Drift Validator, **DFC (本文)** - **工具输出后**：Spotlighting, Prompt Repetition, Transformers PI Detector, PIGuard Detector, Prompt Guard 2 Detector, Drift Injection Isolator —- ### 3. 核心实验内容 #### 3.1 与 SOTA 防御的对比（AgentDyn）在 **AgentDyn** 基准上使用 **Qwen3 235B** 模型，将 DFC 与上述 9 种防御及无防御基线进行比较。 - **结果**：现有防御形成两个明显聚类—— - 低 TSR + 低 ASR 聚类（CaMeL, Drift, Tool Filter 等） - 高 TSR + 高 ASR 聚类（Spotlighting, Prompt Repetition, Prompt Guard 2 等，接近无防御） - **DFC 表现**：实现 **61% TSR** 与 **0% ASR**，是唯一同时达到高任务成功率与零攻击成功率的防御方法，显著推高了安全–效用的帕累托前沿。 #### 3.2 RETRY 机制消融实验（Ablation Study）为验证 **Constraint-Aware Retry**（约束感知重试反馈）的必要性，在 AgentDyn / Qwen3 235B 上对比了三种 `ON FAIL` 策略： | 条件 | ASR | TSR 变化 | 说明 | |:—-|:—-|:—-|:—-| | **STOP** | ≈ 0% | -36.2% | 首次违规即终止整个轨迹，导致大量正常任务被中断 | | **GENERIC RETRY** | ≈ 0% | -10.5% | 返回通用错误信息（”You have violated a security policy.”），模型无法确定如何修正 | | **CONSTRAINT-AWARE RETRY** | ≈ 0% | **+6.5%** | 返回违规特定约束、相关记录与安全数据源，有效引导模型修正 | **结论**：DFC 策略本身已将 ASR 降至接近零，但只有在提供**上下文感知的具体反馈**时，才能提升任务成功率；单纯阻断或通用重试均会损害效用。 #### 3.3 跨基准与跨模型评估在四个基准上，使用 5 个模型对比 **DFC** 与 **No Defense** 基线，平均结果如下： - **AgentDojo**（图8）： - 平均 TSR 提升 **+12.7%** - 平均 ASR 降低 **-23.7%** - 例外：Kimi K2.5 本身接近完美，DFC 将其 ASR 降至 0%，但策略生成过于严格，反而降低了 TSR。 - **AgentDyn**（图9）： - 平均 TSR 提升 **+6.5%** - 平均 ASR 降低 **-40.9%** - 所有模型均实现 TSR 提升与 ASR 下降。 - **AgentLeak**（图10）： - 仅测量 ASR，平均降低 **-66.9%** - Kimi K2.5（-83%）与 MiniMax M2.5（-84%）降幅最大，因为 undefended 时这些模型过于冗长，容易泄露信息。 - **WildClawBench**（图11）： - 平均 ASR 降低 **-25%** - 平均 TSR 提升 **+8%** - 例外：Qwen3 235B 的 TSR 因高模型方差而下降；Kimi K2.5 无法操作 OpenClaw harness，导致所有任务失败。 —- ### 4. 策略生成与实现细节实验附录部分补充了将 DFC 应用于具体基准的工程实验细节： - **关系建模**：展示了如何将 AgentDyn Shopping 的 39 个工具输入/输出映射为 SQL 关系表，以及如何将 AgentLeak 的医疗/金融/法律/企业域提示模板参数提取为 `PreambleData` 等维度表。 - **策略生成**：使用 Opus 4.8 配合 6–12 个多轮示例（few-shot prompting）半自动生成任务特定策略。附录 A 展示了完整的策略生成提示（system prompt + user prompt），包括如何处理外部通信（邮件、网页、转账）的防范、何时使用 `SOURCE REQUIRED` 溯源模式，以及如何构造 `RETRY` 消息。 - **LLM 语义谓词**：在 WildClawBench 中实验了使用 LLM 表达式检测难以通过模式匹配表达的不安全参数（例如提交的代码中是否包含 API 密钥）。 —- ### 5. 实验总结综合而言，实验证明了： 1. **DFC 在 AgentDyn 上达到 0% ASR 的同时保持最高 TSR**，优于全部 9 种参考防御。 2. **约束感知的重试反馈是实现效用提升的关键**；单纯阻断无法区分攻击与正常探索，会严重损害任务完成率。 3. **跨四个基准与五个模型**，DFC 将攻击成功率从 30% — 74% 降至 0.2% — 14% ，同时将任务成功率最高提升 12.7% ，在安全性与实用性之间取得了更优的平衡。 Q5: 有什么可以进一步探索的点？论文在 **Limitations** 及相关章节中明确指出了若干值得进一步探索的方向，主要围绕基准测试的完备性、策略工程的可扩展性、更复杂执行模型的支持，以及对抗场景的扩展： ### 1. 基准测试的构念效度与评估深度当前主流基准测试（AgentDojo、AgentDyn、AgentLeak、WildClawBench）所衡量的“智能体安全”概念仍较为有限： - **执行过程黑盒化**：基准通常仅检查工具调用的输入/输出值，很少真正审查工具的内部执行状态或副作用。 - **数据流形态单一**：任务大多表现为简单的“一对一”工具调用，缺乏涉及**多记录查询、搜索管道、或具有丰富内部数据流的程序**等复杂场景。 - **多步依赖不足**：现有评估未能充分覆盖需要跨多步、多记录关联才能判定的安全策略。未来工作应设计能够真正检验 **多记录（multi-record）、多步（multi-step）以及工具内部数据流（tool-internal flows）** 的新型基准，以验证安全机制在更复杂真实工作流中的有效性（Bean et al., 2025）。 ### 2. 策略的大规模生成、管理与用户交互论文采用半自动方式（few-shot prompting + 人工校验）生成任务特定的 DFC 策略，这一过程在规模化和易用性上存在明显瓶颈： - **自动策略合成**：如何将高层安全意图自动、可靠地翻译为形式化的 DFC 策略，减少对手动 few-shot 示例和人工校验的依赖。 - **策略的版本与生命周期管理**：在工具模式、业务逻辑频繁变化的环境中，如何动态修订、验证并部署策略。 - **用户友好的策略指定**：如何降低非专业用户（end users）编写或调整数据流策略的门槛，使其能够根据具体业务需求自定义安全规则。 ### 3. 支持更丰富的执行与数据流模型当前工作将执行状态建模为数据库关系并针对单个查询（工具调用）进行拦截，但智能体工作流往往涉及更复杂的模式： - **跨工具调用的数据流**：数据可能通过智能体的内部状态、代码解释器、或外部存储在多个工具调用间间接传递，需要追踪超越单步调用的**全局数据依赖**。 - **非结构化程序流**：智能体可能生成并执行小型程序（如 CaMeL 的确定性程序或代码片段），当前的记录级溯源模型需要扩展以覆盖这类更通用的计算过程。 ### 4. 对抗鲁棒性与越狱攻击论文明确将范围限定为**信任用户和策略作者**的场景，未处理以下对抗情形： - **越狱攻击（Jailbreaking）**：攻击者可能通过直接操纵用户提示或系统提示来绕过数据流策略，需要研究策略本身与越狱防御的联合设计。 - **策略的对抗性规避**：攻击者可能构造间接数据流（如通过多步编码、隐写或侧信道）绕过基于溯源的检测，需要更完备的信息流分析。 ### 5. 反馈机制与智能体推理的深度结合虽然 Constraint-Aware Retry 已能提升任务成功率，但反馈与智能体核心推理的融合仍有提升空间： - **推理增强**：执行反馈不仅应指导动作修正，还应被智能体用于**重新规划（replanning）**和**意图澄清**，而非简单的重试。 - **最少干预原则**：如何设计更精细的反馈粒度，在确保安全的前提下减少对智能体正常探索行为的干扰，降低假阳性率。 Q6: 总结一下论文的主要内容该论文围绕大型语言模型（LLM）智能体的运行时安全问题展开，提出**环境引导（Environment Steering）**机制，通过将执行环境建模为数据库并在运行时实施数据流控制，实现对不安全动作的确定性拦截与上下文感知的纠正。以下是主要内容总结： —- ### 1. 研究背景与核心问题 LLM 智能体在调用外部工具时可能产生严重后果（如错误购买、泄露病历、推送密钥），即使已被告知要安全行事。现有防御存在三方面不足： - **规划时防御**无法应对执行过程中动态出现的对抗性数据； - **运行时护栏**多依赖概率性文本判断，缺乏对执行状态与数据溯源的可见性； - **拦截型防御**往往只阻断动作，不提供恢复路径，导致任务失败率上升。一个关键难点是：动作的安全性不仅取决于参数值本身，还取决于这些值**在运行时如何被推导出来**。例如，形式上合法的 `buy(ProductID=p2)` 可能因 p2 源自被注入的邮件而非用户历史订单而违规。 —- ### 2. 核心思想：Environment Steering 论文主张将安全执行的责任从智能体或静态规划转移到**执行环境**。环境应在运行时： - **确定性强制**：基于记录级数据溯源（provenance）与执行状态，在动作提交前校验声明式策略； - **主动引导**：在违规发生时，向智能体返回包含失败约束、相关记录及安全数据源的反馈，帮助其修订动作并继续完成原始任务。 —- ### 3. 技术方法：基于 Data Flow Control (DFC) 的实现为实现 Environment Steering，论文将智能体 harness 的执行状态建模为**关系型数据库** D ： - 用户提示、工具输入/输出、环境状态等均被表示为关系表（如 In(t_i), Out(t_i) ）； - 每个待执行的工具调用被透明地拦截为对相应输入表的**提议插入**（proposed insertion）； - 利用数据库**行级溯源**（row-level provenance）追踪输出记录与输入记录间的数据流，例如输出 o 的溯源可表示为 P(o) = b_1 × p_2 。 **DFC 策略**由以下子句构成： - **SINK**：指定受保护的目标关系（待插入的工具输入表）； - **DIMENSION**：提供上下文关系（如用户提示、先前工具输出）； - **CONSTRAINT**：基于布尔表达式及溯源信息约束数据流； - **ON FAIL RETRY**：触发约束感知的重试。 **Constraint-Aware Retry** 是方法的关键创新。当策略被违反时，系统不直接终止任务，而是返回： - 失败的具体约束； - 相关执行记录； - 策略解释与安全数据源。随后，harness 要求 LLM 生成显式的 SQL `INSERT` 语句从安全数据源构造合法参数，经 DFC 再次校验后执行。这避免了让模型通过另一次不透明调用猜测修复路径。 —- ### 4. 实验设置 - **基准**：AgentDojo、AgentDyn、AgentLeak、WildClawBench，覆盖购物、医疗、代码、办公等场景； - **模型**：5 个开源前沿模型（DeepSeek V3.2、GPT-OSS 120B、Kimi K2.5、MiniMax M2.5、Qwen3 235B）； - **对比**：与 9 种 SOTA 防御（CaMeL、Drift、Spotlighting、Prompt Repetition、多种注入检测器等）对比。 —- ### 5. 主要实验结果 - **AgentDyn（Qwen3 235B）**：DFC 实现 **61% TSR** 与 **0% ASR**，是唯一同时达到最高任务成功率与零攻击成功率的防御，显著优于现有方法形成的两个聚类（低TSR低ASR 或高TSR高ASR）。 - **跨基准平均**：相比无防御，ASR 从 30% — 74% 降至 0.2% — 14% ，TSR 最高提升 **12.7%**。 - **消融实验**：将 `RETRY` 替换为直接终止（STOP）导致 TSR 下降 36.2% ；使用通用重试（Generic Retry）仍下降 10.5% ；只有 **Constraint-Aware Retry** 在维持近零 ASR 的同时将 TSR 提升 +6.5% ，验证了上下文反馈的必要性。 —- ### 6. 局限与未来方向 - **基准深度**：当前基准多为单步工具调用，缺乏对多记录、多步及工具内部复杂数据流的考察，构念效度有待提升； - **策略工程**：策略生成目前依赖 few-shot 提示与人工校验，未来需研究自动策略合成、大规模管理及用户友好的策略指定； - **对抗场景**：工作信任用户与策略作者，未覆盖越狱攻击等更广泛的对抗威胁； - **执行模型**：需扩展对跨工具调用间接数据流、代码生成等更一般计算过程的溯源支持。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Charlie Summers, Prajwal Raghunath, Aaditya Pai, Mayur Kulkarni, Zhuo Zhang, Oliver Kennedy, Eugene Wu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35807.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35807

Published: 2026-10-01T02:24:15.086Z

8. When Successful Memories Mislead Embodied Agents:Memory Adaption For Task-Conditioned Execution

Abstract:Experience reuse can reduce repeated exploration in embodied agents, but a trajectory that succeeded previously may be unsuitable for the current execution context. Existing memory systems pri marily optimize construction and retrieval; semantic relevance and historical success therefore remain insufficient when retrieved ex perience contains incompatible actions or an inappropriate level of structure. We introduce Memory Adaptation for Task-Conditioned Execution (MATE), a deterministic post-retrieval procedure that converts trajectories into execution-oriented memory. MATE re moves obsolete control context, extracts condition-action-effect transitions, applies verified action normalization, selects a task dependent representation, and serializes the result under a fixed budget without additional LLM inference. On 134 ALFWorld tasks, MATE achieves task success rates of 81.3% and 93.3% with Qwen2.5-14B and 72B while using approximately one-tenth of the tokens required by raw trajectories. Controlled comparisons show that verified action normalization is the principal mechanism by which MATE restores the utility of retrieved experience, support ing memory adaptation as a distinct stage between retrieval and embodied execution.

中文摘要

摘要：经验重用可以减少具身智能体的重复探索，但先前成功的轨迹可能不适用于当前的执行环境。现有的记忆系统主要优化构建和检索；因此，当检索到的经验包含不兼容的动作或不适当的结构层次时，语义相关性和历史成功仍然不足。我们提出了任务条件执行的记忆适应（MATE），这是一种决定性后检索程序，将轨迹转化为面向执行的记忆。MATE 删除过时的控制上下文，提取条件-动作-效果转移，应用经过验证的动作规范化，选择任务相关的表示，并在固定预算下序列化结果，无需额外的大语言模型推理。在 134 个 ALFWorld 任务上，MATE 在使用 Qwen2.5-14B 和 72B 时分别实现了 81.3% 和 93.3% 的任务成功率，同时使用的标记量约为原始轨迹所需的十分之一。控制对比表明，经过验证的动作规范化是 MATE 恢复检索经验效用的主要机制，支持记忆适应作为检索和具身执行之间的独立阶段。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*具身智能体在重用历史经验时出现的记忆诱导负迁移（memory-induced negative transfer）\*\*问题，即先前成功且语义相关的轨迹在当前执行上下文中反而导致性能下降。具体而言，论文针对以下核心缺陷与挑战展开： - \*\*检索后动作兼容性的缺失\*\* 现有记忆系统主要优化记忆的构建与检索，但将语义相关或历史上成功的轨迹直接交由执行器使用时，其中的动作形式、对象状态或语法规范可能与当前任务的动作空间（schema）不兼容，从而引发无效动作并降低任务成功率。 - \*\*过时控制上下文的干扰\*\* 历史轨迹中常残留旧的系统指令、用户指令或确认消息，这些过时的控制上下文会与当前指令竞争，干扰智能体对当前环境状态的判断与响应。 - \*\*统一表示造成的任务结构性信息损失\*\* 不同任务对记忆表示的需求存在异质性：反应式控制（reactive control）依赖局部的条件-动作-效果（condition-action-effect）转换，而长程规划（long-horizon planning）则需要跨步骤的全局约束与依赖关系。对检索到的轨迹施加单一、统一的摘要或压缩策略，会引入任务相关的信息损失。 - \*\*缺乏可审计的检索后适配阶段\*\* 现有工作多聚焦于记忆的选择、校准或验证，尚未定义一种确定性的、操作透明的后检索转换流程，以在保留有效任务结构的同时，修复不可用的动作表达并适配当前执行规范。为应对上述问题，论文提出 \*\*MATE（Memory Adaptation for Task-Conditioned Execution）\*\*，将其定位为检索与执行之间的确定性后处理阶段：通过过滤过时上下文、提取执行结构、应用经验证的动作规范化（verified action normalization）、按任务轮廓（task profile）进行条件化渲染，并在固定令牌预算下序列化输出，从而将原始轨迹转换为面向当前具身执行机制、无需额外大语言模型推理即可直接使用的记忆表示。 Q2: 有哪些相关研究？该论文的相关研究主要集中在以下三个方向： ## 1. 具身与交互式智能体的记忆系统该方向关注如何跨 episode 组织与重用信息，以降低重复探索成本。早期研究通过\*\*语言反馈\*\*或\*\*蒸馏经验\*\*提升后续尝试的成功率，例如： - \*\*Reflexion\*\*（Shinn et al.）：利用语言智能体的口头强化学习记住反馈； - \*\*ExpeL\*\*（Zhao et al.）：让大语言模型智能体从经验中学习。近期工作进一步将交互历史结构化为多种记忆形式，以改善可检索性与可复用性，包括： - \*\*Agent Workflow Memory\*\*（Wang et al.）：将经验组织为工作流； - \*\*AutoManual\*\*（Chen et al.）：通过交互式环境学习构建操作手册； - \*\*Record & Replay\*\*（Feng et al.）：以回放记录形式复用经验； - \*\*MemP\*\*（Fang et al.）：探索程序性记忆（procedural memory）； - \*\*HiAgent\*\*（Hu et al.）：引入层级化工作记忆管理长程任务。然而，这些工作大多将选中的经验直接送入执行器，\*\*缺乏对历史动作形式与当前执行规范是否兼容的显式检验\*\*。 ## 2. 经验重用与负迁移该方向指出，语义相关或历史上成功的经验并不能保证在当前任务中同样有效。相关发现包括： - \*\*错误传播\*\*（Xiong et al.）：在经验跟随（experience following）过程中，历史轨迹的错误会被传播； - \*\*冲突记忆与虚假相关性\*\*（Chen et al., Tang et al., Hu et al.）：冲突建议、轨迹间的虚假相关性，以及迁移条件与检索组织之间的错配均会导致失败； - \*\*环境探测式筛选\*\*（Suresh et al.）：候选记忆在执行前可能需要经过环境验证。上述研究主要集中于\*\*选择、校准或验证记忆\*\*，但尚未提出一种确定性的转换方法，能够在保留有效任务结构的同时，修复不可用的动作表达。 ## 3. 任务条件化的轨迹表示该方向强调，适当的记忆表示应取决于任务结构： - \*\*ReAct\*\*（Yao et al.）形式化了推理与行动的交替过程； - 后续具身系统将推理与计划渲染分离（如 Choi et al. 的 Embodied CoT Distillation）； - \*\*TravelPlanner\*\* 等长程规划基准则要求表示能够捕捉跨多个决策的约束与依赖关系。局部化的条件-动作-效果记录对反应式控制更经济，但可能省略跨步骤依赖；完整轨迹保留全局上下文，却同时保留了无关或无效动作。因此，研究动机指向一个\*\*检索后的适配阶段\*\*：在规范化历史动作的同时，依据当前任务结构渲染记忆，而非对所有轨迹应用统一摘要。 Q3: 论文如何解决这个问题？该论文提出 \*\*MATE（Memory Adaptation for Task-Conditioned Execution）\*\*，将其嵌入检索模块与具身执行器之间，作为确定性的后检索处理流程。该方法不生成新计划、不修改执行器，也无需额外的大语言模型推理，而是通过五个可审计的操作符将原始轨迹转换为面向当前执行规范与任务结构的记忆表示。整体解决路径可分解为以下环节： ### 1. 形式化适配目标将记忆适配与检索质量、任务事实正确性分离。给定检索到的历史轨迹集合 R_k(q) 、当前动作模式 Sigma 、任务轮廓 z 及令牌预算 B ，适配目标是在保留任务相关转移或约束结构的同时，强制执行当前动作规范并满足预算限制。 ### 2. 确定性适配协议 MATE 通过函数复合实现：

M = (S_B circ P_z circ N_Sigma circ E circ F)(R_k(q))
其中各算子依次为上下文过滤 F 、执行结构提取 E 、动作规范化 N_Sigma 、任务条件化渲染 P_z 与预算约束序列化 S_B 。该设计保证三项不变性：源记忆保留检索顺序与标识；仅对精确匹配项执行重写；相同输入必得相同输出。 ### 3. 各组件操作细节 - **上下文过滤 F ** 针对消息格式的轨迹，移除历史系统指令、用户指令及其紧随的确认回复，仅保留环境交互痕迹。此举防止过时的控制提示与当前指令竞争，同时保留环境证据。 - **转移提取 E ** 识别显式动作字段，并将每个动作与其最近的前置环境消息（前置条件）和后续环境消息（观测效果）配对：

E(τi) = langle p_j, a_j, e_j rangle(j=1)^(ni), quad p_j = prev(a_j),; e_j = next(a_j)
空白字符被规范化，每条前置条件与效果截断至 320 字符；自由形式的思维链内容不进入最终程序性记录。 - **经验证的动作规范化 N_Sigma ** 依据外部提供的精确重写映射 μ_Sigma ，仅当动作表达式完全匹配支持的原形式时才执行重写：
a_j = μ_Sigma(a_j), & a_j ∈ dom(μ_Sigma), a_j, & otherwise.
未匹配项保持原样，可供审计；MATE 绝不推断未见过动作语义。该机制直接修复历史动作与当前动作模式之间的表面形式不兼容。 - **任务条件化渲染 P_z ** 令 X = (N_Sigma circ E circ F)(R_k(q)) ，渲染器由任务轮廓 z 显式选择：
P_z(X; c) = P(react)(X), & z = reactive, P_(global)(X; c), & z = global.

**反应式渲染**：将提取的结构转换为有序的前置条件-动作-效果记录 langle pj, a_j, e_j rangle ，供执行器判断当前状态是否满足历史前置条件。 - **全局约束渲染**（如 TravelPlanner）：从当前任务上下文 c 重新实例化约束状态（路线、日期、人数、预算等），丢弃历史任务具体值，通过确定性规则导出可复用的约束类别与闭合顺序。 - **预算约束序列化 S_B ** 在令牌上限 B 内按检索顺序遍历记忆。若候选完整项可放入剩余预算则追加；若不可，则保留首个项的最大行对齐前缀。输出元数据记录来源标识、选中/丢弃/部分保留项、令牌计数、规范化前后动作列表及内容哈希，确保结果可复现、可追溯。 ### 4. 关键特性与能力边界 - **无额外 LLM 推理**：所有转换均为基于规则与精确映射的确定性操作，不调用模型生成。 - **可审计性**：每个操作符的输出均可检查，未匹配动作不会被静默修改。 - **有限保证**：MATE 无法验证未匹配动作，也无法恢复既不在任务规范也不在检索经验中的全局约束。通过上述流程，MATE 将“语义相关但执行不兼容”的原始轨迹，转换为在动作形式、控制上下文和信息粒度上均适配当前任务执行机制的记忆表示，从而缓解记忆诱导的负迁移。 Q4: 论文做了哪些实验？该论文围绕 **ALFWorld**、**ScienceWorld** 与 **TravelPlanner** 三个基准，在固定检索条件下展开系统实验，评估 MATE 的有效性、机制与边界。实验设计可分为以下四个层面： —- ### 1. 实验设置与对照条件 - **数据集与基准** - **ALFWorld**：134 个任务，基于已发布的 MemP 协议，从 252 条成功训练轨迹中检索，检索结果通过冻结的 manifests 固定标识符与排名。 - **ScienceWorld**：149 个任务，记忆由当前执行器自行收集。 - **TravelPlanner**：1,000 个 strict-Final-Pass 实例，用于非具身的边界测试。 - **模型与实现** - 执行器采用 ReAct 循环，测试了 Qwen2.5-14B-Instruct、Qwen2.5-72B-Instruct 与 gpt-5.4-mini。 - Qwen 系列使用固定的 BGE-M3 检索器，设 k=10 ；解码温度为 0，随机种子 0，最多 30 步。 - 历史轨迹遵循遗留的 MemP ALFWorld 动作规范，而执行阶段使用当前规范，以此制造动作层面的不匹配场景。 - **评估指标与统计检验** - 核心指标为任务成功率 SR(%) = (100) / (N)∑(i=1)^N mi ；TravelPlanner 报告 Final Pass Rate（FPR）。 - 所有对照均在**冻结检索**下进行，以确保结果差异仅源于检索后的记忆表示。 - 配对结果使用双侧精确 McNemar 检验；同一模型规模内对诊断、已发表方法、表示方式及消融族分别进行 Holm 校正。 —- ### 2. 主要结果：整体性能对比在 ALFWorld 上，论文比较了无记忆、原始完整轨迹、MemP 变体、Agent Workflow Memory、ExpeL、Reflexion 与 MATE 等条件（见 Table 1）。关键发现包括： - MATE 在 Qwen 14B 与 72B 上分别达到 **81.3%** 与 **93.3%** 的成功率。 - 相较于直接插入原始完整轨迹，MATE **分别恢复 61.2 与 23.9 个百分点**（配对胜负比为 85:3 与 34:2）。 - 在单次通过的（single-pass）方法中，MATE 在两个模型规模上均取得最高成功率；与允许三次尝试的 Reflexion 相比，差异无统计学显著性。 - 相对于无检索记忆基线，14B 提升 9.0 个百分点（ p_H = 0.065 ），72B 提升 6.0 个百分点（ p_H = 0.021 ）。 —- ### 3. 机制分析：长度、规范化与表示结构为分离“上下文长度”与“动作有效性”的混淆，论文设置了跨规模控制实验（见 Table 2）： | 条件 | 平均 Token 数 | 14B SR | 72B SR | |———|———————|————|————| | 原始完整轨迹 | 15,401 | 20.1 | 69.4 | | 原始轨迹 + 前缀截断（2,048 上限） | 2,004 | 23.1 | 80.6 | | 动作规范化后的完整轨迹 | 15,342 | 82.1 | 88.1 | | MATE | 1,617 | 81.3 | 93.3 | | 规范化后打包截断（2,048 上限） | 1,501 / 1,500 | 70.9 | 83.6 | | 源匹配动作序列 | 290 | 79.1 | 91.8 | 关键结论： - **单纯截断长度几乎无效**：将原始轨迹硬截断至约 2,000 token 仅恢复 3.0 / 11.2 个百分点，说明长度并非主因。 - **动作规范化是核心机制**：仅对 877 行中的 19 行应用确定性重写，即将成功率提升至 82.1% / 88.1%。 - MATE 仅用原始轨迹约 **10.5%** 的 token，即达到与未截断规范化轨迹相近甚至更优的性能，说明任务条件化的结构化渲染进一步提升了效率与准确性。 —- ### 4. 消融与预算控制在 Qwen 14B 上执行消融（见 Table 2 下半部分），以定位各算子的独立贡献： - **移除动作规范化**：成功率从 81.3% 降至 **51.5%**（ p_H = 1.26 × 10^(-8) ），确认其为最关键模块。 - **移除上下文过滤**：降至 73.1%（ p_H = 0.160 ），影响次之。 - **移除预算限制**：成功率维持 81.3%（ p_H = 1.0 ），但平均长度从 1,617 膨胀至 7,861 token，表明预算仅影响效率而非准确性。 - 与“源匹配动作序列”控制相比，MATE 额外的结构化字段（前置条件与效果）未显示出独立的显著增益（ p_H = 0.70 / 0.73 ），说明动作序列本身已承载大部分有效信息。 —- ### 5. 鲁棒性与边界分析为验证负迁移是否特定于某类模型或任务，论文开展三项边界测试（见 Table 3）： - **跨模型鲁棒性（ALFWorld + gpt-5.4-mini）** 原始完整轨迹同样造成显著伤害：成功率从 78.4% 降至 59.7%（38 例受损、13 例受益， p(raw) = 6.2 × 10^(-4) ），证实记忆诱导负迁移并非 Qwen 系列特有。 - **新鲜记忆与跨领域场景** - **ALFWorld（新鲜记忆，14B）**：原始轨迹与 MATE 表现接近（79.9% vs 76.9%），均优于无记忆基线，说明当源动作规范与当前规范一致时，完整轨迹亦可复用。 - **ScienceWorld（14B）**：原始轨迹（38.3%）与 MATE（36.9%）均优于无记忆（25.5%），且二者差异不大，再次支持在部分环境中选择性适配即可。 - **非具身长程规划（TravelPlanner）** 采用全局约束渲染的 MATE 在 14B 上方向性地优于局部卡片（FPR 0.2% vs 0.0%），但原始完整轨迹反而领先 MATE 最多 4.9 个百分点（如在 Planner + executor 的 72B 条件下，Full 11.3% vs MATE 6.4%）。该结果说明在 TravelPlanner 这类任务中，保留更多原始上下文的全轨迹仍有优势，支持**选择性适配**而非 universally Q5: 有什么可以进一步探索的点？基于论文的实验边界与讨论，以下方向具有进一步探索价值： ### 1. 动作规范不完整时的安全转换机制论文指出，当动作模式 Sigma 的覆盖范围不足、或检索到的动作落在已验证映射 μSigma 之外时，MATE 无法安全地推断其语义，只能原样保留。未来可探索**可审计的轻量级语义推断**或**动作相似性度量**，在保持确定性的前提下，将未匹配的历史动作映射到当前规范中最接近的可执行形式，而非简单回退。 ### 2. 自动化任务轮廓识别与混合渲染策略当前任务轮廓 z （reactive vs. global）在基准级别人工固定，且实验显示 TravelPlanner 上全局渲染并未全面优于完整轨迹。后续研究可构建**任务结构自动识别器**，依据当前查询、环境反馈与动作空间动态选择渲染分支，甚至对同一条检索记忆混合局部转移记录与全局约束片段，实现更细粒度的任务条件化。 ### 3. 智能预算分配与信息价值度量 MATE 的序列化采用固定预算 B 下的顺序截断，本质上是无差别硬截断。可引入**基于信息价值或执行不确定性的预算分配**：对高置信度、高相关性的记忆项分配更多 token，对长尾记忆进行更激进的压缩，从而在相同预算下进一步提升有效信息密度。 ### 4. 从确定性规则到约束感知的自适应规范化现有动作规范化依赖精确字符串匹配。在跨环境（如从 ALFWorld 到 ScienceWorld）或动作语法发生系统性演变时，规则映射的维护成本高昂。可研究方向包括：**基于抽象语法树（AST）或动作本体的结构化规范化**，以及**在线学习规范化规则**——在执行失败反馈驱动下动态修订 μ_Sigma ，同时通过审计日志保证可解释性。 ### 5. 缺失全局约束的恢复与补全 MATE 无法恢复既不在任务规范也不在检索经验中的全局约束。对于长程规划任务，可探索**约束传播与补全模块**：利用当前任务上下文 c 与多条历史轨迹的交集/并集分析，推断隐式跨步骤依赖，并将补全后的约束注入 P(global) 渲染流程。 ### 6. 视觉-语言具身环境中的记忆适配论文实验基于纯文本交互环境（ALFWorld、ScienceWorld）。在视觉-语言具身智能体中，观测 o_t 包含图像，动作空间可能涉及细粒度物理控制（如抓取姿态、视角变换）。如何将 MATE 的“过滤-提取-规范化-渲染”框架扩展到**多模态记忆单元**（如关键帧、视觉状态标记、轨迹视频片段），同时保持确定性转换与预算控制，是一个重要的扩展方向。 ### 7. 记忆适配与在线经验累积的闭环当前 MATE 作为无状态的后检索模块，不与执行反馈形成闭环。未来可设计**记忆适配-执行-验证的迭代机制**：若适配后的记忆仍导致负迁移，则触发对该源轨迹的降级、重写或淘汰，逐步净化记忆池，实现经验重用的自我校准。 Q6: 总结一下论文的主要内容该论文围绕具身智能体在经验重用中的**记忆诱导负迁移**问题展开，提出了一种确定性的检索后记忆适配方法。核心内容可概括如下： ### 1. 研究问题与动机 - **记忆诱导负迁移**：在具身交互中，先前成功且语义相关的历史轨迹直接复用时，可能因**过时的控制上下文**、**与当前动作规范不兼容的表面形式**、以及**不适当的表示粒度**而导致任务失败。现有记忆系统侧重于检索与构建，缺乏对检索后动作兼容性与任务结构适配的显式处理。 - **混淆因素**：单纯缩短上下文长度、统一摘要或修改记忆内容会同时改变长度、证据保留与动作形式，难以定位失败根因。因此需要**可审计、可独立操控操作符**的评估协议。 ### 2. 方法：MATE 论文提出 **Memory Adaptation for Task-Conditioned Execution (MATE)**，作为检索模块与执行器之间的确定性后处理阶段，无需额外大语言模型推理。其将原始轨迹 τ_i 转换为面向当前执行的记忆 M ：

M = (SB circ P_z circ N_Sigma circ E circ F)(R_k(q))
各算子功能包括： - **上下文过滤 F **：移除历史系统/用户指令及确认消息，保留环境交互痕迹，防止过时控制提示干扰当前指令。 - **转移提取 E **：将轨迹解析为前置条件-动作-效果记录：
E(τ_i) = langle p_j, a_j, e_j rangle(j=1)^(n_i)
其中 p_j = prev(a_j) ， e_j = next(a_j) 。 - **经验证的动作规范化 N_Sigma **：依据外部提供的精确重写映射 μ_Sigma ，仅对完全匹配的历史动作执行重写：
a_j = μ_Sigma(a_j), & a_j ∈ dom(μ_Sigma), a_j, & otherwise.
未匹配项保持原样以供审计，绝不推断未见过动作语义。 - **任务条件化渲染 P_z **：根据任务轮廓 z 选择表示形式： - **Reactive 渲染**：输出局部 langle p_j, a_j, e_j rangle 记录，适用于反应式控制； - **Global 渲染**：提取跨步骤约束与闭合顺序，适用于长程规划。 - **预算序列化 S_B **：在固定令牌预算 B 内按检索顺序组装记忆，并输出完整审计元数据（来源、截断标识、哈希等）。 ### 3. 实验与核心发现论文在 **ALFWorld**（134 任务）、**ScienceWorld**（149 任务）与 **TravelPlanner**（1,000 实例）上展开控制实验，关键结果如下： - **整体性能**：在 ALFWorld 上，MATE 于 Qwen 14B 与 72B 分别取得 **81.3%** 与 **93.3%** 的成功率。相较于直接复用原始完整轨迹，分别恢复 **61.2** 与 **23.9** 个百分点，且使用约原始轨迹 **1/10** 的 token。 - **机制定位**（消融与对照）： - 仅对原始轨迹做前缀截断（硬压长度）几乎无法恢复性能； - 仅执行动作规范化即可将成功率大幅提升至 82.1% / 88.1%，表明**动作规范化是恢复轨迹效用的主导机制**； - 移除动作规范化使 14B 成功率从 81.3% 降至 **51.5%**（ p_H = 1.26 × 10^(-8) ）； - 移除上下文过滤影响次之（73.1%）； - 移除预算限制不影响准确率（仍为 81.3%），但 token 数从 1,617 增至 7,861，说明预算主要贡献效率。 - **边界与选择性**： - 在 gpt-5.4-mini 上同样观察到原始轨迹的显著伤害，证实负迁移并非模型特有； - 在 TravelPlanner 长程规划任务中，原始完整轨迹反而优于 MATE 的全局渲染，表明不同任务需**选择性适配**而非统一处理。 ### 4. 贡献 - **因果诊断**：通过固定检索与配对控制实验，首次将具身经验重用的性能退化归因于**历史动作表面形式与当前执行规范的不兼容**，而非单纯的上下文过长或语义不相关。 - **确定性适配架构**：提出 MATE，将记忆适配显式分离为可审计的算子序列，无需额外 LLM 推理即可实现动作规范化与任务条件化渲染。 - **机制量化与边界界定**：通过跨规模对照、消融与边界测试，量化了动作规范化与结构化字段的独立效应，并指出在规划密集型任务中保留原始上下文仍有价值。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Quanquan Li, Hongbo Zhang, Yihe Chi, Liuyang Song, Jingyu Li, Yuxiang Huang, Hongzhen Zhang, Guitao Cao

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35808.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35808

Published: 2026-10-01T02:24:15.086Z

Abstract:The rapid advancement of generative AI raises concerns about the misuse of Multimodal LLMs (MLLMs) for large-scale disinformation campaigns on social media. Despite existing research on textual disinformation, a fundamental question remains unanswered: can MLLMs be exploited to fabricate realistic multimodal fake news, and can they reliably detect it? We introduce a multi-agent framework in which a story agent, an image agent, and a critic agent collaborate to produce fake social media posts that plausibly counter true news. We apply the framework to generate over 9,000 paired multimodal news posts across science, health, and entertainment domains, and benchmark 16 open- and closed-source MLLMs for automated detection. We find that most models fall substantially short of human-level accuracy and fail critically on identifying image authenticity. Our research provides a foundation for developing robust defenses against social media fake news. Code and data are available at https: //github.com/xiuzhenzhang/Multimodal.

中文摘要

摘要：生成式人工智能的快速发展引发了关于多模态大语言模型（MLLMs）在社交媒体上进行大规模虚假信息传播的滥用问题的担忧。尽管已有针对文本虚假信息的研究，但一个基本问题仍未得到解答：MLLMs是否可能被利用来伪造逼真的多模态假新闻，并且它们能否可靠地检测这些假新闻？我们提出了一个多代理框架，其中故事代理、图像代理和评论代理协作生成能够合理对抗真实新闻的假社交媒体帖子。我们将该框架应用于在科学、健康和娱乐领域生成超过9,000条配对的多模态新闻帖子，并对16个开源和闭源的MLLM进行自动检测基准测试。我们发现，大多数模型在准确率上远低于人类水平，并且在识别图像真实性方面存在严重不足。我们的研究为开发应对社交媒体假新闻的稳健防御提供了基础。代码和数据可在以下网址获取：https://github.com/xiuzhenzhang/Multimodal。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35809 (HTTP 429)

Authors: Jiyao Yang, Yang Liu, Zhenyue Qin, Qingyu Chen, Xiuzhen Zhang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35809.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35809

Published: 2026-10-01T02:24:15.086Z

10. TRACE: Deployable Tree-Relational Structure Enhancement for Oncology LLMs

Abstract:Large language models are increasingly used in oncology applications, but their predictions are often weakly grounded in explicit medical structure. We present TRACE, a deployable tree-relational enhancement framework for oncology LLMs. TRACE separates expensive offline structure learning from lightweight online inference: oncology concepts and relations are organized into an updatable tree-relational structure, refined using LM-loss-derived evidence, and retrieved at inference time as compact prompt evidence. This design supports task-adaptive evidence selection without requiring supervised labels in the zero-shot setting. Across ten oncology classification tasks and one MedQuAD CancerGov QA benchmark, TRACE improves both label-free evaluation and supervised fine-tuning. Additional analyses show that TRACE improves over vanilla RAG and generic GraphRAG, remains useful under leakage-controlled METABRIC inputs, and produces interpretable evidence paths aligned with clinical reasoning. These results suggest that explicit, updatable medical structure is a practical path toward more accurate and auditable oncology LLM deployment.

中文摘要

摘要：大型语言模型在肿瘤学应用中越来越多地被使用，但它们的预测通常缺乏明确医学结构的支撑。我们提出了TRACE，一种可部署的肿瘤学LLM树关系增强框架。TRACE将昂贵的离线结构学习与轻量级的在线推理分开：肿瘤学概念和关系被组织成可更新的树关系结构，并通过LM损失衍生的证据进行优化，在推理时作为紧凑的提示证据进行检索。该设计支持任务自适应的证据选择，而无需在零样本设置中使用监督标签。在十个肿瘤学分类任务和一个MedQuAD CancerGov问答基准上，TRACE在无标签评估和监督微调方面均有所提升。额外分析表明，TRACE优于普通的RAG和通用的GraphRAG，在受控泄漏的METABRIC输入下仍然有用，并生成与临床推理一致的可解释证据路径。这些结果表明，明确的、可更新的医学结构是实现更准确、可审计的肿瘤学LLM部署的可行路径。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35810 (HTTP 429)

Authors: Jizheng Lai, Yingyun Li, Ying Qin, Haiyang Qian

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2609.35810.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35810

Published: 2026-10-01T02:24:15.086Z

Agent Domain Papers

1. OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing

Abstract:In July 2026, OpenAI’s agents coordinated over channels outside their intended environment to breach Hugging Face’s secured infrastructure. Could existing alignment testing practices have foreseen this incident? If not, what needs to change? We explore these questions. First, we identify the misaligned behaviors that caused this incident. Then, we show how to elicit these behaviors from publicly available models manually and that auditing agents can do the same if given a large compute budget. Based on our results, we propose directions to improve alignment testing. Concretely, in this project: (1) We reproduce the misaligned AI behaviors that led to the OpenAI-Hugging Face incident in an environment that simulates the original pipelines and tools, with publicly available models. (2) We demonstrate that an auditing agent can elicit similar behaviors given high-level qualitative descriptions. (3) We observe that a key ingredient for doing so is compute. The compute required to reproduce each behavior varies greatly, suggesting that the range of misaligned behaviors that can be successfully elicited scales with compute. (4) We show that a simple in-context reinforcement learning (RL) algorithm significantly reduces the compute required to elicit these behaviors. The above results motivate the need for automated alignment testing methods that scale with compute - and in light of the cost of compute, that do this efficiently. Our work indicates that RL is a promising direction to do so. We release our code and transcripts.

中文摘要

摘要：2026年7月，OpenAI的代理通过其预期环境之外的渠道协调行动，突破了Hugging Face的安全基础设施。现有的对齐测试方法能否预见这一事件？如果不能，需要做出哪些改变？我们探讨了这些问题。首先，我们识别了导致此次事件的未对齐行为。然后，我们展示了如何从公开可用的模型中手动引出这些行为，并且如果给予大量计算资源，审计代理也可以做同样的事。基于我们的结果，我们提出了改进对齐测试的方向。具体来说，在本项目中：（1）我们在模拟原始管道和工具的环境中，使用公开可用的模型，再现导致OpenAI-Hugging Face事件的未对齐AI行为。（2）我们演示了审计代理可以根据高级定性描述引出类似行为。（3）我们观察到实现这一点的关键因素是计算资源。再现每种行为所需的计算量差异很大，这表明可以成功引出的未对齐行为范围随计算资源的增加而扩大。（4）我们表明，简单的上下文强化学习（RL）算法显著减少了引出这些行为所需的计算量。上述结果促使我们需要可随计算资源扩展的自动化对齐测试方法——考虑到计算成本，还要高效执行。我们的工作表明，强化学习是在这方面的一个有前景的方向。我们发布了我们的代码和记录。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35799 (HTTP 429)

Authors: Stewart Slocum, Malayandi Palan, Christopher Chute, Michael Kim, Benjamin Van Roy

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35799.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35799

Published: 2026-10-01T02:24:36.055Z

2. Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices

Abstract:Running a language model on edge hardware provides private and low-latency reasoning without a network connection, and yet the small models that fit on such devices are unreliable on the tasks computers are expected to handle well, such as arithmetic, algebra, and formal logic problems. We argue that much of this unreliability is avoidable. Many queries appearing to demand reasoning are in fact structurally deterministic and permit fast and exact symbolic solutions. Therefore, forcing a probabilistic model to approximate them sacrifices accuracy and energy for little benefit. We present a neurosymbolic router that classifies each incoming query and dispatches it to the cheapest correct solver, sending structured tasks to deterministic engines and reserving the small language model (SLM) for open-ended word problems. Instead of hand-coding the routing logic, we learn a deterministic finite automaton (DFA) with the L* grammatical inference algorithm, using the SLM as a membership oracle and labeled data as an equivalence oracle. On a Raspberry Pi 4B (8 GB RAM, no GPU), evaluated on 100 untested prompts from DeepMind Mathematics, GSM8K, and RuleTaker, learned routing attains 100% routing accuracy and 98.3% overall accuracy with a 512-token reasoning budget (93.3% on word problems), compared with 72.0% for the strongest agent baseline, Program-of-Thought, and 58.7% for a tool-calling agent given the same solvers. Since formatted queries never reach the model, the router answers them in 1-11 ms and, in its 30-token configuration, runs 8.8x faster and 2.8x more energy-efficient than Program-of-Thought.

中文摘要

摘要：在边缘硬件上运行语言模型，无需网络连接即可实现私密且低延迟的推理，然而这些设备上的小型模型在计算机预期能胜任的任务上却不可靠，如算术、代数和形式逻辑问题。我们认为，这种不可靠性的大部分是可以避免的。许多看似需要推理的查询实际上是结构确定性的，允许快速且精确的符号解。因此，强迫概率模型近似它们会牺牲准确性和能量，但收益有限。我们提出了一种神经符号路由器，它对每个输入查询进行分类并派遣到最便宜的正确求解器，将结构化任务发送给确定性引擎，并将小语言模型（SLM）保留给开放式文字题。我们没有手写路由逻辑，而是用L*语法推理算法学习确定性有限自动机（DFA），以SLM作为成员预言机，标记数据作为等价预言机。在树莓派4B（8GB RAM，无GPU）上，基于DeepMind Mathematics、GSM8K和RuleTaker的100个未测试提示进行评估，学习到路由在512个令号推理预算下实现100%的路由准确率和98.3%的整体准确率（文字题为93.3%），相比之下，最强的智能体基线、思维程序（Program-of-Thought）和工具调用智能体（Tool-调用智能体）在相同求解器下为72.0%，工具调用智能体为58.7%。由于格式化查询从未到达模型，路由器在1-11毫秒内回复，且在其30令牌配置下，运行速度是Program-of-Thought的8.8倍，能效是2.8倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35833 (HTTP 429)

Authors: Avyay Sadhu, Alvaro Velasquez, Lekai Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35833.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35833

Published: 2026-10-01T02:24:36.055Z

3. Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?

Abstract:Is human readability necessary for effective fine-tuning of large language models? We investigate whether model-conditioned training representations can preserve or improve adaptation utility without requiring a human-readable textual form. We propose Desired-Update-Aligned Synthetic Data (DASA), which uses activation-gradient feedback from a frozen reference model to guide the optimization of continuous synthetic input embeddings. Inspired by the role of activation gradients in local risk reduction, DASA targets useful adaptation updates rather than source-text reconstruction or linguistic fluency. The resulting embeddings are used directly for downstream fine-tuning; discrete token projections are employed only for qualitative inspection. Experiments on six models from the Llama and Qwen families, ranging from 1B to 32B parameters, cover six benchmarks spanning knowledge, mathematical reasoning, code generation, and commonsense reasoning. Under matched LoRA adaptation settings, DASA achieves performance comparable to the source natural-language data and surpasses it in multiple configurations, while outperforming GRADMM in most comparisons. Further experiments cover general-domain and task-specialized source data. Under the evaluated synthesis settings, DASA provides a $3.6$—$4.9\times$ speedup over GRADMM with comparable peak GPU memory.

中文摘要

摘要：为了有效微调大型语言模型，人类可读性是否必要？我们研究了模型条件训练表示是否能够在不需要人类可读文本形式的情况下保持或提高适应性效用。我们提出了期望更新对齐合成数据（DASA），该方法利用冻结参考模型的激活梯度反馈来指导连续合成输入嵌入的优化。受激活梯度在局部风险降低中作用的启发，DASA针对有用的适应性更新而非源文本重建或语言流畅性。生成的嵌入直接用于下游微调；离散的标记投影仅用于定性检查。在来自Llama和Qwen系列、参数规模从1B到32B的六个模型上的实验涵盖了六个基准测试，涉及知识、数学推理、代码生成和常识推理。在匹配的LoRA适应设置下，DASA的性能可与源自然语言数据相比，并在多种配置中超过其表现，同时在大多数对比中优于GRADMM。进一步的实验涵盖通用领域和任务专用的源数据。在评估的合成设置下，DASA比GRADMM提供了约3.6—4.9倍的加速，同时GPU峰值内存相当。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35868 (HTTP 429)

Authors: Jinhao Zhang, Zeyu Liu, Zicheng Yan, Yunquan Zhang, Daning Cheng, Song Tang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35868.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35868

Published: 2026-10-01T02:24:36.055Z

4. The Price of Token Boundaries: Compression Certificates and Prediction

Abstract:Pre-tokenisation restricts which text fragments can become prediction units, but its compression cost is obscured when tokenisers are compared only under the same boundaries. We measure this cost by bounding the minimum token count from both sides, with and without a regular-expression boundary rule. Nonnegative prices on token occurrences yield a lower bound through shortest paths and vocabulary-budget selection; maximising over all prices recovers the linear programming relaxation, and an independent integer checker certifies the reported values. On English Wikipedia, boundaries increase the optimal token count by 28.3—36.8\%. Byte pair encoding lies 2.1\% above the constrained lower bound, but 10.9\% above the unrestricted bound. Compression and prediction favour different dictionaries: at 85M non-embedding parameters and matched training-token budgets, unrestricted fitting yields higher mean held-out bits per byte under a common unrestricted decoder in all 12 languages in the paired study and 11 of 12 under independent tuning and evaluation. To study intermediate boundary policies, we introduce boundary licences, which limit the vocabulary entries permitted to cross cuts and admit the same form of certificate. On separate English and Chinese fitting corpora, licensing 10\% of the vocabulary budget recovers 85.2\% and 100.0\% of the achieved token-count reduction from removing all cuts. These results quantify the compression cost of boundaries while separating it from the prediction quality of the resulting token units.

中文摘要

摘要：预分词限制了哪些文本片段可以成为预测单元，但当仅在相同边界下比较分词器时，其压缩成本被掩盖。我们通过从两侧限制最小 token 数量（有和没有正则表达式边界规则）来衡量这种成本。在 token 出现上施加非负价格，通过最短路径和词汇预算选择可以得到下界；对所有价格取最大值可以恢复线性规划松弛，并且独立整数检查器可以验证报告的数值。在英文维基百科上，边界会使最优 token 数量增加 28.3%–36.8%。字节对编码（Byte Pair Encoding）比受约束的下界高出 2.1%，但比无限制下界高出 10.9%。压缩和预测偏好不同的词典：在 8500 万非嵌入参数和匹配的训练 token 预算下，无限制拟合在配对研究的所有 12 种语言中，以及在独立调整和评估下的 11 种语言中，在共享的无限制解码器下产生更高的平均留存比特数每字节。为了研究中间边界策略，我们引入了边界许可（boundary licences），它限制允许跨越切割的词汇条目，并允许同样形式的证书。在单独的英文和中文拟合语料上，许可 10% 的词汇预算可以恢复从移除所有切割中获得的 85.2% 和 100.0% 的 token 数量减少。这些结果量化了边界的压缩成本，同时将其与由此产生的 token 单元的预测质量分开。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35869 (HTTP 429)

Authors: Yuhao Du, Shunian Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35869.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35869

Published: 2026-10-01T02:24:36.055Z

5. More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses

Abstract:Automated generation of LLM harnesses promises to improve inference through task specialization. Yet additional answer coverage can arise from repeated execution of the same program, making specialization difficult to identify. We introduce a controlled evaluation that separates answer coverage, repeatable task advantages, and gains from pre-execution selection. On 386 MATH-500 tasks, we compare eight generated harnesses plus a baseline with nine byte-identical baseline copies, using three executions per member. Identical programs yield 2.16 percentage points of repeat-averaged oracle headroom. Generated programs exhibit substantially more repeatable score patterns, but these chiefly reveal persistent weaknesses: losses relative to the baseline persist across all three repeats on 100 tasks, while persistent wins occur on only one task and are sensitive to answer extraction. The frozen selector gains 0.00 percentage points, and both populations reach 98.70% oracle coverage at 27 harness executions. Stable complementarity remains unresolved at three repeats. Supporting BIRD traces locate failures in mechanism implementation, activation, and output validity. Together, these findings establish why coverage and repeatability alone cannot justify claims of useful specialization. They motivate an evaluation standard for harness diversity: task advantages should persist across executions, guide usable decisions, and improve on additional fixed-program executions under matched inference budgets.

中文摘要

摘要：自动生成大语言模型（LLM）工具的使用承诺通过任务专门化来改善推理。然而，相同程序的重复执行可能带来额外的答案覆盖，这使得专门化难以识别。我们引入了一种受控评估方法，将答案覆盖、可重复任务优势以及预执行选择的收益分开。在386个MATH-500任务上，我们比较了八个生成的工具以及一个基线，与九个字节完全相同的基线副本进行比较，每个成员执行三次。相同程序产生了2.16个百分点的重复平均预测上限。生成的程序表现出明显更多的可重复得分模式，但这些主要揭示了持续的弱点：相对于基线的损失在三个重复中持续出现在100个任务上，而持续的获胜仅发生在一个任务上，并且对答案提取敏感。冻结的选择器未获得任何额外收益（0.00个百分点），两个人群在27次工具执行中都达到98.70%的预测覆盖率。在三次重复中，稳定的互补性仍未解决。BIRD跟踪支持显示故障发生在机制实现、激活和输出有效性方面。总体而言，这些发现说明仅凭覆盖率和可重复性不能证明有用的专门化。它们促使提出一种工具多样性的评估标准：任务优势应在多次执行中持续存在，指导可用决策，并在相同推理预算下改善额外的固定程序执行效果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35873 (HTTP 429)

Authors: Ziyang Xu, Haitian Zhong, Hao Zhou, Hao Qin, Chenhan Jin, Te Qi, Shengze Xu, Tieyong Zeng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35873.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35873

Published: 2026-10-01T02:24:36.055Z

6. Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees

Abstract:Online POMDP planners optimize the expected cumulative cost, which can mask dangerous states when the belief places significant mass on high-cost states. Existing risk-averse methods apply static or dynamic Conditional Value at Risk (CVaR) to the value function, capturing trajectory-level risk, but share two gaps: (i) by retaining the immediate cost as an expectation of a state-dependent cost over the belief, the risk \emph{within} the belief is left unaddressed; and (ii) by modifying the value function, they require new tailored algorithms rather than reusing existing expectation-based planners. We instead apply CVaR to the immediate cost over the belief at each step, directly targeting per-step uncertainty about the current state. The standard expected cumulative return is retained as the objective, so the resulting problem has a standard MDP structure: any expectation-based POMDP planner can be made risk-sensitive by changing only the cost computation. We inherit finite-time guarantees for policy evaluation and sparse sampling—-with estimation error independent of the risk level—-and, as our central theoretical result, prove a finite-time bound on the gap between the particle belief MDP surrogate and the original POMDP, which together yield an end-to-end guarantee from the true POMDP value to the algorithmic estimate. In the risk-neutral limit, the formulation recovers standard expectation-based planning.

中文摘要

摘要：在线 POMDP 规划器优化期望累积成本，但当信念在高成本状态上占有重要比例时，这可能掩盖危险状态。现有的规避风险方法将静态或动态条件风险价值（CVaR）应用于价值函数，以捕捉轨迹级别的风险，但存在两个缺口：（i）通过将即时成本保留为信念下基于状态成本的期望，信念内部的风险未得到解决；以及（ii）通过修改价值函数，这些方法需要新的定制算法，而无法重复使用现有的基于期望的规划器。我们改为在每一步将 CVaR 应用于信念上的即时成本，直接针对对当前状态的逐步不确定性。标准的期望累积收益仍被保留作为目标，因此产生的问题具有标准的 MDP 结构：任何基于期望的 POMDP 规划器只需更改成本计算即可实现风险感知。我们继承了策略评估和稀疏采样的有限时间保证——其估计误差与风险水平无关——并且作为我们的核心理论结果，证明了粒子信念 MDP 代理与原始 POMDP 之间差距的有限时间界限，这共同产生了从真实 POMDP 值到算法估计的端到端保证。在风险中性极限下，该方法恢复了标准的基于期望的规划。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35874 (HTTP 429)

Authors: Yaacov Pariente, Vadim Indelman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35874.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35874

Published: 2026-10-01T02:24:36.055Z

7. Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models

Abstract:Multi-agent debate (MAD) reportedly improves reasoning and factuality over single-model inference, but prior work treats agents as symmetric peers, leaving open what drives the gains. We test the hypothesis that cognitive diversity among agents is the driver, in the setting where the question is still measurable: small open-weight models with benchmark headroom. Across 23 models from eleven vendor families, five tasks, and 5,500+ debate and control runs, we vary diversity along three axes - personas, sampling temperature, and model identity - pairing every debate configuration with a generation-budget-matched majority-vote control. The hypothesis is rejected on every axis. Debate beats single-agent inference (3—7 points where tasks have headroom) but at matched budget conditions it ties or even loses to self-consistency sampling at 1.6$\times$ the wall-clock and 3.4$\times$ the token cost. Persona prompting reduces accuracy and a dose-response experiment over each model’s full combinatorial persona space shows the cost is a persona tax, not a diversity tax: redundant personas hurt most, while maximally-diverse teams recover part of the loss. Furthermore, mixed-model teams lose to majority votes over their own rosters, with accuracy tracking member capability rather than heterogeneity, and nearly all of debate’s benefit comes from the first exchange of answers. We further identify a pervasive measurement hazard in which debate transcripts silently overflow serving context windows, whose correction alone moves our debate-versus-sampling comparison from $-1.8$ points to parity. Our results recast reported MAD gains as an ensemble-sampling effect and provide the budget-matched, contamination-checked baseline bar that future debate mechanisms should be required to clear.

中文摘要

摘要：据报道，多智能体辩论（MAD）相比单模型推理能提升推理能力和事实性，但以往研究将智能体视为对称同伴，没有探究提升效果的具体原因。我们在问题仍可度量的设置下测试了一个假设：智能体认知多样性是提升效果的驱动因素，即小型开放权重模型在基准测试留有提升空间的情况下。在来自11个厂商家族的23个模型、5个任务，以及5500多次辩论和控制实验中，我们沿三个轴线——角色设定、采样温度和模型身份——变化多样性，将每种辩论配置与具有相同生成预算的多数投票控制进行配对。该假设在每个轴线上均被拒绝。辩论胜过单智能体推理（在任务有提升空间时提升3-7分），但在相同预算条件下，其表现与自洽采样持平甚至落后，耗时为1.6倍，消耗的Token为3.4倍。角色提示降低了准确率，对每个模型的全组合角色空间进行剂量-反应实验显示，这种成本是角色“税”，而非多样性“税”：冗余角色最为有害，而最大多样化团队则能部分挽回损失。此外，混合模型团队在其自身阵容的多数投票面前表现不佳，准确率随成员能力而非异质性波动，几乎所有辩论优势来自于答案的第一次交换。我们进一步发现一项普遍的测量风险，即辩论文本会悄然超过服务上下文窗口，其校正单独就能将我们辩论与采样的对比从-1.8分提升至平分。我们的结果将已报道的MAD提升重新解释为套件采样效应，并提供了预算匹配、经过污染检查的基线标准，这是未来辩论机制应满足的要求。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35875 (HTTP 429)

Authors: Leonardo Ferreira, Gardenia Liu, Kaden Zheng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35875.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35875

Published: 2026-10-01T02:24:36.055Z

8. Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

Abstract:Sparse-autoencoder decomposability and concentrated feature attribution are increasingly treated as evidence that a model’s computation is easier to reverse-engineer. Whether this representational and attributional cleanliness actually predicts a smaller or more tractable causal circuit remains an open question. We test this directly using adversarial training as a controlled instrument: it reliably reshapes internal representations, but this alone does not constitute a test of circuit size. We investigate this question through reverse-engineering complexity: the causal structure required to recover a model’s behavior at a fixed level of faithfulness. To our knowledge, this is the first controlled empirical test of whether representational or attributional simplicity translates into causal simplicity at the circuit level. Starting from the same pretrained GPT-2 Small checkpoint, we apply matched standard and adversarial continual training, requiring both conditions to retain competence on indirect object identification and pass independent robustness verification before comparing mechanisms. We then compare the models along three complementary axes: sparse-autoencoder decomposability, SAE feature engagement in task attribution, and the size of faithful circuits recovered from the raw computational graph. The robust model is more SAE-decomposable and engages fewer SAE features in task attribution. Circuit size is regime-dependent: on competence-matched IOI, standard leads or ties below 85% faithfulness, but robust needs substantially fewer edges at high faithfulness (90%, 95%), a pattern established on the primary pair while representational trends generalize across a seven-point sweep and a second corpus.

中文摘要

摘要：稀疏自动编码器的可分解性和集中的特征归因越来越多地被视为模型计算更易于逆向工程的证据。然而，这种表示和归因的简洁性是否实际上能够预测更小或更可处理的因果电路仍是一个未解之谜。我们通过对抗训练这一受控手段直接测试这一点：它能够可靠地重塑内部表示，但仅此并不构成电路规模的检验。我们通过逆向工程复杂性来研究这一问题：即在固定忠实度水平下恢复模型行为所需的因果结构。据我们所知，这是首次对表示或归因的简单性是否转换为电路级因果简单性进行的受控实证检验。从相同的预训练 GPT-2 Small 检查点开始，我们应用匹配的标准训练和对抗持续训练，要求两种条件在间接宾语识别任务上保持能力，并在比较机制前通过独立的鲁棒性验证。然后，我们从三个互补维度对模型进行比较：稀疏自动编码器的可分解性、SAE 特征在任务归因中的参与度，以及从原始计算图中恢复的忠实名电路的规模。鲁棒模型在 SAE 可分解性上更高，并且在任务归因中参与的 SAE 特征更少。电路规模依赖于训练模式：在能力匹配的 IOI 上，标准模型在忠实度低于 85% 时领先或持平，但在高忠实度（90%、95%）下，鲁棒模型需要的边显著更少，这一模式在主要对比模型上得到验证，而表示趋势在七点扫描和第二语料库中也能推广。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35890 (HTTP 429)

Authors: Adam Elimadi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35890.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35890

Published: 2026-10-01T02:24:36.055Z

9. Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?

Abstract:The pursuit of recursive self-improvement (RSI) toward general intelligence is divided between macro-level language model scaling and the interaction-driven principles of “Era of Experience”. Yet, any self-improving architecture ultimately rests upon its underlying optimization engine: if general intelligence requires learning from grounded interaction, the reinforcement learning (RL) update rule itself must be capable of cumulative adaptation. While algorithm self-discovery has produced Disco103 that surpassed PPO to achieve SOTA benchmark performance — its internal update machinery remains an uninspected black box. We present the first causal mechanistic audit of a self-discovered RL rule, structured directly around the five pillars of the Era of Experience: extended horizon, grounded reward scales, continuing streams, within-lifetime change, and exploration depth. By surgically pinning, freezing, and transplanting recurrent states while holding meta-parameters fixed, we test when learning history acts as an asset or a burden. Three findings organize the audit: (1) Recurrent history actively expands usable reward scales, sustaining a six-decade window versus three under zero-pinning. (2) Decoupling historical content from its maintenance reveals that the penalty of mismatched history stems from perpetual clamping; allowing imported state to evolve naturally attenuates this burden. (3) Under environmental change, controlling replay retention reverses the apparent adaptation advantage over DQN, demonstrating that external data turnover can confound internal plasticity. Validated through capability thresholds and ported to a second rule (OPEN), this work grounds macro-RSI ambitions in micro-level learning dynamics, establishing a foundational audit standard for next-generation, self-evolving RL algorithms.

中文摘要

摘要：朝向通用智能的递归自我改进（RSI）的追求，在宏观层面上被划分为语言模型扩展与“经验时代”驱动的交互原则。然而，任何自我改进的架构最终都依赖于其底层的优化引擎：如果通用智能要求从扎根的交互中学习，那么强化学习（RL）更新规则本身必须能够进行累积适应。虽然算法自我发现产生了超越PPO以实现SOTA基准性能的Disco103——其内部更新机制仍是未经检查的黑箱。我们提出了首次针对自我发现的RL规则的因果机制审计，其结构直接围绕经验时代的五大支柱：扩展视野、扎根奖励尺度、持续数据流、生命内变化和探索深度。通过在保持元参数不变的情况下，手术式固定、冻结和移植递归状态，我们测试了学习历史何时作为资产或负担。审计结果组织为三项发现：(1) 递归历史积极扩大了可用奖励尺度，将可持续窗口延长至六十年，而在零固定情况下仅为三十年。(2) 将历史内容与其维护机制分离显示，历史不匹配的惩罚源于持续夹紧；允许导入状态自然演化可以减轻这一负担。(3) 在环境变化下，控制回放保留会逆转相对于DQN的表观适应优势，表明外部数据更新可能混淆内部可塑性。通过能力阈值验证并移植到第二条规则（OPEN），这项工作将宏观RSI的目标建立在微观学习动态基础上，为下一代自我进化的RL算法建立了基础审计标准。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35897 (HTTP 429)

Authors: Haomin Luo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35897.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35897

Published: 2026-10-01T02:24:36.055Z

10. Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives

Abstract:Discrete diffusion models generate sequences by iteratively resolving multiple tokens in parallel, offering a flexible alternative to left-to-right generation. However, guiding this process with a sequence-level objective is difficult because the value of one unresolved token depends on the other tokens with which it can form a high-reward sequence. Enumerating all such completions makes the whole guidance computation grow exponentially with the number of unresolved positions. We introduce COFFEE, a plug-and-play framework that avoids this enumeration by separating sequence dependence from the objective. At each diffusion step, a target-free carrier absorbs the marginal token distributions predicted by the denoiser to construct a joint model over the unresolved tokens, while a compiled finite-state model records how their combinations affect the sequence-level preference. Pairing their states allows COFFEE to transfer global preferences to unresolved positions and sample a clean reconstruction without retraining the diffusion model. The same framework supports explicit hard constraints and learned soft objectives. We evaluate COFFEE across multiple symbolic, language, and biological benchmarks, where it achieves strong control results with task-dependent quality and diversity trade-offs. By making objectives available to inference rather than only evaluation, COFFEE brings joint conditioning, completion-weighted guidance, and optimization-based constraints into pretrained neural generation, showing the potential of neural-symbolic methods in diffusion guidance.

中文摘要

摘要：离散扩散模型通过并行迭代解决多个标记来生成序列，提供了一种比从左到右生成更灵活的替代方案。然而，用序列级目标来引导这一过程是困难的，因为一个未解决标记的价值取决于它可以与之形成高奖励序列的其他标记。枚举所有此类完成使整个引导计算随着未解决位置的数量呈指数增长。我们提出了COFFEE，一个即插即用的框架，通过将序列依赖性与目标分离来避免这种枚举。在每个扩散步骤中，一个无目标载体吸收去噪器预测的边际标记分布，以构建未解决标记的联合模型，同时一个汇编的有限状态模型记录它们的组合如何影响序列级偏好。通过配对它们的状态，COFFEE能够将全局偏好转移到未解决位置，并在无需重新训练扩散模型的情况下采样干净的重建。同一框架支持显式硬约束和学习的软目标。我们在多个符号、语言和生物学基准上评估COFFEE，它在任务依赖的质量与多样性权衡方面实现了强大的控制效果。通过让目标在推理中而不仅仅在评估中可用，COFFEE将联合条件、加权完成引导以及基于优化的约束引入预训练神经生成，展示了神经-符号方法在扩散引导中的潜力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35924 (HTTP 429)

Authors: Dongxin Li, Gwen Yidou-Weng, Guy Van den Broeck, Wei Wang, Anji Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35924.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35924

Published: 2026-10-01T02:24:36.055Z

Evaluation Domain Papers

1. OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing

中文摘要

摘要：2026年7月，OpenAI的代理通过其预期环境之外的渠道协调行动，突破了Hugging Face的安全基础设施。现有的对齐测试方法能否预见这一事件？如果不能，需要做出哪些改变？我们探讨了这些问题。首先，我们识别了导致此次事件的未对齐行为。然后，我们展示了如何从公开可用的模型中手动引出这些行为，并且如果给予大量计算资源，审计代理也可以做同样的事。基于我们的结果，我们提出了改进对齐测试的方向。在本项目中，具体内容包括：(1) 我们在一个模拟原始流程和工具的环境中，使用公开可用的模型重现导致OpenAI-Hugging Face事件的未对齐AI行为。(2) 我们演示了审计代理可以通过高级定性描述引出类似行为。(3) 我们观察到，实现这一点的关键因素是计算能力。重现每种行为所需的计算量差异很大，这表明可以成功引出的未对齐行为范围随计算能力而扩展。(4) 我们展示了一个简单的上下文强化学习（RL）算法显著减少了引出这些行为所需的计算量。上述结果表明，需要开发可随计算能力扩展的自动化对齐测试方法——考虑到计算成本，这种方法必须高效。我们的研究表明，强化学习是实现这一目标的一个有前景的方向。我们公开了我们的代码和记录。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35799 (HTTP 429)

Authors: Stewart Slocum, Malayandi Palan, Christopher Chute, Michael Kim, Benjamin Van Roy

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35799.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35799

Published: 2026-10-01T02:25:00.460Z

2. Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices

中文摘要

摘要：在边缘硬件上运行语言模型可以在没有网络连接的情况下提供私密且低延迟的推理，然而适合此类设备的小型模型在计算机本应能很好处理的任务（如算术、代数和形式逻辑问题）上却不可靠。我们认为，这种不可靠性在很大程度上是可以避免的。许多看似需要推理的查询实际上是结构上确定的，并允许快速且精确的符号解法。因此，强制一个概率模型去近似这些查询会以精度和能源为代价，却几乎没有收益。我们提出了一种神经符号路由器，它对每个进入的查询进行分类，并将其分派到最便宜且正确的解算器，将结构化任务发送到确定性引擎，同时将小型语言模型（SLM）保留用于开放式文字问题。我们没有手动编码路由逻辑，而是使用L*语法推理算法学习确定性有限自动机（DFA），将SLM用作成员查询oracle，并将标注数据用作等价oracle。在Raspberry Pi 4B（8 GB RAM，无GPU）上，针对来自DeepMind Mathematics、GSM8K和RuleTaker的100个未测试提示进行评估，学习型路由实现了100%的路由准确率和512-token推理预算下的98.3%的整体准确率（文字问题为93.3%），相比之下，最强的代理基线Program-of-Thought为72.0%，使用相同解算器的工具调用代理为58.7%。由于格式化查询从不发送到模型，路由器可以在1-11毫秒内回答，并且在其30-token配置下，运行速度比Program-of-Thought快8.8倍，能效高2.8倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35833 (HTTP 429)

Authors: Avyay Sadhu, Alvaro Velasquez, Lekai Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35833.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35833

Published: 2026-10-01T02:25:00.460Z

3. Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35868 (HTTP 429)

Authors: Jinhao Zhang, Zeyu Liu, Zicheng Yan, Yunquan Zhang, Daning Cheng, Song Tang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35868.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35868

Published: 2026-10-01T02:25:00.460Z

4. The Price of Token Boundaries: Compression Certificates and Prediction

中文摘要

摘要：预分词限制了哪些文本片段可以成为预测单元，但当仅在相同边界下比较分词器时，其压缩成本被掩盖。我们通过从两侧限制最小 token 数量（有和没有正则表达式边界规则）来衡量这一成本。在 token 出现上施加非负价格，通过最短路径和词汇预算选择可以得到下界；对所有价格取最大值可以恢复线性规划松弛，并且独立整数检查器可以验证报告的数值。在英文维基百科上，边界会使最优 token 数量增加 28.3%–36.8%。字节对编码（Byte Pair Encoding）高出受约束下界 2.1%，但高出无限制下界 10.9%。压缩和预测偏好不同的词典：在 8500 万非嵌入参数和匹配训练 token 预算下，在配对研究中的 12 种语言下以及独立调优和评估的 11 种语言下，无限制拟合在常见无限制解码器下获得更高的平均每字节持出位数。为了研究中间边界策略，我们引入了边界许可证（boundary licences），它限制允许跨切割的词汇条目，并允许相同形式的证明。在独立的英文和中文拟合语料中，许可 10% 的词汇预算可以恢复从移除所有切割获得的 token 数量减少的 85.2% 和 100.0%。这些结果量化了边界的压缩成本，同时将其与生成 token 单元的预测质量区分开。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35869 (HTTP 429)

Authors: Yuhao Du, Shunian Chen

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35869.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35869

Published: 2026-10-01T02:25:00.460Z

5. More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses

中文摘要

摘要：自动生成大语言模型（LLM）工具的使用承诺通过任务专门化来改善推理。然而，相同程序的重复执行可能带来额外的答案覆盖，这使得专门化难以识别。我们引入了一种受控评估方法，将答案覆盖、可重复任务优势以及预执行选择的收益分开。在386个MATH-500任务上，我们比较了八个生成的工具以及一个基线，与九个字节完全相同的基线副本进行比较，每个成员执行三次。相同程序产生了2.16个百分点的重复平均预测上限。生成的程序表现出明显更多的可重复得分模式，但这些主要揭示了持续的弱点：相对于基线的损失在三个重复中持续出现在100个任务上，而持续的获胜仅发生在一个任务上，并且对答案提取敏感。冻结的选择器未获得任何额外收益（0.00个百分点），两个人群在27次工具执行中都达到98.70%的预测覆盖率。在三次重复中，稳定的互补性仍未解决。BIRD跟踪支持发现故障发生在机制实现、激活和输出有效性方面。总体而言，这些发现说明仅凭覆盖率和可重复性不能证明有用的专门化。它们促使提出一种工具多样性的评估标准：任务优势应在多次执行中持续存在，指导可用决策，并在相同推理预算下改善额外的固定程序执行效果。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35873 (HTTP 429)

Authors: Ziyang Xu, Haitian Zhong, Hao Zhou, Hao Qin, Chenhan Jin, Te Qi, Shengze Xu, Tieyong Zeng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35873.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35873

Published: 2026-10-01T02:25:00.460Z

6. Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees

中文摘要

摘要：在线部分可观测马尔可夫决策过程（POMDP）规划器优化期望累计成本，但当信念集中在高成本状态时，这可能掩盖危险状态。现有的风险规避方法将静态或动态条件风险价值（CVaR）应用于价值函数，以捕捉轨迹级别的风险，但存在两个问题：（i）由于将即时成本保留为信念下的状态依赖成本的期望，信念内的风险未得到处理；（ii）通过修改价值函数，它们需要新的定制算法，而无法重用现有基于期望的规划器。我们则在每一步将CVaR应用于信念下的即时成本，直接针对当前状态的不确定性。标准的期望累计收益作为目标被保留，因此所得问题具有标准MDP结构：通过仅改变成本计算，任何基于期望的POMDP规划器都可以变为风险敏感。我们继承了策略评估和稀疏采样的有限时间保证——估计误差与风险水平无关——并且，作为我们核心的理论结果，证明了粒子信念MDP替代模型与原始POMDP之间差距的有限时间界，从而整体上提供了从真实POMDP值到算法估计的端到端保证。在风险中性极限下，该方法恢复了标准的基于期望的规划。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35874 (HTTP 429)

Authors: Yaacov Pariente, Vadim Indelman

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35874.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35874

Published: 2026-10-01T02:25:00.460Z

7. Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models

中文摘要

摘要：据报道，多智能体辩论（MAD）相比单模型推理能提升推理能力和事实性，但以往研究通常将智能体视为对称的同伴，尚未明确收益的驱动因素。我们在问题仍可测量的情况下（小型开权重模型并且有基准上限）测试了智能体认知多样性是驱动因素的假设。在来自十一个供应商家族的23个模型、五个任务以及5500+次辩论与控制运行中，我们沿三个维度调整多样性——人格设定、采样温度和模型身份——并将每种辩论配置与生成预算匹配的多数投票控制进行配对。每个维度上的假设均被否定。辩论在任务仍有上限余地时胜过单智能体推理（3–7分），但在预算匹配条件下，它与自一致采样持平甚至落后，后者的墙时和标记成本分别为1.6倍和3.4倍。人格提示降低了准确性，并且在每个模型的全组合人格空间中的剂量-反应实验显示，这种成本是人格“税”，而非多样性“税”：冗余人格最为有害，而最大多样化团队则能部分挽回损失。此外，混合模型团队在其自身阵容的多数投票面前落败，其准确性更多取决于成员能力而非异质性，而且几乎所有辩论的益处都来自第一次答案交换。我们进一步发现了一个普遍的测量风险，即辩论文本会无声地溢出服务上下文窗口，仅纠正这一点就将我们的辩论与采样比较从-1.8分提升至平分。我们的结果将已报道的MAD收益重新解释为套件采样效应，并提供了预算匹配、经过污染检查的基线标准，这是未来辩论机制应满足的要求。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35875 (HTTP 429)

Authors: Leonardo Ferreira, Gardenia Liu, Kaden Zheng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35875.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35875

Published: 2026-10-01T02:25:00.460Z

8. Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

中文摘要

摘要：稀疏自编码器可分解性和集中特征归因越来越被视为模型计算更容易逆向工程的证据。这种表征和归因的清晰度是否真的能预测一个更小或更易处理的因果电路，仍是一个未解之谜。我们直接使用对抗训练作为受控工具进行测试：它可靠地重塑内部表征，但仅此本身并不构成电路规模的测试。我们通过逆向工程复杂性来探讨这个问题：即在固定忠实度水平下恢复模型行为所需的因果结构。据我们所知，这是首次受控的实证测试，检验表征简单性或归因性简单性是否转化为电路层面的因果简单性。从同一预训练的GPT-2 Small检查点出发，我们应用匹配标准和对抗持续训练，要求两者均保持间接对象识别能力并通过独立鲁棒性验证，然后再比较机制。然后沿三个互补轴比较模型：稀疏自编码器分解性、SAE特征在任务归因中的参与度，以及从原始计算图恢复的忠实电路大小。稳健模型更具SAE可分解性，任务归因涉及SAE特征较少。电路大小依赖于体系：能力匹配的IOI、标准领先或联系低于85%忠实度，但稳健在高忠实度时需要显著减少边（90%、95%），这一模式在主对上形成，而表示趋势则在七点扫描和第二语料库中推广。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35890 (HTTP 429)

Authors: Adam Elimadi

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35890.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35890

Published: 2026-10-01T02:25:00.460Z

9. Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?

中文摘要

摘要：朝向通用智能的递归自我改进（RSI）的追求，在宏观层面上被划分为语言模型扩展与“经验时代”驱动的交互原则。然而，任何自我改进的架构最终都依赖于其底层的优化引擎：如果通用智能要求从扎根的交互中学习，那么强化学习（RL）更新规则本身必须能够进行累积适应。虽然算法自我发现产生了超越PPO以实现SOTA基准性能的Disco103——其内部更新机制仍是未经检查的黑箱。我们提出了首次针对自我发现的RL规则的因果机制审计，其结构直接围绕经验时代的五大支柱：扩展视野、扎根奖励尺度、持续流、生命周期内变化、和探索深度。通过在保持元参数不变的情况下，手术式固定、冻结和移植递归状态，我们测试了学习历史何时作为资产或负担。审计结果组织为三项发现：(1) 递归历史积极扩大了可用奖励尺度，将可持续窗口延长至六十年，而在零固定情况下仅为三十年。(2) 将历史内容与其维护机制分离显示，历史不匹配的惩罚源于持续夹紧；允许导入状态自然演化可以减轻这一负担。(3) 在环境变化下，控制回放保留会逆转相对于DQN的表观适应优势，表明外部数据更新可能混淆内部可塑性。通过能力阈值验证并移植到第二条规则（OPEN），这项工作将宏观RSI的愿景建立在微观学习动态之上，为下一代自我进化RL算法建立了基础审计标准。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35897 (HTTP 429)

Authors: Haomin Luo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35897.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35897

Published: 2026-10-01T02:25:00.460Z

10. Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35924 (HTTP 429)

Authors: Dongxin Li, Gwen Yidou-Weng, Guy Van den Broeck, Wei Wang, Anji Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2609.35924.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35924

Published: 2026-10-01T02:25:00.460Z

VLM Domain Papers

1. CoVLM-Bench: A Real-World Benchmark for Cooperative Driving Question Answering and Planning

Abstract:Vision-language models (VLMs) have made substantial progress in autonomous driving, but their success has primarily been studied in ego-centric scenes. Infrastructure-side observations provide views beyond the ego vehicle’s field of view, yet conventional cooperative-driving systems typically transform them into geometric representations for downstream perception and planning. Directly incorporating these views into VLMs offers an opportunity to improve cooperative scene understanding and trajectory planning. However, question answering and trajectory planning have not been jointly evaluated on the same real-world vehicle-infrastructure scenes. We present CoVLM-Bench, a benchmark for cooperative driving question answering (CDQA) and cooperative planning (CP) on vehicle-infrastructure paired scenes. CoVLM-Bench provides scene-grounded CDQA annotations, three-part rationales as auxiliary supervision, and future trajectory targets derived from recorded ego motion. It contains 2,196 paired frames with 35,136 CDQA annotations, while CP predicts six waypoints over a three-second horizon. The annotations combine model-assisted drafting, record-based computation, and human verification. Built upon CoVLM-Bench, we introduce CoVLM-Drive, a unified VLM baseline that directly uses paired views for both CDQA and CP. Experiments show that CDQA adaptation improves answer accuracy and that CoVLM-Drive reaches a lower FDE than the compared V2X planners; QA initialization and rationale supervision each reduce planning error. Together, CoVLM-Bench and CoVLM-Drive support the training and comparison of VLMs for cooperative scene understanding and planning.

中文摘要

摘要：视觉-语言模型（VLMs）在自动驾驶领域取得了显著进展，但其成功主要集中在以自车为中心的场景中进行研究。基础设施侧的观测提供了自车视野之外的视角，而传统的协同驾驶系统通常将这些视角转换为几何表示，以用于下游感知和规划。直接将这些视角纳入VLMs为提升协同场景理解和轨迹规划提供了机会。然而，问答和轨迹规划尚未在相同的真实车辆-基础设施场景中进行联合评估。我们提出了CoVLM-Bench，这是用于车辆-基础设施配对场景下协同驾驶问答（CDQA）和协同规划（CP）的基准。CoVLM-Bench提供了场景关联的CDQA标注、作为辅助监督的三部分推理过程，以及基于记录的自车运动生成的未来轨迹目标。它包含2,196对帧及35,136条CDQA标注，而CP在三秒的预测窗口中预测六个航路点。这些标注结合了模型辅助草拟、基于记录的计算和人工验证。在CoVLM-Bench的基础上，我们引入了CoVLM-Drive，一个统一的VLM基线，直接利用配对视角用于CDQA和CP。实验表明，CDQA适配可以提高答案准确性，CoVLM-Drive比对比的V2X规划器达到更低的终点误差（FDE）；问答初始化和推理监督各自均降低了规划误差。综上，CoVLM-Bench和CoVLM-Drive支持VLMs在协同场景理解和规划中的训练与比较。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35823 (HTTP 429)

Authors: Kang Yang, Shuai Liu, Hang Li, Yance Fang, Deying Li, Yongcai Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.35823.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35823

Published: 2026-10-01T02:25:25.149Z

2. HERO: Histology Encoder for Robust Representation in Oncology

Abstract:Foundation models trained on large pathology image corpora now provide strong, transferable representations for computational pathology. Over the past few years a series of such models has been released, each trained on more slides than the last; on standard classification and segmentation benchmarks, the leading models are now separated by small margins. In clinical use, however, the foundation model is applied to images from hospitals, scanners, and staining protocols outside its training data. Encoders generally embed these acquisition factors alongside biological information, which may introduce downstream errors and hinder safe clinical adoption. A pathology foundation model should therefore be robust to acquisition shift without giving up representation quality, yet robustness is seldom the axis along which models are compared. In this report, we introduce HERO (Histology Encoder for Robust Representation in Oncology), a ViT-G/14 pathology foundation model trained with the DINO and iBOT objectives and refined with high-resolution Gram anchoring on a morphology-balanced corpus of 500 million tiles from approximately 575,000 clinical whole-slide images. Across the evaluated public benchmarks, HERO shows the strongest robustness to center, scanner, and stain variation among the compared state-of-the-art foundation models, performs comparably on tile-level classification, segmentation, and gene-expression prediction, ranks first on average across 39 evaluated slide-level clinical tasks, and, under an equal-weighted framework-level analysis, has the best average rank across the six benchmark frameworks.

中文摘要

摘要：在大规模病理图像语料库上训练的基础模型如今为计算病理学提供了强大且可迁移的表示。在过去几年中，一系列此类模型相继发布，每一代模型所训练的切片数量都超过上一代；在标准分类和分割基准测试中，领先模型之间的差距现在已经非常小。然而，在临床应用中，基础模型通常要处理来自其训练数据之外的医院、扫描仪和染色协议的图像。编码器通常会将这些采集因素与生物信息一同嵌入，这可能会引入下游错误并阻碍安全的临床应用。因此，病理学基础模型应对采集变化保持稳健，同时不降低表示质量，但稳健性很少是模型比较的维度。在本报告中，我们介绍HERO（癌症学稳健表示的组织学编码器），这是一个ViT-G/14病理基础模型，采用DINO和iBOT目标训练，并在一个由约57.5万张临床全切片图像组成、形态学平衡的5亿块瓷砖语料库上通过高分辨率Gram固定进行优化。在评估的公共基准测试中，HERO在中心、扫描仪和染色变化的稳健性方面表现出最强性能，在瓷砖级分类、分割和基因表达预测上表现相当，在39项评估的切片级临床任务中平均排名第一，并且在等权重框架级分析下，在六个基准框架中具有最佳平均排名。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35943 (HTTP 429)

Authors: Zhi Li, Eghbal Amidi, Yating Cheng, Tyson Dawson, Gorkem Can Ates, Shuzhen Kuang, Norsang Lama, Md Ashequr Rahman, Zhiying Lu, Elisabeth K. Kong, Milan Radovich, David Spetzler, Matthew Oberley, George W. Sledge, Ming Chen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.35943.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35943

Published: 2026-10-01T02:25:25.149Z

3. HEIR: Learning Human-Entity Interactions with Functional Roles

Abstract:Understanding human-entity interactions requires recovering each person-action event’s participants, roles, and shared identities. This structure can support embodied agents by clarifying who acts on which entities and how, informing anticipation and coordination in shared environments. Standard HOI metrics score individual links, leaving complete event composition undermeasured. We introduce HEIR (Human-Entity Interactions with Functional Roles), an image benchmark for complete grounded participant-role sets across object, interpersonal, and self-directed interactions. It contains 18,730 images, six roles, 105 actions, and 437 nouns, with shared entities, role changes, and repeated fillers; 51.6% of images contain multiple actors and 62.1% contain multiple actions. HEIR pairs relation AP with complete-set AP and structural evaluation. We also introduce CoRISP (Compositional Role-aware Interaction Set Prediction), which uses shared entity identities to combine role-conditioned evidence and predict normalized participant-role sets. Cardinality and role-multiplicity potentials couple assignments through event size and role composition, with exact per-event normalization. Across 16 baselines, relation and complete-event rankings diverge even after aligning action weights. CoRISP leads the evaluated systems on repeated-role events and shared-participant images in HEIR by 2.87 and 3.82 Set mAP points, respectively. On V-COCO, CoRISP achieves 73.72/76.23 role AP and 61.06/68.59 complete-set AP on two-slot actions under Scenarios 1/2. These results show the value of learning and evaluating event composition alongside individual relations. The code and dataset are publicly available at this https URL.

中文摘要

摘要：理解人类-实体交互需要恢复每个个人-动作事件的参与者、角色和共享身份。该结构可以通过明确谁在对哪些实体采取何种行动来支持具身代理，从而为共享环境中的预测和协调提供信息。标准 HOI 指标对单个链接进行评分，而对完整事件的组成评估不足。我们引入了 HEIR（具有功能角色的人类-实体交互），这是一个用于跨对象、人际和自我导向交互的完整基础参与者-角色集合的图像基准。它包含 18,730 张图像、六个角色、105 个动作和 437 个名词，并包含共享实体、角色变化和重复填充物；51.6% 的图像包含多个参与者，62.1% 包含多个动作。HEIR 将关系 AP 与完整集合 AP 及结构评估配对。我们还引入了 CoRISP（组合角色感知交互集合预测），它利用共享实体身份来结合角色条件证据并预测规范化参与者-角色集合。基数和角色多重性潜力通过事件规模和角色组成将分配联系起来，并进行逐事件的精确归一化。在 16 个基线模型中，即使对动作权重进行对齐，关系排序和完整事件排序仍存在差异。CoRISP 在 HEIR 中针对重复角色事件和共享参与者图像分别领先评估系统 2.87 和 3.82 个集合 mAP 点。在 V-COCO 上，CoRISP 在两插槽动作下的场景 1/2 中分别实现了 73.72/76.23 的角色 AP 和 61.06/68.59 的完整集合 AP。这些结果显示了学习和评估事件组成与单个关系同时进行的价值。代码和数据集已公开，可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35955 (HTTP 429)

Authors: Di Wen, Wenhao Guo, Yuedong Tan, Yun Huang, Minheng Wu, Zhihang Chen, Haiwen Sun, Fei Teng, Zhiyuan Gao, Yufeng Zhang, Yuanhao Luo, Jingqi Zhang, Yufan Chen, Junwei Zheng, Ruiping Liu, Jiale Wei, Kailun Yang, Kunyu Peng

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.35955.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35955

Published: 2026-10-01T02:25:25.149Z

Abstract:Vision-and-Language Navigation (VLN) has largely focused on a single agent following a single instruction, yet many real-world applications require teams of robots to tackle tasks beyond the capabilities of any individual agent. We present Systematic Multi-Agent Vision-and-Language Navigation, providing, to our knowledge, the first systematic formalization of multi-agent VLN as a constrained coordination problem: each mission consists of subtasks carrying dependency and resource constraints (presence locks and holding chains). A verified four-stage crafting pipeline instantiates the task as MAVLN, comprising 11,724 episodes across 145 scenes with teams of up to four agents under three instruction regimes, accompanied by tailored constraint-aware metrics. We further present TRISS, a coordination-ready navigation system coupling an LLM-based subtask scheduler, a shared topological memory that turns each agent’s exploration into team knowledge, and a conflict-aware execution mechanism that realizes simultaneous intentions as collision-free routes. Extensive experiments establish TRISS as a comprehensive baseline and reveal substantial room for improvement across scheduling, planning, and execution, highlighting the challenges of coordinating under MAVLN task constraints. Project page: this https URL.

中文摘要

摘要：视觉与语言导航（VLN）在很大程度上集中于单个智能体遵循单条指令，但许多现实世界的应用需要机器人团队来完成超出任意单个智能体能力的任务。我们提出了系统化多智能体视觉与语言导航（MAVLN），据我们所知，这是首次将多智能体VLN系统化地形式化为受约束的协调问题：每个任务由具有依赖性和资源约束（存在锁和持有链）的子任务组成。经过验证的四阶段构建流程将任务实例化为MAVLN，包括跨145个场景的11,724个场景，各场景中最多有四名智能体在三种指令模式下协作，并配有定制的约束感知指标。我们进一步提出了TRISS，一种面向协调的导航系统，结合了基于大型语言模型的子任务调度器、将每个智能体探索转化为团队知识的共享拓扑记忆，以及实现同时意图的无碰撞路径的冲突感知执行机制。大量实验表明TRISS是一个全面的基准，并揭示了调度、规划和执行方面有显著的改进空间，突出了在MAVLN任务约束下协调的挑战。项目页面：此 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.35965 (HTTP 429)

Authors: Yunzhe Xu, Zhe Liu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.35965.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.35965

Published: 2026-10-01T02:25:25.149Z

5. Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion

Abstract:Pixel-space diffusion Transformers (DiTs) directly operate on high-dimensional visual data, yet their hidden representations typically undergo uniform refinement across depth. Natural images, however, are inherently organized at different levels of granularity. Global structure can often be represented compactly, whereas local textures and fine details require richer representations. Motivated by this, we introduce heterogeneous refinement in pixel-space DiTs, assigning different feature groups distinct refinement budgets across depth. Consequently, an ordered feature specialization emerges: sparsely refined features predominantly encode global visual structure, whereas more frequently refined features increasingly specialize toward localized, high-frequency details. We refer to these two groups as persistent and active features, respectively. Building on this emergent specialization, we introduce Persistence Forcing (PerF), which explicitly exploits this persistent—active feature organization for pixel-space image generation. This enables persistent features to continuously condition actively refined features, allowing stable global information to guide the ongoing refinement of finer visual details. During generative sampling, this interaction further induces a meaningful guidance direction that promotes coherent global structure and naturally complements classifier-free guidance. On ImageNet $256\times256$, PerF-L achieves FID of $1.91$, approaching $1.86$ of JiT-H with only half the parameters, while PerF-H further achieves FID of $1.63$ and $1.76$ on ImageNet $256\times256$ and $512\times512$, respectively.

中文摘要

摘要：像素空间扩散变换器（DiTs）直接操作高维视觉数据，但它们的隐藏表示通常在深度上经历均匀的精炼。然而，自然图像本身在不同粒度层次上具有组织性。全局结构通常可以紧凑地表示，而局部纹理和细节则需要更丰富的表示。基于此，我们在像素空间DiTs中引入异质精炼，为不同的特征组在深度上分配不同的精炼预算。因此，出现了有序的特征专业化：稀疏精炼的特征主要编码全局视觉结构，而更频繁精炼的特征越来越专注于局部高频细节。我们将这两组特征分别称为持续特征和主动特征。在这一新兴专业化的基础上，我们引入了持续强制（PerF），明确利用持续-主动特征组织进行像素空间图像生成。这使得持续特征可以持续调节主动精炼特征，从而让稳定的全局信息指导更细微视觉细节的持续精炼。在生成采样过程中，这种交互进一步引导了有意义的方向，促进了连贯的全局结构，并自然地补充了无分类器引导。在ImageNet $256 imes256$ 上，PerF-L 达到 FID 为 $1.91$，接近 JiT-H 的 $1.86$，且参数仅为后者的一半，而 PerF-H 在 ImageNet $256 imes256$ 和 $512 imes512$ 上进一步分别实现 FID 为 $1.63$ 和 $1.76$。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36014 (HTTP 429)

Authors: Chong Wang, Zixuan Fu, Shiqi Huang, Siyuan Yang, Hao Cheng, Bihan Wen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36014.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36014

Published: 2026-10-01T02:25:25.149Z

6. CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

Abstract:Reconstructing simulation-ready 3D scenes from real-world observations enables robotics, gaming, and immersive applications, yet existing methods largely assume rigid objects. This leaves an important gap for deformables, whose simulation-ready geometry depends on dimensionality (curves, surfaces, or volumes) and whose behavior may require models beyond elasticity. We present CoDimRecon, an agentic framework that reconstructs editable scenes containing rigid, articulated, and deformable objects from multi-view RGB observations. Scene-level geometric priors ground scale and layout, while object-level generated meshes guide the agent toward detailed, compact geometry; articulated rigid objects are decomposed into movable parts with explicit joints. For deformables, category-wise agent sessions reconstruct curves as centerlines with radii, surfaces as manifold shells with thickness, and volumes as watertight solids for volumetric meshing. Reusable simulator skills initialize compatible physical models and parameters, while agent-guided behavioral tests expose mismatches and trigger targeted revisions of motion, geometry, numerics, or material modeling. On evaluated Replica and ScanNet++ scenes, CoDimRecon achieves competitive compositional reconstruction accuracy while additionally producing deformable assets for rod, shell, and solid simulation. We further demonstrate robot interactions across all three representations, including a controlled paper-folding case in which behavioral testing motivates plastic bending.

中文摘要

摘要：从现实世界的观测中重建可用于模拟的三维场景可以推动机器人技术、游戏和沉浸式应用的发展，但现有方法大多假设对象为刚性物体。这在可变形物体方面留下了一个重要空白，因为其可用于模拟的几何形状依赖于维度（曲线、表面或体积），其行为可能需要超越弹性的模型。我们提出了 CoDimRecon，一个智能代理框架，可以从多视角 RGB 观测重建包含刚性、关节和可变形物体的可编辑场景。场景级的几何先验确定比例和布局，而对象级生成的网格则引导代理生成详细、紧凑的几何形状；关节刚性物体被分解为带有明确关节的可移动部分。对于可变形物体，按类别进行的代理会话将曲线重建为带半径的中心线，将表面重建为具有厚度的流形壳，将体积重建为用于体积网格的密封实体。可重用的模拟器技能初始化兼容的物理模型和参数，同时代理引导的行为测试揭示不匹配并触发针对运动、几何、数值或材料建模的有针对性修正。在评估的 Replica 和 ScanNet++ 场景中，CoDimRecon 在组合重建精度上表现出竞争力，同时额外生成用于杆、壳和实体模拟的可变形资产。我们进一步展示了机器人在三种表示方法下的交互，包括一个受控的折纸案例，其中行为测试促使塑性弯曲。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36024 (HTTP 429)

Authors: Shuzhao Xie, Lelin Wang, Guying Lin, Zhi Wang, Minchen Li

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36024.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36024

Published: 2026-10-01T02:25:25.149Z

7. AerialDojo-200K: A Large-Scale Benchmark Suite for Open-World Aerial Object-Goal Search

Abstract:Open-world aerial object-goal search is a foundational yet challenging task, requiring aerial agents to autonomously explore large-scale, unstructured three-dimensional environments and reach target objects specified by semantic descriptions or reference images, rather than following route-specific instructions. However, research in this task remains at a nascent stage and relies on small, environment-specific benchmarks with heterogeneous action spaces and data formats. These limitations hinder large-scale training and cross-benchmark evaluation, constraining the scalability and generalizability of aerial agents. To address this problem, we propose AerialDojo-200K, a large-scale benchmark suite for open-world aerial object-goal search, with 3 times as many scenes and 18.7 times as many task instances as the largest existing benchmark for this task. Specifically, we construct 42 simulation scenes spanning four scene families and 21 scene types, including 18 urban, 12 natural, six infrastructure, and six disaster scenes. To ensure data quality, 12 annotators spent two months manually annotating 109 landmarks, 2099 target objects, and 2099 object anchors across these scenes. We further construct 205,732 task instances, comprising over 100K semantic-goal and over 100K image-goal instances across Base, Standard, and Long-Horizon settings. Each task instance includes a collision-free reference trajectory and corresponding multi-view video recordings. We also develop a unified evaluation framework with a scene partition comprising 21 in-distribution scenes and 21 out-of-distribution scenes. Finally, our evaluation of five open-source and four closed-source multimodal large language models reveals that there is still a long way to go toward achieving general-purpose aerial agents. All can be found at this https URL.

中文摘要

摘要：开放世界空中目标搜索是一项基础但具有挑战性的任务，要求空中智能体自主探索大规模、非结构化的三维环境，并到达由语义描述或参考图像指定的目标对象，而不是按照特定路线的指令行事。然而，该任务的研究仍处于初级阶段，依赖于小型、环境特定的基准，且具有异构动作空间和数据格式。这些限制阻碍了大规模训练和跨基准评估，制约了空中智能体的可扩展性和通用性。为解决这一问题，我们提出了 AerialDojo-200K，这是一个用于开放世界空中目标搜索的大规模基准套件，其场景数量是现有最大基准的三倍，任务实例数量是其 18.7 倍。具体而言，我们构建了 42 个模拟场景，涵盖四个场景系列和 21 种场景类型，包括 18 个城市场景、12 个自然场景、6 个基础设施场景和 6 个灾害场景。为了确保数据质量，12 名标注员花费两个月时间手动标注了这些场景中的 109 个地标、2099 个目标对象和 2099 个对象锚点。我们进一步构建了 205,732 个任务实例，包括基础、标准和长时程设置下的超过 10 万个语义目标实例和超过 10 万个图像目标实例。每个任务实例都包括无碰撞参考轨迹及相应的多视角视频记录。我们还开发了一个统一的评估框架，场景划分包括 21 个分布内场景和 21 个分布外场景。最后，我们对五个开源和四个闭源多模态大语言模型的评估显示，实现通用空中智能体仍有很长的路要走。所有内容可在此 https URL 找到。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36066 (HTTP 429)

Authors: Tongtong Feng, Xin Wang, Haoran Hou, Ren Wang, Weiran Wang, Shaokai Zhu, Ziqi Jia, Hao Wang, Yu-Wei Zhan, Zongyuan Wu, Jinghao Cui, Wenwu Zhu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36066.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36066

Published: 2026-10-01T02:25:25.149Z

8. One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models

Abstract:Contrastive vision-language models learn shared embedding spaces by aligning matched image-text pairs, yet their representations remain separated by a modality gap. Prior work reports divergent effects of modifying this gap: reducing it can improve zero-shot classification and cross-modal alignment, whereas removing gap-related structure can degrade image-text retrieval. In this paper, we provide a unified geometric explanation for these task-dependent effects. Across CLIP and SigLIP encoders, we find that a single dominant direction captures 94.4-99.9% of the squared norm of the image-text mean separation, revealing that the mean-separation component is approximately rank-one. A decomposition of the similarity score then identifies three task-specific roles. In zero-shot classification, query-side fixed gap-offset subtraction is exactly equivalent to an additive class bias. In standard cross-modal retrieval, projecting out the gap direction and renormalising residuals discards candidate-specific norm information, inducing a multiplicative ranking distortion; a geometry-derived exponent tracks the grid-search optimum (Spearman rho = 0.93) and restores performance in some settings, although the gains transfer unevenly. In mixed-modal retrieval, the gap direction sorts candidates by modality; its removal can improve cross-modal ranking, unlike random or non-gap controls. Residual semantic structure after removal defines the limits of the rank-one account. Together, these results explain why gap modification can improve, degrade, or restore performance across downstream settings. By clarifying when and why gap modification changes model behavior, this account provides a principled basis for selecting gap interventions in similarity-based vision-language systems across evaluated downstream tasks.

中文摘要

摘要：对比视觉-语言模型通过对齐匹配的图像-文本对来学习共享嵌入空间，但它们的表示仍然被模态差距分隔。以往的工作报告了修改该差距的不同效果：减小差距可以改善零样本分类和跨模态对齐，而去除与差距相关的结构可能会降低图像-文本检索性能。在本文中，我们为这些任务依赖的效果提供了统一的几何解释。在CLIP和SigLIP编码器中，我们发现单一主方向捕获了图像-文本均值分离平方范数的94.4%至99.9%，表明均值分离分量近似为秩一。对相似度得分的分解进一步识别出三种任务特定的作用。在零样本分类中，查询端固定差距偏移的减法操作与加性类别偏置完全等价。在标准跨模态检索中，投影出差距方向并重新归一化残差会丢弃候选项特定的范数信息，从而引入乘性排序失真；几何推导的指数追踪了网格搜索的最优值（Spearman rho = 0.93）并在某些设置下恢复了性能，尽管增益转移不均匀。在混合模态检索中，差距方向按模态对候选项进行排序；去除它可以改善跨模态排序，这与随机或非差距控制不同。去除后残留的语义结构定义了秩一解释的局限性。这些结果共同解释了为何差距修改可以在下游任务中改善、降低或恢复模型性能。通过阐明何时以及为何差距修改会改变模型行为，这一解释为在基于相似性的视觉-语言系统中选择差距干预提供了原则性依据，适用于已评估的下游任务。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36101 (HTTP 429)

Authors: Aditya Sharma, Divya Saxena

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36101.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36101

Published: 2026-10-01T02:25:25.149Z

9. Hardware-Aware Functional Kolmogorov-Arnold Networks for Efficient Medical Image Enhancement and Segmentation

Abstract:Functional Kolmogorov-Arnold Networks (FunKAN) achieve state-of-the-art accuracy on MRI Gibbs artifact removal and anatomical segmentation, but their 11.6 M parameters and 8.7 GFLOPs are too large for edge medical devices. We present FunKANLite, a two-stage, hardware-aware compression of FunKAN for point-of-care use. FunKANLite-TR reduces the spatial prior and replaces the ResBlock offset predictor with a depthwise-separable block. It has 1.9x fewer parameters than FunKAN and no loss in accuracy. We then distill FunKANLite-TR into FunKANLite-ST, which lowers the Hermite basis rank, factorizes the spatial prior into a low-rank form, and halves the filter widths. FunKANLite-ST has 5.6x fewer parameters and 3.7x fewer GFLOPs than FunKAN. It stays within 1.4 percentage points IoU of FunKAN on BUSI, GlaS, and CVC-ClinicDB, and reaches 33.95 dB PSNR on IXI. On an NVIDIA Jetson Orin Nano and a Raspberry Pi 5, FunKANLite-ST reduces energy per inference by up to 68% and raises throughput by 2.9x.

中文摘要

摘要：功能性Kolmogorov-Arnold网络（FunKAN）在MRI吉布斯伪影去除和解剖分割方面达到了最先进的精度，但其11.6M的参数量和8.7 GFLOPs的计算量对于边缘医疗设备而言过大。我们提出了FunKANLite，这是针对床边使用的两阶段、硬件感知的FunKAN压缩方法。FunKANLite-TR减少了空间先验，并将ResBlock偏移预测器替换为深度可分离模块。它的参数量比FunKAN少1.9倍且精度无损。随后，我们将FunKANLite-TR蒸馏为FunKANLite-ST，该版本降低了Hermite基的秩，将空间先验分解为低秩形式，并将滤波器宽度减半。FunKANLite-ST的参数量比FunKAN少5.6倍，GFLOPs少3.7倍。在BUSI、GlaS和CVC-ClinicDB上，其IoU与FunKAN相差不到1.4个百分点，在IXI上达到33.95 dB的PSNR。在NVIDIA Jetson Orin Nano和Raspberry Pi 5上，FunKANLite-ST将每次推理的能耗降低最多68%，吞吐量提高2.9倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36134 (HTTP 429)

Authors: Mohammad Sadegh Sirjani

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36134.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36134

Published: 2026-10-01T02:25:25.149Z

10. Xiaomi-OCR-0 Technical Report

Abstract:Compact OCR-specific vision-language models achieve strong document parsing performance, but often rely on costly supervision and focus primarily on visual-text reconstruction. We introduce Xiaomi-OCR-0, a unified 0.8B model for document parsing and OCR-centric understanding. We build an approximately 170M-sample OCR-centric corpus using an automated data engine that combines expert consensus, render-based verification, and targeted synthesis. Starting from Qwen3.5-0.8B, our progressive training recipe combines Q-Mask-based text anchoring, continued pretraining, and mixed-task reinforcement learning (Mix-RL). Xiaomi-OCR-0 achieves 95.24 on Real5-OmniDocBench, 96.83 on OmniDocBench v1.6, and 87.94 on Wild-OmniDocBench, while reaching an average score of 83.2 across five OCR-oriented VQA benchmarks. Ablations further show that, with sufficient parsing training, OCR-centric understanding supervision provides additional gains for document parsing. Homepage: this https URL.

中文摘要

摘要：紧凑型专用于 OCR 的视觉-语言模型在文档解析方面表现出色，但通常依赖昂贵的监督，并主要关注视觉-文本重建。我们引入了 Xiaomi-OCR-0，这是一个用于文档解析和以 OCR 为中心理解的统一 0.8B 模型。我们使用一个结合专家共识、基于渲染的验证和定向生成的自动化数据引擎，构建了约 1.7 亿样本的 OCR 中心语料库。从 Qwen3.5-0.8B 开始，我们的渐进式训练方案结合了基于 Q-Mask 的文本锚定、持续预训练以及混合任务强化学习（Mix-RL）。Xiaomi-OCR-0 在 Real5-OmniDocBench 上取得了 95.24 分，在 OmniDocBench v1.6 上取得 96.83 分，在 Wild-OmniDocBench 上取得 87.94 分，同时在五个面向 OCR 的 VQA 基准测试中平均得分为 83.2。消融实验进一步表明，在有充分解析训练的情况下，OCR 中心理解监督能为文档解析带来额外提升。主页：https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.36136 (HTTP 429)

Authors: Xin Chen, Anan Du, Feng Feng, Pei Fu, Jian Luan, Longwei Xu, Shaojie Zhang, Hang Li, Heng Qu, Cheng Tan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2609.36136.pdf

CoolPaper URL: https://papers.cool/arxiv/2609.36136

Published: 2026-10-01T02:25:25.149Z

ArXiv Domain 2026-10-01

LLM Domain Papers

1. FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech

2. Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention

3. Developing an OCR model for Extracting Information from Invoices with Korean Language

4. Evaluating the Effects of Prompt Perturbation on Bias and Hallucination in Large Language Models

5. Alignment Forecasting: Predicting Misalignment From Training Data

6. From Lexical Baselines to Agentic Retrieval-Augmented Generation: Structured Skill and Responsibility-Level Extraction with the SFIA Framework

7. Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety

8. When Successful Memories Mislead Embodied Agents:Memory Adaption For Task-Conditioned Execution

9. Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?

10. TRACE: Deployable Tree-Relational Structure Enhancement for Oncology LLMs

Agent Domain Papers

1. OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing

2. Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices

3. Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?

4. The Price of Token Boundaries: Compression Certificates and Prediction

5. More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses

6. Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees

7. Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models

8. Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

9. Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?

10. Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives

Evaluation Domain Papers

1. OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing

2. Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices

3. Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?

4. The Price of Token Boundaries: Compression Certificates and Prediction

5. More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses

6. Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees

7. Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models

8. Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

9. Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?

10. Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives

VLM Domain Papers

1. CoVLM-Bench: A Real-World Benchmark for Cooperative Driving Question Answering and Planning

2. HERO: Histology Encoder for Robust Representation in Oncology

3. HEIR: Learning Human-Entity Interactions with Functional Roles

4. Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

5. Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion

6. CoDimRecon: Agentic Reconstruction of Sim-Ready 3D Scenes with Deformable Curves, Surfaces, and Volumes

7. AerialDojo-200K: A Large-Scale Benchmark Suite for Open-World Aerial Object-Goal Search

8. One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models

9. Hardware-Aware Functional Kolmogorov-Arnold Networks for Efficient Medical Image Enhancement and Segmentation

10. Xiaomi-OCR-0 Technical Report