ArXiv Domain 2026-06-24

数据来源：ArXiv Domain

LLM Domain Papers

1. Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

Abstract:In agent-driven question answering (QA) applications, retrieval-augmented generation (RAG) is commonly introduced to enhance the response accuracy of large language models (LLMs) by providing additional context. Due to the inherent noise in retrieval results and the coarse granularity of document-level retrieval, the retrieved context often contains substantial redundant information. In this setting, the agent prompt, consisting of the user query and the associated retrieved context, leads to unnecessary computational overhead during LLM inference. Existing prompt compression methods typically rely on auxiliary small language models (SLMs) to estimate context importance. However, such approaches introduce significant memory and computational overhead, which limits their deployment on resource-constrained edge devices. In this paper, we propose CORE, a two-stage sentence-level prompt compression method that eliminates the need for SLMs. In the first stage, CORE constructs an answer set via named entity recognition (NER) and a clue set via semantic matching. In the second stage, CORE refines the clue set using an orthogonal residual retrieval strategy and designs a spatial proximity-based metric to filter the answer set. The two sets are then combined to form the final compressed context. We implement CORE on an NVIDIA Jetson AGX Orin edge device and a Huawei Nova smartphone. Experimental results demonstrate that within a 2000-token budget, CORE improves accuracy by at least 30.19% compared to state-of-the-art baselines, while reducing memory usage by at least 50.47% and achieving at least 1.94 times speedup on the edge device. Moreover, compared to the state-of-the-art LLMLingua2 method, CORE achieves a substantial energy reduction of 95.74% on the smartphone, highlighting its practicality and generalizability for mobile deployments.

中文摘要

摘要：在基于代理的问答（QA）应用中，检索增强生成（RAG）通常被引入以通过提供额外的上下文来提高大型语言模型（LLMs）的响应准确性。由于检索结果中固有的噪声以及文档级检索的粗粒度，检索到的上下文通常包含大量冗余信息。在这种情况下，由用户查询和相关检索上下文组成的代理提示，在LLM推理过程中会导致不必要的计算开销。现有的提示压缩方法通常依赖辅助的小型语言模型（SLMs）来估计上下文的重要性。然而，这类方法引入了显著的内存和计算开销，限制了其在资源受限的边缘设备上的部署。在本文中，我们提出了CORE，一种两阶段的句子级提示压缩方法，无需使用SLMs。在第一阶段，CORE通过命名实体识别（NER）构建答案集，并通过语义匹配构建线索集。在第二阶段，CORE使用正交残差检索策略优化线索集，并设计基于空间接近性的度量来过滤答案集。然后将两套结果合并形成最终压缩的上下文。我们在NVIDIA Jetson AGX Orin边缘设备和华为Nova智能手机上实现了CORE。实验结果表明，在2000标记的预算内，CORE相比最先进的基线方法，准确率至少提升30.19%，同时内存使用量至少降低50.47%，在边缘设备上实现至少1.94倍的加速。此外，与最先进的LLMLingua2方法相比，CORE在智能手机上实现了高达95.74%的能耗减少，突显了其在移动端部署中的实用性和可推广性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文针对面向边缘设备的检索增强生成（RAG）问答应用中的提示压缩问题，试图解决以下核心挑战：

1. RAG 上下文中的信息冗余与噪声

在基于 RAG 的问答系统中，检索到的文档级上下文通常包含大量冗余信息（实证研究表明冗余比例可超过 95%）。这种”长上下文问题”不仅稀释了关键信息、降低回答准确性，还可能因超出 LLM 的上下文窗口限制而导致信息截断。

2. 现有压缩方法对辅助 SLM 的依赖

当前主流的提示压缩方法（无论是基于困惑度、自信息还是注意力机制）通常依赖辅助的小型语言模型（SLM，如 7B 参数的 LLaMA2）来评估令牌重要性。这类方法存在以下部署瓶颈：

内存开销过高：7B 参数的 SLM 在半精度存储下仅模型权重就需约 14 GB，运行时峰值内存可达 24 GB，远超消费级边缘设备（如智能手机、自动驾驶系统）通常具备的 8–16 GB GPU 显存。
计算延迟显著：困惑度和注意力计算需要对提示进行预填充（prefill），在边缘设备上处理 10k 令牌可能产生超过一分钟的延迟，无法满足实时问答应用的时延要求。

3. 边缘场景下的资源约束

边缘设备（如 NVIDIA Jetson AGX Orin、智能手机）在计算能力、内存容量和能源供给方面存在严格限制。现有基于训练或训练自由的压缩方法因需要昂贵的模型微调或沉重的 SLM 推理，难以在此类资源受限环境中实际部署。

为应对上述挑战，论文提出 CORE（COntext Refinement via Entity-aware filtering），一种无需 SLM 的轻量级两阶段句子级提示压缩框架。该方法通过命名实体识别（NER）和语义匹配构建”答案集”与”线索集”，并利用正交残差检索与空间邻近度度量进行精炼，从而在固定令牌预算内最大化保留关键证据，同时实现极低的内存占用（约 40 MB，仅为 7B SLM 的 0.14%）和压缩延迟（秒级）。

Q: 有哪些相关研究？

根据论文第8节（Related Work），相关研究主要集中在以下四个方向：

1. 长上下文建模问题

针对Transformer架构中上下文长度限制的研究包括：

高效注意力机制：如FlashAttention等优化计算复杂度的方法
上下文窗口扩展：通过继续预训练（continued pre-training）或高级位置编码（如RoPE、ALiBi）扩展模型原生支持的上下文长度
“Lost in the Middle”现象：研究表明即使使用扩展的上下文窗口，LLM仍倾向于忽略位于长上下文中间位置的信息，这从根本上限制了增加上下文长度的有效性

2. 基于训练的提示压缩方法

这类方法通过微调辅助模型来评估信息重要性：

LLMLingua-2：采用数据驱动策略，将GPT-4的知识蒸馏到基于SLM（XLM-RoBERTa-Large）的二元分类器中，直接预测令牌保留概率
CPC（Contrastive Prompt Compression）：利用对比学习训练句子级判别器，通过成对比较评估相对重要性
AutoCompressor：训练模型将长上下文压缩为紧凑的”摘要令牌”（summary tokens），通过软提示（soft prompts）实现
GIST：将任务特定指令蒸馏为可学习的gist令牌，实现高达26倍的压缩比

局限性：这些方法依赖训练过程和高质量数据，需要大量计算资源，不适合资源受限的边缘设备。

3. 无训练提示压缩方法

这类方法直接利用预训练SLM的内在指标指导剪枝，无需额外微调：

Selective Context：基于信息论，使用自信息（self-information）作为核心指标，通过SLM（如Curie-6.7B）计算令牌信息熵并过滤冗余内容
LLMLingua与LongLLMLingua：采用粗到细（coarse-to-fine）策略，基于困惑度（perplexity）迭代移除对生成贡献小的令牌；LongLLMLingua增加了文档重排序机制以缓解”Lost in the Middle”问题
AttnComp：分析自注意力矩阵构建语义单元进行剪枝
EHPC（Efficient Prompt Compression with Evaluator Heads）：识别并利用SLM（如LLaMA-3.1-8B）中的特定评估注意力头（evaluator heads）定位关键令牌

局限性：尽管无需训练，但这些方法仍依赖沉重的SLM（通常7B参数），在边缘设备上面临高内存占用（约14-24 GB）和高计算延迟（预填充阶段耗时过长）的问题。

4. 命名实体识别（NER）

作为信息提取的基础技术：

传统方法：基于BERT等预训练语言模型进行上下文感知实体识别，但模型规模通常超出边缘设备限制
轻量级解决方案：如spaCy（en_core_web_sm，约12 MB）和DistilBERT（约20 MB），提供紧凑架构同时保持较高精度
在RAG中的应用：NER用于识别连接查询与相关上下文的关键实体，支撑了本文基于实体感知过滤的压缩策略

这些相关研究表明，现有方法在压缩质量与边缘部署可行性之间存在显著权衡，而本文提出的CORE框架通过消除对SLM的依赖，填补了这一研究空白。

Q: 论文如何解决这个问题？

论文提出 CORE（COntext Refinement via Entity-aware filtering）框架，通过两阶段句子级压缩流程消除对辅助SLM的依赖，具体解决方案如下：

1. 总体架构

CORE采用**候选过滤（Candidate Filtering）→ 证据精炼（Evidence Refining）**的级联架构，全程仅依赖轻量级专用模型（实体分类器与嵌入模型，总内存占用≈40 MB，仅为7B SLM的0.14%）。

2. 第一阶段：候选过滤

该阶段通过语义分析与实体识别，从原始上下文 x_s 中构建两个互补的候选集合：

2.1 线索集（Clue Set）构建

基于语义相似度阈值筛选与查询 xq 高度相关的句子作为潜在证据：
C(clue) = s_j ∈ x_s mid σ(s_j, x_q) ≥ T
其中 σ(·,·) 表示嵌入模型计算的余弦相似度， T 为经验阈值（默认0.5）。

2.2 答案集（Answer Set）构建

利用意图分析机制识别查询所针对的实体类型 E ：

通过语义匹配将查询与预定义模板（如”When did this event occur?”对应DATE/TIME）对齐：
σ(xq, q_i) = M(emb)(xq) · M(emb)(q_i)

E = E_j, quad where j = argmax_i σ(x_q, q_j)

使用轻量级NER模型 M(cls) 提取包含目标实体类型的句子：
C(ans) = sj ∈ x_s mid M(cls)(s_j) ∩ E ≠ ∅

3. 第二阶段：证据精炼

在严格令牌预算 B 约束下，对候选集合进行精细化筛选：

3.1 线索精炼（正交残差检索）

为解决简单Top-K选择导致的语义冗余，采用正交向量分解策略迭代选择覆盖查询不同语义维度的线索：

初始化残差向量 q_(res)^((t)) = x_q
每轮迭代选择当前残差投影最大的线索：
ct^* = argmax(ci ∈ C_clue) σ(c_i, q(res)^((t)))
软正交化更新残差（减去已选线索的语义方向）：
q(res)^((t+1)) = q(res)^((t)) - μt · q(res)^((t)) · ct^|ct^|^2 c_t^*
其中动态惩罚系数 μ_t 基于该线索对答案实体的覆盖比例计算，确保已充分覆盖的语义维度被更激进地削减。
通过*肘部法则（Elbow Method）*自动确定最优子集大小 K （边际增益显著下降的点）：
K = argmaxk | σ(c(k-1)^, q(res)^((k-1))) - 2σ(ck^*, q(res)^((k))) + σ(c(k+1)^, q_(res)^((k+1))) |

3.2 答案剪枝（空间邻近度度量）

针对候选答案集过大的问题，设计基于上下文证据传播的重要性度量：

实体 ej 的重要性由其与线索的空间邻近度决定：
I(ej) = max_m ( ∑(ck ∈ C)(clue) σ(c_k, x_q) · exp(-(D(e_j^m, c_k)^2) / (2eta^2)) )
其中 D(·,·) 为实体与线索在原文中的令牌距离， eta 为基于线索集平均句子长度的带宽参数。
句子重要性为其包含实体得分之和：
I(a_i) = ∑(ej ∈ M_cls)(a_i) I(e_j)
在剩余预算 B(ans) = B - len(x_q) - ∑(si ∈ C)(clue) ni 内，选择得分最高的答案子集 C(ans) 。

4. 技术实现优势

零SLM依赖：完全摒弃7B级语言模型，改用spaCy（12 MB）与MiniLM（22 MB）的轻量级组合
句子级操作：保留语义完整性与语法正确性，避免token级压缩的语义断裂
动态预算分配：通过线索与答案的相互依赖关系（clue支撑答案，答案验证线索），在固定预算内最大化信息密度

最终，精炼后的线索集 C(clue) 与答案集 C(ans) 合并构成压缩提示 x = (xq, C(ans), C_(clue)) ，在边缘设备上实现**内存降低50%+、延迟降低48%+、精度提升30%+**的综合收益。

Q: 论文做了哪些实验？

论文在 NVIDIA Jetson AGX Orin 边缘设备与 Huawei Nova 12 智能手机上开展了系统性实验，涵盖本地推理与端云协同两种部署模式，具体实验内容如下：

1. 实验配置

实验平台

场景一（本地推理）：NVIDIA Jetson AGX Orin（64 GB LPDDR5，200 TOPS AI算力），压缩与LLM推理均在本地执行
场景二（端云协同）：Huawei Nova 12智能手机（8 GB LPDDR4x，12 TOPS AI算力），本地压缩后上传至云端GPT-3.5-Turbo API

数据集与模型

数据集：LongBench基准的6个数据集（2WikiMQA、NarrativeQA、MuSiQue、HotpotQA、Qasper、MultiFieldQA）及开放域NaturalQuestions
评估模型：LLaMA2-7B-chat-4k（4k上下文）、Longchat1.5-7B-32k（32k上下文）、Qwen2.5-7B-Instruct（128k上下文）、GPT-3.5-Turbo-16k
对比基线：LLMLingua、LLMLingua-2、LongLLMLingua

评价指标

准确性：F1-Score（Token级精确率与召回率的调和平均）
资源效率：峰值内存占用（GB）、压缩耗时（秒）、端到端首Token延迟TTFT（秒）
能耗：总能耗（焦耳，通过电压×电流×时间计算）

2. 边缘本地推理实验（Edge-Only）

准确性对比

在2000 Token预算约束下，对比各方法在不同LLM上的F1-Score：

LLaMA2-7B-chat-4k：CORE平均F1为27.56，较LLMLingua-2提升29.88%，较LongLLMLingua提升21.68%
Longchat1.5-7B-32k：CORE平均F1达27.93，甚至超过未压缩基线（24.98）
Qwen2.5-7B-Instruct：CORE平均F1为35.25，较最强基线LLMLingua-2提升17.50%

不同预算下的鲁棒性

在500–2000 Token预算范围内动态调整：

CORE在严格预算（500 Token）下仍保持较高性能，如LLaMA2-7B-chat-4k上仅下降2.43分（27.56→25.13），而LLMLingua-2在2000 Token预算下仅为21.22
在HotpotQA等需复杂推理的数据集上，CORE在2000 Token预算下较未压缩基线提升28.92%

内存开销分析

CORE峰值内存占用仅0.7–1.7 GB（主要为嵌入模型与实体分类器）
较LongLLMLingua降低95.95%（后者因加载7B SLM需约34 GB）
较LLMLingua-2降低76.25%（后者随输入长度动态增长，最长上下文时达5.81 GB）

延迟分析

压缩耗时：处理37.5k Token上下文，CORE仅需6.77秒，较LongLLMLingua（668.34秒）提速98.99%，较LLMLingua-2提速48.52%
并发TTFT：在20并发请求下，CORE的TTFT为2.84秒（5请求）并保持低增长，而LLMLingua达1349秒，LongLLMLingua达183.82秒

3. 端云协同实验（Edge-Cloud）

能耗对比

在NaturalQuestions数据集上测量手机端压缩能耗：

CORE平均功耗3.72 W（917 mA），较LLMLingua-2（10.27 W）降低63.80%
处理10k Token输入，CORE能耗为70.58焦耳，较LLMLingua-2（1655.56焦耳）降低95.74%

端到端延迟

在500 Token预算下，CORE的TTFT为16.63秒，较LLMLingua-2（183.27秒）改善89.47%
即使在2000 Token预算下，CORE仍保持19.63秒，显著优于基线（186.27秒）

准确性验证

2000 Token预算下，CORE的F1为50.78，较LLMLingua-2（42.44）提升19.65%
500 Token极限预算下，CORE维持39.80，较基线（24.87）提升60.07%

4. 消融实验（Ablation Study）

动态线索选择有效性

对比正交残差检索（动态K）与固定Top-K策略：

动态方法在所有6个数据集上均优于固定K（K=3,5,7,9）
平均F1提升2.1%，在MultiFieldQA上最高提升3.6%，在Qasper上较K=3配置提升10.9%

答案保留率

测量不同压缩比（50%–90%）下包含标准答案的句子保留比例：

50%压缩比时，2WikiMQA、HotpotQA、MuSiQue保留率约90%
90%极限压缩比时，平均保留率仍超60%，NarrativeQA（上下文超30k Token）仍保持54%以上

各阶段渐进贡献

在NaturalQuestions上逐步验证两阶段设计：

初始过滤（ C(clue)+C(ans) ）：Token数从20725降至16151，F1从43.01升至46.60（缓解上下文截断）
仅答案剪枝（ C(clue)+C(ans) ）：Token数降至13513，F1升至56.12（空间邻近度过滤无效答案）
仅线索精炼（ C(clue)+C(ans) ）：Token数降至10044，F1达58.17（正交检索去冗余）
完整流程（ C(clue)+C(ans) ）：Token数压缩至1990，F1维持53.06（严格预算下仍保真）

实验结果验证了CORE在边缘设备上实现**精度提升至少30.19%、内存降低至少50.47%、延迟降低至少48.52%**的综合优势。

Q: 有什么可以进一步探索的点？

基于论文的研究内容与实验发现，以下方向值得进一步探索：

1. 自适应多粒度压缩机制

当前 CORE 采用固定的句子级压缩粒度以保持语义完整性，但在极端资源约束（如数百 token 预算）下，可能需要更细粒度的 token 级剪枝。未来可探索混合粒度策略：对高置信度证据句子保留完整形式，对辅助性上下文实施 token 级精简，通过动态规划在语义保真度与压缩率之间取得更优帕累托前沿。

2. 跨任务泛化与任务无关压缩

CORE 的实体感知设计针对 QA 任务中”答案锚定于特定实体”的特性优化。对于开放式摘要、创意写作或多轮对话等答案边界模糊的任务，需开发不依赖实体识别的通用重要性度量。可探索基于信息瓶颈（Information Bottleneck）理论，训练轻量级任务无关的”重要性编码器”，或利用元学习（Meta-Learning）使压缩策略快速适应新任务类型。

3. 多模态 RAG 场景的压缩扩展

当前方法专注于纯文本上下文。在包含图像、表格、代码片段的多模态 RAG 系统中，需开发跨模态的压缩策略：

对于图像，可联合压缩 OCR 提取的文本描述与视觉特征
对于结构化数据（表格），设计保留关键行列的语义化压缩方案
探索模态间的冗余消除（如文本描述与图像内容的重复）

4. 与 LLM 推理的动态协同

现有方法均为静态前处理（在 LLM 推理前完成压缩），未能利用 LLM 推理过程中的注意力反馈。可研究迭代式压缩：
x^((t+1)) = f(x^((t)), Attn_(LLM)^((t))( x^((t)) ))
即根据 LLM 在前几层对压缩提示的注意力分布，动态召回被剪枝的上下文或进一步剔除低关注内容，实现”压缩-生成”的闭环优化。

5. 更极端边缘场景的优化

虽然 CORE 已在智能手机上验证，但**微控制器（MCU）

Authors: Zihuai Xu, Ruofei Hou, Yang Xu, Hongli Xu, Yunming Liao, Ying Zhu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20571.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20571

Published: 2026-06-24T01:29:38.721Z

2. Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

Abstract:Achieving reliable control of Large Language Models (LLMs) requires a precise, scalable understanding of how they interpret linguistic cues. We introduce a rigorous framework using Shapley values to quantify the steering effect of individual adjectives on model performance, moving beyond anecdotal heuristics to principled attribution. Applying this method to 100 adjectives across a diverse suite of models (including o3, gpt-4o-mini, phi-3, llama-3-70b, and deepseek-r1) on the MMLU benchmark, we uncover several critical findings for AI alignment. First, we find that a small subset of adjectives act as disproportionately powerful “levers,” yet their effects are not universal. Cross-model analysis reveals a “family effect”: models of a shared lineage exhibit correlated sensitivity profiles, while architecturally distinct models react in a largely uncorrelated manner, challenging the notion of a one-size-fits-all prompting strategy. Second, focused follow-up studies demonstrate that the steering direction of these powerful adjectives is not intrinsic but is highly contingent on their syntactic role and position within the prompt. For larger models like gpt-4o-mini, we provide the first quantitative evidence of strong, non-additive interaction effects where adjectives can synergistically amplify, antagonistically dampen, or even reverse each other’s impact. In contrast, smaller models like phi-3 exhibit a more literal and less compositional response. These results suggest that as models scale, their interpretation of prompts becomes more sophisticated but also less predictable, posing a significant challenge for robustly steering model behavior and highlighting the need for compositional and model-specific alignment techniques.

中文摘要

摘要：实现对大型语言模型（LLM）的可靠控制需要对其如何解读语言线索有精确且可扩展的理解。我们引入了一个使用Shapley值的严格框架，以量化单个形容词对模型性能的引导效应，从而超越个人经验式启发，进行原则性归因。在MMLU基准测试中，我们将该方法应用于跨多种模型（包括o3、gpt-4o-mini、phi-3、llama-3-70b和deepseek-r1）的100个形容词，揭示了人工智能对齐的若干关键发现。首先，我们发现少数形容词起着不成比例的强大“杠杆”作用，但它们的效应并非通用。跨模型分析显示出“家族效应”：同一血统的模型表现出相关的敏感性特征，而架构迥异的模型则在很大程度上反应不相关，这挑战了一刀切的提示策略理念。其次，针对性的后续研究表明，这些强大形容词的引导方向并非固有，而高度依赖其在提示中的句法角色和位置。对于像gpt-4o-mini这样的大型模型，我们首次提供了强非加性交互效应的定量证据，即形容词可以协同增强、拮抗抑制，甚至逆转彼此的影响。相比之下，像phi-3这样的较小模型表现出更字面化且较少组合性的反应。这些结果表明，随着模型规模扩大，其对提示的解读变得更加复杂，同时也更难预测，这对稳健地引导模型行为构成了重大挑战，并凸显了组合性和针对特定模型的对齐技术的必要性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决以下核心问题：

1. 提示工程缺乏原则性理论基础

当前大语言模型（LLM）的提示工程实践（如链式思维提示）虽然有效，但主要依赖启发式经验和轶事证据，缺乏对”单个语言元素如何影响模型输出”的精确、可扩展的量化理解。这种理论空白阻碍了实现可预测、可靠的模型控制。

2. 个体词汇影响的归因难题

现有方法无法精确解构提示中**单个词语（特别是形容词）**对模型性能的具体贡献。论文指出，需要一种方法论来：

超越简单的输入-输出测试
提供细粒度的特征归因（feature attribution）
将提示从”黑箱整体”解构为可分析的个体成分

3. 跨模型控制的泛化困境

论文揭示了”一刀切”提示策略的根本局限性：

不同模型家族对相同形容词的敏感度高度不一致（甚至存在”逆转悖论”，即同一形容词对不同模型产生相反效果）
缺乏对”模型血统效应”（lineage effect）和”领域敏感度特征”（domain sensitivity signatures）的系统性认知
现有对齐技术（如RLHF）可能引入意外的、模型特定的偏差

4. 可组合性与语境依赖性

需要理解形容词影响的语境依赖性：

形容词的句法角色（如前置指令 vs. 人物角色设定）如何调节其效果
多个形容词之间的非加性交互效应（协同增强、拮抗抑制或逆转）
随着模型规模扩大，提示解释变得更为复杂且不可预测

解决路径：论文引入基于**夏普利值（Shapley values）**的博弈论框架，通过KernelSHAP近似方法，首次在MMLU等基准测试上系统量化了100个形容词对五种不同架构LLM（包括o3、gpt-4o-mini、phi-3、llama-3-70b和deepseek-r1）的个体影响，从而为AI对齐提供经验性、模型特定的诊断工具。

Q: 有哪些相关研究？

该论文的相关研究分布在以下三个主要领域：

1. 提示工程与上下文学习（Prompt Engineering and In-Context Learning）

Brown et al. (2020)：发现GPT-3的上下文学习能力，即模型能基于提示中的少量示例执行任务，奠定了提示工程的基础。
Wei et al. (2022)：提出链式思维（Chain of Thought, CoT）提示，通过引导模型生成逐步推理来提升复杂任务性能。
Wang et al. (2023)：发展自一致性（Self-consistency）方法，通过生成多条推理路径并选择最一致的答案来改进CoT。
Yao et al. (2023)：提出思维树（Tree of

Authors: Lars Malmqvist

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20572.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20572

Published: 2026-06-24T01:29:38.721Z

3. Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

Abstract:Multi-LLM systems use multiple language models to deliberate, judge each other’s outputs, or coordinate as agents. Their value depends on the models producing measurably different conversational behaviors when given the same input. Prior offline studies recommend drawing one model per family for behavioral diversity, because LLMs prefer outputs from their own family when rating one another in isolation. Whether the same family label predicts behavior in interactive multi-LLM systems, the setting that real deployed systems use, has not been tested. We study this with a 940,000-chain 11-checkpoint corpus and a 1.6M-chain same-base Llama factorial. On our validated headline metric, hedging, a reasoning-distilled Llama checkpoint shifts by 18% depending on which same-base partner it replies to, more than any cross-family hedging gap in the controlled subset. Qwen, closed-API, and runtime checks suggest the pattern is not isolated, while repair and challenge analyses remain exploratory because their surface-cue detectors are weaker. Overall, the results identify post-training recipe as a first-class axis for multi-LLM panel composition and show that model family alone is an incomplete proxy for conversational diversity.

中文摘要

摘要：多语言模型（Multi-LLM）系统使用多个语言模型进行推理、相互评估输出或作为代理协调。它们的价值取决于在相同输入情况下，模型是否产生可测量的不同对话行为。先前的离线研究建议每个家族抽取一个模型以实现行为多样性，因为在单独互评时，LLM倾向于偏好来自自己家族的输出。在交互式多LLM系统（实际部署系统采用的设置）中，是否同一家族标签能预测行为尚未得到测试。我们使用一个包含940,000条链、11个检查点的语料库，以及一个包含1.6M条链、同基础Llama的因子实验来研究这一点。在我们验证过的核心指标“保留态度（hedging）”上，一份经过推理蒸馏的Llama检查点的行为会根据其回应的同基础伙伴而变化18%，这一变化幅度超过受控子集中的任何跨家族保留态度差异。Qwen、封闭API和运行时检查表明该模式并非孤立现象，而修复和挑战分析仍属于探索阶段，因为它们的表面线索检测器较弱。总体而言，结果表明，训练后方法是多LLM小组组成的一个一级指标，并显示仅凭模型家族并不能完全代表对话多样性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决多LLM（大型语言模型）交互系统中对话行为多样性的预测因素问题，具体挑战了”模型家族”（model family）作为行为多样性唯一或主要代理变量的传统假设。

核心问题在于：现有研究仅在孤立评估设置（offline evaluation）中发现LLM偏好同家族模型的输出，因而建议多LLM面板应按家族多样化（每家族选一个模型）。然而，在真实部署的交互式多代理场景（ deliberation, debate, agentic workflows）中，模型家族标签是否仍能准确预测对话行为差异，此前尚未得到验证。

论文围绕三个研究问题展开：

RQ1：LLM是否根据对话对象的不同而表现出系统性的行为差异？
RQ2：若存在差异，LLM的哪个属性（参数规模、基础架构、后训练配方、运行时配置）最能预测这种差异？
RQ3：这些发现对多LLM系统的构建方式有何设计启示？

通过构建包含940,000条对话链的语料库和160万链的相同基础模型（Llama-3.1-8B）因子实验，论文发现后训练配方（post-training recipe，包括SFT、DPO、RLVR、推理蒸馏等）产生的对话行为差异（如在”模糊限制语/hedging”指标上达18.22%的偏移）可能显著超过跨家族差异。这表明，仅按家族标签选择模型可能导致面板同质性过高，而应将后训练配方和运行时配置作为与家族标签并列的一级设计变量。

Q: 有哪些相关研究？

根据论文第2节，相关研究可分为以下三个领域：

LLM-as-judge 偏见

该领域研究记录了语言模型在评估其他模型输出时表现出的各类偏见，包括：

自我偏好（self-preference）：模型系统性地偏好自己生成的输出（Panickssery et al., 2024; Wataoka et al., 2024; Xu et al., 2024）
长度与冗长偏见（length and verbosity bias）：模型偏好更长或更冗长的回答（Stureborg et al., 2024）
提示模板伪影（prompt-template artifacts）：词汇线索评分中的提示格式影响（Sclar et al., 2024; Mizrahi et al., 2024; Zheng et al., 2024）
身份感知偏好（identity-aware preferences）：当提示中披露模型身份时产生的偏好（Laurito et al., 2025）

后续研究将模型家族（model family）作为衡量偏好不对称性的相关单元，发现检查点的行为相似性聚类与家族标签对齐（Zheng et al., 2023; Koo et al., 2024; Goel et al., 2025）。值得注意的是，这些观察关注评估者的偏好，而非对话中回应者自身的行为。

跨配方行为比较

近期研究比较了相同基础模型在不同后训练配方（post-training recipes）下的表现：

Tülu 2 与 Tülu 3：在固定Llama基础上消融指令调优配方（Ivison et al., 2023; Lambert et al., 2024）
DeepSeek-R1：报告了匹配基础架构下蒸馏导致的行为偏移（DeepSeek-AI, 2025）
Qwen3技术报告：将运行时思考模式切换（runtime thinking-mode toggle）记录为影响下游行为的部署配置（Qwen Team, 2025）
LLM谱系与指纹：通过输出统计聚类检查点，揭示家族对齐的聚类（Yax et al., 2024; McCoy et al., 2024）

这些工作 characterized 跨配方差异在标准任务基准（MMLU, IFEval, HumanEval）上的表现，但未测量当两个LLM在匹配条件下交互时，这些差异如何转化为行为不对称性。

多代理LLM系统与涌现动态

多代理框架：如AutoGen、MetaGPT等，将多个模型实例组合为代理工作流（Wu et al., 2024; Hong et al., 2024; Chan et al., 2024）
群体级涌现动态：研究极化（polarization）、社会从众（social conformity）和信息级联（information cascades）等现象（Piao et al., 2025; Weng et al., 2025; Chuang et al., 2024）
基于辩论的推理改进：依赖小组成员贡献不同视角，但大多数实现每角色仅使用一两个检查点，并假设同家族内模型可互换（Du et al., 2024; Liang et al., 2024）

Q: 论文如何解决这个问题？

论文通过以下系统性方法解决该问题：

1. 大规模对话语料库构建

构建了两个互补的语料库以隔离变量：

主语料库：包含 940,000 条对话链（two-agent forum corpus），涵盖 11 个开源检查点（来自 Qwen、Llama、Gemma、DeepSeek 4 个家族），基于 Moltbook 代理论坛档案的种子帖子生成
同基础因子实验：包含 160 万条对话链 的 Llama-3.1-8B 同基础实验（same-base factorial），固定基础架构，仅变化后训练配方（Meta-Inst、Tülu-3-DPO、Tülu-3-RLVR、DeepSeek-R1-Distill）

每个对话链结构为：种子帖子 → 模型 A 的第一回复（T1）→ 模型 B 的第二回复（T2，基于种子和 T1 生成）。通过复用相同的 10,000 个种子帖子，实现了在（细胞, 种子）粒度上的配对统计。

2. 对话行为检测与验证

采用基于对话分析（Conversation Analysis）的词汇线索方法，对每条回复检测三种行为：

Challenge（质疑/反驳）
Repair（修正/澄清）
Hedging（模糊限制/软化主张）

通过 LLM-judge 注释员 验证检测器效度：

在 canonical-4 子集上，hedging 的 Cohen’s κ 达到 0.70（实质性一致）
在同基础 Llama 语料库上，hedging 的 κ 为 0.38（公平至中等一致）
Challenge 和 Repair 的 κ < 0.05（机会水平），因此被归为探索性指标

3. 四轴实验设计（变异来源隔离）

设计四个对比轴以分离不同属性的影响：

变异轴	控制条件	变化因素	目的
规模（Size）	固定配方	参数量（如 Llama-3.1-8B vs 3.2-3B）	控制规模效应
运行时（Runtime）	相同权重	配置标志（Qwen3-8B think-on vs think-off）	隔离运行时配置
配方（Recipe）	同一家族/基础	后训练算法（SFT/DPO/RLVR/蒸馏）	核心对比：测试后训练配方效应
跨家族（Cross-family）	canonical-4 子集（控制规模和配方类别）	家族标签（Qwen/Llama/Gemma/DeepSeek）	提供家族多样性的基准对照

4. 统计推断方法

配对检验：对每个（细胞, 种子）组合使用 McNemar 精确检验（two-sided），吸收均匀的细胞级检测器偏差
多重比较校正：在主要检验族（final-paragraph 工具）上应用 Holm-Bonferroni 校正
置信区间：使用 5,000 次重采样的百分位 bootstrap 法（对边缘情况使用聚类 bootstrap）

5. 稳健性验证

通过四项敏感性测试验证核心发现的稳健性：

检测器线索消融：移除前 10 个家族偏斜线索后， within/cross 比值保持 1.4×（hedging）和 2.4×（repair）
主题分层：在三个高功率社区（general, introductions, agents）中均保持配方轴 > 跨家族轴的排序
角色干预：在”深思熟虑的怀疑者”系统角色下，同基础 Llama 的 R1-Distill T2 hedging 特征依然保持（14.79% 的范围内 spread）
身份披露：在 JSON 结构化身份披露变体下，跨家族最大值仍低于配方轴效应

6. 面板级诊断指标

引入 平均成对 Jensen-Shannon 散度（JSD） 作为面板多样性诊断指标，比较三种 k=3 面板的表面线索分布多样性：

家族多样化面板（Family-diverse）：JSD = 0.034
配方多样化面板（Recipe-diverse，含 R1-Distill）：JSD = 0.251（7.5× 基准）
配方多样化面板（不含 R1-Distill）：JSD = 0.005（比家族多样化差 6×）

该方法体系最终验证了：在同基础架构上变化后训练配方产生的对话行为差异（hedging 偏移达 18.22%）显著超过控制条件下的跨家族差异，从而证明家族标签 alone 是不充分的行为多样性代理变量。

Q: 论文做了哪些实验？

论文设计了多层级实验体系，从同基础架构控制到跨家族比较，再到闭源API验证，系统性地分离后训练配方、运行时配置与家族标签的效应。主要实验包括：

1. 核心实验：同基础Llama因子实验（Primary Evidence）

规模：160万条对话链（1.6M chains），10,000个种子帖子 × 16个有序对（4×4 factorial）
基础架构：固定为 Llama-3.1-8B
变量：四种后训练配方（post-training recipes）：
Meta-Inst（官方指令调优）
Tülu-3-DPO（直接偏好优化）
Tülu-3-RLVR（强化学习验证奖励）
DeepSeek-R1-Distill-Llama-8B（推理蒸馏）
目的：隔离后训练配方对对话行为（特别是hedging）的因果效应，发现配方间hedging率差异达 18.22个百分点（ headline result）

2. 跨家族控制实验（Canonical-4 Subset）

规模：940,000条对话链的语料库子集
设计：从4个家族（Qwen、Llama、Gemma、DeepSeek）各选1个7B级指令调优模型，控制参数规模与配方类别
目的：建立”家族多样性”的基准对比组，验证在同质化控制条件下跨家族差异是否小于同家族内的配方差异

3. 同基础Qwen复制实验（Sensitivity Check）

规模：400,000条对话链
基础：Qwen-2.5-7B
对比：官方指令调优 vs DeepSeek-R1-Distill-Qwen-7B
发现：在探索性指标repair上观察到 +7.71% 的配方效应，但hedging检测器在此语料库上效度较低（κ=0.14），故作为敏感性检查而非主要证据

4. 运行时配置实验（Runtime Axis）

模型：Qwen3-8B（相同权重）
条件：think-on（思考模式开）vs think-off（思考模式关）
规模：100,000条种子
目的：验证运行时配置（非权重差异）是否独立产生行为偏移，观察到 7.85% 的repair线索率差异

5. 闭源API验证实验（Scope Checks）

OpenAI配方轴（3,000种子/细胞）：
GPT-4o vs o3-mini（不同配方）
观察到 6.24-7.10% 的hedging差异，方向与开源结果一致
Anthropic运行时轴（3,000种子/细胞）：
Claude Sonnet 4.6 extended-thinking off vs on（相同权重，配置切换）
观察到方向性hedging偏移（边际显著）和显著challenge线索偏移

6. 系统角色干预实验（Robustness）

设计：在同基础Llama因子实验上叠加”thoughtful skeptic”系统角色提示
规模：160,000条链（16细胞×10,000种子）
发现：角色分配显著改变绝对率（如R1-Distill的challenge率从3-8%升至33-36%），但配方间hedging差异结构保持不变（14.79% within-base spread）

7. 身份披露实验（Identity Disclosure）

设计：在Q/L/G三家族因子实验中引入JSON结构化身份披露前缀，对比隐式身份基线
发现：在特定剥离模式下，跨家族最大差异仅5.16%（repair）和4.50%（hedging），仍低于配方轴效应

8. 检测器验证与消融实验

LLM-Judge验证：使用Qwen-2.5-14B-Instruct对30,000对判断进行注释，计算Cohen’s κ：
Hedging：κ=0.70（canonical-4，实质性一致）/ κ=0.38（同基础Llama，公平一致）
Challenge/Repair：κ<0.05（机会水平，故归为探索性指标）
线索消融：移除前10个家族偏斜词汇线索后，within-family/cross-family效应比值仍保持 1.4×（hedging） 和 2.4×（repair）

9. 主题分层稳健性检验

方法：按Moltbook社区（general, introductions, agents）分层重跑 per-axis 比较
发现：在各主题内均保持”配方轴 > 跨家族轴”的排序，绝对率存在20-30%的社区间变异，但相对排序稳定

这些实验共同构成证据金字塔：同基础Llama的hedging差异（18.22%）为一级证据，Qwen、闭源API、运行时实验为支持性证据，而repair/challenge分析因检测器效度限制仅作探索性参考。

Q: 有什么可以进一步探索的点？

基于论文的局限性声明与未竟探索，以下方向可作为后续研究的优先事项：

1. 扩展语料覆盖范围

多语言场景：当前研究集中于英语论坛式对话，需在非英语语境中验证后训练配方效应的跨语言稳定性。
领域特异性语料：测试技术、法律、医疗等专业领域对话中，配方多样性是否仍优于家族多样性。

2. 扩展实验规模与复杂度

更大参数规模：当前检查点集中于7B/8B级别，需在70B+或前沿级模型（frontier models）上验证效应是否持续。
更大面板规模：当前面板诊断限于 k=3 ，需测试 k>3 时的边际多样性收益与涌现群体动态（如极化、信息级联）。
更长审议协议：当前为两轮（T1-T2）交互，需验证效应在多轮 deliberation 或递归辩论（recursive debate）中是否放大或衰减。

3. 机制解构（Mechanism Disentanglement）

配方组件分离：当前将后训练配方视为捆绑变量（SFT、DPO、RLVR、蒸馏、数据策划、输出格式惯例），需独立操控：
算法机制（蒸馏 vs. 强化学习）
数据机制（推理数据 vs. 指令数据）
格式机制（CoT 输出格式本身 vs. 训练目标）
推理训练变体：测试其他推理训练程序（非DeepSeek-R1风格的蒸馏、无蒸馏的RL-on-reasoning、仅通过上下文提示的推理）是否产生相同的伴侣条件行为结构。

4. 下游任务验证

判断准确性关联：当前JSD（Jensen-Shannon divergence）仅为表面线索多样性诊断，需验证其是否预测实际的下游辩论准确性（debate accuracy）或人类偏好对齐。
评估者偏见缓解：测试基于配方多样性的面板是否比家族多样性面板更能减轻LLM-as-judge的自我偏好偏见。

5. 检测器与注释改进

高基率行为检测：开发针对Challenge和Repair的更强检测器（当前因基率<13%且与LLM-judge一致性差而被归为探索性指标），或采用训练后的人工注释员建立黄金标准。
细粒度对话分析：从二元线索检测转向序列模式分析（如 repair-challenge 序列的微观结构）。

6. 运行时与身份干预

运行时配置的系统性操控：在更多模型家族上分离权重与配置（如temperature、top-p、thinking budget）的独立效应。
身份披露策略：测试部分披露、误导性披露或动态身份揭示对跨配方行为不对称性的调节作用。

7. 实际部署验证

开放域代理工作流：在MetaGPT、AutoGen等框架中部署配方多样化面板，测量真实任务完成度与协作效率。
成本-效益分析：量化配方多样化带来的推理成本增加（如R1-Distill的高token开销）与多样性收益之间的权衡。

Q: 总结一下论文的主要内容

该研究系统性地挑战了多LLM（大型语言模型）系统设计中”模型家族”（model family）作为行为多样性主要代理变量的传统假设，提出后训练配方（post-training recipe）才是预测对话行为差异的首要因素。

核心问题与研究动机

现有文献在孤立评估（offline evaluation）中发现LLM存在家族内偏见（in-group bias），即模型偏好同家族模型的输出，因而建议多LLM面板应按家族多样化（每家族选一模型）。然而，在真实的交互式多代理场景（如审议、辩论、代理工作流）中，模型是否根据对话对象的不同而表现出系统性行为差异，以及这种差异由何种属性（参数规模、基础架构、后训练配方、运行时配置）主导，此前缺乏实证检验。

主要发现

后训练配方效应主导跨家族差异：在固定Llama-3.1-8B基础架构的因子实验中，不同后训练配方（Meta-Inst、Tülu-3-DPO、Tülu-3-RLVR、DeepSeek-R1-Distill）导致的”模糊限制语”（hedging）行为差异达18.22个百分点，超过控制条件下任何跨家族差异（canonical-4子集的最大差异低于此值）。
家族标签的局限性：一个包含Qwen、Llama、Gemma的家族多样化面板，在表面对话线索分布上（平均成对Jensen-Shannon散度=0.034）反而比一个包含三种不同配方（含推理蒸馏）的同家族Llama面板（JSD=0.251）更为同质化，前者仅为后者的1/7.5。
运行时配置的独立效应：在相同权重下切换运行时配置（如Qwen3-8B的think-on/off、Claude Sonnet的extended-thinking toggle）也能产生7-8%的行为线索率偏移，表明运行时元数据也应作为显式设计变量。

方法论贡献

大规模控制语料库：构建包含940,000条对话链的11检查点语料库，以及160万链的同基础Llama-3.1-8B因子实验，通过配对种子帖子设计实现严格的统计控制。
验证的对话行为检测：采用基于对话分析（Conversation Analysis）的词汇线索方法，检测challenge（质疑）、repair（修正）、hedging（软化主张）三种行为，并通过LLM-judge验证（hedging的Cohen’s κ达0.70）确立证据层级。
四轴变异分离：系统比较参数规模、运行时配置、后训练配方、跨家族四个轴的行为变异，隔离各因素的相对贡献。

设计启示（RQ3）

显式配方报告：多LLM面板应将后训练配方（SFT、DPO、RLVR、推理蒸馏等）和运行时配置与家族标签并列报告，而非将其隐藏在”Llama”或”Qwen”等家族标签之后。
多样化策略：追求对话多样性的面板应优先选择基础架构相同但配方不同的检查点（如结合标准指令调优与推理蒸馏模型），而非仅依赖家族多样化。
诊断框架：建议使用表面线索分布的JSD等metrics作为面板同质性的诊断工具，但需注意这仅是下游任务性能的必要非充分条件。

局限与未来方向

研究限于英语论坛式两轮对话与7B/8B级开源模型（辅以闭源API范围检查）。未来需扩展至多语言、多轮审议、更大参数规模，并分离后训练配方中的算法、数据、格式等具体机制，同时验证表面多样性是否确实转化为下游判断准确性或辩论收益的提升。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Luyang Zhang, Jialu Wang, Fei Xue, Yi-Yun Chu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20632.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20632

Published: 2026-06-24T01:29:38.721Z

4. EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis

Abstract:Instruction-based controllable speech synthesis enables users to specify emotions through natural language. However, existing approaches often rely on coarse emotion labels and lack explicit modeling of fine-grained intensity. We propose EmoInstruct-TTS, a dual-path instruction-guided framework for emotional speech synthesis. We introduce Emotion2embed, a supervised semantic-acoustic emotion embedding covering 48 emotional states, including fine-grained categories and intensity levels. To infer embeddings from free-form instructions, we design an Instruction-Conditioned Emotion Flow Model (ICE-Flow) that generates acoustically grounded emotion representations. The inferred embeddings are integrated into an LLM-based synthesis pipeline to provide explicit emotional control while preserving semantic planning. Experiments show improved emotional controllability and speech naturalness over strong baselines.

中文摘要

摘要：基于指令的可控语音合成使用户能够通过自然语言指定情感。然而，现有方法通常依赖粗略的情感标签，且缺乏对细粒度强度的显式建模。我们提出了EmoInstruct-TTS，一种用于情感语音合成的双路径指令引导框架。我们引入了Emotion2embed，一种监督的语义-声学情感嵌入，涵盖48种情感状态，包括细粒度类别和强度等级。为了从自由形式的指令中推断嵌入，我们设计了指令条件情感流模型（ICE-Flow），用于生成声学基础的情感表示。推断得到的嵌入被整合到基于大语言模型的合成流水线中，以提供明确的情感控制，同时保留语义规划。实验表明，与强基线相比，该方法在情感可控性和语音自然性方面均有提高。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决指令引导情感语音合成中的以下核心问题：

1. 细粒度情感建模的缺失

现有方法主要依赖粗粒度情感标签（如简单的”高兴”、”悲伤”），缺乏对细粒度情感类别和情感强度级别（低、中、高）的显式建模机制。这导致合成语音在情感表达的丰富性和强度控制的精确性方面存在不足。

2. 语言指令与声学特征的不对齐

自然语言指令虽提供了灵活的语义引导，但语言学描述往往无法充分捕捉情感的详细声学相关性（如基频、语速、能量等声学层面的微妙变化）。单纯依赖文本指令难以实现稳定、可预测的情感控制。

3. 语义规划与情感控制的耦合问题

现有系统通常将语义内容规划与情感声学控制纠缠在一起，缺乏明确的分离机制。这导致：

情感控制信号与语言内容相互干扰
难以独立调节情感表达而不影响语义清晰度
零样本（zero-shot）场景下的情感可控性较差

4. 参考语音方法的局限性

基于参考音频的情感迁移方法存在说话人依赖和音色不匹配问题，需要 curated 的情感参考数据，且难以通过文本灵活指定情感参数。

为解决上述问题，论文提出了 EmoInstruct-TTS 框架，通过双路径架构（Dual-Path）将语义指令处理与显式情感嵌入解耦，并引入 Emotion2embed 表示法涵盖 48 种情感状态（27 个细粒度类别 + 21 个情感-强度组合），实现了从自由形式文本指令到声学基础情感表示的精确映射。

Q: 有哪些相关研究？

该论文涉及的相关研究可分为以下四个主要方向：

1. 基础神经语音合成（Neural TTS）

近期研究在语音自然度和可懂度方面取得了接近人类水平的成果，代表性工作包括：

PortaSpeech
1
：便携且高质量的生成式 TTS
NaturalSpeech 系列
2,3,19
：端到端合成达到人类质量水平，NaturalSpeech 3 引入分解式编解码器和扩散模型
F5-TTS
5
与 MegaTTS 3
6
：基于流匹配（Flow Matching）和扩散 Transformer 的零样本语音合成

2. 基于参考音频的情感迁移（Reference-based Emotional TTS）

此类方法通过参考音频或潜在风格嵌入控制情感，但存在说话人依赖和音色不匹配问题：

Mintts
16
：情感语音合成中的强度建模
EmoKnob
17
：细粒度情感控制的语音克隆增强
**

Authors: Minghui Wu, Ganjun Liu, Zikun Fang, Ting Meng, Hongchuan Wu, Bingao Xu, Yonglong Cai, Jiasheng Chen, Jun Du

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20650.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20650

Published: 2026-06-24T01:29:38.721Z

5. Specific Domain Ontology Construction Using Large Language Models

Abstract:Ontologies are useful structures to organize and maintain information that can be understood both by humans and systems. However, since their manual crafting is a laborious task, many specific domains lack reference ontologies. The outstanding ability for understanding natural language demonstrated by the Large Language Models (LLMs) has motivated their application to aid on a variety of fields, including on ontology development. This work presents the experimentation with a technique that uses LLMs in the role of domain experts to build conceptual hierarchies for a given initial concept. Twenty ontologies automatically constructed for the domain of the Brazilian maritime territory (a.k.a the Blue Amazon) using GPT-3.5 and GPT-4 were then evaluated by human experts. The models were able to construct overall coherent conceptualizations of the domain, but none of the outputs was completely satisfactory as a representation of the context without refinement.

中文摘要

摘要：本体论是用于组织和维护信息的有用结构，这些信息既可以被人类理解，也可以被系统理解。然而，由于手工构建本体论是一项繁重的任务，许多特定领域缺乏参考本体论。大型语言模型（LLM）在理解自然语言方面表现出的卓越能力，促使它们被应用于各种领域，包括本体论开发。本研究介绍了一种实验方法，该方法使用LLM作为领域专家，为给定的初始概念构建概念层次结构。随后，人类专家对使用GPT-3.5和GPT-4自动构建的巴西海洋领土（又称蓝色亚马逊）领域的二十个本体进行了评估。模型能够构建该领域整体一致的概念，但没有一个输出能在未进行改进的情况下完全令人满意地代表该上下文。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决以下核心问题：

核心研究问题

如何利用大型语言模型（LLMs）自动化构建特定领域的本体（Ontology），并评估其在该领域知识组织中的有效性与局限性。

具体而言，论文聚焦于以下维度：

1. 领域知识组织的缺口问题

特定领域本体缺失：巴西海洋领土（”蓝色亚马逊”Blue Amazon）缺乏标准化的参考本体，而现有信息分散于学术文献、政府报告和数据库中，难以被系统和人类有效理解与利用。
手工构建本体的局限性：传统手工构建本体耗时费力，需要深厚的领域知识和专业技能，导致许多特定领域无法及时获得结构化的知识表示。

2. LLM辅助本体构建的方法论问题

自动化构建的可行性：探索使用GPT-3.5和GPT-4等LLMs作为”领域专家”，通过算法自动生成概念层次结构（Conceptual Hierarchies）的技术路径。
输入变体的影响：研究不同输入配置（如语言选择、首字母大小写、是否明确提及巴西等）对生成本体质量和结构的影响。

3. 生成本体的质量评估问题

质量与准确性验证：建立多维度评估框架（包括准确性、相关性、覆盖度、精确度和信息设计等），通过领域专家人工评估验证LLM生成本体的语义连贯性和领域适用性。
全自动化的局限性：验证当前LLM技术是否能够独立生成完全令人满意的本体，或仍需人工介入进行精炼和修正。

4. 模型性能比较问题

模型版本差异：对比GPT-3.5与GPT-4在特定领域本体构建任务上的表现差异，包括概念扩展能力、冗余控制、幻觉（hallucination）现象以及跨语言处理能力。

简言之，该研究旨在验证LLMs作为本体工程辅助工具的有效性，明确其在特定领域知识获取中的优势与边界，为缺乏现有本体的专业领域（如海洋科学）提供一种半自动化的知识组织解决方案。

Q: 有哪些相关研究？

论文在第2节”Literature Review”中系统梳理了相关研究，主要涵盖以下四个维度：

1. 传统本体学习方法

Asim et al. (2018)：综述了基于语言学、统计学和逻辑技术的本体学习方法，涉及”本体学习层次蛋糕”（Ontology Learning Layer Cake）的各阶段技术。

2. 深度学习驱动的本体学习

Reshadat et al. (2023)：探讨了深度神经网络在本体学习中的应用，指出其优势在于自动特征工程，但需要大量标注数据和计算资源，

Authors: Vivian Magri Alcaldi Soares, Renata Wassermann

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20691.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20691

Published: 2026-06-24T01:29:38.721Z

6. MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data

Abstract:Decoding inner speech from non-invasive brain signals remains a fundamental challenge due to the absence of overt linguistic output, limited training data, and large inter-subject variability. Existing brain-to-text approaches often rely on task-specific decoder fine-tuning, which restricts scalability and complicates adaptation to new participants. We propose MindAlign, a decoupled two-stage brain-to-language framework that enables open-ended text generation from fMRI signals without modifying the underlying language model. The first stage learns a subject-specific neural-semantic alignment that maps fMRI activity into a shared multimodal semantic space, extracting a latent semantic sketch of the internally generated sentence. The second stage integrates this sketch with visual context to prompt a frozen multimodal language model for free-form generation. Experiments on fMRI data collected during silent image description demonstrate that the proposed approach consistently outperforms fMRI-only and random baselines. We further show that the learned semantic-to-language projection can generalize across subjects, enabling effective decoding when paired with subject-specific neural alignment. These results indicate that neural signals modulate semantic content beyond image-driven priors, supporting a scalable and modular direction for brain-to-text decoding.

中文摘要

摘要：由于缺乏明显的语言输出、训练数据有限以及个体间差异较大，从非侵入性脑信号解码内在言语仍然是一项基本挑战。现有的脑到文本方法通常依赖任务特定的解码器微调，这限制了其可扩展性，并增加了对新参与者的适应难度。我们提出了 MindAlign，一种解耦的两阶段脑到语言框架，可从功能性磁共振成像（fMRI）信号生成开放式文本，而无需修改底层语言模型。第一阶段学习特定个体的神经-语义对齐，将 fMRI 活动映射到共享的多模态语义空间中，提取内在生成句子的潜在语义草图。第二阶段将该草图与视觉上下文结合，提示一个冻结的多模态语言模型进行自由形式的文本生成。在静默图像描述任务中收集的 fMRI 数据实验表明，该方法始终优于仅使用 fMRI 的方法和随机基线。我们进一步展示了学习到的语义到语言映射能够跨个体通用，在与特定个体的神经对齐结合时，实现有效解码。这些结果表明，神经信号能够在图像驱动先验之外调制语义内容，为脑到文本解码提供了可扩展且模块化的方向。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20696.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20696

Published: 2026-06-24T01:29:38.721Z

7. VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

Abstract:Process Reward Models (PRMs) provide step-level verification for Large Language Model (LLM) reasoning, yet their training data acquisition remains a bottleneck: human annotation is costly and Monte Carlo roll-out estimates are noisy. A recent approach, FOVER, trains PRMs on step-level error labels automatically annotated by formal verification tools such as Z3 and Isabelle, and empirically observes cross-task generalization from symbolic tasks to diverse reasoning benchmarks. However, this generalization phenomenon lacks any theoretical explanation, and no formal bounds exist on the generalization error, sample complexity, convergence rate, or downstream Best-of-K performance of such PRMs. We propose VeriBound, a theoretical framework that provides PAC-Bayesian generalization bounds for PRMs trained with formal verification tools. We establish four main results: (i) a PAC-Bayesian generalization bound that relates the empirical verification error on formal-verification-annotated training data to the expected error on unseen reasoning tasks, with the bound depending on the formal verification accuracy and the divergence between training and test task distributions; (ii) a sample complexity result showing that $O(d \log(d/\delta) / \epsilon^2)$ formal-verification-annotated examples suffice to achieve generalization error $\epsilon$ with probability $1-\delta$, where $d$ is the complexity of the PRM hypothesis class; (iii) a convergence analysis proving that PRM training with formal verification labels converges at a linear rate under $L$-smoothness and bounded variance conditions; and (iv) an error propagation bound that relates step-level verification error to Best-of-K performance degradation.

中文摘要

摘要：过程奖励模型（PRM）为大型语言模型（LLM）推理提供了步骤级验证，但其训练数据获取仍是瓶颈：人工注释成本高昂，蒙特卡洛推广估计噪声较大。一种最新的方法FOVER，通过Z3和Isabelle等形式验证工具自动注释的步骤级错误标签训练PRMs，并通过实证观察从符号任务到多样化推理基准的跨任务推广。然而，这种泛化现象缺乏理论解释，且对此类PRM的泛化误差、样本复杂度、收敛率或下游K最佳表现没有正式限制。我们提出了VeriBound理论框架，为使用形式验证工具训练的PRM提供了PAC-贝叶斯推广界限。我们建立了四个主要结果：（i）一个PAC-贝叶斯推广界限，将形式验证注释训练数据的经验验证误差与未见推理任务的预期误差联系起来，该界限取决于形式验证精度及训练任务与测试任务分布的偏差;（ii）样本复杂度结果表明 $O（d \log（d/\delta） / \epsilon^2）$ 形式-验证注释示例足以实现概率 $1-\delta$ 的推广误差 $\epsilon$，其中 $d$ 是 PRM 假设类的复杂度;（iii）收敛分析证明带有形式验证标签的PRM训练在$L$平滑性和有界方差条件下以线性速率收敛;以及（iv）错误传播界限，将步级验证误差与最佳性能退化联系起来。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决使用形式化验证工具训练的过程奖励模型（PRMs）的理论基础缺失问题，具体包括以下几个核心方面：

1. 跨任务泛化的理论解释缺失

现有工作（如 FOVER）观察到：在形式化验证任务（如经 Z3 验证的形式逻辑、经 Isabelle 验证的定理证明）上训练的 PRMs，能够泛化到数学推理（MATH、AIME）、自然语言推理（ANLI、MMLU）等无法进行形式化验证的任务。然而，文献中不存在任何理论解释说明为何形式化验证标注的数据能够支持向非形式化任务的泛化。

2. 关键理论界限的空白

针对利用形式化验证工具训练的 PRMs，现有研究缺乏以下形式化保证：

泛化误差界限：无法量化训练数据上的验证误差与测试任务上的期望误差之间的关系
样本复杂度：确定达到目标泛化误差所需的标注样本数量
收敛性分析：证明 PRM 训练在形式化验证标签下的收敛速率
下游性能界限：步骤级验证误差如何传播并影响 Best-of-K 采样等下游任务的性能

3. 形式化验证噪声的建模挑战

形式化验证工具在自动标注过程中会引入结构化标签噪声（即验证器本身存在误差 Delta(fv) ），同时训练任务分布与测试任务分布之间存在分布偏移（ Dα ）。论文需要建立一个理论框架来显式刻画这两个因素对泛化性能的影响。

4. 核心贡献：VeriBound 框架

为填补上述空白，论文提出 VeriBound 理论框架，首次建立了以下四个关键结果：

PAC-贝叶斯泛化界限：关联经验验证误差与期望测试误差，界限依赖于形式化验证准确率 Delta(fv) 和任务分布散度 Dα
样本复杂度界限：证明 O(dlog(d/δ)/ε^2) 个形式化验证标注样本足以以概率 1-δ 达到泛化误差 ε
收敛率分析：在 L -光滑性和有界方差条件下，证明训练以线性速率 O(1/T) 收敛
误差传播界限：量化步骤级验证误差 ε(step) 对 Best-of-K 性能退化的影响，显示误差上界为 K · ε(step) · (1-p_(correct))^(K-1)

简而言之，该论文为形式化验证辅助的 PRM 训练提供了首个严格的统计学习理论框架

Authors: Amirul Rahman, Mohammed Sabih Alsharari

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20740.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20740

Published: 2026-06-24T01:29:38.721Z

8. From Sentiment to Actionable Insights: A Data-Driven Public Sentiment Analysis of Advanced Air Mobility

Abstract:Advanced Air Mobility (AAM) is an emerging low-altitude air transportation system whose successful deployment depends not only on technological advancement but also on public acceptance. This acceptance will drive government support, regulations, noise standards, and willingness to fly, and in turn the overall commercial viability of AAM. Understanding public sentiment toward AAM is therefore essential for identifying its societal barriers and informing its adoption strategies. This study analyzes 306,009 human-generated texts collected from Reddit and Quora to examine public discourse on AAM using AI-based models. Because multiple sentiment analysis models exist, identifying the most accurate model is critical for reliable AAM sentiment prediction and trustworthy public opinion analysis. Accordingly, seven models spanning lexicon-based, machine learning, deep learning, and transformer-based approaches are evaluated for AAM-specific sentiment classification. ModernBERT achieves the best classification performance and is used to label the full dataset. Using the resulting sentiment labels, Latent Dirichlet Allocation (LDA) is applied within each sentiment class to uncover latent topics in public opinion. The analysis identifies 20 distinct topics and traces their temporal evolution from 2008 to 2025. A cross-sentiment topic analysis further reveals six major clusters of public concern: workforce and skill development (25.29% of the dataset), regulation and compliance (24.64%), technical performance of drones (20.99%), military, geopolitics, and defense (14.58%), safety and operational risks (8.51%), and noise and disturbance (5.98%). Based on these findings, this study provides actionable strategies to address these concerns, thereby, improving public acceptance and support AAM deployment.

中文摘要

摘要：先进空中出行（AAM）是一种新兴的低空航空运输系统，其成功部署不仅依赖于技术进步，还取决于公众的接受度。这种接受度将推动政府支持、法规制定、噪声标准以及乘坐意愿，进而影响AAM的整体商业可行性。因此，了解公众对AAM的情感态度对于识别其社会障碍并制定采用策略至关重要。本研究分析了从Reddit和Quora收集的306,009条人工生成文本，利用基于人工智能的模型检查公众对AAM的讨论。由于存在多种情感分析模型，识别最准确的模型对于可靠的AAM情感预测和可信的公众意见分析至关重要。因此，本研究评估了涵盖词典、机器学习、深度学习和基于变换器的七种模型，用于AAM特定的情感分类。研究结果表明，ModernBERT在分类性能上表现最佳，并用于对整个数据集进行情感标注。利用得到的情感标签，在每个情感类别内应用潜在Dirichlet分配（LDA）以发现公众意见中的潜在主题。分析识别出20个不同主题，并追踪其在2008年至2025年的时间演变。跨情感主题分析进一步揭示出六大公众关注群体：劳动力与技能发展（占数据集的25.29%）、法规与合规（24.64%）、无人机技术性能（20.99%）、军事、地缘政治与国防（14.58%）、安全和操作风险（8.51%）、噪声与干扰（5.98%）。基于这些发现，本研究提供了可操作的策略以解决这些关注点，从而提高公众接受度并支持AAM的部署。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Esrat Farhana Dulia, Amina Dhaher, Raiful Hasan, Syed Arbab Mohd Shihab

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20751.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20751

Published: 2026-06-24T01:29:38.721Z

9. FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

Abstract:AI systems for peer review fail on three fronts: they train on Computer Science and Machine Learning venues alone, ignore the iterative dialogue that validates science, and evaluate on stylistic mimicry rather than real editorial judgment. We introduce FirstPass, a dataset and fine-tuned model that addresses all three. Curating 3,668 complete multi-round peer-review dialogues from Nature Communications across five scientific domains (biology, chemistry, neuroscience, physics, and earth science), we exploit mandatory transparent peer review (instituted November 2022) and verify 100% content integrity by automated audit. We fine-tune Qwen2.5-7B-Instruct via Low-Rank Adaptation (LoRA) on three tasks: review generation, reviewer updating, and revision-cycle prediction. Our key finding is that response-only loss masking is a prerequisite, not an optimization: without it, accuracy is 62.0%, below the majority baseline; with it, FirstPass achieves 80.5% accuracy and F1-macro 78.2% on predicting editorial outcomes (Standard vs. Extended revision cycles), outperforming Gemini-3.1-flash-lite-preview zero-shot by 10.4 percentage points and all baselines with statistical significance (McNemar p < 0.001). On generation, FirstPass produces reviews averaging 1,187 words, substantially closer to human references (2,155 words) than any baseline, achieving ROUGE-L 0.154 with significant gains over Qwen and DeepSeek zero-shot (p < 0.001). Deployed in the pre-submission loop as an anticipatory scientific co-author, FirstPass simulates expert critique and predicts revision cycle outcomes before submission, giving authors the judgment a trusted colleague would provide, with consistent cross-domain performance across five disciplines.

中文摘要

摘要：用于同行评审的人工智能系统在三个方面存在失败：它们仅在计算机科学和机器学习领域的会议上进行训练，忽略了验证科学的迭代对话，并且评估基于风格模仿而非真实的编辑判断。我们介绍了 FirstPass，这是一个数据集和经过微调的模型，可解决这三方面问题。我们从《自然通讯》（Nature Communications）中策划了 3,668 个完整的多轮同行评审对话，涵盖五个科学领域（生物学、化学、神经科学、物理学和地球科学），利用自 2022 年 11 月实施的强制透明同行评审，并通过自动审计验证 100% 的内容完整性。我们通过低秩适配（LoRA）对 Qwen2.5-7B-Instruct 进行三项任务的微调：评审生成、审稿人更新和修订周期预测。我们的关键发现是，仅对响应部分进行损失屏蔽是前提条件，而非优化手段：如果不使用该方法，准确率为 62.0%，低于多数基线；使用该方法后，FirstPass 在预测编辑结果（标准修订周期与扩展修订周期）时达到 80.5% 的准确率和 78.2% 的宏 F1 值，超过 Gemini-3.1-flash-lite-preview 的零样本预测 10.4 个百分点，并且在统计学上显著优于所有基线（McNemar p < 0.001）。在生成方面，FirstPass 生成的评审平均为 1,187 字，明显更接近人工参考（2,155 字），相比任何基线都更接近，实现 ROUGE-L 0.154，相较于 Qwen 和 DeepSeek 零样本预测有显著提升（p < 0.001）。部署在提交前的预审流程中，FirstPass 作为预期的科学共同作者，模拟专家评论并预测修订周期结果，为作者提供可信同事般的判断，并在五个学科中保持一致的跨领域表现。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Prabhjot Singh, Somnath Luitel, Manmeet Singh, Josh Durkee

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20769.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20769

Published: 2026-06-24T01:29:38.721Z

10. Beyond ‘One Language, One Script’: Quantifying Orthographic Bias in Multilingual VLMs with PuMVR

Abstract:Current Vision-Language Models (VLMs) are celebrated for their multilingual capabilities, yet they operate under a flawed assumption: that one language corresponds to a single writing system. This overlooks billions of users of multi-script languages like Punjabi, Serbian, Hindi-Urdu, Kurdish, among many others, for whom a model’s capability may be fractured by orthographic bias. We introduce PuMVR (Punjabi Multimodal Visual Reasoning), the first benchmark designed to quantify script-dependent bias through 375 culturally grounded image-reasoning tasks across Punjabi’s three active scripts (Gurmukhi, Shahmukhi, Roman). Evaluating 10 state-of-the-art VLMs, we expose a substantial Script Gap: models frequently solve visual puzzles in one script while failing identical tasks in another, with accuracy deltas reaching 16% and Script Consistency Rates (SCR) as low as 24.8%. Crucially, visual input boosts absolute performance but does not close this gap, the relative bias persists. Our analysis suggests reasoning patterns show limited cross-script transferability, and Chain-of-Thought pathways diverge based on script alone. We propose SCR as a core metric for script-agnostic evaluation, challenging current multilingual assessment paradigms and providing a framework for equitable AI.

中文摘要

摘要：当前的视觉-语言模型（VLMs）因其多语言能力而备受赞誉，但它们基于一个有缺陷的假设：认为一种语言对应一种书写系统。这忽略了数十亿使用多种书写体系语言的用户，例如旁遮普语、塞尔维亚语、印地语-乌尔都语、库尔德语等，对于这些用户来说，模型的能力可能会因书写偏差而受限。我们提出了PuMVR（旁遮普语多模态视觉推理），这是首个通过375个基于文化的图像推理任务，在旁遮普语的三种活跃书写体系（Gurmukhi、Shahmukhi、罗马字母）上量化书写依赖偏差的基准。通过评估10个最先进的VLMs，我们揭示了显著的书写差距：模型经常能解决一种书写体系下的视觉谜题，但在另一种书写体系下的相同任务却失败，准确率差异高达16%，书写一致率（SCR）最低仅为24.8%。关键是，视觉输入虽然提升了绝对性能，但无法弥合这一差距，相对偏差依然存在。我们的分析表明，推理模式在不同书写体系之间的迁移能力有限，链式思维路径仅凭书写体系就会有所不同。我们提出将SCR作为核心指标，用于无书写体系偏见的评估，挑战现有的多语言评测范式，并为公平的人工智能提供框架。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Prabhjot Singh, Bhushan Pawar, Madhu Reddiboina

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2606.20770.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20770

Published: 2026-06-24T01:29:38.721Z

Agent Domain Papers

1. On the Identifiability of User Adaptation in Co-Adaptive Neural Interfaces

Abstract:We analyze identifiability in co-adaptive human-machine systems. We show that closed-loop encoder estimates do not uniquely identify user adaptation, but instead reflect properties of the joint system. We discuss implications for interpreting behavioral adaptation and propose conditions for identification.

中文摘要

摘要：我们分析了共同适应的人机系统中的可识别性。我们表明，闭环编码器的估计不能唯一地识别用户的适应性，而是反映了联合系统的特性。我们讨论了对行为适应性解释的影响，并提出了识别的条件。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决协同自适应神经接口（co-adaptive neural interfaces）中用户适应机制的可识别性（identifiability）问题。

具体而言，论文针对的是 Madduri 等人
2
提出的实验与理论框架所存在的局限：该框架通过线性回归估计”编码器”（encoder） E_t 来捕捉用户行为，并据此解释用户如何适应机器解码器的变化。然而，本文作者指出，这一估计过程存在根本性的识别缺陷——即观测到的编码器估计序列 E_t 无法唯一确定潜在的用户控制策略序列 U_t 。

核心问题可分解为以下几个方面：

映射的非单射性：在闭环系统中，从用户策略到编码器估计的映射 M: U_t, D_t, W_t mapsto E_t 是多对一的（many-to-one）。解码器 D_t 的变化会改变状态分布，进而影响 E_t ，即使用户策略 U_t 保持不变。
观察等价性：不同的用户适应机制（如固定策略、时变策略、延迟适应等）可能产生完全相同的编码器估计序列。例如，论文构造了两个系统：一个是用户策略固定但状态分布随解码器变化，另一个是用户策略主动时变，但二者在有限窗口内的回归估计结果完全相同。
解释困境：由于缺乏可识别性，基于 E_t 的变化来推断用户内部目标函数、学习动态或适应机制的做法存在歧义。实验结果只能识别联合闭环系统的属性，而非用户孤立的适应机制。
改进方向：论文进一步探讨了如何通过引入外生扰动（persistent excitation）、潜在状态建模或延长实验时间窗等方法，来获得对用户适应机制的唯一识别。

简言之，该论文试图澄清：在现有实验设计下，无法从观测数据中唯一识别用户的适应机制，并强调在解释”预测或塑造人类行为”的声明时需要谨慎区分”联合系统动态”与”用户侧适应机制”。

Q: 有哪些相关研究？

基于提供的论文内容，相关研究主要涵盖以下两个方面：

1. 协同自适应神经接口的基础框架研究

Madduri et al. (2026)
2
是本文直接回应的核心研究工作。该研究提出了一个结合博弈论（game-theoretic formulation）与肌电图（EMG）控制实验的计算框架，用于研究闭环协同自适应神经接口中的人机交互。该框架探讨了解

Authors: Philip Waggoner

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20569.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20569

Published: 2026-06-24T01:40:54.722Z

2. Beyond Fixed Budgets: Characterizing the Inelasticity and Limitations of Tree-of-Thought Reasoning Strategies

Abstract:Tree of Thought (ToT) search has become a promising direction for improving the reasoning capabilities of large language models, but deploying these methods in practice raises a question that has received little systematic attention: how do different search strategies behave under varying compute budgets, model sizes, and problem difficulties? In this work, we evaluate two representative ToT methods; DPTS, a Monte Carlo tree search based approach, and SSDP, a semantic deduplication based approach, across two mathematical reasoning benchmarks (Math500 and GSM8K), two model scales (Llama-3B and Llama-8B), and four token budgets (3k—10k). Our analysis reveals that the two methods exhibit limitations that pull in opposite directions. DPTS suffers from a cold-start bottleneck at low budgets: it requires sufficient exploration before its value estimates become reliable, making it a poor fit for resource-constrained settings despite strong scaling behavior at higher budgets. SSDP, on the other hand, reaches candidate solutions efficiently but is prone to frontier depletion; its aggressive node merging permanently discards unexplored paths, leaving it unable to improve regardless of how much budget remains. Together, these findings suggest that neither a fixed exploration strategy nor a fixed pruning strategy is sufficient across compute continuum. We argue that effective search for scientific reasoning agents requires strategies that can adapt their behavior based on search progress and available resources.

中文摘要

摘要：思维树（Tree of Thought, ToT）搜索已经成为提升大型语言模型推理能力的有希望方向，但在实际部署这些方法时提出了一个很少受到系统性关注的问题：在不同的计算预算、模型规模和问题难度下，不同的搜索策略表现如何？在这项工作中，我们评估了两种代表性的ToT方法：DPTS，一种基于蒙特卡洛树搜索的方法；以及SSDP，一种基于语义去重的方法，分别在两个数学推理基准（Math500和GSM8K）、两种模型规模（Llama-3B和Llama-8B）以及四种令牌预算（3k–10k）下进行测试。我们的分析显示，这两种方法存在相互相反的局限性。DPTS在低预算下存在冷启动瓶颈：它在其价值估计变得可靠之前，需要进行足够的探索，因此尽管在高预算下有较强的扩展性，但在资源受限的环境中表现不佳。另一方面，SSDP能够高效地获得候选解，但容易出现前沿耗尽问题；其激进的节点合并会永久丢弃未探索的路径，使其无论剩余预算多少都无法进一步改进。综合来看，这些发现表明，无论是固定的探索策略还是固定的剪枝策略，都不足以覆盖整个计算连续体。我们认为，有效的科学推理代理搜索需要能够根据搜索进展和可用资源自适应调整行为的策略。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决现有思维树（Tree-of-Thought, ToT）推理策略在设计时采用固定算法策略（如固定的探索或剪枝规则），无法适应动态变化的计算预算、模型规模和问题难度，导致在资源受限或弹性计算环境下表现不佳的问题。

具体而言，论文针对以下关键子问题展开研究：

1. 固定策略与动态资源约束之间的根本性错配

现有ToT方法（无论是基于蒙特卡洛树搜索的DPTS还是基于语义剪枝的SSDP）均在设计时确定其探索或剪枝策略，而非在推理时根据可用资源自适应调整。论文指出，在灵活的科学计算基础设施（如多租户集群、弹性云爆发、共享GPU池）中，每查询的token预算高度可变且异构，固定策略会导致：

在某一预算范围内表现良好的方法在另一范围内可能崩溃
额外的计算资源往往无法转化为成比例的性能提升

2. 系统性评估ToT策略在计算连续体上的行为动态

社区缺乏对代表性推理策略在真实、波动资源约束下如何遍历思维树的系统性理解。现有评估多报告在固定且充裕预算下的总体准确率，而对以下内部搜索动态缺乏可见性：

候选解首次出现的时间点
搜索终止的原因（预算耗尽 vs. 前沿枯竭 vs. 早停）
额外token如何被转换为更深或更广的探索

3. 揭示两种代表性范式的结构性局限

通过对比分析两种处于设计谱系两端的ToT方法，论文识别出相互对立的局限性：

DPTS（MCTS-based）的冷启动瓶颈：
在统计上依赖初始采样量来稳定价值估计，在 3k token预算下，对Math500数据集的问题仅有 26% - 29.4% 的可达率（reachability），即高达 74% 的问题无法生成任何候选解。这种”预热成本”在资源受限环境中是不可接受的，尽管其在高预算下表现出良好的扩展性。
SSDP（语义剪枝）的前沿枯竭：
通过激进的节点合并（相似度阈值 τ = 0.75 ）实现快速首解可达，但会永久丢弃未探索路径。一旦前沿（frontier）耗尽，无论剩余预算如何增加（从 3k 到 10k ），准确率均无法提升，导致预算弹性（budget elasticity）丧失。

4. 为自适应ToT设计提供理论依据

基于上述局限性的诊断，论文论证了单一固定策略（无论是探索主导还是剪枝主导）都不足以覆盖整个计算连续体。因此，亟需能够

Authors: Atkia Mahila, Avinash Maurya, M. Mustafa Rafique, Bogdan Nicolae

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20599.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20599

Published: 2026-06-24T01:40:54.722Z

3. The New Associationism: Lessons from Deep Learning

Abstract:What can the success of modern AI tell us about how humans learn? This paper argues that taking AI seriously as a model of human learning supports a modest but genuine associationism. The central finding is that supervised learning — learning driven by evaluative feedback — underlies a surprisingly wide range of contemporary AI systems, from large language models to game-playing agents, differing primarily in how much work is required to generate the relevant feedback signal. This vindicates associationist ideals of a uniform, gradual, error-driven learning mechanism operating across domains, and defuses the once-influential argument that associationist mechanisms are too limited to account for human cognitive capacities. At the same time, the successes of deep learning depend on computational architectures that go well beyond anything classical associationists envisaged, and supervised learning operates within these as one component rather than a complete account of learning.

中文摘要

摘要：现代人工智能的成功能告诉我们人类如何学习吗？本文认为，认真将人工智能作为人类学习的模型，可以支持一种适度但真实的联结主义。核心发现是，监督学习——由评估反馈驱动的学习——是当代各种人工智能系统的基础，从大型语言模型到游戏代理，其主要差异在于产生相关反馈信号所需的工作量。这验证了联结主义关于在不同领域中运行的统一、渐进、以错误为驱动的学习机制的理想，并破解了曾经有影响力的观点，即联结主义机制过于有限，无法解释人类的认知能力。同时，深度学习的成功依赖于远超经典联结主义者设想的计算架构，而监督学习只是这些架构中的一个组成部分，而非完整的学习解释。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Daniel Rothschild

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20600.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20600

Published: 2026-06-24T01:40:54.722Z

4. Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries

Abstract:AI agents now participate as first-class team members across the software development lifecycle, yet no specification language exists for expressing the human-agent responsibility boundaries, approval gates, and governance constraints this collaboration requires. Existing approaches encode process in agent prompts (subject to drift), target adjacent domains (workflow management, business processes), or address only fragments (access control, approval gates). We propose a domain-specific language for specifying AI-SDLC processes as protocols, with formal syntax, well-formedness conditions, operational semantics, and enforcement invariants. The language distinguishes policy (declared intent) from mechanism (structural enforcement), enabling implementations to bound process non-determinism through primitives such as validation tokens and capability boundaries. Three results follow. A failure rate analysis shows that structural enforcement bounds system failure rates at a weighted product of agent and validator rates, while behavioral compliance permits cumulative or near-saturating growth. The 2+N team pattern (two human-in-control roles plus N specialized agent members) formalizes classical Separation of Duties for AI-SDLC. Kleene closure of orchestration loops and reflexive protocol-adherence validation emerge as design properties rather than special-case constructs. We position the contribution against multi-agent frameworks (MetaGPT), workflow specification (FlowAgent, BPMN extensions), and capability-based security (SAGA): the novelty lies in the specific integration, not any single primitive. A working implementation demonstrates feasibility; empirical evaluation is future work.

中文摘要

摘要：AI 代理现在作为一流团队成员参与软件开发生命周期的各个环节，但目前尚无规范语言来表达这种协作所需的人类-代理责任边界、审批关卡和治理约束。现有方法将流程编码到代理提示中（易受偏移影响）、针对相邻领域（工作流管理、业务流程），或仅处理碎片部分（访问控制、审批关卡）。我们提出了一种用于将 AI-SDLC 流程指定为协议的领域特定语言，具有形式化语法、良构性条件、操作语义和执行不变量。该语言区分策略（声明意图）与机制（结构性执行），使实现能够通过验证令牌和能力边界等原语限制流程的不确定性。由此产生三方面结果：一是故障率分析表明，结构性执行可将系统故障率限制在代理与验证者率的加权乘积，而行为合规允许累积或接近饱和的增长。二是 2+N 团队模式（两个以人为控制的角色加上 N 个专业化代理成员）形式化了 AI-SDLC 的经典职责分离。三是编排循环的 Kleene 闭包和反身协议遵循验证作为设计属性出现，而非特殊情况构造。我们将该贡献与多代理框架（MetaGPT）、工作流规范（FlowAgent、BPMN 扩展）以及基于能力的安全（SAGA）进行对比：新颖性在于特定的集成，而非单个原语。一个可工作的实现展示了可行性；实证评估是未来工作。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决AI集成软件开发生命周期（AI-SDLC）中缺乏正式规范语言的问题，具体表现为无法系统化地定义人机协作边界、审批关口与治理约束。

核心问题域可归纳为以下层面：

1. 规范缺口的结构性矛盾

AI代理已作为”一流团队成员”参与规划、编码、审查与部署，但业界缺乏用于表达人类-代理责任边界、审批关口和治理约束的可执行规范语言
现有实践依赖临时工具组合（ad-hoc tooling）或提示工程（prompt-based specification），导致过程规范随代理行为漂移，产生”覆盖漂移”（coverage drift）风险

2. 过程非确定性的治理困境

行为合规模式（behavioral compliance）仅通过代理对策略的解读来执行，无法阻止代理跳过、偏离或重新解释协议步骤，导致过程非确定性（process non-determinism）与代理非确定性（agent non-determinism）叠加
失败模式（安全漏洞、静默失败、审计缺口、自我审查局限）本质上是过程问题而非能力问题，需通过结构执行（structural enforcement）而非单纯提升模型质量来解决

3. 责任分离的形式化缺失

经典职责分离（Separation of Duties）原则在AI-SDLC中缺乏形式化表达机制，无法确保”生产者模式”与”审查者模式”在基础设施层面的强制隔离
缺乏对2+N团队模式（两名人类控制角色+N名专业化代理成员）的协议级定义，导致人机协作中的权限混淆与自我审批风险

4. 验证与审计的可执行性断层

工作流规范语言（如BPMN扩展）面向通用业务流程，未原生支持自主代理参与者、代理间分歧解决及AI特定失败模式
多代理框架（如MetaGPT）将标准操作程序（SOP）编码于提示中，缺乏独立于代理实现的可移植、可审计的规范制品（portable, reviewable specification artifact）

简言之，该论文针对的是：当AI代理成为软件开发团队的正式成员时，如何以机器可执行的形式规范”谁做什么、何时需批准、分歧如何解决、哪些约束不可违反”的形式化表达缺失问题。

Q: 有哪些相关研究？

该论文在第3节系统梳理了相关研究，涵盖五个主要领域：

1. 人类监督模型（Human Oversight Models）

Authors: Ylli Prifti

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20615.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20615

Published: 2026-06-24T01:40:54.722Z

5. PEAR: Permutation-Equivariant Adaptive Routing Multi-Agent Debate

Abstract:Multi-agent debate improves the reliability of large language models (LLMs) through iterative peer critiques. However, fixed topologies often introduce persistent positional biases, amplify unreliable agents, and cause high sensitivity to role assignments. We introduce \textit{Permutation-Equivariant Adaptive Routing Multi-Agent Debate (PEAR)}, an inference-time protocol that dynamically reconfigures communication roles and sparse topologies across consecutive debate rounds. By strategically switching agent-to-role assignments based on evolving agent states, PEAR prevents any agent from permanently occupying a privileged network position or distributes influence more evenly across the debate. We theoretically characterize PEAR as an equivariant sparse router: it preserves accuracy under agent relabeling while reducing routing complexity and improving generalization. Comprehensive empirical evaluations across four reasoning benchmarks and six diverse LLM backbones demonstrate PEAR significantly improves average accuracy over the strongest debate baselines. The code is at this https URL.

中文摘要

摘要：多智能体辩论通过迭代的同伴批评提高大型语言模型（LLMs）的可靠性。然而，固定的拓扑结构常常引入持续的位置信息偏差，放大不可靠的智能体，并导致对角色分配高度敏感。我们提出了\textit{排列等变自适应路由多智能体辩论（PEAR）}，这是一种推理时协议，可以在连续辩论回合中动态重新配置通信角色和稀疏拓扑。通过根据不断变化的智能体状态策略性地切换智能体与角色的分配，PEAR 防止任何智能体永久占据特权网络位置，或更均匀地分配辩论中的影响力。我们从理论上将 PEAR 描述为一个等变稀疏路由器：它在智能体重标记下保持准确性，同时降低路由复杂性并提高泛化能力。在四个推理基准和六个不同 LLM 骨干模型上的全面实证评估表明，PEAR 在平均准确率上显著优于最强的辩论基线。代码可通过此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文针对多智能体辩论（Multi-Agent Debate, MAD）中固定通信拓扑结构的固有缺陷提出解决方案。具体而言，论文识别并试图解决以下核心问题：

1. 固定拓扑导致的结构性失效

现有 MAD 协议通常采用链式、星型或环型等固定通信图结构，这引发了两种关键的失效模式：

信息同质化（Information Homogenization）：智能体在预定的固定邻域内重复交换批评，导致错误被强化而非被纠正。即使存在多样化观点，固定拓扑也可能阻止这些观点到达最能从中受益的智能体。
错误级联（Error Cascades）：中心节点、早期发言者或占据特权位置的智能体可能产生不成比例的影响力。当这些”枢纽”智能体的答案错误时，会锚定整个群体得出错误结论，且其错误会通过固定路径持续传播。

2. 对角色分配的敏感性与位置偏见

固定拓扑使得辩论结果对智能体的初始角色分配高度敏感，产生持久的位置偏见。某些智能体可能永久占据特权网络位置，导致：

不可靠智能体的声音被过度放大
通信结构固化，无法根据辩论动态调整
最终答案分布依赖于任意标签分配而非实质推理质量

3. 解决方案：动态自适应路由

为应对上述问题，论文提出 PEAR（Permutation-Equivariant Adaptive Routing Multi-Agent Debate），一个推理时协议，通过以下机制实现改进：

状态感知动态路由：基于智能体当前状态（答案、自报告置信度、历史累积影响力）动态选择稀疏通信拓扑，而非固定结构
置换等变性：确保重新标记智能体不会改变最终答案分布，消除对任意角色分配的依赖
复合路由目标：
目标多样性（Targeted Diversity）：优先将高置信度但持不同意见的智能体与低置信度智能体连接，促进”错到对”的修正
影响力平衡（Influence Balancing）：惩罚累积影响力过大的智能体，防止单一智能体主导信息流
低置信度过滤（Low-Confidence Filtering）：抑制来自低置信度智能体的批评传播，减少不可靠信号

4. 理论保证

论文从理论上表征 PEAR 为等变稀疏路由器，证明其在保持智能体重新标记下准确性的同时，降低了路由复杂性并提供一致的泛化保证。

通过在四个推理基准和六个不同规模的 LLM 骨干上的实验验证，PEAR 显著提升了多智能体辩论的平均准确率，最高比最强基线提升

Authors: Yang Feng, Ziwei Xu, Xia Hu, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20621.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20621

Published: 2026-06-24T01:40:54.722Z

6. Darwin Mobile Agent: A Roadmap for Self-Evolution

Abstract:The goal of artificial intelligence is to create agents capable of general, adaptive behaviour in open-ended environments. Guided by the “Bitter Lesson”, we argue that the most effective path toward this goal is to systematically remove human priors and allow intelligence to naturally emerge through interaction with a “Big World” that is orders of magnitude more complex than the agent itself. We propose the mobile Graphical User Interface (GUI) as a practical proxy for such a world and introduce Darwin Mobile Agent, an open-source infrastructure designed as a foundation for autonomous reinforcement learning in this domain. This framework addresses the data-collection bottleneck in real-world mobile interactions by using an asynchronous agent-environment loop across parallel cloud-phone instances. We further propose a conceptual roadmap to systematically remove human priors from three fundamental pillars of a self-evolving agent: task curricula, outcome verification, and memory management. We validate that the Darwin infrastructure provides the stability and scalability required for the first stage of this roadmap: policy optimisation in the GUI domain. This work establishes the practical and theoretical foundation necessary to move toward truly autonomous, self-evolving GUI agents.

中文摘要

摘要：人工智能的目标是创建能够在开放环境中展示通用、自适应行为的智能体。在“苦涩经验”的指导下，我们认为实现这一目标的最有效路径是系统地消除人类先验知识，并允许智能通过与比智能体本身复杂几个数量级的“大世界”的交互自然出现。我们提出移动图形用户界面（GUI）作为此类世界的实际代理，并引入Darwin移动智能体，这是一个开源基础设施，旨在为该领域的自主强化学习提供基础。该框架通过在并行的云-手机实例之间使用异步的智能体-环境循环，解决了现实移动交互中的数据收集瓶颈。我们进一步提出了一个概念性路线图，从自我进化智能体的三个基本支柱中系统地移除人类先验知识：任务课程、结果验证和内存管理。我们验证了Darwin基础设施能够为该路线图的第一阶段提供所需的稳定性和可扩展性：在GUI领域进行策略优化。这项工作为迈向真正自主、自我进化的GUI智能体奠定了实际和理论基础。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Daniel Beechey, Derek Yuen, Jianheng Liu, Dezhao Luo, Tiantian He, Weilin Luo, Jun Wang, Kun Shao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20622.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20622

Published: 2026-06-24T01:40:54.722Z

7. Path-dependent program induction under resource constraints explains human sequence learning

Abstract:How do people build abstract, reusable knowledge from sequential experience under bounded cognitive resources? To answer this question, we integrate rate-distortion theory with recent advances in program induction to describe how prior knowledge shapes which future structures are cheap to encode and easy to discover. We formalize this in a hierarchical Adaptor Grammar (HAG) with distinct local (within-task) and global (across-task) libraries, governed jointly by constraints on memory and computation. In simulations, HAG achieves better rate-distortion trade-offs and stronger generalization than fixed grammars or shallow chunking methods. In an online melodic sequence-learning experiment, participants’ recall errors reflected systematic simplifications and reaction times increased at inferred program boundaries. Trial-by-trial fits further showed that hierarchical libraries best explained individual differences in both recall and out-of-sample continuation choices, outperforming all alternative models. These findings cast structured learning as bounded program induction in which the order of experience shapes future abstractions a learner builds.

中文摘要

摘要：人们如何在有限的认知资源下，从连续的经验中构建抽象的、可重用的知识？为了解答这个问题，我们将率失真理论与近期在程序归纳方面的进展结合起来，描述了先验知识如何影响哪些未来的结构容易编码且容易被发现。我们在分层适配器语法（HAG）中对这一点进行了形式化，其中包含不同的局部（任务内）和全局（跨任务）库，并由记忆和计算的约束共同决定。在模拟中，HAG 相比固定语法或浅层分块方法，获得了更好的率-失真权衡和更强的泛化能力。在一项在线旋律序列学习实验中，参与者的回忆错误反映了系统性的简化，且在推断出的程序边界处反应时间增加。逐次试验拟合进一步显示，分层库最能解释个体在回忆和样本外延续选择方面的差异，优于所有替代模型。这些发现将结构化学习视为有限程序归纳，其中经验顺序塑造了学习者构建的未来抽象。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决人类在认知资源受限条件下如何从序列经验中构建抽象、可复用的结构化知识这一核心问题。具体而言，论文针对以下三个相互关联的理论与实证挑战：

1. 资源约束下的程序归纳问题

标准认知模型往往假设学习者拥有无限的计算资源或固定的表征方案。本文提出，人类序列学习应被建模为资源理性的程序归纳（resource-rational program induction）——即在有限记忆容量和计算预算下，学习者如何通过发现组合式、语言般的生成程序来压缩嘈杂的感官输入，而非简单记忆表面特征。

2. 路径依赖性与动态库构建

传统率失真理论（Rate-Distortion Theory, RDT）假设编码方案固定，无法解释学习过程中的路径依赖（path-dependence）现象：早期经验会塑造哪些结构在后续学习中易于编码和发现。本文通过引入分层适配器语法（Hierarchical Adaptor Grammar, HAG），将学习形式化为动态构建可复用程序库（包括跨任务的全局库 L(glob) 和任务特定的局部库 L(loc) ）的过程，从而解释经验顺序如何影响未来抽象的形成。

3. 计算成本的显式建模

现有RDT框架仅量化存储表征的信息成本（码率），但忽视了发现表征的计算成本——在组合爆炸的程序假设空间中搜索优质候选方案所需的认知努力。本文通过引入双重约束扩展经典RDT：

记忆约束：通过参数 β 控制程序描述长度（码率）与重建精度（失真）的权衡
计算约束：通过搜索预算 λ_s （候选程序采样数）和回溯预算 λ_b （修正先前承诺的能力）限制推理过程

4. 人类序列学习的统一解释

论文进一步通过在线旋律序列学习实验验证该框架，旨在解释以下行为现象：

回忆错误为何呈现系统性简化倾向（向更易压缩的程序偏移）
反应时为何在推断的程序边界处出现选择性延长
个体学习轨迹与泛化能力如何受特定训练序列结构（跨序列相似性 vs. 序列内重复）的调节

简言之，本文试图建立一个统一的形式化框架，将结构学习重新概念化为在记忆与计算双重约束下的路径依赖程序归纳过程，其中分层程序库的累积同时降低了存储成本（通过重用）和发现成本（通过提供高质量候选提案）。

Q: 有哪些相关研究？

Authors: Hanqi Zhou, David G. Nagy, Peter Dayan, Charley M. Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20623.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20623

Published: 2026-06-24T01:40:54.722Z

8. In LLM Reasoning, there is Irrationality on top of Value Misalignment

Abstract:Significant progress has been made in aligning LLMs with target value functions. We argue that, even when an LLM has been well aligned in (post-)training, it may still fail to maximise the aligned value in reasoning. We mathematically formalise this gap as rational value risk: the utility discrepancy between a model’s deployed reasoning strategy and its rational counterpart, which is defined to be the responses that maximise expected utility in the steepest direction. The estimation error of rational value risk is further decomposed into three components from finite candidates, finite prompts, and imperfect verifiers. Extensive experiments are conducted, covering models Llama-3.1, Qwen-2.5, T{\”}ulu-3 families (7B-72B), GPT-5.2, GPT-5.5, and DeepSeek-V4, and benchmarks UltraFeedback, AlpacaEval, GSM8K, MATH, HumanEval, and MathArena. The results validate that (1) rational value risk is widespread; (2) value alignment can reduce, but cannot eliminate, it; (3) the risk is highly sensitive to inference-time reasoning strategy; and (4) longer reasoning improves rationality with diminishing returns. The code is at this https URL.

中文摘要

摘要：在将大型语言模型（LLM）与目标价值函数对齐方面已经取得了显著进展。我们提出，即使一个LLM在（后）训练中已经很好地对齐，它在推理中仍可能无法最大化对齐的价值。我们将这一差距在数学上形式化为理性价值风险：模型部署的推理策略与其理性对应策略之间的效用差异，其中理性对应策略被定义为沿陡峭方向最大化期望效用的响应。理性价值风险的估计误差进一步分解为来自有限候选、有限提示和不完美验证器的三个组成部分。我们进行了广泛的实验，涵盖了Llama-3.1、Qwen-2.5、T{“}ulu-3系列（7B-72B）、GPT-5.2、GPT-5.5和DeepSeek-V4模型，以及UltraFeedback、AlpacaEval、GSM8K、MATH、HumanEval和MathArena基准。结果验证了：(1) 理性价值风险普遍存在；(2) 价值对齐可以降低风险，但无法消除；(3) 该风险对推理时的策略高度敏感；(4) 更长的推理能够提高理性水平，但收益递减。代码地址为该https URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决大型语言模型（LLM）推理中价值对齐后的理性缺失问题。具体而言，论文识别并形式化了以下核心问题：

即使LLM在训练阶段通过监督微调（SFT）、基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）等方法实现了良好的价值对齐（value alignment），其在推理阶段仍可能无法最大化已对齐的价值函数。

论文将这一现象定义为理性价值风险（Rational Value Risk），即模型部署的推理策略与其理性对应策略（在既定价值函数下最大化期望效用的策略）之间的效用差距。该研究试图：

区分两类失败来源：将价值不对齐（value misalignment，模型学习到的价值函数本身存在偏差）与非理性推理（irrational reasoning，模型在价值函数已对齐的情况下仍无法做出最优决策）分离；
建立形式化度量：提出理性价值风险的数学定义及其在有限计算资源下的经验估计器，并分析其估计误差（包括候选近似误差、提示采样误差和验证误差）；
验证经验现象：通过覆盖开源模型（Llama-3.1、Qwen-2.5、Tülu-3系列）和闭源模型（GPT-5.2、GPT-5.5、DeepSeek-V4）的广泛实验，验证理性价值风险的普遍性、价值对齐方法的局限性、推理策略的敏感性以及推理长度对理性的边际效应递减规律。

简言之，该论文试图阐明：价值对齐训练本身并不能保证推理时的理性行为，并为此提供了一套理论框架和实证诊断工具。

Q: 有哪些相关研究？

根据论文第2节及相关内容，相关研究可分为以下三个维度：

1. 机器学习中的理性理论

该方向主要从决策理论和强化学习视角研究理性行为的形式化定义与度量：

PAC式理性：Valiant (1995) 提出了基于概率近似正确（PAC）框架的理性哲学论述，为理性计算提供复杂性理论基础。
有限理性与表示权衡：Abel (2019) 在强化学习中定义了有限理性，证明理性决策需在表示简单性与预测准确性之间权衡；Evans et al. (2025) 则通过Wasserstein约束从行为数据中建模有限理性。
理性公理化：Sunehag and Hutter (2015) 为理性强化学习智能体推导了决策理论公理体系，尽管这些公理排除了许多标准算法。
理性度量理论：Qian et al. (2026) 设计了针对强化学习智能体的理性度量指标并建立了相应的理性理论，但此类结果难以直接应用于LLM推理场景（特别是对齐后的推理阶段）。

2. 大语言模型中的理性研究

该领域主要从认知科学、决策理论和行为审计三个角度评估LLM的理性：

Authors: Kejiang Qian, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20624.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20624

Published: 2026-06-24T01:40:54.722Z

9. AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents

Abstract:LLM agents are promising for alpha mining via combining financial priors, symbolic reasoning, executable factor generation, and feedback-driven refinement. Yet, they face a combinatorial search space, noisy non-stationary feedback, redundant discoveries, and overfitting risks from naively reusing past successes. To address these challenges, we propose AlphaMemo, a self-evolving alpha mining agent with Structured Search-Process Memory. Rather than memorizing only final factors or full trajectories, AlphaMemo records reusable evidence about which edit motifs work or fail under specific parent-factor contexts. It extracts motifs from Abstract Syntax Tree (AST) differences, applies confidence-gated residual memory on top of a search-ledger prior, and uses asymmetric veto control to suppress high-confidence failure patterns. Experiments on CSI 500 and S\&P 500 show improved out-of-sample performance and fixed-budget discovery efficiency, with ablations validating the roles of residual learning, confidence gating, AST-diff motifs, and veto memory. Code is at this https URL.

中文摘要

摘要：LLM代理通过结合财务先验、符号推理、可执行因子生成和反馈驱动的优化，在α-法挖掘方面具有前景。然而，它们面临组合搜索空间、噪声非平常反馈、冗余发现以及因天真重复利用过去成功而产生的过拟合风险。为应对这些挑战，我们提出了AlphaMemo，一款具有结构化搜索-过程记忆的自我进化α挖掘代理。AlphaMemo 不仅记忆最终因素或完整轨迹，而是记录了在特定父因素上下文下哪些编辑主题有效或失败的可重复使用证据。它从抽象语法树（AST）差异中提取动机，在搜索账本先验之上应用置信门控残留记忆，并使用非对称否决控制以抑制高置信度失效模式。CSI 500和S\&P 500的实验显示，样本外表现和固定预算发现效率有所提升，消融验证了残余学习、置信门定、AST-diff基序和否决记忆的作用。代码就在这个 https URL。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Hang Yu, Zifan Zheng, Jeff Z. Pan, Tongliang Liu, Zhiyong Wang, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20625.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20625

Published: 2026-06-24T01:40:54.722Z

10. Latent Goal Prediction from Language for Model-Based Planning

Abstract:Planning with world models is bottlenecked by compounding prediction errors and the difficulty of defining optimizable goals. Visual targets provide precise local gradients but poor distant guidance, while language is flexible yet limited by noisy cross-modal alignment or dependence on large generative models unsuited for the high-sampling nature of model-based planning. To address these challenges, we introduce Latent Goal Prediction from Language (LAGO), a framework that predicts both sequences of intermediate goal states from language instructions and action-conditioned rollouts, all within the same latent space. Rather than optimizing toward a single global objective, LAGO dynamically decomposes instructions into explicitly predicted, locally tractable latent subgoals. By updating these subgoals online and using a soft minimum trajectory cost during planning, LAGO enables an agent to follow coherent latent trajectories over long horizons. Evaluation across multiple environments planning horizons shows that LAGO avoids the sharp degradation of prior methods. By achieving robust and precise long-horizon planning purely from language, LAGO bridges the precision of visual goals with the flexibility of text-guided control.

中文摘要

摘要：基于世界模型的规划受到复合预测误差以及定义可优化目标的困难的限制。视觉目标提供精确的局部梯度，但远距离导向能力差；而语言虽然灵活，却受限于噪声跨模态对齐或依赖于不适合模型预测高采样特性的庞大生成模型。为了解决这些挑战，我们提出了基于语言的潜在目标预测（LAGO）框架，该框架能够在同一潜在空间中预测语言指令和动作条件展开的中间目标状态序列。LAGO不是优化单一全局目标，而是将指令动态分解为显式预测的、局部可操作的潜在子目标。通过在线更新这些子目标并在规划过程中使用软最小轨迹成本，LAGO使智能体能够在长时间范围内遵循连贯的潜在轨迹。在多个环境的规划时间范围评估中表明，LAGO避免了先前方法的显著性能下降。通过仅依赖语言实现稳健且精确的长时程规划，LAGO将视觉目标的精确性与文本引导控制的灵活性结合起来。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决**基于世界模型的规划（Model-Based Planning）**中存在的两个核心挑战：

1. 长期规划中的复合预测误差（Compounding Prediction Errors）

世界模型在想象未来轨迹时，即使微小的潜在动态预测不准确也会随时间步累积，导致长期想象轨迹的可靠性急剧下降
现有方法通常通过增大帧跳过（frame skip）或仅评估目标在有效规划范围内的任务来回避此问题，限制了在真正长期任务上的应用

2. 目标定义的困境（Goal Specification Trade-off）

视觉目标（图像）：提供精确的局部监督信号，但在目标超出规划范围时几乎无法提供梯度指导，且复杂任务中难以获取目标图像
语言目标：提供灵活、符合人类习惯的目标指定方式，但现有方法要么依赖噪声大、高度非凸的对比式视觉-语言模型（VLMs），要么依赖计算成本高昂、不适合规划所需高频评估的大型生成模型

解决方案概述 论文提出 LAGO（Latent Goal Prediction from Language） 框架，通过以下机制解决上述问题：

将语言指令映射到世界模型自身的潜在空间中的中间子目标序列（subgoals）
在每个规划步骤在线重新预测这些子目标，将长期规划转化为一系列局部可处理的优化问题
引入软最小轨迹成本函数（soft minimum trajectory cost），使规划器能够平滑地跟随潜在轨迹，无需硬性的子目标完成检测

通过这种方式，LAGO 在保持语言指定目标的灵活性的同时，获得了接近视觉目标的规划精度，实现了鲁棒的长期规划。

Q: 有哪些相关研究？

根据论文第2节（Related Work），相关研究可分为以下三个主要方向：

1. 世界模型（World Models）

世界模型通过学习环境的紧凑预测性表征，使智能体能够通过想象而非真实交互进行推理。代表性工作包括：

DreamerV3
Hafner et al., 2025
和 TD-MPC2
Hansen et al., 2024
：展示了学习到的潜在动态结合行为学习或模型预测控制可在多样化连续控制任务中扩展
WorldGym
Quevedo et al., 2025
：将动作条件视频生成模型作为代理环境，使用视觉-语言模型作为奖励信号进行策略评估
NovaFlow
Li et al., 2025
：提出基于流的生成

Authors: Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20627.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20627

Published: 2026-06-24T01:40:54.722Z

Evaluation Domain Papers

1. On the Identifiability of User Adaptation in Co-Adaptive Neural Interfaces

中文摘要

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决协同自适应神经接口（co-adaptive neural interfaces）中用户适应机制的可识别性（identifiability）问题。

核心问题可分解为以下几个方面：

映射的非单射性：在闭环系统中，从用户策略到编码器估计的映射 M: U_t, D_t, W_t mapsto E_t 是多对一的（many-to-one）。解码器 D_t 的变化会改变状态分布，进而影响 E_t ，即使用户策略 U_t 保持不变。
观察等价性：不同的用户适应机制（如固定策略、时变策略、延迟适应等）可能产生完全相同的编码器估计序列。例如，论文构造了两个系统：一个是用户策略固定但状态分布随解码器变化，另一个是用户策略主动时变，但二者在有限窗口内的回归估计结果完全相同。
解释困境：由于缺乏可识别性，基于 E_t 的变化来推断用户内部目标函数、学习动态或适应机制的做法存在歧义。实验结果只能识别联合闭环系统的属性，而非用户孤立的适应机制。
改进方向：论文进一步探讨了如何通过引入外生扰动（persistent excitation）、潜在状态建模或延长实验时间窗等方法，来获得对用户适应机制的唯一识别。

Q: 有哪些相关研究？

基于提供的论文内容，相关研究主要涵盖以下两个方面：

1. 协同自适应神经接口的基础框架研究

Madduri et al. (2026)
2
是本文直接回应的核心研究工作。该研究提出了一个结合博弈论（game-theoretic formulation）与肌电图（EMG）控制实验的计算框架，用于研究闭环协同自适应神经接口中的人机交互。该框架探讨了解码器学习率和正则化如何影响系统性能和用户行为，并试图通过估计”编码器”（encoder）来预测和塑造人类行为。本文正是针对该研究中实验设计的可识别性局限提出理论澄清。

2. 系统识别与闭环可识别性理论

Ljung (1998)
1
是本文在讨论可识别性问题时引用的经典文献。该工作阐述了在闭环系统（closed-loop settings）中进行系统识别时，持续性激励条件（persistent excitation conditions）对保证可识别性的必要性。本文借此指出：在没有额外激励条件的闭环环境下，从观测数据到潜在系统动态的映射通常是多对一的（many-to-one），这直接构成了本文非可识别性定理的理论基础。

隐含的相关研究领域

虽然论文未明确引用其他具体文献，但从内容可推断以下相关研究方向：

神经接口中的解码器适应算法：涉及如何通过调整 D_t 来优化控制性能
人机闭环系统的博弈论建模：将用户和机器视为具有耦合目标函数的博弈参与者
线性回归在动态系统估计中的应用：特别是基于有限窗口（finite window）的在线估计方法
状态空间模型与潜变量推断：论文在结论部分提及的潜在状态建模方法（latent state formulation） z_(t+1) = f(z_t, x_t, D_t) 相关的可观测性理论

值得注意的是，本文特别强调了在闭环系统识别（closed-loop system identification）领域中，从联合系统动态中分离用户独立适应机制的普遍困难。

Q: 论文如何解决这个问题？

论文的主要贡献在于揭示并形式化该问题（即证明了用户适应机制在现有实验设计下不可识别），而非提供一个已实施的解决方案。不过，在讨论与结论部分，作者明确指出了三种可行的改进路径，以克服这一可识别性局限：

1. 引入外生扰动以产生持续性激励

通过向解码器注入独立于闭环动态的随机扰动，可以打破状态分布与解码器之间的确定性耦合，从而分离用户响应与状态分布效应。具体而言，可采用扰动解码器：
D_t = D_t + δ_t
其中 δ_t 为独立噪声。这种持续性激励（persistent excitation）能够确保回归变量 x_t 的变异不完全由 D_t 和闭环动态决定，进而使得不同的用户策略 U_t 产生不同的经验矩，最终保证映射 M 的单射性。

2. 采用潜在状态模型（Latent State Formulation）

将用户策略建模为潜在状态驱动的动态系统，而非简单的输入-输出映射：
z_(t+1) = f(z_t, x_t, D_t), quad u_t = g(z_t, x_t)
通过对状态转移函数 f 和观测函数 g 施加结构性约束（如平滑性、稀疏性或参数化形式），结合标准的可观测性条件（observability conditions），可以从输入-输出数据中唯一识别潜在状态 z_t 的演化，进而推断用户适应机制。

3. 延长实验时间 horizon

设计不频繁重新初始化解码器的长时程实验（longer horizon experiments）。这种设计允许：

分离瞬态适应成分（transient adaptation）与持续适应成分（persistent adaptation）
累积足够的统计信息以区分不同的用户模型（如固定策略 vs. 时变策略）
减少对有限窗口 W_t 内样本的依赖，从而缓解方程 (6) 中的共线性问题

总结

这些改进旨在将识别目标从联合闭环轨迹（joint co-adaptive trajectories）提升到底层用户适应机制（underlying user adaptation mechanism）。需要强调的是，这些均为方法论建议，而非已在原文
2
中实现的解决方案。

Q: 论文做了哪些实验？

这篇论文本身并未进行任何实验，而是一篇理论分析与评论性的工作。其贡献在于通过数学构造和形式化证明，揭示并分析现有实验框架中的可识别性局限。

具体而言：

1. 分析对象

论文针对的是 Madduri et al.
2 已发表的实验与理论框架。该框架包含：

肌电图（EMG）控制实验：人类用户通过肌肉电信号控制光标运动
协同自适应设置：机器解码器（decoder） D_t 随时间更新，用户同步适应
编码器估计：通过有限窗口 W_t 内的线性回归估计用户”编码器” E_t

2. 本文采用的研究方法

本文通过理论构造（proof by construction）而非实验数据来论证观点：

构造对比系统（System A vs. System B）：
System A：假设用户策略固定（ u_t = E^star x_t ），仅状态分布随解码器变化
System B：假设用户策略时变（ u_t = (E^star + Delta_t) x_t ），通过精心设计的扰动 Delta_t 使得在有限样本窗口内产生与 System A 完全相同的经验矩
形式化证明：通过定理 1（Non-identifiability Theorem）严格证明映射 M: U_t mapsto E_t 的非单射性（non-injectivity）

3. 建议的未来实验改进

虽然本文未实施新实验，但在结论部分提出了三种可解决可识别性问题的实验设计改进方案：

引入外生随机扰动（ D_t = D_t + δ_t ）以产生持续性激励
采用潜在状态空间模型（latent state formulation）结合可观测性约束
设计长时程实验（longer horizon）以区分瞬态与持续适应成分

简言之，该论文的价值在于理论诊断而非实证数据收集。

Q: 有什么可以进一步探索的点？

基于该论文的理论分析，以下方向值得进一步探索：

1. 实验设计优化

随机化探针注入策略：系统性研究不同统计特性的外生噪声 δ_t （如白噪声、伪随机二进制序列、chirp信号）对可识别性的影响，优化扰动幅度与频率以避免干扰任务性能的同时保证持续性激励条件（persistent excitation）。
自适应窗口机制：开发动态调整估计窗口 W_t 长度的方法，在统计精度（长窗口）与跟踪速度（短窗口）之间取得平衡，以更好地区分瞬态适应与稳态策略。
解码器重新初始化协议：设计非均匀时间间隔的解码器更新策略，通过故意引入”中断”（interruptions）来打破闭环系统的相关性结构，从而分离用户适应与状态分布演化。

2. 模型结构与识别方法

结构化潜在状态模型：探索具有物理或生理意义的潜在状态动态约束（如 f 和 g 的平滑性、稀疏性、或受神经可塑性原理启发的参数化形式），结合观测器设计理论（observer design theory）实现用户内部状态的在线估计。
非线性系统扩展：将当前线性框架（ y_t = D_t u_t ）扩展至非线性解码器与用户策略，研究在何种几何条件下（如流形上的持久激励）仍能保证局部或全局可识别性。
延迟与部分观测：显式建模神经接口中常见的信号延迟（delayed adaptation rules）和潜在变量（latent cognitive states），分析部分观测下用户目标函数的集合成员辨识（set-membership identification）而非点估计。

3. 统计与计算理论

有限样本分析：量化窗口大小 |W_t| 、系统噪声 ε_t 水平与识别误差下界之间的基本权衡关系，建立样本复杂度界限。
因果推断框架：引入工具变量（instrumental variables）或双重机器学习（double machine learning）方法，处理由闭环动态引起的混杂因子（confounding），以识别用户策略的因果效应。
假设检验范式：开发统计检验方法以区分观察等价类中的不同用户模型（如检验 H_0: U_t 固定 vs. H_1: U_t 时变），而非仅进行点估计。

4. 跨领域验证

多模态神经接口：在脑机接口（BCI）、肌电接口（EMG）及混合模态系统中验证可识别性条件的普适性，探索不同生理信号带宽对所需激励水平的影响。
用户异质性建模：研究不同用户群体（如运动障碍患者 vs. 健康受试者）的适应动态差异，开发能够识别个性化适应机制 U_t^((i)) 的层级贝叶斯框架。

Q: 总结一下论文的主要内容

该论文针对协同自适应神经接口（co-adaptive neural interfaces）中的用户适应机制识别问题，提出了关于**可识别性（identifiability）**的理论分析。主要内容可概括如下：

1. 研究背景与核心论点

论文建立在 Madduri 等人
2
近期工作的基础上——该研究提出了结合博弈论与肌电图（EMG）控制的协同自适应神经接口框架，通过线性回归估计”编码器”（encoder） E_t 来捕捉用户行为。然而，本文指出该框架存在一个关键局限：虽然实验设计能够识别联合闭环系统动态，但无法唯一识别用户侧的潜在适应机制。

2. 系统模型与估计问题

论文建立了闭环系统的数学描述：

解码器（机器侧）： y_t = D_t u_t ，其中 D_t ∈ R^(k × m) 将用户运动输出 u_t 映射为光标速度 y_t
用户策略（潜在）： u_t = U_t(x_t, xi_t) ，其中 x_t 为任务状态， xi_t 为内部噪声或潜状态
编码器估计（观测）：通过有限窗口 Wt 内的最小二乘回归估计
E_t = argmin_E ∑(s ∈ W_t) |u_s - Ex_s|^2

3. 可识别性局限的形式化

核心问题在于映射 M: U_t, D_t, W_t mapsto E_t 的非单射性（non-injectivity）：

在闭环系统中，解码器 D_t 的变化会改变状态分布 x_t ，进而影响 E_t 的估计
因此， E_t 的变异可能源于用户策略 U_t 的变化，也可能仅由闭环状态分布的漂移导致

4. 非可识别性定理（Theorem 1）

在以下条件下：

解码器序列 D_t 时变
任务状态按 x_(t+1) = F_t(x_t, D_t, U_t) + ε_t 演化
编码器基于有限样本估计

结论：映射 M: U_t mapsto E_t 不是单射。即存在不同的用户策略序列 U_t 和 U_t 产生相同的编码器估计序列。

构造性证明：

System A：固定用户策略 u_t = E^star x_t ，状态分布随 D_t 变化
System B：时变策略 ut = (E^star + Delta_t)x_t ，其中扰动 Delta_t 满足 ∑(s ∈ Wt) u_s x_s^top = E^star ∑(s ∈ W_t) x_s x_s^top （在有限样本或共线性条件下可实现）

两系统产生完全相同的 E_t 估计，故无法区分固定策略与特定形式的时变适应。

5. 解释限制与改进建议

解释限制：基于 E_t 推断用户内部目标函数、学习动态或适应机制存在根本歧义。实验结果仅反映联合系统属性，而非孤立的用户适应规律。

解决方案（结论部分提出）：

引入外生扰动：使用扰动解码器 D_t = D_t + δ_t （ δ_t 为独立噪声）产生持续性激励，打破闭环相关性
潜在状态建模：采用 z_(t+1) = f(z_t, x_t, D_t), u_t = g(z_t, x_t) 结构，结合可观测性约束识别潜状态动态
长时程实验：避免频繁重新初始化解码器，以分离瞬态与持续适应成分

简言之，该论文通过理论证明揭示了现有协同自适应神经接口实验设计在识别用户适应机制方面的根本局限，并指出了通向唯一识别的可能路径。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Philip Waggoner

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20569.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20569

Published: 2026-06-24T01:52:38.374Z

2. Beyond Fixed Budgets: Characterizing the Inelasticity and Limitations of Tree-of-Thought Reasoning Strategies

中文摘要

摘要：思维树（Tree of Thought, ToT）搜索已经成为提升大型语言模型推理能力的有希望方向，但在实际部署这些方法时提出了一个很少受到系统性关注的问题：在不同的计算预算、模型规模和问题难度下，不同的搜索策略表现如何？在这项工作中，我们评估了两种代表性的ToT方法：DPTS，一种基于蒙特卡罗树搜索的方法；以及SSDP，一种基于语义去重的方法，分别在两个数学推理基准（Math500和GSM8K）、两种模型规模（Llama-3B和Llama-8B）以及四种令牌预算（3k–10k）下进行测试。我们的分析显示，这两种方法存在相互相反的局限性。DPTS在低预算下存在冷启动瓶颈：它在其价值估计变得可靠之前，需要进行足够的探索，因此尽管在高预算下有较强的扩展性，但在资源有限的情况下表现不佳。另一方面，SSDP能够高效地找到候选解，但容易出现前沿耗尽问题；其激进的节点合并会永久丢弃未探索的路径，使其无法再继续改进，无论剩余预算有多少。综合来看，这些发现表明，无论是固定的探索策略还是固定的剪枝策略，在整个计算连续体上都不足以应对挑战。我们认为，有效的科学推理代理搜索需要能够根据搜索进展和可用资源灵活调整行为的策略。

LLM Analysis

Q: 这篇论文试图解决什么问题？

具体而言，论文针对以下关键子问题展开研究：

1. 固定策略与动态资源约束之间的根本性错配

在某一预算范围内表现良好的方法在另一范围内可能崩溃
额外的计算资源往往无法转化为成比例的性能提升

2. 系统性评估ToT策略在计算连续体上的行为动态

候选解首次出现的时间点
搜索终止的原因（预算耗尽 vs. 前沿枯竭 vs. 早停）
额外token如何被转换为更深或更广的探索

3. 揭示两种代表性范式的结构性局限

通过对比分析两种处于设计谱系两端的ToT方法，论文识别出相互对立的局限性：

DPTS（MCTS-based）的冷启动瓶颈：
在统计上依赖初始采样量来稳定价值估计，在 3k token预算下，对Math500数据集的问题仅有 26% - 29.4% 的可达率（reachability），即高达 74% 的问题无法生成任何候选解。这种”预热成本”在资源受限环境中是不可接受的，尽管其在高预算下表现出良好的扩展性。
SSDP（语义剪枝）的前沿枯竭：
通过激进的节点合并（相似度阈值 τ = 0.75 ）实现快速首解可达，但会永久丢弃未探索路径。一旦前沿（frontier）耗尽，无论剩余预算如何增加（从 3k 到 10k ），准确率均无法提升，导致预算弹性（budget elasticity）丧失。

4. 为自适应ToT设计提供理论依据

基于上述局限性的诊断，论文论证了单一固定策略（无论是探索主导还是剪枝主导）都不足以覆盖整个计算连续体。因此，亟需能够根据搜索进度和剩余资源动态调整行为的新一代ToT引擎，具体包括：

在搜索初期采用剪枝友好策略以摊销MCTS的冷启动成本
根据剩余预算、搜索进度、模型规模和观察到的嵌入几何动态调整剪枝激进程度（如动态调整 τ ）
利用候选可达性、终止原因和分配-利用率差距等指标作为反馈信号进行自适应控制

简言之，该工作通过打开ToT搜索的”黑箱”，量化了固定策略在弹性计算环境中的非弹性（inelasticity），并为开发资源自适应的科学推理智能体奠定了实证基础。

Q: 有哪些相关研究？

根据论文第2节（Related Work），相关研究可归纳为以下四个脉络：

1. 从思维链（CoT）到思维树（ToT）的演进

Chain-of-Thought (CoT) Prompting
3
：通过显式生成中间推理步骤提升算术与符号推理能力，但缺乏对推理过程的显式结构控制。
Self-Consistency Decoding
25
：通过采样并聚合多条扁平推理路径扩展CoT，但仍无显式搜索结构。
Tree-of-Thought (ToT)
29
：将推理重新框架化为对潜在推理轨迹的搜索，节点编码部分推理状态，边对应模型生成的扩展，支持应用经典搜索策略（如BFS、DFS、启发式束搜索
24
等）。

2. 基于蒙特卡洛树搜索（MCTS）的ToT方法

该类方法通过迭代式rollout和价值反向传播平衡探索与利用，但普遍存在非平凡的初始采样量依赖（即冷启动问题）：

DPTS
7
：动态并行树搜索，通过动态停止与门控策略管理计算分配，但需足够rollout才能使价值估计可靠。
SC-MCTS*
9
：引入对比奖励模型、推测解码及改进的UCT选择与反向传播。
RethinkMCTS
17
：通过修正错误思维来优化MCTS。
CMCTS
18
：针对数学推理的约束MCTS框架。
AlphaZero-like Tree-Search
21
：借鉴AlphaZero的搜索机制指导LLM解码与训练。
Xie et al.
26
：通过迭代偏好学习增强MCTS推理。
其他应用：MCTS-KBQA
27
（知识库问答）、Mulberry
28
（多模态LLM推理）。

共同局限：在固定分支因子下，所需rollout数量随树深度增长，导致在紧token预算下出现启动瓶颈。

3. 基于剪枝的ToT方法

该类方法通过剪枝搜索空间降低token成本，但激进剪枝可能崩溃推理空间多样性：

FETCH
23
：通过嵌入相似度聚类语义等价状态，稳定验证器以减少欠探索。
SSDP
15
：在线动态合并相似推理路径（本文重点对比方法）。
MITS
16
：通过点互信息评分步骤，结合基于熵的动态采样束搜索。
LiteSearch
22
：动态探索预算的高效树搜索。
其他：早期启发式过滤
22
、束搜索式截断
13
。

共同局限：积极合并会永久丢弃未探索路径，导致前沿枯竭（frontier depletion），一旦剪枝过度，额外计算无法恢复被丢弃的候选解。

4. 自适应搜索与本文填补的空白

自适应在线算法
8, 32
：机器学习社区已认识到固定算法选择在分布偏移或问题条件变化时会失效（如基于梯度方差调整学习率），但ToT搜索领域缺乏类似系统性研究。
现有空白：虽有研究孤立地观察到启动瓶颈或剪枝问题，但缺乏在统一框架下对代表性方法（MCTS vs. 语义剪枝）进行跨预算、跨模型规模的系统性对比分析。

本文定位：通过对比DPTS（MCTS代表）与SSDP（语义剪枝代表），量化二者在计算连续体上的结构性局限（冷启动 vs. 前沿枯竭），论证固定策略无法满足弹性计算基础设施需求，为开发基于搜索进度和剩余资源动态调整的自适应ToT策略提供实证依据。

Q: 论文如何解决这个问题？

论文并未直接提出一个具体的全新ToT算法来“解决”这些局限性，而是通过系统性的实证诊断来暴露问题本质，并据此提出自适应ToT设计的具体需求与未来研究方向。具体而言，论文的“解决”路径体现在以下三个层面：

1. 问题表征：通过精细化指标暴露结构性瓶颈

为超越传统准确率指标的黑箱局限，论文设计了三个关键探针（probes），将“固定策略在弹性资源环境下的失效”转化为可量化的现象：

候选可达率（Candidate Reachability）：区分“搜索无法产生任何候选解”（DPTS的冷启动）与“产生候选解但错误”（SSDP的前沿枯竭），从而隔离冷启动阶段。
终止原因分析（Termination Cause）：区分“预算耗尽（Budget Exhausted）”与“前沿枯竭（Frontier Depletion）”，明确SSDP的结构性天花板与DPTS的资源约束差异。
分配-利用率差距（Allocation-vs-Utilization Gap）：量化预算非弹性（inelasticity），如SSDP在 3k 至 10k 预算下平均token使用始终停滞在约 2k ，而DPTS的利用率随预算线性增长但存在冷启动沉没成本。

2. 诊断结论：论证固定策略的根本性不足

通过对比实验，论文证明单一固定策略无法覆盖计算连续体：

DPTS（固定探索策略）：在低预算时因价值估计噪声导致可达率崩溃（Math500上仅 26% - 29% ），但在高预算下具有良好的扩展性。
SSDP（固定剪枝策略）：通过激进合并（ τ=0.75 ）实现快速首解，但永久丢弃未探索路径，导致无论预算如何增加均无法突破准确率 plateau。

这一诊断直接否定了“设计时确定单一策略”的范式，论证了必须根据推理时的搜索状态动态调整行为。

3. 提出自适应设计需求（解决方案方向）

基于上述诊断，论文在第5节（Conclusions）中明确提出下一代灵活ToT引擎的具体设计要求，作为未来研究的解决路径：

预算感知调度（Budget-Aware Scheduling）：
初始阶段采用剪枝友好模式（如SSDP风格）以快速摊销MCTS的冷启动成本，确保早期候选可达率。
后期根据剩余预算动态调整策略。
动态剪枝激进性控制：
将SSDP的固定相似度阈值 τ 变为可调整参数，根据剩余预算、搜索进度、模型规模及观察到的嵌入几何（embedding geometry）实时膨胀或收缩剪枝强度。例如，在小模型（嵌入空间更紧凑）时自动放宽 τ 以避免过度合并。
反馈信号闭环：
使用本文提出的三大指标（候选可达率、终止原因、分配-利用率差距）作为自适应策略的实时反馈信号，实现**推理时（inference-time）**的策略切换。

简言之，论文通过“解剖”现有方法的失效模式，为资源自适应的ToT策略奠定了理论基础，指明未来工作应开发能够根据“当前搜索进度+剩余资源”在探索与剪枝之间动态切换的混合策略，而非在设计时承诺单一行为模式。

Q: 论文做了哪些实验？

论文通过系统性对比实验对两种代表性ToT方法（DPTS与SSDP）进行了全面对比，实验设计涵盖不同计算预算、模型规模和问题难度。具体实验内容如下：

1. 实验配置

硬件平台

ALCF Polaris超级计算机
1
：560个计算节点，每节点配备2.8 GHz 32核AMD EPYC Milan CPU、512 GB DDR4内存、4×NVIDIA A100 GPU，共享10 TB Lustre并行文件系统。实验最多使用64个计算节点。

数据集

GSM8K
6
：1,319个基础多步算术问题，作为高可达率基线（推理深度3-8步）。
Math500
10
：500个跨难度数学问题，需更深推理轨迹（4-16步）和精确逐步验证。

模型与约束

模型规模：Llama-3.2-3B 与 Llama-3.1-8B，用于观测模型规模与搜索动态的交互作用。
Token预算：每问题强制限制为 3k, 5k, 8k, 10k 输出token，在每轮批量扩展后检查预算。

2. 对比方法

方法	类型	关键参数	策略特征
DPTS [7]	MCTS-based	树宽度 =4 ，最大深度 =16 ，质量门控 t^*=5	动态停止与门控：前 t^* 个终端解前自由探索，之后仅扩展奖励严格超过当前最优的节点
SSDP [15]	语义剪枝	相似度阈值 τ = 0.75	动态合并：新节点嵌入与兄弟节点余弦相似度超过 τ 时合并，永久丢弃被合并节点的未探索子节点

3. 观测指标（Instrumentation）

论文设计了四类探针以暴露内部搜索动态：

最终准确率（Final Accuracy）：搜索产生正确答案的比例。
候选可达率（Candidate Reachability）：在预算内生成至少一个终端候选解（无论对错）的问题比例，用于隔离冷启动阶段。
Token利用率（Token Utilization）：实际生成token数与分配预算的比值，量化预算弹性。
终止原因（Termination Cause）：分为三类：
预算耗尽（Budget Exhausted）：达到token上限
早停（Early Stop）：方法内部门控决定停止（如DPTS找到满意解）
前沿枯竭（Frontier Depletion）：无可扩展节点剩余（SSDP特有）

4. 主要实验结果

表1：搜索可达率（跨预算对比）

展示不同预算下生成至少一个候选解的问题百分比：

DPTS冷启动瓶颈：在Math500上， 3k 预算时可达率仅 26.0% （Llama-8B）和 29.4% （Llama-3B），即高达 74% 问题无法生成任何候选解；随预算增至 10k ，可达率提升至 68.8% - 71.2% 。
SSDP快速启动：同期可达率为 67.4% - 68.8% ，是DPTS的两倍以上。

图1：准确率与Token利用率

展示预算-准确率关系及实际token消耗：

DPTS：准确率随预算单调递增（Math500上从 23.4% 升至 45.5% ），平均token使用量随预算线性增长（从约 4k 增至 8 - 9k ）。
SSDP：准确率早期领先但迅速饱和；token利用率停滞在约 2k ，无论分配 3k 还是 10k 预算均无法有效消耗额外资源。

图2：终止原因分布

展示不同预算下三种终止原因的柱状图：

DPTS：终止主要由预算耗尽和早停主导，说明其受限于可用计算资源。
SSDP：在GSM8K上，前沿枯竭占主导（ 3k 预算时1,308/1,319问题），且随预算增加几乎不变，证明其结构性无法利用额外计算。

模型规模效应

DPTS：在GSM8K上，Llama-8B的 3k 预算可达率（ 67.4% ）显著高于Llama-3B（ 50.0% ），反映模型能力对MCTS价值估计质量的影响。
SSDP：在GSM8K上，Llama-3B配置下准确率崩溃至 23.73% （远低于Llama-8B的 56.56% ），归因于小模型嵌入空间更紧凑，导致固定阈值 τ=0.75 过度剪枝（嵌入几何差异）。

5. 关键发现总结

实验揭示了两种对立的结构性局限：

DPTS：需要足够探索才能稳定价值估计，在低预算下存在严重冷启动瓶颈。
SSDP：通过激进合并实现高效早期探索，但导致前沿永久性枯竭，无法通过增加预算恢复。

这些发现证明了固定策略（无论探索主导还是剪枝主导）均无法在动态预算环境下实现有效资源转换，为自适应ToT设计提供了实证依据。

Q: 有什么可以进一步探索的点？

基于论文第5节（Conclusions）及前文分析，以下方向值得进一步探索：

1. 自适应预算感知ToT策略设计

论文诊断指出，固定策略（无论探索主导或剪枝主导）均无法在计算连续体上保持弹性。未来工作应开发推理时自适应机制：

动态策略切换：设计可在搜索过程中从”剪枝模式”（如SSDP）切换到”探索模式”（如DPTS）的混合策略，初期快速摊销冷启动成本，后期利用剩余预算深度优化。
参数自适应：将SSDP的固定相似度阈值 τ 转化为动态变量，根据剩余预算、已观察到的嵌入几何（embedding geometry）及当前前沿多样性实时调整剪枝激进性。
预算感知调度器：开发显式考虑剩余token预算的搜索控制器，而非仅依赖固定超参数（如DPTS的 t^* ）。

2. 跨基准与跨领域的系统性验证

当前实验仅覆盖数学推理（Math500与GSM8K）。需扩展至：

其他科学领域：如代码生成、符号数学、物理感知决策等，验证冷启动瓶颈与前沿枯竭是否跨领域存在。
更细粒度的问题难度分层：分析推理深度、分支因子及奖励稀疏度如何调节两种局限性的严重程度。

3. 嵌入空间几何与剪枝策略的协同优化

论文发现SSDP在不同模型规模（Llama-3B vs 8B）上表现差异显著，归因于嵌入空间紧密度差异。未来可研究：

模型感知的阈值调整：根据当前模型的嵌入分布特性（如维度、聚类结构）自动校准 τ ，避免小模型下的过度合并。
上下文相关的语义相似度：开发考虑推理步骤上下文而非常局嵌入相似度的更精细剪枝准则。

4. 反馈驱动的计算资源分配

利用本文提出的诊断指标（候选可达率、终止原因、分配-利用率差距）构建闭环控制系统：

早期预警机制：当检测到可达率停滞或前沿即将枯竭时，触发策略调整（如暂时禁用剪枝或增加探索宽度）。
在线预算重分配：在多查询或批处理场景下，根据各问题的实时搜索动态（如是否已找到候选解）动态重分配token预算。

5. 其他ToT范式的局限性剖析

论文聚焦于MCTS（DPTS）与语义剪枝（SSDP）两个极端，需对其他代表性策略进行类似”解剖”：

基于信息论的剪枝（如MITS
16
）：检验其互信息评分是否同样导致前沿枯竭。
对比学习增强的MCTS（如SC-MCTS*
9
）：验证其改进的UCT选择是否能缓解冷启动瓶颈。
推测解码（Speculative Decoding）与ToT的结合：评估速度优化策略对搜索动态的影响。

6. 理论刻画搜索动态与预算-准确率关系

建立形式化模型描述：

冷启动阶段的样本复杂度下界（与树深度、分支因子的关系）。
剪枝导致的前沿枯竭与图连通性损失的定量关系。
最优预算分配的理论边界（在给定总预算下，探索与利用的最优权衡）。

7. 异构基础设施上的弹性部署

针对论文强调的灵活科学计算环境（多租户集群、云爆发），研究：

抢占式计算下的检查点与恢复：当GPU资源被抢占时，如何保存搜索状态以便在资源恢复后继续而非重启。
分布式ToT搜索：在多个计算节点间并行化树搜索，同时处理节点间通信成本与剪枝决策的协调性。

Q: 总结一下论文的主要内容

该论文系统性地剖析了思维树（Tree-of-Thought, ToT）推理策略在动态计算预算下的行为特征，揭示了固定算法策略与弹性资源环境之间的根本性矛盾，并为下一代自适应推理引擎提供了设计依据。核心内容可概括如下：

1. 研究背景与动机

随着大型语言模型（LLMs）在科学工作流中的广泛应用，推理时扩展（inference-time scaling）通过ToT搜索探索多条推理轨迹已成为提升复杂任务性能的关键范式。然而，现有ToT方法多采用设计时固定的算法策略（如固定的MCTS rollout次数或固定的语义相似度剪枝阈值），无法适应灵活科学计算基础设施（如多租户集群、弹性云环境）中高度可变、异构的每查询token预算。这种刚性导致方法在某一预算 regime 表现优异，在另一 regime 却可能完全失效，且额外计算资源往往无法转化为成比例的性能提升。

2. 核心研究问题

论文旨在回答：代表性的ToT策略（探索主导 vs. 剪枝主导）如何在计算预算连续体（ 3k 至 10k tokens）上实际遍历思维树？具体关注：

候选解首次出现的时机（可达性）
搜索终止的根本原因（预算耗尽 vs. 前沿枯竭）
预算分配与实际利用率之间的差距（弹性）

3. 实验方法论

通过统一的评估框架对两种处于设计谱系两端的方法进行控制变量对比：

DPTS（Dynamic Parallel Tree Search）：基于蒙特卡洛树搜索（MCTS），通过迭代rollout和价值反向传播平衡探索与利用，依赖质量门控超参数 t^*=5 。
SSDP（Semantic Similarity Dynamic Pruning）：基于语义相似度的剪枝方法，通过固定阈值 τ = 0.75 动态合并相似节点以节约token。

实验覆盖两个数学推理基准（Math500与GSM8K，分别代表深/浅推理深度）、两个模型规模（Llama-3.2-3B与Llama-3.1-8B）及四个token预算等级（ 3k, 5k, 8k, 10k ）。通过植入探针，测量候选可达率（产生任何终端解的问题比例）、终止原因分布（预算耗尽/早停/前沿枯竭）及token利用率（实际消耗/分配预算）。

4. 关键发现：两种对立的结构性局限

实验揭示了固定策略的非弹性（inelasticity），表现为两种互为镜像的瓶颈：

DPTS的冷启动瓶颈（Cold-Start Bottleneck）：
在统计上依赖初始采样量稳定价值估计。在 3k token预算下，对Math500的候选可达率仅 26% - 29% （即高达 74% 的问题无法生成任何候选解），随预算增至 10k 才提升至约 70% 。这种”预热成本”使其在资源受限环境中完全失效，尽管在高预算下表现出良好的准确率扩展性（从 23.4% 升至 45.5% ）。
SSDP的前沿枯竭（Frontier Depletion）：
通过激进节点合并实现快速首解可达（ 3k 预算下可达率 67% -$ 68.8% ），但会永久丢弃被合并节点的未探索子路径。一旦搜索前沿耗尽，无论预算如何增加（从 3k 到 10k ），准确率均无法突破平台期，且token利用率停滞在约 2k （预算非弹性）。在小模型（Llama-3B）上尤为严重，因嵌入空间更紧凑导致过度剪枝。

5. 结论与设计启示

论文论证了单一固定策略（无论探索主导或剪枝主导）均不足以覆盖整个计算连续体。DPTS擅长在有足够预算时改进解，但无法廉价地获得首个解；SSDP能廉价获得首个解，但无法继续改进。这要求下一代ToT引擎具备自适应能力：

预算感知调度：初期采用剪枝友好模式摊销冷启动成本，后期根据剩余预算动态调整。
动态剪枝控制：将固定相似度阈值 τ 转化为根据模型规模、嵌入几何和搜索进度实时调整的变量。
反馈驱动控制：利用候选可达率、终止原因和利用率差距作为实时信号，在推理时（inference-time）切换探索与剪枝 regime。

该工作为构建能在异构、弹性基础设施上高效运行的科学推理智能体奠定了实证基础。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Atkia Mahila, Avinash Maurya, M. Mustafa Rafique, Bogdan Nicolae

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20599.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20599

Published: 2026-06-24T01:52:38.374Z

3. The New Associationism: Lessons from Deep Learning

中文摘要

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在探讨现代人工智能（特别是深度学习）的成功能为人类学习机制的研究提供何种启示。

具体而言，论文试图解决以下几个核心问题：

1. 从AI学习中提炼人类学习的普遍原则 论文探讨如果将AI系统视为人类学习的有效模型，那么哪些功能层面的特征是生物大脑需要共享的。核心发现是：监督学习（supervised learning）——即通过评估性反馈驱动的学习——构成了当代AI系统（从大型语言模型到游戏智能体）的底层统一机制，尽管这些系统在表面看来差异巨大。

2. 为联想主义（Associationism）辩护并界定其限度 论文试图回应一个长期存在的认知科学争论：联想主义（认为学习是通过经验形成和调整联想的过程）是否足以解释人类认知能力。通过分析深度学习的成功，论文论证：

辩护方面：监督学习的广泛成功证实了一种”温和但真实的联想主义”——即存在一种统一的、渐进的、由错误驱动的学习机制跨领域运作，这反驳了过去认为联想主义机制过于有限、无法解释结构化思维和人类认知能力的批评。
限度方面：同时指出，深度学习的成功依赖于远超经典联想主义者设想的计算架构（如Transformer、CNN、扩散模型等），监督学习只是这些复杂架构中的一个组成部分，而非学习的完整解释。

3. 澄清学习机制的层次 论文区分了不同解释层次：

实现层面（mechanistic level）：具体的神经网络架构（如反向传播、深度网络结构）
计算/功能层面（computational level）：监督学习作为一般性的问题解决框架

论文主张，即使AI与生物大脑在实现细节上存在显著差异（如训练数据量、算法实现方式），但在功能层面上，AI中监督学习的普遍性为人类学习提供了一种”概念验证”（proof of concept）：即单一的、基于错误修正的统计学习机制可以在多个认知领域（语言、视觉、策略推理）中实现复杂能力。

4. 调和不同学习范式 论文试图展示：表面上多样的AI学习范式（如语言建模中的自监督学习、图像生成中的扩散模型、强化学习中的价值预测）实际上都可以被理解为监督学习的变体，其差异主要在于生成评估信号所需的中间工作量不同，而非核心学习机制的本质差异。这支持了认知科学中关于学习机制统一性的理论诉求。

Q: 有哪些相关研究？

这篇论文引用了多个领域的相关研究，可分为以下几个主题类别：

1. 连接主义与深度学习基础

McClelland, Rumelhart & Hinton (1986)：并行分布式处理（PDP）的经典宣言，论文引用以说明早期连接主义者对神经网络改变认知科学范式的期望。
LeCun, Bengio & Hinton (2015)：发表于Nature的深度学习综述，奠定了当代AI的技术基础。
LeCun et al. (1998)：卷积神经网络（CNN）在文档识别中的应用，展示了特定架构（局部连接、权重共享）对视觉学习的重要性。

2. 对连接主义的批评与辩护

Fodor & Pylyshyn (1988)：经典批评，认为连接主义的”统计建模”无法解释认知的系统性、组合性特征，是论文所要回应的主要哲学对手。
Pinker & Prince (1988)：对连接主义语言习得模型的批评，质疑其处理语言规则的能力。
Carruthers (2002)：代表了对连接主义的怀疑态度，认为其仅限于模式识别，无法解释结构化思维和一次性学习（one-shot learning）。

3. 机器学习理论

Bishop (2006) 与 Hastie, Tibshirani & Friedman (2009)：机器学习教材，用于说明监督学习在机器学习中的主导地位及梯度下降等技术细节。
Sutton & Barto (2018)：《强化学习导论》，详细阐述了时序差分学习（TD learning）如何将强化学习转化为预测问题，以及强化学习与联想主义心理学的历史联系。

4. 联想主义心理学

Rescorla & Wagner (1972)：经典条件反射的误差修正模型（Rescorla-Wagner模型），论文强调其与梯度下降学习的同构性。
Rescorla (1988)：对巴甫洛夫条件反射的重新阐释，指出条件反射涉及复杂的关系学习而非简单的刺激-反应联结。
Shanks (1995)：《联想学习心理学》，当代认知联想主义的代表。
Thorndike (1911) 与 Skinner (1953)：经典联想主义/行为主义传统，主张学习定律的跨领域统一性。
Heyes (2018)：《认知工具》，从文化进化角度讨论联想学习。

5. AI架构与算法创新

Vaswani et al. (2017)：”Attention is All You Need”，提出Transformer架构，论文用此说明当代AI成功依赖于超越经典联想主义的复杂架构。
Sohl-Dickstein et al. (2015)：扩散模型（diffusion models）的开创性论文，展示了如何通过去噪任务将图像生成转化为监督学习问题。
Mnih et al. (2013) 与 Silver et al. (2017)：DeepMind的深度强化学习工作（Atari游戏、AlphaGo），展示了如何将策略学习转化为价值预测（监督学习）。
Tesauro (1994)：TD-Gammon，将时序差分学习应用于双陆棋的早期神经网络系统。

6. 认知科学与哲学

Carey (2004, 2009) 与 Spelke (2022)：认知发展研究，代表”温和的先天论”立场，强调学习的中心地位但同时承认领域特异性归纳偏向。
Fodor (1975)：《思维语言》，捍卫先天论和符号计算，认为没有可行的学习理论（”柏拉图问题”）。
Margolis & Laurence (2011, 2013)：概念习得与先天论辩护。
Buckner (2023)：《从深度学习到理性机器》，探讨AI对经验主义哲学的支持，但论文与之区分，强调机制的领域通用性不等于整体系统的领域通用性。

7. 神经科学与预测加工

Clark (2013) 与 Hohwy (2013)：预测加工理论（predictive processing），提出大脑通过最小化预测误差进行自监督学习，与论文论证的”自然中的监督学习”结构相呼应。
Schultz, Dayan & Montague (1997)：多巴胺信号与奖励预测误差，建立了生物神经机制与时序差分学习的联系。
Heyes, Chater & Dwyer (2020)：讨论”外围鲍德温效应”，认为进化产生的领域特异性适应集中于外围认知过程（感知、注意、动机），而中心学习机制保持领域通用性。

8. 计算与认知架构

Marr (1982)：《视觉》，提供了计算层次分析的框架（计算层、算法层、实现层），论文采用其计算层视角分析AI。
Bechtel (1988)：连接主义与心灵哲学，描述了连接主义在机制层面的特征（单元、激活、加权连接）。
Smolensky et al. (2022)：神经组合计算（Neurocompositional computing），强调CNN和Transformer等架构的组合结构对其成功至关重要。

Q: 论文如何解决这个问题？

论文通过以下策略解决核心问题：

1. 采用功能层次分析（Computational-Level Analysis）

为避免陷入实现细节争议（如反向传播是否具有生物学对应、Transformer是否类似于大脑结构），论文采纳Marr (1982)的计算层次框架，聚焦于AI系统的功能逻辑而非具体机制：

不追问”人类大脑是否实现了Transformer或CNN”
转而分析”人类学习是否共享AI中监督学习的抽象结构“——即通过评估信号（evaluative feedback）进行渐进式、误差驱动的参数调整

这使得AI与生物大脑的类比更具鲁棒性，因为即使实现方式不同（如AI使用反向传播，大脑可能使用其他算法），只要功能层面的学习逻辑相似，模型即具有启发价值。

2. 重构AI多样范式为监督学习谱系

论文的核心技术性论证是：表面差异巨大的AI系统实际上都可被理解为监督学习的变体，其区别仅在于生成监督信号所需的中间工作量：

近端案例（自监督学习）：语言模型（LLM）通过”预测被遮盖的词”训练，标签直接从原始文本自动生成
中端案例（重构目标）：扩散模型（diffusion models）通过”预测噪声”训练，将图像生成转化为去噪监督问题
远端案例（强化学习中的监督）：游戏AI（如AlphaGo）通过时序差分学习（TD learning）将稀疏的赢/输信号转化为连续的价值预测监督问题

通过展示这些突破依赖于将复杂问题重构为可处理的监督学习问题，论文论证了监督学习的解释力远超其表面定义（人工标注数据）。

3. 建立与联想主义的同构映射

论文将深度学习机制与联想主义传统进行系统对比，识别出三个关键对应关系：

统一性（Uniformity）

联想主义主张：单一核心学习机制（如Thorndike的效应律、Skinner的操作性条件作用）足以解释跨领域学习
AI对应：梯度下降优化的深度网络在视觉、语言、策略推理中共享同一学习引擎
这为联想主义的机制统一性提供了概念验证（proof of concept）

渐进、连续、误差驱动的学习

联想主义主张：学习通过小的、统计性的联结调整发生（如Rescorla-Wagner模型的误差修正）
AI对应：梯度下降正是通过迭代最小化损失函数（预测误差）来调整权重
Rescorla (1988) 明确指出Rescorla-Wagner模型的delta规则与连接主义学习规则的同构性

排除符号中介

联想主义反对经典AI的假设-检验（hypothesis-testing）或显式符号规则操作
AI对应：神经网络直接从数据学习，无需预设假设空间或符号规则（尽管可能涌现出类符号行为）

4. 界定限度与澄清误解

论文通过三个限定条件避免过度简化，确保论证的严谨性：

区分训练与推理

监督学习/联想主义机制描述的是训练阶段（缓慢、渐进、误差驱动的权重调整）
推理阶段（快速、灵活、看似理性的行为）是训练产出的结果，而非机制本身
这解释了为何AI能表现出看似”非联想主义”的复杂推理（如LLM的链式思考），而这些能力恰恰源于联想式训练

承认架构的核心作用

成功不仅依赖监督学习，还依赖特定计算架构（CNN的局部连接、Transformer的自注意力机制、扩散模型的迭代采样过程）
这些架构引入了领域特异性结构（如CNN的空间平移不变性），超出了经典联想主义设想的简单联结调整
因此，强联想主义（认为所有学习都是简单联结）未被证实，但温和联想主义（承认统一学习引擎嵌入复杂架构）得到支持

区分联想主义与经验主义

澄清支持机制层面的联想主义（统一、渐进的学习机制）不等于支持内容层面的强经验主义（所有知识来源于经验）
承认生物学习可能包含领域特异性归纳偏向（如Spelke, Carey的发展心理学研究），这与AI中架构的域特异性设计形成对照

5. 提供生物学可行性线索

论文最后通过指出生物学中的平行发现，增强类比的可信度：

预测加工理论（Predictive Processing）：大脑持续生成感官预测并基于预测误差更新（Clark 2013; Hohwy 2013），这具有自监督学习的结构
多巴胺信号：神经科学研究（Schultz et al. 1997; Niv 2009）显示多巴胺能神经元编码奖励预测误差，与时序差分学习（TD learning）机制高度相似

这回应了Sutton关于”监督学习不存在于自然中”的质疑，指出自然可能通过从经验中构建监督子问题（而非接收现成标签）来实现类似逻辑。

Q: 论文做了哪些实验？

这是一篇理论性与概念性的论文，作者并未进行新的实验或实证研究。论文的核心贡献在于概念分析、理论论证和文献综述，而非数据收集或假设检验。

具体而言，论文采用以下非实验性方法展开论证：

1. 概念分析与重构

功能层次分析：借鉴Marr (1982)的计算层次框架，将深度学习系统抽象为”监督学习”的功能描述，剥离具体的实现细节（如反向传播算法、神经网络架构）。
范式重构：通过理论分析，将表面上不同的AI学习范式（语言建模、图像生成、强化学习）统一重构为”监督学习谱系”，依据的是它们生成评估信号（evaluative feedback）所需的计算工作量差异。

2. 理论论证与逻辑推演

同构性论证：建立Rescorla-Wagner模型（经典条件反射的误差修正理论）与梯度下降学习之间的形式同构关系，论证两者共享”渐进、误差驱动的权重调整”逻辑。
限度界定：通过区分”训练阶段”（联想主义机制运作）与”推理阶段”（产生看似理性的行为），解释为何AI能表现出非联想主义的认知特征（如复杂推理）。

3. 基于现有研究的案例分析

论文引用了大量已有实证研究作为证据支撑，但这些研究并非作者本人所做：

深度学习案例：分析LeCun et al. (1998)的CNN、Vaswani et al. (2017)的Transformer、Sohl-Dickstein et al. (2015)的扩散模型、Silver et al. (2017)的AlphaGo等已有AI系统的学习机制。
心理学实验：援引Rescorla & Wagner (1972)的经典条件反射实验、Thorndike (1911)的效果律研究、以及Schultz et al. (1997)关于多巴胺神经元编码预测误差的神经科学研究。
认知发展研究：引用Carey (2004, 2009)和Spelke (2022)关于儿童认知发展的实验证据，讨论领域特异性与领域通用性的平衡。

4. 思想实验与类比推理

通过”概念验证”（proof of concept）的方式，论证如果AI能通过统一的监督学习机制掌握语言、视觉和策略推理，那么生物大脑也可能共享这种学习逻辑。
比较AI系统与生物学习在功能层面的相似性（如预测加工理论与自监督学习的结构对应）。

总结：该论文属于计算认知科学和科学哲学领域的理论工作，其价值在于重新概念化AI成功的理论意义，并据此修正关于人类学习机制的哲学争论（特别是联想主义与先天论之争），而非提供新的实验数据。

Q: 有什么可以进一步探索的点？

基于论文的论证与结论，以下研究方向值得进一步探索：

1. 生物学习机制与AI模型的实证对应

论文将AI作为人类学习的条件性模型（若AI有效，则人类学习可能共享其特征），但这一假设需要跨学科验证：

算法层面：生物神经网络是否实现了类似于反向传播的误差传播机制（如神经科学中的预测编码理论所暗示的），或采用完全不同的优化策略？
神经实现：多巴胺能系统的奖励预测误差信号（Schultz et al., 1997）与深度强化学习中的时序差分（TD）学习之间的同构性，需要更精细的因果干预研究来验证，而非仅停留于相关性观察。

2. 领域特异性与领域通用性的精确边界

论文承认共享学习机制与领域特异性结构之间的兼容性，但二者在生物认知中的具体分配仍属开放问题：

架构诱导的偏差：CNN中的空间平移不变性或Transformer中的自注意力机制，在生物大脑中是由进化预设的（领域特异性），还是通过通用学习机制涌现的？
核心知识（Core Knowledge）：Spelke与Carey提出的先天领域特异性模块（如数量、物体、能动性）与通用监督学习机制如何交互？需要计算模型来模拟这种交互对学习的促进或限制作用。

3. 从渐进学习到快速推理的转换机制

论文区分了训练阶段（渐进、误差驱动的联想主义学习）与推理阶段（快速、类理性的行为），但两者之间的计算接口尚不清晰：

元学习与少样本适应：AI中的元学习（meta-learning）或上下文学习（in-context learning）机制，是否为生物大脑实现”一次性学习”（one-shot learning）——即Carruthers (2002)认为联想主义无法解释的现象——提供了可行路径？
工作记忆与认知控制：监督学习训练的神经网络如何获得维持长程依赖、抑制干扰等看似需要符号控制的能力？需要整合强化学习与认知架构理论。

4. 非经典监督学习形式的理论分类

论文识别出扩散模型、生成对抗网络（GANs）、变分自编码器（VAEs）等无法被经典条件作用范式（经典/操作性条件作用）充分刻画的学习机制：

需要建立超越传统联想主义二元分类（预测 vs. 行动选择）的学习类型学，以容纳这些具有复杂内部计算结构的生成模型。
探索这些模型中的”自监督”重构目标（如去噪、掩码预测）与生物感知学习（如感觉运动预测）的深层对应关系。

5. 组合性与系统性的涌现机制

尽管论文指出深度学习反驳了”联想主义太弱”的批评，但Fodor与Pylyshyn提出的**系统性（systematicity）与组合性（compositionality）**挑战并未被完全消解，而是被悬置：

需要研究在监督学习框架内，组合性表示（如句子结构、数学公式的层级组合）是如何在足够大的神经网络中涌现的，以及这种涌现是否足以解释人类认知的系统性特征，抑或需要额外的符号-亚符号接口机制（如Smolensky等人的神经组合计算）。

6. 进化、发展与学习的交互（”外围鲍德温效应”的验证）

论文提及Heyes等人(2020)的假设：进化塑造的外围认知过程（感知、注意、动机、运动控制）为通用的中心学习机制提供结构化输入，而中心机制保持领域通用性：

这需要比较认知研究来验证：不同物种的学习能力差异是否主要源于感知-运动接口的架构差异，而非核心学习算法的差异？
发展心理学研究需考察：儿童认知发展的领域特异性是否可通过外围系统的成熟时间表来解释，而非先天核心知识的直接表达。

7. 解释性与因果理解的获得

当前监督学习模型（特别是LLMs）擅长预测，但是否获得了因果理解或世界模型（world models）仍存争议：

探索如何通过改进监督信号（如引入干预性数据、反事实训练目标）使AI系统获得更类似于人类的因果推理能力，并检验这种能力在生物学习中是否同样依赖于特定的监督结构（如干预性的玩耍与探索）。

Q: 总结一下论文的主要内容

本文探讨了现代人工智能（特别是深度学习）的成功对人类学习机制研究的理论意义，核心内容与结论可概括如下：

1. 核心问题与方法论立场

论文探讨若将当代AI系统作为人类学习的有效模型，生物大脑需在功能层面共享哪些特征。为避免陷入实现细节争议（如反向传播是否具有生物学对应），作者采纳Marr (1982)的计算层次分析，聚焦于AI学习的功能逻辑（通过评估反馈进行渐进式误差修正），而非具体的神经架构或算法实现。

2. 监督学习的统一性假说

论文论证**监督学习（supervised learning）**构成当代AI的底层统一机制：

谱系重构：表面差异巨大的AI范式——从语言模型（LLM）的”下一词预测”、扩散模型（diffusion models）的”去噪训练”，到游戏AI（AlphaGo）的”价值预测”——均可被理解为监督学习的变体，其差异仅在于生成评估信号（evaluative feedback）所需的中间计算工作量。
概念突破：这些领域的突破不仅依赖数据与算力，更依赖于将复杂认知任务重构为可处理的监督学习问题的理论 ingenuity。

3. 对联想主义（Associationism）的辩护与修正

深度学习的成功为温和联想主义提供了概念验证（proof of concept），同时界定了其限度：

支持方面：

机制统一性：跨领域（视觉、语言、策略推理）共享同一学习引擎（梯度下降优化的深度网络），呼应了Thorndike与Skinner关于”单一学习定律跨领域适用”的联想主义理想。
学习特征：渐进、连续、误差驱动的权重调整（如Rescorla-Wagner模型的delta规则与梯度下降的形式同构），符合联想主义关于学习通过小步长统计调整发生的描述。
反驳批评：打破了Carruthers (2002)等人关于”联想主义机制过于局限，无法解释结构化思维”的论断，证明当适当实现并规模化时，此类机制可产生复杂推理能力。

限定与修正：

架构依赖性：成功不仅源于监督学习，更依赖于特定的计算架构（CNN的局部连接、Transformer的自注意力、扩散模型的迭代采样）。这些架构引入了领域特异性结构，超出了经典联想主义者设想的简单联结调整。
训练-推理区分：监督学习/联想主义机制仅描述训练阶段（缓慢、渐进的参数调整）；推理阶段（快速、灵活的类理性行为）是训练产出的结果，而非机制本身。这解释了为何AI能表现出看似”非联想主义”的复杂推理。

4. 与经验主义及先天论的关系

论文澄清：支持机制层面的联想主义（统一学习引擎）不等于支持强经验主义（所有知识来源于经验）。生物学习可能同时包含：

跨领域通用的核心学习机制（监督学习的生物学对应，如预测加工理论中的预测误差最小化，或多巴胺系统的奖励预测误差信号）；
领域特异性的归纳偏向与架构约束（如进化塑造的感知-运动接口）。

5. 结论

若当代AI系统确为人类学习的有效模型，则生物认知 likely 采用一种**“温和联想主义”**图景：存在一个统一的、基于误差修正的统计学习核心（类似于监督学习），但该核心嵌入在复杂、可能具有领域特异性的计算架构中运作，而非作为学习的完整解释。这为认知科学中关于学习机制统一性与领域特异性的长期争论提供了新的理论框架。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Daniel Rothschild

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20600.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20600

Published: 2026-06-24T01:52:38.374Z

4. Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries

中文摘要

摘要：AI 代理现在作为一流团队成员参与软件开发生命周期的各个环节，但目前尚无规范语言来表达这种协作所需的人类-代理责任边界、审批关卡和治理约束。现有方法将流程编码到代理提示中（易受偏移）、针对相邻领域（流程管理、业务流程）或仅处理局部内容（访问控制、审批关卡）。我们提出了一种用于将 AI-SDLC 流程指定为协议的领域特定语言，具有正式语法、良构条件、操作语义和执行不变量。该语言区分策略（声明意图）与机制（结构性执行），使实现能够通过验证令牌和能力边界等原语来限制流程的不确定性。以下是三个结果。失败率分析表明，结构性执行将系统失败率限制在代理率和验证者率的加权乘积，而行为合规允许累积或近饱和增长。2+N 团队模式（两个由人类控制的角色加 N 个专业代理成员）将 AI-SDLC 的经典职责分离形式化。编排循环的 Kleene 闭包和反身协议遵从验证呈现为设计属性，而非特殊构造。我们将该贡献与多代理框架（MetaGPT）、工作流规范（FlowAgent、BPMN 扩展）以及基于能力的安全（SAGA）进行对比：创新在于具体整合，而非任何单一原语。一个可工作的实现证明了可行性；实证评估为未来工作。

LLM Analysis

Q: 这篇论文试图解决什么问题？

核心问题域可归纳为以下层面：

1. 规范缺口的结构性矛盾

AI代理已作为”一流团队成员”参与规划、编码、审查与部署，但业界缺乏用于表达人类-代理责任边界、审批关口和治理约束的可执行规范语言
现有实践依赖临时工具组合（ad-hoc tooling）或提示工程（prompt-based specification），导致过程规范随代理行为漂移，产生”覆盖漂移”（coverage drift）风险

2. 过程非确定性的治理困境

行为合规模式（behavioral compliance）仅通过代理对策略的解读来执行，无法阻止代理跳过、偏离或重新解释协议步骤，导致过程非确定性（process non-determinism）与代理非确定性（agent non-determinism）叠加
失败模式（安全漏洞、静默失败、审计缺口、自我审查局限）本质上是过程问题而非能力问题，需通过结构执行（structural enforcement）而非单纯提升模型质量来解决

3. 责任分离的形式化缺失

经典职责分离（Separation of Duties）原则在AI-SDLC中缺乏形式化表达机制，无法确保”生产者模式”与”审查者模式”在基础设施层面的强制隔离
缺乏对2+N团队模式（两名人类控制角色+N名专业化代理成员）的协议级定义，导致人机协作中的权限混淆与自我审批风险

4. 验证与审计的可执行性断层

工作流规范语言（如BPMN扩展）面向通用业务流程，未原生支持自主代理参与者、代理间分歧解决及AI特定失败模式
多代理框架（如MetaGPT）将标准操作程序（SOP）编码于提示中，缺乏独立于代理实现的可移植、可审计的规范制品（portable, reviewable specification artifact）

Q: 有哪些相关研究？

该论文在第3节系统梳理了相关研究，涵盖五个主要领域：

1. 人类监督模型（Human Oversight Models）

HITL vs. HOTL：区分”人在回路中”（Human-in-the-Loop，执行阻塞待批准）与”人在回路上”（Human-on-the-Loop，监控异常后干预）两种范式
引用：Anthropic(2026)对AI代理自主性的测量研究；LangChain(2026)的中间件设计
论文定位：将HITL/HOTL选择编码为协议规范的分歧策略（disagreement policy），而非代理代码中的硬编码逻辑

2. 软件工程多代理框架

MetaGPT
Hong et al., 2024
：最接近的相关工作，将软件工程角色（产品经理、架构师、工程师、QA）分配给不同代理，并通过标准化操作程序（SOP）提示协调执行
关键差异：MetaGPT将SOP编码于提示中（行为规范机制），受漂移与解释问题影响；缺乏独立于代理指令的机器可执行规范语言，无基础设施级模式边界
LangGraph
LangChain, 2024
：将工作流建模为显式状态机（节点与边）
AutoGen
Wu et al., 2023
：以对话形式构建多代理交互
CrewAI
CrewAI, 2024
：基于角色-目标-背景三元组的代理编排
论文定位：上述框架提供构建代理系统的工具包而非SDLC过程的规范语言，产生的是特定实现而非可移植、可审计的规范制品

3. 工作流规范语言

BPMN扩展
Ait et al., 2024
：针对人机协作工作流的BPMN扩展，提供图形化表示与建模概念
关键差异：BPMN扩展保持与现有业务过程工具的向后兼容，而本论文DSL专为AI-SDLC设计，将基础设施级执行作为一等概念
YAWL
van der Aalst & ter Hofstede, 2005
：提供独立于领域的工作流模式语法与运行时引擎
FlowAgent
Shi et al., 2025
：引入程序描述语言（PDL）用于客服式工作流，结合自然语言灵活性与代码精确性
关键差异：PDL针对单领域对话式工作流（如医院预约）；本论文DSL针对软件开发的多模式、多角色结构，强调生产者/审查者分离

4. 基于能力的安全与令牌机制

能力安全基础
Dennis & Van Horn, 1966; Li et al., 2022
：分布式系统中基于能力的访问控制模式
SAGA
Yao et al., 2025
：使用密码学访问控制令牌治理代理间通信的安全架构
关键差异：SAGA令牌控制代理间访问权；本论文验证令牌（validation tokens）编码验证者法定人数结果作为调度前提条件
行业分析
Token Security, 2026
：指出AI访问控制正从基于凭证（RBAC）向基于能力（capability-based）转变，更适合运行时发明新工作流的代理

5. 标准操作程序与团队组成

Belbin团队角色理论
Belbin, 2012
与 DeMarco & Lister
DeMarco & Lister, 2013
：软件开发团队动态与角色形式化分析的传统
论文定位：将2+N团队模式（2名人类控制角色+N名专业化代理）形式化为AI-SDLC下的最小可行团队结构，实现经典职责分离（Separation of Duties）的协议级强制

论文的总体定位

作者明确指出，其贡献并非发明任何单一原语（DSL、能力令牌、角色工作流、人机协作建模均有大量先例），而在于：

将这些原语整合为面向AI-SDLC的连贯规范语言
提供机器可执行、独立于代理框架的规范制品
实现策略/机制分离与基础设施级模式边界（而非规范强制）
形式化失败率边界的数学分析（第4.8节）

Q: 论文如何解决这个问题？

该论文通过提出一种领域特定语言（DSL）并配套结构执行机制来解决AI-SDLC规范缺失问题。解决方案的核心架构如下：

1. 策略-机制分离（Policy-Mechanism Separation）

论文区分了策略声明（declared intent）与结构执行（structural enforcement）：

策略层：协议以声明式语法规定”应发生什么”（如”调度前需验证”）
机制层：通过基础设施原语（验证令牌、能力边界）确保”只能发生合规路径”

这种分离消除了过程非确定性（process non-determinism）——代理无法跳过、偏离或重新解释协议步骤，而残余的代理非确定性（agent non-determinism）被限制在显式策略结构内。

2. 形式化语言规范

论文定义了完整的抽象语法与操作语义：

抽象语法结构
Protocol P ::= langle M^, V^, D, C^* rangle

其中：

模式（Modes） M ：操作阶段（如生产者、审查者），附带的工具集在基础设施层面强制隔离
验证器（Validators） V ：独立评估任务并输出严重级别的代理，支持多验证器正交仲裁（quorum validation）
分歧策略（Disagreement Policy） D ：定义验证器结论不一致时的确定性响应：
unanimous_pass mapsto proceed
split mapsto require_human
any_blocker mapsto hard_stop
约束（Constraints） C ：结构要求与禁止（如正/负谓词）

良构性条件（WF1–WF5） 确保协议在语法层面的有效性，包括：

WF1（模式分离）：不同模式的工具集不相交
∀ m_1, m_2 ∈ M^*, m_1 ≠ m_2 ⇒ m_1.tools ∩ m_2.tools = ∅
WF3（验证器覆盖）：每个任务调度操作必须关联验证器子集

3. 结构执行原语

通过三项基础设施机制实现非可绕过的执行约束：

验证令牌（Validation Tokens）
τ ::= langle token_id, task_ref, validator_sigs, ×tamp rangle

代理无法伪造令牌；调度操作 dispatch(task_ref, τ) 仅在 valid(τ) 为真时执行
令牌发行受分歧策略约束：若任何验证器输出 blocker ，则 issue_token to bot

能力边界（Capability Boundaries） 通过INV2强制执行：
∀ a ∈ active_roles, t ∈ Tools. quad can_call(a, t) ⇒ t ∈ current_mode.tools
角色仅能访问当前模式授权的工具，实现基础设施级的权限隔离。

执行不变量（Enforcement Invariants）

INV1（令牌完整性）：已发行令牌不可伪造且签名可验证
INV3（不可覆盖阻断器）：存在严重级别为 blocker 的验证结果时，令牌发行必然失败（ bot ），工作流强制停止
INV4（审计完整性）：所有关键操作（调度、验证、模式转换）必须生成不可变日志条目

4. 2+N团队参考配置

论文将经典职责分离（Separation of Duties）形式化为可执行协议：

2个HI-CTRL（人类控制）角色：生产者模式与审查者模式各有一名人类拥有最终权威（执行权与合并权）
N个专业化代理：包括架构师代理、编码代理、验证代理（安全、架构、规范）等

关键结构约束：

生产者模式工具集 validate, dispatch, edit, test 与审查者模式工具集 review, approve, reject, merge 通过WF1强制不相交
编码代理的编辑能力被约束在指定目录/组件范围内（负约束 negative(coder modifies out_of_scope) ）

5. 失败率边界分析

论文通过数学分析证明结构执行对系统可靠性的量化改进：

行为合规系统（无结构执行）的失败率随代理链长度 N 累积甚至饱和：
P(behavioral, cascading) ≥ 1 - prod(i=1)^N (1 - p’i)
其中 p’(i+1) = p(i+1) + α_i p’_i (1 - p(i+1)) 为考虑上游腐败噪声的级联失败率。

结构执行系统的失败率被限制为加权乘积：
P(structural) ≤ ∑(i=1)^N [ pi · P(quorum)^(miss) + pi · (1 - P(quorum)^(miss)) · p_(recovery) ]

其中验证器仲裁遗漏概率考虑模型间相关性 rho ：
P_(quorum miss) = p_v^K + rho(p_v - p_v^K)

对于典型参数（ p_i ≈ 0.1, p_v ≈ 0.2, K=3, rho ≈ 0.3 ），结构执行可将失败率降低约一个数量级。

6. 自增强协议遵循（Emergent Self-Reinforcement）

语言支持元级验证器（protocol-adherence validators）作为普通验证器实例，其评估域为协议执行轨迹而非代码产出：
V(meta) = langle protocol_adherence, criteria(meta) rangle

该验证器检查运行时行为是否满足WF1–WF5与INV1–INV4，形成自指结构——协议通过自身参与者审计自身规则，无需特殊元语言构造。此属性与Kleene闭包（ orchestration loop 的递归生成能力）共同构成设计的涌现特性。

7. 实现可行性验证

论文提供了工作实现，包括：

协议引擎解析规范并强制执行良构性条件
双MCP服务器实现模式分离（WF1）
令牌子系统实现发行与验证（INV1）
事件溯源审计日志（INV4）

该系统已用于扩展自身代码库，验证了其处理实际软件演化复杂性的能力。

Q: 论文做了哪些实验？

根据论文内容，作者并未进行传统意义上的对比实验或基准测试（如多组对照实验、大规模数据集评估等），而是采用可行性验证与理论分析相结合的方法。具体包括：

1. 工作实现与自开发验证（Self-Development Validation）

实验设置：

构建了一个完整的协议执行系统，包括：
协议引擎（解析规范并强制良构性条件 WF1–WF5）
双MCP服务器（分别对应生产者模式与审查者模式，实现WF1的模式隔离）
令牌子系统（实现INV1的不可伪造性）
事件溯源审计日志（实现INV4）

验证方法：

自举开发（Self-hosting）：使用该协议系统在2+N团队模式下扩展其自身的代码库
目的：作为压力测试（stress test），验证系统能否处理自身演化的复杂性
局限性：作者明确承认 N=1 的证据较弱，仅提供可行性初步证据（”initial evidence that the approach is viable”）

2. 理论失败率分析（Theoretical Failure Rate Analysis）

分析方法：

建立数学模型对比行为合规（behavioral compliance）与结构执行（structural enforcement）两种模式下的系统失败概率

关键模型：

级联失败模型（行为合规）：
P(behavioral, cascading) ≥ 1 - prod(i=1)^N (1 - p’i)
其中 p’(i+1) = p(i+1) + α_i p’_i(1 - p(i+1)) 表示上游腐败导致的噪声级联
结构执行边界：
P(structural) ≤ ∑(i=1)^N [ pi · P(quorum)^(miss) + pi · (1 - P(quorum)^(miss)) · p_(recovery) ]

考虑验证器相关性 rho 的仲裁遗漏概率：
P_(quorum miss) = p_v^K + rho(p_v - p_v^K)

结论：

在典型参数（ p_i ≈ 0.1, p_v ≈ 0.2, K=3, rho ≈ 0.3 ）下，理论分析预测结构执行可将失败率降低约一个数量级
作者明确指出此为理论预测，实证验证是未来工作

3. 明确列为未来工作的实验

论文在第5节和第6节多次强调以下尚未进行的实验：

对比评估：与单代理基线（single-agent baseline）和自我审查基线（self-review baseline）的对比
失败模式分析：在控制条件下测量结构执行与行为合规的实际失败率差异
人工干预率量化：统计不同协议配置下需要人类介入（require_human）的频率
跨任务评估：在多个软件工程任务上验证协议有效性（当前仅验证自开发场景）

总结

该论文的”实验”实质是构造性验证（constructive validation）而非实证性验证（empirical validation）：

通过构建可运行的系统证明语言的可执行性（executability）
通过自开发案例证明处理真实软件复杂性的可行性（feasibility）
通过数学分析证明结构执行在理论上的优越性（bounds analysis）

作者明确将此定位为立场性论文（position paper），强调大规模实证评估属于未来工作。

Q: 有什么可以进一步探索的点？

基于该论文的理论框架与自我指出的局限，以下方向具有显著的研究价值：

1. 实证评估与失效模式分析

大规模对照实验：建立行为合规基线（behavioral compliance baseline）与结构执行实现（structural enforcement implementation）的A/B测试框架，在真实软件工程任务中量化以下指标：
累积失败率差异（验证第4.8节理论预测的”一个数量级”改进）
静默失败（silent failures）的检出时间差异
人类干预频率（require_human触发率）与任务复杂度关系
跨模型验证器相关性（ρ）测量：通过实证研究确定不同基础模型（Claude、GPT、Gemini、DeepSeek）作为验证器时的组内相关系数 rho ，建立 rho 与验证器方法论多样性（criteria orthogonality）的量化关系

2. 协议的形式化验证

时序逻辑验证：使用TLA+或Coq等工具验证协议规范是否满足关键时序性质，例如：
不可覆盖阻断器（INV3）的必然性：证明any_blocker → hard_stop在所有执行轨迹中成立
模式隔离（WF1）的不可违反性：证明生产者模式永远无法生成审查者模式的令牌
一致性合成：开发算法自动检测协议规范中的潜在矛盾（如约束 C^* 中的循环依赖），超越当前仅检查语法良构性（WF1–WF5）的局限

3. 自适应协议与动态治理

风险自适应协议：设计根据运行时风险信号（如代码复杂度、历史缺陷密度、验证器置信度分布）动态调整 K （验证器法定人数大小）或 rho （验证器多样性要求）的机制，实现”轻量级审查低风险任务，深度审查高风险任务”
协议演化治理：形式化元协议（meta-protocol）——规定谁有权修改AI-SDLC协议本身、修改需经过何种验证流程（如是否需要2+N中的两名HI-CTRL同时批准），解决第6.2节指出的”协议变更治理”空白

4. 协议合成与优化

自动化协议生成：基于第6.2节提出的开放问题，开发约束求解器或强化学习方法，输入参数包括：
法规约束（如SOX、GDPR对审计的要求）
团队拓扑（HI-CTRL可用性、代理能力）
风险容忍度输出满足约束的最小开销协议配置（优化目标：最小化延迟或人力成本）
** Kleene闭包深度边界**：理论分析递归任务分解（第4.3节）的最优终止条件，防止因过度细化导致的”分析瘫痪”（analysis paralysis）

5. 元验证器（Meta-Validators）的可靠性

自举验证难题：解决第4.9节暗示的可靠性问题——当协议遵循验证器（protocol-adherence validator）本身也是非确定性代理时，如何设计鲁棒的多层验证架构（如验证器验证验证器，直至固定点），避免”谁来守卫守卫者”（Quis custodiet ipsos custodes?）的无限递归
执行轨迹的形式化审计：开发基于形式化方法的轨迹分析工具，自动检测INV1–INV4的违反模式，而非依赖代理的随机性判断

6. 跨领域迁移与专业化

关键领域适配：将DSL应用于医疗AI开发（FDA合规要求）、自动驾驶软件（功能安全ISO 26262）或金融交易系统（SEC审计要求），验证2+N模式在高监管环境下的可扩展性，并开发领域特定的验证器本体（如医疗领域的HIPAA合规检查器）
多模态协议扩展：当前DSL主要针对代码生成，可扩展至多模态AI-SDLC（如AI生成UI设计+前端代码的联合审查流程），定义跨模态的一致性验证器

7. 人机协作的认知工效学

认知负荷优化：研究HI-CTRL角色在2+N模式中的注意力分配策略，如何设计协议以最小化人类审查者的”警报疲劳”（alert fatigue），特别是在split → require_human频繁触发时
信任校准机制：开发基于验证器置信度（severity_fn输出分布）的人机信任动态调整界面，使人类能准确理解何时应覆盖代理决策，何时应服从hard_stop

Q: 总结一下论文的主要内容

论文提出了一种用于规范AI集成软件开发生命周期（AI-SDLC）的领域特定语言（DSL），旨在解决当前缺乏正式机制定义人机协作边界、审批关口和治理约束的问题。

核心问题

AI代理已作为一流团队成员参与软件开发的规划、编码、审查和部署，但现有实践依赖提示工程（prompt-based specification）和临时工具组合，导致过程规范随代理行为漂移，产生安全漏洞、静默失败、审计缺口和自我审查局限等系统性风险。这些本质上是过程问题而非能力问题。

解决方案框架

1. 策略-机制分离（Policy-Mechanism Separation）

策略层：声明式协议定义角色、模式、验证器和分歧策略（如 unanimous_pass mapsto proceed ， any_blocker mapsto hard_stop ）
机制层：通过验证令牌（validation tokens）、能力边界（capability boundaries）和非覆盖阻断器（non-overridable blockers）等基础设施原语，消除过程非确定性（process non-determinism），将残余的代理非确定性限制在显式策略结构内

2. 形式化语言规范 协议 P ::= langle M^, V^, D, C^* rangle 包含：

模式（Modes）：操作阶段（如生产者、审查者）与工具集，通过WF1（模式分离）强制基础设施级隔离
验证器（Validators）：独立评估任务并输出严重级别，支持多验证器正交仲裁（quorum validation）
分歧策略（Disagreement Policy）：确定性映射验证器结论到系统响应（继续、记录并继续、要求人工干预、硬停止）
约束（Constraints）：正负谓词定义结构要求（如 negative(producer_mode calls merge) ）

3. 2+N团队参考配置 形式化经典职责分离（Separation of Duties）：

2个HI-CTRL（人类控制）角色：分别拥有执行权（生产者模式）和合并权（审查者模式）
N个专业化代理：包括架构师、编码代理、验证代理（安全、架构、规范）等
基础设施边界：通过不相交的工具集（WF1）确保生产者无法自我批准

关键理论结果

失败率边界分析：证明结构执行将系统失败率从行为合规模式下的累积/近饱和增长（ P(behavioral) ≥ 1 - prod(1-p’_i) ）限制为加权乘积形式（ P(structural) ≤ ∑ P_(stage)_i ），在典型参数下可降低约一个数量级。

Kleene闭包：任务分解产生的递归子任务执行形成 L^* = ∪_(i=0)^(∞) L^i ，该性质是协议的涌现特性而非特殊构造，确保协议通过组合自然扩展至任意复杂度。

自增强协议遵循：支持元级验证器（protocol-adherence validators）作为普通验证器实例，其评估域为协议执行轨迹而非代码产出，实现协议通过自身参与者审计自身规则的自我指涉结构。

实现与局限

已实现工作原型并通过自开发验证（self-development validation）——使用该系统在2+N协议下扩展自身代码库——证明可执行性。作者明确此为可行性演示（feasibility demonstration），大规模实证评估（对比单代理基线、量化失败率、测量人类干预率等）为未来工作。

核心论点

随着基础模型能力趋同（商品化），过程设计而非模型选择将成为差异化资产。该DSL提供了将软件工程最佳实践（职责分离、独立验证、审计追踪）编码为机器可执行、可审计、可移植规范的形式化机制，使AI-SDLC过程成为可持续演化的制度记忆。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ylli Prifti

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20615.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20615

Published: 2026-06-24T01:52:38.374Z

5. PEAR: Permutation-Equivariant Adaptive Routing Multi-Agent Debate

中文摘要

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文针对多智能体辩论（Multi-Agent Debate, MAD）中固定通信拓扑结构的固有缺陷提出解决方案。具体而言，论文识别并试图解决以下核心问题：

1. 固定拓扑导致的结构性失效

现有 MAD 协议通常采用链式、星型或环型等固定通信图结构，这引发了两种关键的失效模式：

信息同质化（Information Homogenization）：智能体在预定的固定邻域内重复交换批评，导致错误被强化而非被纠正。即使存在多样化观点，固定拓扑也可能阻止这些观点到达最能从中受益的智能体。
错误级联（Error Cascades）：中心节点、早期发言者或占据特权位置的智能体可能产生不成比例的影响力。当这些”枢纽”智能体的答案错误时，会锚定整个群体得出错误结论，且其错误会通过固定路径持续传播。

2. 对角色分配的敏感性与位置偏见

固定拓扑使得辩论结果对智能体的初始角色分配高度敏感，产生持久的位置偏见。某些智能体可能永久占据特权网络位置，导致：

不可靠智能体的声音被过度放大
通信结构固化，无法根据辩论动态调整
最终答案分布依赖于任意标签分配而非实质推理质量

3. 解决方案：动态自适应路由

为应对上述问题，论文提出 PEAR（Permutation-Equivariant Adaptive Routing Multi-Agent Debate），一个推理时协议，通过以下机制实现改进：

状态感知动态路由：基于智能体当前状态（答案、自报告置信度、历史累积影响力）动态选择稀疏通信拓扑，而非固定结构
置换等变性：确保重新标记智能体不会改变最终答案分布，消除对任意角色分配的依赖
复合路由目标：
目标多样性（Targeted Diversity）：优先将高置信度但持不同意见的智能体与低置信度智能体连接，促进”错到对”的修正
影响力平衡（Influence Balancing）：惩罚累积影响力过大的智能体，防止单一智能体主导信息流
低置信度过滤（Low-Confidence Filtering）：抑制来自低置信度智能体的批评传播，减少不可靠信号

4. 理论保证

论文从理论上表征 PEAR 为等变稀疏路由器，证明其在保持智能体重新标记下准确性的同时，降低了路由复杂性并提供一致的泛化保证。

通过在四个推理基准和六个不同规模的 LLM 骨干上的实验验证，PEAR 显著提升了多智能体辩论的平均准确率，最高比最强基线提升 9.0 个百分点。

Q: 有哪些相关研究？

根据论文第2节（Related Works），相关研究主要集中在以下两个方向：

1. 多智能体辩论（Multi-Agent Debate, MAD）

早期奠基性工作

Du 等人（2024）、Chen 等人（2024）以及 Liang 等人（2024）首次证实，多智能体通过结构化同行批评迭代修正答案，可在知识密集型和数学推理任务上超越单智能体推理。

效率与置信度增强

分组策略：Liu 等人（2024）通过将智能体划分为子群组讨论来降低 token 消耗。
置信度加权：Lin 和 Hooi（2025）、Taubenfeld 等人（2025）以及 Fu 等人（2025）引入自报告置信度机制，用于加权或过滤智能体贡献，以提升辩论可靠性。

失败模式与多样性保持（近期研究）

观点同质化：Zhu 等人（2026）识别出观点同质化是辩论停滞（debate stagnation）的主要根源。
位置主导效应：Zhang 等人（2026）证明占据结构优势位置的智能体会不成比例地决定最终输出。
错误累积：Tian 等人（2026）揭示跨轮次累积的错误内容可能持续误导下游智能体。
异见保留：Nguyen 等人（2026）提出通过选择性保留历史异见信息来维持多样性。

2. 通信拓扑结构（Communication Topology）

稀疏通信与成本优化

Li 等人（2024）论证稀疏拓扑（sparse topologies）可在显著降低计算成本的同时，达到或超越全连接（fully-connected）辩论的性能。

自适应图结构学习

G-Designer：Zhang 等人（2024）利用图神经网络（GNN）架构化任务特定的通信图。
自回归拓扑生成：Shen 等人（2025）采用自回归方式生成智能体拓扑。
动态剪枝：Li 等人（2025）自适应地剪除边以平衡准确率与效率。

更广域的多智能体通信研究

端到端图学习：Hu 等人（2024）端到端学习通信图。
目标消息选择：Sun 等人（2024）执行有针对性的消息选择。
自监督聚合：Guan 等人（2024）通过自监督机制聚合信息。
语义级优化：Zhou 等人（2025）在语义层面优化通信内容。

与 PEAR 的关键区别
上述拓扑相关方法通常依赖训练信号或学习得到的控制器。与之不同，PEAR 提出的自适应路由完全在**推理时（inference-time）**完成，无需额外训练，通过状态感知的稀疏拓扑重配置解决固定拓扑带来的信息同质化和错误级联问题。

Q: 论文如何解决这个问题？

论文通过提出 PEAR（Permutation-Equivariant Adaptive Routing Multi-Agent Debate） 框架，从动态拓扑重配置、状态感知路由目标和置换等变约束三个维度系统性地解决上述问题。具体解决方案如下：

1. 四阶段推理时协议

PEAR 在每轮辩论中动态重构通信结构，而非使用固定拓扑：

阶段一：初始化（Initialization）
基于 k -正则稀疏模板 G_0 （每节点入度为 k ）构建基础角色图。相比全连接图（clique），稀疏模板将每轮批评预算从 n(n-1) 降至 nk ，同时保持有意义的拓扑搜索空间——通过角色置换 π ∈ S_n 可生成 n! 个候选通信图 G(π) 。

阶段二：自适应路由（Adaptive Routing）
在每轮 r 开始时，路由器基于当前状态 $sr = (xi_i^((r-1)), rho_i^((r-1))){i ∈
n
} （包含答案、置信度、推理轨迹和累积影响力）从候选池 C_r$ 中选择通信图。选择通过复合评分函数实现：

S(E mid s_r) = α_T T(E) - α_I I(E) - α_L L(E)

阶段三：批评与修正（Critique & Revision）
根据选定的边集 E^((r)) ，源智能体 s 针对目标智能体 t 的先前状态生成批评 m_(s to t)^((r)) 。目标智能体接收所有入边批评集合 I_t^((r)) 后，修订答案并输出 ACCEPT/REJECT 决策。

阶段四：影响力更新（Influence Update）
根据批评被接受的比例更新影响力统计：
rho_s^((r)) = β rho_s^((r-1)) + (1-β) a_s^((r))
其中 a_s^((r)) 为第 r 轮被接受的批评比例。该闭环机制使历史影响力影响未来路由特权。

2. 三大状态感知路由组件

论文通过线性组合三个归一化组件构建评分函数，直接针对固定拓扑的失效模式：

(1) 目标多样性（Targeted Diversity）——破解信息同质化

机制：奖励从高置信度、持不同意见的智能体指向低置信度智能体的有向边。

T(s,t) = 1[ys^((r-1)) ≠ y_t^((r-1))] · 1[c_s^((r-1)) ≥ τ(src)] · 1[ct^((r-1)) ≤ τ(tgt)]

作用：确保可靠的异见声音被路由给最需要外部修正的不确定智能体，主动促进”错到对”（wrong-to-right）的转换，而非在局部邻域内强化共识。

(2) 影响力平衡（Influence Balancing）——抑制错误级联

机制：惩罚向已累积高影响力智能体分配额外出度。

I(E) = (1) / (m) ∑_(s ∈ [n]) rho_s^((r-1)) d_s^(out)(E)

作用：无论智能体当前答案是否正确，曾说服过多目标的智能体将被限制进一步放大。这提供了针对错误级联的结构性防御：即使高影响力智能体当前答案错误，其影响力也会被衰减，防止锚定群体结论。

(3) 低置信度过滤（Low-Confidence Filtering）——阻断不可靠信号

机制：抑制来自低置信度源的批评传播。

L(s) = 0, τ(low) + 1 - c_s^((r-1)), quad L(E) = (1) / (mτ(low)) ∑_((s,t) ∈ E) L(s)

作用：当源智能体置信度低于阈值 τ_(low) 时产生线性惩罚，阻止”猜测性”批评通过辩论图传播。与单纯最大化置信度不同，该组件仅作过滤而不奖励最高置信度，避免过度依赖可能误校准的绝对置信度值。

3. 置换等变路由（Permutation-Equivariant Routing）

为解决角色分配敏感性问题，论文理论表征 PEAR 为等变稀疏路由器：

定义：对任意智能体置换 σ ∈ Sn ，路由分布满足：
Qα(σ E mid σ s) = Q_α(E mid s)

实现方式：

基于标签不变特征（如答案是否一致、相对置信度高低、历史影响力排序）计算评分，而非智能体具体编号
通过搜索固定基础图的稀疏重标记（sparse relabelings）生成候选拓扑，确保候选族对置换封闭

理论保证（定理1-3）：

准确性保持：在可交换智能体种群假设下，强制等变性不改变期望最终准确率，仅消除对智能体名称的任意依赖
复杂度控制：等变路由器类的覆盖数（covering number）不超过非等变类，即 N(PQ, ε, d) ≤ N(Q, ε, d) ，保证更好的泛化边界

4. 与固定拓扑的本质差异

维度	固定拓扑（如星型/链式）	PEAR 自适应路由
结构	跨所有轮次固定边集 E	每轮基于状态 s_r 动态选择 E^((r))
信息流	智能体始终从相同邻居接收批评	智能体角色（源/目标）随轮次切换
影响力分布	结构性特权永久化（如星型中心始终为中心）	通过 I(E) 动态惩罚高影响力节点
多样性	受限于固定邻域的局部多样性	通过 T(E) 主动跨分歧答案路由
可靠性	无法阻止低置信度源传播错误	通过 L(E) 过滤不可靠批评

通过上述机制，PEAR 在推理时实现了通信结构的动态最优化，在保持稀疏通信预算（计算效率）和置换等变性（公平性）的同时，显著提升了多智能体辩论的准确率和鲁棒性。

Q: 论文做了哪些实验？

论文进行了系统全面的实验验证，涵盖基准测试、模型多样性、消融研究、动态行为分析和计算效率等多个维度。具体实验内容包括：

1. 实验设置（Section 6.1）

基准测试（4个）

MMLU-Pro：专业学术知识推理
TruthfulQA：事实可靠性与反幻觉能力
GSM8K：小学数学文字题
MATH-500：竞赛级数学难题

模型覆盖（6个）

开源模型：Gemma-3-12B、Llama-3.1-8B、Qwen2.5-14B、Qwen-3-30B-A3B
闭源模型：GPT-5.4-nano、Claude-Haiku-4.5

对比基线（8个）

单智能体：CoT（链式思考）、CoT-SC（自一致性）
固定拓扑多智能体：Clique（全连接）、Star（星型）、Chain（链式）、Ring（环型）
动态基线：Random（每轮随机稀疏连接）

配置参数

智能体数 n=5 ，辩论轮数 R=5
基础图： k -正则稀疏图（ k=2 ，每智能体每轮接收2条批评）
路由权重： (α_T, α_I, α_L) = (0.4, 0.7, 0.7)

2. 总体准确率对比（Section 6.2, Table 1）

核心发现：PEAR 在所有 24 个模型-数据集组合中均取得最高准确率。

平均性能：PEAR 达 0.701，较最强固定拓扑基线（Clique: 0.620）提升 8.1 个百分点
数据集级提升：
MMLU-Pro: +6.0 点
TruthfulQA: +3.9 点
GSM8K: +4.8 点
MATH-500: +5.6 点
模型级提升：在较弱骨干（Llama-3.1-8B）上提升最显著，最高达 9.0-9.5 个百分点（GSM8K 和 MATH-500）

3. 组件消融实验（Section 6.2, Figure 2）

验证三个路由组件的独立贡献：

单组件：仅 T（目标多样性）、仅 I（影响力平衡）、仅 L（低置信度过滤）
双组件组合：T+I、T+L、I+L
完整模型：T+I+L

结果：完整模型（PEAR）表现最佳（平均 0.657），显著优于所有部分组合。I+L 和 T+L 组合次之（约 0.603-0.604），表明三组件具有互补性而非简单叠加。

4. 轮次动态分析（Appendix C.3, Figures 3-4）

跟踪 Qwen-2.5-14B 和 GPT-5.4-nano 在每轮辩论中的准确率演变：

持续提升：PEAR 准确率随轮次单调上升，而固定拓扑（如 Star、Chain）常在第 2-3 轮后停滞或下降（错误级联现象）
初始 vs 后期：第 1 轮所有方法差距微小（<2%），第 5 轮时 PEAR 领先达 7-9%（MATH-500 上）
鲁棒性：固定拓扑出现非单调波动（如 Star 在第 2 轮后下降），PEAR 保持单调增长

5. 轨迹级诊断分析（Appendix C.4, Table 3）

分析微观层面的辩论动态（基于开源模型平均）：

指标	PEAR	最佳基线	说明
净修正率 (Net)	0.243	0.212 (Star)	错误→正确转换减去正确→错误转换
跨答案路由率	0.676	0.498 (Random)	源与目标持不同答案的边比例
源置信度	0.784	0.612 (Random)	路由边的平均源置信度
影响力熵	0.979	0.972 (Random)	最终影响力分布的均匀性
批评接受率	0.606	0.597 (Clique)	目标接受批评的比例

关键发现：

PEAR 的跨答案路由率显著高于基线（0.676 vs 0.43-0.50），证实其有效促进异见传播
影响力熵接近 1.0，表明无单一智能体主导（对比 Chain 的 0.827）
高源置信度（0.784）验证低置信度过滤机制有效筛选可靠信源

6. 计算效率与成本分析（Appendix C.5, Figure 5）

帕累托最优性：

PEAR 位于所有数据集的准确率-令牌消耗帕累托前沿
每例消耗约 32.3k tokens，比 Clique（36.7k）低 12%，比 Chain（24.8k）高 30% 但准确率高 6.6 点
与同等稀疏度的 Random 基线成本相当（32.3k vs 32.1k），但准确率高 5.7 点

7. 完整数据集验证（Appendix C.2, Table 2）

在 TruthfulQA 和 MATH-500 的完整测试集（非采样子集）上验证：

Qwen2.5-14B：TruthfulQA 0.868（vs Clique 0.857），MATH-500 0.442（vs Clique 0.420）
Llama-3.1-8B：TruthfulQA 0.824（vs Clique 0.785），MATH-500 0.298（vs Chain 0.290）

趋势与子集实验一致，证明结果非采样偏差所致。

8. 案例研究（Appendix E）

提供 MMLU-Pro 会计问题的完整多轮轨迹：

初始状态：5 个智能体中仅 1 个正确（Agent 3），群体投票错误（C）
第 1 轮：通过目标多样性路由，正确 Agent 3 向 4 个错误 Agent 发送批评，4 个全部修正（W2R=4, R2W=0）
第 2-3 轮：进入验证阶段，影响力平衡确保无新错误引入，共识稳定于正确答案（D）

该案例直观展示了 PEAR 如何通过稀疏自适应路由在单轮内将少数正确观点转化为群体共识，且后续轮次通过影响力平衡防止错误回潮。

Q: 有什么可以进一步探索的点？

基于论文的局限性陈述及方法论框架，以下方向值得进一步探索：

1. 计算效率与自适应终止机制

论文指出，尽管 PEAR 位于成本–准确率帕累托前沿，其每例 token 消耗仍显著高于单智能体方法。可探索：

自适应终止（Adaptive Termination）：当前固定 R=5 轮次；可基于置信度加权共识或答案稳定性动态停止辩论，避免冗余轮次。
超稀疏候选池（Sparser Candidate Pools）：当前通过枚举角色置换构建候选池 C_r ；可设计基于启发式剪枝或层次化采样的候选生成策略，在不牺牲路由质量的前提下减少搜索空间。
早期拒绝机制：在路由阶段预先过滤低质量候选拓扑，避免完整的评分计算。

2. 置信度校准与外部估计器

论文明确提及对自报告置信度的依赖存在校准风险。后续可研究：

外部置信度估计器：集成基于响应一致性、逻辑验证器或温度采样的外部校准模块，替代或辅助 LLM 自报告置信度。
校准感知路由目标：将置信度校准误差（如 ECE）纳入路由损失，优先选择不仅自信且校准良好的智能体作为信源。
贝叶斯置信更新：用贝叶斯后验替代简单的序数置信度，量化答案不确定性。

3. 路由机制的精细化

连续权重路由：当前采用离散边选择（sparse hard routing），可探索基于注意力机制的连续软路由（soft routing），允许智能体加权聚合多条批评信息。
层次化路由：在多层辩论结构中，跨层路由策略（inter-layer routing）与层内路由（intra-layer routing）的联合优化。
动态图基数（Adaptive Degree k ）：当前固定 k=2 ；可根据问题复杂度动态调整每个智能体的入度，实现自适应通信预算分配。

4. 异构多智能体系统（Heterogeneous MAD）

论文假设智能体同质（同模型、同规模）。未来可探索：

能力感知的角色分配：混合使用不同规模或专长的模型（如数学专家 vs. 常识专家），路由策略需考虑异构能力差异。
智能体数量自适应：根据问题难度动态增减参与辩论的智能体数量，而非固定 n=5 。
不对称拓扑设计：针对不同智能体的专长领域设计非对称基础图 G_0 ，而非统一的 k -正则图。

5. 与其他推理增强技术的集成

检索增强生成（RAG）：将外部知识检索与 PEAR 路由结合，优先向持有冲突检索证据的智能体路由批评。
工具使用与验证器：集成代码执行器、计算器或形式化验证器，将工具反馈纳入状态 s_r 和路由决策。
反思与自我纠正（Self-Correction）：在 PEAR 框架内引入单智能体内部的反思步骤，与多智能体间的批评形成层次化修正。

6. 理论深化与形式化分析

收敛速度保证：在特定图论假设下，证明 PEAR 达到共识或正确收敛的轮次上界。
博弈论视角：将辩论建模为不完全信息博弈，分析路由策略的纳什均衡与激励相容性。
更广泛的等变性：探索超越置换等变的其他对称性（如答案空间的对称性、问题领域的语义等价性）。

7. 应用领域的扩展

代码生成与调试：在代码合成任务中，利用 PEAR 路由不同编程范式（如函数式 vs. 指令式）的智能体间的批评。
创意写作与开放式生成：在缺乏明确正确答案的任务中，设计基于多样性而非正确性的路由目标（如语义覆盖度最大化）。
多模态推理：扩展至视觉问答或跨模态推理，其中状态 s_r 包含图像特征等多模态信号，路由需考虑模态对齐。

8. 影响力机制的演进

复杂影响力网络：替代简单的指数移动平均（EMA），引入 PageRank 或基于图神经网络的影响力传播模型，捕捉多跳影响。
批评内容的细粒度评估：当前采用二元 ACCEPT/REJECT；可分解批评为逻辑正确性、相关性、建设性等维度，进行细粒度影响力分配。

Q: 总结一下论文的主要内容

该论文针对多智能体辩论（Multi-Agent Debate, MAD）中固定通信拓扑导致的结构性缺陷（信息同质化、错误级联、位置偏见），提出了 PEAR（Permutation-Equivariant Adaptive Routing Multi-Agent Debate） 框架，通过动态路由机制显著提升大语言模型的推理可靠性。

核心问题

现有 MAD 协议采用链式、星型或环型等固定通信图，导致：

信息同质化：智能体在固定邻域内重复交换意见，错误被强化而非纠正；
错误级联：中心或早期发言者占据特权位置，其错误答案会锚定群体结论；
位置敏感性：结果依赖任意角色分配，不可靠智能体可能被过度放大。

方法：PEAR 框架

PEAR 是一个推理时协议，在每轮辩论中动态重构稀疏通信拓扑，包含四个阶段：

自适应路由：基于当前状态（答案、置信度、历史影响力）从候选池中选择通信图，通过复合评分函数最大化：

目标多样性（Targeted Diversity）：优先连接高置信度异见者与低置信度智能体，促进”错到对”修正；
影响力平衡（Influence Balancing）：惩罚累积影响力过大的智能体，防止单一节点主导；
低置信度过滤（Low-Confidence Filtering）：抑制来自低置信度源的批评传播。

置换等变性：通过基于标签不变特征（如答案是否一致、相对置信度）计算路由分数，确保智能体重标号不改变最终答案分布，消除对任意角色分配的依赖。
闭环影响力更新：根据批评被接受的比例动态更新智能体影响力，历史说服力影响未来路由特权。

理论贡献

论文证明 PEAR 是一个等变稀疏路由器：

准确性保持：在可交换智能体种群假设下，等变性不降低期望准确率，仅消除对智能体名称的依赖；
复杂度控制：等变路由器类的覆盖数不超过非等变类，提供更好的泛化保证；
单轮修正下界：证明 PEAR 贪婪最大化期望单轮正确率的下界。

实验验证

在 MMLU-Pro、TruthfulQA、GSM8K、MATH-500 四个基准上，使用 Gemma、Llama、Qwen、GPT-5.4-nano、Claude-Haiku 等六个模型进行测试：

准确率：PEAR 在所有 24 个模型-数据集组合中均最优，平均较最强固定拓扑基线提升 8.1 个百分点，最高达 9.0-9.5%（在较弱模型上提升更显著）；
消融研究：三个路由组件具有互补性，完整模型显著优于部分组合；
动态分析：随辩论轮次增加，PEAR 准确率单调上升，而固定拓扑常因错误级联而停滞或下降；
效率：位于准确率-令牌消耗的帕累托前沿，以比全连接基线低 12% 的成本实现更高性能。

局限与展望

论文指出未来可探索自适应终止机制（动态停止辩论）、外部置信度估计器（替代自报告置信度）、异构多智能体系统（混合不同规模模型）及与工具使用/检索增强的集成等方向。

简言之，PEAR 通过状态感知的动态稀疏路由和置换等变约束，在不增加计算成本的前提下，有效抑制了多智能体辩论中的信息同质化和错误级联，显著提升了 LLM 推理的准确性和鲁棒性。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yang Feng, Ziwei Xu, Xia Hu, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20621.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20621

Published: 2026-06-24T01:52:38.374Z

6. Darwin Mobile Agent: A Roadmap for Self-Evolution

中文摘要

摘要：人工智能的目标是创建能够在开放环境中展示通用、自适应行为的智能体。在“苦涩经验”的指导下，我们认为实现这一目标的最有效路径是系统地消除人类先验知识，并允许智能通过与比智能体本身复杂几个数量级的“大世界”的交互自然涌现。我们提出将移动图形用户界面（GUI）作为此类世界的实际代理，并引入 Darwin 移动智能体，这是一个开源基础设施，旨在为该领域的自主强化学习提供基础。该框架通过使用跨平行云-手机实例的异步智能体-环境循环，解决了现实移动交互中的数据收集瓶颈。我们进一步提出了一个概念性路线图，以系统地从自主进化智能体的三个基本支柱中移除人类先验知识：任务课程、结果验证和内存管理。我们验证了 Darwin 基础设施为这一路线图的第一阶段提供了所需的稳定性和可扩展性：GUI 领域的策略优化。这项工作为朝着真正自主、自我进化的 GUI 智能体奠定了必要的实践和理论基础。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决构建自主进化型（self-evolving）移动GUI智能体所面临的基础性挑战，具体可分为理论范式与工程实现两个层面：

1. 理论范式：移除人类先验以达成通用智能

受”Bitter Lesson”（Sutton, 2019）与”Big World”假设（Javed and Sutton, 2024）启发，论文提出通用智能应通过与复杂度远超智能体本身的外部世界交互而自然涌现，而非依赖人工编码的先验知识。为此，需系统性地从以下三个自进化智能体的基础支柱中移除人类干预：

任务课程（Task Curriculum）：突破固定人工设计任务的限制，建立能根据智能体能力边界动态调整问题难度的机制；
结果验证（Outcome Verification）：摆脱对人工设计程序验证函数的依赖，实现对开放域任务目标的语义级自主验证；
智能体状态（Agent State）：超越人工设计的固定记忆窗口（如滑动窗口），使智能体能够自主学习如何压缩、组织与检索历史交互经验。

2. 工程实现：可扩展的自主强化学习基础设施

为在移动GUI领域实现上述理论，论文解决了构建端到端训练系统的关键工程瓶颈：

环境稳定性与真实性：针对基于ADB的模拟器不稳定问题，提出基于云手机的Gymnasium环境，以真实移动生态系统作为”Big World”的数字化代理，确保非平稳性、部分可观测性与近乎无限的可组合任务空间；
数据收集瓶颈：通过**异步代理-环境循环（asynchronous agent-environment loop）**架构，解决移动设备高且可变的网络延迟导致的GPU空闲问题，实现跨并行云手机实例的高吞吐量经验采集；
训练稳定性：针对多轮LLM强化学习中critic函数偏差导致的策略崩溃，提出校准初始化与warm-up机制，确保在稀疏奖励与长时程任务中的稳定策略优化。

简言之，该工作建立了Darwin Mobile Agent——一个开源的异步分布式训练框架，为在真实移动GUI环境中通过强化学习实现完全自主、自我进化的智能体提供了可扩展的基础设施与分阶段的技术路线图。

Q: 有哪些相关研究？

该论文的相关研究可归纳为以下六个核心领域，涵盖理论基础、环境基准、学习算法与系统架构：

1. 通用智能涌现的理论基础

“Bitter Lesson”与可扩展学习：Sutton (2019) 指出有效的人工智能方法应随算力扩展而非依赖人类知识，这构成论文移除人工先验的核心动机。
“Big World”假设：Javed and Sutton (2024) 与 Lewandowski et al. (2025) 提出通用智能源于与复杂度远超智能体本身的世界交互，论文据此将移动GUI视为满足该条件的”Big World”代理。
有限理性与通用AI：Simon (1955, 1956) 的有限理性理论支持在部分可观测环境下的决策，Hutter (2005) 的通用人工智能框架为序列决策提供了理论基础。

2. 移动GUI环境与基准测试

早期模拟环境：AndroidEnv (Toyama et al., 2021) 尝试通过ADB构建RL环境，但稳定性不足；AndroidInTheWild (Rawles et al., 2023) 和 AndroidWorld (Rawles et al., 2024) 提供大规模数据集但依赖底层XML状态，难以扩展。
当代基准：Spa-Bench (Chen et al., 2025) 提供多样化真实应用任务；MobileUse (Li et al., 2025) 和 Mobile-Agent-v3 (Ye et al., 2025) 探索分层反思机制，但依赖人工设计的工作流而非端到端RL。

3. 非马尔可夫与持续强化学习

广义智能体-环境接口：Dong et al. (2022) 提出基于历史的智能体状态形式化；Abel et al. (2023, 2024) 探讨持续RL与超越马尔可夫属性的学习；Elelimy et al. (2025) 重新审视持续RL的基础假设。这些工作支撑论文对非平稳、部分可观测移动环境的建模。

4. LLM智能体的策略优化

基础模型：UI-TARS (Qin et al., 2025) 作为论文实验的基础视觉-语言模型。
策略梯度方法：Schulman et al. (2017) 的PPO与Schulman et al. (2015) 的GAE构成论文核心优化算法；Shao et al. (2024) 的GRPO用于对比分析（论文指出其在多轮交互中不如token级GAE）。
推理能力激发：DeepSeek-R1 (Guo et al., 2025) 展示通过RL激发LLM推理能力，与论文目标一致。

5. 分布式训练架构

高效RL框架：GiGPO (Feng et al., 2025) 提供组内组策略优化；VERL (Sheng et al., 2025) 支持灵活的训练流程；VAPO (Yue et al., 2025) 探讨高级推理任务的RL稳定性。Darwin Mobile Agent 基于 GiGPO 与 VERL 构建，并针对异步移动环境进行扩展。

6. 分层与自适应学习

时间结构发现：Klissarov et al. (2025) 综述分层RL，与论文提出的任务生命周期协议（setup/execution/teardown）及未来自适应课程学习的研究方向相关。

Q: 论文如何解决这个问题？

该论文通过Darwin Mobile Agent框架从工程基础设施与理论范式两个维度系统性地解决自主进化智能体的构建难题。具体解决方案包括以下五个层面：

1. 可扩展的异步环境基础设施

针对移动设备交互延迟高、不稳定导致的训练瓶颈，论文设计了云原生的异步架构：

云手机集群：采用真实云托管Android设备替代本地模拟器，通过ADB控制，避免硬件限制与模拟器不稳定问题，确保非平稳环境的高保真度
异步并行执行：解耦环境Worker与策略推理进程，Worker完成步骤后立即推送结果至中央推理队列并继续执行，消除同步等待。学习者从队列消费批次数据，实现GPU计算与环境执行的流水线并行
持久状态管理：放弃昂贵的系统镜像重置，采用”最小清理”（返回主屏幕）策略，将文件系统、剪贴板等状态持久性视为特征而非缺陷，强制智能体学习在真实非平稳环境中鲁棒操作
任务生命周期协议：将任务分解为Setup→Execution→Teardown三阶段，由智能体自主管理环境状态转换，替代人工环境重置，支持长程复杂工作流

2. 模块化学习架构（Agent-Workflow抽象）

为实现”移除人类先验”的灵活性，论文提出双层抽象结构：

Agent接口：封装决策过程，包含：
上下文处理函数 psi: H to S ：将历史映射为有限状态（提示），支持可插拔的记忆机制（滑动窗口、摘要等）
动作投影 xi: V^* to A ：将LLM生成的token序列解析为可执行环境动作
Workflow接口：管理智能体-环境循环的协调逻辑，支持动态任务采样、内部奖励生成等机制的注入，使课程学习与验证逻辑可从外部逐步内化至智能体

训练循环采用原子级转换存储：异步推送 (o_t, a_t, r_t) 至中央缓冲区，优化阶段重构完整轨迹以支持全局GAE（广义优势估计），避免中途截断导致的critic偏差。

3. 渐进式移除人类先验的三阶段路线图

论文提出系统性的三阶段进化路径，将智能体从依赖人工设计演进至完全自主：

(1) 任务课程（Task Curriculum）

阶段一（当前）：人工选择难度适中的任务（如SPA-Bench子集），确保非零初始成功率以提供学习梯度
阶段二：引入更 capable 的外部模型，基于智能体交互历史自动评估任务可学习性
阶段三：智能体元学习自主管理课程，动态生成或选择任务，突破外部模型的能力上限

(2) 结果验证（Outcome Verification）

阶段一：程序验证（依赖系统内部状态，无法泛化）
阶段二（当前）：采用LLM-as-Judge（基于Gemini-2.5-Flash），输入完整视觉与动作历史，实现语义级开放域验证（F1分数达0.91）
阶段三：智能体学习自主验证，使成功标准随能力进化而动态调整

(3) 智能体状态（Agent State）

阶段一（当前）：可配置的启发式缓冲（如保留最近 N 轮交互，对Qwen3-VL使用自然语言动作摘要替代原始坐标）
阶段二：外部LLM作为记忆管理器，将历史蒸馏为摘要并提取应用级功能知识
阶段三：智能体自主学习状态压缩与知识组织，优化长期记忆表示

4. 训练稳定性保障机制

针对多轮LLM强化学习中的不稳定问题，论文提出具体技术措施：

Critic校准初始化：将critic偏置初始化为0.1（ σ=0 ），避免随机初始化导致的值估计越界（回报被约束于$
0,1
$），防止策略崩溃
Warm-up阶段：前30个训练步仅更新critic，冻结策略参数，确保值函数提供稳定基线后再启动策略优化
截断处理：对因系统崩溃导致的轨迹截断，假设下一状态值 V(s’)=0 （悲观估计），优于依赖不准确的critic自举，减少优势估计偏差

5. 验证与扩展性验证

通过实证研究验证解决方案的有效性：

信号可靠性：验证LLM judge与人工标注的一致性（英语任务准确率90%），确认其可作为RL稳定监督信号
水平扩展性：证明从8任务/16手机扩展到16任务/32手机时，学习收敛率保持一致，支持”Big World”复杂度随硬件线性扩展
鲁棒性：在32手机配置下经历网络中断后，训练可自动恢复而不 destabilize，验证系统在真实世界波动中的稳定性

Q: 论文做了哪些实验？

论文通过六项针对性实验验证Darwin基础设施的稳定性、可扩展性与鲁棒性。所有实验均采用UI-TARS-7B作为基础模型，任务选自SPA-Bench（Chen et al., 2025），具体包括：

1. 奖励信号校准实验（Reward Signal Calibration）

目的：验证LLM-based judge（Gemini-2.5-Flash）作为自动化验证器的可靠性，确保其能提供稳定的强化学习监督信号。

设置：

在296条人工标注轨迹（147条英文，149条中文）上评估不同提示配置
对比不同输入配置：仅最终状态、完整轨迹、带标记坐标、执行摘要等

关键发现：

最优配置（完整视觉与动作历史）在英文任务上达到F1分数0.91（准确率90%），中文任务上达到F1分数0.85（准确率89%）
完整交互历史是提升判断准确性的最关键因素，仅看最终状态会导致性能显著下降

2. 策略优化稳定性实验（Infrastructure Stability）

目的：验证核心强化学习循环（异步交互+验证+策略优化）在标准条件下的稳定性。

设置：

8个任务在8部云手机上并发执行
每训练步对应256个环境步（8手机×32步/回合）
前30步为critic warm-up阶段（冻结策略参数）

关键发现：

如图2所示，经过warm-up后，智能体在任务集上表现出持续稳定的成功率提升
证实了Darwin基础设施能够在移动GUI领域维持稳定的策略优化循环

3. 分布式可扩展性实验（Distributed Scalability）

目的：检验系统通过增加并行设备数量提升训练吞吐量的能力，以及处理离策略数据漂移的鲁棒性。

设置：

对比三种配置：8部、16部、32部云手机
固定每训练步的rollout大小为256步
随着设备增加，系统会累积更多离策略数据（因等待完整轨迹而超量收集）

关键发现：

学习稳定性：如图3a所示，三种配置均收敛至相近的平均成功率，离策略数据漂移未损害学习效果
吞吐量扩展：如图3b所示，从8部扩展到16部显著减少训练时间，但32部时出现饱和（瓶颈转向模型推理与批处理开销）
故障恢复：32部配置在中途遭遇网络中断（图中平台期），连接恢复后训练自动继续且未失稳

4. 学习任务可扩展性实验（Learning Scalability）

目的：评估当任务数量与硬件资源成比例增加时，学习过程的可预测性（水平扩展性）。

设置：

对比8任务/16手机（基线）与16任务/32手机（扩展）
扩展配置下，PPO批次大小与每步收集的总经验量均加倍，保持资源-任务比例恒定

关键发现：

如图4所示，两种配置的学习曲线几乎重合，在相同训练步数内达到相近的收敛水平
表明系统支持水平扩展：通过成比例增加硬件可管理环境复杂度增长，为”Big World”训练提供可预测路径

5. 任务生命周期验证实验（Task Lifecycle Validation）

目的：验证3.3节提出的自动化任务生命周期协议（Setup→Execution→Teardown）能否在扩展训练中维持环境一致性。

设置：

对比标准重置与”cycle”协议（包含自动化设置与拆卸阶段）
8个任务在16部手机上执行，其中：3个任务无需辅助阶段，1个含设置阶段，4个含拆卸阶段

关键发现：

如图5所示，两种协议在主要任务执行阶段（图5b）的成功率相当，表明辅助阶段未牺牲核心任务性能
智能体在设置阶段（图5a）和拆卸阶段（图5c）均表现出明显的学习趋势，成功掌握了环境状态管理技能
验证了该协议支持长期自主训练，无需人工干预环境重置

6. 学习鲁棒性实验（Critic Bias and Bootstrapping Stability）

目的：探究critic初始化策略与截断轨迹处理方式对多轮LLM强化学习稳定性的影响。

设置：

初始化实验：对比随机初始化、随机初始化+warm-up、校准初始化（偏置=0.1, σ=0）
截断实验：对比从critic自举估计下一状态值 vs. 假设截断点状态值 V(s’)=0

关键发现：

初始化敏感性：如图6a所示，随机初始化无warm-up导致立即策略崩溃；而校准初始化（0.1偏置）本身即可防止崩溃，甚至加速学习（允许立即策略更新）
截断处理：如图6b所示，将截断视为终止状态（ V(s’)=0 ）比依赖critic自举获得更快的学习速度与更高的最终成功率
表明在多轮任务中，可预测的悲观偏差比不可靠的critic估计更利于稳定学习

实验超参数汇总

参数类别	具体设置
模型	UI-TARS-7B (Qin et al., 2025)
优化器	PPO (clip ratio=0.2, GAE λ=0.95)
学习率	Actor 1×10^(-6) , Critic 1×10^(-5)
序列长度	最大提示长度8192，最大响应长度512
环境	最大步数32/回合，动作执行等待2秒
critic稳定化	Warm-up 30步，或偏置初始化0.1

Q: 有什么可以进一步探索的点？

基于论文提出的三阶段进化路线图及现有局限，未来研究可从以下五个维度深入探索：

1. 自主任务课程的元学习（Meta-Learning for Curriculum）

当前实现处于第一阶段（人工选择任务），未来需向第三阶段（智能体自主管理课程）演进：

自动难度评估：开发基于智能体交互历史的在线可学习性（learnability）估计器，动态调整任务采样分布，维持”能力边界”处的最优学习梯度（第4.3节）
任务生成与组合：探索智能体自主合成新任务（如通过LLM生成指令或修改现有任务参数），突破固定任务集的局限，实现开放式技能扩展
跨应用泛化：研究任务课程在不同应用生态间的迁移，使智能体能将单一应用内习得的抽象模式（如搜索、导航）泛化至未见应用

2. 内生验证机制（Endogenous Verification）

当前采用第二阶段（外部LLM作为裁判），需推进至第三阶段（智能体自验证）：

自举式验证学习：训练智能体同时执行操作与预测操作结果，通过预测误差构建内部奖励模型，逐步替代外部LLM裁判（第4.3节）
多智能体验证：引入对抗或协作验证智能体，通过博弈机制减少对单一外部裁判的依赖，提高验证的鲁棒性与可扩展性
语义-像素对齐：提升验证器对细粒度UI变化（如像素级动画、动态加载状态）的敏感度，解决当前LLM裁判可能忽略的界面微状态问题

3. 可学习的记忆架构（Learnable Memory Management）

当前为第一阶段（启发式滑动窗口），未来需实现：

分层记忆系统：借鉴神经图灵机或差分神经计算机，使智能体学习如何写入、读取和擦除长期记忆，而非依赖固定窗口（第4.3节）
抽象知识提取：训练智能体从原始交互历史中自动提取应用级功能知识（如”设置菜单通常位于个人资料页”），形成可复用的程序性记忆
跨会话记忆持久化：探索在设备重启、应用更新等非平稳事件后，如何保持和更新长期记忆，实现真正的”终身学习”

4. 世界模型与内在动机（World Models & Intrinsic Motivation）

预测性世界模型：构建对移动UI动态（如网络延迟、动画过渡、弹窗广告）的预测模型，使智能体能够进行规划（planning）而非仅反应式执行（第6节）
内在奖励机制：在稀疏外部奖励基础上，引入基于好奇心的探索奖励（prediction error）或基于能力的成就感（competence-based intrinsic motivation），支持无明确指令的自主探索
因果推理能力：使智能体能够理解操作与界面状态变化的因果关系，而非仅学习相关性模式，提高对异常UI行为的鲁棒性

5. 系统架构与部署优化

异构设备扩展：当前实验基于同构云手机，未来需验证在设备型号、屏幕分辨率、操作系统版本异构环境下的训练稳定性（第5.3节）
安全与对齐：在完全自主进化场景下，需建立防止智能体通过”黑客手段”（如利用系统漏洞）完成任务的护栏机制，确保行为符合人类意图（第3.2节提到的持久状态风险）
高效推理架构：探索模型蒸馏或边缘部署，将训练好的策略部署至资源受限的真实移动设备，而非仅依赖云端推理
多智能体协作：扩展Workflow抽象以支持多智能体并行操作（如一个负责搜索、一个负责比价），研究去中心化的群体智能涌现

6. 理论基础与评估基准

非平稳性形式化：为移动GUI领域的非马尔可夫决策过程建立更严格的理论框架，量化”Big World”复杂度与智能体能力增长的动态关系（第2节）
动态基准测试：建立随时间自动演化的评估基准（如应用自动更新UI后），测试智能体的持续适应能力，替代当前的静态SPA-Bench评估（第5节）

Q: 总结一下论文的主要内容

该论文提出了 Darwin Mobile Agent，一个面向移动 GUI 领域的开源自主进化智能体基础设施，其核心内容与贡献可概括如下：

1. 核心问题与研究动机

受 “Bitter Lesson”（Sutton, 2019）与 “Big World” 假设（Javed and Sutton, 2024）启发，论文指出通用智能的涌现需满足两个条件：

系统性地移除人类先验：智能应通过交互自然涌现，而非依赖人工编码知识；
与复杂度远超自身的世界交互：移动 GUI 生态系统（非平稳、部分可观测、任务组合无限）是真实世界的数字代理，符合 “Big World” 特征。

基于此，论文识别出自进化智能体的三大功能支柱：

任务课程（Task Curriculum）：动态提出符合能力边界的问题流；
结果验证（Outcome Verification）：生成驱动学习的奖励信号；
智能体状态（Agent State）：跨非平稳环境持久化与组织知识。

2. Darwin Mobile Agent 框架

2.1 可扩展的异步基础设施

针对移动设备交互延迟高、不稳定的瓶颈，提出云原生异步架构：

并行云手机集群：替代本地模拟器，通过 ADB 控制真实设备，确保环境高保真度；
异步代理-环境循环：解耦环境 Worker 与策略推理，Worker 完成步骤后立即推送结果至中央队列，实现 GPU 计算与环境执行的流水线并行，消除同步等待；
持久状态管理：放弃昂贵的系统重置，采用”最小清理”策略，将设备状态持久性（文件系统、剪贴板等）视为训练特征，强制智能体学习鲁棒策略。

2.2 任务生命周期协议

提出三阶段任务协议（Setup → Execution → Teardown），将环境状态管理内化为智能体的责任：

Setup 阶段建立任务前置条件；
Execution 阶段执行主要指令；
Teardown 阶段恢复环境至中性状态。该协议通过成功门控转换实现长程工作流的自动化，无需人工环境重置。

2.3 Agent-Workflow 架构

采用双层抽象支持渐进式内化：

Agent 接口：封装上下文处理函数 psi: H to S （历史映射为状态）与动作投影 xi: V^* to A （token 解析为可执行命令）；
Workflow 接口：管理智能体-环境循环的协调逻辑，支持动态任务采样与内部奖励生成的注入。

训练循环采用原子级转换存储：异步推送 (o_t, a_t, r_t) 至中央缓冲区，优化阶段重构完整轨迹以支持全局 GAE（广义优势估计），避免中途截断导致的价值估计偏差。

3. 三阶段进化路线图

论文提出系统性地将三大支柱从人工设计演进至自主学习的范式：

组件	第一阶段（当前）	第二阶段	第三阶段（目标）
任务课程	人工选择中等难度任务集	外部模型评估任务可学习性	智能体元学习自主管理课程
结果验证	程序验证（不可泛化）	LLM-as-Judge（当前采用）	智能体学习自验证
智能体状态	启发式滑动窗口	外部 LLM 记忆管理器	可学习的记忆架构

当前实现采用 Gemini-2.5-Flash 作为验证裁判（F1 分数达 0.91），并以可配置的时间窗口作为记忆机制。

4. 训练稳定性机制

针对多轮 LLM 强化学习的固有不稳定性：

Critic 校准初始化：将价值函数偏置初始化为 0.1（ σ=0 ），避免随机初始化导致的策略崩溃；
Warm-up 阶段：前 30 步仅更新 critic，冻结策略参数，确保基线稳定；
截断处理：对系统故障导致的轨迹截断，假设下一状态值 V(s’)=0 （悲观估计），优于依赖不准确的 critic 自举。

5. 实验验证

通过六项实验验证基础设施性能：

信号校准：验证 LLM 裁判与人工标注的一致性（英文准确率 90%，中文 89%）；
策略稳定性：8 任务/8 手机配置下，经过 warm-up 后成功率持续提升；
分布式扩展：从 8 扩展至 32 部手机，学习收敛率保持一致，且系统在网络中断后可自动恢复；
任务扩展：16 任务/32 手机配置与 8 任务/16 手机配置展现相同收敛速度，验证水平扩展性；
生命周期验证：智能体成功掌握自动化 Setup/Teardown 阶段，核心任务性能无损失；
鲁棒性：证实校准初始化与悲观截断处理对防止策略崩溃的关键作用。

6. 结论与未来方向

Darwin Mobile Agent 为移动 GUI 领域的自主强化学习提供了首个开源端到端基础设施，验证了在复杂非平稳环境中进行稳定、可扩展训练的可行性。未来工作将聚焦于三大支柱的第三阶段内化：开发可学习的任务生成器、内生验证机制与自适应记忆架构，最终实现完全自主、自我进化的智能体系统。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Daniel Beechey, Derek Yuen, Jianheng Liu, Dezhao Luo, Tiantian He, Weilin Luo, Jun Wang, Kun Shao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20622.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20622

Published: 2026-06-24T01:52:38.374Z

7. Path-dependent program induction under resource constraints explains human sequence learning

中文摘要

LLM Analysis

Q: 这篇论文试图解决什么问题？

1. 资源约束下的程序归纳问题

2. 路径依赖性与动态库构建

3. 计算成本的显式建模

记忆约束：通过参数 β 控制程序描述长度（码率）与重建精度（失真）的权衡
计算约束：通过搜索预算 λ_s （候选程序采样数）和回溯预算 λ_b （修正先前承诺的能力）限制推理过程

4. 人类序列学习的统一解释

论文进一步通过在线旋律序列学习实验验证该框架，旨在解释以下行为现象：

回忆错误为何呈现系统性简化倾向（向更易压缩的程序偏移）
反应时为何在推断的程序边界处出现选择性延长
个体学习轨迹与泛化能力如何受特定训练序列结构（跨序列相似性 vs. 序列内重复）的调节

Q: 有哪些相关研究？

这篇论文的相关研究可归纳为以下几个核心领域，涵盖认知科学、计算神经科学和人工智能的交叉方向：

1. 程序归纳与语言思维假设（Language of Thought, LoT）

论文将程序归纳视为LoT假设的形式化实现，即学习者通过获取组合式、语言般的表征来实现系统性泛化：

基础理论：Fodor (1975) 提出的LoT假设认为思维具有类似语言的组合结构
概率程序归纳：Lake et al. (2015) 在概念学习中的应用；Goodman et al. (2014) 提出的概率LoT框架
跨领域应用：包括视觉与形状感知（Rule et al., 2020; Overlan et al., 2017）、语言习得（Piantadosi et al., 2008; Ellis et al., 2022）、规划与决策（Correa et al., 2024; Sharma et al., 2021）以及音乐认知（Harasim, 2020）

2. 资源理性分析与率失真理论（Rate-Distortion Theory）

论文整合了两个传统上分离的研究传统：

资源理性框架：Lieder & Griffiths (2020) 将认知形式化为在有限计算资源下的优化；Simon (1955) 的有限理性（bounded rationality）奠基工作
RDT在认知中的应用：Sims (2016) 将RDT应用于感知；Nagy et al. (2020, 2025) 用于记忆压缩；Bates & Jacobs (2020) 用于感知记忆；Gershman (2021) 对记忆的理性分析
RDT的局限性：论文指出标准RDT假设固定编码方案（无法解释路径依赖）且忽略计算成本（Fränken et al., 2022）

3. 结构化学习与语法模型

论文对比了不同形式化学习的方法：

概率上下文无关语法（PCFG）：O’Donnell (2015) 用于语言计算与存储的生产性理论
适配器语法（Adaptor Grammar）：Johnson et al. (2006) 和 Liang et al. (2010) 提出的非参数贝叶斯框架，支持经验依赖的结构重用
分层语法：Teh (2006) 的分层Pitman-Yor过程（HPYP），为本文HAG模型提供数学基础

4. 组块（Chunking）与序列学习

经典组块理论：Miller (1956) 关于工作记忆容量限制（7±2项目）的开创性工作
计算模型：Fonollosa et al. (2015) 的神经计算模型；Wu et al. (2023) 将组块建模为速度-准确性权衡的理性解决方案
程序性组块：Sakai et al. (2003) 在人-机序列学习中的神经证据

5. 库学习（Library Learning）与概念引导

DreamCoder：Ellis et al. (2021) 通过”觉醒-睡眠”算法引导归纳程序合成与库学习
概念引导：Zhao et al. (2023) 关于人类认知中概念自举（bootstrapping）的模型
元程序搜索：Rule et al. (2024) 通过符号元程序搜索提高学习效率

6. 音乐认知与序列结构

论文使用旋律学习作为实验范式，相关背景包括：

音乐层级结构：Lerdahl (2001) 的音调音高空间理论；London (2012) 关于音乐节拍的心理学
音乐统计学习：Pearce (2018) 关于风格习得的概率预测理论；Fitch & Martins (2014) 关于音乐、语言和动作中的层级处理
序列普遍性：Mehr et al. (2019) 关于人类歌曲的跨文化普遍性研究

7. 路径依赖与课程效应

学习顺序：Dekker et al. (2022) 关于人类组合泛化的课程学习；Ritter et al. (2007) 关于主题顺序对学习的影响
主动观察成本：Dayan et al. (2020) 关于长期学习中的初始步骤成本

这些研究共同构成了论文的理论基础：将LoT的表达性与资源理性的约束条件相结合，通过分层程序库学习来解释人类如何在有限认知资源下构建可复用的结构化知识。

Q: 论文如何解决这个问题？

这篇论文通过理论形式化、计算模拟和行为实验相结合的三步法，系统性地解决了资源约束下的路径依赖程序归纳问题。具体解决方案如下：

一、理论框架：分层适配器语法（HAG）

论文核心创新是将率失真理论（RDT）与程序归纳结合，提出**分层适配器语法（Hierarchical Adaptor Grammar, HAG）**模型。

1. 双重资源约束的形式化

记忆约束（Memory Constraint）：通过参数 β 控制程序描述长度（码率 R ）与重建误差（失真 D ）的权衡。目标函数为：
L(π) = d(X, X|π) + β R(mem)(π | L(glob), L(loc))
其中 R(mem) 依赖于当前库内容——重用库中程序可降低描述长度。
计算约束（Computational Constraint）：用概率采样替代精确优化，限制推理成本：
E(π sim qλs,λ_b)[L(π)] quad s.t. quad R(comp)(π; λs, λ_b) ≤ C(limit)

具体通过两个预算实现：

搜索预算 λ_s ：候选程序采样数 N_s sim Pois(λ_s)+1
回溯预算 λ_b ：修正先前承诺的次数 N_b sim Pois(λ_b)

2. 分层程序库架构

HAG 维护两个互补的库，解决”何时重用”与”何时创新”的权衡：

全局库 L_(glob) ：跨序列累积的通用抽象，支持迁移学习
局部库 L_(loc) ：当前序列特有的模式，支持情境特异性重用

库更新遵循分层Pitman-Yor过程（HPYP）：
p(π | π(<j)^((i))) propto n(loc)(π)(局部重用) + α(loc)n(glob)(π)(全局重用) + α(loc)α(glob)H(π)_(创新)

3. 程序表示与推理

表示：使用**组合逻辑（Combinatory Logic）**作为通用程序语言，支持无变量的函数组合，任何子树都是可缓存的完整子程序。
推理：采用在线、有界的近似推断算法（Algorithm S1）：

按顺序处理序列，维护已接受子程序的栈
对每个位置，从HPYP混合分布中采样最多 N_s 个候选
允许最多 N_b 次回溯以修正近期决策
序列结束后将局部库内容传播至全局库

二、计算模拟验证

通过对比五种模型（RLE、Chunking、PCFG、AG、HAG），验证HAG的理论优势：

验证维度	关键发现
压缩效率	HAG在率-失真曲线上始终位于最左下方（图2a），表明在相同码率下失真最小
泛化性能	在未见过的测试序列上，HAG的库能支持”一次性”泛化，显著优于无库的PCFG和单层库的AG（图2a右）
学习动态	随着训练增加，HAG子程序平均覆盖的音符长度增加（图2b右），表明逐渐形成更大、更抽象的组块
资源效率	一旦建立有效库，即使搜索预算 λ_s 较小也能保持良好性能；增加回溯预算 λ_b 能显著提升AG和HAG的表现（图2c）

三、行为实验与模型拟合

1. 实验设计

96名参与者完成三阶段旋律学习任务：

Phase 1（学习）：逐音符模仿视觉提示
Phase 2（回忆）：凭记忆重建序列（测量错误模式和反应时RT）
Phase 3（泛化）：预测序列的后续发展（测试样本外生成）

2. 行为签名验证

论文识别并验证了程序归纳的四个关键行为签名：

（1）系统性简化错误

参与者错误率46%，显著低于随机基线（83%）和一阶马尔可夫模型（64%）
错误类型分析显示，“更简单程序”错误（用更易压缩的程序解释响应）占比最高（29.3%），其次是重复错误（5.5%）
混合逻辑回归显示，HAG预测是音符选择的最强预测因子（ γ = 5.82, p < .001 ）

（2）程序边界的反应时成本

RT在序列中并非单调下降，而是在模型预测的子程序边界处出现”跳跃”
混合效应回归显示，HAG边界概率是RT增加的最强预测因子（ γ = 11.66, p < .001 ），而Chunking预测反而与 faster RT 相关（因其边界过密，多数位于HAG子程序内部）

（3）库依赖的学习曲线

简单的练习指数（序列/段落编号）仅能解释<15%的方差
加入HAG推断的程序复杂度（描述长度）后，模型拟合显著提升（ chi^2(1) = 24.11, p < .001 ），表明学习改善源于库积累而非一般性练习

（4）个体化库的泛化预测

用Phase 1-2数据拟合的参与者特定HAG库，能最好地预测Phase 3的自由连续选择（负对数似然最低）
HAG预测的个体错误率与实际错误率相关性最强（ r = .23, p < .001 ）

3. 模型比较与参数恢复

模型选择：HAG在53/96名参与者中达到最低BIC，保护性超越概率（PXP）显示HAG是最可能的群体生成模型（图5a-b）
参数可恢复性：通过模型恢复分析，HAG参数可被可靠估计（Kendall’s τ ≥ .56 ），且参数间相关性低（ r < .25 ），表明五参数捕捉不同认知维度
个体参数-行为关联：
记忆容量 β^(-1) 与计算预算 λ_s, λ_b 负相关（ r ≈ -.20 ），显示资源权衡
计算预算与RT推断的组块大小正相关，表明更多计算资源支持更大抽象单元
全局-局部重用参数差异（ α(glob) - α(loc) ）与训练材料结构匹配：跨序列相似性高的参与者更依赖全局库

四、总结

论文通过HAG框架将解决方案形式化为：

表征层面：程序是组合逻辑的层次树，支持嵌套重用
学习机制：通过HPYP动态更新双库，实现路径依赖的压缩
认知约束：双重预算（搜索+回溯）限制推理，解释为何人类会犯特定错误（如简化偏差）并表现出边界处理成本
经验证据：行为数据中的错误模式、RT特征和泛化表现与HAG预测定量吻合，且优于固定语法（PCFG）、表面组块（Chunking）和单层库（AG）模型

这一解决方案首次将”学习作为程序归纳”与”资源理性”统一，解释了人类如何在有限认知资源下，通过经验顺序塑造的库积累，构建可复用的结构化知识。

Q: 论文做了哪些实验？

论文开展了一项在线旋律序列学习实验（melodic sequence-learning experiment），旨在验证资源约束下的路径依赖程序归纳理论。实验设计包含三个核心阶段，结合计算模型拟合与行为测量，系统考察人类如何在有限认知资源下构建和重用结构化表征。

一、实验设计概览

要素	详情
被试	96名参与者（原招募100，排除4人技术故障；56女；平均年龄34.28岁）
平台	Prolific在线实验，浏览器环境
刺激	真实MIDI旋律（Garcia-Valencia et al., 2020数据集），经预处理归一化为6个音高类，每序列80-120音符
试次结构	每位参与者随机分配5个旋律序列，每序列分为6个段落（mean length = 14.89音符）
报酬	基础£4.00 + 表现奖金（£2.68±1.17），时长约47分钟

二、三阶段实验流程

实验采用学习-回忆-预测的交叉设计（图1b）：

Phase 1：逐音符学习（Learning）

任务：参与者观察旋律段落，逐音符模仿视觉提示（屏幕上显示当前应按键的音符）
目的：建立对序列的初步表征
测量：按键准确性（正确率接近完美，error rate ≈ 4%）

Phase 2：回忆重建（Recall）

任务：无视觉提示，凭记忆逐音符重建刚才学习的段落
呈现方式：前5个段落（Segments 1-5）采用学习-回忆交替进行（即学完第1段后回忆第1段，再学第2段…）
关键测量：
错误模式（Error patterns）：笔记级别的音高偏差
反应时（Reaction time, RT）：音符间按键间隔（log-transformed）

Phase 3：泛化预测（Continuation/Generalization）

任务：基于前5段学习的内容，自由预测第6段（从未呈现过的”ground truth”延续）
目的：测试习得表征的组合泛化能力（是否能基于学到的结构生成合理的新序列）
测量：预测的音符序列与真实第6段的匹配程度

三、行为数据分析方法

1. 错误分类分析（Error Pattern Analysis）

将回忆错误（Phase 2）系统分类为4类，以区分表面记忆与程序性压缩：

垂直偏移（Vertical shift）：整段旋律恒定音高偏移（如整体高2度）
时间偏移（Temporal shift）：正确音符但时间错位
重复错误（Repetition）：复制先前出现的音符（RLE式单音重复或Chunking式多音块重复）
简化程序（Simpler program）：错误响应比真实序列更易被压缩程序解释（如将不规则模式规则化）

2. 反应时分析（RT Analysis）

组块边界检测：计算连续音符间RT变化（ Delta rj = log r(j+1) - log r_j ），当变化超过均值+1标准差时标记为”边界”
程序边界预测：检验模型预测的子程序边界是否与RT跳跃对齐

3. 模型拟合与比较

Trial-by-trial fitting：将HAG及对比模型（PCFG, AG, Chunking, RLE）拟合到每位参与者的逐音符选择数据
参数估计：估计5个关键参数（ β , λs , λ_b , α(glob) , α_(loc) ）
模型恢复验证：通过模拟数据验证模型可识别性

4. 泛化测试（Out-of-sample Prediction）

使用Phase 1-2拟合的个体化库，生成对Phase 3（第6段）的预测分布
计算模型预测与参与者实际连续选择的负对数似然（nLL）

四、核心实验发现

错误模式：参与者错误率46%，显著低于随机基线（83%）；“简化程序”错误占主导（29.3%），支持资源约束下的压缩偏差。
反应时特征：RT在模型推断的程序边界处显著延长（HAG边界预测系数 γ = 11.66, p < .001 ），表明存在子程序切换的认知成本。
学习动态：段落水平错误率的变化由程序复杂度（描述长度）解释，而非单纯练习效应，表明学习源于库积累。
模型竞争：HAG在53/96名参与者中达到最低BIC，且最好地预测了个体化的泛化行为（Phase 3连续选择）。
参数-行为关联：拟合的搜索预算（ λ_s ）和回溯预算（ λ_b ）与RT推断的组块大小正相关；全局-局部重用策略与训练材料的跨序列相似性匹配。

五、补充实验细节

刺激控制：每段旋律经随机移调（random transposition），确保学习的是相对音程结构而非绝对音高
难度控制：段落长度（~15音符）超过工作记忆容量（7±2），迫使参与者使用压缩策略
训练检查：包含3道理解题确保参与者明白任务要求

该实验通过错误模式、时间动力学（RT）、学习曲线和泛化行为四个维度的 converging evidence，系统验证了分层程序库在资源约束序列学习中的核心作用。

Q: 有什么可以进一步探索的点？

基于论文的局限性与讨论部分，以下是可以进一步探索的重要研究方向：

一、领域扩展与普遍性验证

现状：实验仅使用音乐旋律作为测试领域。
探索方向：

语言习得：测试儿童或成人如何从语料库中归纳语法规则，特别是跨语句的短语库构建（如论文所述，语言是自然的下一个目标）
数学概念学习：研究学生如何通过库积累掌握代数结构或几何证明，验证”概念自举”（conceptual bootstrapping）机制
视觉-动作学习：如工具使用、运动技能中的程序重用（参考论文提到的视觉概念学习文献）
跨文化验证：测试非西方音乐体系或非字母文化中的序列学习，验证分层库学习的普遍性

二、神经机制与生理基础

现状：纯行为与计算建模研究，缺乏神经证据。
探索方向：

神经影像学研究：使用fMRI或MEG观察程序边界处的神经活动（预测在边界处应观察到前额叶-纹状体回路的”重置”信号，类似层次化动作控制的神经特征）
神经计算模型：将HAG与循环神经网络（RNN）或Transformer结合，构建”神经-符号”混合模型，解释程序归纳的神经实现
脑损伤患者研究：检验工作记忆受损或前额叶损伤患者是否表现出特定的库学习缺陷（如无法形成全局库或局部库）

三、认知资源的精细操控与测量

现状：资源约束通过模型参数间接估计，未在实验中直接操纵。
探索方向：

时间压力操纵：在Phase 2回忆阶段施加反应时限，检验论文预测——时间压力应增强对现有库项目的依赖，减少新结构探索（与Rubino et al., 2026的预测一致）
双任务范式：在学习阶段加入次级任务（如工作记忆负荷），直接测试计算预算 λ_s 和 λ_b 的因果作用
眼动与手指运动追踪：精确测量程序边界的”准备成本”，区分运动执行延迟与认知重编码延迟

四、库动态与元认知

现状：主要关注库的构建，对库的维护、遗忘、重构关注有限。
探索方向：

库的”遗忘”机制：研究长期未使用的库项目如何衰减（类似论文引用的Nagy et al., 2020的最优遗忘理论）
库重构（Refactoring）成本：当新证据与现有库结构冲突时，学习者何时选择修改库结构而非创建新条目（涉及库维护的计算成本）
元认知监控：学习者是否能够内省地感知自己的”库状态”，并据此调整探索-利用权衡（如意识到自己已掌握某模式后加速学习）

五、路径依赖与课程设计（Curriculum Effects）

现状：提及但未实验验证路径依赖的因果效应。
探索方向：

训练顺序操纵：系统性地改变子程序呈现的先后顺序，测试**“基础优先”（foundational subprograms first）**是否确实导致更高效的库构建（如论文预测的”curriculum effects”）
阻断vs.交错学习：比较集中练习同类结构（阻断）与混合不同结构（交错）对全局库 vs. 局部库发展的影响
迁移学习的边界条件：测试在何种结构相似度阈值下，全局库的重用会发生或失败

六、社会与交互维度

探索方向：

教学与学习：教师如何根据学习者的当前库状态”支架”（scaffold）新内容？最优教学序列应如何依赖学习者的 α(glob) 和 α(loc) 参数？
集体智慧：多个学习者共享库时（如文化演化），群体层面的程序库如何涌现？这与论文引用的”iterated learning”（Reali & Griffiths, 2009）文献结合
人机协作：设计基于HAG的智能导师系统，实时推断人类学习者的库状态并提供个性化练习

七、模型扩展与算法改进

探索方向：

连续参数空间：当前模型使用离散符号（音符），扩展到连续动作空间（如肢体运动轨迹）需要新的程序表示（如神经程序归纳）
概率程序执行：当前假设程序确定性地生成序列，可引入随机程序（stochastic programs）以建模生成式过程中的不确定性
在线学习与终身学习：模拟极长时间尺度（数月到数年）的库积累，研究”灾难性遗忘”与”结构僵化”问题

八、临床应用

探索方向：

发展性协调障碍（DCD）或失读症（Dyslexia）：这些群体在序列学习上的困难可能源于特定的库构建缺陷（如过度依赖局部库而缺乏全局抽象，或计算预算异常）
认知康复：设计基于程序归纳的训练方案，帮助患者重建受损的层级化动作表征

这些方向均源自论文的理论框架，特别是资源约束、路径依赖和分层库学习这三个核心机制，有望在未来几年推动结构学习理论的精细化与跨学科整合。

Q: 总结一下论文的主要内容

这篇论文探讨人类如何在记忆与计算资源受限的条件下，从序列经验中构建抽象、可复用的结构化知识。核心内容可概括为以下五个方面：

1. 核心问题与理论缺口

传统研究存在两个局限：

静态率失真理论（RDT）：假设固定编码方案，无法解释学习中的路径依赖（早期经验如何塑造后续表征）
忽视计算成本：仅关注存储成本（码率），忽略发现表征所需的搜索成本

2. 分层适配器语法模型（HAG）

论文提出HAG（Hierarchical Adaptor Grammar），将序列学习形式化为资源约束下的程序归纳：

双重约束：

记忆约束（ β ）：权衡重建精度（失真）与程序描述长度（码率），重用库中程序可降低编码成本
计算约束（ λ_s, λ_b ）：限制候选程序采样数（搜索预算）和修正先前承诺的能力（回溯预算）

分层程序库：

全局库 L_(glob) ：跨序列累积的通用抽象，支持迁移
局部库 L_(loc) ：当前序列特有的模式，支持情境特异性重用
通过分层Pitman-Yor过程（HPYP）动态更新，实现路径依赖的压缩与积累

3. 实验验证

开展在线旋律学习实验（ n=96 ），三阶段设计：

学习：逐音符模仿
回忆：凭记忆重建（测量错误模式与反应时RT）
泛化：预测未见过的新段落（测试库的组合重用）

4. 关键发现

错误模式：参与者错误呈现系统性简化（向更易压缩的程序偏移），”更简单程序”错误占比最高（29.3%）
程序边界成本：RT在模型推断的子程序边界处显著延长，表明层级切换的认知成本
模型比较：HAG在53/96名参与者中拟合最优，显著优于固定语法（PCFG）、表面组块（Chunking）和单层库（AG）模型
个体参数-行为关联：计算预算（ λ_s, λ_b ）与RT推断的组块大小正相关；全局-局部重用策略与训练材料结构匹配

5. 理论贡献

统一框架：首次整合”程序归纳”（Language of Thought）与”资源理性”，解释结构学习如何在有限认知资源下实际运作
动态表征：证明学习不是静态优化，而是路径依赖的库积累过程——早期发现的程序降低后续相似结构的编码与发现成本
可复用知识：揭示人类通过构建分层程序库，实现从具体到抽象、从特定到通用的知识重组

简言之，论文提出人类序列学习是在记忆与计算双重约束下的路径依赖程序归纳，通过分层库的动态积累，实现高效压缩与系统性泛化。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hanqi Zhou, David G. Nagy, Peter Dayan, Charley M. Wu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20623.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20623

Published: 2026-06-24T01:52:38.374Z

8. In LLM Reasoning, there is Irrationality on top of Value Misalignment

中文摘要

摘要：在将大型语言模型（LLMs）与目标价值函数对齐方面已经取得了显著进展。我们提出，即使一个LLM在（后）训练中已经很好地对齐，它在推理中仍可能无法最大化对齐的价值。我们将这一差距在数学上形式化为理性价值风险：模型部署的推理策略与其理性对应策略之间的效用差异，其中理性对应策略被定义为沿陡峭方向最大化期望效用的响应。理性价值风险的估计误差进一步分解为来自有限候选、有限提示和不完美验证器的三个组成部分。我们进行了广泛的实验，涵盖了Llama-3.1、Qwen-2.5、T{“}ulu-3系列（7B-72B）、GPT-5.2、GPT-5.5和DeepSeek-V4模型，以及UltraFeedback、AlpacaEval、GSM8K、MATH、HumanEval和MathArena基准。结果验证了：(1) 理性价值风险普遍存在；(2) 价值对齐可以降低风险，但无法消除；(3) 该风险对推理时的策略高度敏感；(4) 更长的推理能够提高理性水平，但收益递减。代码地址为该https URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决大型语言模型（LLM）推理中价值对齐后的理性缺失问题。具体而言，论文识别并形式化了以下核心问题：

区分两类失败来源：将价值不对齐（value misalignment，模型学习到的价值函数本身存在偏差）与非理性推理（irrational reasoning，模型在价值函数已对齐的情况下仍无法做出最优决策）分离；
建立形式化度量：提出理性价值风险的数学定义及其在有限计算资源下的经验估计器，并分析其估计误差（包括候选近似误差、提示采样误差和验证误差）；
验证经验现象：通过覆盖开源模型（Llama-3.1、Qwen-2.5、Tülu-3系列）和闭源模型（GPT-5.2、GPT-5.5、DeepSeek-V4）的广泛实验，验证理性价值风险的普遍性、价值对齐方法的局限性、推理策略的敏感性以及推理长度对理性的边际效应递减规律。

简言之，该论文试图阐明：价值对齐训练本身并不能保证推理时的理性行为，并为此提供了一套理论框架和实证诊断工具。

Q: 有哪些相关研究？

根据论文第2节及相关内容，相关研究可分为以下三个维度：

1. 机器学习中的理性理论

该方向主要从决策理论和强化学习视角研究理性行为的形式化定义与度量：

PAC式理性：Valiant (1995) 提出了基于概率近似正确（PAC）框架的理性哲学论述，为理性计算提供复杂性理论基础。
有限理性与表示权衡：Abel (2019) 在强化学习中定义了有限理性，证明理性决策需在表示简单性与预测准确性之间权衡；Evans et al. (2025) 则通过Wasserstein约束从行为数据中建模有限理性。
理性公理化：Sunehag and Hutter (2015) 为理性强化学习智能体推导了决策理论公理体系，尽管这些公理排除了许多标准算法。
理性度量理论：Qian et al. (2026) 设计了针对强化学习智能体的理性度量指标并建立了相应的理性理论，但此类结果难以直接应用于LLM推理场景（特别是对齐后的推理阶段）。

2. 大语言模型中的理性研究

该领域主要从认知科学、决策理论和行为审计三个角度评估LLM的理性：

2.1 认知科学视角

通过认知心理学实验范式检验LLM是否表现出类人的认知偏差与启发式：

认知偏差与启发式：Binz and Schulz (2023); Hagendorff et al. (2023); Macmillan-Scott and Musolesi (2024); Yax et al. (2024) 等研究表明LLM表现出内容效应、认知偏差和有限理性特征。
推理任务中的内容效应：Lampinen et al. (2024); Coda-Forno et al. (2024) 发现LLM在推理任务中表现出类似人类的内容效应。
综合评估：Malberg et al. (2025); Brady et al. (2025) 对LLM中的认知偏差进行了全面评估。

2.2 决策理论与经济学视角

检验模型选择是否符合效用最大化及偏好公理：

效用最大化与风险偏好：Chen et al. (2023); Jia et al. (2024) 评估了LLM在不确定情境下的经济理性与决策行为。
偏好公理检验：Song et al. (2025) 利用传递性公理基准测试AI决策的理性；Liu et al. (2025) 研究逻辑偏好一致性。

2.3 理性行为审计与改进

通过外部干预提升模型理性：

信念与偏好一致性：Kassner et al. (2023); Echterhoff et al. (2024) 关注信念一致性和认知偏差去偏。
理性思维提示：Koo et al. (2024); Gou et al. (2024) 提出通过理性思维提示（rational thought prompting）改进推理。
综述与基准：Jiang et al. (2025); Zhou et al. (2025) 整合了理性智能体的多维概念（一致性、基础性、证据对齐决策等）。

3. 价值对齐与推理策略

与本文密切相关的训练与推理方法研究：

价值对齐方法：包括监督微调 SFT (Ouyang et al., 2022)、基于人类反馈的强化学习 RLHF (Christiano et al., 2017; Stiennon et al., 2020)、直接偏好优化 DPO (Rafailov et al., 2023)、宪法训练 Constitutional Training (Bai et al., 2022) 以及可验证奖励的强化学习 RLVR (Shao et al., 2024)。
推理策略：Wei et al. (2022) 提出的思维链提示（Chain-of-Thought Prompting）是本文实验中使用的基线方法。
评估指标：Chen et al. (2021) 提出的 pass@ k 指标被本文作为对比，用于说明理性价值风险与通过 k 次尝试解决问题的概率之间的区别。

关键差异：已有研究主要关注LLM是否表现出一致性、符合偏好公理或存在认知偏差，但未将对齐后仍存在的效用损失形式化为”理性价值风险”，也未明确区分价值不对齐与非理性推理这两种失败来源。本文首次从期望效用最大化角度，将推理时的非理性定义为部署策略与理性策略之间的效用差距。

Q: 论文如何解决这个问题？

该论文并未提出消除理性价值风险的算法方案，而是通过形式化定义、理论解构与实证诊断来“解决”对该问题的理解与度量问题。具体而言，其方法论贡献包括：

1. 形式化定义与框架构建

论文首先建立了严格的数学定义，将感性认识转化为可计算的概念：

理性价值风险（Rational Value Risk）：定义为部署策略 dθ 与理性推理策略 d^circθ 之间的期望效用差距：
R(dθ) = E(xsimrho, osim P(·|x,y^circ))U(o) - E(xsimrho, ysim dθ, osim P(·|x,y))U(o)
计算受限理性（Compute-bounded Rationality）：鉴于完美理性不可计算，定义在有限采样预算 K 下的理性行为，即在 K 个独立同分布样本中选择经验效用最大的候选。

2. 可操作的估计器设计

提出可实际计算的经验理性价值风险估计器：
R(M,K,L)(dθ) = (1) / (MK)∑(i=1)^M∑(k=1)^K(UL(x_i, y^circ(i,K)) - UL(x_i, y(i,k)))
其中 U_L 为基于 L 次验证的蒙特卡洛效用估计，使该指标可在开放域对话（随机验证器）和可验证推理（确定性验证器）任务中统一应用。

3. 误差分解与理论保证（Theorem 1）

将估计误差严格分解为三个可解释、可控制的组成部分：

(I) 候选近似误差 AK(dθ) ：源于有限候选集未能覆盖高效用答案，量化为 (1-p_x)^K （ p_x 为采样到最优答案的概率）；
(II) 提示采样误差：源于有限测试集 M 的统计波动，以 O(√log(1/δ)/M) 速率收敛；
(III) 验证误差：源于随机验证器的不确定性，当验证器偏好与随机猜测边界 |q_(i,k)-1/2|>ε_L 时可消除。

该分解提供了样本复杂度指导： M=O(ε^(-2)log(1/δ)) ， L=O(ε^(-2)log(MK/δ)) ，以及 K 的选取标准。

4. 实证诊断与规律发现

通过覆盖开源与闭源模型的广泛实验，系统验证了理性价值风险的特征，为后续干预提供依据：

H1：证实风险普遍存在（RVR 从 0.027 到 0.492 不等）；
H2：证明价值对齐（SFT→DPO→RLVR）可减小但无法消除该风险；
H3：揭示风险对推理策略（温度采样、自一致性）的高度敏感性，表明可通过调整推理策略缓解；
H4：发现延长推理长度可改善理性，但存在边际效益递减。

5. 为未来解决方案奠定基础

在局限性与结论部分，论文明确指出当前工作为评估性（evaluative）而非规定性（prescriptive），但提供了未来干预的靶点：

可作为目标函数设计新的推理时算法（如验证器引导搜索、自适应采样、计算分配策略）；
可用于后训练阶段诊断，区分价值不对齐（需进一步训练）与非理性推理（需改进推理策略）；
为比较模型、策略与部署设置提供诊断工具。

简言之，论文通过建立度量标准与诊断框架来“解决”这一问题，使原本模糊的“对齐后仍表现不佳”现象转化为可量化、可分析、可针对性优化的工程问题。

Q: 论文做了哪些实验？

该论文围绕四个可验证假设（H1–H4）开展了系统性实验，涵盖对话任务与可验证推理任务。实验设计如下：

1. 实验配置与范围

评估模型

开源模型：Llama-3.1-8B-Instruct、Qwen-2.5-7B/72B-Instruct、Tülu-3-8B/70B（含SFT、DPO、RLVR三阶段）
闭源API：GPT-5.2、GPT-5.5、DeepSeek-V4-Flash

评测基准

对话偏好：UltraFeedback（自验证/外部验证）、AlpacaEval
可验证推理：GSM8K、MATH、HumanEval（开发集）及MathArena（部署级竞赛题）

默认配置

采样预算 K=64 ，温度 τ=1.0 ，验证调用次数 L=5 （对话）或 L=1 （确定性验证）
外部验证器：7B/8B模型使用Qwen2.5-14B，72B模型使用DeepSeek-V4-Flash

2. 验证理性价值风险的普遍性（H1）

通过对比理性期望效用（REU）与实际期望效用（AEU），计算理性价值风险（RVR = REU − AEU）：

结果（Table 1）：所有模型在所有基准上均呈现正RVR，范围从0.027（Qwen2.5-72B在GSM8K）到0.492（Llama-3.1-8B在UltraFeedback外部验证）。
分解分析（Table 2）：将总效用缺口 (1-AEU) 分解为不可达效用缺口 (1-REU) 与理性价值风险（RVR）。小型模型（如Tülu-3-8B-RLVR）的主要瓶颈是采样不到正确答案（RVR仅占12.6%），而大型/闭源模型（如GPT-5.2）虽显著降低不可达缺口，但RVR占比高达70.6%，成为部署瓶颈。

3. 验证价值对齐的影响（H2）

追踪Tülu-3系列在SFT → DPO → RLVR后训练 pipeline 中的理性演变：

阶段对比（Table 3）：对齐阶段（尤其是DPO到RLVR）通常提升AEU并降低RVR。例如GSM8K上，RVR从SFT的0.402降至RLVR的0.123。
复杂基准上的差异（Table 4）：在困难部署基准MathArena上，Tülu-3-70B的不可达缺口随对齐降低（0.717→0.600），但RVR反而上升（0.259→0.340），表明对齐帮助模型生成高价值候选，却不能保证最终选中最佳候选。

4. 验证推理策略敏感性（H3）

系统改变推理时的解码策略，观察RVR变化：

温度采样（Figure 1）：对比 τ ∈ 0.0, 0.7, 1.0 。提高温度显著增加REU（因候选多样性提升），但AEU增长滞后，导致RVR上升。例如Llama-3.1-8B在MATH上， τ=1.0 时RVR达0.48，表明随机采样虽能生成优质答案，但模型缺乏从中筛选的能力。
自一致性（Figure 2）：对比投票预算 n ∈ 2,4,8,16,32 。增加自一致性预算降低RVR（如Tülu-3-8B在MATH上RVR从0.29降至0.10），因多数投票直接提升AEU而REU保持稳定。

5. 验证推理长度的影响（H4）

控制最大推理长度 T ∈ 0, 64, 128, 256, 512, 1024, 2048 （Figure 3）：

非单调性：RVR并非随长度单调下降。例如Tülu-3-8B在GSM8K上， T=64 时RVR升至0.456，随后降至 T=2048 时的0.107。
边际递减：当 T ≥ 256 （GSM8K）或 T ≥ 1024 （MATH）后，REU与AEU趋于饱和，继续增加长度收益有限。
困难任务局限：在MathArena上，延长推理仅轻微提升REU，AEU接近零，RVR持续高企，表明单纯增加计算预算难以克服分布外复杂推理的理性缺失。

6. 估计器校准与诊断实验（附录）

计算预算 K （Appendix C.1）：验证 K=64 的充分性，显示 K=32 到 K=64 的估计变化已收敛（Table 7）。
验证调用 L （Appendix C.2）：确认在对话任务中 L=5 已使估计稳定（Table 8）。
提示采样数 M （Appendix C.3）：证实置信区间宽度随 M 增加以 1/√M 速率收缩（Table 9）。
难度分解（Appendix E）：在MATH（难度1–5级）和HumanEval（短/中/长）上，RVR跨难度普遍存在，且随难度增加而上升（Table 13）。
失败案例（Appendix F）：统计满足 REU=1 但 AEU≤ 0.1 的提示数量，即模型能采样到正确答案但几乎总是选错的情况（Table 14）。

Q: 有什么可以进一步探索的点？

基于论文的局限性分析与实验发现，以下方向值得进一步探索：

1. 过程级理性评估与优化

论文明确指出当前框架仅关注最终答案的效用（outcome-level rationality），而忽略了推理路径本身的理性（第9页 Limitations）。未来可探索：

中间步骤验证：为推理链的中间步骤定义效用函数，评估模型是否遵循”有效且高效的推理轨迹”
部分正确性评分：开发能评分部分正确中间步骤的验证器，而非仅二值化判断最终答案
忠实性检验：评估模型的推理轨迹是否真实反映其内部计算过程（unfaithful reasoning）

2. 降低理性价值风险的算法设计

论文强调当前工作仅为”评估性而非规定性”（第9页），未来可开发：

验证器引导的搜索策略：利用验证器信号指导推理时的候选选择，如MCTS或束搜索的变体
自适应计算分配：根据问题难度动态调整采样预算 K 或推理长度 T ，而非固定配置
理性感知的训练目标：在后训练中显式优化理性价值风险，区分”价值不对齐”与”非理性推理”的失败来源

3. 困难部署场景下的理性保持

实验显示在MathArena（分布外、高难度竞赛题）上，即使延长推理长度，理性价值风险仍居高不下（第8页 Figure 3）。未来需研究：

分布偏移下的理性：当测试分布 rho^dagger 与训练分布 rho 差异显著时（如竞赛级数学题），如何保持推理理性
测试时自适应（Test-time Adaptation）：允许模型在部署时根据输入动态调整推理策略，而非依赖固定的 d_θ

4. 推理策略的组合优化

H3实验揭示了温度采样与自一致性对RVR的相反影响（第7页）：前者增加候选多样性但降低部署理性，后者提升理性但可能牺牲探索。未来可探索：

多阶段推理策略：如先高温采样生成候选集，再通过验证器引导的排序机制选择最终答案
认知架构设计：借鉴双过程理论（dual-process theory），结合快速直觉生成与慢速理性验证

5. 不完美验证器下的稳健推理

理论分析显示验证误差（Verification Error）在 |q_(i,k) - 1/2| ≤ ε_L 时可能主导估计误差（第4页 Lemma 4）。实际应用中验证器常有噪声，需研究：

噪声容忍的理性定义：当验证器存在系统偏差或随机误差时，如何定义”稳健理性”
验证器协同：结合多个异构验证器（如规则验证器+LLM验证器）降低验证误差对理性的影响

6. 理性与其他AI安全属性的权衡

论文暗示理性与对齐可能存在张力（如RLVR提升对齐但可能改变RVR构成，第7页 Table 4）。未来需探索：

理性-对齐-安全性帕累托前沿：在追求价值对齐的同时，如何保证模型不会为了”看似合理的推理过程”而牺牲安全性
可解释理性：使模型的理性选择过程对人类可解释，特别是在高风险决策场景中

7. 跨模态与交互式理性

当前框架限于单轮文本生成，可扩展至：

多轮对话中的理性：在交互式设置中，理性价值风险可能因上下文累积而放大或缓解
工具使用场景：当模型可调用外部工具（代码执行、搜索引擎）时，如何定义和测量工具辅助下的理性

8. 计算效率与理性的最优权衡

H4显示了推理长度的边际效益递减（diminishing returns，第8页）。未来可建立：

理性-计算成本联合优化：形式化 min(dθ) R(dθ) + λ · ComputeCost(dθ) 的优化问题
提前停止机制：基于中间验证信号判断何时终止推理，避免无效计算

这些方向共同指向一个核心目标：构建不仅”知道什么是好的”（价值对齐），而且”能可靠地实现好的结果”（理性推理）的LLM系统。

Q: 总结一下论文的主要内容

该论文系统性地识别、形式化并实证诊断了大型语言模型（LLM）推理中的理性价值风险——即模型在推理阶段未能最大化已对齐价值函数的现象。

核心问题与贡献

问题界定：现有价值对齐方法（SFT、RLHF、DPO、RLVR）确保模型学习到符合人类偏好的价值函数，但论文证明，即使价值函数已良好对齐，模型在推理时仍可能以”非理性”方式选择次优答案。这区分了两种失败来源：（1）价值不对齐（训练失败）与（2）非理性推理（推理失败）。

理论框架：

理性价值风险（RVR）：定义为部署策略 d_θ 与理性推理策略（最大化期望效用）之间的期望效用差距
计算受限理性：在有限采样预算 K 下，将理性行为定义为从 K 个候选中选择经验效用最高的答案
误差分解定理：将经验估计器的误差严格分解为三部分——候选近似误差（有限采样）、提示采样误差（有限测试集）、验证误差（随机验证器的不完美性），并提供样本复杂度边界

实证发现

通过覆盖开源模型（Llama-3.1、Qwen-2.5、Tülu-3系列7B-70B）与闭源API（GPT-5.2/5.5、DeepSeek-V4）在对话（UltraFeedback、AlpacaEval）和可验证推理（GSM8K、MATH、HumanEval、MathArena）基准上的实验，验证了四个假设：

普遍性（H1）：理性价值风险普遍存在（RVR范围0.027-0.492）。对于强模型，RVR可占总效用缺口的70%以上，成为部署瓶颈
对齐的局限性（H2）：价值对齐（SFT→DPO→RLVR）可减小但无法消除RVR；在困难部署场景（MathArena）中，对齐甚至可能导致RVR占比上升
策略敏感性（H3）：RVR对推理策略高度敏感——提高采样温度增加候选多样性但降低部署理性（RVR上升），而自一致性（多数投票）能有效降低RVR
计算边际递减（H4）：延长推理长度可改善理性，但存在非单调波动与边际效益递减；对于分布外困难任务，单纯增加计算预算效果有限

意义与局限

该工作将LLM评估从”价值对齐”扩展到”推理理性”，提供了诊断工具以区分训练失败与推理失败，为设计验证器引导的搜索、自适应采样等推理时优化算法奠定基础。当前局限在于仅关注最终答案效用（非过程级理性），且为评估性框架（未提出消除风险的具体算法）。

Q: 想要进一步了解论文

以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Kejiang Qian, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20624.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20624

Published: 2026-06-24T01:52:38.374Z

9. AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents

中文摘要

摘要：大语言模型（LLM）代理在通过结合金融先验、符号推理、可执行因子生成和基于反馈的优化来进行阿尔法挖掘方面具有很大潜力。然而，它们面临组合搜索空间、噪声非平稳反馈、冗余发现以及因天真地重复使用过去成功而产生的过拟合风险。为了解决这些挑战，我们提出了 AlphaMemo，一种具有结构化搜索-过程记忆的自我进化阿尔法挖掘代理。AlphaMemo 不仅仅记忆最终因子或完整轨迹，而是记录关于在特定父因子上下文中哪些编辑模式有效或失败的可重用证据。它从抽象语法树（AST）差异中提取模式，在基于搜索分类账先验的基础上应用置信度控制的残差记忆，并使用非对称否决控制抑制高置信失败模式。在 CSI 500 和 S&P 500 上的实验证明，AlphaMemo 提高了样本外性能和固定预算发现效率，消融实验验证了残差学习、置信度控制、AST 差异模式和否决记忆的作用。代码可在此 https URL 获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文针对大语言模型（LLM）智能体在自动化因子挖掘（alpha mining）任务中面临的核心挑战，提出了系统性的解决方案。具体而言，论文试图解决以下关键问题：

1. 组合搜索空间的复杂性

因子挖掘涉及在巨大的符号表达式空间中进行组合搜索，传统方法难以高效探索。LLM智能体虽然能够结合金融先验知识进行符号推理和因子生成，但面临指数级增长的搜索空间，需要更精细的搜索策略来避免盲目探索。

2. 嘈杂且非平稳的反馈信号

金融市场数据具有高噪声和非平稳性（noisy non-stationary feedback）。历史成功模式可能因市场机制变化而失效，导致基于最终因子分数的简单记忆机制容易受到虚假相关性的误导，产生过拟合风险。

3. 冗余发现与过拟合风险

现有自进化智能体在重用历史成功时，面临发现冗余因子和过拟合的风险。简单地记忆并复用过去成功的最终因子（final-factor memory）无法区分哪些编辑操作真正贡献了性能提升，导致智能体可能过度挖掘特定局部模式而丧失泛化能力。

4. 信用分配粒度不足（Credit Assignment）

现有工作流通常将反馈存储为最终因子分数或非结构化历史记录，这过于粗粒度：

无法揭示是哪个局部编辑（local edit）导致子因子成功或失败
完整轨迹存储虽然信息丰富，但检索成本高昂且难以利用

5. 过程记忆的缺失

论文指出，智能体应该记忆搜索过程本身（search process）而非仅记忆结果。具体而言，需要记录在特定父因子上下文中，哪些编辑模式（edit motifs）有效或失败，从而实现细粒度的信用分配和可复用的搜索经验积累。

核心解决方案方向

为应对上述挑战，论文提出AlphaMemo框架，通过结构化搜索过程记忆（Structured Search-Process Memory, SSPM）：

从抽象语法树（AST）差异中提取编辑模式（edit motifs）
在搜索账本（search-ledger）先验之上应用置信度门控的残差记忆（confidence-gated residual memory）
使用不对称否决控制（asymmetric veto control）抑制高置信度的失败模式

该方法使智能体能够在保持保守性的前提下自我进化：当证据稀疏或不稳定时自动回退到基础搜索策略，仅在累积足够证据后才对搜索策略进行校准修正。

Q: 有哪些相关研究？

该论文的相关研究主要分为两大领域：自进化智能体（Self-evolving Agents）与LLM驱动的因子挖掘（Alpha Mining）。以下按类别梳理：

1. 自进化智能体（Self-Evolving Agents）

核心范式

自进化智能体通过交互反馈更新提示、工具、记忆、策略或模型参数，无需重新训练即可实现持续适应（Gao et al., 2025; Fang et al., 2025）。

记忆机制的相关工作

反思与经验存储：Reflexion等方法存储语言反思（Shinn et al., 2023）；MemGPT等使用持久外部状态支持长程交互（Yao et al., 2023; Park et al., 2023; Packer et al., 2023; Wang et al., 2023）。
结构化状态保持：在树搜索、程序搜索、提示进化或代码进化中维护结构化中间状态（Zhou et al., 2024; Antoniades et al., 2025; Zheng et al., 2025; Guo et al., 2024; Romera-Paredes et al., 2024; Lee et al., 2025; Novikov et al., 2025）。
经验缓冲区：维护经验缓冲区或学习记忆操作（Liu et al., 2025; Wei et al., 2025; Yan et al., 2025; Yu et al., 2026）。

关键挑战：信用分配问题

现有方法面临局部信用分配问题（Local Credit-Assignment Problem）：在多步轨迹后，难以确定哪个具体决策导致了成功或失败（Zeng et al., 2025）。AlphaMemo针对此问题，在符号金融搜索中存储边级证据（edge-level evidence），记录特定父因子上下文与编辑模式的成功/失败关联。

2. LLM智能体用于因子挖掘（LLM Agents for Alpha Mining）

因子挖掘的演进路径

传统方法：从人工设计的异常因子与经验资产定价因子（Fama and French, 1993; Kakushadze, 2016; Gu et al., 2020），发展到遗传编程与强化学习符号搜索（Zhang et al., 2020; Chen et al., 2021; Yu et al., 2023; Shi et al., 2025a; Zhu and Zhu, 2025; Jiang et al., 2025）。
现代方法：基于图的、生成式的、多样性感知的发现方法（Li et al., 2025; Zhao et al., 2025; Chen et al., 2025; Ding et al., 2025）。

LLM系统的核心能力

神经符号转换：将自然语言假设转化为可执行因子公式（Wang et al., 2025; Kou et al., 2025; Li et al., 2024）。
反馈驱动精炼：通过数值反馈修复无效表达式并优化候选因子（Tang et al., 2025）。
多智能体工作流：结合生成、评估与投资组合构建（Li et al., 2026）。
局部搜索优化：使用反馈、链式推理、多智能体搜索或蒙特卡洛树搜索（MCTS）进行公式局部改进（Luo et al., 2025; Shi et al., 2025b）。

自进化因子挖掘系统

近期工作尝试在不同层面实现自进化：

策略学习：通过强化学习更新搜索策略（Tang et al., 2026）。
完整轨迹存储：记忆完整的假设-表达式-代码轨迹（Han et al., 2026）。
模式记忆：存储成功与禁止模式的经验记忆（Wang et al., 2026）。

AlphaMemo的定位

与上述方法互补，AlphaMemo保持可解释的公式化设置与结构化因子库状态，但将自进化机制设计为可检查的过程记忆（process memory）——基于父因子上下文与AST差异编辑模式，而非策略参数更新、终端结果记忆或完整轨迹存储。

Q: 论文如何解决这个问题？

论文通过提出 AlphaMemo 框架，采用结构化搜索过程记忆（Structured Search-Process Memory, SSPM） 替代传统的最终结果记忆或完整轨迹存储，从四个层面系统性地解决了上述挑战：

1. 核心机制：从”记忆结果”转向”记忆过程”

不同于仅存储最终因子分数或完整轨迹的方法，AlphaMemo 记录可复用的编辑证据——即在特定父因子上下文（parent context）中，哪些抽象语法树（AST）编辑模式（edit motifs）产生了超出基准预期的残差收益（residual gain），或导致了系统性失败。

2. 关键技术组件

(1) AST 差异驱动的编辑模式提取（AST-diff Motifs）

针对”信用分配粒度不足”问题，AlphaMemo 不依赖人工预设的变异标签，而是从父因子与子因子的 AST 差异 中提取编辑模式 m(p, c) ：

m(p, c) = φ(Diff(p, c))

通过对表达式进行规范化（交换律排序、参数分箱、一元包装器归一化），系统生成标准化的编辑脚本，捕获条件门控添加、排名算子替换、时间窗口缩放、交互项添加等实际编辑行为。这使得信用分配精确到具体的符号修改操作，而非模糊的父因子选择。

(2) 搜索账本先验（Search-Ledger Prior）

为应对”组合搜索空间复杂性”，AlphaMemo 将因子库视为结构化的可执行搜索账本 G_t = (V_t, E_t) ：

节点 v ∈ V_t ：已评估的因子
边 (p, c) ∈ E_t ：父因子 p 经编辑生成子因子 c 的关系

基础评分器 S_(ledger)(p) 综合考量因子质量、多样性、搜索深度、谱系信息和检索频率，提供强大的库状态先验，避免在庞大搜索空间中盲目探索。

(3) 置信度门控的残差记忆（Confidence-Gated Residual Memory）

针对”嘈杂非平稳反馈”和”过拟合风险”，AlphaMemo 采用残差学习而非绝对值学习。对于父因子 p 和编辑模式 m ，动作评分公式为：

At(p, m) = log(S(ledger)(p) + ε) + λ_t c_t(z(p), m) Delta_t(z(p), m)

其中：

残差目标 Deltat(z, m) ：记录编辑模式 m 在上下文 z 下的平均残差收益（子因子实际质量 Q(c) 减去基准期望 Q(ledger)(p) ）
置信度门控 $ct(z, m) ∈
0,1
：基于观察次数 n(z,m) 和残差方差 σ^2_(z,m)$ 计算，确保证据稀疏或高方差时记忆贡献自动衰减至零

ct(z, m) = n(z,m){n(z,m) + kappa · min(1, |μ(z,m)|σ_(z,m) + ε)}

渐进式激活 λt ：在预热期 T_w 内从零逐渐增至 λ(max) ，确保早期搜索依赖稳健的账本先验

这种设计使记忆成为有界修正（bounded correction）： |At(p, m) - log(S(ledger)(p) + ε)| ≤ λ_(max)B ，防止早期噪声观测主导搜索方向。

(4) 不对称过程否决（Asymmetric Process Veto, APV）

针对”正样本脆弱、负样本稳定”的金融搜索特性，AlphaMemo 对正负记忆实施不对称处理：

正面记忆：仅作为软性增强项（上式中的加性项）
负面记忆：当置信度 ct(z, m) > τ_c 且失败概率 π^-(z,m) > τ_v 时，实施硬性否决

Veto(z, m) = Ict(z, m) > τ_c land π^-(z,m) > τ_v

这避免了因过度利用脆弱的正面信号而导致的多样性崩溃，同时有效避免重复无效编辑，节省搜索预算。

3. 工作流程整合

AlphaMemo 的搜索循环按以下步骤自我进化：

动作评分与选择：基于账本先验和门控残差记忆评分 (p, m) 对，排除被 APV 否决的动作
因子生成与模式提取：LLM 根据选定的父因子和编辑意图生成子因子，系统通过 AST 差异提取实际编辑模式
残差计算：评估子因子后，计算残差 δ(p, c) = Q(c) - Q_(ledger)(p)
状态更新：更新搜索账本（添加节点和边）和过程记忆（在线更新残差统计与失败概率）

4. 解决效果

组合搜索空间：通过账本先验聚焦高质量父因子，通过编辑模式记忆复用有效局部修改策略
嘈杂反馈：置信度门控和残差学习防止噪声观测过度影响决策， warmup 机制确保早期稳定性
冗余发现：APV 抑制重复过度挖掘的模式，多样性约束防止因子池同质化
信用分配：AST 差异提供细粒度的编辑级信用分配，明确知道”哪种修改在何种上下文中有效”

Q: 论文做了哪些实验？

论文在 CSI 500 和 S&P 500 两个市场基准上开展了系统性实验，从最终因子池质量和固定预算搜索行为两个互补角度评估 AlphaMemo。以下是实验的具体内容：

1. 实验设置

数据集与协议

数据集：Qlib 平台上的 CSI 500（中国 A 股）和 S&P 500（美国大盘股）
预测目标：20 个交易日（约 1 个月）的收盘到收盘远期收益
时间划分：
训练集：2016-01-01 至 2020-12-31
验证集：2021-01-01 至 2021-12-31
测试集：2022-01-01 至 2025-12-26
因子池容量：50 个因子
复杂度约束：因子长度阈值 40，最大绝对皮尔逊相关性 τ_d = 0.70 ，质量阈值 τ_q = 0.10 （针对 |ICIR|）

评估指标

预测指标：IC（信息系数）、ICIR（信息比率）、RankIC（秩相关系数）、RankICIR（秩信息比率）
投资组合指标：AR（年化收益率）、MDD（最大回撤）、Sharpe（夏普比率）
搜索效率指标：固定预算下的有效因子发现数量（需满足可执行、质量合格、复杂度达标、多样性合格）

对比基线

传统基准：Alpha158（专家因子库）、GP（遗传编程）、LightGBM、LSTM
符号搜索：AlphaGen（强化学习符号搜索）
LLM 方法：AlphaGPT、AlphaSAGE、AlphaAgent
内部消融：Search-ledger only（禁用 SSPM 和 APV）、APV-only（仅保留负面否决）、Weaker/Stronger memory（不同记忆强度）

2. 主要实验结果

(1) 性能对比实验（表 2）

在 CSI 500 和 S&P 500 上的测试集表现：

市场	最佳方法	关键指标表现
CSI 500	AlphaMemo (balanced)	IC 0.0401, ICIR 0.3462, RankICIR 0.4597, AR 11.63%, Sharpe 0.6109
S&P 500	AlphaMemo (residual)	IC 0.0410, RankIC 0.0228, RankICIR 0.1984, AR 23.65%, Sharpe 1.0672

AlphaMemo (balanced)：在 CSI 500 上全面领先，表现出适应性-稳定性平衡
AlphaMemo (residual)：在 S&P 500 上预测指标和夏普比率最优，但 CSI 500 表现较弱，揭示不同市场需要不同的记忆校准策略

(2) 过程记忆校准实验（表 3 与图 3）

验证记忆强度作为控制变量而非单调旋钮：

Search-ledger only：移除过程记忆后性能显著下降（CSI 500 RankICIR 0.3707 vs Balanced 0.4597）
APV-only：仅保留不对称否决机制，性能优于无记忆基线但弱于完整配置，证明负面记忆有用但不足以替代残差学习
Weaker/Stronger memory：过度弱化或强化记忆干预均导致性能下降，验证了保守残差校正的必要性

(3) 消融实验：组件作用验证（表 8）

在 CSI 500 固定预算设置下（预算 B 次生成）：

变体	移除组件	有效因子数	影响
AlphaMemo	—	76.0	基准
NoGate	置信度/预热门控	34.6	↓54.5%，早期噪声导致不稳定
AbsOLM	残差目标（改用绝对值）	55.6	↓26.8%，过拟合风险增加
ManualMut	AST 编辑模式（改用手工标签）	33.4	↓56.1%，信用分配粒度不足
NoAPV	不对称否决	70.8	↓6.8%，无法有效避免重复失败模式

(4) 固定预算发现效率（表 7）

衡量相同生成预算下的**有效因子产出

Authors: Hang Yu, Zifan Zheng, Jeff Z. Pan, Tongliang Liu, Zhiyong Wang, Fengxiang He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20625.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20625

Published: 2026-06-24T01:52:38.374Z

10. Latent Goal Prediction from Language for Model-Based Planning

中文摘要

摘要：基于世界模型的规划受到复合预测误差以及定义可优化目标的困难的限制。视觉目标提供精确的局部梯度，但远距离导引能力差；而语言虽然灵活，却受限于噪声跨模态对齐或依赖于不适合模型预测高采样特性的庞大生成模型。为了解决这些挑战，我们提出了基于语言的潜在目标预测（LAGO）框架，该框架能够在同一潜在空间中预测语言指令和动作条件展开的中间目标状态序列。LAGO不是优化单一全局目标，而是将指令动态分解为显式预测的、局部可操作的潜在子目标。通过在线更新这些子目标并在规划过程中使用软最小轨迹成本，LAGO使智能体能够在长时间范围内遵循连贯的潜在轨迹。在多个环境的长时间规划评估中，LAGO避免了以往方法的性能急剧下降。通过仅依赖语言实现稳健且精确的长时间规划，LAGO将视觉目标的精确性与文本引导控制的灵活性结合起来。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决**基于世界模型的规划（Model-Based Planning）**中存在的两个核心挑战：

1. 长期规划中的复合预测误差（Compounding Prediction Errors）

世界模型在想象未来轨迹时，即使微小的潜在动态预测不准确也会随时间步累积，导致长期想象轨迹的可靠性急剧下降
现有方法通常通过增大帧跳过（frame skip）或仅评估目标在有效规划范围内的任务来回避此问题，限制了在真正长期任务上的应用

2. 目标定义的困境（Goal Specification Trade-off）

视觉目标（图像）：提供精确的局部监督信号，但在目标超出规划范围时几乎无法提供梯度指导，且复杂任务中难以获取目标图像
语言目标：提供灵活、符合人类习惯的目标指定方式，但现有方法要么依赖噪声大、高度非凸的对比式视觉-语言模型（VLMs），要么依赖计算成本高昂、不适合规划所需高频评估的大型生成模型

解决方案概述 论文提出 LAGO（Latent Goal Prediction from Language） 框架，通过以下机制解决上述问题：

将语言指令映射到世界模型自身的潜在空间中的中间子目标序列（subgoals）
在每个规划步骤在线重新预测这些子目标，将长期规划转化为一系列局部可处理的优化问题
引入软最小轨迹成本函数（soft minimum trajectory cost），使规划器能够平滑地跟随潜在轨迹，无需硬性的子目标完成检测

通过这种方式，LAGO 在保持语言指定目标的灵活性的同时，获得了接近视觉目标的规划精度，实现了鲁棒的长期规划。

Q: 有哪些相关研究？

根据论文第2节（Related Work），相关研究可分为以下三个主要方向：

1. 世界模型（World Models）

世界模型通过学习环境的紧凑预测性表征，使智能体能够通过想象而非真实交互进行推理。代表性工作包括：

DreamerV3
Hafner et al., 2025
和 TD-MPC2
Hansen et al., 2024
：展示了学习到的潜在动态结合行为学习或模型预测控制可在多样化连续控制任务中扩展
WorldGym
Quevedo et al., 2025
：将动作条件视频生成模型作为代理环境，使用视觉-语言模型作为奖励信号进行策略评估
NovaFlow
Li et al., 2025
：提出基于流的生成动态模型以提高想象轨迹的稳定性

现有局限：这些方法仍受限于长期规划中的复合预测误差——即使微小的潜在动态不准确也会随时间累积，导致优化趋向不真实状态，限制其在时间延伸任务上的性能。

2. 语言奖励模型（Language Reward Models）

视觉-语言模型（VLMs）作为手工设计奖励函数的替代方案，主要分为两类：

对比式模型（如 CLIP
Rocamonde et al., 2024b
、LIV
Ma et al., 2023
）：利用互联网图文对比学习，但存在域迁移问题（描述性字幕与机器人动作导向语言不匹配）和组合性不足导致的退化局部极小值问题
生成式模型（如 SIMA-2
team et al., 2025
、Robo-Dopamine
Tan et al., 2025
）：通过大规模生成模型估计任务进度，虽具有强泛化能力，但计算规模使其不适合基于规划的高频评估需求

与LAGO的区别：LAGO与世界模型本身同样轻量级，避免优化噪声的跨模态相似度分数，而是将文本目标转化为显式预测的潜在子目标轨迹，提供结构化中间指导。

3. 分层规划器（Hierarchical Planners）

通过将任务分解为更易优化的中间子目标来解决长期规划问题：

Hierarchical Diffuser
Chen et al., 2024
：生成粗糙高层轨迹后细化为可执行计划
CHD
Hao et al., 2025
：引入耦合扩散过程改善时间一致性，但依赖奖励监督和固定长度轨迹预测
Subgoal Diffuser
Huang et al., 2024
：使用扩散模型生成粗到细的潜在子目标序列，但假设可访问特权几何状态（如有符号距离场和完整3D物体模型）
Haramati et al.
2026 ：探索面向对象的分层分解，但依赖单独训练的价值函数在测试时过滤生成的子目标

与LAGO的区别：LAGO无需动作或奖励监督，可在世界状态和语言指令演化时持续在线更新潜在子目标预测，结合软最小轨迹成本公式，在模型不确定性下实现更鲁棒的长期规划。

Q: 论文如何解决这个问题？

论文通过 LAGO（Latent Goal Prediction from Language） 框架，从架构设计、子目标生成机制和规划目标函数三个层面系统性地解决上述问题。具体方法如下：

1. 联合嵌入预测架构（JEPA）的双模式设计

LAGO 基于 JEPA 架构，在共享的潜在空间内支持两种操作模式，使用单一预测器网络 π(·) ：

动作条件模式：给定当前潜在状态 zt 和动作编码 c_t^(act) ，预测下一状态 z(t+1) ，用于世界模型的动态推演
语言条件模式：给定当前潜在状态 z_t 、语言指令嵌入 g 和完成度标量 $rho ∈
0,1
，预测子目标状态 z_rho$

完成度标量 rho 的计算方式为：
rho = (k-j) / (G-1-j) ∈ (0,1]
其中 j 为当前观测在演示序列中的索引， k 为子目标观测的索引， G 为序列长度。该标量编码了子目标相对于当前状态的进度位置。

2. 序列化子目标生成与在线重预测

解决复合预测误差的关键机制：

非自回归子目标生成：给定语言指令，LAGO 从当前状态 z_t 出发，通过均匀分布的完成度标量 rho_k = (k) / (K) （ k=1,dots,K ）独立并行生成 K 个潜在子目标 z_1^(sg), dots, z_K^(sg) 。这种非自回归方式避免了传统自回归预测中的误差累积。
在线自适应更新：在每个 MPC（模型预测控制）规划步骤，LAGO 重新预测整个子目标序列。这使得子目标能够根据智能体当前演化状态持续调整，将长程规划转化为一系列局部可处理的短程优化问题，显著减少了单次预测的误差累积。

3. 软最小轨迹成本函数（Soft Minimum Trajectory Cost）

解决目标优化困境的核心创新：

不同于传统的单一全局目标或硬性子目标完成检测，LAGO 引入以下规划目标函数：

J(LAGO) = ∑(k=1)^(|S|) λ^k · (-τ log ∑_(h=1)^(H) exp(-(1) / (τ) MSE(z_h, z_k^(sg))))

其中：

z_(1:H) 为候选动作序列生成的 H 步潜在轨迹
λ ∈ (0,1] 为子目标衰减因子，优先保证近期子目标的达成
τ > 0 为温度参数，控制时间聚合的”硬度”

该成本函数的优势：

软对齐机制：对每个子目标 z_k^(sg) ，计算其与轨迹中任意时刻的最佳匹配（软最小值），而非强制要求在特定时刻到达。当 τ to 0 时退化为硬最小值， τ 增大时则奖励持续保持在子目标附近的轨迹。
平滑优化景观：如图 1 所示，相比单一目标导致的平坦损失景观（左），多个子目标通过 J_(LAGO) 聚合形成平滑的”山谷”（右），为 CEM（交叉熵方法）优化器提供有效的梯度引导。

4. 统一训练框架

LAGO 使用统一的均方误差目标进行训练：

L(act) = |z(t+1) - z(t+1)|_2^2, quad L(subgoal) = |z_rho - z_rho|_2^2

两种模式的样本可在同一框架内联合训练：

动作标记的交互数据：用于学习世界动态（下一状态预测）
无动作的演示数据：用于学习语言到潜在子目标的映射

这种设计确保语言预测与动态预测在同一潜在空间内保持一致，避免了跨模态对齐的噪声问题。

总结

通过将语言指令显式解码为潜在空间中的结构化子目标轨迹，并结合在线重预测与软最小成本函数，LAGO 实现了：

误差隔离：将长程规划分解为短段子目标序列，单步预测误差不会累积至整个任务长度
语义-几何融合：语言提供高层语义指导，潜在子目标提供低层几何精度，弥合了图像目标与语言目标之间的鸿沟

Q: 论文做了哪些实验？

Authors: Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2606.20627.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20627

Published: 2026-06-24T01:52:38.374Z

VLM Domain Papers

1. A Viscosity Semigroup Framework for Stable Image Reconstruction

Abstract:Starting from the axiomatic formulation of scale-space theory, we develop a viscosity-solution framework for multiscale image representations arising from degenerate elliptic-parabolic partial differential equations. Rather than introducing a new semigroup theory, we work within the standard viscosity-solution setting, using comparison principles to obtain well-posedness, uniqueness, and contraction in the supremum norm. This perspective is used to motivate a hybrid reconstruction operator in which a learned inverse map is followed by a nonlinear diffusion evolution. At the continuous level, the diffusion operator satisfies non-expansiveness, which provides stability for the reconstruction process; this framework is then evaluated on a CT-based mesothelioma classification task, where it attains an AUC of 0.875 with negligible variation across epochs, while the baseline model acquires AUC values from 0.49 to 0.80 without a clear convergence pattern. These observations are consistent with the stabilizing role suggested by the discussed viscosity theory.

中文摘要

摘要：从尺度空间理论的公理化表述出发，我们开发了一个用于多尺度图像表示的粘性解框架，这些图像表示来源于退化的椭圆-抛物型偏微分方程。我们没有引入新的半群理论，而是在标准粘性解环境下工作，使用比较原理来获得良定性、唯一性以及在上确界范数下的收缩性。这个观点被用来激发一种混合重建算子的设计，其中先使用学习得到的逆映射，然后进行非线性扩散演化。在连续层次上，扩散算子满足非扩张性，从而为重建过程提供稳定性；然后，该框架在基于CT的间皮瘤分类任务上进行了评估，其在各轮次中AUC达到0.875，变化可忽略，而基线模型AUC值在0.49到0.80之间变化，不呈现明显收敛模式。这些观察结果与所讨论的粘性理论所建议的稳定作用一致。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Arina Oberoi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20620.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20620

Published: 2026-06-24T01:53:28.433Z

2. A Projection-Based Surrogate Gradient Interpretation for Neural Codec Wrappers

Abstract:Neural wrappers are learned pre-and postprocessing networks designed to enhance the performance of conventional video codecs. Although these approaches can significantly improve compression efficiency, training them remains challenging due to the non-differentiability of video codecs, which arises from the multiple discrete decisions involved in the encoding process. Surrogate gradients have recently emerged as an effective solution for enabling end-to-end learning with conventional codecs. They offer two main advantages: they avoid training an additional network to mimic the codec, and they can improve compression performance. In particular, the recently proposed SCALED method, which leverages the true compression error, has shown strong results for training neural pre-processors such as downscalers. However, this SCALED gradient was originally introduced as a reparameterization trick, which limits its interpretability. In this paper, we show that this surrogate gradient can be interpreted as a first-order local approximation of the video codec, providing insight into its effectiveness. We further demonstrate that it is effective not only for learning downscaling operations, but also for the more challenging task of full neural wrapping with pre-and post-processing networks. Finally, we show that the approach generalizes well across different video codecs, quality factors, and tasks, including multiple downscaling ratios, yielding BD-Rate (PSNR) reductions of up to -23.59% on x264 and -20.07% on VVenC relative to standard resampling baselines.

中文摘要

摘要：神经包装器是学习到的前处理和后处理网络，旨在提升传统视频编码器的性能。尽管这些方法可以显著提高压缩效率，但由于视频编码器的非可微性（源于编码过程中涉及的多个离散决策），训练它们仍然具有挑战性。替代梯度最近已成为使用传统编码器实现端到端学习的有效解决方案。它们具有两个主要优点：避免训练额外的网络来模拟编码器，并且可以提高压缩性能。特别是，最近提出的SCALED方法利用真实的压缩误差，在训练诸如下采样器等神经前处理器方面显示了强大的效果。然而，这种SCALED梯度最初是作为重新参数化技巧引入的，这限制了其可解释性。在本文中，我们展示了这种替代梯度可以被解释为视频编码器的一阶局部近似，从而提供了对其有效性的理解。我们进一步证明，它不仅在学习下采样操作上有效，而且在更具挑战性的任务——使用前处理和后处理网络进行完整神经包装——上也同样有效。最后，我们展示了该方法在不同视频编码器、质量因子和任务（包括多种下采样比例）下具有良好的泛化能力，相对于标准重采样基线，在x264上可实现最高-23.59%的BD-Rate (PSNR)降低，在VVenC上可实现最高-20.07%的降低。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决神经编解码器包装器（Neural Codec Wrappers）端到端（E2E）训练中的不可微分性难题，并为其提供理论解释。具体而言，论文针对以下几个关键问题展开：

1. 传统视频编解码器的不可微分性障碍

标准视频编解码器（如H.264/AVC、H.266/VVC）包含量化、块划分、预测模式选择、运动矢量估计等离散决策操作，这些操作在梯度计算中几乎处处为零或不可微，导致反向传播过程中梯度流中断，使得预处理器（pre-processor）无法通过端到端梯度下降进行优化。

2. 现有替代方案的效率与泛化局限

虚拟编解码器（Virtual Codec）方法：需要为每个目标编解码器和质量参数（QP）单独训练一个神经网络来模拟真实编解码器，导致需要存储大量模型，且无法跨不同编码设置零样本泛化。
简化代理（Simplified Proxies）：使用固定块大小、简化预测模式或身份函数近似编解码器，与真实编解码器存在域差距（domain gap），导致训练与推理阶段性能不匹配。

3. 替代梯度方法的理论解释缺失

虽然先前工作（SCALED）提出了一种利用真实压缩误差统计量的替代梯度方法，并在下采样任务中表现优异，但其仅被介绍为一种”重参数化技巧”（reparameterization trick），缺乏对为何有效的理论阐释和几何解释。

4. 从单一预处理到完整神经包装器的扩展

先前验证的替代梯度方法仅针对预处理器（如下采样器）训练，论文进一步探索将其应用于**联合预处理器和后处理器（post-processor）**的完整神经包装器训练，这是一个更具挑战性的场景。

解决方案概述

论文通过建立基于投影的线性模型（projection-based linear model），将编解码器建模为MSE最优的线性投影算子，证明SCALED替代梯度实际上是该模型在一阶局部近似下的梯度。这种方法：

在前向传播中使用真实编解码器执行，保证信号保真度；
在反向传播中利用真实压缩误差的统计量（均值与协方差）构建几何投影梯度；
实现了跨不同编解码器（x264、VVenC）、质量因子和缩放比例的零样本适应，无需针对特定设置重新训练代理模型。

Q: 有哪些相关研究？

根据论文内容，相关研究主要围绕神经编解码器包装器、端到端训练中的不可微分性处理以及视频压缩优化

Authors: Esteban Pesnel, Julien Le Tanou, Michael Ropert, Aline Roumy, Thomas Maugey

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20671.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20671

Published: 2026-06-24T01:53:28.433Z

3. Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

Abstract:MLLM-as-a-Judge is conventionally validated by agreement with human annotations, but this metric is undefined when the human pool is culturally heterogeneous. We introduce VOIR DIRE, a multimodal benchmark of 626 culturally paired image—prompt artifacts spanning U.S. and mainland Chinese contexts across food, fashion, and architecture, with annotator pools that are within-pool reliable (a = 0.86/0.74) but cross-pool divergent on evaluation (Q1 r = -0.12). Across six MLLMs, the bias decomposes into two failures: a positivity-floor calibration failure (compressed scale use) and an orientation failure (default to one cultural norm). On this corpus, where contested items are sampled to split the two pools, the floor mechanically validates the more-permissive Chinese reading; persona prompting partially recovers calibration, but the orientation residual survives, evidence the tilt is not reducible to scale compression. Reference-pool in-context demonstrations deepen the orientation residual and inflate the high end rather than restoring use of the low end. Model origin adds a small additive tilt (~0.10 MAE) that is approximately invariant under demonstration. We recommend reporting alignment against each reference pool separately and treating cross-pool divergence as a judge property.

中文摘要

摘要：MLLM 作为评判者通常通过与人工标注的一致性来验证，但当人工标注者群体在文化上异质时，该指标是未定义的。我们引入 VOIR DIRE，这是一个多模态基准，包括 626 对文化配对的图像—提示工件，涵盖美国和中国大陆的食品、时尚和建筑场景，标注者群体在群体内可靠（α = 0.86/0.74），但在跨群体评估上存在分歧（Q1 r = -0.12）。在六个 MLLM 中，偏差分解为两种失败：正向地板校准失败（压缩刻度使用）和方向失败（默认为一种文化规范）。在此语料库中，当有争议的项目被抽样以分开两组标注者群体时，地板机制验证了更宽容的中国解读；人格提示部分恢复了校准，但方向残差依然存在，这表明偏向无法归因于刻度压缩。参考群体的上下文演示加深了方向残差，并使高端膨胀，而不是恢复低端的使用。模型来源增加了一个小的加性偏向（约 0.10 MAE），在演示下大体不变。我们建议分别报告与每个参考群体的对齐情况，并将跨群体分歧视为评判者的特性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文旨在解决多模态大语言模型作为评判者（MLLM-as-a-Judge）在文化模糊性情境下的校准与定向失败问题，具体聚焦于以下核心议题：

核心问题识别

1. 文化异质性池中的验证缺陷

当前MLLM-as-a-Judge的验证范式依赖与人类注释的一致性（agreement），但论文指出：当面对文化异质性（culturally heterogeneous）的标注池时，单一的”与人类一致”指标是池依赖的（pool-dependent）——它默然地取决于聚合统计代表的是哪个人类子群体的判断。这种模糊性导致模型可能在不同文化语境下系统性地偏向某一文化规范，而传统验证指标无法捕捉这种偏误。

2. 双重失败机制的分解

论文识别出MLLM评判者存在的两种系统性失败：

校准失败（Calibration Failure）：表现为积极性地板效应（positivity-floor），即模型拒绝使用评分量表的低端（1-2分），导致评分分布压缩。在VOIR DIRE语料库中，这种地板效应机械地验证了更宽容的中国文化解读（因为中国标注池对争议项目的评分普遍更高）。
定向失败（Orientation Failure）：即使通过人设提示（persona prompting）部分恢复校准后，模型仍表现出对特定文化规范的默认倾向（residual tilt）。这种残余偏误无法通过量表压缩解释，表明评判者内嵌了不可还原的文化取向偏差。

3. 参考池语境化的评估缺失

现有评估框架未能区分模型与不同文化参考池（如美国vs.中国大陆）的对齐情况。论文论证：在偏好敏感（preference-sensitive）且文化负载的评估中，单一的对齐分数是范畴错误（category error），必须分别报告模型与各参考池的对齐指标，并将跨池差异（cross-pool divergence）视为评判者本身的属性而非噪声。

方法论贡献

为系统研究上述问题，论文构建了VOIR DIRE基准测试（626个文化配对的多模态项目），通过以下设计验证文化模糊性：

内部池可靠性：美国池（ α = 0.86 ）与中国池（ α = 0.74 ）各自具有可靠的内部一致性
跨池分歧性：两池在评估维度上呈现负相关（ r = -0.12 ），而在文化识别上高度一致（Q2placement达76-85%量表最大值）

研究发现，无论通过语言切换、人设提示还是参考池

Authors: Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20676.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20676

Published: 2026-06-24T01:53:28.433Z

4. Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

Abstract:A biometric verifier is often deployed with a strict false match budget, so only a narrow, low false match rate (FMR) slice of the score range is used. A reporting standard for this setting already exists. ISO/IEC 19795-1 asks for error rates at stated operating points, for the detection error tradeoff (DET) curve as the view of the trade-off between FMR and the false non-match rate (FNMR), and for an interval of uncertainty on every value. In practice, a single area under the receiver operating characteristic curve (ROC-AUC), the equal error rate (EER), or a verification accuracy is still reported as the resolution, which is a threshold-independent summary that the standard does not endorse. The full ROC-AUC averages the true match rate (TMR) with equal weight over the whole FMR range from 0 to 1, so almost all of its weight is placed where the system is never operated; low-FMR behavior can then be hidden, and the order of two systems can even be reversed. The guideline is revisited in this paper and tested against seven pretrained matchers across four modalities, face, voice, iris, and fingerprint, each reported with bootstrap confidence intervals and paired bootstrap tests. A system that looks stronger on full ROC-AUC is shown to be significantly worse at FMR = 10^-3. For face, a higher full AUC was obtained by FaceNet, whereas a higher TMR at FMR = 10^-3 was obtained by ArcFace, and both gaps were significant with non-overlapping intervals. Hence, the DET curve and the FNMR at a fixed FMR are re-iterated in this paper as the primary report, with ROC-AUC and EER retained as supplementary context.

中文摘要

摘要：生物特征验证器通常以严格的误匹配预算部署，因此只使用评分范围中狭窄的低误匹配率（FMR）部分。针对这种设置的报告标准已经存在。ISO/IEC 19795-1 要求在规定的操作点报告错误率，提供检测错误权衡（DET）曲线以显示 FMR 与误非匹配率（FNMR）之间的权衡，并对每个值给出不确定区间。在实践中，仍然会报告单一的接收器工作特性曲线下面积（ROC-AUC）、等错误率（EER）或验证准确率作为分辨率，这是一个标准不支持的与阈值无关的摘要。完整的 ROC-AUC 在整个 FMR 范围（从 0 到 1）上以相等权重平均真实匹配率（TMR），因此几乎所有权重都落在系统从未运行的区域；低 FMR 的行为可能被隐藏，两个系统的顺序甚至可能被颠倒。本文重新审视了该指南，并针对四种模态（面部、语音、虹膜和指纹）中的七个预训练匹配器进行了测试，每个结果均报告了自助法置信区间和配对自助检验。结果显示，一个在完整 ROC-AUC 上看似更强的系统，在 FMR = 10^-3 时明显更差。对于面部识别，FaceNet 得到了更高的完整 AUC，而 ArcFace 在 FMR = 10^-3 时获得了更高的 TMR，两者差距都显著且区间不重叠。因此，本文重申 DET 曲线和在固定 FMR 下的 FNMR 作为主要报告内容，同时保留 ROC-AUC 和 EER 作为补充参考。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决生物识别验证系统性能评估与报告中的核心问题：过度依赖完整的ROC曲线下面积（Full ROC-AUC）等阈值无关的总结指标，导致对系统在实际部署环境中性能的误导性结论。

具体而言，论文针对以下关键问题展开：

1. 全ROC-AUC与部署实际脱节

生物识别系统（如人脸、语音、虹膜、指纹识别）通常在严格的错误匹配率（FMR）预算下运行（如 10^(-2) 、 10^(-3) 或更低），而完整的ROC-AUC在整个FMR范围 $
0,1
上对真匹配率（TMR）进行等权重平均。在线性尺度上，从 10^{-3} 到 1$ 的区间占据了99.9%的宽度，这意味着全AUC的绝大部分权重由系统实际从不使用的高FMR区域决定，而关键的低FMR操作区域被压缩到可忽略的范围内。

2. 低FMR行为被掩盖与系统排序反转

由于全AUC对高FMR区域的权重过大，它可能：

隐藏低FMR区域的性能缺陷：一个系统可能在全AUC上表现优异，但在实际部署的严格阈值（如 FMR=10^(-3) ）下表现糟糕。
导致系统排序反转：论文发现，在人脸识别实验中，FaceNet的全AUC显著高于ArcFace，但在 FMR=10^(-3) 的操作点上，ArcFace的TMR显著优于FaceNet。这意味着选择不同的 headline 指标会得出相反的系统优劣结论。

3. 现有报告实践与标准脱节

尽管ISO/IEC 19795-1标准明确要求报告操作点的错误率（如固定FMR下的FNMR）、DET曲线以及每个值的置信区间，但实践中大量研究仍使用单一的ROC-AUC、等错误率（EER）或验证准确率作为 headline 结果，且常常省略不确定性区间。这种报告实践与行业标准之间的脱节使得跨研究、跨模态的系统比较变得困难且不可靠。

4. 类别不平衡下的乐观偏差

在生物识别验证中，非匹配对（non-mated pairs）的数量通常远大于匹配对（mated pairs）。ROC-AUC对类别不平衡不敏感，可能给出过于乐观的评估（如PR-AUC与ROC-AUC之间存在显著差距），而未能反映系统在精确率（precision）方面的实际表现。

总结：论文主张将报告重心从全ROC-AUC转移到操作点性能（如 $text{FNMR

Authors: Ajan Ahmed, Masudul H. Imtiaz

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20680.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20680

Published: 2026-06-24T01:53:28.433Z

Abstract:Slope hazards constitute a major safety threat to expressway infrastructure, and their evolution is typically manifested as slow surface deformation. Conventional manual inspection suffers from low efficiency and inadequate operational safety, especially on severely deteriorated slopes. Accordingly, there is an urgent need for an automated, high-precision solution capable of large-area slope observation and analysis. This study aims to develop a highly automated workflow for slope hazard detection using Unmanned Aerial Vehicle (UAV)-borne Light Detection and Ranging (LiDAR). The proposed workflow consists of a shared data-acquisition and ground-surface extraction stage, a single-observation hazard-screening branch based on RandLA-Net, and a multi-epoch deformation-monitoring branch based on grid-wise elevation differencing. To validate the effectiveness of the proposed system, we conducted multiple UAV-borne LiDAR data-acquisition flights in real expressway slope environments. The results show that the workflow can extract usable ground-surface point clouds under vegetation cover, identify potential hazard zones from single-observation point clouds, and quantify centimeter-level elevation changes using multi-epoch grid differencing. This study establishes an end-to-end UAV-borne LiDAR-based workflow for slope inspection and demonstrates its feasibility through controlled experiments, field tests, and simulation-based validation, thereby providing an implementable solution for automated slope-hazard monitoring and intelligent early warning.

中文摘要

摘要：边坡灾害构成了高速公路基础设施的重要安全威胁，其演变通常表现为缓慢的表面变形。传统的人工检查效率低下，操作安全性不足，尤其是在严重退化的边坡上。因此，迫切需要一种能够进行大面积边坡观测和分析的自动化、高精度解决方案。本研究旨在开发一种基于无人机（UAV）搭载激光雷达（LiDAR）的高度自动化边坡灾害检测工作流程。所提出的工作流程包括共享的数据采集与地表提取阶段、基于RandLA-Net的单次观测灾害筛查分支，以及基于网格化高程差分的多时相变形监测分支。为了验证所提出系统的有效性，我们在真实高速公路边坡环境中进行了多次无人机载激光雷达数据采集飞行。结果表明，该工作流程能够在植被覆盖下提取可用的地表点云、从单次观测点云中识别潜在灾害区，并利用多时相网格差分量化厘米级高程变化。本研究建立了一种端到端的无人机载激光雷达边坡检测工作流程，并通过受控实验、现场测试及基于仿真的验证证明了其可行性，从而为自动化边坡灾害监测和智能预警提供了可实施的解决方案。

LLM Analysis

Q: 这篇论文试图解决什么问题？

该论文旨在解决高速公路边坡灾害监测中的三个核心工程问题，构建一套基于无人机激光雷达（UAV-borne LiDAR）的端到端自动化监测工作流程：

1. 植被覆盖下的地表信息提取问题

传统光学摄影测量在茂密植被覆盖的边坡场景中无法穿透植被冠层感知真实地表，而人工现场检查在陡峭或潜在不稳定边坡条件下存在操作风险。论文需解决如何从原始UAV LiDAR点云（包含植被、建筑物等非地面回波）中可靠分离地面点与非地面点，提取可供后续分析的有效地表点云：

P(raw) = P_g ∪ P(ng)

其中 Pg 为后续分析所需的地面子集， P(ng) 为植被等地上回波。

2. 无历史基线时的单期观测危险筛查问题

在缺乏历史对比数据（首次检查或应急调查）的场景下，需解决如何从单期地面点云中识别已表现出形态异常（局部隆起、沉降、侵蚀凹陷等）的潜在危险区域，避免将正常边坡背景几何趋势误判为灾害信号：

fθ: P_g^((t)) to Y^((t)) = y_i^((t))(i=1)^N

其中 y_i^((t)) 表示点 p_i^((t)) 的语义类别（正常背景、隆起危险、沉降危险等）。

3. 多时相观测的渐进变形量化问题

针对已积累重复观测数据的场景，需解决如何精确量化厘米级的高程变化，以捕捉边坡渐进变形（早期沉降、滑移、侵蚀）的时空演化。关键挑战在于消除不同期次观测间的坐标系统误差和采样不一致性，实现可解释的高程差异分析：

Delta Z(i,j) = Z(i,j)^((2)) - Z_(i,j)^((1)), quad (i,j) ∈ K^((1)) ∩ K^((2))

其中 Z_(i,j) 为网格单元内的平均地面高程，需通过点云配准、网格化及共格交集处理确保两期数据的空间对应性。

简言之，该论文针对**“如何从原始UAV LiDAR数据自动转化为可解释的边坡灾害信息”**这一核心问题，提出了集成数据获取、地表提取、单期语义识别与多时相差分分析的完整技术路线。

Q: 有哪些相关研究？

根据论文第2节（Related Work），相关研究主要围绕边坡灾害特征、无人机监测技术（摄影测量与激光雷达

Authors: Jingfeng Zhang, Yi Li, Xianchong Liang, Huan Yang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20681.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20681

Published: 2026-06-24T01:53:28.433Z

6. Open Annotations and Synthetic Data for Field Localisation in Indian Bank Cheques

Abstract:Automated cheque processing requires localising key fields (date, legal amount, IFSC code, account number, signature, and payee name) before any recognition step. The IDRBT Cheque Image Dataset is, to our knowledge, the only public collection of Indian bank cheques, but it ships without field annotations and with no stated licence, so its redistribution terms are unclear. We address both limitations. First, we release six-field bounding-box annotations for all 112 cheques in the dataset, distributed annotations-only and keyed to the original filenames so that the IDRBT redistribution terms are respected. Second, we release 295 fully redistributable synthetic cheque images produced by a cut-paste pipeline that composites annotated field regions from real cheques onto content-erased, bank-specific canvas templates; because patches are pasted at their source coordinates, annotations carry forward unchanged. Third, we provide a ResNet-50 direct-regression baseline that predicts all six fields in a single forward pass, and use it for a controlled test of the synthetic data. The test is sobering: because cheque layouts are rigid, a no-learning baseline that simply predicts each field’s mean training box already reaches 0.691 mean IoU and 80% accuracy at IoU >= 0.5, and once seed variance and training compute are accounted for, the cut-paste synthetic data yields no measurable improvement over real data alone (an equal-compute real-only model matches or beats the synthetic-augmented model on every aggregate metric). We report this negative result in full, since it cautions against assuming appearance-only augmentation helps fixed-layout documents and points instead to layout-varying synthesis. The annotations and synthetic images are released as reusable resources on the Hugging Face Hub under permissive licences.

中文摘要

摘要：自动支票处理在任何识别步骤之前都需要定位关键字段（日期、法定金额、IFSC 代码、账号、签名和收款人姓名）。据我们所知，IDRBT 支票图像数据集是唯一的印度银行支票公共集合，但其发布时未附带字段注释，也未声明许可，因此其再分发条款不明确。我们解决了这两个限制。首先，我们发布了数据集中所有 112 张支票的六字段边界框注释，以仅注释的形式分发，并与原始文件名对应，以确保遵守 IDRBT 的再分发条款。其次，我们发布了 295 张完全可再分发的合成支票图像，这些图像通过剪贴管道生成，将真实支票的已注释字段区域复合到内容已清除的特定银行模板上；由于补丁按其源坐标粘贴，注释保持不变。第三，我们提供了一个 ResNet-50 直接回归基线模型，可在单次前向传播中预测所有六个字段，并使用其对合成数据进行受控测试。测试结果令人警醒：由于支票布局固定，仅用一个不学习的基线模型预测每个字段的训练平均框就已达到 0.691 的平均 IoU 和 IoU >= 0.5 时 80% 的准确率；一旦考虑种子差异和训练计算量，剪贴合成数据并未比仅使用真实数据带来可测量的改进（同等计算量的仅真实数据模型在所有汇总指标上与合成增强模型持平或超越）。我们完整报告了这一负面结果，因为它提醒不要假设仅外观增强能够改善固定布局文档，而应转向布局可变的合成。注释和合成图像已作为可重用资源在 Hugging Face Hub 上以宽松许可发布。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决印度银行支票图像数据集中关键字段定位（field localisation）资源的缺失问题，具体包括以下三个方面：

1. 字段标注的缺失

IDRBT Cheque Image Dataset 是目前唯一公开的印度银行支票图像集合（包含112张扫描支票），但缺乏字段级（field-level）的边界框标注。论文通过手动标注所有112张支票上的六个关键字段（日期、金额、IFSC代码、账号、签名、收款人姓名），并以尊重原始数据集许可的方式（仅发布标注文件，不附带图像）发布了这些标注。

2. 数据许可与再分发限制

IDRBT数据集未声明明确的开源许可，其再分发条款模糊不清，限制了其在机器学习研究中的广泛使用。为此，论文提出了一种cut-paste合成数据生成流程：将真实支票的标注字段裁剪并粘贴到内容已擦除的银行模板画布上，生成295张**完全可再分发（Apache-2.0许可）**的合成支票图像，且标注信息自动保留。

3. 合成数据有效性的验证与基准建立

论文通过构建一个ResNet-50直接回归基线模型，对合成数据进行了严格控制的对照实验，发现了一个重要的负面结果：

由于支票布局高度固定，无学习的静态基线（直接预测每个字段的训练集平均位置）已达到 0.691 的平均IoU和 80% （IoU ≥ 0.5 ）的准确率；
在控制种子方差和训练计算量的前提下，仅增加外观多样性的合成数据并未带来可测量的性能提升。

这一结果警示研究者：对于固定布局文档，单纯的外观增强（appearance-only augmentation）效果有限，应转向布局变化的合成方法（layout-varying synthesis）。

Q: 有哪些相关研究？

根据论文第II节（Related Work），相关研究可分为以下五个类别：

a) 支票处理系统（Cheque Processing）

Agrawal et al.
4 ：结合图像处理与CNN提取支票组件（金额、账号、签名）。
Chaitanyaswami et al.
5 ：针对支票上重叠和褪色的手写文字，提出多阶段识别框架。
Singh et al.
6
与 Pavan Kumar et al.
7 ：基于IDRBT数据集构建端到端验证流程，融合CNN手写识别、OCR及SIFT/SVM签名匹配技术。
工业界方案
8 ：遵循类似的模板化流程。

**与

Authors: Jaganadh Gopinadhan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20682.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20682

Published: 2026-06-24T01:53:28.433Z

7. Shear-Free Viewport Magnification for 360-Degree via Spherical Mobius Boosts

Abstract:Viewport-adaptive 360-degree imaging seeks to allocate a fixed sampling budget to the region a viewer is likely to observe. Existing view-biased projections increase viewport resolution through non-conformal warps, which can introduce anisotropic stretching and shear. We formulate spherical Mobius boosts as exact conformal maps for fixed-budget viewport magnification. The continuous spherical warp has quasiconformal dilatation K = 1, reallocating samples toward a target direction while preserving local angles. On a SUN360 saliency audit with 72 panoramas and 216 paired viewport targets, C1 Mobius boosting improves viewport PSNR over optimized offset cubemap on all paired cases, with case-level median gain +3.26 dB, image-level median gain +3.23 dB, and panorama-level bootstrap 95% CI [+3.15, +3.33] dB. Pareto analysis shows that this is not a free global-quality improvement: C1 trades full-sphere WS-PSNR for shear-free viewport fidelity. Prediction-error and filtering studies identify the operating envelope: strong boosts are useful for accurately targeted viewports, while large target uncertainty calls for weaker boosts or fallback. These results position Mobius boosting as a geometric primitive for prediction-conditioned foveated 360-degree resampling rather than a universal encode-once layout.

中文摘要

摘要：视口自适应的360度成像旨在将固定的采样预算分配到观众可能观察的区域。现有的视角偏置投影通过非保角变形提高视口分辨率，但可能引入各向异性拉伸和剪切。我们将球面莫比乌斯提升形式化为固定预算视口放大的精确保角映射。连续球面变形具有拟保角膨胀 K = 1，可在保持局部角度的同时将样本重新分配到目标方向。在包含72幅全景图及216个配对视口目标的SUN360显著性审核中，C1莫比乌斯提升在所有配对案例中比优化的偏移立方体贴图提高视口PSNR，案例级中位增益为+3.26 dB，图像级中位增益为+3.23 dB，全景图级自助法95%置信区间为[+3.15, +3.33] dB。帕累托分析显示，这并非免费的全局质量提升：C1以牺牲全景WS-PSNR为代价换取无剪切的视口保真度。预测误差和滤波研究揭示了操作范围：强提升对于精确定位的视口有用，而目标不确定性大时则应采用较弱提升或回退策略。这些结果将莫比乌斯提升定位为基于预测的聚焦360度重采样的几何原语，而非通用的一次编码布局。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Boyang Li, Hezhao Xu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20684.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20684

Published: 2026-06-24T01:53:28.433Z

8. ARGUSTRACK: A Multi-View Annotation System for Multi-Object Tracking

Abstract:Multi-Camera Multi-Target (MCMT) tracking has emerged as a critical capability for applications ranging from autonomous driving to animal behavior monitoring. While recent advances have yielded sophisticated tracking algorithms, the availability of annotated multi-view data remains a significant bottleneck. Existing annotation tools predominantly support single-camera workflows or rely on LiDAR sensors, making cross-view labeling tedious and impractical for camera-only setups. We present ARGUS-TRACK, a multi-camera annotation system that addresses these limitations by enabling annotators to work directly on a bird’s-eye-view (BEV) plane. Given calibrated camera parameters, a single ground-plane annotation is automatically projected into 2D bounding boxes across all relevant views, inherently ensuring identity consistency without manual cross-view alignment. To further accelerate the labeling process, ARGUSTRACK incorporates two complementary mechanisms: a Temporal Aware module that propagates annotations from preceding frames to initialize new ones, requiring only minor positional adjustments; and a Multi-camera Semi-annotation module that leverages off-the-shelf 2D detectors combined with foot-point estimation to automatically generate candidate BEV positions for annotator verification. We evaluate ARGUSTRACK through a pilot study on multi-camera broiler tracking and demonstrate that it substantially reduces annotation time compared to conventional single-camera labeling workflows.

中文摘要

摘要：多摄像头多目标（MCMT）追踪已经成为从自动驾驶到动物行为监测等应用中的关键能力。尽管近期的进展产生了复杂的追踪算法，但多视图标注数据的可用性仍然是一个重要的瓶颈。现有的标注工具主要支持单摄像头工作流程或依赖激光雷达传感器，这使得仅使用摄像头的跨视图标注既繁琐又不切实际。我们提出了ARGUS-TRACK，一种多摄像头标注系统，通过使标注人员能够直接在鸟瞰图（BEV）平面上工作来解决这些限制。在给定校准好的摄像头参数的情况下，单一的地面平面标注会自动投影到所有相关视图的二维边界框中，从而天然地保证身份一致性，无需人工跨视图对齐。为了进一步加快标注过程，ARGUS-TRACK整合了两种互补机制：一个时间感知模块（Temporal Aware module），将前一帧的标注传播以初始化新标注，仅需微调位置；以及一个多摄像头半自动标注模块（Multi-camera Semi-annotation module），结合现成的二维检测器和脚部点估计，自动生成候选BEV位置供标注人员验证。我们通过对多摄像头肉鸡跟踪的试点研究评估了ARGUS-TRACK，并证明与传统单摄像头标注工作流程相比，它显著减少了标注时间。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文试图解决多相机多目标跟踪（Multi-Camera Multi-Target, MCMT）领域中高质量标注数据匮乏的问题，具体表现为现有标注工具在多相机场景下的显著局限性：

核心问题

当前先进的MCMT算法（如 broiler tracking、自动驾驶、人群分析等应用）需要大量带标注的多视角数据进行训练和评估，但缺乏支持多相机工作流程的高效标注工具，导致数据标注成为关键瓶颈。

现有工具的关键局限

单相机工具的重复劳动：主流平台（如CVAT、LabelMe、Label Studio）仅支持单相机工作流，标注者必须为每个相机视图独立标注（复杂度为 O(N × C) ，其中 N 为目标数， C 为相机数），并手动确保跨视图身份一致性，过程繁琐且易出错。
3D标注工具的硬件依赖：现有的3D标注工具（如针对自动驾驶场景）依赖LiDAR传感器，而LiDAR在动物监测等环境中很少部署，无法适用于纯相机设置。
跨视图身份一致性难以保证：在多相机重叠区域，手动对齐同一目标在不同视图中的身份既耗时又容易出错，尤其当目标外观相似（如畜禽养殖中的鸡群）或存在遮挡时。

论文提出的解决方向

ARGUSTRACK 通过以下方式解决上述问题：

统一的BEV标注空间：将多相机图像投影到鸟瞰图（Bird’s Eye View, BEV）平面，标注者只需在BEV上标注一次（复杂度降至 O(N) ），系统自动投影到所有相机视图并保证身份一致性。
效率加速机制：结合时序传播（Temporal Aware）和半自动检测（Semi-annotation）模块，进一步减少重复性标注工作。

简言之，该论文旨在将多相机标注的工作量从随相机数量线性增长降至常数级，同时消除跨视图身份对齐的人工错误。

Q: 有哪些相关研究？

论文涉及的相关研究可分为以下四个主要方向：

1. 多相机多目标跟踪（MCMT）算法

这类研究为ARGUSTRACK的应用场景提供了算法基础，主要解决跨视图目标关联和BEV（鸟瞰图）投影问题：

BroilerTrack
15
：将检测结果投影到BEV平面进行空间聚类，专门用于肉鸡跟踪。
REST
4
：可重构的时空图模型，用于多相机多目标跟踪。
CamUvid
6
：无需标定的多视图检测方法。
Ada-Track
7

Authors: Hao Vo, Duc Nguyen, Ngan Le

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20687.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20687

Published: 2026-06-24T01:53:28.433Z

9. NeoJaundice-AI: Smartphone-Based Neonatal Jaundice Detection Using Dual-Input Deep Learning and Synthetic Augmentation

Abstract:Neonatal jaundice (hyperbilirubinemia) is one of the most common conditions affecting newborns worldwide, with India alone recording roughly 15 million cases per year. Early detection is critical, yet standard diagnosis requires blood tests that are often impractical in rural clinics where laboratory facilities are limited. This paper presents NeoJaundice-AI, a smartphone-based screening system that uses photographs of a baby’s skin and sclera (eye white) to estimate jaundice severity and predict serum bilirubin levels in under three seconds without requiring internet connectivity. The proposed system is built on a dual-branch EfficientNet-B0 architecture that independently processes skin and sclera images. Deep features are fused with handcrafted YCbCr color statistics to jointly perform four-class severity classification and continuous bilirubin regression. A key contribution is a synthetic jaundice generation method that simulates bilirubin-induced yellowing through controlled YCbCr channel modifications on normal neonatal skin images. This approach addresses data scarcity, particularly for severe jaundice cases and darker Indian skin tones (Fitzpatrick Types IV to VI). In addition, a skin-tone normalization module improves prediction consistency across diverse neonatal complexions. Experimental results demonstrate an overall classification accuracy of 91.8 percent, a clinical sensitivity of 93.5 percent, and a bilirubin mean absolute error of 1.4 mg/dL. After INT8 quantization and ONNX conversion, the model size is reduced to 8.3 MB while maintaining inference times below three seconds on standard Android devices. To the best of our knowledge, this is the first India-focused neonatal jaundice AI system that combines multimodal image fusion, skin-tone adaptation, synthetic data augmentation, and fully offline mobile deployment within a single framework.

中文摘要

摘要：新生儿黄疸（高胆红素血症）是全球最常见的新生儿疾病之一，仅在印度每年就约有1500万例。早期发现至关重要，但标准诊断通常需要血液检测，而在实验室设施有限的农村诊所中，这种检测往往不切实际。本文提出了NeoJaundice-AI，一种基于智能手机的筛查系统，通过拍摄婴儿的皮肤和巩膜（眼白）照片，在不到三秒的时间内估算黄疸严重程度并预测血清胆红素水平，无需互联网连接。该系统基于双分支的EfficientNet-B0架构，分别独立处理皮肤和巩膜图像。深度特征与手工设计的YCbCr颜色统计相融合，共同进行四级严重程度分类和连续胆红素回归。一个关键贡献是合成黄疸生成方法，通过对正常新生儿皮肤图像的YCbCr通道进行控制修改，模拟胆红素引起的黄染。这种方法解决了数据稀缺问题，尤其是针对严重黄疸病例和肤色较深的印度人（Fitzpatrick IV至VI型）。此外，皮肤色调标准化模块提高了在不同新生儿肤色之间的预测一致性。实验结果显示：总体分类准确率为91.8%，临床敏感性为93.5%，胆红素平均绝对误差为1.4 mg/dL。经过INT8量化和ONNX转换后，模型大小减小到8.3 MB，同时在标准安卓设备上的推理时间保持在三秒以内。据我们所知，这是首个以印度为重点的新生儿黄疸AI系统，在单一框架中结合了多模态图像融合、肤色适配、合成数据增强和完全离线的移动端部署。

LLM Analysis

Q: 这篇论文试图解决什么问题？

这篇论文致力于解决印度农村地区新生儿黄疸（高胆红素血症）早期筛查的可及性、准确性与公平性问题，具体针对现有技术方案中的三个核心缺陷：

1. 临床可及性障碍

在印度，每年约有1500–2000万新生儿黄疸病例，但标准诊断依赖血清胆红素检测（需抽血、实验室设备和专业技术人员）或价格高昂（2,000–8,000美元）的经皮胆红素仪。农村初级卫生中心（PHC）往往缺乏这些条件，导致许多病例直至症状严重才被察觉。论文旨在开发一种无需联网、可在廉价安卓手机上运行的免费筛查工具，将诊断能力部署到资源匮乏的偏远地区。

2. 现有AI系统的技术局限

单模态输入局限：既有研究仅单独分析皮肤或巩膜（眼白）图像，未能利用两者互补性——巩膜黄变出现更早且在深色皮肤上更易观察，而皮肤黄变提供更直接的胆红素积累信号。
肤色偏见：公开数据集以浅色皮肤（Fitzpatrick I–II型）白人婴儿为主，导致模型在印度常见的深肤色（Fitzpatrick IV–VI型）新生儿上性能显著下降（准确率可从90%降至70%以下）。
严重病例数据稀缺：重度黄疸（>20 mg/dL）属医疗急症，真实图像采集困难，造成训练数据极度不平衡，模型在最关键的危险场景下反而表现最差。

3. 移动部署瓶颈

现有深度学习模型体积庞大、计算需求高，无法在中低端安卓设备的CPU上实现实时（<3秒）离线推理，难以满足无网络环境下的临床使用需求。

解决方案框架

为系统性解决上述问题，论文提出NeoJaundice-AI系统，其核心创新包括：

双模态融合架构：并行处理皮肤与巩膜图像，结合EfficientNet-B0深度特征与手工YCbCr颜色统计；
肤色自适应归一化：基于个体类型角（ITA）的预处理流程，消除印度新生儿肤色多样性（III–VI型）带来的预测偏差；
合成黄疸生成器：通过YCbCr通道的物理感知偏移模拟胆红素诱导的黄变，将严重病例样本量扩充10倍，缓解数据稀缺；
多任务学习：同步完成四分类（正常/轻度/中度/重度）与连续胆红素值回归（mg/dL）；
量化压缩部署：通过INT8量化将模型压缩至8.3 MB，确保在普通安卓设备上2.1秒内完成离线推理。

最终，该系统在保持91.8%整体准确率与93.5%临床敏感度的同时，将深肤色婴儿准确率从72.3%提升至87.6%，实现了对印度特定人群公平且可及的黄疸筛查。

Q: 有哪些相关研究？

Authors: Rahul Patel, Nirjala Jarpula

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20689.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20689

Published: 2026-06-24T01:53:28.433Z

10. Spatio-Temporal Wildfire Spread Prediction in Canada using a Video Swin-Hybrid-U-Net and Satellite Imagery

Abstract:Background: Wildfires in Canada present increasing threats to ecosystems, communities, and infrastructure, demanding accurate forecasting tools to aid mitigation efforts. Existing models often lack scalability or fail to capture temporal dynamics effectively. Aims: This study aims to develop a deep learning framework tailored to Canadian wildfire spread prediction that captures spatio-temporal patterns in environmental data. Methods: We propose a U-Net architecture integrating a Video Swin Transformer encoder with a convolutional decoder to model three-day sequences of meteorological and environmental variables. Data are exclusively sourced from public repositories via Google Earth Engine, ensuring transparency and scalability. The model is trained and tested on a curated dataset of major Canadian wildfire events from 2014 to 2023. Key results: Our approach achieves strong predictive performance by effectively leveraging spatio-temporal attention to forecast next-day fire incidence maps. Conclusions: The model successfully captures complex wildfire dynamics unique to Canada’s landscape and temporal variability. Implications: This framework paves the way for advanced spatio-temporal wildfire forecasting research and operational applications using publicly accessible datasets.

中文摘要

摘要：背景：加拿大的野火对生态系统、社区和基础设施构成日益严重的威胁，需要准确的预测工具来支持减灾工作。现有模型往往缺乏可扩展性或未能有效捕捉时间动态。目的：本研究旨在开发一个针对加拿大野火蔓延预测的深度学习框架，能够捕捉环境数据中的时空模式。方法：我们提出了一种U-Net架构，将Video Swin Transformer编码器与卷积解码器结合，以模拟三天的气象和环境变量序列。数据完全来自通过Google Earth Engine提供的公共存储库，确保透明性和可扩展性。该模型在经过精心整理的2014年至2023年加拿大主要野火事件数据集上进行训练和测试。主要结果：通过有效利用时空注意力预测次日的火灾发生图，我们的方法实现了强劲的预测性能。结论：该模型成功捕捉了加拿大独特的地形和时间变化下复杂的野火动态。意义：该框架为使用公开数据集进行先进时空野火预测研究和实际应用开辟了道路。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败（已重试2次）: Waiting failed: 30000ms exceeded

Authors: Maulik Srivastava, Esha Saha, Hao Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2606.20693.pdf

CoolPaper URL: https://papers.cool/arxiv/2606.20693

Published: 2026-06-24T01:53:28.433Z

ArXiv Domain 2026-06-24

LLM Domain Papers

1. Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

2. Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

3. Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

4. EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis

5. Specific Domain Ontology Construction Using Large Language Models

6. MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data

7. VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

8. From Sentiment to Actionable Insights: A Data-Driven Public Sentiment Analysis of Advanced Air Mobility

9. FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

10. Beyond ‘One Language, One Script’: Quantifying Orthographic Bias in Multilingual VLMs with PuMVR

Agent Domain Papers

1. On the Identifiability of User Adaptation in Co-Adaptive Neural Interfaces

2. Beyond Fixed Budgets: Characterizing the Inelasticity and Limitations of Tree-of-Thought Reasoning Strategies

3. The New Associationism: Lessons from Deep Learning

4. Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries

5. PEAR: Permutation-Equivariant Adaptive Routing Multi-Agent Debate

6. Darwin Mobile Agent: A Roadmap for Self-Evolution

7. Path-dependent program induction under resource constraints explains human sequence learning

8. In LLM Reasoning, there is Irrationality on top of Value Misalignment

9. AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents

10. Latent Goal Prediction from Language for Model-Based Planning

Evaluation Domain Papers

1. On the Identifiability of User Adaptation in Co-Adaptive Neural Interfaces

2. Beyond Fixed Budgets: Characterizing the Inelasticity and Limitations of Tree-of-Thought Reasoning Strategies

3. The New Associationism: Lessons from Deep Learning

4. Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries

5. PEAR: Permutation-Equivariant Adaptive Routing Multi-Agent Debate

6. Darwin Mobile Agent: A Roadmap for Self-Evolution

7. Path-dependent program induction under resource constraints explains human sequence learning

8. In LLM Reasoning, there is Irrationality on top of Value Misalignment

9. AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents

10. Latent Goal Prediction from Language for Model-Based Planning

VLM Domain Papers

1. A Viscosity Semigroup Framework for Stable Image Reconstruction

2. A Projection-Based Surrogate Gradient Interpretation for Neural Codec Wrappers

3. Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

4. Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

5. A UAV-Based Multi-Modal Vision System for Automated Sideslope Deformation Monitoring and Hazard Detection

6. Open Annotations and Synthetic Data for Field Localisation in Indian Bank Cheques

7. Shear-Free Viewport Magnification for 360-Degree via Spherical Mobius Boosts

8. ARGUSTRACK: A Multi-View Annotation System for Multi-Object Tracking

9. NeoJaundice-AI: Smartphone-Based Neonatal Jaundice Detection Using Dual-Input Deep Learning and Synthetic Augmentation

10. Spatio-Temporal Wildfire Spread Prediction in Canada using a Video Swin-Hybrid-U-Net and Satellite Imagery