数据来源:ArXiv Domain

LLM Domain Papers

1. ReCoPII: A Relation-Grounded Framework for Building Contextual PII Masking Datasets

Abstract:Training contextual masking systems for personally identifiable information (PII) requires examples distinguishing maskable from preservable mentions of one entity type, but privacy restrictions limit access to real data. Author-based augmentation (SPY) labels mentions unrelated to the author as non-PII, presuming a single data subject and overlooking others. We propose ReCoPII (Relation-grounded Contextual PII masking), a framework that builds such data without this premise: it plans ontology-constrained entity relations, writes insertion sentences with placeholders, reconstructs annotations with code, checks the result with a separate LLM, and derives MASK/KEEP labels from entity relations. On Korean documents from six domains, it yields ReCoPII-Ko, a corpus with relation, privacy, and MASK/KEEP annotations, which we validate. Across 300 pairs, four annotators agree with 88.42% of its sampled KEEP labels, against 26.27% for SPY-style augmentation of the same sources. Classifiers trained on it over-mask less than under that reference on a matched test. Contextual masking fine-tuned jointly with a PII detector removes most over-masking of detection alone within a fixed leakage budget; on human-verified entity records, the four detectors meeting it over-mask at most 5.04% with at most 4.18% leakage. The detector is comparable to XLM-R-large on KDPII with about a quarter of its parameters.

中文摘要

摘要:训练用于个人可识别信息(PII)的上下文掩码系统需要区分同一实体类型中可掩码与可保留的示例,但隐私限制限制了对真实数据的访问。基于作者的增强(SPY)将与作者无关的提及标记为非PII,假设只有单一数据主体并忽略其他人。我们提出了ReCoPII(基于关系的上下文PII掩码),这是一个无需此假设即可构建此类数据的框架:它规划本体约束的实体关系,使用占位符编写插入句子,用代码重建注释,通过单独的LLM检查结果,并从实体关系中推导MASK/KEEP标签。在来自六个领域的韩语文档上,它生成了ReCoPII-Ko,一个包含关系、隐私和MASK/KEEP注释的语料库,我们对其进行了验证。在300对样本中,四名标注者对其抽样的KEEP标签的一致率为88.42%,而对同来源的SPY风格增强仅为26.27%。在匹配测试上,基于它训练的分类器比参考方法掩码过度更少。与PII检测器联合微调的上下文掩码在固定泄露预算内去除了大部分单独检测的过度掩码;在人工验证的实体记录上,四个满足条件的检测器的过度掩码最多为5.04%,泄露最多为4.18%。该检测器在KDPII上的性能可与XLM-R-large相媲美,但参数约为其四分之一。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35925 (HTTP 429)

Authors: Taehwan Lee

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.35925.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35925

Published: 2026-10-29T02:50:41.088Z


2. MedJev: Evaluating Zero-Shot System-One Decision Making in Medicine

Abstract:System One decision models such as Jev answer structured questions in a single forward pass without generating text, offering fast and computationally efficient clinical decision support. We evaluate MedJev, an open System One model that runs locally on a laptop, across ten medical benchmarks spanning medical knowledge, diagnosis, and patient level prediction using MIMIC IV and MIMIC IV ED. We compare MedJev against zero shot LLM baselines, published GPT results, and supervised models. MedJev achieves accuracies of 72.5 percent on MedQA, 75.4 percent on USMLE, and 80.1 percent on NEJM, approaching published GPT 4 performance while maintaining well calibrated confidence estimates (ECE 0.028 to 0.063). On patient level tasks, MedJev achieves an AUROC of 0.926 for In Hospital Mortality, exceeding XGBoost (0.902), but underperforms supervised models on operational outcomes such as ED Triage Admission (0.745 vs. 0.809). Patient level predictions also exhibit substantial miscalibration (In Hospital Mortality ECE 0.286). We introduce a lightweight, two parameter recalibration method that adapts predictions to local patient populations using 50 to 200 labeled examples, reducing ECE to 0.007. Our findings establish open System One models as a promising zero shot baseline for medical AI, combining competitive predictive performance with low computational cost and efficient local calibration. We release our code and evaluation harness to support future research.

中文摘要

摘要:系统一决策模型,例如 Jev,可以在一次正向推理中回答结构化问题,而无需生成文本,从而提供快速且计算高效的临床决策支持。我们在十个涵盖医学知识、诊断和基于 MIMIC IV 及 MIMIC IV ED 的患者级预测的医学基准上评估了 MedJev,这是一款可在笔记本本地运行的开源系统一模型。我们将 MedJev 与零样本 LLM 基线、已发布的 GPT 结果以及监督模型进行比较。MedJev 在 MedQA 上达到了 72.5% 的准确率,在 USMLE 上为 75.4%,在 NEJM 上为 80.1%,接近已发布的 GPT-4 表现,同时保持良好的置信度校准(ECE 0.028 至 0.063)。在患者级任务中,MedJev 在院内死亡预测中实现了 0.926 的 AUROC,超过 XGBoost(0.902),但在操作性结果(如急诊分诊入院预测)上表现不如监督模型(0.745 对 0.809)。患者级预测还表现出明显的校准偏差(院内死亡 ECE 0.286)。我们引入了一种轻量级的两参数再校准方法,使用 50 到 200 个带标签的样本将预测适配到本地患者群,能够将 ECE 降至 0.007。我们的研究结果确立了开源系统一模型作为医学 AI 的有前景零样本基线的地位,将有竞争力的预测性能与低计算成本和高效的本地校准结合。我们发布了代码和评估工具,以支持未来研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36006 (HTTP 429)

Authors: Simon A. Lee, Jiahang Sha, Moonseong Jeong, Yunbei Pan, Jeffrey N. Chiang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36006.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36006

Published: 2026-10-29T02:50:41.088Z


3. OmniBrain-0: A Unified Agentic Model for Embodied Intelligence

Abstract:General-purpose embodied intelligence requires robots to coordinate diverse skills over long horizons, track task progress, and recover from failures. Specialist policies alone do not ensure task-level reliability, while powerful multimodal agents rely on costly reasoning and external experience that compact models struggle to reproduce. We introduce OmniBrain-0, a lightweight unified embodied agent that coordinates manipulation and navigation through a shared high-level decision model, integrating task understanding, planning, progress tracking, and feedback-driven recovery. Our progressive training framework combines embodied pretraining, domain-specialized agent distillation, and multi-teacher on-policy distillation (MOPD). It distills powerful teachers’ interaction experience into manipulation and navigation experts, then consolidates their decision capabilities into OmniBrain-0. Unification therefore occurs within the learned decision model rather than only at the tool interface. We further introduce Rubric-Guided Recursive Self-Improvement (RSI), a data flywheel in which a Meta-Agent turns execution evidence into refined rubrics, step-level reminders, and verified trajectories for domain-expert updates before their reconsolidation into OmniBrain-0 through MOPD. We evaluate OmniBrain-0 on LIBERO-Pro, LIBERO-Plus, RoboCasa365, RoboTwin 2.0, and R2R-CE Val-Unseen, as well as multiple real-world manipulation tasks. OmniBrain-0 combines strong cross-domain task performance with substantially lower inference and execution overhead than its closed-source teacher, demonstrating efficient transfer and consolidation of embodied capabilities into a compact unified agent.

中文摘要

摘要:通用型具身智能要求机器人在长时间范围内协调多种技能、跟踪任务进度并从失败中恢复。单靠专业策略无法保证任务级别的可靠性,而强大的多模态代理依赖于昂贵的推理和外部经验,这是紧凑模型难以复制的。我们介绍了 OmniBrain-0,这是一款轻量级的统一具身代理,通过共享的高层决策模型协调操作和导航,集成了任务理解、规划、进度跟踪以及基于反馈的恢复。我们的渐进式训练框架结合了具身预训练、领域专用代理蒸馏以及多教师在策略蒸馏(MOPD)。它将强大教师的交互经验蒸馏到操作和导航专家中,然后将它们的决策能力整合到 OmniBrain-0 中。因此,统一体现在学习到的决策模型中,而不仅仅在工具接口上。我们进一步引入了评分标准引导的递归自我改进(RSI),这是一个数据飞轮,其中元代理将执行证据转化为精炼的评分标准、步骤级提醒和经验证的轨迹,以便在通过 MOPD 将其重新整合进 OmniBrain-0 之前进行领域专家的更新。我们在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 和 R2R-CE Val-Unseen,以及多个真实操作任务上评估了 OmniBrain-0。OmniBrain-0 结合了强大的跨领域任务表现,同时其推理和执行开销明显低于封闭源代码的教师模型,展示了将具身能力高效转移并整合到紧凑统一代理的能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36013 (HTTP 429)

Authors: Xiaomi Embodied Intelligence Team, Yuechen Luo, Chong He, Fang Li, Shaoqing Xu, Jingkai Wang, Menglun Su, Jiaxin Liu, Shengyin Jiang, Zhiyi Lai, Long Chen, Longlong Wang, Liang Hu, Haochen Liu, Yuncheng Jiang, Hongwei Xie, Jieming Cui, Hanbing Li, Junjie Huang, Zhixiang Duan, Hexin Zhang, Weixiang Liang, Ying Gong, Yuhan Wang, Yong Pan, Pengna Li, Kangyi Wu, Ken Deng, Kun Ma, Fuxi Wen, Zhi-xin Yang, Hangjun Ye

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36013.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36013

Published: 2026-10-29T02:50:41.088Z


4. FinLLM-KG: Knowledge Graph-Enhanced LLMs for Financial Sentiment Analysis in Algorithmic Trading

Abstract:Recent advances in Generative AI have substantially improved financial sentiment analysis through post-trained financial large language models (LLMs). However, existing approaches remain confined to predicting the sentiment of each article in isolation and operate as black boxes, which limits contextual understanding and hinders deployment in high-stakes financial decision-making. To this end, we introduce FinLLM-KG, a model-agnostic framework that combines causal LLMs with a financial knowledge graph, in order to inject temporally grounded, company-level knowledge from SEC 10-K filings at inference time, without updating model weights. Within FinLLM-KG, context is supplied either as a natural-language company profile or as a small set of relevance-ranked factual triples. This enables sentiment predictions to account for broader firm-level information rather than the article alone, at almost zero computational cost and for any causal LLM. In addition, attributing each article-level sentiment score to individual sentences and to the retrieved knowledge-graph facts makes the evidence behind the prediction inspectable, thereby enhancing explainability and supporting human-in-the-loop review. Simulations demonstrate that FinLLM-KG consistently improves portfolio performance over the state-of-the-art baseline.

中文摘要

摘要:生成式人工智能的最新进展通过后训练的金融大语言模型(LLMs)显著提升了金融情感分析。然而,现有方法仍局限于孤立地预测每篇文章的情感,并以黑箱方式运行,这限制了上下文理解,并阻碍了在高风险金融决策中的部署。为此,我们提出了FinLLM-KG,这是一个模型无关的框架,将因果大语言模型与金融知识图结合起来,以便在推理时注入来自SEC 10-K 文件的时间性、公司级知识,而无需更新模型权重。在FinLLM-KG中,上下文可以通过自然语言的公司简介或一小组相关性排序的事实三元组提供。这使得情感预测能够考虑更广泛的公司级信息,而不仅仅是文章本身,几乎无需额外计算成本,并适用于任何因果大语言模型。此外,将每篇文章的情感得分归因于各个句子和检索到的知识图事实,使预测背后的证据可以被审查,从而增强可解释性并支持人工参与的审查。模拟结果表明,FinLLM-KG在投资组合表现上持续优于最先进的基线方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36083 (HTTP 429)

Authors: Giorgos Iacovides, Oliver Hannibal, Wuyang Zhou, Danilo Mandic

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36083.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36083

Published: 2026-10-29T02:50:41.088Z


5. 3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models

Abstract:We measure, without sampling error, the probability a language model assigns to each integer from 1 to N when asked for a random number. For a fixed prompt the model defines one probability vector, which we compute by summing over each integer’s scored spellings rather than estimate by sampling, removing the noise that limits earlier studies [1, 4]. We evaluate 18 open-weight model lines at five ranges up to N = 100, under 29 decoding configurations, on two inference stacks; 15 of them have matched base and instruction-tuned checkpoints that both give usable answers. Instruction tuning makes the distribution less uniform in all 15 pairs. It installs one heuristic, round-number avoidance, and sharpens another, endpoint avoidance. Base checkpoints do not avoid round numbers once the endpoints are removed from those sets; tuned checkpoints avoid them, multiples of 10 almost completely. Base checkpoints return the endpoints 1 and N at 0.30 to 0.60 of the interior rate; tuned checkpoints almost never return them. A preference for odd numbers is consistent across tuned checkpoints only at N = 100, where base checkpoints also show it weakly. Endpoint avoidance and the odd preference fit the account Kubovy and Psotka [6] proposed for human number choice; round-number avoidance is not part of that account, and the midpoint avoidance it predicts is essentially absent, with one slight exception at N = 100. Tuning does not install a new favourite integer shared across models: above N = 10 no modal integer is shared by more than 42 percent of tuned conditions, and P (17) rises in 10 of 15 pairs and falls in 5. The concentration is present in the model’s own distribution: at temperature 1.0, nucleus truncation at top-p 0.95 adds a median of 0.035 to the total variation distance.

中文摘要

摘要:我们在没有抽样误差的情况下,测量了当要求语言模型给出一个随机数时,该模型对从 1 到 N 的每个整数分配的概率。对于固定提示,模型定义了一个概率向量,我们通过对每个整数的评分拼写求和来计算它,而不是通过抽样估计,从而消除了限制早期研究的噪声[1, 4]。我们评估了 18 条开源权重模型线,在 N = 100 的五个范围内,在 29 种解码配置下,使用两个推理堆栈;其中 15 个具有匹配的基础与指令调优检查点,两者都能给出可用答案。指令调优使 15 对模型的分布在所有情况下都不那么均匀。它引入了一种启发式——回避整十数字,并强化了另一种——回避端点。一旦端点从集合中移除,基础检查点不会回避整十数字;调优检查点会回避几乎所有的 10 的倍数。基础检查点以 0.30 到 0.60 的内部分布率返回端点 1 和 N;调优检查点几乎从不返回它们。对奇数的偏好仅在 N = 100 时在调优检查点中一致,而基础检查点在该情况下也表现出微弱偏好。端点回避和奇数偏好符合 Kubovy 和 Psotka [6] 对人类数字选择的解释;回避整十数字不在该解释中,且它预测的中点回避基本不存在,仅在 N = 100 时有一个轻微例外。调优并未在模型间安装一个共享的新偏好整数:当 N > 10 时,没有一种众数整数被超过 42% 的调优条件共享,并且 P(17) 在 15 对模型中有 10 个上升,5 个下降。这种集中性存在于模型自身的分布中:在温度 1.0 下,最高概率截断为 top-p 0.95 时,中位数增加了 0.035 的总变异距离。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36178 (HTTP 429)

Authors: Samar Ansari

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36178.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36178

Published: 2026-10-29T02:50:41.088Z


6. Lipi-Ghor: A Large-Scale, Diarized, Multi-Domain Bengali Speech Corpus and a Scalable Pipeline for Building It

Abstract:Bengali, spoken by over 230 million people, remains severely under-resourced in spoken language research. Existing open Bengali ASR corpora are confined to short, read or crowd-sourced speech and lack speaker diarization and long-form audio. We present Lipi-Ghor, a large-scale weakly-supervised Bengali speech corpus comprising 885 hours of audio sourced from 998 YouTube videos across 596 unique channels, spanning 17 diverse domains including audiobooks, drama, religious sermons, news, and regional dialects. Each recording is annotated in SSTT format (Speaker, Speech, Transcription, Timestamp), which combines automated diarization with Bengali YouTube caption tracks. To our knowledge, Lipi-Ghor is the first Bengali speech corpus to pair large-scale coverage with speaker-diarized, long-form audio annotations, both of which are absent from existing open Bengali resources. We also present the construction methodology as a replicable pipeline for any language with a sufficient captioned YouTube presence. Targeted channel curation across a handful of rich domains yields corpus scales that were previously out of reach for low-resource languages. We benchmark four widely-used ASR models under zero-shot and fine-tuned conditions. All four degrade consistently on emotive, dialectal, and long-form content. Because caption targets are noisy, we also release a human-annotated gold evaluation split, verified by 17 volunteer annotators over 30 hours of human-in-the-loop correction and stratified across all 17 domains. We release our original contributions (video-ID lists, diarization output, pipeline code, and the gold annotations) under CC-BY-4.0, and distribute caption-derived transcripts for research use only; no raw audio is redistributed.

中文摘要

摘要:孟加拉语由超过2.3亿人使用,在口语语言研究中仍然资源严重不足。现有的开源孟加拉语自动语音识别(ASR)语料库仅限于短语音、朗读或众包语音,并且缺乏说话人分离和长篇音频。我们提出了Lipi-Ghor,这是一个大规模弱监督的孟加拉语语音语料库,包括885小时的音频,来源于998个YouTube视频,涵盖596个独特频道,横跨17个多样化领域,包括有声书、戏剧、宗教讲道、新闻和地方方言。每个录音均以SSTT格式(说话人、语音、转录、时间戳)进行注解,该格式结合了自动分离技术和孟加拉语YouTube字幕轨道。据我们所知,Lipi-Ghor是首个将大规模覆盖与说话人分离和长篇音频注解结合的孟加拉语语料库,这些特点在现有开源孟加拉语资源中均不存在。我们还展示了构建方法学,作为对任何拥有足够字幕化YouTube内容语言的可复制管道。针对少数几个资源丰富领域的频道策划,获得了低资源语言此前难以达到的语料规模。我们在零样本和微调条件下对四种广泛使用的ASR模型进行了基准测试。所有四种模型在情绪化、方言和长篇内容上的表现均一致下降。由于字幕目标存在噪声,我们还发布了一份经过人工注解的黄金评估集,由17名志愿者注解者在30小时的人工纠错过程中验证,并在所有17个领域中进行分层。我们将原创贡献(视频ID列表、分离输出、管道代码和黄金注解)以CC-BY-4.0许可发布,并仅分发由字幕派生的转录文本用于研究;原始音频不作重新分发。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36184 (HTTP 429)

Authors: Sanjid Hasan, A H M Fuad, Risalat Labib, Bayazid Hasan Simon

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36184.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36184

Published: 2026-10-29T02:50:41.088Z


7. Frankly Speaking: The Company Election Integrity Keeps in Congressional Communication

Abstract:Election integrity is a shared commitment in American politics, but Democrats and Republicans in Congress increasingly mean different things by it. Analyzing 10,420 congressional e-newsletters sent from 2010 to 2025, we examine how the two parties invoke election terms such as integrity,''security,’’ and fraud.'' Using diachronic word embeddings, which track semantic change through how words are used in context, we measure how differently each party uses each term, how much each party shifts, and whether they share nearest semantic neighbors. We show that members of Congress do not need different words to tell different stories about elections. They need only place those same words in different company. Across nearly every term and year, the two parties surround election-integrity vocabulary with entirely different words. That divergence is easy to miss, because most election vocabulary is no more divergent than other words used at roughly the same frequency, and neither party's usage shifted more than the other's. Only a subset of terms grew more divergent, most notablycertification,’’ while rigged'' andstolen’’ entered election discourse after 2020 and polarized there. By 2024, Democrats surround voter,''election,’’ and integrity'' with the language of access and administration. Republicans surround the same terms withcitizenship verification,’’ noncitizen voting,'' andborder security.’’ For one party, integrity means protecting eligible voters’ ability to cast a ballot. For the other, it means protecting the electoral process from illegitimate ballots. Election officials, who must administer a single system under both definitions, inherit this tension.

中文摘要

摘要:选举诚信是美国政治的一项共同承诺,但国会中的民主党和共和党对其含义的理解越来越不同。我们分析了2010年至2025年间发送的10,420份国会电子通讯,研究两党如何使用“诚信”、“安全”和“舞弊”等选举相关术语。通过使用历时词嵌入——一种通过词在语境中的使用追踪语义变化的方法——我们衡量了每个党派对每个术语的使用差异、各党派的语义转变程度,以及是否共享最近的语义邻居。我们发现,国会议员不必使用不同的词语来讲述不同的选举故事。他们只需将相同的词置于不同的语境中即可。在几乎每一个术语和年份,两个党派在描述选举诚信的词汇周围使用的词是完全不同的。这种差异容易被忽视,因为大多数选举词汇的分歧程度并不高于频率相近的其他词汇,而且两个党派的使用变化幅度也相差不大。只有部分术语的分歧增加,尤其是“认证”,而“操纵”和“被盗”是在2020年后进入选举话语并在那里产生极化的。到2024年,民主党用与投票权和行政管理相关的语言来围绕“选民”、“选举”和“诚信”;共和党则用“公民身份核验”、“非公民投票”和“边境安全”等词围绕同样的术语。对于一个党派来说,诚信意味着保护符合条件的选民投票的能力;对于另一个党派来说,它意味着保护选举过程免受非法选票的干扰。选举官员必须在两种定义下管理同一系统,因此承接了这种紧张关系。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36187 (HTTP 429)

Authors: Michael A. Robinette, Christina Barsky, Amanda D. Clark, Helen Flannery, Juniper Lovato

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36187.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36187

Published: 2026-10-29T02:50:41.088Z


8. LLM Hallucination Detection via Low-rank Multilinear Decomposition

Abstract:Large language models (LLMs) frequently generate fluent yet factually incorrect responses, raising concerns about their reliability. Recent hallucination detectors increasingly exploit internal representations, but extracting informative signals from high-dimensional hidden states remains challenging. Existing approaches often rely on selected activations or pooling-based compression, potentially overlooking discriminative information distributed across Transformer layers, feature modes, and tokens. We propose LOTUS (Low-rank Order-statistic TUcker-based Subspace learning), a multilinear low-rank decomposition framework for hallucination detection that extracts compact representations from LLM hidden states while reducing dependence on labeled data. Our approach first summarizes variable-length token representations using complementary statistical descriptors that capture peak activations, activation distributions, and cross-layer changes. We then leverage low-rank multilinear decomposition to extract compact representations that capture the underlying structure of LLM hidden states, which are subsequently used to train a lightweight hallucination classifier. Experiments across multiple LLMs and question-answering benchmarks demonstrate improved hallucination detection performance over recent state-of-the-art baselines.

中文摘要

摘要:大型语言模型(LLMs)经常生成流畅但事实错误的回答,这引发了对其可靠性的担忧。近期的幻觉检测器日益利用内部表示,但从高维隐藏状态中提取信息信号仍然具有挑战性。现有方法通常依赖于选择的激活或基于池化的压缩,可能忽略分布在 Transformer 层、特征模式和令牌上的判别信息。我们提出了 LOTUS(基于低秩序统计塔克分解的子空间学习),这是一个用于幻觉检测的多线性低秩分解框架,可从 LLM 的隐藏状态中提取紧凑表示,同时减少对标注数据的依赖。我们的方法首先使用互补的统计描述符总结可变长度的令牌表示,这些描述符捕捉峰值激活、激活分布及跨层变化。然后,我们利用低秩多线性分解提取紧凑表示,以捕捉 LLM 隐藏状态的潜在结构,随后用于训练轻量级幻觉分类器。在多个 LLM 和问答基准上的实验表明,相较于近期的最先进基线方法,我们的方法在幻觉检测性能上有了提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36191 (HTTP 429)

Authors: Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36191.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36191

Published: 2026-10-29T02:50:41.088Z


9. Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters

Abstract:IceBERT, the reference encoder for Icelandic, found that a cleaned web crawl is enough to train a strong model and that starting from a multilingual model can help on some tasks. We revisit both findings with the ModernBERT architecture. We train Icelandic encoders from 12M to 1B parameters on 9B tokens of open data, and rerun IceBERT’s benchmarks and five newer tasks for 30 encoders under one protocol with confidence intervals. Our 1B model trained from scratch, to our knowledge the first monolingual Icelandic encoder of that size, is significantly better than IceBERT on all eleven tasks; warm-started from the English Ettin encoder of the same shape, it has the best score of all encoders on every task we rank. Because our model shapes match the English Ettin encoders and the multilingual mmBERT, we can also test the warm start under controlled conditions, at six model sizes and four token budgets. With our vocabulary transplanted, a warm start was never significantly worse than scratch training on the same Icelandic text, and from base size up it was not significantly worse on four tasks than scratch training on 4 times the text (8 times at base and 1B). As models grow, most of the transfer comes from the source model’s transformer layers, so even an English source helps. Keeping the source vocabulary instead cost 5 F1 on question answering and nearly three times the compute.

中文摘要

摘要:IceBERT,冰岛语的参考编码器,发现清理后的网页抓取数据足以训练出强大的模型,并且从多语言模型开始可以在某些任务上有所帮助。我们使用 ModernBERT 架构重新考察了这两个发现。我们在 90 亿个开源数据的标记上,训练了参数从 1200 万到 10 亿的冰岛语编码器,并在一个协议下对 30 个编码器重新运行了 IceBERT 的基准测试和五个更新任务,并提供置信区间。据我们所知,我们从零开始训练的 10 亿参数模型,是第一个如此规模的单语言冰岛语编码器,其在所有十一项任务上的表现均显著优于 IceBERT;若从相同结构的英语 Ettin 编码器进行热启动,它在我们评测的每个任务上都是所有编码器中得分最高的。由于我们的模型结构与英语 Ettin 编码器及多语言 mmBERT 相匹配,我们还能在受控条件下测试热启动,在六个模型规模和四个标记预算上进行测试。使用我们的词汇表迁移,热启动在同样的冰岛语文本上训练时,从未显著劣于从零训练;从基础规模开始,在四个任务上的表现也不显著低于使用四倍文本(基础和 10 亿规模则为八倍文本)从零训练。随着模型规模增大,大部分迁移来自源模型的 Transformer 层,因此甚至英语源模型也有帮助。而保留源词汇表则在问答任务中损失了 5 个 F1 分数,并几乎消耗了三倍的计算资源。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36230 (HTTP 429)

Authors: Hafsteinn Einarsson

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36230.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36230

Published: 2026-10-29T02:50:41.088Z


10. Detect Before You Disambiguate: Perturbation-Based Input Ambiguity Detection in LLMs

Abstract:Large language models (LLMs) often answer ambiguous inputs as if they had a single intended meaning. This is problematic because input ambiguity is an upstream source of uncertainty: when a prompt admits multiple valid interpretations, the key question is whether the model should answer directly at all. Existing input uncertainty methods often rely on LLM-generated statements or clarifications, but such transformations may already disambiguate the input before the ambiguity is measured. We propose a label-preserving perturbation framework for input ambiguity detection in which perturbations remain close to the original input while preserving its label. We instantiate this principle with two detectors: a black-box rule-based perturbation library and a white-box importance-guided method using model-internal signals. Experiments across four datasets in open-domain, conversational, and visual QA show that our methods outperform output-side uncertainty baselines and LLM-paraphrase-based perturbation baselines. Our results highlight the importance of detecting ambiguity before attempting to disambiguate it. Our code is available \href{this https URL}{\textcolor{purple}{here}}.

中文摘要

摘要:大型语言模型(LLMs)常常将含糊输入当作单一意义来回答。这存在问题,因为输入含糊性是不确定性的上游来源:当提示符允许多种有效解释时,关键问题是模型是否应直接回答。现有输入不确定性方法通常依赖LLM生成的陈述或澄清,但此类转换可能在测量歧义前就已消除歧义。我们提出了一种保持标签的扰动框架用于输入歧义检测,扰动保持接近原始输入但保持其标签。我们通过两种检测器实现这一原则:基于规则的黑盒扰动库和基于模型内部信号的白盒重要性引导方法。在开放域、对话式和可视化质检中,跨越四个数据集的实验显示,我们的方法优于输出端不确定性基线和基于LLM的变句扰动基线。我们的结果强调了在尝试消歧之前检测歧义的重要性。我们的代码可用 \href{this https URL}{\textcolor{purple}{here}}。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36353 (HTTP 429)

Authors: Tiejin Chen, Xiaoou Liu, Michael Clifford, Ahmadreza Moradipari, Yitao Chen, Kyungtae Han, Nejib Ammar, Hua Wei

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36353.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36353

Published: 2026-10-29T02:50:41.088Z


Agent Domain Papers

1. Counting the Bandages: On measuring the time that AI saves

Abstract:I consider what it means for AI assistance to save time. I contrast a stopwatch view, on which time saved is whatever the clock records, with a ledger view, on which it is a counterfactual that has to be read next to the errors the work lets through, and I argue for the latter. The argument has four parts. I define a model-free pair of quantities, time saved and excess escaped defects, and one decision number built from them: the break-even defect cost. I give a baseline model of checking in which, until the model is good enough not to check, a calibrated worker’s escaped-defect rate does not depend on how good the model is; checking time grows with the logarithm of the model’s error rate; and over-trust buys minutes on the clock at a larger cost in total minutes. I show what randomized studies can and cannot identify, and I replicate METR’s developer study from its public data: the same 246 issues support a slowdown of 19% or 24% depending on the estimand (34% without adjusting for a chance imbalance), and AI helped on somewhere between 3% and 82% of them. Finally, I restate the published record, with stated bounds in place of imported point assumptions. In GDPval’s own review-every-output workflow, review time alone caps GPT-5’s speedup at 3.6x; the consultants outside the frontier were faster, and more often wrong. Last, I test two of the model’s predictions in a small pre-specified experiment on AI reviewers checking AI drafts of the same kind of brief, built from SEC filings made after the models’ training data were collected. Told the drafter’s true error rate, the reviewer checked more as it rose, but all-or-nothing, switching near where its prompt’s costs break even. Told that the drafter erred ten times less often than it did, it checked 7 fewer of 9 figures and let a wrong figure through in 22.5% of briefs instead of none: faster and worse, entirely through reduced effort.

中文摘要

摘要:我讨论了人工智能(AI)辅助节省时间的含义。我对比了两种观点:一种是秒表视角,即节省的时间等于时钟记录的时间;另一种是账本视角,即节省的时间是一种反事实,需要与工作中允许通过的错误一起读取,我主张后者。论证分为四部分。我定义了一对无模型依赖的量——节省的时间和超额逃逸缺陷,以及由它们构成的一个决策数字:盈亏平衡缺陷成本。我给出了一种检查的基准模型,在该模型中,直到模型足够好而无需检查之前,一个经过校准的工人的逃逸缺陷率不依赖于模型的好坏;检查时间随模型误差率的对数增长;过度信任会以总分钟数更高的代价换取表面上的分钟节省。我展示了随机研究可以和不能识别的内容,并从公开数据中复制了METR的开发者研究:相同的246个问题在不同估计方法下支持19%或24%的减速(若不调整偶然不平衡则为34%),AI在其中约3%到82%的问题上提供了帮助。最后,我重新陈述了已发布的记录,用声明的界限替代导入的点假设。在GDPval自己的“逐输出检查”工作流程中,仅检查时间就将GPT-5的加速上限限制在3.6倍;领先以外的顾问更快,但更常出错。最后,我在一个小型预先指定的实验中测试了模型的两个预测,该实验是关于AI评审员检查AI起草的同类简报,这些简报基于模型训练数据收集后提交的SEC文件。告知评审员起草者的真实错误率时,随着错误率上升,评审员检查得更多,但采取全有或全无策略,转换点接近其提示成本的盈亏平衡点。告知起草者的错误率比实际低十倍时,评审员在9个图表中少检查了7个,并在22.5%的简报中放过了一个错误图表,而原本不会出现:速度更快但更糟,完全是由于努力减少所致。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35942 (HTTP 429)

Authors: Solomon Shalom Lijo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35942.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35942

Published: 2026-10-29T02:51:03.282Z


2. Enhancing Deep Learning Model Performance through Data Generation Strategies: Classification of Olive Tree Diseases

Abstract:Deep learning models are highly effective in a wide range of domains, particu larly in plant disease diagnosis. However, their performance is often limited by challenges such as insufficient data and class imbalance. In our work, we propose a comprehensive data generation strategy to overcome these limitations. First, we apply various data generation techniques, including traditional augmentation methods, CutMix, MixUp, and synthetic image generation using Deep Convolu tional Generative Adversarial Networks (DCGANs), to create new data samples. Second, we exploit this generated data in three scenarios: (S1) balancing class distribution in the original dataset, (S2) increasing the number of samples per class, and (S3) expanding the dataset while maintaining balanced classes. Third, we evaluate the impact of these data distributions (S1, S2, S3) on model perfor mance using the EfficientNetV2B0 architecture with pre-trained and fine-tuned weights. The experimental results show a substantial improvement in classifica tion accuracy, emphasizing the critical role of data diversity and class balance. These findings highlight the effectiveness and adaptability of the proposed strat egy of data generation and distribution for enhancing dataset quality, offering promising applications in plant disease detection and precision agriculture.

中文摘要

摘要:深度学习模型在广泛的领域中表现出极高的有效性,尤其是在植物病害诊断方面。然而,它们的性能通常受到数据不足和类别不平衡等挑战的限制。在我们的工作中,我们提出了一种全面的数据生成策略以克服这些限制。首先,我们应用各种数据生成技术,包括传统的数据增强方法、CutMix、MixUp,以及使用深度卷积生成对抗网络(DCGANs)生成的合成图像,来创建新的数据样本。其次,我们在三种场景中利用这些生成的数据:(S1) 平衡原始数据集的类别分布,(S2) 增加每个类别的样本数量,以及(S3) 在保持类别平衡的同时扩展数据集。第三,我们使用EfficientNetV2B0架构(带预训练和微调权重)评估这些数据分布(S1、S2、S3)对模型性能的影响。实验结果显示分类准确率有显著提升,强调了数据多样性和类别平衡的关键作用。这些研究结果突出了所提出的数据生成和分布策略在提升数据集质量方面的有效性和适应性,并在植物病害检测和精准农业中展现出广阔的应用前景。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35984 (HTTP 429)

Authors: Hicham El Akhal, Abderrahim Waga, Aissa Ben Yahya, Abdelbaki El Belrhiti El Alaoui

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35984.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35984

Published: 2026-10-29T02:51:03.282Z


3. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

Abstract:Multimodal intelligence can be viewed as human-guided co-evolution between worlds and agents through interaction. However, scaling this process faces two bottlenecks: constructing heterogeneous, verifiable environments is costly, and manual Harness iteration cannot keep pace with growing task diversity and complexity. A key insight is that tasks with different modalities and surface forms can share the same underlying capability requirements. We therefore introduce The Trinity, a recursive self-improvement framework coupling world generation with Harness evolution through three roles: Creator, Explorer, and Evolver. Drawing on verified execution trajectories, Evolver shifts the basis of task organization from surface categories to shared requirements, reorganizing the original task tree into a hierarchical capability tree. We introduce Capability-Driven Real2Sim2Real: for heterogeneous tasks at the same node, Creator abstracts their common requirements into simplified, verifiable simulated worlds for capability learning, while evaluation on original tasks measures transfer. Along this capability tree, Explorer progressively evolves reusable capability modules through selective inheritance, forming a Harness tree whose validated updates accumulate across iterations within a fixed topology. The resulting Harnesses specialize in different capabilities, motivating a Capability-Aware Harness Router that uses public task information to select compatible module configurations from the tree. Our evolved Harnesses improve mean performance by 34 points across 28 training benchmarks and 26 points across 18 unseen benchmarks, including two real-world embodied tasks.

中文摘要

摘要:多模态智能可以被视为通过交互实现的世界与智能体之间的人类引导共进化。然而,这一过程的扩展面临两个瓶颈:构建异质且可验证的环境成本高昂,以及手动开发的迭代无法跟上任务多样性和复杂度的增长。一个关键见解是,不同模态和表面形式的任务可以共享相同的底层能力需求。因此,我们引入了“三位一体”(The Trinity),这是一个递归自我改进框架,通过三种角色——创造者(Creator)、探索者(Explorer)和进化者(Evolver)——将世界生成与工具(Harness)演化相结合。借助经过验证的执行轨迹,Evolver 将任务组织的基础从表面类别转移到共享要求,将原始任务树重组为层次化能力树。我们引入基于能力的 Real2Sim2Real 方法:对于同一节点的异质任务,Creator 将它们的共同需求抽象为简化、可验证的模拟环境以进行能力学习,同时在原始任务上的评估用于衡量迁移效果。沿着这棵能力树,Explorer 通过选择性继承逐步演化可复用的能力模块,形成一个工具树,其经过验证的更新在固定拓扑结构内跨迭代累积。由此产生的工具在不同能力上实现了专门化,从而激发了能力感知工具路由器(Capability-Aware Harness Router),利用公开任务信息从树中选择兼容的模块配置。我们演化的工具在 28 个训练基准上的平均性能提升了 34 分,在 18 个未见基准上提升了 26 分,包括两个真实世界的具身任务。

LLM Analysis

Q: 这篇论文试图解决什么问题? 这篇论文试图解决多模态智能体在规模化递归自我改进(Recursive Self-Improvement, RSI)过程中面临的三个核心瓶颈: ### 1. 异构、可验证环境的构建成本高昂 手动构建覆盖多种模态(文本、图像、视频、音频)和复杂交互的大规模训练环境代价巨大,且难以扩展。现有方法多集中于单一模态或特定领域,缺乏自动化的世界生成机制来支撑智能体的持续学习。 ### 2. Harness手动迭代无法匹配任务复杂度的增长 智能体性能日益受限于其控制框架(Harness)的组织与协调能力。随着任务多样性和长程交互复杂度的增加,依赖人工设计或逐任务调优 Harness 的方式已无法持续,亟需自动化的 Harness 进化机制。 ### 3. 现有RSI方法的跨任务泛化能力受限 当前 Harness RSI 研究主要聚焦于文本模态任务(如编程、数学),并采用\*\*任务特定进化\*\*(task-specific evolution)策略。这导致两个缺陷: - \*\*过拟合与碎片化\*\*:针对特定任务优化的 Harness 难以泛化到异构任务; - \*\*全局Harness的内在冲突\*\*:试图用一个通用 Harness 覆盖所有任务时,会面临不同任务间性能–效率权衡的冲突需求,降低适应效率。 ### 核心洞察与解决路径 论文提出,\*\*不同模态和表面形式的任务可能共享相同的基础能力需求\*\*(例如,ARC-AGI-3 和 Micromouse 都需要精确的感知与状态跟踪)。因此,问题应从"如何为每个任务优化 Harness"转变为:\*\*如何识别并利用任务间共享的能力需求,构建可复用的模块化 Harness,并通过自动化环境生成与验证实现持续的跨模态自我改进\*\*。 为此,论文提出 \*\*The Trinity\*\* 框架,通过 \*\*Creator\*\*(生成简化可验证的仿真世界)、\*\*Explorer\*\*(沿能力树进化可复用模块)和 \*\*Evolver\*\*(从验证轨迹中重组能力需求)三个角色,实现从"任务驱动"到"能力驱动"的递归自我改进。 Q2: 有哪些相关研究? 该论文的相关研究主要围绕两大主线展开:\*\*递归 Harness 自我改进\*\*与\*\*智能体–环境协同进化\*\*。此外,引言部分还涉及多模态基础模型与交互智能体的基础支撑工作。具体分类如下: --- ### 1. 递归 Harness 自我改进(Recursive Harness Self-Improvement) 该领域研究如何在冻结模型权重(fixed backbone)的前提下,通过改进控制框架(Harness)实现智能体能力的持续提升与泛化: - \*\*自我改写与元优化\*\* - 早期理论工作如 Gödel machines

87
探讨了自我指涉的通用自我改进。 - 近期研究包括 LLM 系统重写自身智能体代码(如 Darwin Gödel Machine
24
、STOP
88
、Gödel Agent
89
),以及端到端的 Harness 元优化(Meta-Harness
18
)。 - **自动化智能体设计** - ADAS
90
、AFlow
91
、AgentSquare
92
等通过自动化搜索或工作流生成,在模块化设计空间中设计智能体架构。 - **提示优化** - OPRO
93
、Promptbreeder
94
、TextGrad
95
等利用文本梯度、进化算法或自指涉机制自动优化提示模板。 - **自我反思与反馈学习** - Self-Refine
96
、Reflexion
97
、ExpeL
98
等通过自我反馈、言语强化学习或经验积累实现迭代精炼。 - **固定权重下的 Harness 进化与专门化**(与本文最直接相关) - **自动合成与修复**:AutoHarness
33
自动合成代码级 Harness;Harness-R1
35
与 Chen et al.
32
从失败轨迹中诊断并修复 Harness 缺陷;Self-Harness
19
实现 Harness 的自我修订。 - **模块化与分层方法**:ModularRSI
26
在基准不相交任务上进化可复用模块;HSI
34
提出按任务族分层的可进化 Harness;JIT-Agent
25
支持即时(just-in-time)Harness 进化;HarnessX
104
提供可组合、类型化的 Harness 原语。 - **持续适应与体制分支**:Harness Continual Learning
105
构建扁平能力图以持续适应任务流;Adaptive Auto-Harness
106
在开放任务流上实现体制分支的 Harness 树。 - **测试时与元级别适应**:TTHE
99
在测试时进化 Harness;MetaSkill-Evolve
100
和 MetaRSI
101
从元技能层面实现递归自我改进。 与上述工作相比,**The Trinity 的核心差异**在于:从训练轨迹中**归纳层次化能力树**而非按任务或模态扁平分组,在 Creator 生成的仿真世界(排除目标任务布局与真实解)中进化 Harness,并通过**选择性模块继承**机制在 44 个异构基准上实现跨任务泛化,最终评估于保留基准与真实机器人。 —- ### 2. 智能体与环境的协同进化(Co-evolution of Agents and Environments) 该主线关注如何自动生成、调整或验证训练环境,以形成与学习者共同进化的课程: - **开放式协同进化** - POET

108
及其增强版
109
通过环境与其优化解的开放式协同进化持续生成新的学习挑战;Minimal Criterion Co-evolution
107
提出了开放式搜索的新方法。 - **无监督环境设计与课程学习** - PACE
29
、基于遗憾的环境设计(Evolving Curricula)
110
,以及经典课程学习框架
111, 112
。 - **具身协同设计与技能库增长** - Voyager
113
在自动课程下增长技能库;Embodied Co-design
28
探讨了快速进化智能体的协同设计分类与挑战。 - **多样化环境生成** - **具身环境**:EnvGen
118
、SimWorld Studio
119
。 - **工具与通用环境**:Agent-World
120
、Endless Terminals
121
、Terminal-World
122
、Qwen-AgentWorld
123
。 - **游戏验证**:GameGen-Verifier
124
通过运行时状态注入并行验证 LLM 生成的游戏。 - **语言智能体的协同进化循环** - SEAL
114
协同进化语言智能体与环境;Escher-Loop Q3: 论文如何解决这个问题? 该论文通过引入 **The Trinity** 框架,将递归自我改进(RSI)的范式从“任务驱动”转向“**能力驱动**”,从而系统性地解决多模态智能体在规模化进化中面临的瓶颈。具体解决方案可从以下五个层面展开: —- ### 1. 核心范式:以共享能力需求重组任务空间 论文的核心洞察在于,**不同模态与表面形态的任务可能共享相同的基础能力需求**(例如,ARC-AGI-3 与 Micromouse 均依赖精确感知与状态跟踪)。因此,框架不再按任务类别或模态类型组织训练,而是通过分析验证轨迹,将任务按其**能力需求集合**重新组织: - 定义一组能力类别 K ,每个训练任务 τ 被赋予固定的需求集合 Kτ ⊂eq K 。 - 依据预设的能力顺序 prec 对 Kτ 排序,得到路径 pτ = sort_prec(Kτ) 。 - 通过 Trie 结构合并所有任务路径的公共前缀,构建出**层次化能力树**(Capability Tree):

T = Triepτ : τ ∈ B(tr)
树中每个节点代表一种能力组合,节点上的训练任务共享该组合所要求的所有能力。 —- ### 2. 三角色协同闭环:Creator、Explorer、Evolver 框架通过三个角色的协同,将环境生成与 Harness 进化耦合在同一个能力树上: | 角色 | 核心职能 | 解决的关键问题 | |———|————-|———————| | **Evolver** | 从任务规范与验证轨迹中提取能力需求,构建并维护能力树;设计简化训练关卡 | 将异构任务映射到共享的能力维度,避免任务特定过拟合 | | **Creator** | 依据节点能力需求,生成简化、可验证的仿真世界(Capability-Driven Real2Sim2Real) | 降低大规模异构环境的构建成本,提供专注能力学习的课程 | | **Explorer** | 沿能力树执行训练关卡,通过选择性继承父节点模块并局部 refine,进化 Harness 树 | 实现模块化、可复用的 Harness 进化,支持跨任务泛化 | —- ### 3. 能力驱动的 Real2Sim2Real(Creator) 针对同一能力节点上的异构任务,Creator 将其**共同决策逻辑**抽象为简化的仿真训练关卡,而非直接复制原始任务: - **Sim 阶段**:基于节点能力需求、子节点信息及代表性任务的公开规范,Evolver 设计排除目标布局、私有证明与真实解迹的训练关卡;Creator 使用节点 Harness 实现这些关卡,并通过主机验证器池检查绑定、执行、状态转移与渲染的正确性。 - **Real 阶段**:训练完成后,直接在**原始基准任务**上评估性能,以衡量能力迁移效果。 这一机制使得智能体在紧凑的仿真课程中学习可迁移的底层决策能力,显著降低了训练环境数量与推理成本(实验表明,Capability Tree (Sim) 在仅使用 10 个 Harness 和 11 个环境的情况下,即达到最优的模块级性能)。 —- ### 4. Harness 树的选择性继承与局部细化(Explorer) Explorer 沿能力树构建与树结构对齐的 Harness 树,通过以下机制实现高效进化: - **节点状态**:节点 v 在第 i 次迭代后的 Harness 由继承模块 P(v)^((i)) 与局部模块 L(v)^((i)) 组成:

H(E,v)^((i)) = P(v)^((i)) oplus L(v)^((i))
其中 oplus 为右偏并集(本地模块优先覆盖同名继承模块)。 - **选择性继承**:子节点仅在其父节点更新后的版本在相同验证任务上取得**严格更高**的任务完成数时,才继承该更新;否则保留先前版本。这确保了祖先模块的稳定性与有效性。 - **持续细化**:Explorer 在准入的仿真课程上 rollout 收集轨迹 Z
(v)^((i+1)) ,Evolver 据此对比成功与失败轨迹,提出局部模块更新:
L(v)^((i+1)) = Evolve(L(v)^((i)), Z(v)^((i+1)), F(v)^((i)))
主机验证证据、所有权、接口与版本谱系后,接受或拒绝更新。 - **Base Harness 整合**:每次迭代结束时,Creator 将所有节点验证通过的模块提案与当前 Base Harness 库合并,去重并保留互补功能,形成下一代共享 Base Harness H_(C)^((i+1)) 。 —- ### 5. 能力感知的路由(Capability-Aware Harness Routing) 由于进化后的 Harness 在不同能力分支上呈现专业化,框架引入路由机制为每个任务匹配兼容的模块配置: - 利用公开任务信息(目标、初始观测、元数据)与**已验证的执行经验**(存储于 FIFO 记忆池中),Router 检索相似历史记录并选择候选 Harness:

h_n = π(x_n, C, R(x_n, M_n), S(M_n))

  • 该机制在冻结的能力树与版本化 Harness 池上运行,无需访问未见任务的能力标签,即可实现任务到 Harness 的动态匹配,避免了单一全局 Harness 的内在冲突。 —- ### 总结 通过上述设计,The Trinity 将原本碎片化的任务特定优化,转化为在**固定拓扑的能力树上对可复用模块的递归进化**。Creator 提供低成本、高保真的仿真课程,Explorer 通过选择性继承累积验证有效的更新,Evolver 则确保整个系统始终围绕“共享能力需求”这一语义基础进行组织与改进,从而实现了跨模态、跨任务的 Harness 自我改进与泛化。 Q4: 论文做了哪些实验? 论文在第4节(Experiments)中设计并执行了六组实验,系统验证能力驱动递归自我改进的有效性。实验基于 **28个训练基准** 与 **18个未见基准**(含两个真实世界具身任务),所有变体共享冻结的 Claude Opus 5 骨干与初始 Base Harness H0 。以下按实验目标分述: —- ### 1. 实验设置(Experimental Setup) - **基准集**:28个训练基准与18个未见基准,涵盖规则发现、约束求解、感知控制、多智能体交互与长程环境五大领域。其中9个训练环境由智能体通过网络搜索从公开规则重建。 - **评估协议**:Train 使用每个基准的固定代表性实例集;Unseen 使用官方评估集或固定子集。每个 Harness 在正式评估前执行 **5次准备试验**,将轨迹固化为技能。 - **对比基线**:在 Unseen 部分基准上报告了 Codex 与 DeepSeek 参考 Harness 的性能。 —- ### 2. 能力驱动组织的验证(Capability-Driven Organization) 该实验验证“按能力需求重组任务”相较于“任务特定”或“全局统一”组织的优势。 #### 2.1 模块与技能的初步比较 通过消融实验(Table 2)检验 evolved modules 与 skills 的独立及联合贡献: | 方法 | 模块 | 技能 | Train | Unseen | |———|———|———|———-|————| | Base ( H_0 ) | × | × | 39.06 | 37.45 | | Module Only | ✓ | × | 56.95 | 47.26 | | Skill Only | × | ✓ | 58.86 | 48.67 | | Ours ( H^((1)) ) | ✓ | ✓ | **63.80** | **53.53** | 联合使用模块与技能显著优于单独使用,表明二者互补。 #### 2.2 不同组织方式的对比 比较六种 Harness 与训练课程的组织形式(Table 3): | 方法 | 课程 | # Harness | # Env. | Train | Unseen | |———|———|—————-|————|———-|————| | Base ( H_0 ) | — | — | — | 39.06 | 37.45 | | Global Real | 原始任务 | 1 | 28 | 53.04 | 42.92 | | Task-Domain Real | 原始任务 | 15 | 15 | 51.17 | 40.82 | | Capability-Domain Real | 原始任务 | 6 | 6 | 49.25 | 39.43 | | Capability Tree (Real) | 原始任务 | 10 | 11 | 53.44 | 42.31 | | **Capability Tree (Sim)** | **仿真世界** | **10** | **11** | **56.95** | **47.26** | 关键发现: - **Capability Tree (Sim)** 在仅使用 10 个 Harness 与 11 个仿真环境的情况下,达到最高的模块级性能(56.95 / 47.26),且推理成本最低(514.42M / 549.07M tokens)。 - 相比扁平的领域分组(Capability-Domain),层次化能力树通过选择性继承获得 **+4.19 / +2.88** 点的提升;引入 Creator 生成的仿真课程后,进一步获得 **+3.51 / +4.95** 点的增益。 - 训练成本分析(Figure 4)显示,Creator 的环境构建成本在首次迭代占主导,后续复用可摊销该开销;Explorer 在固定轨迹量下仍持续提升性能,说明能力聚焦的环境提供了更清晰的进化信号。 —- ### 3. 递归自我改进的持续性(Recursive Self-Improvement) 在固定能力树拓扑、基准划分、能力需求与骨干模型的条件下,追踪从 Base(Iteration 0)到 Iteration 4 的性能演化。 - **聚合性能**(Figure 6): - Train 均值从 **39.1** 提升至 **73.2**(+34.1 点) - Unseen 均值从 **42.1** 提升至 **64.1**(+22.0 点) - 首代增益最大,但 Iterations 2–4 仍分别带来 **+9.4**(Train)与 **+6.4**(Unseen)的额外提升。 - **基准级演化**(Figure 5):28个训练基准与18个未见基准的逐轮径向条形图显示,多数基准随迭代单调或持续提升。例如: - ARC-AGI-3:41.0 → 53.6 - SciGym:45.2 → 57.1 - BuildArena:93.3 → 97.8 - 部分基准(如 Mastermind)在 Iteration 1 即达瓶颈(88.9),而 Eleusis 出现轻微回落(82.2 → 81.1)。 - 最终 Unseen 均值超越了 Codex(47.5)与 DeepSeek(46.2)参考线。 —- ### 4. 能力感知 Harness 路由(Capability-Aware Harness Routing) 在 Iteration-4 的 Explorer Harness 树上,比较五种路由配置(Table 4): | 方法 | 能力定义 | 执行经验 | Train | Unseen | |———|—————|—————|———-|————| | Random | — | — | 52.74 | 46.23 | | Agent Self-Routing | × | × | 65.79 | 52.36 | | Agent Self-Routing | ✓ | × | 70.34 | 58.27 | | **Agent Self-Routing** | **✓** | **✓** | **71.27** | **60.96** | | Oracle | — | — | 73.16 | 63.61 | - 完整自路由配置(含能力定义与检索经验)在 Train 与 Unseen 上分别达到 **71.27** 与 **60.96**,接近 Oracle 上限(73.16 / 63.61)。 - 显式引入能力定义带来 **+4.55 / +5.91** 点的提升;进一步加入历史执行经验带来额外 **+0.93 / +2.69** 点。 - 结果表明,能力树提供了将任务需求语义匹配到 Harness 配置的有效基础。 —- ### 5. 能力–模块关系分析(Capability–Module Relationships) #### 5.1 能力–协议相关性 通过 Iteration-4 的 29 个模块,计算六种共享能力(PST、HCI、CFR、GVT、VEA、VC)与六种 Harness 协议(Perception、Memory、Inference、Planning、Orchestration、Loop)的相关系数(Figure 7)。最强正相关包括: - HCI 与 Inference:**0.744** - GVT 与 Loop:**0.444** - VEA 与 Perception:**0.347** 最显著负相关为 GVT 与 Perception(**−0.361**)、PST 与 Loop(**−0.313**),揭示了不同能力在协议层面的分化模式。 #### 5.2 受控模块干预 在 Train 上执行模块增删实验(Table 5): | 方法 | Train 得分 | 相对 Base 变化 | 推理 Tokens (M) | |———|—————-|———————-|————————| | Base ( H_0 ) | 39.06 | — | 582.54 | | + irrelevant module | 40.08 | **+1.02** | 583.37 | | + relevant module | 58.45 | **+19.39** | 551.85 | | Ours ( H^((4)) ) | 73.16 | — | 496.70 | | − relevant module | 70.42 | **−2.74** | 517.26 | - 向 Base 添加**相关**模块带来 **+19.39** 点的大幅提升,而添加**无关**模块仅提升 **+1.02**。 - 从成熟 Harness 中移除一个已安装的相关模块导致性能下降 **−2.74** 且推理成本上升。 - 该实验为“基于任务能力需求指导模块选择与组合”提供了经验支持。 —- ### 6. 具身迁移验证(Embodied Transfer) 将能力树上对应节点( d to a )进化得到的 Harness 配置,通过 Real2Sim2Real 迁移到两个真实世界机器人任务: | Harness | SOON (Sim) | CaP-X (Sim) | SOON (Real) | CaP-X (Real) | |————-|—————-|——————-|——————-|———————| | H_0 | 0% | 10% | 0% | 0% | | H^((1)) | 20% | 20% | 20% | 20% | | H^((2)) | 20% | 30% | 20% | 20% | | H^((3)) | 80% | 40% | 60% | 40% | | H^((4)) | **80%** | **60%** | **60%** | **60%** | - **SOON**(Unitree G1 导航至风扇旁书桌并触及):仿真成功率从 0% 提升至 80%,真实机器人从 0% 提升至 60%。 - **CaP-X**(AlohaMini2 揭开杯子报告隐藏方块):仿真从 10% 提升至 60%,真实机器人从 0% 提升至 60%。 - 两个任务均在 H^((1)) 即达到 20% 的真实机器人成功率,表明能力驱动的节点级模块进化能够有效支撑任务特定技能学习,并迁移至物理环境。 —- ### 实验结论 上述实验共同支持了以下核心论断: 1. **能力驱动组织优于任务驱动**:以能力树重组任务并配合仿真课程,可在更少环境与更低推理成本下实现更优的跨任务泛化。 2. **递归改进具有持续性**:在固定能力树与骨干模型上,多轮迭代仍能持续提升性能,验证仿真环境提供了可持续的能力精炼空间。 3. **能力语义支撑路由与模块设计**:能力先验可有效指导 Harness 选择与模块配置,且受控干预证实了相关模块对性能的关键 Q5: 有什么可以进一步探索的点? 基于论文第7节的讨论(Discussion)及方法论设计,以下是可以进一步探索的研究方向: —- ### 1. 从 Harness 层面扩展到模型参数层面的能力驱动自我改进 论文明确指出,当前研究主要聚焦于 Harness(控制框架)层面的递归自我改进,而 **将能力驱动范式扩展至模型参数训练** 是一个关键的下一步。具体而言,可探索: - 能力感知路由与 RSI 形成闭环, jointly 驱动能力发现、获取与精炼; - 在固定或部分可训练的网络参数上,针对能力树节点进行模块化参数微调(modular fine-tuning),实现 Harness 架构与骨干模型能力的协同进化。 —- ### 2. 能力树的动态演化与新兴能力发现 当前能力树在训练前由 Evolver 基于训练基准固定构建,拓扑在后续迭代中保持不变。未来可研究: - **动态扩展机制**:在面临新任务流或分布外任务时,自动识别现有能力树未覆盖的**新兴能力需求**,并触发节点的自动分裂、合并或新增; - **能力本体的自动归纳**:减少对人类评审员整合能力类别(judge consolidation)的依赖,发展完全自动化的、基于大规模轨迹数据的能力本体学习。 —- ### 3. 基准与环境自动发现的鲁棒性提升 论文提及当前框架依赖智能体进行网络搜索以发现基准,但**检索覆盖率与结果质量因查询而异**。值得探索的方向包括: - 设计更可靠的自动基准采集管道,例如通过多源验证、社区驱动更新或自动规则提取与形式化验证; - 提升 Creator 生成仿真世界时的**自动验证与可重复性**,降低对主机私有验证器(host-private verifiers)的人工设计依赖。 —- ### 4. 能力–模块映射的内部机制与可解释性 论文通过相关性分析(Figure 7)和模块干预实验(Table 5)建立了能力需求与模块功能之间的经验关联,但尚未揭示其深层机制: - 可进一步开展**细粒度的因果干预与反事实分析**,量化特定模块对不同能力维度的边际贡献; - 探索模块在模型内部激活层面的**神经基础**(neural basis),理解为何某些能力强烈依赖 Memory 或 Inference 协议。 —- ### 5. Creator 与 Explorer 的紧耦合联合优化 目前 The Trinity 中 Creator 与 Explorer 沿相同能力树分别进化,通过验证反馈松散耦合。未来可探索: - **环境与 Harness 的端到端联合优化**:将世界生成与 Harness 更新置于统一的优化目标下,例如通过可微分或强化学习的方式,使 Creator 直接根据 Explorer 的学习效率调整课程难度与形式; - 在更长的 RSI 周期中,研究环境复杂度、Harness 容量与任务性能之间的**Pareto 前沿**。 —- ### 6. 路由策略的自适应与在线学习 Capability-Aware Harness Router 当前依赖基于余弦相似度的经验检索与固定策略代理选择。进一步的研究可包括: - 将路由问题形式化为**上下文 bandit 或强化学习问题**,使 Router 能在部署过程中根据实时反馈自适应调整选择策略; - 探索**分层路由**:在能力树的高层进行粗粒度 Harness 选择,在叶节点进行细粒度模块组合,以降低路由决策的搜索空间与计算开销。 —- ### 7. 大规模具身智能体部署的安全、验证与泛化 论文在 SOON 与 CaP-X 两个真实机器人任务上验证了具身迁移,但更大规模的物理部署仍需解决: - **安全约束下的能力迁移**:如何在能力进化过程中形式化地编码安全规范(如碰撞避免、力限制),并确保这些约束在 Real2Sim2Real 过程中不被破坏; - **跨本体(cross-embodiment)迁移**:验证在能力树上习得的模块是否能迁移到具有不同动作空间与感知模态的物理平台。 —- ### 8. 多智能体协作场景下的能力分解与协同进化 当前框架主要围绕单智能体与环境的交互展开。在**多智能体交互**(如 Among Us、Hanabi 等)日益重要的背景下,可进一步研究: - 将联合能力需求(如对手建模、通信协议、团队策略)分解为可复用的**多智能体能力模块**; - 多个智能体是否能在共享或分布式的能力树上**协作进化**,各自专攻互补能力并通过交互提升整体性能。 Q6: 总结一下论文的主要内容 这篇论文提出 **The Trinity**,一个面向多模态智能体的**能力驱动递归自我改进(Capability-Driven Recursive Self-Improvement, RSI)**框架,旨在解决大规模异构任务下环境构建成本高、Harness 迭代效率低以及跨任务泛化不足的问题。 ### 1. 核心问题与洞察 当前多模态智能体的扩展面临双重瓶颈: - 构建大规模、异构且可验证的训练环境成本高昂; - 现有 Harness(控制框架)的自我改进多聚焦于文本任务,且采用**任务特定优化**,导致 Harness 过拟合、碎片化,难以泛化到跨模态的异构任务。 论文的核心洞察是:**不同模态和表面形式的任务可能共享相同的基础能力需求**。例如,ARC-AGI-3 与 Micromouse 均依赖精确的感知与状态跟踪。因此,应将 Harness 的组织与优化从“任务驱动”转向**“能力驱动”**,以共享能力需求作为学习的基本单元。 ### 2. The Trinity 框架 框架通过三个协同角色,将世界生成与 Harness 进化耦合在统一的能力层级上: - **Evolver**:从训练任务的规范与验证执行轨迹中提取能力需求,将任务按共享能力重新组织为**层次化能力树**(Hierarchical Capability Tree)。给定能力类别集合 K ,每个任务 τ 的需求子集 Kτ ⊂eq K 经固定序 prec 排序后形成路径 pτ = sort_prec(Kτ) ,所有任务路径经 Trie 合并得到能力树:

T = Triepτ : τ ∈ B(tr)

  • **Creator**:针对能力树上同一节点的异构任务,将其共同决策逻辑抽象为简化、可验证的仿真训练世界,实现 **Capability-Driven Real2Sim2Real**。这些仿真世界排除了目标任务的私有布局与解迹,保留核心决策过程;智能体先在仿真环境中学习,再于原始任务上评估能力迁移。 - **Explorer**:沿能力树进化** Harness 树**。每个节点 v 在第 i 轮迭代维护一个 Harness:
    H_(E,v)^((i)) = P_v^((i)) oplus L_v^((i))
    其中 P_v^((i)) 为从父节点**选择性继承**的模块, L_v^((i)) 为本地细化的模块。继承遵循严格性能验证:仅当父节点更新版本在相同验证任务上取得严格更高的任务完成率时才被采纳。每轮结束时,Creator 将所有节点验证通过的模块提案合并、去重,形成下一轮共享的 Base Harness。 此外,论文提出 **Capability-Aware Harness Router**,利用公开任务信息与已验证的执行经验,为每个任务从 Harness 树中选择兼容的模块配置,避免单一全局 Harness 的内在冲突。 ### 3. 实验与结果 论文在 **28 个训练基准**与 **18 个未见基准**(涵盖规则发现、约束求解、感知控制、多智能体交互、长程环境,包括两个真实世界具身任务)上进行了系统评估: - **能力驱动的组织优越性**:对比全局单一 Harness、任务域分组与扁平能力域分组,**Capability Tree + Sim**(基于 Creator 仿真世界)在仅使用 10 个 Harness 和 11 个环境的情况下,达到最优的模块级性能(Train 56.95 / Unseen 47.26),且推理成本最低,验证了“以能力重组任务 + 简化仿真课程”的高效性。 - **递归自我改进的持续性**:在固定能力树拓扑与冻结骨干模型(Claude Opus 5)上,经过 4 轮迭代,Train 平均性能从 39.1 提升至 **73.2**(+34.1),Unseen 从 42.1 提升至 **64.1**(+22.0)。首代增益最大,但后续迭代仍持续带来显著提升。 - **能力感知路由的有效性**:在完整路由配置(能力定义 + 执行经验)下,Agent Self-Routing 在 Train/Unseen 上分别达到 **71.27 / 60.96**,接近 Oracle 上限(73.16 / 63.61),证明能力树为 Harness 选择提供了可靠的语义基础。 - **能力–模块关系的经验证据**:向 Base Harness 添加**相关**模块带来 **+19.39** 点性能提升,而添加无关模块仅提升 **+1.02**;从成熟 Harness 中移除相关模块则导致性能下降,支持了“按任务能力需求配置模块”的设计先验。 - **具身迁移**:将能力树上进化得到的 Harness 迁移至 Unitree G1(SOON)与 AlohaMini2(CaP-X)真实机器人任务。经过 4 轮迭代,SOON 真实机器人成功率从 0% 提升至 **60%**,CaP-X 从 0% 提升至 **60%**,验证了能力进化在物理环境中的可迁移性。 ### 4. 核心贡献 论文的主要贡献可概括为: 1. **能力驱动的多模态 RSI**:首次将共享能力需求作为 Harness 进化的组织原则,通过 Real2Sim2Real 生成紧凑训练世界,构建可复用的模块式 Harness 树,并实现能力感知的动态路由。 2. **能力–模块先验**:建立了任务级能力需求与可复用模块配置之间的经验关联,并通过受控干预验证了相关模块对性能的关键支撑作用。 3. **高效进化与跨域迁移**:证明针对共享决策逻辑的模块进化可在低进化成本下实现有效改进,并迁移至异构任务、未见基准及真实具身场景。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文,请点击 这里 为你跳转Kimi AI网页版,并启动一个与该论文相关的新会话。

Authors: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36077.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36077

Published: 2026-10-29T02:51:03.282Z


4. CohortFlow: A Steerable Clinical Cohort Curation Agent with Localized Semantic Correction

Abstract:Language model agents for clinical cohort curation should accommodate evolving eligibility criteria without repeatedly processing unchanged requirements. We introduce CohortFlow, a steerable agent that represents natural language corrections as localized updates to a structured cohort specification and reconciles them with a persistent execution graph. Explicitly recorded semantic dependencies enable affected computations to be selectively invalidated while preserving valid prior results. On 100 scenarios derived from clinical-trial eligibility criteria, comprising 126 correction turns, localized steering achieves 77.0% requirement micro-F1 versus 76.4% for full regeneration using the same 8B model, a small numerical advantage that is not statistically significant ($p=0.493$). It reduces mean correction latency by 64.8% after completion and 44.3% during execution, with 38.1% fewer model calls. In a separate proof-of-concept evaluation over MIMIC, all 13 cohort states execute successfully, while correction trajectories demonstrate selective preservation of unaffected computations and recomputation of changed or dependent nodes. Together, these results show that localized semantic steering can substantially reduce correction latency and model calls while maintaining strong requirement-level accuracy.

中文摘要

摘要:用于临床队列策展的语言模型代理应能适应不断变化的资格标准,而无需反复处理未更改的要求。我们引入了CohortFlow,一种可引导的代理,它将自然语言修正表示为对结构化队列规范的局部更新,并将其与持久的执行图进行协调。明确记录的语义依赖关系使受影响的计算能够被选择性地作废,同时保留有效的先前结果。在基于临床试验资格标准的100个场景(共包含126次修正回合)中,局部引导实现了77.0%的要求微F1,相比使用相同的8B模型进行完整再生成的76.4%,数值上略高但没有统计学显著性($p=0.493$)。在完成后,它将平均修正延迟减少了64.8%,在执行过程中减少了44.3%,并减少了38.1%的模型调用。在另一个基于MIMIC的概念验证评估中,所有13个队列状态均成功执行,同时修正轨迹展示了对未受影响计算的选择性保留以及对已更改或依赖节点的重新计算。综合来看,这些结果表明,局部语义引导可以在保持高要求级准确性的同时,大幅降低修正延迟和模型调用次数。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36100 (HTTP 429)

Authors: Neil Chen, Adrian Serapio, Hanxue Gu, Evan Lee, Kang Wang, Yang Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36100.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36100

Published: 2026-10-29T02:51:03.282Z


5. Why and How to Do Science When AI Is Better at It: A Framework Grounded in Human Understanding and Direction

Abstract:As AI begins to match or exceed human researchers at core scientific tasks, two questions become pressing: \emph{why} should humans keep doing science, and \emph{how} should they use AI when they do? This paper argues that the second can be answered only by answering the first. It holds that one indispensable aim of science is \emph{durable, collective human understanding of the world, pursued in service of human ends and values}. From this principle it derives a two-part test for when a research task can be delegated to AI. The first part, \emph{human understanding}, requires that the scientific community remain able to explain, defend and contest the resulting claims, and retain the skills to do so. The second, \emph{human direction}, requires that judgments about which questions matter and what findings mean stay with accountable humans. Applying the test to each phase of research in the Contributor Roles Taxonomy (CRediT) yields recommendations that fields can tailor to their questions and methods. The framework differs from existing guidance in three ways. It rests on an account of what science is for rather than on integrity norms. It holds even if AI outperforms human researchers, rather than depending on AI’s current limitations. And it judges each use of AI by its effects on human understanding and direction rather than by the type of tool, across every phase of research, including peer review and the training of new researchers. It closes with the reforms needed to keep science aimed at human understanding and direction.

中文摘要

摘要:随着人工智能在核心科学任务上开始与人类研究者匹敌甚至超越,两个紧迫问题变得迫切:为什么人类应该继续做科学,以及他们在做科学时该如何使用人工智能?本文认为,只有回答第一个问题才能回答第二个问题。它认为科学的一个不可或缺目标是实现持久的、集体的人类理解,服务于人类的目标和价值观。基于这一原则,它提出了一个两部分的测试,判断何时可以将研究任务委托给人工智能。第一部分,\emph{人类理解},要求科学界能够解释、辩护和反驳所得主张,并保持相关技能。第二部分,\emph{人类指导},要求对哪些问题重要性和发现意义的判断必须由负责任的人类掌握。将该测试应用于贡献者角色分类法(CRediT)中的每个研究阶段,可以提出各领域根据自身问题和方法量身定制的建议。该框架与现有指导意见有三点不同。它基于科学的目的,而非诚信规范。即使人工智能表现优于人类研究者,而非依赖人工智能当前的局限性,它依然适用。它在包括同行评审和新研究者培训在内的每个研究阶段,均以人工智能对人类理解和方向的影响而非工具类型来评判每一次人工智能的使用。最后,它提出了必要的改革,以确保科学以人类理解和方向为目标。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36116 (HTTP 429)

Authors: Hoda Heidari, Aydin Mohseni

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36116.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36116

Published: 2026-10-29T02:51:03.282Z


6. From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors

Abstract:Prompt optimization should improve the image a user receives without changing the scene the user requested. Yet stylistic rewriting can weaken object attributes and relations even when global text—image similarity remains high. We propose StruPO, a structure-aware prompt editor that uses a calibrated scene graph as a shared representation for policy conditioning and image-grounded supervision. The graph exposes what should be preserved, while deletion, reordering, and insertion provide a token-aligned way to modify the prompt. This turns structural feedback from an external critique into a training signal for a reusable editing policy. Learning from that signal requires handling both uncertain grounding and stochastic image generation. StruPO retains grounding confidence through smooth reward shaping and averages multiple images for each edit before computing group-relative advantages. Experiments span three disjoint 2K-prompt test sets and four frozen generation backbones, with comparisons to learned prompt optimizers, iterative structural feedback, diffusion-model fine-tuning, and inference-time attention control. StruPO improves the faithfulness—aesthetics trade-off, with consistent gains in relational fidelity. Independent automatic evaluators and a 15-annotator study provide complementary evidence, and human preference margins increase with relation complexity. Controlled ablations connect these gains to graph conditioning, local editing, and image-grounded learning. The resulting policy produces reusable optimized text in one pass after graph calibration, without an iterative critique—rewrite loop.

中文摘要

摘要:提示优化应在不改变用户所请求场景的情况下改善用户收到的图像。然而,即使整体文本与图像的相似度保持较高,风格化重写也可能削弱对象属性和关系。我们提出了 StruPO,一种结构感知的提示编辑器,它使用校准后的场景图作为策略条件和基于图像监督的共享表示。该图揭示了应保留的内容,而删除、重排和插入提供了一种与令牌对齐的方式来修改提示。这将来自外部批评的结构反馈转化为可重用编辑策略的训练信号。从该信号学习需要处理不确定的基础关系和随机图像生成。StruPO 通过平滑奖励塑造来保持基础关系的置信度,并在计算组相对优势前对每次编辑生成的多张图像进行平均。实验涵盖了三个不相交的 2000 条提示测试集和四个冻结的生成主干网络,并与学习型提示优化器、迭代结构反馈、扩散模型微调以及推理时注意力控制进行了对比。StruPO 改善了忠实性与美学的权衡,并在关系保真度上实现了持续提升。独立自动评估器和 15 位标注者的研究提供了互补证据,人类偏好差距随关系复杂度增加而增大。受控消融实验将这些提升与图条件、本地编辑和基于图像的学习联系起来。最终生成的策略在图校准后一次性生成可重用的优化文本,无需迭代批评-重写循环。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36146 (HTTP 429)

Authors: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36146.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36146

Published: 2026-10-29T02:51:03.282Z


7. Don’t Pick a Winner: Knowledge Conflicts Need a Prior, Not a Rule

Abstract:A retrieval-augmented language model answers from two sources, the retrieved context and its own knowledge, and the two disagree whenever the context is incomplete or wrong. Existing methods settle the disagreement with a rule fixed at design time: follow the context, amplify it in proportion to how far it moves the model, or trust the model’s memory. Each rule is confidently wrong in some deployment. In a decision-theoretic model of two sources, the score of any fixed rule is linear in the share of reliable contexts while the best attainable score is convex, so every fixed rule is beaten wherever it is not exactly optimal; and a symmetric divergence between the two sources, the signal adaptive decoding uses, carries no information about which one is right. Resolving a conflict therefore needs two inputs that no existing method keeps: evidence about each source separately, and a prior on how often the context is right. We test these claims on GRACE, a benchmark that intervenes on the knowledge-graph context of a fixed question, so that what the model knows, what the context says and what is true are measured separately. There, every baseline from four families is strong on right contexts or on wrong ones, never on both. We then build the two inputs: the model states its knowledge as notes, a small policy voices each note with a calibrated confidence, a reader answers in two voices, and a selector commits or abstains under a prior $\pi$ applied as an exact prior shift. With $\pi$ set to the true share of right contexts, the system is above the best baseline at every mixture of GRACE contexts, by up to 26 points. Its overall score is 45.3 and 35.0 (Qwen3.5-35B-A3B, Llama-3.1-8B), against 29.4 and 27.5 for the best baseline. On preregistered ClashEval it beats same-backbone CK-PLUG and TCR by 12 and 26 points. Where the model lacks the knowledge, the gains vanish, as the theory predicts.

中文摘要

摘要:检索增强语言模型从两个来源回答:检索的上下文和自身知识,当上下文不完整或错误时,两者会存在分歧。现有方法解决设计时固定规则的分歧:遵循上下文,按移动模型的程度放大,或信任模型记忆。每种规则在某些部署中都是明确错误的。在两个来源的决策理论模型中,任何固定规则的得分在可靠上下文中是线性的,而最佳可达分数是凸的,因此每个固定规则在不完全最优的地方都会被击败;信号自适应解码所用的两个来源之间的对称背离,不包含哪一条正确的信息。因此,解决冲突需要两个输入,而现有方法都不保留:分别关于每个来源的证据,以及上下文正确频率的先验。我们在GRACE上测试这些主张,GRACE是一个基准测试,该基准会介入固定问题的知识图谱上下文,从而分别测量模型所知、上下文所说和真实。在那里,四个族的每个基线在正确的语境上都强或在错误的语境上强,绝不会同时在两者上。然后我们构建两个输入:模型以笔记形式陈述其知识,一个小型策略以校准置信度表达每个音符,读者以两个声音回答,选择器根据先前应用的精确先验偏移来承诺或放弃。当$\pi$设置为正确上下文的真实份额时,系统在每种GRACE上下文混合中都比最佳基线高出最多26个百分点。其总体得分分别为45.3和35.0(Qwen3.5-35B-A3B,Llama-3.1-8B),而最佳基线分别为29.4和27.5。在预注册的ClashEval中,它以12点和26点优势击败了同骨干的CK-PLUG和TCR。模型缺乏知识时,正如理论预测的那样,收益将消失。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36169 (HTTP 429)

Authors: Minh Pham Van, Cong Tran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36169.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36169

Published: 2026-10-29T02:51:03.282Z


8. Learning Human Sports Motion Feasibility via Quantile Regression on Tracking Data

Abstract:We study time-to-arrival (TTA) in sports: the shortest plausible time a player needs to reach an arbitrary location on the pitch given their current kinematic state, estimated as the lower envelope of observed locomotion times. Rather than modeling space ownership through position density estimation or closed-form physics-based models, we cast TTA as a conditional quantile regression problem, estimating the lower quantile of locomotion time so the model learns a player’s lower-envelope arrival time. We train the model on optical tracking data from all 64 matches of the PFF FC FIFA World Cup 2022 dataset, and evaluate a lightweight multilayer perceptron against six player-motion models from the literature, re-expressed as TTA predictors, and a learned reachable- hull baseline. Across our evaluation metrics, the MLP consistently outperforms every physics-based baseline. To probe the generality of the learned locomotion model, we further evaluate it on basketball tracking data and a single-game NFL tracking dataset, analyzing the transferability of player motion dynamics across sports. Our project is available at this https URL.

中文摘要

摘要:我们研究体育运动中的到达时间(TTA):基于球员当前的运动学状态到达场上任意位置所需的最短合理时间,这一时间被估计为观察到的运动时间的下包络线。我们没有通过位置密度估计或闭式物理模型来建模空间占有情况,而是将TTA定义为条件分位数回归问题,估计运动时间的下分位数,从而使模型学习球员的下包络到达时间。我们在PFF FC 2022 FIFA世界杯数据集中所有64场比赛的光学跟踪数据上训练模型,并将一个轻量级的多层感知机(MLP)与文献中的六个球员运动模型(重新表示为TTA预测器)以及一个学习到的可达边界基线进行比较。在我们的评估指标中,MLP始终优于所有基于物理的基线模型。为了探讨所学运动模型的通用性,我们进一步在篮球跟踪数据和单场NFL跟踪数据上进行评估,分析球员运动动态在不同体育项目之间的可迁移性。我们的项目可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36183 (HTTP 429)

Authors: Marc Gutiérrez-Pérez, Antonio Agudo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36183.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36183

Published: 2026-10-29T02:51:03.282Z


9. Skill Dreaming: Evolving Repository Skills through Pull Request Streams

Abstract:Large language model (LLM) agents increasingly rely on reusable skills for complex software engineering tasks, making skill libraries essential for repository development and maintenance. However, repository-specific skills must evolve with changing code structures, implementation conventions, and maintenance requirements. Pull requests (PRs) provide a natural source of such knowledge by recording how repositories evolve through implementation and review. Meanwhile, new PRs must follow repository-specific implementation patterns, modify related components consistently, and ensure that existing tests continue to pass while adding coverage for new functionality. This creates a mutually reinforcing cycle: PRs provide knowledge for updating skills, while these skills improve future PRs, maintain repositories, and support further skill evolution. To enable this co-evolution of PRs, repositories, and skills, we propose Skill Dreaming, a framework that learns from PR streams to guide continuous repository development and maintenance. Given a repository and its PR history, Skill Dreaming builds a repository-specific skill library by extracting executable knowledge from validated PRs and continuously refines the skills as new PR information becomes available. These skills guide coding agents not only in implementing requested features but also in maintaining associated tests, documentation, compatibility, and repository conventions. By integrating PR analysis, skill management, code execution, and continuous integration, Skill Dreaming provides an end-to-end workflow for applying learned skills to repository changes and incorporating subsequent PR outcomes into future skill updates.

中文摘要

摘要:大型语言模型(LLM)代理越来越依赖可重复使用的技能来完成复杂的软件工程任务,这使得技能库对于代码库的开发和维护至关重要。然而,特定代码库的技能必须随着代码结构、实现约定和维护需求的变化而发展。拉取请求(PR)提供了这种知识的自然来源,因为它记录了代码库通过实现和审查的演变过程。与此同时,新PR必须遵循特定代码库的实现模式,一致地修改相关组件,并确保在添加新功能覆盖的同时,现有测试仍能通过。这形成了一个相互促进的循环:PR为更新技能提供知识,而这些技能又改善了未来的PR,维护代码库,并支持技能的进一步演变。为了实现PR、代码库和技能的共同进化,我们提出了Skill Dreaming,这是一个从PR流中学习以指导持续代码库开发和维护的框架。给定一个代码库及其PR历史,Skill Dreaming通过从经过验证的PR中提取可执行知识构建特定代码库的技能库,并在新PR信息可用时不断优化这些技能。这些技能不仅指导编码代理实现请求的功能,还指导其维护相关测试、文档、兼容性和代码库约定。通过整合PR分析、技能管理、代码执行和持续集成,Skill Dreaming提供了一个端到端的工作流程,用于将学到的技能应用于代码库变更,并将后续PR结果纳入未来的技能更新中。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36188 (HTTP 429)

Authors: Xinyuan Song, Hasibul Haque, Jay Somasundaram, Ryan Turner, Bowen Zhu, Liang Zhao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36188.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36188

Published: 2026-10-29T02:51:03.282Z


10. MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge

Abstract:Requirements engineering (RE) is foundational to systems engineering (SE), as requirement defects can propagate downstream and adversely affect development outcomes. Although large language models (LLMs) are promising for requirement quality assessment, prior work shows that off-the-shelf models miss a large share of expert-identified defects, perform unevenly across quality criteria, and vary across executions. This study investigates whether infusing expert-derived SE knowledge can improve LLM-based requirement quality evaluation beyond off-the-shelf capability. We present MARQ, a modular, LLM-agnostic prototype that supplements LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria and evaluated against off-the-shelf baselines on an expert-labeled NASA requirement set using Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B, with 100 executions per model. MARQ achieves median F1 scores of 0.80 for Claude Opus 5, 0.62 for GPT-5.6 Sol, and 0.53 for Gemma 3 12B, compared with off-the-shelf baselines of 0.55, 0.52, and 0.18, respectively. However, the nature of these gains is model-dependent. Claude Opus 5 improves defect detection and false-alarm control; GPT-5.6 Sol gains detection and better execution-level consistency at the cost of more false alarms; and Gemma 3 12B reaches the performance of off-the-shelf proprietary models, although it remains highly variable. Criterion-level analysis shows gains concentrated in Correctness and Conformance, trade-offs between misses and false alarms within individual criteria, and model-dependent responses across several criteria. These findings position SE knowledge infusion as a promising model-agnostic pathway for strengthening trustworthy LLM-based RE support while underscoring the need for criterion-specific interventions and human-in-the-loop review.

中文摘要

摘要:需求工程(RE)是系统工程(SE)的基础,因为需求缺陷可能向下游传播,并对开发结果产生不利影响。尽管大型语言模型(LLM)在需求质量评估方面具有潜力,但已有研究表明,现成模型遗漏了大量专家识别的缺陷,在不同质量标准上的表现不均,并且执行结果存在波动。本研究探讨了注入专家衍生的SE知识能否在现成模型的基础上提升基于LLM的需求质量评估。我们提出了MARQ,一种模块化、LLM无关的原型,它通过特定标准的知识栈补充LLM,实现了INCOSE需求质量标准,并在专家标注的NASA需求集上使用Claude Opus 5、GPT-5.6 Sol以及开源权重的Gemma 3 12B进行了评估,每个模型执行100次。MARQ实现的中位F1分数分别为Claude Opus 5的0.80、GPT-5.6 Sol的0.62和Gemma 3 12B的0.53,而现成模型的基线分别为0.55、0.52和0.18。然而,这些提升的性质依赖于模型。Claude Opus 5在缺陷检测和误报控制方面有所改善;GPT-5.6 Sol在检测能力和执行级一致性方面取得提升,但代价是更多的误报;Gemma 3 12B达到了现成专有模型的性能,尽管仍然波动较大。按标准分析显示,提升集中在正确性和符合性上,单个标准内存在遗漏与误报的权衡,并且在多个标准上表现出模型依赖的响应。这些发现表明,SE知识注入是一条有前景的、与模型无关的途径,可增强可信的LLM需求工程支持,同时强调了对特定标准的干预和人工参与审查的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36234 (HTTP 429)

Authors: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36234.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36234

Published: 2026-10-29T02:51:03.282Z


Evaluation Domain Papers

1. Counting the Bandages: On measuring the time that AI saves

Abstract:I consider what it means for AI assistance to save time. I contrast a stopwatch view, on which time saved is whatever the clock records, with a ledger view, on which it is a counterfactual that has to be read next to the errors the work lets through, and I argue for the latter. The argument has four parts. I define a model-free pair of quantities, time saved and excess escaped defects, and one decision number built from them: the break-even defect cost. I give a baseline model of checking in which, until the model is good enough not to check, a calibrated worker’s escaped-defect rate does not depend on how good the model is; checking time grows with the logarithm of the model’s error rate; and over-trust buys minutes on the clock at a larger cost in total minutes. I show what randomized studies can and cannot identify, and I replicate METR’s developer study from its public data: the same 246 issues support a slowdown of 19% or 24% depending on the estimand (34% without adjusting for a chance imbalance), and AI helped on somewhere between 3% and 82% of them. Finally, I restate the published record, with stated bounds in place of imported point assumptions. In GDPval’s own review-every-output workflow, review time alone caps GPT-5’s speedup at 3.6x; the consultants outside the frontier were faster, and more often wrong. Last, I test two of the model’s predictions in a small pre-specified experiment on AI reviewers checking AI drafts of the same kind of brief, built from SEC filings made after the models’ training data were collected. Told the drafter’s true error rate, the reviewer checked more as it rose, but all-or-nothing, switching near where its prompt’s costs break even. Told that the drafter erred ten times less often than it did, it checked 7 fewer of 9 figures and let a wrong figure through in 22.5% of briefs instead of none: faster and worse, entirely through reduced effort.

中文摘要

摘要:我讨论了人工智能(AI)辅助节省时间的含义。我对比了两种观点:一种是秒表视角,即节省的时间等于时钟记录的时间;另一种是账本视角,即节省的时间是一种反事实,需要与工作中允许通过的错误一起读取,我主张后者。论证分为四部分。我定义了一对无模型依赖的量——节省的时间和超额逃逸缺陷,以及由它们构成的一个决策数字:盈亏平衡缺陷成本。我给出了一种检查的基准模型,在该模型中,直到模型足够好而无需检查之前,一个经过校准的工人的逃逸缺陷率不依赖于模型的好坏;检查时间随模型误差率的对数增长;过度信任会以总分钟数更高的代价换取表面上的分钟节省。我展示了随机研究可以和不能识别的内容,并从公开数据中复制了METR的开发者研究:相同的246个问题在不同估计方法下支持19%或24%的减速(若不调整偶然不平衡则为34%),AI在其中约3%到82%的问题上提供了帮助。最后,我重新陈述了已发布的记录,用声明的界限替代导入的点假设。在GDPval自己的“逐输出审查”工作流程中,仅审查时间就将GPT-5的加速上限限制为3.6倍;边界之外的顾问速度更快,但错误率也更高。最后,我在一项小规模预先设定的实验中测试了模型的两个预测,即AI审查员检查AI撰写的同类简报(基于模型训练数据收集后提交的SEC文件)。告知审稿人撰稿人真实错误率时,审稿人随错误率上升而增加检查,但采取全有或全无策略,转换点接近其提示成本的盈亏平衡。告知撰稿人的错误频率比实际低十倍时,审稿人减少了检查9个图中的7个,并在22.5%的简报中放行了一个错误图,而不是没有:速度更快,但更差,完全是由于努力减少造成的。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35942 (HTTP 429)

Authors: Solomon Shalom Lijo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35942.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35942

Published: 2026-10-29T02:51:25.392Z


2. Enhancing Deep Learning Model Performance through Data Generation Strategies: Classification of Olive Tree Diseases

Abstract:Deep learning models are highly effective in a wide range of domains, particu larly in plant disease diagnosis. However, their performance is often limited by challenges such as insufficient data and class imbalance. In our work, we propose a comprehensive data generation strategy to overcome these limitations. First, we apply various data generation techniques, including traditional augmentation methods, CutMix, MixUp, and synthetic image generation using Deep Convolu tional Generative Adversarial Networks (DCGANs), to create new data samples. Second, we exploit this generated data in three scenarios: (S1) balancing class distribution in the original dataset, (S2) increasing the number of samples per class, and (S3) expanding the dataset while maintaining balanced classes. Third, we evaluate the impact of these data distributions (S1, S2, S3) on model perfor mance using the EfficientNetV2B0 architecture with pre-trained and fine-tuned weights. The experimental results show a substantial improvement in classifica tion accuracy, emphasizing the critical role of data diversity and class balance. These findings highlight the effectiveness and adaptability of the proposed strat egy of data generation and distribution for enhancing dataset quality, offering promising applications in plant disease detection and precision agriculture.

中文摘要

摘要:深度学习模型在广泛的领域中表现出极高的有效性,尤其是在植物病害诊断方面。然而,它们的性能通常受到数据不足和类别不平衡等挑战的限制。在我们的工作中,我们提出了一种全面的数据生成策略以克服这些限制。首先,我们应用各种数据生成技术,包括传统的数据增强方法、CutMix、MixUp,以及使用深度卷积生成对抗网络(DCGANs)生成的合成图像,来创建新的数据样本。其次,我们在三个场景中利用这些生成的数据:(S1)平衡原始数据集中的类别分布,(S2)增加每个类别的样本数量,以及(S3)在保持类别平衡的同时扩展数据集。第三,我们使用具有预训练和微调权重的EfficientNetV2B0架构评估这些数据分布(S1、S2、S3)对模型性能的影响。实验结果显示分类准确率显著提高,强调了数据多样性和类别平衡的重要作用。这些发现突显了所提出的数据生成与分布策略在提升数据集质量方面的有效性和可适应性,为植物病害检测和精准农业提供了有前景的应用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35984 (HTTP 429)

Authors: Hicham El Akhal, Abderrahim Waga, Aissa Ben Yahya, Abdelbaki El Belrhiti El Alaoui

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35984.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35984

Published: 2026-10-29T02:51:25.392Z


3. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

Abstract:Multimodal intelligence can be viewed as human-guided co-evolution between worlds and agents through interaction. However, scaling this process faces two bottlenecks: constructing heterogeneous, verifiable environments is costly, and manual Harness iteration cannot keep pace with growing task diversity and complexity. A key insight is that tasks with different modalities and surface forms can share the same underlying capability requirements. We therefore introduce The Trinity, a recursive self-improvement framework coupling world generation with Harness evolution through three roles: Creator, Explorer, and Evolver. Drawing on verified execution trajectories, Evolver shifts the basis of task organization from surface categories to shared requirements, reorganizing the original task tree into a hierarchical capability tree. We introduce Capability-Driven Real2Sim2Real: for heterogeneous tasks at the same node, Creator abstracts their common requirements into simplified, verifiable simulated worlds for capability learning, while evaluation on original tasks measures transfer. Along this capability tree, Explorer progressively evolves reusable capability modules through selective inheritance, forming a Harness tree whose validated updates accumulate across iterations within a fixed topology. The resulting Harnesses specialize in different capabilities, motivating a Capability-Aware Harness Router that uses public task information to select compatible module configurations from the tree. Our evolved Harnesses improve mean performance by 34 points across 28 training benchmarks and 26 points across 18 unseen benchmarks, including two real-world embodied tasks.

中文摘要

摘要:多模态智能可以被视为通过交互实现的世界与智能体之间的人类引导共进化。然而,这一过程的扩展面临两个瓶颈:构建异质且可验证的环境成本高昂,以及手动开发的迭代无法跟上任务多样性和复杂度的增长。一个关键见解是,不同模态和表面形式的任务可以共享相同的底层能力需求。因此,我们引入了“三位一体”(The Trinity),这是一个递归自我改进框架,通过三种角色——创造者(Creator)、探索者(Explorer)和进化者(Evolver)——将世界生成与Harness演化相耦合。在经过验证的执行轨迹基础上,Evolver将任务组织的基础从表面类别转向共享需求,把原始任务树重组为分层能力树。我们提出了“能力驱动的Real2Sim2Real”:对于同一节点下的异质任务,创造者将它们的共同需求抽象为简化、可验证的模拟世界用于能力学习,同时在原始任务上的评估衡量迁移效果。沿着这棵能力树,探索者通过选择性继承逐步演化可复用的能力模块,形成一个Harness树,其验证更新在固定拓扑内的迭代中不断累计。生成的Harnesses在不同能力上实现了专门化,从而促使形成“能力感知Harness路由器”,利用公共任务信息从树中选择兼容的模块配置。我们演化出的Harnesses在28个训练基准上的平均性能提升了34分,在18个未见基准上提升了26分,包括两个真实世界的具身任务。

LLM Analysis

Q: 这篇论文试图解决什么问题? 这篇论文试图解决多模态智能体在规模化递归自我改进(Recursive Self-Improvement, RSI)过程中面临的三个核心瓶颈: ### 1. 异构、可验证环境的构建成本高昂 手动构建覆盖多种模态(文本、图像、视频、音频)和复杂交互的大规模训练环境代价巨大,且难以扩展。现有方法多集中于单一模态或特定领域,缺乏自动化的世界生成机制来支撑智能体的持续学习。 ### 2. Harness手动迭代无法匹配任务复杂度的增长 智能体性能日益受限于其控制框架(Harness)的组织与协调能力。随着任务多样性和长程交互复杂度的增加,依赖人工设计或逐任务调优 Harness 的方式已无法持续,亟需自动化的 Harness 进化机制。 ### 3. 现有RSI方法的跨任务泛化能力受限 当前 Harness RSI 研究主要聚焦于文本模态任务(如编程、数学),并采用\*\*任务特定进化\*\*(task-specific evolution)策略。这导致两个缺陷: - \*\*过拟合与碎片化\*\*:针对特定任务优化的 Harness 难以泛化到异构任务; - \*\*全局Harness的内在冲突\*\*:试图用一个通用 Harness 覆盖所有任务时,会面临不同任务间性能–效率权衡的冲突需求,降低适应效率。 ### 核心洞察与解决路径 论文提出,\*\*不同模态和表面形式的任务可能共享相同的基础能力需求\*\*(例如,ARC-AGI-3 和 Micromouse 都需要精确的感知与状态跟踪)。因此,问题应从"如何为每个任务优化 Harness"转变为:\*\*如何识别并利用任务间共享的能力需求,构建可复用的模块化 Harness,并通过自动化环境生成与验证实现持续的跨模态自我改进\*\*。 为此,论文提出 \*\*The Trinity\*\* 框架,通过 \*\*Creator\*\*(生成简化可验证的仿真世界)、\*\*Explorer\*\*(沿能力树进化可复用模块)和 \*\*Evolver\*\*(从验证轨迹中重组能力需求)三个角色,实现从"任务驱动"到"能力驱动"的递归自我改进。 Q2: 有哪些相关研究? 该论文的相关研究主要围绕两大主线展开:\*\*递归 Harness 自我改进\*\*与\*\*智能体–环境协同进化\*\*。此外,引言部分还涉及多模态基础模型与交互智能体的基础支撑工作。具体分类如下: --- ### 1. 递归 Harness 自我改进(Recursive Harness Self-Improvement) 该领域研究如何在冻结模型权重(fixed backbone)的前提下,通过改进控制框架(Harness)实现智能体能力的持续提升与泛化: - \*\*自我改写与元优化\*\* - 早期理论工作如 Gödel machines

87
探讨了自我指涉的通用自我改进。 - 近期研究包括 LLM 系统重写自身智能体代码(如 Darwin Gödel Machine
24
、STOP
88
、Gödel Agent
89
),以及端到端的 Harness 元优化(Meta-Harness
18
)。 - **自动化智能体设计** - ADAS
90
、AFlow
91
、AgentSquare
92
等通过自动化搜索或工作流生成,在模块化设计空间中设计智能体架构。 - **提示优化** - OPRO
93
、Promptbreeder
94
、TextGrad
95
等利用文本梯度、进化算法或自指涉机制自动优化提示模板。 - **自我反思与反馈学习** - Self-Refine
96
、Reflexion
97
、ExpeL
98
等通过自我反馈、言语强化学习或经验积累实现迭代精炼。 - **固定权重下的 Harness 进化与专门化**(与本文最直接相关) - **自动合成与修复**:AutoHarness
33
自动合成代码级 Harness;Harness-R1
35
与 Chen et al.
32
从失败轨迹中诊断并修复 Harness 缺陷;Self-Harness
19
实现 Harness 的自我修订。 - **模块化与分层方法**:ModularRSI
26
在基准不相交任务上进化可复用模块;HSI
34
提出按任务族分层的可进化 Harness;JIT-Agent
25
支持即时(just-in-time)Harness 进化;HarnessX
104
提供可组合、类型化的 Harness 原语。 - **持续适应与体制分支**:Harness Continual Learning
105
构建扁平能力图以持续适应任务流;Adaptive Auto-Harness
106
在开放任务流上实现体制分支的 Harness 树。 - **测试时与元级别适应**:TTHE
99
在测试时进化 Harness;MetaSkill-Evolve
100
和 MetaRSI
101
从元技能层面实现递归自我改进。 与上述工作相比,**The Trinity 的核心差异**在于:从训练轨迹中**归纳层次化能力树**而非按任务或模态扁平分组,在 Creator 生成的仿真世界(排除目标任务布局与真实解)中进化 Harness,并通过**选择性模块继承**机制在 44 个异构基准上实现跨任务泛化,最终评估于保留基准与真实机器人。 —- ### 2. 智能体与环境的协同进化(Co-evolution of Agents and Environments) 该主线关注如何自动生成、调整或验证训练环境,以形成与学习者共同进化的课程: - **开放式协同进化** - POET

108
及其增强版
109
通过环境与其优化解的开放式协同进化持续生成新的学习挑战;Minimal Criterion Co-evolution
107
提出了开放式搜索的新方法。 - **无监督环境设计与课程学习** - PACE
29
、基于遗憾的环境设计(Evolving Curricula)
110
,以及经典课程学习框架
111, 112
。 - **具身协同设计与技能库增长** - Voyager
113
在自动课程下增长技能库;Embodied Co-design
28
探讨了快速进化智能体的协同设计分类与挑战。 - **多样化环境生成** - **具身环境**:EnvGen
118
、SimWorld Studio
119
。 - **工具与通用环境**:Agent-World
120
、Endless Terminals
121
、Terminal-World
122
、Qwen-AgentWorld
123
。 - **游戏验证**:GameGen-Verifier
124
通过运行时状态注入并行验证 LLM 生成的游戏。 - **语言智能体的协同进化循环** - SEAL
114
协同进化语言智能体与环境;Escher-Loop Q3: 论文如何解决这个问题? 该论文通过引入 **The Trinity** 框架,将递归自我改进(RSI)的范式从“任务驱动”转向“**能力驱动**”,从而系统性地解决多模态智能体在规模化进化中面临的瓶颈。具体解决方案可从以下五个层面展开: —- ### 1. 核心范式:以共享能力需求重组任务空间 论文的核心洞察在于,**不同模态与表面形态的任务可能共享相同的基础能力需求**(例如,ARC-AGI-3 与 Micromouse 均依赖精确感知与状态跟踪)。因此,框架不再按任务类别或模态类型组织训练,而是通过分析验证轨迹,将任务按其**能力需求集合**重新组织: - 定义一组能力类别 K ,每个训练任务 τ 被赋予固定的需求集合 Kτ ⊂eq K 。 - 依据预设的能力顺序 prec 对 Kτ 排序,得到路径 pτ = sort_prec(Kτ) 。 - 通过 Trie 结构合并所有任务路径的公共前缀,构建出**层次化能力树**(Capability Tree):

T = Triepτ : τ ∈ B(tr)
树中每个节点代表一种能力组合,节点上的训练任务共享该组合所要求的所有能力。 —- ### 2. 三角色协同闭环:Creator、Explorer、Evolver 框架通过三个角色的协同,将环境生成与 Harness 进化耦合在同一个能力树上: | 角色 | 核心职能 | 解决的关键问题 | |———|————-|———————| | **Evolver** | 从任务规范与验证轨迹中提取能力需求,构建并维护能力树;设计简化训练关卡 | 将异构任务映射到共享的能力维度,避免任务特定过拟合 | | **Creator** | 依据节点能力需求,生成简化、可验证的仿真世界(Capability-Driven Real2Sim2Real) | 降低大规模异构环境的构建成本,提供专注能力学习的课程 | | **Explorer** | 沿能力树执行训练关卡,通过选择性继承父节点模块并局部 refine,进化 Harness 树 | 实现模块化、可复用的 Harness 进化,支持跨任务泛化 | —- ### 3. 能力驱动的 Real2Sim2Real(Creator) 针对同一能力节点上的异构任务,Creator 将其**共同决策逻辑**抽象为简化的仿真训练关卡,而非直接复制原始任务: - **Sim 阶段**:基于节点能力需求、子节点信息及代表性任务的公开规范,Evolver 设计排除目标布局、私有证明与真实解迹的训练关卡;Creator 使用节点 Harness 实现这些关卡,并通过主机验证器池检查绑定、执行、状态转移与渲染的正确性。 - **Real 阶段**:训练完成后,直接在**原始基准任务**上评估性能,以衡量能力迁移效果。 这一机制使得智能体在紧凑的仿真课程中学习可迁移的底层决策能力,显著降低了训练环境数量与推理成本(实验表明,Capability Tree (Sim) 在仅使用 10 个 Harness 和 11 个环境的情况下,即达到最优的模块级性能)。 —- ### 4. Harness 树的选择性继承与局部细化(Explorer) Explorer 沿能力树构建与树结构对齐的 Harness 树,通过以下机制实现高效进化: - **节点状态**:节点 v 在第 i 次迭代后的 Harness 由继承模块 P(v)^((i)) 与局部模块 L(v)^((i)) 组成:

H(E,v)^((i)) = P(v)^((i)) oplus L(v)^((i))
其中 oplus 为右偏并集(本地模块优先覆盖同名继承模块)。 - **选择性继承**:子节点仅在其父节点更新后的版本在相同验证任务上取得**严格更高**的任务完成数时,才继承该更新;否则保留先前版本。这确保了祖先模块的稳定性与有效性。 - **持续细化**:Explorer 在准入的仿真课程上 rollout 收集轨迹 Z
(v)^((i+1)) ,Evolver 据此对比成功与失败轨迹,提出局部模块更新:
L(v)^((i+1)) = Evolve(L(v)^((i)), Z(v)^((i+1)), F(v)^((i)))
主机验证证据、所有权、接口与版本谱系后,接受或拒绝更新。 - **Base Harness 整合**:每次迭代结束时,Creator 将所有节点验证通过的模块提案与当前 Base Harness 库合并,去重并保留互补功能,形成下一代共享 Base Harness H_(C)^((i+1)) 。 —- ### 5. 能力感知的路由(Capability-Aware Harness Routing) 由于进化后的 Harness 在不同能力分支上呈现专业化,框架引入路由机制为每个任务匹配兼容的模块配置: - 利用公开任务信息(目标、初始观测、元数据)与**已验证的执行经验**(存储于 FIFO 记忆池中),Router 检索相似历史记录并选择候选 Harness:

h_n = π(x_n, C, R(x_n, M_n), S(M_n))

  • 该机制在冻结的能力树与版本化 Harness 池上运行,无需访问未见任务的能力标签,即可实现任务到 Harness 的动态匹配,避免了单一全局 Harness 的内在冲突。 —- ### 总结 通过上述设计,The Trinity 将原本碎片化的任务特定优化,转化为在**固定拓扑的能力树上对可复用模块的递归进化**。Creator 提供低成本、高保真的仿真课程,Explorer 通过选择性继承累积验证有效的更新,Evolver 则确保整个系统始终围绕“共享能力需求”这一语义基础进行组织与改进,从而实现了跨模态、跨任务的 Harness 自我改进与泛化。 Q4: 论文做了哪些实验? 论文在第4节(Experiments)中设计并执行了六组实验,系统验证能力驱动递归自我改进的有效性。实验基于 **28个训练基准** 与 **18个未见基准**(含两个真实世界具身任务),所有变体共享冻结的 Claude Opus 5 骨干与初始 Base Harness H0 。以下按实验目标分述: —- ### 1. 实验设置(Experimental Setup) - **基准集**:28个训练基准与18个未见基准,涵盖规则发现、约束求解、感知控制、多智能体交互与长程环境五大领域。其中9个训练环境由智能体通过网络搜索从公开规则重建。 - **评估协议**:Train 使用每个基准的固定代表性实例集;Unseen 使用官方评估集或固定子集。每个 Harness 在正式评估前执行 **5次准备试验**,将轨迹固化为技能。 - **对比基线**:在 Unseen 部分基准上报告了 Codex 与 DeepSeek 参考 Harness 的性能。 —- ### 2. 能力驱动组织的验证(Capability-Driven Organization) 该实验验证“按能力需求重组任务”相较于“任务特定”或“全局统一”组织的优势。 #### 2.1 模块与技能的初步比较 通过消融实验(Table 2)检验 evolved modules 与 skills 的独立及联合贡献: | 方法 | 模块 | 技能 | Train | Unseen | |———|———|———|———-|————| | Base ( H_0 ) | × | × | 39.06 | 37.45 | | Module Only | ✓ | × | 56.95 | 47.26 | | Skill Only | × | ✓ | 58.86 | 48.67 | | Ours ( H^((1)) ) | ✓ | ✓ | **63.80** | **53.53** | 联合使用模块与技能显著优于单独使用,表明二者互补。 #### 2.2 不同组织方式的对比 比较六种 Harness 与训练课程的组织形式(Table 3): | 方法 | 课程 | # Harness | # Env. | Train | Unseen | |———|———|—————-|————|———-|————| | Base ( H_0 ) | — | — | — | 39.06 | 37.45 | | Global Real | 原始任务 | 1 | 28 | 53.04 | 42.92 | | Task-Domain Real | 原始任务 | 15 | 15 | 51.17 | 40.82 | | Capability-Domain Real | 原始任务 | 6 | 6 | 49.25 | 39.43 | | Capability Tree (Real) | 原始任务 | 10 | 11 | 53.44 | 42.31 | | **Capability Tree (Sim)** | **仿真世界** | **10** | **11** | **56.95** | **47.26** | 关键发现: - **Capability Tree (Sim)** 在仅使用 10 个 Harness 与 11 个仿真环境的情况下,达到最高的模块级性能(56.95 / 47.26),且推理成本最低(514.42M / 549.07M tokens)。 - 相比扁平的领域分组(Capability-Domain),层次化能力树通过选择性继承获得 **+4.19 / +2.88** 点的提升;引入 Creator 生成的仿真课程后,进一步获得 **+3.51 / +4.95** 点的增益。 - 训练成本分析(Figure 4)显示,Creator 的环境构建成本在首次迭代占主导,后续复用可摊销该开销;Explorer 在固定轨迹量下仍持续提升性能,说明能力聚焦的环境提供了更清晰的进化信号。 —- ### 3. 递归自我改进的持续性(Recursive Self-Improvement) 在固定能力树拓扑、基准划分、能力需求与骨干模型的条件下,追踪从 Base(Iteration 0)到 Iteration 4 的性能演化。 - **聚合性能**(Figure 6): - Train 均值从 **39.1** 提升至 **73.2**(+34.1 点) - Unseen 均值从 **42.1** 提升至 **64.1**(+22.0 点) - 首代增益最大,但 Iterations 2–4 仍分别带来 **+9.4**(Train)与 **+6.4**(Unseen)的额外提升。 - **基准级演化**(Figure 5):28个训练基准与18个未见基准的逐轮径向条形图显示,多数基准随迭代单调或持续提升。例如: - ARC-AGI-3:41.0 → 53.6 - SciGym:45.2 → 57.1 - BuildArena:93.3 → 97.8 - 部分基准(如 Mastermind)在 Iteration 1 即达瓶颈(88.9),而 Eleusis 出现轻微回落(82.2 → 81.1)。 - 最终 Unseen 均值超越了 Codex(47.5)与 DeepSeek(46.2)参考线。 —- ### 4. 能力感知 Harness 路由(Capability-Aware Harness Routing) 在 Iteration-4 的 Explorer Harness 树上,比较五种路由配置(Table 4): | 方法 | 能力定义 | 执行经验 | Train | Unseen | |———|—————|—————|———-|————| | Random | — | — | 52.74 | 46.23 | | Agent Self-Routing | × | × | 65.79 | 52.36 | | Agent Self-Routing | ✓ | × | 70.34 | 58.27 | | **Agent Self-Routing** | **✓** | **✓** | **71.27** | **60.96** | | Oracle | — | — | 73.16 | 63.61 | - 完整自路由配置(含能力定义与检索经验)在 Train 与 Unseen 上分别达到 **71.27** 与 **60.96**,接近 Oracle 上限(73.16 / 63.61)。 - 显式引入能力定义带来 **+4.55 / +5.91** 点的提升;进一步加入历史执行经验带来额外 **+0.93 / +2.69** 点。 - 结果表明,能力树提供了将任务需求语义匹配到 Harness 配置的有效基础。 —- ### 5. 能力–模块关系分析(Capability–Module Relationships) #### 5.1 能力–协议相关性 通过 Iteration-4 的 29 个模块,计算六种共享能力(PST、HCI、CFR、GVT、VEA、VC)与六种 Harness 协议(Perception、Memory、Inference、Planning、Orchestration、Loop)的相关系数(Figure 7)。最强正相关包括: - HCI 与 Inference:**0.744** - GVT 与 Loop:**0.444** - VEA 与 Perception:**0.347** 最显著负相关为 GVT 与 Perception(**−0.361**)、PST 与 Loop(**−0.313**),揭示了不同能力在协议层面的分化模式。 #### 5.2 受控模块干预 在 Train 上执行模块增删实验(Table 5): | 方法 | Train 得分 | 相对 Base 变化 | 推理 Tokens (M) | |———|—————-|———————-|————————| | Base ( H_0 ) | 39.06 | — | 582.54 | | + irrelevant module | 40.08 | **+1.02** | 583.37 | | + relevant module | 58.45 | **+19.39** | 551.85 | | Ours ( H^((4)) ) | 73.16 | — | 496.70 | | − relevant module | 70.42 | **−2.74** | 517.26 | - 向 Base 添加**相关**模块带来 **+19.39** 点的大幅提升,而添加**无关**模块仅提升 **+1.02**。 - 从成熟 Harness 中移除一个已安装的相关模块导致性能下降 **−2.74** 且推理成本上升。 - 该实验为“基于任务能力需求指导模块选择与组合”提供了经验支持。 —- ### 6. 具身迁移验证(Embodied Transfer) 将能力树上对应节点( d to a )进化得到的 Harness 配置,通过 Real2Sim2Real 迁移到两个真实世界机器人任务: | Harness | SOON (Sim) | CaP-X (Sim) | SOON (Real) | CaP-X (Real) | |————-|—————-|——————-|——————-|———————| | H_0 | 0% | 10% | 0% | 0% | | H^((1)) | 20% | 20% | 20% | 20% | | H^((2)) | 20% | 30% | 20% | 20% | | H^((3)) | 80% | 40% | 60% | 40% | | H^((4)) | **80%** | **60%** | **60%** | **60%** | - **SOON**(Unitree G1 导航至风扇旁书桌并触及):仿真成功率从 0% 提升至 80%,真实机器人从 0% 提升至 60%。 - **CaP-X**(AlohaMini2 揭开杯子报告隐藏方块):仿真从 10% 提升至 60%,真实机器人从 0% 提升至 60%。 - 两个任务均在 H^((1)) 即达到 20% 的真实机器人成功率,表明能力驱动的节点级模块进化能够有效支撑任务特定技能学习,并迁移至物理环境。 —- ### 实验结论 上述实验共同支持了以下核心论断: 1. **能力驱动组织优于任务驱动**:以能力树重组任务并配合仿真课程,可在更少环境与更低推理成本下实现更优的跨任务泛化。 2. **递归改进具有持续性**:在固定能力树与骨干模型上,多轮迭代仍能持续提升性能,验证仿真环境提供了可持续的能力精炼空间。 3. **能力语义支撑路由与模块设计**:能力先验可有效指导 Harness 选择与模块配置,且受控干预证实了相关模块对性能的关键 Q5: 有什么可以进一步探索的点? 基于论文第7节的讨论(Discussion)及方法论设计,以下是可以进一步探索的研究方向: —- ### 1. 从 Harness 层面扩展到模型参数层面的能力驱动自我改进 论文明确指出,当前研究主要聚焦于 Harness(控制框架)层面的递归自我改进,而 **将能力驱动范式扩展至模型参数训练** 是一个关键的下一步。具体而言,可探索: - 能力感知路由与 RSI 形成闭环, jointly 驱动能力发现、获取与精炼; - 在固定或部分可训练的网络参数上,针对能力树节点进行模块化参数微调(modular fine-tuning),实现 Harness 架构与骨干模型能力的协同进化。 —- ### 2. 能力树的动态演化与新兴能力发现 当前能力树在训练前由 Evolver 基于训练基准固定构建,拓扑在后续迭代中保持不变。未来可研究: - **动态扩展机制**:在面临新任务流或分布外任务时,自动识别现有能力树未覆盖的**新兴能力需求**,并触发节点的自动分裂、合并或新增; - **能力本体的自动归纳**:减少对人类评审员整合能力类别(judge consolidation)的依赖,发展完全自动化的、基于大规模轨迹数据的能力本体学习。 —- ### 3. 基准与环境自动发现的鲁棒性提升 论文提及当前框架依赖智能体进行网络搜索以发现基准,但**检索覆盖率与结果质量因查询而异**。值得探索的方向包括: - 设计更可靠的自动基准采集管道,例如通过多源验证、社区驱动更新或自动规则提取与形式化验证; - 提升 Creator 生成仿真世界时的**自动验证与可重复性**,降低对主机私有验证器(host-private verifiers)的人工设计依赖。 —- ### 4. 能力–模块映射的内部机制与可解释性 论文通过相关性分析(Figure 7)和模块干预实验(Table 5)建立了能力需求与模块功能之间的经验关联,但尚未揭示其深层机制: - 可进一步开展**细粒度的因果干预与反事实分析**,量化特定模块对不同能力维度的边际贡献; - 探索模块在模型内部激活层面的**神经基础**(neural basis),理解为何某些能力强烈依赖 Memory 或 Inference 协议。 —- ### 5. Creator 与 Explorer 的紧耦合联合优化 目前 The Trinity 中 Creator 与 Explorer 沿相同能力树分别进化,通过验证反馈松散耦合。未来可探索: - **环境与 Harness 的端到端联合优化**:将世界生成与 Harness 更新置于统一的优化目标下,例如通过可微分或强化学习的方式,使 Creator 直接根据 Explorer 的学习效率调整课程难度与形式; - 在更长的 RSI 周期中,研究环境复杂度、Harness 容量与任务性能之间的**Pareto 前沿**。 —- ### 6. 路由策略的自适应与在线学习 Capability-Aware Harness Router 当前依赖基于余弦相似度的经验检索与固定策略代理选择。进一步的研究可包括: - 将路由问题形式化为**上下文 bandit 或强化学习问题**,使 Router 能在部署过程中根据实时反馈自适应调整选择策略; - 探索**分层路由**:在能力树的高层进行粗粒度 Harness 选择,在叶节点进行细粒度模块组合,以降低路由决策的搜索空间与计算开销。 —- ### 7. 大规模具身智能体部署的安全、验证与泛化 论文在 SOON 与 CaP-X 两个真实机器人任务上验证了具身迁移,但更大规模的物理部署仍需解决: - **安全约束下的能力迁移**:如何在能力进化过程中形式化地编码安全规范(如碰撞避免、力限制),并确保这些约束在 Real2Sim2Real 过程中不被破坏; - **跨本体(cross-embodiment)迁移**:验证在能力树上习得的模块是否能迁移到具有不同动作空间与感知模态的物理平台。 —- ### 8. 多智能体协作场景下的能力分解与协同进化 当前框架主要围绕单智能体与环境的交互展开。在**多智能体交互**(如 Among Us、Hanabi 等)日益重要的背景下,可进一步研究: - 将联合能力需求(如对手建模、通信协议、团队策略)分解为可复用的**多智能体能力模块**; - 多个智能体是否能在共享或分布式的能力树上**协作进化**,各自专攻互补能力并通过交互提升整体性能。 Q6: 总结一下论文的主要内容 这篇论文提出 **The Trinity**,一个面向多模态智能体的**能力驱动递归自我改进(Capability-Driven Recursive Self-Improvement, RSI)**框架,旨在解决大规模异构任务下环境构建成本高、Harness 迭代效率低以及跨任务泛化不足的问题。 ### 1. 核心问题与洞察 当前多模态智能体的扩展面临双重瓶颈: - 构建大规模、异构且可验证的训练环境成本高昂; - 现有 Harness(控制框架)的自我改进多聚焦于文本任务,且采用**任务特定优化**,导致 Harness 过拟合、碎片化,难以泛化到跨模态的异构任务。 论文的核心洞察是:**不同模态和表面形式的任务可能共享相同的基础能力需求**。例如,ARC-AGI-3 与 Micromouse 均依赖精确的感知与状态跟踪。因此,应将 Harness 的组织与优化从“任务驱动”转向**“能力驱动”**,以共享能力需求作为学习的基本单元。 ### 2. The Trinity 框架 框架通过三个协同角色,将世界生成与 Harness 进化耦合在统一的能力层级上: - **Evolver**:从训练任务的规范与验证执行轨迹中提取能力需求,将任务按共享能力重新组织为**层次化能力树**(Hierarchical Capability Tree)。给定能力类别集合 K ,每个任务 τ 的需求子集 Kτ ⊂eq K 经固定序 prec 排序后形成路径 pτ = sort_prec(Kτ) ,所有任务路径经 Trie 合并得到能力树:

T = Triepτ : τ ∈ B(tr)

  • **Creator**:针对能力树上同一节点的异构任务,将其共同决策逻辑抽象为简化、可验证的仿真训练世界,实现 **Capability-Driven Real2Sim2Real**。这些仿真世界排除了目标任务的私有布局与解迹,保留核心决策过程;智能体先在仿真环境中学习,再于原始任务上评估能力迁移。 - **Explorer**:沿能力树进化** Harness 树**。每个节点 v 在第 i 轮迭代维护一个 Harness:
    H_(E,v)^((i)) = P_v^((i)) oplus L_v^((i))
    其中 P_v^((i)) 为从父节点**选择性继承**的模块, L_v^((i)) 为本地细化的模块。继承遵循严格性能验证:仅当父节点更新版本在相同验证任务上取得严格更高的任务完成率时才被采纳。每轮结束时,Creator 将所有节点验证通过的模块提案合并、去重,形成下一轮共享的 Base Harness。 此外,论文提出 **Capability-Aware Harness Router**,利用公开任务信息与已验证的执行经验,为每个任务从 Harness 树中选择兼容的模块配置,避免单一全局 Harness 的内在冲突。 ### 3. 实验与结果 论文在 **28 个训练基准**与 **18 个未见基准**(涵盖规则发现、约束求解、感知控制、多智能体交互、长程环境,包括两个真实世界具身任务)上进行了系统评估: - **能力驱动的组织优越性**:对比全局单一 Harness、任务域分组与扁平能力域分组,**Capability Tree + Sim**(基于 Creator 仿真世界)在仅使用 10 个 Harness 和 11 个环境的情况下,达到最优的模块级性能(Train 56.95 / Unseen 47.26),且推理成本最低,验证了“以能力重组任务 + 简化仿真课程”的高效性。 - **递归自我改进的持续性**:在固定能力树拓扑与冻结骨干模型(Claude Opus 5)上,经过 4 轮迭代,Train 平均性能从 39.1 提升至 **73.2**(+34.1),Unseen 从 42.1 提升至 **64.1**(+22.0)。首代增益最大,但后续迭代仍持续带来显著提升。 - **能力感知路由的有效性**:在完整路由配置(能力定义 + 执行经验)下,Agent Self-Routing 在 Train/Unseen 上分别达到 **71.27 / 60.96**,接近 Oracle 上限(73.16 / 63.61),证明能力树为 Harness 选择提供了可靠的语义基础。 - **能力–模块关系的经验证据**:向 Base Harness 添加**相关**模块带来 **+19.39** 点性能提升,而添加无关模块仅提升 **+1.02**;从成熟 Harness 中移除相关模块则导致性能下降,支持了“按任务能力需求配置模块”的设计先验。 - **具身迁移**:将能力树上进化得到的 Harness 迁移至 Unitree G1(SOON)与 AlohaMini2(CaP-X)真实机器人任务。经过 4 轮迭代,SOON 真实机器人成功率从 0% 提升至 **60%**,CaP-X 从 0% 提升至 **60%**,验证了能力进化在物理环境中的可迁移性。 ### 4. 核心贡献 论文的主要贡献可概括为: 1. **能力驱动的多模态 RSI**:首次将共享能力需求作为 Harness 进化的组织原则,通过 Real2Sim2Real 生成紧凑训练世界,构建可复用的模块式 Harness 树,并实现能力感知的动态路由。 2. **能力–模块先验**:建立了任务级能力需求与可复用模块配置之间的经验关联,并通过受控干预验证了相关模块对性能的关键支撑作用。 3. **高效进化与跨域迁移**:证明针对共享决策逻辑的模块进化可在低进化成本下实现有效改进,并迁移至异构任务、未见基准及真实具身场景。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文,请点击 这里 为你跳转Kimi AI网页版,并启动一个与该论文相关的新会话。

Authors: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36077.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36077

Published: 2026-10-29T02:51:25.392Z


4. CohortFlow: A Steerable Clinical Cohort Curation Agent with Localized Semantic Correction

Abstract:Language model agents for clinical cohort curation should accommodate evolving eligibility criteria without repeatedly processing unchanged requirements. We introduce CohortFlow, a steerable agent that represents natural language corrections as localized updates to a structured cohort specification and reconciles them with a persistent execution graph. Explicitly recorded semantic dependencies enable affected computations to be selectively invalidated while preserving valid prior results. On 100 scenarios derived from clinical-trial eligibility criteria, comprising 126 correction turns, localized steering achieves 77.0% requirement micro-F1 versus 76.4% for full regeneration using the same 8B model, a small numerical advantage that is not statistically significant ($p=0.493$). It reduces mean correction latency by 64.8% after completion and 44.3% during execution, with 38.1% fewer model calls. In a separate proof-of-concept evaluation over MIMIC, all 13 cohort states execute successfully, while correction trajectories demonstrate selective preservation of unaffected computations and recomputation of changed or dependent nodes. Together, these results show that localized semantic steering can substantially reduce correction latency and model calls while maintaining strong requirement-level accuracy.

中文摘要

摘要:用于临床队列策展的语言模型代理应能适应不断变化的资格标准,而无需反复处理未更改的要求。我们引入了CohortFlow,一种可引导的代理,它将自然语言修正表示为对结构化队列规范的局部更新,并将其与持久的执行图进行协调。明确记录的语义依赖关系使受影响的计算能够被选择性地作废,同时保留有效的先前结果。在基于临床试验资格标准的100个场景(共包含126次修正回合)中,局部引导实现了77.0%的需求微F1,相比使用相同的8B模型进行完整再生成的76.4%,数值上略高但没有统计学显著性($p=0.493$)。在完成后,它将平均修正延迟减少了64.8%,在执行过程中减少了44.3%,并减少了38.1%的模型调用。在另一个基于MIMIC的概念验证评估中,所有13个队列状态均成功执行,同时修正轨迹展示了对未受影响计算的选择性保留以及对已更改或依赖节点的重新计算。综合来看,这些结果表明,局部语义引导可以在保持高需求级准确性的同时,大幅降低修正延迟和模型调用次数。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36100 (HTTP 429)

Authors: Neil Chen, Adrian Serapio, Hanxue Gu, Evan Lee, Kang Wang, Yang Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36100.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36100

Published: 2026-10-29T02:51:25.392Z


5. Why and How to Do Science When AI Is Better at It: A Framework Grounded in Human Understanding and Direction

Abstract:As AI begins to match or exceed human researchers at core scientific tasks, two questions become pressing: \emph{why} should humans keep doing science, and \emph{how} should they use AI when they do? This paper argues that the second can be answered only by answering the first. It holds that one indispensable aim of science is \emph{durable, collective human understanding of the world, pursued in service of human ends and values}. From this principle it derives a two-part test for when a research task can be delegated to AI. The first part, \emph{human understanding}, requires that the scientific community remain able to explain, defend and contest the resulting claims, and retain the skills to do so. The second, \emph{human direction}, requires that judgments about which questions matter and what findings mean stay with accountable humans. Applying the test to each phase of research in the Contributor Roles Taxonomy (CRediT) yields recommendations that fields can tailor to their questions and methods. The framework differs from existing guidance in three ways. It rests on an account of what science is for rather than on integrity norms. It holds even if AI outperforms human researchers, rather than depending on AI’s current limitations. And it judges each use of AI by its effects on human understanding and direction rather than by the type of tool, across every phase of research, including peer review and the training of new researchers. It closes with the reforms needed to keep science aimed at human understanding and direction.

中文摘要

摘要:随着人工智能在核心科学任务上开始与人类研究者匹敌甚至超越,两个紧迫问题变得迫切:为什么人类应该继续做科学,以及他们在做科学时该如何使用人工智能?本文认为,只有回答第一个问题才能回答第二个问题。它认为科学的一个不可或缺目标是实现持久的、集体的人类理解,服务于人类的目标和价值观。基于这一原则,它提出了一个两部分的测试,判断何时可以将研究任务委托给人工智能。第一部分,\emph{人类理解},要求科学界能够解释、辩护和反驳所得主张,并保持相关技能。第二部分,\emph{人类指导},要求对哪些问题重要性和发现意义的判断必须由负责任的人类掌握。将该测试应用于贡献者角色分类法(CRediT)中的每个研究阶段,可以提出各领域根据自身问题和方法量身定制的建议。该框架与现有指导意见有三点不同。它基于科学的目的,而非诚信规范。即使人工智能表现优于人类研究者,而非依赖人工智能当前的局限性,它依然适用。它在包括同行评审和新研究者培训在内的每个研究阶段,均以人工智能对人类理解和方向的影响而非工具类型来评判每一次人工智能的使用。最后,它提出了必要的改革,以确保科学以人类理解和方向为目标。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36116 (HTTP 429)

Authors: Hoda Heidari, Aydin Mohseni

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36116.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36116

Published: 2026-10-29T02:51:25.392Z


6. From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors

Abstract:Prompt optimization should improve the image a user receives without changing the scene the user requested. Yet stylistic rewriting can weaken object attributes and relations even when global text—image similarity remains high. We propose StruPO, a structure-aware prompt editor that uses a calibrated scene graph as a shared representation for policy conditioning and image-grounded supervision. The graph exposes what should be preserved, while deletion, reordering, and insertion provide a token-aligned way to modify the prompt. This turns structural feedback from an external critique into a training signal for a reusable editing policy. Learning from that signal requires handling both uncertain grounding and stochastic image generation. StruPO retains grounding confidence through smooth reward shaping and averages multiple images for each edit before computing group-relative advantages. Experiments span three disjoint 2K-prompt test sets and four frozen generation backbones, with comparisons to learned prompt optimizers, iterative structural feedback, diffusion-model fine-tuning, and inference-time attention control. StruPO improves the faithfulness—aesthetics trade-off, with consistent gains in relational fidelity. Independent automatic evaluators and a 15-annotator study provide complementary evidence, and human preference margins increase with relation complexity. Controlled ablations connect these gains to graph conditioning, local editing, and image-grounded learning. The resulting policy produces reusable optimized text in one pass after graph calibration, without an iterative critique—rewrite loop.

中文摘要

摘要:提示优化应在不改变用户所请求场景的情况下改善用户收到的图像。然而,即使整体文本与图像的相似度保持较高,风格化重写也可能削弱对象属性和关系。我们提出了 StruPO,一种结构感知的提示编辑器,它使用校准后的场景图作为策略条件和基于图像监督的共享表示。该图揭示了应保留的内容,而删除、重排和插入提供了一种与令牌对齐的方式来修改提示。这将来自外部批评的结构化反馈转化为可重复使用的编辑策略的训练信号。从该信号学习需要处理不确定的落地和随机图像生成。StruPO 通过平滑的奖励塑形保持落地信心,并在计算组相对优势前对每次编辑生成的多张图像进行平均。实验涵盖了三个不相交的 2000 条提示测试集和四个冻结的生成主干网络,并与学习型提示优化器、迭代结构反馈、扩散模型微调以及推理时注意力控制进行了对比。StruPO 改善了忠实性与美学的权衡,并在关系保真度上实现了持续提升。独立自动评估器和 15 位标注者的研究提供了互补证据,人类偏好差距随关系复杂度增加而增大。受控消融实验将这些提升与图条件、本地编辑和基于图像的学习联系起来。由此产生的策略在图校准后即可一次性生成可重用的优化文本,无需迭代的批评-重写循环。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36146 (HTTP 429)

Authors: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36146.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36146

Published: 2026-10-29T02:51:25.392Z


7. Don’t Pick a Winner: Knowledge Conflicts Need a Prior, Not a Rule

Abstract:A retrieval-augmented language model answers from two sources, the retrieved context and its own knowledge, and the two disagree whenever the context is incomplete or wrong. Existing methods settle the disagreement with a rule fixed at design time: follow the context, amplify it in proportion to how far it moves the model, or trust the model’s memory. Each rule is confidently wrong in some deployment. In a decision-theoretic model of two sources, the score of any fixed rule is linear in the share of reliable contexts while the best attainable score is convex, so every fixed rule is beaten wherever it is not exactly optimal; and a symmetric divergence between the two sources, the signal adaptive decoding uses, carries no information about which one is right. Resolving a conflict therefore needs two inputs that no existing method keeps: evidence about each source separately, and a prior on how often the context is right. We test these claims on GRACE, a benchmark that intervenes on the knowledge-graph context of a fixed question, so that what the model knows, what the context says and what is true are measured separately. There, every baseline from four families is strong on right contexts or on wrong ones, never on both. We then build the two inputs: the model states its knowledge as notes, a small policy voices each note with a calibrated confidence, a reader answers in two voices, and a selector commits or abstains under a prior $\pi$ applied as an exact prior shift. With $\pi$ set to the true share of right contexts, the system is above the best baseline at every mixture of GRACE contexts, by up to 26 points. Its overall score is 45.3 and 35.0 (Qwen3.5-35B-A3B, Llama-3.1-8B), against 29.4 and 27.5 for the best baseline. On preregistered ClashEval it beats same-backbone CK-PLUG and TCR by 12 and 26 points. Where the model lacks the knowledge, the gains vanish, as the theory predicts.

中文摘要

摘要:检索增强语言模型从两个来源回答:检索的上下文和自身知识,当上下文不完整或错误时,两者会存在分歧。现有方法解决设计时固定规则的分歧:遵循上下文,按移动模型的程度放大,或信任模型记忆。每种规则在某些部署中都是明确错误的。在两个来源的决策理论模型中,任何固定规则的得分在可靠上下文中是线性的,而最佳可达分数是凸的,因此每个固定规则在不完全最优的地方都会被击败;信号自适应解码所用的两个来源之间的对称背离,不包含哪一条正确的信息。因此,解决冲突需要两个输入,而现有方法都不保留:分别关于每个来源的证据,以及上下文正确频率的先验。我们在GRACE上测试这些主张,GRACE是一个基准测试,该基准会介入固定问题的知识图谱上下文,从而分别测量模型所知、上下文所说和真实。在那里,四个族的每个基线在正确的语境上都强或在错误的语境上强,绝不会同时在两者上。然后我们构建两个输入:模型以笔记形式陈述其知识,一个小型策略以校准置信度表达每个音符,读者以两个声音回答,选择器根据先前应用的精确先验偏移来承诺或放弃。当$\pi$设置为正确上下文的真实份额时,系统在每种GRACE上下文混合中都比最佳基线高出最多26个百分点。其总体得分分别为45.3和35.0(Qwen3.5-35B-A3B,Llama-3.1-8B),而最佳基线分别为29.4和27.5。在预注册的ClashEval中,它以12点和26点优势击败了同骨干的CK-PLUG和TCR。模型缺乏知识时,正如理论预测的那样,收益将消失。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36169 (HTTP 429)

Authors: Minh Pham Van, Cong Tran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36169.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36169

Published: 2026-10-29T02:51:25.392Z


8. Learning Human Sports Motion Feasibility via Quantile Regression on Tracking Data

Abstract:We study time-to-arrival (TTA) in sports: the shortest plausible time a player needs to reach an arbitrary location on the pitch given their current kinematic state, estimated as the lower envelope of observed locomotion times. Rather than modeling space ownership through position density estimation or closed-form physics-based models, we cast TTA as a conditional quantile regression problem, estimating the lower quantile of locomotion time so the model learns a player’s lower-envelope arrival time. We train the model on optical tracking data from all 64 matches of the PFF FC FIFA World Cup 2022 dataset, and evaluate a lightweight multilayer perceptron against six player-motion models from the literature, re-expressed as TTA predictors, and a learned reachable- hull baseline. Across our evaluation metrics, the MLP consistently outperforms every physics-based baseline. To probe the generality of the learned locomotion model, we further evaluate it on basketball tracking data and a single-game NFL tracking dataset, analyzing the transferability of player motion dynamics across sports. Our project is available at this https URL.

中文摘要

摘要:我们研究体育运动中的到达时间(TTA):基于球员当前的运动学状态到达场上任意位置所需的最短合理时间,这个时间被估计为观察到的运动时间的下包络线。我们没有通过位置密度估计或闭式物理模型来建模空间占有情况,而是将TTA定义为条件分位数回归问题,估计运动时间的下分位数,从而让模型学习球员的下包络到达时间。我们在PFF FC 2022 FIFA世界杯数据集中所有64场比赛的光学跟踪数据上训练模型,并将一个轻量级的多层感知机与文献中的六个球员运动模型(重新表示为TTA预测器)以及一个学习得到的可达边界基线进行评估。在我们的各项评价指标中,MLP始终优于所有基于物理的基线模型。为了探究学习到的运动模型的普遍性,我们进一步在篮球跟踪数据和一场NFL比赛的跟踪数据上对其进行了评估,分析球员运动动态在不同运动项目中的可迁移性。我们的项目可通过此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36183 (HTTP 429)

Authors: Marc Gutiérrez-Pérez, Antonio Agudo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36183.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36183

Published: 2026-10-29T02:51:25.392Z


9. Skill Dreaming: Evolving Repository Skills through Pull Request Streams

Abstract:Large language model (LLM) agents increasingly rely on reusable skills for complex software engineering tasks, making skill libraries essential for repository development and maintenance. However, repository-specific skills must evolve with changing code structures, implementation conventions, and maintenance requirements. Pull requests (PRs) provide a natural source of such knowledge by recording how repositories evolve through implementation and review. Meanwhile, new PRs must follow repository-specific implementation patterns, modify related components consistently, and ensure that existing tests continue to pass while adding coverage for new functionality. This creates a mutually reinforcing cycle: PRs provide knowledge for updating skills, while these skills improve future PRs, maintain repositories, and support further skill evolution. To enable this co-evolution of PRs, repositories, and skills, we propose Skill Dreaming, a framework that learns from PR streams to guide continuous repository development and maintenance. Given a repository and its PR history, Skill Dreaming builds a repository-specific skill library by extracting executable knowledge from validated PRs and continuously refines the skills as new PR information becomes available. These skills guide coding agents not only in implementing requested features but also in maintaining associated tests, documentation, compatibility, and repository conventions. By integrating PR analysis, skill management, code execution, and continuous integration, Skill Dreaming provides an end-to-end workflow for applying learned skills to repository changes and incorporating subsequent PR outcomes into future skill updates.

中文摘要

摘要:大型语言模型(LLM)代理越来越依赖可重复使用的技能来完成复杂的软件工程任务,这使得技能库对于代码库的开发和维护至关重要。然而,特定代码库的技能必须随着代码结构、实现约定和维护需求的变化而发展。拉取请求(PR)提供了这种知识的自然来源,因为它记录了代码库通过实现和审查的演变过程。与此同时,新PR必须遵循特定代码库的实现模式,一致地修改相关组件,并确保在添加新功能覆盖的同时,现有测试仍能通过。这形成了一个相互促进的循环:PR为更新技能提供知识,而这些技能又改善了未来的PR,维护代码库,并支持技能的进一步演变。为了实现PR、代码库和技能的共同进化,我们提出了Skill Dreaming,这是一个从PR流中学习以指导持续代码库开发和维护的框架。给定一个代码库及其PR历史,Skill Dreaming通过从经过验证的PR中提取可执行知识构建特定代码库的技能库,并在新PR信息可用时不断优化这些技能。这些技能不仅指导编码代理实现请求的功能,还指导其维护相关测试、文档、兼容性和代码库规范。通过整合PR分析、技能管理、代码执行和持续集成,Skill Dreaming提供了一个端到端的工作流程,将学习到的技能应用于代码库变更,并将随后的PR结果纳入未来的技能更新中。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36188 (HTTP 429)

Authors: Xinyuan Song, Hasibul Haque, Jay Somasundaram, Ryan Turner, Bowen Zhu, Liang Zhao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36188.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36188

Published: 2026-10-29T02:51:25.392Z


10. MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge

Abstract:Requirements engineering (RE) is foundational to systems engineering (SE), as requirement defects can propagate downstream and adversely affect development outcomes. Although large language models (LLMs) are promising for requirement quality assessment, prior work shows that off-the-shelf models miss a large share of expert-identified defects, perform unevenly across quality criteria, and vary across executions. This study investigates whether infusing expert-derived SE knowledge can improve LLM-based requirement quality evaluation beyond off-the-shelf capability. We present MARQ, a modular, LLM-agnostic prototype that supplements LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria and evaluated against off-the-shelf baselines on an expert-labeled NASA requirement set using Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B, with 100 executions per model. MARQ achieves median F1 scores of 0.80 for Claude Opus 5, 0.62 for GPT-5.6 Sol, and 0.53 for Gemma 3 12B, compared with off-the-shelf baselines of 0.55, 0.52, and 0.18, respectively. However, the nature of these gains is model-dependent. Claude Opus 5 improves defect detection and false-alarm control; GPT-5.6 Sol gains detection and better execution-level consistency at the cost of more false alarms; and Gemma 3 12B reaches the performance of off-the-shelf proprietary models, although it remains highly variable. Criterion-level analysis shows gains concentrated in Correctness and Conformance, trade-offs between misses and false alarms within individual criteria, and model-dependent responses across several criteria. These findings position SE knowledge infusion as a promising model-agnostic pathway for strengthening trustworthy LLM-based RE support while underscoring the need for criterion-specific interventions and human-in-the-loop review.

中文摘要

摘要:需求工程(RE)是系统工程(SE)的基础,因为需求缺陷可能向下游传播,并对开发结果产生不利影响。尽管大型语言模型(LLM)在需求质量评估方面具有潜力,但已有研究表明,现成模型遗漏了大量专家识别的缺陷,在不同质量标准上的表现不均,并且执行结果存在波动。本研究探讨了注入专家衍生的SE知识是否能够在现成模型的基础上提升基于LLM的需求质量评估。我们提出了MARQ,一种模块化、LLM无关的原型,它通过特定标准的知识栈补充LLM,实现了INCOSE需求质量标准,并使用专家标注的NASA需求集对Claude Opus 5、GPT-5.6 Sol和开源权重的Gemma 3 12B进行了评估,每个模型执行100次。MARQ在中位F1分数上表现为Claude Opus 5为0.80,GPT-5.6 Sol为0.62,Gemma 3 12B为0.53,而现成模型基线分别为0.55、0.52和0.18。然而,这些提升的性质依赖于具体模型。Claude Opus 5在缺陷检测和误报控制方面有所改善;GPT-5.6 Sol在检测能力和执行层一致性上有所提升,但代价是提升了误报率;Gemma 3 12B达到了现成专有模型的性能,尽管仍然波动较大。按标准分析显示,提升集中在正确性和符合性上,单个标准内存在遗漏与误报的权衡,并且在多个标准上表现出模型依赖的响应。这些发现表明,SE知识注入是一条有前景的、与模型无关的途径,用于增强可信赖的基于LLM的RE支持,同时强调了针对特定标准的干预和人工参与审查的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36234 (HTTP 429)

Authors: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36234.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36234

Published: 2026-10-29T02:51:25.392Z


VLM Domain Papers

1. ObjectTwin: Measuring the Asset Correspondence Gap for Capture-Anchored Digital Twins

Abstract:Object-wise reconstruction increasingly inserts generated meshes into captured scenes as editable proxies for observed objects. This use creates a requirement absent from isolated-asset scores and pose estimates: at the captured metric state, the proxy should reproduce calibrated observations of the same instance. We present ObjectTwin, a scan-grounded measurement protocol that freezes the instance, cameras, scan-projected support and recorded depth, metric anchor, and evaluation denominator, then replaces only the object representation. The resulting asset correspondence gap measures lost observation agreement relative to scan-derived visible geometry without treating the scan as complete physical ground truth. Across two indoor RGB-D capture domains and two generation backends, visible, anchored generated assets lose 0.302-0.497 MaskIoU under this replacement. Every tested scene-level estimate is positive, while same-input generator preference reverses across capture domains. Coverage and overlap-depth analyses locate disagreement in both visible support and surface placement; the evaluated conservative pose refinement does not systematically recover it. These results establish capture correspondence as a separately measurable interface between generated-asset quality and stronger physical or task-level evaluation.

中文摘要

摘要:面向对象的重建越来越多地将生成的网格插入捕获的场景中,作为可编辑的已观测对象代理。这种使用带来了独立资产分数和姿态估计中不存在的需求:在捕获的度量状态下,代理应重现同一实例的校准观测。我们提出了 ObjectTwin,一种基于扫描的测量协议,它冻结实例、摄像机、扫描投影支持和记录的深度、度量锚点以及评估分母,然后仅替换对象表示。由此产生的资产对应间隙衡量相对于扫描派生可见几何的观测一致性丢失,而不会将扫描视为完整的物理真实。跨两个室内 RGB-D 捕获领域和两个生成后端,可见、锚定的生成资产在此替换下损失 0.302-0.497 MaskIoU。每个测试的场景级估计都是正值,而相同输入生成器的偏好则在捕获域中反转。覆盖率和重叠深度分析将不一致定位在可见支持和平面放置上;评估的保守姿态优化无法系统地恢复它。这些结果将捕获对应关系确立为生成资产质量与更强物理或任务级评估之间可单独测量的接口。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35904 (HTTP 429)

Authors: Zhenghe Guo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35904.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35904

Published: 2026-10-29T02:51:46.078Z


2. Task-Utility IQA: Rethinking Image Quality Assessment in Embodied Tasks

Abstract:Image quality assessment (IQA) underpins embodied imaging pipelines by judging whether visual quality satisfies downstream tasks, yet most existing methods learn task-agnostic scores aligned with generic human ratings on static benchmarks. This objective mismatches embodied and interactive settings, where image adequacy depends on task goals, context, and action requirements that shape an agent’s decisions. We argue that IQA should shift from score regression to goal-conditioned judgment defined by embodied task utility. To this end, we propose an MLLM-based embodied IQA agent framework that reasons about task requirements, grounds quality evidence, and produces decision-facing assessments. A compact VisDrone evidence study shows that conventional perceptual metrics and generic MLLM-based IQA scores are weak proxies for downstream VLM task success, while a task-conditioned utility score better predicts whether visual input supports the target task. These findings support a task-utility-oriented reframing of IQA for embodied, explainable, and decision-aware visual perception.

中文摘要

摘要:图像质量评估(IQA)通过判断视觉质量是否满足下游任务,支撑了具身成像流程。然而,大多数现有方法学习与静态基准上的通用人类评分一致的任务不可知分数。这一目标与具身和交互式环境不匹配,在这些环境中,图像的适用性取决于任务目标、上下文以及影响智能体决策的操作需求。我们认为,IQA 应该从分数回归转向由具身任务效用定义的目标条件判断。为此,我们提出了一个基于 MLLM 的具身 IQA 智能体框架,该框架能够推理任务需求、建立质量证据,并生成面向决策的评估。一个紧凑的 VisDrone 证据研究表明,传统的感知指标和通用 MLLM 基于 IQA 的分数对于下游 VLM 任务的成功预测能力较弱,而任务条件效用分数则能够更好地预测视觉输入是否支持目标任务。这些发现支持将 IQA 重新框定为以任务效用为导向的具身、可解释和决策感知的视觉感知方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35905 (HTTP 429)

Authors: Jirong Zha, Yanwei Liao, Yemin Wang, Xiangmin Yi, Siqi Peng, Yingfeng Chen, Chen Gao, Xinlei Chen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35905.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35905

Published: 2026-10-29T02:51:46.078Z


3. Physiognomy Revisited: How Vision-Language Models Encode Sensitive Attributes Through Image Transformation

Abstract:Emergent generative AI technologies, while remarkably beneficial across several tasks and domains, can suffer from unforeseen vulnerabilities and difficult-to-anticipate failure modes. Such failure modes can disparately affect vulnerable communities. This paper investigates two well-known vision language models (VLMs) and inspects how these models encode protected identities while generating images. We show that when VLMs are requested to transform human face images to reflect race identities (e.g., Hispanic, Black, White, or Asian) and sexual orientation (e.g., gay or straight), VLMs often comply with such requests. We demonstrate that compliance (and refusal) is non-deterministic, group-sensitive, and generated images are statistically distinguishable, often accentuating deep-seated stereotypes. We further show that representation biases introduced during image generation can re-emerge in textual reasoning and characterization tasks. Finally, we show that this worrisome finding is not limited to racial identity or sexual orientation, image generation can perpetuate bias around criminality, raising concerning possibilities of AI-assisted profiling.

中文摘要

摘要:新兴的生成型人工智能技术虽然在多个任务和领域中具有显著的益处,但可能存在不可预见的脆弱性和难以预测的失败模式。这些失败模式可能会对脆弱群体产生不利影响。本文研究了两种知名的视觉语言模型(VLMs),并检查这些模型在生成图像时如何编码受保护的身份信息。我们显示,当VLM被要求将人脸图像转换以反映种族身份(例如,西班牙裔、黑人、白人或亚洲人)和性取向(例如,同性恋或异性恋)时,VLM通常会遵从这样的请求。我们证明,遵从(以及拒绝)是非确定性的、群体敏感的,并且生成的图像在统计上是可区分的,常常加深根深蒂固的刻板印象。我们进一步展示,在图像生成过程中引入的表征偏差可以在文本推理和角色描述任务中再次出现。最后,我们表明,这一令人担忧的发现不仅限于种族身份或性取向,图像生成还可能延续关于犯罪的偏见,引发了人工智能辅助画像的令人担忧的可能性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35910 (HTTP 429)

Authors: Soumyajit Datta, Arka Dutta, Ashiqur R. KhudaBukhsh

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35910.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35910

Published: 2026-10-29T02:51:46.078Z


4. Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding

Abstract:Image and video generators can produce spatially consistent visual content, but how to use this capability to improve spatial understanding remains underexplored. We study this problem from two perspectives: geometric supervision during training and explicit geometric evidence during inference. To this end, we introduce a unified geometric understanding and generation model (GeoUG) that integrates depth and multi-view generation with spatial understanding. First, we design a multi-scale depth codec that enables metric-depth generation using a pretrained visual autoencoder, and show that joint training yields task-dependent gains in spatial understanding. Second, we introduce 3DCueBench to control geometric difficulty while balancing selected 2D cues, and find that generated depth provides larger reasoning gains on questions requiring fine-grained geometric discrimination. Building on this finding, we develop adaptive interleaved reasoning, in which GeoUG first drafts an answer and then decides whether to generate geometric evidence to confirm or revise it. We train this decision through reinforcement learning, balancing accuracy gains over retaining the draft against generation cost. GeoUG achieves circular accuracies of 97.9%, 90.8%, and 94.2% on CV-Bench-3D, 3DCueBench, and DA-2K with fewer generation calls than always generating.

中文摘要

摘要:图像和视频生成器可以生成空间一致的视觉内容,但如何利用这种能力来提升空间理解仍未被充分研究。我们从两个角度研究这个问题:训练期间的几何监督和推理期间的显式几何证据。为此,我们提出了一个统一的几何理解与生成模型(GeoUG),将深度和多视图生成与空间理解相结合。首先,我们设计了一个多尺度深度编码器,使其能够使用预训练视觉自编码器生成度量深度,并表明联合训练可以在空间理解任务中带来依赖任务的收益。其次,我们引入了3DCueBench,用以在控制几何难度的同时平衡选定的二维线索,并发现生成的深度在需要细粒度几何区分的问题上提供了更大的推理增益。在此发现的基础上,我们开发了自适应交替推理,其中GeoUG先草拟一个答案,然后决定是否生成几何证据以确认或修改该答案。我们通过强化学习训练这一决策,在保留草稿的准确性增益与生成成本之间取得平衡。GeoUG在CV-Bench-3D、3DCueBench和DA-2K上的循环准确率分别达到97.9%、90.8%和94.2%,生成调用次数少于始终生成的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36022 (HTTP 429)

Authors: Rui Yang, Yanwei Li, Sili Chen, Jingjia Huang, Yi Lin, Hengshuang Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36022.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36022

Published: 2026-10-29T02:51:46.078Z


5. Any3R: Feedforward 3D Reconstruction from Any Camera Type

Abstract:Geometry foundation models recover camera poses and dense geometry from a set of images with a feed-forward network, but they expect pinhole images. That assumption is inside the backbone too: the positional encoding and the training loss both bind an image position to a direction in space, and both depend on the lens. We condition both on the dense ray field, the unit direction through every pixel, which describes any central camera without a lens type, distortion coefficients or a bound on field of view. Angular coordinates give the rotary encoding the measured ray angle of each patch, evaluated per view, and solid-angle weighting scales the point loss by the area each pixel covers on the sphere, so neither the encoding nor the supervision depends on the lens. Any3R is therefore a feed-forward model that takes any central camera, and is robust to mixing many camera types per scene, with no retraining per lens. On a benchmark of thirteen central cameras across three datasets, where every method reconstructs with its own predicted camera poses, it is the most consistently accurate method. Any3R enables scalable 3D reconstruction from heterogeneous crowdsourced and archival imagery collections sourced across diverse camera types. Project page: this https URL

中文摘要

摘要:几何基础模型通过前馈网络从一组图像中恢复相机姿态和稠密几何,但它们假定使用针孔图像。这一假设也存在于主干网络中:位置编码和训练损失都将图像位置绑定到空间中的方向,并且两者都依赖于镜头。我们将两者都条件化到稠密光线场,即每个像素的单位方向,它能够描述任何中央相机而无需镜头类型、畸变系数或视场限制。角坐标为旋转编码提供每个补丁的测得光线角度,并在每个视图上评估,固体角加权根据每个像素在球面上覆盖的面积调整点损失,因此编码和监督都不依赖于镜头。因此,Any3R 是一个前馈模型,可以接受任何中央相机,并且在每个场景混合多种相机类型时具有鲁棒性,无需针对每个镜头重新训练。在涵盖三组数据集的十三种中央相机基准测试中,每种方法都使用自身预测的相机姿态进行重建,Any3R 是精度最稳定的方法。Any3R 支持从异构的众包和档案影像集合中进行可扩展的 3D 重建,这些影像来源于多种相机类型。项目页面:该 HTTPS URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36150 (HTTP 429)

Authors: Jingong Chen, Qingwen Zhang, Youming Deng, Chulwoo Pack, Olaf Wysocki, Boris Jutzi, Kwanghee Won, Kyle Gao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36150.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36150

Published: 2026-10-29T02:51:46.078Z


6. PrinGS: Privacy Preservation in Gaussian Splatting

Abstract:3D Gaussian Splatting (3DGS) has rapidly become the preferred representation for high-fidelity novel view synthesis and 3D scene reconstruction. However, the learned representation encodes sensitive visual information including human faces, license plates, documents, and computer screens, raising significant privacy concerns when trained splats are shared or deployed. In this work, we address the underexplored problem of privacy preservation in Gaussian Splatting by proposing a representation-level anonymization framework that directly anonymizes a trained splat. Given a trained splat and a user-provided reference view identifying sensitive content, our method localizes the corresponding regions in the underlying 3D representation and directly anonymizes them, ensuring that the sensitive information is absent from all subsequently rendered novel views while preserving the overall scene geometry and visual fidelity. We achieve this post-training anonymization in less than 1 second. Furthermore, we extend our framework with a privacy-by-design training strategy that prevents sensitive content from being embedded into the representation during optimization, enabling the generation of privacy-preserving splats directly from training images. Our method achieves a remarkably low Face Similarity Measure (FSM) of 9.79% at a retained Face Detection Rate (FDR) of 39.47% and makes sensitive text completely unreadable with an OCR Character Error Rate of 1.00. Our work aims to serve as the primary stepping stone towards privacy-aware 3D representations and motivates further research along these directions.

中文摘要

摘要:三维高斯点绘(3D Gaussian Splatting,3DGS)迅速成为高保真新视角合成和三维场景重建的首选表示方法。然而,学习到的表示会编码敏感的视觉信息,包括人脸、车牌、文档和电脑屏幕,当训练好的点绘被共享或部署时,会引发严重的隐私问题。在本工作中,我们通过提出一种表示级匿名化框架来解决高斯点绘中尚未充分研究的隐私保护问题,该框架能够直接对训练好的点绘进行匿名化。给定训练好的点绘和用户提供的识别敏感内容的参考视图,我们的方法能够定位基础三维表示中的对应区域并直接进行匿名化,从而保证敏感信息在随后渲染的所有新视角中均不存在,同时保持整体场景几何和视觉保真度。我们在不到1秒的时间内实现了这种训练后匿名化。此外,我们还扩展了框架,提出了一种隐私设计训练策略,在优化过程中防止敏感内容被嵌入到表示中,使得可以直接从训练图像生成隐私保护的点绘。我们的方法在保留39.47%的人脸检测率(FDR)下,达到了惊人的低人脸相似度测量(FSM)9.79%,并且使敏感文字完全无法读取,OCR字符错误率为1.00。本研究旨在作为实现隐私感知三维表示的主要起点,并激励沿该方向进一步开展研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36168 (HTTP 429)

Authors: Gaurav Behera, Abhinav Raundhal, Archisha Panda, Saumya Balina, Gargi Shroff, Ponnurangam Kumaraguru

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36168.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36168

Published: 2026-10-29T02:51:46.078Z


7. Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models

Abstract:Learning velocity fields directly in pixel space is difficult and slow. We show that coarse second-order image statistics can ease this task: frozen Wiener estimates improve velocity learning, with gains extending beyond the linear predictions they explicitly provide. Moreover, we observe similar but complementary gains from frozen bases and pixel decoding. These observations motivate Wiener-informed Decoding (WiD), which uses statistical knowledge both for direct prediction and to organize decoder computation without modifying native blocks. WiD combines a trainable Wiener prediction path with coefficient interfaces that inject features into the native decoder and return its predicted coefficient corrections, with these components initialized with data statistics. All introduced parameters, including the spectrum and coordinate transforms, are trained jointly under the original pixel-space velocity objective. Across model scales and decoder architectures, WiD accelerates training and improves generation quality with modest parameter overhead. It also yields smoother gradient trajectories and remains effective with representation alignment. WiD improves class-conditional and text-to-image generation across different resolutions. On ImageNet 256 x 256, PixelDiT-XL with WiD reaches FID 1.53 after 500 epochs, achieving comparable quality to PixelDiT with 37.5% fewer training epochs. Statistical denoisers contribute beyond the estimate: their computational structure can also ease pixel-space training.

中文摘要

摘要:在像素空间中直接学习速度场既困难又缓慢。我们表明,粗略的二阶图像统计可以简化这一任务:冻结的维纳估计能够改善速度学习,其收益超出了它们所明确提供的线性预测。此外,我们观察到来自冻结基和像素解码的类似但互补的收益。这些观察促使提出了维纳信息解码(WiD),它利用统计知识进行直接预测,并在不修改原生模块的情况下组织解码器计算。WiD结合了可训练的维纳预测路径和系数接口,通过这些接口将特征注入原生解码器并返回其预测的系数修正,这些组件以数据统计初始化。所有引入的参数,包括谱和坐标变换,均在原始像素空间速度目标下联合训练。在不同模型规模和解码器架构下,WiD能够加速训练并在参数开销有限的情况下提高生成质量。它还带来更平滑的梯度轨迹,并在表示对齐时依然有效。WiD在不同分辨率下改善了类别条件生成和文本到图像生成。在 ImageNet 256 x 256 上,PixelDiT-XL 搭配 WiD 在 500 个训练周期后达到 FID 1.53,实现了与 PixelDiT 相当的质量,同时训练周期减少了 37.5%。统计去噪器的贡献超越了估计:其计算结构同样可以简化像素空间训练。

LLM Analysis

Q: 这篇论文试图解决什么问题? 这篇论文旨在解决\*\*像素空间流模型(pixel-space flow models)中速度场学习的困难与低效问题\*\*。具体而言,其关注的核心问题与解决思路可概括如下: ### 1. 核心问题:像素空间速度学习的优化困境 直接在像素空间学习速度场(velocity fields)是一项高维且困难的优化任务。去噪网络必须同时处理带有噪声的高维像素输入并学习自然图像的复杂结构,这导致训练过程缓慢且难以收敛。尽管像素空间流模型简化了生成流程(无需预训练的独立自编码器),但其本身的学习问题却变得更加艰巨。 ### 2. 关键观察:统计先验可超越显式估计 论文观察到,即使仅利用自然图像的二阶统计特性构造\*\*固定的维纳(Wiener)估计器\*\*,作为解析速度基线(analytic velocity base),也能显著改善速度学习。重要的是,这种改善不仅来自于它提供了一个更好的线性预测起点,更在于它还能帮助网络\*\*更有效地组织计算以学习剩余的非线性预测\*\*(即增益超出了显式的线性响应)。 ### 3. 提出的方案:Wiener-informed Decoding (WiD) 基于上述观察,论文提出将统计估计器背后的计算结构(分析、系数调整、合成)整合到像素解码器中,而非仅将其输出作为加性基线。WiD 通过以下方式实现: - \*\*可训练的统计预测路径\*\*:利用数据二阶矩初始化,将噪声图像块变换到统计坐标,进行维纳增益调整后映射回像素空间。 - \*\*系数交互接口\*\*:将统计坐标作为额外特征注入原生解码器,并让解码器同时预测像素空间速度和系数空间的修正量。 - \*\*联合训练\*\*:所有引入的参数(包括谱估计、坐标变换)均在原始像素空间速度目标下与网络联合训练,且无需修改原有的上下文主干(backbone)架构。 ### 4. 主要成效 WiD 在多个模型尺度(B/XL)和不同解码器架构(PixelDiT、DeCo)上均展现出\*\*训练加速、生成质量提升、梯度轨迹更平滑\*\*的效果,且与表示对齐方法(REPA)兼容。例如,在 ImageNet 256×256 上,PixelDiT-XL 配合 WiD 仅需 500 个 epoch 即可达到 FID 1.53,相比原生模型节省了 37.5% 的训练轮数,参数开销仅约 1%。 Q2: 有哪些相关研究? 该论文的相关研究主要集中在\*\*统计去噪\*\*与\*\*像素空间流模型\*\*两大方向,此外还涉及流匹配基础框架与生成模型训练技术。具体可归纳如下: ### 1. 统计去噪与维纳估计(Statistical Denoising) 这类研究利用图像统计先验进行恢复,为本文WiD方法提供了理论基础与结构灵感: - \*\*经典维纳估计\*\*:Wiener (1949) 提出了最小均方误差意义下的线性最优估计;Kailath et al. (2000) 系统阐述了线性估计理论。 - \*\*基于统计的图像去噪\*\*:BLS-GSM (Portilla et al., 2003) 在小波域利用高斯尺度混合进行去噪;NLBayes (Lebrun et al., 2013) 提出了非局部贝叶斯去噪算法;BM3D (Dabov et al., 2007) 通过稀疏3D变换域协作滤波,展示了“表示构造—系数滤波—逆变换重建”的计算组织方式。 - \*\*深度维纳反卷积\*\*:Dong et al. (2020) 将维纳操作嵌入可学习的特征处理流程,用于图像去模糊。 - \*\*扩散模型中的统计结构\*\*:Wang & Vastola (2024) 利用高斯分数近似分析并加速扩散采样;Li et al. (2024) 通过线性拟合揭示扩散模型泛化与隐层高斯结构的关联;Lukoianov et al. (2025) 指出数据统计本身即可解释扩散模型的局部性特征。 ### 2. 像素空间流模型(Pixel-Space Flow Models) 这类研究直接在高维像素空间进行生成建模,是本文试图改进的核心对象: - \*\*预测参数化(Prediction Parameterization)\*\*:为缓解像素空间学习困难,JiT (Li & He, 2026) 改为预测干净图像;AsymFlow (Chen et al., 2026a) 采用非对称的低秩噪声预测与满秩数据预测组合来重构速度;k-Diff (Jin & Wang, 2026) 通过学习标量控制网络输出的数据–噪声混合比例。 - \*\*像素解码架构(Pixel Decoding)\*\*:通过分离上下文建模与密集像素预测来降低学习难度。代表工作包括: - PixNerd (Wang et al., 2026a):基于块级神经场(patch-wise neural fields)。 - PixelDiT (Yu et al., 2026):采用像素级Transformer解码器。 - DeCo (Ma et al., 2026):使用上下文条件MLP解码器,并引入频域目标。 - \*\*预条件方法(Preconditioning)\*\*:EDM (Karras et al., 2022) 通过噪声相关的缩放与跳跃连接归一化输入与目标;Preconditioned Flow Matching (Ahamed et al., 2026) 利用可逆数据变换改善中间流分布的条件数。本文WiD与此相关,但聚焦于解码器设计而非整体流预条件。 ### 3. 基础框架与训练技术 - \*\*流匹配与插值\*\*:Rectified Flow (Liu et al., 2022)、Flow Matching (Lipman et al., 2023) 与 Stochastic Interpolants (Albergo et al., 2025) 构成了像素空间流模型的数学基础,其速度场形式为 v = x - ε ,插值路径为 z_t = tx + (1-t)ε 。 - \*\*骨干架构\*\*:DiT (Peebles & Xie, 2023) 将扩散模型扩展为纯Transformer架构,是PixelDiT与本文实验的重要基线。 - \*\*表示对齐(Representation Alignment)\*\*:REPA (Yu et al., 2025) 利用视觉编码器(如DINOv2 (Oquab et al., 2024))的中间层特征监督生成模型训练,本文验证了WiD与REPA的兼容性。 - \*\*训练与评估技术\*\*:包括AdamW优化器 (Kingma & Ba, 2015; Loshchilov & Hutter, 2019)、无分类器引导 CFG (Ho & Salimans, 2021)、FlowDPMSolver (Xie et al., 2024) 以及ImageNet基准 (Deng et al., 2009) 等。 Q3: 论文如何解决这个问题? 论文通过提出 \*\*Wiener-informed Decoding (WiD)\*\* 来解决像素空间流模型的速度场学习困难。该方法的核心洞见是:自然图像的二阶统计量不仅可以直接提供一个好的速度估计起点,其背后的计算结构(分析、系数调整、合成)还可以用来重新组织像素解码器的学习过程。具体解决方案包含以下几个层面: ### 1. 从固定基线到可训练统计路径 论文首先验证,基于数据二阶矩构造的固定维纳(Wiener)估计已经能显著加速训练。但为了获得更持久、更灵活的增益,WiD 将这些统计操作转化为\*\*可训练的解码器组件\*\*,而非仅作为一个冻结的加性偏置: - \*\*分析变换\*\*:对输入的噪声图像块 z_(t,i) ∈ R^m ,通过可学习的分析矩阵 U_(enc) ∈ R^(m × m) 提取统计系数:

ci = U(enc)^top z_(t,i)

  • **维纳增益**:根据噪声水平 t 和可学习的谱参数 λ ,对系数进行缩放:
    w_i = a(t; λ) odot c_i
    其中增益函数 a(t; λ) 来源于维纳滤波理论:
    a_j(t) = (tλ_j - (1-t)) / (t^2λ_j + (1-t)^2)
  • **合成变换**:通过可学习的合成矩阵 U_(dec) ∈ R^(m × m) 将处理后的系数映射回像素空间,形成统计分支的速度预测。 ### 2. 系数接口与解码器融合 WiD 不仅使用统计路径的**输出**,还利用其**中间坐标**来引导原生解码器的计算。具体地,未经维纳缩放的原始系数 c_i 被注入到解码器的输入端: - **特征扩展**:通过线性扩展器 W_F 将系数映射为与解码器像素嵌入同维度的特征:

Fi^0 = E(z(t,i)) + reshape(W_F c_i)
这使得解码器在初始层就能访问图像的统计结构信息。 - **原生块保留**:后续层 F^L = T(F^0, s) 仍由原有的解码器块(如 PixelDiT 或 DeCo 的块)计算,上下文条件 s 来自主干网络,不改变原生架构。 ### 3. 双分支联合预测 在输出端,WiD 让解码器同时承担两个互补的预测任务,其总和构成最终速度估计: - **系数修正头**:预测对维纳估计的系数空间修正量 Delta c_i :

Delta c_i = W_Delta vec(N_Delta(F_i^L)) + b_Delta

  • **像素空间头**:原生解码器继续输出像素级的残差速度 H(πx)(F^L)_i 。 - **总预测**:将统计分支与像素分支相加:
    v_i = U
    (dec)(wi + Delta c_i) + H(πx)(F^L)i
    整个模型在原始的速度目标函数下联合训练:
    L
    (FM) = E(x,y,ε,t)[(1) / (d)|vθ(zt, t, y) - (x - ε)|_2^2]
    所有引入的参数( U
    (enc), U(dec), λ, W_F, W_Delta 等)与网络其余部分一同优化。 ### 4. 数据驱动的初始化策略 为了确保训练稳定性并充分利用统计先验,WiD 采用基于数据二阶矩的初始化: - U(enc) 与 U(dec) 初始化为共享图像块 PCA 基 U_0 ; - 谱参数 λ 在 log 空间初始化为 log λ_0 ; - 系数修正头与像素输出头均零初始化,使得初始总预测恰好等于冻结的维纳估计; - 输入端的像素投影 E 和系数扩展器 W_F 按 1:1 分配原始嵌入能量,确保初始输入特征与原生解码器等价。 ### 5. 架构无关性与低开销 WiD 以**插件形式**围绕现有解码器构建,不修改主干网络或原生解码器块的内部结构。这使其能直接应用于 PixelDiT、DeCo 等不同架构,仅增加约 0.9% sim 1.3% 的参数量和 1% 左右的计算开销。 通过以上设计,WiD 将高维像素去噪任务部分分解到具有闭式结构的统计坐标系中,既提供了良好的优化起点,又通过系数接口降低了原生解码器学习剩余复杂结构的难度,从而在训练稳定性、收敛速度和生成质量上均获得提升。 Q4: 论文做了哪些实验? 论文围绕类条件生成、文本到图像生成、消融分析及训练诊断展开了一系列实验,具体可归纳如下: ### 1. 类条件图像生成(Class-Conditional Generation on ImageNet) 此部分验证 WiD 在不同分辨率与训练时长下的训练效率与生成质量提升,以 PixelDiT-XL/16 为骨干。 - **ImageNet 256×256**: - 遵循 PixelDiT 原始训练配置(AdamW、REPA、全局 batch size 256 等),对比 WiD 与原生模型在 80、160、200、260、320、500 个 epoch 的表现。 - 使用 FlowDPMSolver 100 步采样与分类器无关引导(CFG)。 - 指标涵盖 FID、sFID、IS(Inception Score)、Precision 和 Recall。 - 结果显示:WiD 在 80 epoch 时 FID 为 2.09(优于原生的 2.36);260 epoch 达到 FID 1.61(匹配原生 320 epoch 水平);500 epoch 达到 FID 1.53,节省 37.5% 训练轮数。参数量仅从 797M 增至 805M(约 1%)。 - **ImageNet 512×512**: - 以 260 epoch 的 256×256 检查点为起点,微调 50 epoch。 - 在相同采样设置下,WiD 达到 FID 1.64,优于原生 PixelDiT-XL/16 在 320+530 epoch 的 FID 1.81。 ### 2. 文本到图像生成(Text-to-Image Generation) 此部分验证 WiD 在更大规模文本条件生成任务上的通用性,以 DeCo-XXL/16 为骨干,在 BLIP3-o 数据集上训练。 - **256×256 预训练阶段(80K 步)**: - 评估 GenEval 和 DPG-Bench。 - WiD 在 GenEval 总体得分上从 0.43 提升至 0.49,DPG-Bench 平均分从 73.1 提升至 78.8,显示早期训练阶段即可获益。 - **512×512 完整训练后**: - 经三阶段训练(256预训练 → 512提升 → 高质量微调),WiD 在 GenEval 总体得分(0.86)上与原生 DeCo-XXL 持平或略优,并在部分子项(如 Counting、Colors)上提升。 - 参数开销约为 1.3%(1.1B 基础上增加 14M)。 ### 3. 消融实验(Ablations on ImageNet 256×256) 以 PixelDiT-B/16 为骨干,训练 40 epoch(使用 REPA,无 CFG),逐组件验证 WiD 的有效性: | 实验设置 | FID ↓ | sFID ↓ | IS ↑ | | :—- | :—- | :—- | :—- | | 原生 PixelDiT-B/16 | 60.01 | 14.10 | 24.89 | | **+ WiD(完整)** | **41.71** | **9.18** | **35.14** | | w/o Wiener prediction(移除统计预测路径) | 49.54 | 10.88 | 29.93 | | w/o Statistics init.(随机初始化而非 PCA 统计初始化) | 49.02 | 9.85 | 30.35 | | w/o Coefficient interface(移除系数特征接口与输出修正) | 50.67 | 9.14 | 28.97 | 结果表明:直接统计预测路径、基于数据统计的初始化以及系数接口均对最终性能有显著贡献。 ### 4. 训练稳定性与架构兼容性诊断 论文在训练过程中进行了多项诊断分析: - **梯度轨迹分析**:对比 PixelDiT-B 与 PixelDiT-B+WiD 的裁剪前梯度范数,WiD 展现出更平滑的梯度轨迹与更少的大幅震荡(图 4a)。 - **与 REPA 的兼容性**:在 PixelDiT-B 和 DeCo-B 上,WiD 与表示对齐(REPA)联合使用时仍能进一步提升 FID,证明二者互补(图 4b、4c)。 - **跨解码器架构验证**:除 PixelDiT 外,WiD 同样改善了 DeCo-B 的生成质量,说明方法不依赖于特定解码器实现。 ### 5. 预测误差与路径响应分析(Appendix B) 利用一个在 320 epoch 充分训练好的 PixelDiT-XL 作为参考模型,对 B-size 模型进行细粒度诊断: - **误差分解**:将预测误差分解为线性(fitted linear)与剩余(remaining)两部分。结果显示,冻结的 PCA/DCT 维纳基线以及原生 PixelDiT 的改进主要来自于“剩余误差”的降低,说明统计先验帮助网络更好地学习了非线性残差。 - **输入扰动路径对齐(JVP)**:计算解码器直接像素路径与上下文路径对输入扰动的雅可比向量积(JVP)。结果表明直接像素路径与维纳响应的(去平行后)余弦相似度显著高于上下文路径,支持了将统计结构集成到像素解码器而非主干的设计决策。 ### 6. 计算开销与实现细节(Appendix A) - **参数量与计算量**:PixelDiT-XL+WiD 参数量从 797.38M 增至 804.86M(+0.94%),前向计算量从 311.19 增至约 315.32 GFLOPs(+1.33%)。 - **推理吞吐**:在单卡 NVIDIA H200 上,batch size 为 4 时,PixelDiT-XL+WiD 的采样吞吐从 238.8 降至 227.6 samples/s;DeCo-XXL+WiD 在 25 步 Adams-2nd 采样+CFG 4.0 下,吞吐从 7.50 降至 7.04 images/s,开销可控。 Q5: 有什么可以进一步探索的点? 基于论文内容与局限性讨论,可从以下几个维度展开进一步探索: ### 1. 拓展至潜空间与其他模态 论文主要聚焦于像素空间的图像生成,但统计去噪的视角具有更广的适用性: - **潜空间生成**:将 Wiener-informed 结构应用于潜空间(latent-space)流模型,探索统计先验在低维表示空间是否同样能加速训练或提升生成质量。 - **跨模态任务**:将类似思路推广到**视频、音频、语言**等高维序列或多模态生成任务,验证其时序或空间统计结构是否可被类似地利用。 ### 2. 更深层的架构融合 当前 WiD 以插件形式作用于像素解码器,保留了原生主干不变: - **直接集成到扩散 Transformer**:将 Wiener 分析与合成操作更深入地嵌入 Transformer 块内部(如注意力层或 FFN 层),而非仅作为解码器外围模块,可能催生下一代面向流匹配任务的基础架构。 - **多尺度统计坐标**:本文采用固定大小的 patch PCA,可探索**层级化或多尺度**统计坐标系(如不同频率带、不同空间尺度的独立或耦合统计),以捕捉更丰富的图像结构。 ### 3. 统计先验的动态演化 WiD 使用少量数据离线估计统计量进行初始化,随后通过梯度下降调整: - **在线统计更新**:探索在训练过程中动态估计或修正数据二阶矩(甚至高阶矩),使统计先验能自适应数据分布或训练阶段的演化。 - **高阶统计量**:本文利用的是二阶(Wiener)估计,引入**高阶统计信息**或更复杂的概率模型(如高斯混合、尺度混合)作为初始化或约束,可能进一步提升对复杂自然图像结构的逼近能力。 ### 4. 理论理解与设计空间 论文观察到统计基底的增益“超越显式线性预测”,但对其机制的经验分析仍有拓展空间: - **非线性残差学习的理论分析**:更严格地刻画为何统计坐标能重新组织解码器的计算、降低剩余预测误差,可能为预条件(preconditioning)与模型架构设计提供新的理论视角。 - **系数接口的最优设计**:当前采用简单的线性扩展与相加融合,可探索更复杂的**自适应门控、交叉注意力或低秩耦合**机制,以优化统计分支与原生解码器之间的信息流。 ### 5. 计算效率与实用化优化 尽管 WiD 的开销已很轻微,但在超大规模训练中仍可进一步优化: - **轻量化解码器接口**:设计更紧凑的系数交互模块,或利用结构化/稀疏的统计变换矩阵,进一步降低参数量与推理延迟。 - **与先进训练技术的协同**:结合更激进的蒸馏、量化或低精度训练策略,验证 WiD 在极端效率约束下的表现。 ### 6. 更复杂的条件生成场景 论文验证了类条件和文本到图像生成,未来可在以下场景测试: - **多条件或组合生成**:验证 WiD 在需要复杂组合推理(如空间布局、多个对象属性控制)时是否仍能稳定提供增益。 - **下游编辑任务**:将 WiD 应用于图像编辑、修复或风格迁移等任务,检验统计先验在这些部分观测或逆问题中的价值。 Q6: 总结一下论文的主要内容 该论文围绕像素空间流模型(pixel-space flow models)的训练难题展开,提出利用图像统计先验来简化高维像素空间中的速度场学习。主要内容可概括如下: ### 1. 研究背景与核心问题 像素空间流模型直接在原始像素空间进行生成建模,避免了预训练自编码器的复杂流程,但带来了严峻的学习挑战:去噪网络必须在高维、带噪的像素输入上同时学习自然图像的复杂结构,导致优化过程缓慢且困难。 ### 2. 关键观察:统计先验的价值超越显式估计 论文发现,仅利用自然图像的二阶统计量构建**固定的维纳(Wiener)估计器**作为解析速度基线,即可显著改善训练效果。更重要的是,这种改善不仅源于它提供了一个更好的线性预测起点,更在于它还能帮助网络**更有效地学习剩余的非线性预测**,即增益超出了该线性估计的显式贡献范围。此外,像素解码器的直接像素通路比上下文通路更接近维纳响应,表明解码器是集成统计知识的自然接口。 ### 3. 方法:Wiener-informed Decoding (WiD) 基于上述观察,论文提出 WiD,将统计估计器的计算结构(分析、系数调整、合成)转化为像素解码器中的**可训练组件**,而非仅作为冻结的加性偏置: - **可训练统计预测路径**:通过可学习的分析变换 U(enc) 将噪声图像块映射到统计坐标,利用可训练的谱参数 λ 进行维纳增益调整,再经合成变换 U_(dec) 映射回像素空间。 - **系数接口**:将统计坐标通过线性扩展器 W_F 注入原生解码器的输入特征,同时在输出端引入系数修正头,预测对维纳估计的残差修正量 Delta c 。 - **双分支联合预测**:最终速度为统计分支与原生像素分支预测之和:

v = U(dec)(w + Delta c) + H(πx)(F^L)

  • **数据驱动初始化**:所有统计参数基于图像块 PCA 统计量初始化,其余修正头零初始化,确保训练起点即为维纳估计,且与原生解码器等价。 ### 4. 实验验证 论文在类条件生成(ImageNet 256/512)和文本到图像生成上进行了广泛实验,覆盖 PixelDiT 与 DeCo 两种解码器架构: - **ImageNet 256×256**:PixelDiT-XL/16 + WiD 在 80 epoch 时 FID 为 2.09(优于原生 2.36),在 260 epoch 达到 FID 1.61(匹配原生 320 epoch 水平),500 epoch 达到 **FID 1.53**,节省 **37.5%** 训练轮数。 - **ImageNet 512×512**:经 50 epoch 微调,FID 达到 1.64,优于原生模型在 320+530 epoch 的 1.81。 - **文本到图像**:DeCo-XXL/16 + WiD 在 GenEval 和 DPG-Bench 上均有提升,早期训练阶段即可获益。 - **训练稳定性**:WiD 展现出更平滑的梯度轨迹,且与 REPA 等表示对齐技术兼容。 - **开销**:参数量增加仅约 **0.9%–1.3%**,计算与推理成本增幅低于 1.5%。 ### 5. 核心贡献 - **经验发现**:证明粗糙的二阶统计估计可显著简化像素空间速度学习,且其增益超越显式的线性预测。 - **方法创新**:提出 WiD,将统计知识同时用于直接预测与解码器计算组织,以插件形式适配不同像素解码器架构。 - **实用价值**:在不修改原生主干的前提下,实现更快的收敛、更稳定的训练与更优的生成质量,适用于类条件与文本到图像等多种任务。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文,请点击 这里 为你跳转Kimi AI网页版,并启动一个与该论文相关的新会话。

Authors: Ziqiao Wang, Yang You

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36192.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36192

Published: 2026-10-29T02:51:46.078Z


8. Learning to Read Braille: Benchmarking and Improving Braille Recognition Capabilities of VLMs

Abstract:Despite rapid progress in visual understanding and document transcription, modern vision-language models (VLMs) struggle with a fundamental accessibility task: reading Braille from images. We introduce BrailleBench, a manually curated benchmark of 259 real-world Grade-1 and Grade-2 Braille images. We evaluate proprietary, open-weight, OCR-specialized, and tool-assisted multimodal systems and find that standalone general-purpose models perform poorly at directly transcribing Braille images, whereas tool-assisted systems perform much better. We design a synthetic Braille generation pipeline with diverse layouts and image perturbations. A 2B VLM model trained on our synthetic data reaches 87% exact match on Grade-1 and 61% on Grade-2 BrailleBench, outperforming standalone VLMs and achieving the highest Grade-2 exact match score among the evaluated systems. We further show that high accuracy on synthetic validation data does not guarantee high accuracy on real photographs in our experiments: models trained on prior synthetic data reach up to 96% on their synthetic validation set but at most 3.26% on Grade-1 BrailleBench. Our results identify an accessibility-relevant capability gap in multimodal systems and show that targeted synthetic supervision can improve real-world Braille transcription.

中文摘要

摘要:尽管在视觉理解和文档转录方面取得了快速进展,现代视觉-语言模型(VLMs)在一项基本的可访问性任务上仍然存在难题:从图像中读取盲文。我们介绍了BrailleBench,这是一个手工整理的基准,包含259张真实世界的一、二级盲文图像。我们评估了专有模型、开源权重模型、OCR专用模型以及工具辅助的多模态系统,并发现独立的通用模型在直接转录盲文图像时表现不佳,而工具辅助系统的表现则好得多。我们设计了一个具有多样布局和图像扰动的合成盲文生成流程。在我们的合成数据上训练的2B VLM模型在BrailleBench的一级盲文上达到了87%的完全匹配率,在二级盲文上达到了61%,超过了独立VLM,并在所有评估系统中取得了二级盲文的最高完全匹配分数。我们进一步表明,在我们的实验中,合成验证数据上的高准确率并不保证在真实照片上的高准确率:使用先前合成数据训练的模型在其合成验证集上达到最多96%,但在BrailleBench一级盲文上最多仅为3.26%。我们的结果揭示了多模态系统在可访问性相关能力上的差距,并表明针对性的合成监督可以改善现实世界的盲文转录性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36195 (HTTP 429)

Authors: Kartik Jangra, Atharva Gawane, Siddharth Pulipaka, Hemachandran Karah, Raj Dabre

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36195.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36195

Published: 2026-10-29T02:51:46.078Z


9. UT-HMR: Uncertainty-Guided Temporal Modeling for Robust 3D Human Mesh Recovery

Abstract:Monocular 3D human mesh recovery (HMR) remains unreliable under weak observations caused by long camera-to-person distances, occlusion, and motion blur. In challenging scenarios such as sports, these factors make the problem highly ambiguous, as different 3D poses may yield similar 2D projections. This ambiguity is especially severe for one-stage HMR, which recovers all meshes directly from the full image without person crops or external 2D cues. To handle this ambiguity, we present UT-HMR ( Uncertainty-guided Temporal HMR), to our knowledge the first one-stage HMR framework to capture correlated pose uncertainty across joints. Each person query predicts a Gaussian distribution over the full SMPL pose with a compact low-rank-plus-diagonal covariance, which is converted into joint-wise precision weights for heteroscedastic supervision while keeping inference deterministic. Temporal early fusion further injects neighboring-frame evidence before pose decoding, supplying the visual evidence needed to resolve the ambiguity that the uncertainty captures. With a lightweight ViT-B backbone, UT-HMR achieves state-of-the-art results on VIP-HockeyPose-v2 (ice hockey) and WorldPose (soccer), reducing MPJPE, PA-MPJPE, and PVE by up to 4.7%, 3.8%, and 5.6%, and remains competitive on 3DPW against methods with larger backbones and higher input resolutions.

中文摘要

摘要:单目三维人体网格重建(HMR)在摄像机与人物距离过远、遮挡和运动模糊导致的弱观测下仍然不可靠。在体育等具有挑战性的场景中,这些因素使问题高度模糊,因为不同的三维姿态可能产生相似的二维投影。这种模糊对于单阶段HMR尤为严重,单阶段HMR直接从完整图像恢复所有网格,而不需要人物裁剪或外部二维线索。为了解决这种模糊问题,我们提出了UT-HMR(基于不确定性的时序HMR),据我们所知,这是第一个能够捕捉关节间相关姿态不确定性的单阶段HMR框架。每个人物查询预测整个SMPL姿态的高斯分布,采用紧凑的低秩加对角协方差,并将其转换为关节精度权重,用于异方差监督,同时保持推理的确定性。时序早期融合在姿态解码前进一步注入邻帧证据,提供解决不确定性捕捉的模糊所需的视觉证据。借助轻量级ViT-B骨干网络,UT-HMR在VIP-HockeyPose-v2(冰球)和WorldPose(足球)上实现了最先进的结果,MPJPE、PA-MPJPE和PVE分别降低了最多4.7%、3.8%和5.6%,并且在3DPW上仍与具有更大骨干和更高输入分辨率的方法保持竞争力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36203 (HTTP 429)

Authors: Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36203.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36203

Published: 2026-10-29T02:51:46.078Z


10. Diagnosing and Correcting Bias in MLLM for Long Video Understanding

Abstract:Long-video question answering is challenging since the answer often hinges on a few decisive moments scattered throughout the video, while memory constraints force Multimodal Large Language Models (MLLMs) to sample frames at extremely low rates, resulting in sparsity that risks omitting key evidence. Though aggressively enlarging the context size is intuitive, we argue that performance remains fundamentally constrained by the bias, \emph{i.e.}, the misleading cues caused by spurious \textit{linguistic} correlations and salient yet irrelevant \textit{visual} observations. In this paper, we first introduce {S-MME}, a benchmark designed to systematically diagnose shortcut-biased behavior in MLLMs. To mitigate this failure, we further propose a training-free framework, Counterfactual Long-video Evidence-Aware Reasoning (CLEAR). By treating the full video-question pair as a complete view, CLEAR estimates bias effects via augmented views by only keeping the question or locally salient visual clips. Then, we intervene hidden states to mitigate the discrepancy at inference such that the correct answer can be predicted confidently. With experimental studies across five benchmarks, we show that our method is generalizable and can be integrated in different MLLMs, yielding consistent gains in prediction and robustness. We hope CLEAR can offer a complementary direction in test-time scaling for long-video understanding.

中文摘要

摘要:长视频问答具有挑战性,因为答案通常依赖于散布在视频中的少数关键时刻,而内存限制迫使多模态大语言模型(MLLMs)以极低的帧率抽取视频帧,导致稀疏性,从而有遗漏关键证据的风险。尽管激进地扩大上下文大小是直观的做法,但我们认为性能从根本上仍受偏差限制,即由虚假的语言关联和显著但无关的视觉观察造成的误导性线索。在本文中,我们首先介绍了 {S-MME},一个用于系统诊断 MLLMs 中捷径偏差行为的基准。为了缓解这种失败,我们进一步提出了一个无需训练的框架,称为反事实长视频证据感知推理(CLEAR)。通过将完整的视频-问题对视为一个完整视图,CLEAR 通过增强视图来估计偏差效应,仅保留问题或局部显著的视觉片段。然后,我们在推理时干预隐藏状态,以减轻差异,使得能够自信地预测正确答案。通过在五个基准上的实验证明,我们的方法具有普适性,可整合到不同的 MLLMs 中,带来预测和稳健性的一致提升。我们希望 CLEAR 能为长视频理解的测试时规模化提供一个互补方向。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36210 (HTTP 429)

Authors: Xusheng Liang, Jianqiao Sun, Hao Zhang, Yulei Niu, Hengshuang Zhao, Jiawei Ma

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36210.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36210

Published: 2026-10-29T02:51:46.078Z