ArXiv Domain 2026-10-30

数据来源：ArXiv Domain

LLM Domain Papers

1. ReCoPII: A Relation-Grounded Framework for Building Contextual PII Masking Datasets

Abstract:Training contextual masking systems for personally identifiable information (PII) requires examples distinguishing maskable from preservable mentions of one entity type, but privacy restrictions limit access to real data. Author-based augmentation (SPY) labels mentions unrelated to the author as non-PII, presuming a single data subject and overlooking others. We propose ReCoPII (Relation-grounded Contextual PII masking), a framework that builds such data without this premise: it plans ontology-constrained entity relations, writes insertion sentences with placeholders, reconstructs annotations with code, checks the result with a separate LLM, and derives MASK/KEEP labels from entity relations. On Korean documents from six domains, it yields ReCoPII-Ko, a corpus with relation, privacy, and MASK/KEEP annotations, which we validate. Across 300 pairs, four annotators agree with 88.42% of its sampled KEEP labels, against 26.27% for SPY-style augmentation of the same sources. Classifiers trained on it over-mask less than under that reference on a matched test. Contextual masking fine-tuned jointly with a PII detector removes most over-masking of detection alone within a fixed leakage budget; on human-verified entity records, the four detectors meeting it over-mask at most 5.04% with at most 4.18% leakage. The detector is comparable to XLM-R-large on KDPII with about a quarter of its parameters.

中文摘要

摘要：训练用于个人可识别信息（PII）的上下文掩码系统需要区分同一实体类型中可掩码与可保留的实例，但隐私限制限制了对真实数据的访问。基于作者的增强方法（SPY）将与作者无关的提及标记为非PII，假设只有单一数据主体并忽略其他人。我们提出了ReCoPII（基于关系的上下文PII掩码），这是一个无需此假设即可构建此类数据的框架：它规划本体约束的实体关系，使用占位符编写插入句子，通过代码重建注释，并通过独立的LLM检查结果，并从实体关系中推导MASK/KEEP标签。在来自六个领域的韩文文档上，它生成了ReCoPII-Ko语料库，包含关系、隐私和MASK/KEEP注释，我们对其进行了验证。在300对样本中，四名标注者对其抽样的KEEP标签的一致率为88.42%，而对同来源的SPY风格增强仅为26.27%。在匹配测试上，基于其训练的分类器比基准模型的过度掩码情况更少。上下文掩码与PII检测器联合微调可在固定泄露预算内消除单独检测的大部分过度掩码；在人工验证的实体记录上，满足条件的四个检测器的过度掩码最多为5.04%，泄露最多为4.18%。该检测器在KDPII上性能可与XLM-R-large相当，但参数约为其四分之一。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35925 (HTTP 429)

Authors: Taehwan Lee

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.35925.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35925

Published: 2026-10-30T02:56:29.584Z

2. MedJev: Evaluating Zero-Shot System-One Decision Making in Medicine

Abstract:System One decision models such as Jev answer structured questions in a single forward pass without generating text, offering fast and computationally efficient clinical decision support. We evaluate MedJev, an open System One model that runs locally on a laptop, across ten medical benchmarks spanning medical knowledge, diagnosis, and patient level prediction using MIMIC IV and MIMIC IV ED. We compare MedJev against zero shot LLM baselines, published GPT results, and supervised models. MedJev achieves accuracies of 72.5 percent on MedQA, 75.4 percent on USMLE, and 80.1 percent on NEJM, approaching published GPT 4 performance while maintaining well calibrated confidence estimates (ECE 0.028 to 0.063). On patient level tasks, MedJev achieves an AUROC of 0.926 for In Hospital Mortality, exceeding XGBoost (0.902), but underperforms supervised models on operational outcomes such as ED Triage Admission (0.745 vs. 0.809). Patient level predictions also exhibit substantial miscalibration (In Hospital Mortality ECE 0.286). We introduce a lightweight, two parameter recalibration method that adapts predictions to local patient populations using 50 to 200 labeled examples, reducing ECE to 0.007. Our findings establish open System One models as a promising zero shot baseline for medical AI, combining competitive predictive performance with low computational cost and efficient local calibration. We release our code and evaluation harness to support future research.

中文摘要

摘要：System One 决策模型，例如 Jev，可以在一次前向传递中回答结构化问题，而无需生成文本，从而提供快速且计算高效的临床决策支持。我们评估了 MedJev，一种可以在本地笔记本电脑上运行的开源 System One 模型，在涵盖医学知识、诊断和患者级预测的十个医学基准上进行测试，使用 MIMIC IV 和 MIMIC IV ED 数据。我们将 MedJev 与零样本 LLM 基线、已发布的 GPT 结果和监督模型进行了比较。MedJev 在 MedQA 上的准确率为 72.5%，在 USMLE 上为 75.4%，在 NEJM 上为 80.1%，接近已发布的 GPT-4 性能，同时保持了良好校准的置信度估计（ECE 0.028 到 0.063）。在患者级任务中，MedJev 在院内死亡率预测中实现了 0.926 的 AUROC，超过了 XGBoost（0.902），但在 ED 分诊入住等操作性结果上表现不如监督模型（0.745 对 0.809）。患者级预测还表现出较大的校准偏差（院内死亡率 ECE 0.286）。我们提出了一种轻量级、仅含两个参数的重新校准方法，使用 50 到 200 个标注样本将预测适应本地患者群体，将 ECE 降低到 0.007。我们的研究结果表明，开源 System One 模型是医学 AI 零样本基线的有前景选择，兼具竞争性的预测性能、低计算成本和高效的本地校准能力。我们发布了代码和评估工具，以支持未来的研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36006 (HTTP 429)

Authors: Simon A. Lee, Jiahang Sha, Moonseong Jeong, Yunbei Pan, Jeffrey N. Chiang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36006.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36006

Published: 2026-10-30T02:56:29.584Z

3. OmniBrain-0: A Unified Agentic Model for Embodied Intelligence

Abstract:General-purpose embodied intelligence requires robots to coordinate diverse skills over long horizons, track task progress, and recover from failures. Specialist policies alone do not ensure task-level reliability, while powerful multimodal agents rely on costly reasoning and external experience that compact models struggle to reproduce. We introduce OmniBrain-0, a lightweight unified embodied agent that coordinates manipulation and navigation through a shared high-level decision model, integrating task understanding, planning, progress tracking, and feedback-driven recovery. Our progressive training framework combines embodied pretraining, domain-specialized agent distillation, and multi-teacher on-policy distillation (MOPD). It distills powerful teachers’ interaction experience into manipulation and navigation experts, then consolidates their decision capabilities into OmniBrain-0. Unification therefore occurs within the learned decision model rather than only at the tool interface. We further introduce Rubric-Guided Recursive Self-Improvement (RSI), a data flywheel in which a Meta-Agent turns execution evidence into refined rubrics, step-level reminders, and verified trajectories for domain-expert updates before their reconsolidation into OmniBrain-0 through MOPD. We evaluate OmniBrain-0 on LIBERO-Pro, LIBERO-Plus, RoboCasa365, RoboTwin 2.0, and R2R-CE Val-Unseen, as well as multiple real-world manipulation tasks. OmniBrain-0 combines strong cross-domain task performance with substantially lower inference and execution overhead than its closed-source teacher, demonstrating efficient transfer and consolidation of embodied capabilities into a compact unified agent.

中文摘要

摘要：通用型具身智能要求机器人在长时间范围内协调多种技能、跟踪任务进度并从失败中恢复。仅靠专业策略无法保证任务级别的可靠性，而强大的多模态代理依赖于昂贵的推理和外部经验，这是紧凑模型难以复制的。我们介绍了 OmniBrain-0，这是一款轻量级的统一具身代理，通过共享的高层决策模型协调操作和导航，集成了任务理解、规划、进度跟踪以及基于反馈的恢复。我们的渐进式训练框架结合了具身预训练、领域专用代理蒸馏以及多教师在策略蒸馏（MOPD）。它将强大教师的交互经验蒸馏到操作和导航专家中，然后将它们的决策能力整合到 OmniBrain-0 中。因此，统一发生在学习到的决策模型中，而不仅仅在工具接口上。我们进一步引入了评分标准引导的递归自我改进（RSI），这是一个数据飞轮，其中元代理将执行证据转化为精炼的评分标准、步骤级提醒和经验证的轨迹，以便在通过 MOPD 将其重新整合进 OmniBrain-0 之前进行领域专家的更新。我们在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 和 R2R-CE Val-Unseen，以及多个真实操作任务上评估了 OmniBrain-0。OmniBrain-0 结合了强大的跨领域任务表现，同时其推理和执行开销明显低于封闭源代码的教师模型，展示了将具身能力高效转移并整合到紧凑统一代理的能力。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*通用具身智能（general-purpose embodied intelligence）中，紧凑统一智能体如何高效获取并整合跨领域的高层决策能力\*\*这一核心问题。具体而言，其试图克服以下关键挑战： ### 1. 任务级可靠性与长程协调的缺口现有的专门策略（如 VLA 和 VLN 策略）虽能提供低层物理交互能力，但仅凭局部动作预测难以保证长程任务的成功。复杂任务要求智能体具备： - 跨技能的\*\*长程规划与任务分解\*\* - \*\*进度跟踪\*\*与中间状态验证 - 基于环境反馈的\*\*失败诊断与恢复\*\* ### 2. 大模型智能体的高昂部署成本当前基于强大多模态模型（如 GPT-5.6-Sol、GLM-5.3-Flash）的具身智能体虽能通过工具调用实现上述高层决策，但其依赖\*\*重复的上下文推理\*\*，导致： - 推理延迟高、token 消耗大 - 计算开销沉重，难以在资源受限场景部署 - 紧凑模型难以直接复现其规划与恢复能力 ### 3. 跨领域能力整合的困难操作（manipulation）与导航（navigation）在观察空间、技能接口与时序结构上差异显著。现有工作往往将其割裂处理，缺乏一个\*\*共享的决策机制\*\*来统一协调异构技能，导致： - 领域专精知识难以迁移至统一模型 - 跨域任务（如需要先导航后操作）的联合执行效率低下 ### 4. 高质量交互数据的稀缺性有效的具身决策能力（尤其是失败恢复）需要从交互经验中学习，但包含\*\*观察–决策–反馈\*\*完整闭环、且覆盖成功恢复轨迹的数据极为有限。固定演示（fixed demonstrations）通常无法覆盖学生模型在自主执行中遇到的错误状态。 --- ### 论文的核心解决思路为应对上述问题，论文提出了 \*\*OmniBrain-0\*\*，一个轻量级的统一具身智能体，并围绕其构建了一套完整的技术框架： | 组件 | 解决的核心问题 | |------|---------------| | \*\*统一高层决策模型\*\* | 以共享的紧凑模型（Qwen3.5-9B）协调操作与导航，内化了任务理解、技能编排、进度跟踪与失败恢复 | | \*\*渐进式训练框架\*\* | 通过具身预训练 → 领域专精蒸馏 → 多教师在线策略蒸馏（MOPD），将教师交互经验转化为学生模型参数 | | \*\*结构化数据处理流水线\*\* | 保留规范成功轨迹与成功恢复轨迹，剔除盲目重试噪声，确保监督信号聚焦状态相关的决策逻辑 | | \*\*Rubric-Guided RSI\*\* | 建立数据飞轮：Meta-Agent 从执行证据中提炼评分标准与步骤级提醒，经环境验证后扩充训练数据，实现持续自我改进 | 简言之，该论文试图证明：\*\*通过精心设计的蒸馏与数据飞轮机制，一个轻量级统一模型可以内化跨领域的高层具身决策能力，在显著降低推理成本的同时，达到接近强大教师模型的任务级性能。\*\* Q2: 有哪些相关研究？根据论文第2节，相关研究可归纳为以下四个方向： ## 1. 操作与导航的专门策略（Specialist Policies）该方向关注从大规模机器人数据中学习低层控制策略，为具身任务提供可复用的技能基础。 - \*\*视觉-语言-动作（VLA）模型\*\*：如 π_0 、 π_0.5 、LingBot-VLA 等，通过大规模机器人数据与视觉-语言预训练学习多任务操控策略。 - \*\*视觉-语言导航（VLN）策略\*\*：如 NavGPT-2、DualVLN（InternVLA-N1）等，将语言推理与导航策略耦合，实现高层规划到低层执行的连接。 \*\*关键局限\*\*：这些专门策略虽能提供可靠的局部技能，但在长程任务、物体位置偏移和分布外场景下性能显著下降；且操作与导航在观察空间、动作接口和时序结构上差异显著，缺乏共享的任务级决策机制。 ## 2. 使用工具的具身智能体（Tool-Using Embodied Agents）该方向强调将任务推理与技能执行解耦，通过高层模型调用低层工具来完成复杂任务。 - \*\*任务分解与执行\*\*：SayCan 和 Code as Policies 将高层指令分解为可执行技能；Inner Monologue 将环境反馈重新引入规划循环，支持基于中间结果的重新评估。 - \*\*智能体控制框架（Agent Harnesses）\*\*：Harness VLA、RoboHarness、Pigey 等通过引入状态跟踪、结果验证和失败恢复机制，增强长程任务的可靠性。 \*\*关键局限\*\*：这些系统依赖部署时大模型的重复推理，导致较高的计算开销和决策延迟，难以在资源受限场景高效部署。 ## 3. 智能体蒸馏与专家整合（Agent Distillation and Expert Consolidation）该方向研究如何将强大模型的交互能力迁移到紧凑模型，并整合多领域专家知识。 - \*\*固定轨迹蒸馏\*\*：AgentTuning、STEVE-2 等通过教师轨迹微调实现能力迁移，但固定轨迹难以覆盖学生自主执行时遇到的未知状态。 - \*\*在线策略蒸馏（On-Policy Distillation）\*\*：通过监督学生自身生成的决策序列来缓解分布不匹配，如 TurnOPD（引入轮次感知监督）和 MOPD（多教师在线策略蒸馏，用于合并领域专家）。 \*\*与本文的联系\*\*：OmniBrain-0 采用 MOPD 将操作与导航领域专家的决策分布（包括规划与恢复行为）整合进单一紧凑模型，实现跨领域高层决策能力的参数级统一。 ## 4. 具身智能体的递归自我改进（Recursive Self-Improvement）该方向利用智能体与环境的持续交互来迭代优化策略或执行指导。 - \*\*基于反思的改进\*\*：Reflexion 将语言反思存储于情景记忆；ACE 通过反思与策展演进上下文剧本；ReST meets ReAct 基于环境反馈过滤轨迹进行迭代训练。 - \*\*机器人领域的针对性方法\*\*：EmbodiRSI 针对策略弱点定向收集纠正数据；AdaRSI 结合控制框架细化与选择性执行器微调；RE-0 在蒸馏前验证教师局部纠正的有效性。 \*\*与本文的区别\*\*：OmniBrain-0 提出的 Rubric-Guided RSI 构建了"分析-指导-策划-改进"的闭环数据飞轮：Meta-Agent 从执行证据中提炼评分标准与步骤级提醒，经环境验证后扩充训练数据，再通过领域专家微调与 MOPD consolidated 到统一模型，且提醒策略的验证与模型参数更新解耦。 Q3: 论文如何解决这个问题？论文通过提出 \*\*OmniBrain-0\*\* 及其配套的训练与数据构建框架，系统性地解决了紧凑统一智能体如何获取并整合跨领域高层具身决策能力的问题。其核心解决方案可归纳为三个相互支撑的支柱：\*\*统一智能体架构\*\*、\*\*渐进式能力学习与整合\*\*、以及\*\*评分标准引导的递归自我改进（RSI）\*\*。 --- ### 1. 统一具身智能体架构论文首先建立了一个将高层决策与低层专用技能解耦的统一执行框架。 - \*\*问题建模\*\*：将操作与导航统一为语言条件下的工具调用问题。在决策步 t ，观测与交互上下文定义为

ot = (I_t, q_t, p_t), quad H_t = (h_t, M),
其中 I_t 为视觉观测， q_t 为本体状态， p_t 为环境暴露的任务状态， h_t 为回合内历史， M 为可选经验库。高层策略 πθ 生成工具标识 kt 与调用参数 xi_t ：
x_t = (g, o_t, H_t), quad u_t = (k_t, xi_t) sim πθ(· mid x_t).

**统一工具抽象**：将异构的感知、VLA 操作、VLN 导航与运动控制能力封装为语义化、参数化的工具，保留各自原生实现，但暴露统一的调用-反馈接口。 - **闭环规划与失败恢复**：智能体按顺序执行工具调用，仅在收到执行反馈 f(t+1) 与新的观测 o(t+1) 后才进行下一步决策，从而基于环境反馈持续调整目标定位、调用参数或工具选择，实现反馈驱动的失败恢复。 —- ### 2. 渐进式能力学习与整合为实现从强大教师模型到紧凑学生模型的有效能力迁移，论文设计了三阶段渐进训练框架，并配套了严格的数据处理流水线。 #### 2.1 结构化交互数据构建论文构建了一个四步数据处理流水线（交互规范化、轨迹质量控制、推理重构、一致性验证），将原始专家交互日志转化为高质量训练数据。 - **轨迹分类**：将成功轨迹细分为： - **规范轨迹（Canonical）**：无失败的标准执行； - **恢复轨迹（Recovery）**：出现抓取失败、接触失效等后，通过重新定位、调整夹爪等反馈驱动决策成功恢复； - **噪声轨迹（Noisy）**：无新观测的盲目重试，予以剔除。 - **推理重构**：将专家原始推理重写为与工具调用一一对应的结构化表示，包含四个字段： - **Phase**：当前执行阶段（如定位、抓取、运输、恢复）； - **State**：当前交互状态（持有物、夹爪状态、目标位置等）； - **Evidence**：支撑状态评估的视觉观测与工具反馈； - **Decision**：下一步工具调用及动作描述。这种重构消除了对专家语言风格的过拟合，强化了视觉 grounding 与决策逻辑的学习。 #### 2.2 三阶段训练（图 5） - **阶段一：具身预训练** 在具身问答（VQA）数据与有限的长程交互数据上预训练，得到共享初始化模型 **OmniBrain-Base**（参数 θ(base) ），为后续操作与导航建立共同的交互先验。 - **阶段二：领域专精智能体蒸馏** 从 θ(base) 初始化操作与导航两个领域教师，利用筛选后的专家轨迹进行监督硬蒸馏。对领域 k 的教师 φ_k ，优化目标为自回归负对数似然：

L(expert)^((k)) = -E((x,z)sim D)k [ (1) / (|z|) ∑(j=1)^(|z|) log π(φ_k)(z_j mid x, z(<j)) ],
其中监督信号仅作用于决策文本与工具调用，观测与反馈作为条件上下文。该阶段使教师模型习得领域特定的任务分解、技能编排与恢复决策。 - **阶段三：多专家在线策略蒸馏（MOPD）** 以 θ(base) 初始化统一学生模型，将冻结的领域教师 T = π(φk)(k=1)^K 作为监督源，通过反向 KL 散度对齐学生在自身生成前缀上的分布与教师分布。具体地，对采样域 k 的学生生成前缀 z(<j) ，定义：
p(θ,j)(v) = πθ(v mid x, z(<j)), quad q(k,j)(v) = π(φk)(v mid x, z(<j)),
MOPD 目标为：
L(MOPD)(θ) = ∑(k=1)^K rhok E(xsim μk, z)sim π(barθ)(·mid x) [ (1) / (M) ∑(j=1)^(|z)| m_j D(KL)(p(θ,j) | q(k,j)) ],
其中
D(KL)(p(θ,j) | q(k,j)) = ∑(v∈ V) p(θ,j)(v) log p(θ,j)(v)q_(k,j)(v),
m_j 标记有效的智能体决策与工具调用 token， rho_k 为域采样权重， θ 为采样用的固定学生参数。此阶段将操作与导航的规划、编排与恢复能力整合进单一紧凑模型，而非仅在工具接口层面拼接。 —- ### 3. 评分标准引导的递归自我改进（RSI）为解决有效交互数据稀缺及持续扩展覆盖面的问题，论文引入了 **Rubric-Guided RSI**，形成连接数据收集、执行指导精炼与模型训练的闭环数据飞轮。 #### 3.1 评分标准与提醒策略 - **评分标准更新**：Meta-Agent 分析成功与失败的执行证据，对当前评分标准集 U_k 进行增删或强化：

U(k+1) = A(D_k, U_k), quad R(k+1) = G(U(k+1)),
其中 A 为评分标准分析与修订， G 为提醒策略构建。 - **步骤级提醒**：在每一步决策前，依据当前交互上下文 x_t 判断是否触发提醒：
r_t = R(k+1)(U(k+1), x_t), quad u_t sim πθ(· mid x_t, r_t).
提醒仅在检测到相关问题时插入，提供关于前提条件、动作顺序或执行证据的状态相关指导，且不改变模型参数。 - **验证**：候选提醒在固定模型参数下经环境交互验证，有效提醒被保留，无效指导被修订。 #### 3.2 RSI 数据飞轮飞轮包含四个循环环节（图 7）： 1. **交互证据收集**：OmniBrain-0 自主交互，暴露任务推进、技能协调与恢复中的挑战； 2. **指导精炼**：Meta-Agent 基于证据更新评分标准与提醒策略； 3. **轨迹策展与验证**：经提醒引导的交互产生候选 Q4: 论文做了哪些实验？论文在第六部分（Section 6）系统评估了 OmniBrain-0 在模拟与真实环境中的任务性能、推理效率、消融效应及定性行为。实验可归纳为以下四个方面： —- ### 1. 评估基准与总体性能论文在五个闭环基准及多个空间理解/指代任务上，将 OmniBrain-0（4B/9B/RSI 变体）与训练型专用策略、少样本大模型智能体进行了对比。 #### 1.1 操作基准 | 基准 | 评估重点 | 关键结果 | |———|————-|————-| | **LIBERO-Pro** (Table 1) | 任务重定向 (T) 与位置交换 (S) 扰动下的长程任务成功率 | OmniBrain-0 (9B) 总体成功率为 **65.5%**，较 π 0.5 (43.8%) 与 GLM-5.3-Flash (64.9%) 显著提升；平均完成时间从 GPT-5.6-Sol 的 13.8 分钟降至 **1.6 分钟**（8.6× 加速）。RSI 变体进一步提升至 **69.3%**。 | | **LIBERO-Plus** (Table 2) | 七种视觉、语言与物理扰动（相机、机器人状态、语言、光照、背景、噪声、布局）的鲁棒性 | OmniBrain-0 (9B) 总体成功率 **83.8%**，超过 π 0.5 (83.4%) 与 GLM-5.3-Flash (69.3%)；RSI 变体达 **84.5%**。 | | **RoboCasa365** (Table 3) | 原子任务、组合已见任务与组合未见过任务的泛化 | OmniBrain-0 (9B) 总体成功率 **39.6%**，超过 RLDX-1 (36.0%)；RSI 变体提升至 **43.2%**。 | | **RoboTwin 2.0** (Table 4) | Clean 与 Randomized 设置下的双手操作 | OmniBrain-0 (9B) 总体成功率 **88.2%**，超过 LingBot-VLA (84.8%) 与 GLM-5.3-Flash (87.0%)；RSI 变体达 **89.4%**。 | #### 1.2 导航基准 | 基准 | 评估指标 | 关键结果 | |———|————-|————-| | **R2R-CE Val-Unseen** (Table 5) | 成功率 (SR)、路径长度加权成功率 (SPL)、预言成功率 (OSR)、导航误差 (NE) | OmniBrain-0 (9B) 的 SR 为 **65.0%**，SPL 为 **54.8%**，NE 为 **3.78 m**，全面优于少样本 Qwen3.5-9B/27B 与 GLM-5.3-Flash；平均完成时间从 GPT-5.6-Sol 的 6.03 分钟降至 **0.86 分钟**（7.0× 加速）。RSI 将 SR 提升至 **66.0%**。 | #### 1.3 空间理解与空间指代 - **EmbSpatial-Bench** (Table 6)：测试自我中心空间关系的多选题问答。OmniBrain-0 (9B) 总体准确率为 **81.6%**，较其 Qwen3.5-9B 主干提升 4.4 个百分点。 - **RefSpatial-Bench** (Table 7)：测试物体定位 (Location)、放置点选择 (Placement) 与未见过关系组合 (Unseen)。OmniBrain-0 (9B) 在 Placement 与 Unseen 上分别提升 7.0 与 5.2 个百分点，但在 Location 上略低于主干，显示空间指代能力的不均衡迁移。 #### 1.4 真实世界操作在物理机器人上评估三项任务（积木堆叠、苹果放置、抽屉打开），每项 20 次独立试验 (Figure 8)： - OmniBrain-0 宏平均成功率为 **73.3%**，优于 π 0.5 (58.3%)； - 提升主要来自积木堆叠（50% → 75%）与苹果放置（40% → 60%）。 #### 1.5 推理 Token 效率 Table 8 报告了每个任务的平均 token 消耗。与 GPT-5.6-Sol 相比，OmniBrain-0 (9B) 在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0、R2R-CE 上分别减少了 **4.5×、2.6×、3.5×、12.7×、3.7×** 的 token 使用量。 —- ### 2. 消融实验 #### 2.1 提醒策略消融 (Figure 9) 在固定模型参数（不更新权重）的条件下，比较**无提醒**与**状态依赖提醒**的执行效果。结果显示，在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 和 R2R-CE 上，提醒策略均带来一致的成功率提升，证明其作为推理时指导机制的有效性独立于参数更新。 #### 2.2 数据处理流水线消融 (Figure 10) 在 LIBERO-Pro 上验证数据 pipeline 关键组件的贡献： - **去除恢复轨迹**：仅保留单一成功轨迹时，成功率下降约 **9%**，证明失败-恢复轨迹对反馈驱动纠错监督至关重要； - **去除推理重构**：直接使用专家原始自由文本推理而非结构化重写时，性能显著下降，说明冗长语言风格会导致紧凑模型过拟合于教师措辞，削弱视觉 grounding 与决策逻辑学习。 #### 2.3 经验库消融 (Figure 11) 评估外部经验库（Experience Library）对少样本 GPT-5.6-Sol 的影响： - 在 LIBERO-Pro、RoboTwin 2.0、RoboCasa365 上，经验库分别带来 **27.7、6.8、26.4** 个百分点的成功率增益； - 经验库通过提供跨回合可复用的先验知识，减少重复探索并提高蒸馏数据的产出效率。 —- ### 3. 定性分析 #### 3.1 任务执行过程 (Section 6.4.1) 通过完整的观测-推理-工具调用链，展示了 OmniBrain-0 在多领域中的闭环执行行为： - **LIBERO-Pro** (Figure 12)：包括炉灶操作中初始抓取失败后，通过重新定位与再次抓取完成恢复；以及书本放置中的逐步目标定位与释放验证。 - **RoboTwin 2.0** (Figure 13)：展示了彩色积木排序中的多物体状态跟踪，以及微波炉开门中的连续接触交互与铰链运动跟随。 - **RoboCasa365** (Figure 14)：展示了蔬菜搅拌任务中因目标偏移而触发的重新定位与重试，以及面包篮整理中的多阶段任务进度保持。 - **R2R-CE** (Figure 15)：展示了基于地标（卧室、床、壁橱、镜子）的分步导航，以及受阻后的局部路径调整与终点验证。 - **真实世界操作** (Figure 16)：在物理机器人上展示了像素定位与分割引导的闭环技能组合。 #### 3.2 提醒引导执行 (Section 6.4.2) - **操作任务** (Figure 17)：以酒瓶放置为例，提醒仅在抓取前 (step 2) 与移动臂前 (step 3) 触发，后续运输与释放无需干预，显示策略的稀疏与状态针对性。 - **导航任务** (Figure 18)：以浴室镜子导航为例，提醒在路径选择 (step 3) 与防止过早终止 (step 6) 时触发，帮助智能体维持正确路线。 —- ### 4. 附录中的补充实验附录 B 详细规定了各基准的评估协议（扰动类型、种子、回合数、评分标准）；附录 C 提供了训练数据构成、低层模型参数量、RSI 模型配置与超参数；附录 D 补充了更多完整的操作执行轨迹、R2R-CE 导航对比（与 InternVLA-N1 的并排比较）及不同场景下的决策细节。 Q5: 有什么可以进一步探索的点？基于论文第七节的总结与全篇技术框架，以下方向值得进一步探索： ### 1. 低层技能集的覆盖扩展与可靠性增强 OmniBrain-0 的高层决策效果受限于低层感知、操作与导航技能的覆盖范围及失败模式。未来可探索： - **开放式技能获取**：当前工具集为预定义语义接口，后续可研究高层决策模型如何自主发现、组合或调用未见过的新技能（如从观察中推断工具使用方式）。 - **技能故障的早期诊断与切换机制**：在 VLA/VLN 策略失效前，利用交互历史预测其失效概率，并提前切换至备用策略或显式运动规划。 ### 2. 未见过任务组合与分布外泛化论文在 RoboCasa365 的 Composite-Unseen 任务上仍与教师模型存在显著差距。可进一步研究： - **组合零样本泛化**：如何通过程序化的任务表示（如对象-关系图或时序逻辑），使高层规划器将已见原子技能重组为未见过的高层任务，而非依赖训练数据中的任务分布。 - **视觉与物理属性的鲁棒性**：针对光照、纹理、物体几何的更大范围分布偏移，结合域随机化与在线自适应，提升定位与状态估计的稳定性。 ### 3. 真实世界评估的广度与物理鲁棒性当前真实实验仅覆盖三项操作任务。扩展方向包括： - **多场景长程任务**：在真实环境中验证需要导航-操作联用的跨域任务（如跨房间取物并放置），检验高层决策在传感器噪声与执行误差累积下的闭环稳定性。 - **接触-rich 与动态环境**：研究在真实世界中遇到意外碰撞、滑动或人类干扰时的安全恢复策略，而不仅是任务完成率的提升。 ### 4. 经验证交互语料库的规模化与持续学习 RSI 数据飞轮已证明通过环境验证筛选轨迹的有效性，但当前数据规模仍有限。未来可探索： - **自动化课程生成**：基于当前模型能力边界自动调整任务难度与初始状态分布，定向收集高信息量的恢复轨迹，而非均匀采样。 - **大规模终身学习**：在持续交互中防止对早期任务的灾难性遗忘，研究如何在 MOPD 整合阶段保留历史能力的同时吸收新领域专家知识。 ### 5. 从反馈驱动到预测性规划当前架构主要依赖执行后的反馈进行重新规划。引入预测性机制可进一步降低试错成本： - **世界模型的内嵌**：将轻量级世界模型（world model）融入决策循环，使 OmniBrain-0 在调用物理技能前，通过潜在状态推演预测工具执行结果，从而减少无效交互。 - **前瞻性的失败规避**：基于预测的未来状态，在规划阶段主动避开可能导致碰撞或死锁的动作序列，而非仅在失败发生后进行恢复。 ### 6. 跨具身迁移与自适应工具接口论文通过统一工具抽象实现了同一决策模型调用异构技能，但工具参数接口仍针对特定平台设计。后续可研究： - **自适应工具描述学习**：使高层模型能够根据新机器人平台的传感器与执行器配置，自动调整工具调用的语义参数，实现跨具身（cross-embodiment）的快速迁移。 - **端到端工具边界学习**：当前 VLA/VLN 能力边界部分依赖经验库中的先验知识，未来可让模型从交互数据中自动学习何时调用学习策略、何时回退到显式控制器。 ### 7. 经验库的动态检索与语义组织 Experience Library 目前以人工整理与 Meta-Agent 提炼为主。自动化方向包括： - **基于语义嵌入的检索增强**：将历史交互片段编码为向量索引，使智能体在面临新任务时能实时检索最相关的过往经验（类似 RAG），而非加载完整经验库。 - **层次化记忆结构**：区分程序性记忆（通用任务模板）、情景记忆（特定环境轨迹）与语义记忆（物体 affordance），支持更高效的知识复用。 ### 8. 安全约束下的可验证决策在物理部署中，任务成功率需与安全约束平衡： - **安全感知规划**：在高层决策中显式引入碰撞避免、力限幅或工作空间约束，使工具调用不仅满足任务目标，还满足安全规范。 - **形式化验证与提醒策略结合**：将 Rubric-Guided Reminder 扩展为包含安全不变量的形式化规则，确保关键步骤（如抓取锐器或高处放置）满足可验证的前提条件。 Q6: 总结一下论文的主要内容该论文提出了 **OmniBrain-0**，一种轻量级的统一具身智能体，旨在以较低的推理开销实现跨操作（manipulation）与导航（navigation）领域的长程任务规划、技能编排与失败恢复。以下从问题背景、核心方法、训练框架与实验结果四个方面进行总结。 —- ### 1. 问题背景与研究动机通用具身智能要求机器人在长程任务中协调异构技能、跟踪进度并从失败中恢复。现有方案存在以下局限： - **专门策略的可靠性瓶颈**：视觉-语言-动作（VLA）模型与视觉-语言导航（VLN）策略虽能提供低层物理技能，但缺乏任务级分解、状态跟踪与反馈驱动的重规划能力，在长程任务与分布偏移下性能显著下降。 - **大模型智能体的部署成本**：基于 GPT-5.6-Sol 等强大模型的少样本智能体虽能通过工具调用实现高层决策，但依赖部署时的重复上下文推理，导致推理延迟高、token 消耗大，难以在资源受限场景高效部署。 - **跨领域整合困难**：操作与导航在观测空间、技能接口与时序结构上差异显著，现有工作缺乏统一的共享决策机制来协调异构技能。 —- ### 2. 统一智能体架构论文将语言条件下的操作与导航统一为高层工具调用问题。在决策步 t ，观测与交互上下文定义为

ot = (I_t, q_t, p_t), quad H_t = (h_t, M),
其中 I_t 为视觉观测， q_t 为本体状态， p_t 为环境暴露的任务状态， h_t 为回合内交互历史， M 为可选经验库。高层策略 πθ 生成工具标识 kt 与调用参数 xi_t ：
x_t = (g, o_t, H_t), quad u_t = (k_t, xi_t) sim πθ(· mid xt).
OmniBrain-0 采用 Qwen3.5-9B 作为共享决策模型，将感知、VLA 操作、VLN 导航与运动控制封装为统一的语义工具接口。智能体按顺序执行工具调用，仅在收到执行反馈 f(t+1) 与新的观测 o(t+1) 后才进行下一步决策，从而实现闭环规划与失败恢复。 —- ### 3. 渐进式能力学习与整合框架论文提出了三阶段渐进训练框架，并配套了严格的结构化数据处理流水线。 #### 3.1 结构化交互数据构建数据处理包含四个步骤： - **交互规范化**：将原始日志对齐为时序有序的“推理–工具调用–工具反馈”单元； - **轨迹质量控制**：将成功轨迹分为规范轨迹（canonical）、恢复轨迹（recovery）与噪声轨迹（noisy），仅保留前两者； - **推理重构**：将专家原始推理重写为与工具调用一一对应的结构化表示，包含 Phase、State、Evidence、Decision 四个字段，消除对教师语言风格的依赖； - **一致性验证**：检查时序一致性、状态-动作一致性与视觉-文本对齐。 #### 3.2 三阶段训练 - **阶段一：具身预训练** 在具身问答（VQA）数据与长程交互数据上预训练，得到共享初始化模型 **OmniBrain-Base**（参数 θ(base) ）。 - **阶段二：领域专精智能体蒸馏** 从 θ_(base) 初始化操作与导航两个领域教师，利用筛选后的专家轨迹进行监督硬蒸馏。对领域 k 的教师 φ_k ，优化目标为

L(expert)^((k)) = -E((x,z)sim D)k [ (1) / (|z|) ∑(j=1)^(|z|) log π(φ_k)(z_j mid x, z(<j)) ],
其中监督信号仅作用于决策文本与工具调用。 - **阶段三：多专家在线策略蒸馏（MOPD）** 以 θ(base) 初始化统一学生模型，将冻结的领域教师 π(φk)(k=1)^K 作为监督源，通过反向 KL 散度对齐学生在自身生成前缀上的分布与教师分布：
L(MOPD)(θ) = ∑(k=1)^K rhok E(xsim μk, z)sim π(barθ)(·mid x) [ (1) / (M) ∑(j=1)^(|z)| m_j D(KL)(p(θ,j) | q(k,j)) ],
其中
D(KL)(p(θ,j) | q(k,j)) = ∑(v∈ V) p(θ,j)(v) log p(θ,j)(v)q(k,j)(v).
此阶段将操作与导航的规划、编排与恢复能力整合进单一紧凑模型。 —- ### 4. 评分标准引导的递归自我改进（RSI）为支持可扩展的高质量交互数据构建，论文引入了 **Rubric-Guided RSI**，形成闭环数据飞轮： - **评分标准与提醒策略**：Meta-Agent 分析成功与失败的执行证据，更新评分标准集 U_k 并构建步骤级提醒策略 R(k+1) = G(U_(k+1)) 。提醒仅在检测到问题时插入，为当前决策提供状态相关的先验指导。 - **验证与策展**：候选提醒在固定模型参数下经环境交互验证；有效提醒被保留，验证后的成功与恢复轨迹被策展进入领域专家训练池。 - **迭代更新**：领域专家在扩充数据上进一步训练，再通过 MOPD 整合入统一模型，新一轮交互证据继续驱动评分标准与提醒策略的精炼。 —- ### 5. 实验与结果论文在模拟与真实环境中进行了系统评估： - **操作基准**：在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 上，OmniBrain-0 (9B) 的成功率显著超过专门策略（如 π 0.5 、RLDX-1、LingBot-VLA）与少样本中等规模模型（如 GLM-5.3-Flash），并接近 GPT-5.6-Sol。RSI 变体在各基准上进一步提升性能。 - **导航基准**：在 R2R-CE Val-Unseen 上，OmniBrain-0 (9B) 的 SR 达 65.0%，SPL 达 54.8%，NE 降至 3.78 m，优于少样本 Qwen3.5-9B/27B 与 GLM-5.3-Flash。 - **推理效率**：与 GPT-5.6-Sol 相比，OmniBrain-0 (9B) 在五个基准上的 token 消耗减少 2.6× 至 12.7×，任务完成时间缩短 1.1× 至 8.6×。 - **真实世界操作**：在积木堆叠、苹果放置、抽屉打开三项物理任务上，OmniBrain-0 的宏平均成功率（73.3%）优于 π 0.5 （58.3%）。 - **消融实验**：验证了提醒策略在推理时的独立增益、恢复轨迹与推理重构在数据 pipeline 中的关键作用，以及经验库对少样本教师性能的提升效果。 —- ### 6. 主要贡献 - **统一的轻量级具身智能体**：提出了 OmniBrain-0，以共享的紧凑高层决策模型协调异构感知、操作与导航技能，内化了任务理解、长程规划、技能编排与失败恢复。 - **可扩展的交互数据构建机制**：建立了结构化轨迹转换 pipeline，保留观察–决策–反馈闭环与成功恢复模式；通过 RSI 将自主交互证据转化为经环境验证的训练数据。 - **渐进式专精化与多专家整合**：通过具身预训练、领域蒸馏与 MOPD，将操作与导航的规划与恢复能力蒸馏并整合进单一模型，实现跨域能力在参数层面的统一。 - **持续的自我改进闭环**：Rubric-Guided RSI 连接了挑战发现、执行指导精炼、轨迹策展与模型更新，支持具身决策能力的持续扩展。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaomi Embodied Intelligence Team, Yuechen Luo, Chong He, Fang Li, Shaoqing Xu, Jingkai Wang, Menglun Su, Jiaxin Liu, Shengyin Jiang, Zhiyi Lai, Long Chen, Longlong Wang, Liang Hu, Haochen Liu, Yuncheng Jiang, Hongwei Xie, Jieming Cui, Hanbing Li, Junjie Huang, Zhixiang Duan, Hexin Zhang, Weixiang Liang, Ying Gong, Yuhan Wang, Yong Pan, Pengna Li, Kangyi Wu, Ken Deng, Kun Ma, Fuxi Wen, Zhi-xin Yang, Hangjun Ye

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36013.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36013

Published: 2026-10-30T02:56:29.584Z

4. FinLLM-KG: Knowledge Graph-Enhanced LLMs for Financial Sentiment Analysis in Algorithmic Trading

Abstract:Recent advances in Generative AI have substantially improved financial sentiment analysis through post-trained financial large language models (LLMs). However, existing approaches remain confined to predicting the sentiment of each article in isolation and operate as black boxes, which limits contextual understanding and hinders deployment in high-stakes financial decision-making. To this end, we introduce FinLLM-KG, a model-agnostic framework that combines causal LLMs with a financial knowledge graph, in order to inject temporally grounded, company-level knowledge from SEC 10-K filings at inference time, without updating model weights. Within FinLLM-KG, context is supplied either as a natural-language company profile or as a small set of relevance-ranked factual triples. This enables sentiment predictions to account for broader firm-level information rather than the article alone, at almost zero computational cost and for any causal LLM. In addition, attributing each article-level sentiment score to individual sentences and to the retrieved knowledge-graph facts makes the evidence behind the prediction inspectable, thereby enhancing explainability and supporting human-in-the-loop review. Simulations demonstrate that FinLLM-KG consistently improves portfolio performance over the state-of-the-art baseline.

中文摘要

摘要：生成式人工智能的最新进展通过后训练的金融大语言模型（LLMs）显著提升了金融情感分析。然而，现有方法仍局限于孤立地预测每篇文章的情感，并以黑箱方式运行，这限制了上下文理解，并阻碍了在高风险金融决策中的部署。为此，我们提出了FinLLM-KG，这是一个模型无关的框架，将因果大语言模型与金融知识图结合起来，以便在推理时注入来自SEC 10-K 文件的时间性、公司级知识，而无需更新模型权重。在FinLLM-KG中，上下文可以通过自然语言的公司简介或一小组相关性排序的事实三元组提供。这使得情感预测能够考虑更广泛的公司级信息，而不仅仅是文章本身，几乎无需额外计算成本，并适用于任何因果大语言模型。此外，将每篇文章的情感得分归因于各个句子和检索到的知识图事实，使预测背后的证据可以被审查，从而增强可解释性并支持人工参与的审查。模拟结果表明，FinLLM-KG在投资组合表现上持续优于最先进的基线方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36083 (HTTP 429)

Authors: Giorgos Iacovides, Oliver Hannibal, Wuyang Zhou, Danilo Mandic

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36083.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36083

Published: 2026-10-30T02:56:29.584Z

5. 3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models

Abstract:We measure, without sampling error, the probability a language model assigns to each integer from 1 to N when asked for a random number. For a fixed prompt the model defines one probability vector, which we compute by summing over each integer’s scored spellings rather than estimate by sampling, removing the noise that limits earlier studies [1, 4]. We evaluate 18 open-weight model lines at five ranges up to N = 100, under 29 decoding configurations, on two inference stacks; 15 of them have matched base and instruction-tuned checkpoints that both give usable answers. Instruction tuning makes the distribution less uniform in all 15 pairs. It installs one heuristic, round-number avoidance, and sharpens another, endpoint avoidance. Base checkpoints do not avoid round numbers once the endpoints are removed from those sets; tuned checkpoints avoid them, multiples of 10 almost completely. Base checkpoints return the endpoints 1 and N at 0.30 to 0.60 of the interior rate; tuned checkpoints almost never return them. A preference for odd numbers is consistent across tuned checkpoints only at N = 100, where base checkpoints also show it weakly. Endpoint avoidance and the odd preference fit the account Kubovy and Psotka [6] proposed for human number choice; round-number avoidance is not part of that account, and the midpoint avoidance it predicts is essentially absent, with one slight exception at N = 100. Tuning does not install a new favourite integer shared across models: above N = 10 no modal integer is shared by more than 42 percent of tuned conditions, and P (17) rises in 10 of 15 pairs and falls in 5. The concentration is present in the model’s own distribution: at temperature 1.0, nucleus truncation at top-p 0.95 adds a median of 0.035 to the total variation distance.

中文摘要

摘要：我们在没有抽样误差的情况下，测量了当要求语言模型给出一个随机数时，该模型对从 1 到 N 的每个整数分配的概率。对于固定提示，模型定义了一个概率向量，我们通过对每个整数的评分拼写求和来计算它，而不是通过抽样估计，从而消除了限制早期研究的噪声[1, 4]。我们评估了 18 条开源权重模型系列，在最多 N = 100 的五个范围内，在 29 种解码配置下、使用两个推理栈进行测试；其中 15 条模型具有匹配的基础检查点和指令调优检查点，两者都能给出可用答案。指令调优使所有 15 对模型的分布都不那么均匀。它安装了一个启发式规则——避免整数字，并强化了另一个规则——避免端点。一旦端点从集合中移除，基础检查点不会避免整数字；调优检查点会避免整数字，几乎完全避免 10 的倍数。基础检查点以 0.30 到 0.60 的内部分布率返回端点 1 和 N；调优检查点几乎从不返回它们。对奇数的偏好仅在 N = 100 时在调优检查点中一致，而基础检查点在该情况下也表现出微弱偏好。端点回避和奇数偏好符合 Kubovy 和 Psotka [6] 对人类数字选择提出的解释；整数字回避不在该解释中，且它预测的中点回避基本不存在，仅在 N = 100 时有一个轻微例外。调优并未在模型间安装一个共享的新偏好整数：当 N > 10 时，没有一种众数整数被超过 42% 的调优条件共享，并且 P(17) 在 15 对模型中有 10 对上升，5 对下降。这种集中性存在于模型自身的分布中：在温度 1.0 下，最高概率截断为 top-p 0.95 会使总体变化距离的中值增加 0.035。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36178 (HTTP 429)

Authors: Samar Ansari

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36178.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36178

Published: 2026-10-30T02:56:29.584Z

6. Lipi-Ghor: A Large-Scale, Diarized, Multi-Domain Bengali Speech Corpus and a Scalable Pipeline for Building It

Abstract:Bengali, spoken by over 230 million people, remains severely under-resourced in spoken language research. Existing open Bengali ASR corpora are confined to short, read or crowd-sourced speech and lack speaker diarization and long-form audio. We present Lipi-Ghor, a large-scale weakly-supervised Bengali speech corpus comprising 885 hours of audio sourced from 998 YouTube videos across 596 unique channels, spanning 17 diverse domains including audiobooks, drama, religious sermons, news, and regional dialects. Each recording is annotated in SSTT format (Speaker, Speech, Transcription, Timestamp), which combines automated diarization with Bengali YouTube caption tracks. To our knowledge, Lipi-Ghor is the first Bengali speech corpus to pair large-scale coverage with speaker-diarized, long-form audio annotations, both of which are absent from existing open Bengali resources. We also present the construction methodology as a replicable pipeline for any language with a sufficient captioned YouTube presence. Targeted channel curation across a handful of rich domains yields corpus scales that were previously out of reach for low-resource languages. We benchmark four widely-used ASR models under zero-shot and fine-tuned conditions. All four degrade consistently on emotive, dialectal, and long-form content. Because caption targets are noisy, we also release a human-annotated gold evaluation split, verified by 17 volunteer annotators over 30 hours of human-in-the-loop correction and stratified across all 17 domains. We release our original contributions (video-ID lists, diarization output, pipeline code, and the gold annotations) under CC-BY-4.0, and distribute caption-derived transcripts for research use only; no raw audio is redistributed.

中文摘要

摘要：孟加拉语由超过2.3亿人使用，但在口语语言研究中仍然严重缺乏资源。现有的开源孟加拉语自动语音识别（ASR）语料库仅限于短句、朗读或众包语音，缺乏说话人分离和长时音频。我们提出了Lipi-Ghor，这是一个大规模弱监督孟加拉语语音语料库，包括885小时的音频，来源于998个YouTube视频，涵盖596个独特频道，横跨17个多样化领域，包括有声书、戏剧、宗教讲道、新闻和地方方言。每个录音均以SSTT格式（说话人、语音、转录、时间戳）进行注解，该格式结合了自动分离技术和孟加拉语YouTube字幕轨道。据我们所知，Lipi-Ghor是首个结合大规模覆盖与说话人分离长时音频注解的孟加拉语语料库，而这些特性在现有开源孟加拉语资源中均不存在。我们还提出了构建方法论，作为任何拥有足够字幕YouTube内容的语言可复现的管道。通过针对少数丰富领域的频道进行精心策划，可实现低资源语言此前难以达到的语料规模。我们在零样本和微调条件下对四种广泛使用的ASR模型进行了基准测试。所有四种模型在情绪化、方言和长时内容上的表现均一致下降。由于字幕目标存在噪声，我们还发布了一份经过人工注解的黄金评估集，由17名志愿者注解，经过30小时的人工纠错，并在所有17个领域中进行分层。我们以CC-BY-4.0许可发布了我们的原创贡献（视频ID列表、说话人分离输出、管道代码和黄金注解），并仅出于研究用途分发字幕衍生的转录文本；不重新分发原始音频。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36184 (HTTP 429)

Authors: Sanjid Hasan, A H M Fuad, Risalat Labib, Bayazid Hasan Simon

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36184.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36184

Published: 2026-10-30T02:56:29.584Z

7. Frankly Speaking: The Company Election Integrity Keeps in Congressional Communication

Abstract:Election integrity is a shared commitment in American politics, but Democrats and Republicans in Congress increasingly mean different things by it. Analyzing 10,420 congressional e-newsletters sent from 2010 to 2025, we examine how the two parties invoke election terms such as integrity,''security,’’ and fraud.'' Using diachronic word embeddings, which track semantic change through how words are used in context, we measure how differently each party uses each term, how much each party shifts, and whether they share nearest semantic neighbors. We show that members of Congress do not need different words to tell different stories about elections. They need only place those same words in different company. Across nearly every term and year, the two parties surround election-integrity vocabulary with entirely different words. That divergence is easy to miss, because most election vocabulary is no more divergent than other words used at roughly the same frequency, and neither party's usage shifted more than the other's. Only a subset of terms grew more divergent, most notablycertification,’’ while rigged'' andstolen’’ entered election discourse after 2020 and polarized there. By 2024, Democrats surround voter,''election,’’ and integrity'' with the language of access and administration. Republicans surround the same terms withcitizenship verification,’’ noncitizen voting,'' andborder security.’’ For one party, integrity means protecting eligible voters’ ability to cast a ballot. For the other, it means protecting the electoral process from illegitimate ballots. Election officials, who must administer a single system under both definitions, inherit this tension.

中文摘要

摘要：选举诚信是美国政治中的共同承诺，但国会中的民主党人和共和党人对其含义越来越不同。通过分析2010年至2025年间发送的10,420份国会电子通讯，我们研究了两党如何使用诸如“诚信”、“安全”和“舞弊”等选举相关术语。利用历时词嵌入技术，这种技术通过词在上下文中的使用来跟踪语义变化，我们衡量了每个党派使用每个术语的差异程度、每个党派的变化幅度，以及他们是否共享最近的语义邻居。我们发现，国会议员不需要使用不同的词语来讲述不同的选举故事。他们只需将相同的词置于不同的语境即可。在几乎每一个术语和年份中，两党围绕选举诚信的词汇所搭配的词完全不同。这种差异很容易被忽视，因为大多数选举词汇的分歧并不比其他相近频率的词汇更大，且两党的使用模式变化幅度相差无几。只有一部分术语的分歧加大，最显著的例子是“认证”，而“操纵”和“被盗”则在2020年后进入选举话语并产生两极分化。到2024年，民主党人将“选民”、“选举”和“诚信”与获取权利和管理相关的语言联系起来。共和党人则将相同的术语与“公民身份验证”、“非公民投票”和“边界安全”联系起来。对一个党派来说，诚信意味着保护合格选民投票的能力。对另一个党派来说，则意味着保护选举过程免受非法选票的影响。选举官员在必须根据这两种定义管理同一系统时，面临这种紧张局面。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36187 (HTTP 429)

Authors: Michael A. Robinette, Christina Barsky, Amanda D. Clark, Helen Flannery, Juniper Lovato

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36187.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36187

Published: 2026-10-30T02:56:29.584Z

8. LLM Hallucination Detection via Low-rank Multilinear Decomposition

Abstract:Large language models (LLMs) frequently generate fluent yet factually incorrect responses, raising concerns about their reliability. Recent hallucination detectors increasingly exploit internal representations, but extracting informative signals from high-dimensional hidden states remains challenging. Existing approaches often rely on selected activations or pooling-based compression, potentially overlooking discriminative information distributed across Transformer layers, feature modes, and tokens. We propose LOTUS (Low-rank Order-statistic TUcker-based Subspace learning), a multilinear low-rank decomposition framework for hallucination detection that extracts compact representations from LLM hidden states while reducing dependence on labeled data. Our approach first summarizes variable-length token representations using complementary statistical descriptors that capture peak activations, activation distributions, and cross-layer changes. We then leverage low-rank multilinear decomposition to extract compact representations that capture the underlying structure of LLM hidden states, which are subsequently used to train a lightweight hallucination classifier. Experiments across multiple LLMs and question-answering benchmarks demonstrate improved hallucination detection performance over recent state-of-the-art baselines.

中文摘要

摘要：大型语言模型（LLMs）经常生成流畅但事实错误的回答，这引发了对其可靠性的担忧。近期的幻觉检测器日益利用内部表示，但从高维隐藏状态中提取信息信号仍然具有挑战性。现有方法通常依赖于选定的激活或基于池化的压缩，可能会忽略分布在Transformer层、特征模式和标记上的判别信息。我们提出了LOTUS（低秩阶统计Tucker子空间学习），一种用于幻觉检测的多线性低秩分解框架，该框架从LLM隐藏状态中提取紧凑表示，并减少对标注数据的依赖。我们的方法首先使用互补的统计描述符对可变长度的标记表示进行总结，这些描述符捕捉峰值激活、激活分布及跨层变化。然后，我们利用低秩多线性分解提取紧凑表示，这些表示捕捉LLM隐藏状态的潜在结构，随后用于训练轻量级幻觉分类器。在多个LLM和问答基准上的实验表明，相较于近期最先进的基线方法，我们的方法在幻觉检测性能上有提升。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36191 (HTTP 429)

Authors: Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36191.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36191

Published: 2026-10-30T02:56:29.584Z

9. Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters

Abstract:IceBERT, the reference encoder for Icelandic, found that a cleaned web crawl is enough to train a strong model and that starting from a multilingual model can help on some tasks. We revisit both findings with the ModernBERT architecture. We train Icelandic encoders from 12M to 1B parameters on 9B tokens of open data, and rerun IceBERT’s benchmarks and five newer tasks for 30 encoders under one protocol with confidence intervals. Our 1B model trained from scratch, to our knowledge the first monolingual Icelandic encoder of that size, is significantly better than IceBERT on all eleven tasks; warm-started from the English Ettin encoder of the same shape, it has the best score of all encoders on every task we rank. Because our model shapes match the English Ettin encoders and the multilingual mmBERT, we can also test the warm start under controlled conditions, at six model sizes and four token budgets. With our vocabulary transplanted, a warm start was never significantly worse than scratch training on the same Icelandic text, and from base size up it was not significantly worse on four tasks than scratch training on 4 times the text (8 times at base and 1B). As models grow, most of the transfer comes from the source model’s transformer layers, so even an English source helps. Keeping the source vocabulary instead cost 5 F1 on question answering and nearly three times the compute.

中文摘要

摘要：IceBERT，冰岛语的参考编码器，发现清理后的网页抓取数据足以训练出强大的模型，并且从多语言模型开始可以在某些任务上有所帮助。我们使用 ModernBERT 架构重新考察了这两个发现。我们在 90 亿个开放数据 token 上训练了参数从 1200 万到 10 亿的冰岛语编码器，并在一个统一的协议下对 30 个编码器重复进行了 IceBERT 的基准测试和五个更新任务，同时提供置信区间。我们从零开始训练的 10 亿参数模型，据我们所知，是首个此规模的单语冰岛语编码器，在所有十一项任务中显著优于 IceBERT；从相同结构的英文 Ettin 编码器进行 warm-start 时，它在我们排名的每个任务中都取得了所有编码器中最好的得分。由于我们的模型结构与英文 Ettin 编码器和多语言 mmBERT 匹配，我们也可以在受控条件下测试 warm start，在六种模型大小和四种 token 预算下进行测试。迁移我们的词汇时，warm start 在同样的冰岛语文本上训练从未显著劣于从零训练，并且从 base 规模起，在四个任务上也没有显著落后于在四倍文本（base 和 1B 时为 8 倍文本）上从零训练。随着模型规模的增大，大部分迁移来自源模型的 transformer 层，因此即便是英文源模型也有帮助。保留源词汇反而在问答任务中损失了 5 F1，并且计算量几乎是三倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36230 (HTTP 429)

Authors: Hafsteinn Einarsson

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36230.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36230

Published: 2026-10-30T02:56:29.584Z

10. Detect Before You Disambiguate: Perturbation-Based Input Ambiguity Detection in LLMs

Abstract:Large language models (LLMs) often answer ambiguous inputs as if they had a single intended meaning. This is problematic because input ambiguity is an upstream source of uncertainty: when a prompt admits multiple valid interpretations, the key question is whether the model should answer directly at all. Existing input uncertainty methods often rely on LLM-generated statements or clarifications, but such transformations may already disambiguate the input before the ambiguity is measured. We propose a label-preserving perturbation framework for input ambiguity detection in which perturbations remain close to the original input while preserving its label. We instantiate this principle with two detectors: a black-box rule-based perturbation library and a white-box importance-guided method using model-internal signals. Experiments across four datasets in open-domain, conversational, and visual QA show that our methods outperform output-side uncertainty baselines and LLM-paraphrase-based perturbation baselines. Our results highlight the importance of detecting ambiguity before attempting to disambiguate it. Our code is available \href{this https URL}{\textcolor{purple}{here}}.

中文摘要

摘要：大型语言模型（LLMs）常常将含糊输入当作单一意义来回答。这存在问题，因为输入含糊性是不确定性的上游来源：当提示符允许多种有效解释时，关键问题是模型是否应直接回答。现有输入不确定性方法通常依赖LLM生成的陈述或澄清，但此类转换可能在测量歧义前就已消除歧义。我们提出了一种保持标签的扰动框架用于输入歧义检测，扰动保持接近原始输入但保持其标签。我们通过两种检测器实现这一原则：基于规则的黑盒扰动库和基于模型内部信号的白盒重要性引导方法。在开放域、对话式和可视化质检中，跨越四个数据集的实验显示，我们的方法优于输出端不确定性基线和基于LLM的变句扰动基线。我们的结果强调了在尝试消歧之前检测歧义的重要性。我们的代码可用 \href{this https URL}{\textcolor{purple}{here}}。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36353 (HTTP 429)

Authors: Tiejin Chen, Xiaoou Liu, Michael Clifford, Ahmadreza Moradipari, Yitao Chen, Kyungtae Han, Nejib Ammar, Hua Wei

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.36353.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36353

Published: 2026-10-30T02:56:29.584Z

Agent Domain Papers

1. Counting the Bandages: On measuring the time that AI saves

Abstract:I consider what it means for AI assistance to save time. I contrast a stopwatch view, on which time saved is whatever the clock records, with a ledger view, on which it is a counterfactual that has to be read next to the errors the work lets through, and I argue for the latter. The argument has four parts. I define a model-free pair of quantities, time saved and excess escaped defects, and one decision number built from them: the break-even defect cost. I give a baseline model of checking in which, until the model is good enough not to check, a calibrated worker’s escaped-defect rate does not depend on how good the model is; checking time grows with the logarithm of the model’s error rate; and over-trust buys minutes on the clock at a larger cost in total minutes. I show what randomized studies can and cannot identify, and I replicate METR’s developer study from its public data: the same 246 issues support a slowdown of 19% or 24% depending on the estimand (34% without adjusting for a chance imbalance), and AI helped on somewhere between 3% and 82% of them. Finally, I restate the published record, with stated bounds in place of imported point assumptions. In GDPval’s own review-every-output workflow, review time alone caps GPT-5’s speedup at 3.6x; the consultants outside the frontier were faster, and more often wrong. Last, I test two of the model’s predictions in a small pre-specified experiment on AI reviewers checking AI drafts of the same kind of brief, built from SEC filings made after the models’ training data were collected. Told the drafter’s true error rate, the reviewer checked more as it rose, but all-or-nothing, switching near where its prompt’s costs break even. Told that the drafter erred ten times less often than it did, it checked 7 fewer of 9 figures and let a wrong figure through in 22.5% of briefs instead of none: faster and worse, entirely through reduced effort.

中文摘要

摘要：我思考了人工智能辅助节省时间意味着什么。我对比了两种观点：一种是秒表视角，即节省的时间就是时钟记录的时间；另一种是账本视角，即节省的时间是一个反事实，必须与工作中漏掉的错误一起衡量，我支持后者。论证分为四部分。我定义了一对不依赖模型的量：节省时间和额外漏错，以及从它们构建的一个决策数：盈亏平衡的缺陷成本。我给出了一种检查基线模型，其中，直到模型足够好无需检查前，校准员工的漏错率不依赖模型的好坏；检查时间随模型错误率的对数增长；而过度信任在总分钟成本上以更大代价换取时钟上的分钟。我展示了随机化研究能和不能识别的内容，并从公开数据中复制了METR的开发者研究：相同的246个问题根据估计量支持19%或24%的减速（未调整偶然不平衡时为34%），AI在其中的帮助比例介于3%到82%之间。最后，我重述了已发表记录，用明确的界限替代引入的点假设。在GDPval自身的“审查每个输出”工作流程中，仅审查时间就把GPT-5的加速上限限定在3.6倍；前沿外的顾问更快，但错误更多。最后，我在一个小规模预先设定的实验中测试了模型的两个预测：实验涉及AI审查者检查同类简报的AI草稿，这些简报是基于模型训练数据收集后提交的SEC文件构建的。在获知撰写者真实错误率后，审查者随着错误率上升而增加检查，但采取全有或全无的策略，在其提示成本盈亏平衡附近切换。在得知撰写者出错频率比实际低十倍时，它少检查了9个图中的7个，并在22.5%的简报中放过了一个错误图，而原本应为零：更快，但更差，且完全因为减少了努力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35942 (HTTP 429)

Authors: Solomon Shalom Lijo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35942.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35942

Published: 2026-10-30T02:56:50.985Z

2. Enhancing Deep Learning Model Performance through Data Generation Strategies: Classification of Olive Tree Diseases

Abstract:Deep learning models are highly effective in a wide range of domains, particu larly in plant disease diagnosis. However, their performance is often limited by challenges such as insufficient data and class imbalance. In our work, we propose a comprehensive data generation strategy to overcome these limitations. First, we apply various data generation techniques, including traditional augmentation methods, CutMix, MixUp, and synthetic image generation using Deep Convolu tional Generative Adversarial Networks (DCGANs), to create new data samples. Second, we exploit this generated data in three scenarios: (S1) balancing class distribution in the original dataset, (S2) increasing the number of samples per class, and (S3) expanding the dataset while maintaining balanced classes. Third, we evaluate the impact of these data distributions (S1, S2, S3) on model perfor mance using the EfficientNetV2B0 architecture with pre-trained and fine-tuned weights. The experimental results show a substantial improvement in classifica tion accuracy, emphasizing the critical role of data diversity and class balance. These findings highlight the effectiveness and adaptability of the proposed strat egy of data generation and distribution for enhancing dataset quality, offering promising applications in plant disease detection and precision agriculture.

中文摘要

摘要：深度学习模型在广泛的领域中表现出极高的效能，尤其是在植物病害诊断方面。然而，它们的性能通常受到数据不足和类别不平衡等挑战的限制。在我们的工作中，我们提出了一种全面的数据生成策略以克服这些限制。首先，我们应用各种数据生成技术，包括传统的数据增强方法、CutMix、MixUp，以及使用深度卷积生成对抗网络（DCGANs）生成的合成图像，来创建新的数据样本。其次，我们在三种场景中利用这些生成的数据：(S1) 平衡原始数据集的类别分布，(S2) 增加每个类别的样本数量，以及(S3) 在保持类别平衡的同时扩展数据集。第三，我们使用EfficientNetV2B0架构（带预训练和微调权重）评估这些数据分布（S1、S2、S3）对模型性能的影响。实验结果显示分类准确率有显著提升，强调了数据多样性和类别平衡的关键作用。这些研究结果突出了所提出的数据生成和分布策略在提升数据集质量方面的有效性和适应性，并在植物病害检测和精准农业中展现出广阔的应用前景。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35984 (HTTP 429)

Authors: Hicham El Akhal, Abderrahim Waga, Aissa Ben Yahya, Abdelbaki El Belrhiti El Alaoui

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35984.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35984

Published: 2026-10-30T02:56:50.985Z

3. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

Abstract:Multimodal intelligence can be viewed as human-guided co-evolution between worlds and agents through interaction. However, scaling this process faces two bottlenecks: constructing heterogeneous, verifiable environments is costly, and manual Harness iteration cannot keep pace with growing task diversity and complexity. A key insight is that tasks with different modalities and surface forms can share the same underlying capability requirements. We therefore introduce The Trinity, a recursive self-improvement framework coupling world generation with Harness evolution through three roles: Creator, Explorer, and Evolver. Drawing on verified execution trajectories, Evolver shifts the basis of task organization from surface categories to shared requirements, reorganizing the original task tree into a hierarchical capability tree. We introduce Capability-Driven Real2Sim2Real: for heterogeneous tasks at the same node, Creator abstracts their common requirements into simplified, verifiable simulated worlds for capability learning, while evaluation on original tasks measures transfer. Along this capability tree, Explorer progressively evolves reusable capability modules through selective inheritance, forming a Harness tree whose validated updates accumulate across iterations within a fixed topology. The resulting Harnesses specialize in different capabilities, motivating a Capability-Aware Harness Router that uses public task information to select compatible module configurations from the tree. Our evolved Harnesses improve mean performance by 34 points across 28 training benchmarks and 26 points across 18 unseen benchmarks, including two real-world embodied tasks.

中文摘要

摘要：多模态智能可以被视为通过交互实现的世界与智能体之间的人类引导共进化。然而，这一过程的扩展面临两个瓶颈：构建异质且可验证的环境成本高昂，以及手动开发的迭代无法跟上任务多样性和复杂度的增长。一个关键见解是，不同模态和表面形式的任务可以共享相同的底层能力需求。因此，我们引入了“三位一体”（The Trinity），这是一个递归自我改进框架，通过三种角色——创造者（Creator）、探索者（Explorer）和进化者（Evolver）——将世界生成与工具（Harness）演化相结合。借助经过验证的执行轨迹，Evolver 将任务组织的基础从表面类别转移到共享要求，将原始任务树重组为层次化能力树。我们引入基于能力驱动的 Real2Sim2Real：对于同一节点的异质任务，Creator 将它们的共性需求抽象为简化、可验证的模拟世界进行能力学习，同时在原始任务上的评估衡量迁移效果。沿着这棵能力树，Explorer 通过选择性继承逐步演化可复用的能力模块，形成一个工具树（Harness tree），其经过验证的更新在固定拓扑内的迭代中累计。由此产生的工具专注于不同的能力，从而激发了能力感知工具路由器（Capability-Aware Harness Router），利用公开任务信息从树中选择兼容的模块配置。我们演化的工具在 28 个训练基准上的平均性能提升了 34 分，在 18 个未见基准上提升了 26 分，包括两个真实世界的具身任务。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决多模态智能体在规模化递归自我改进（Recursive Self-Improvement, RSI）过程中面临的三个核心瓶颈： ### 1. 异构、可验证环境的构建成本高昂手动构建覆盖多种模态（文本、图像、视频、音频）和复杂交互的大规模训练环境代价巨大，且难以扩展。现有方法多集中于单一模态或特定领域，缺乏自动化的世界生成机制来支撑智能体的持续学习。 ### 2. Harness手动迭代无法匹配任务复杂度的增长智能体性能日益受限于其控制框架（Harness）的组织与协调能力。随着任务多样性和长程交互复杂度的增加，依赖人工设计或逐任务调优 Harness 的方式已无法持续，亟需自动化的 Harness 进化机制。 ### 3. 现有RSI方法的跨任务泛化能力受限当前 Harness RSI 研究主要聚焦于文本模态任务（如编程、数学），并采用\*\*任务特定进化\*\*（task-specific evolution）策略。这导致两个缺陷： - \*\*过拟合与碎片化\*\*：针对特定任务优化的 Harness 难以泛化到异构任务； - \*\*全局Harness的内在冲突\*\*：试图用一个通用 Harness 覆盖所有任务时，会面临不同任务间性能–效率权衡的冲突需求，降低适应效率。 ### 核心洞察与解决路径论文提出，\*\*不同模态和表面形式的任务可能共享相同的基础能力需求\*\*（例如，ARC-AGI-3 和 Micromouse 都需要精确的感知与状态跟踪）。因此，问题应从"如何为每个任务优化 Harness"转变为：\*\*如何识别并利用任务间共享的能力需求，构建可复用的模块化 Harness，并通过自动化环境生成与验证实现持续的跨模态自我改进\*\*。为此，论文提出 \*\*The Trinity\*\* 框架，通过 \*\*Creator\*\*（生成简化可验证的仿真世界）、\*\*Explorer\*\*（沿能力树进化可复用模块）和 \*\*Evolver\*\*（从验证轨迹中重组能力需求）三个角色，实现从"任务驱动"到"能力驱动"的递归自我改进。 Q2: 有哪些相关研究？该论文的相关研究主要围绕两大主线展开：\*\*递归 Harness 自我改进\*\*与\*\*智能体–环境协同进化\*\*。此外，引言部分还涉及多模态基础模型与交互智能体的基础支撑工作。具体分类如下： --- ### 1. 递归 Harness 自我改进（Recursive Harness Self-Improvement）该领域研究如何在冻结模型权重（fixed backbone）的前提下，通过改进控制框架（Harness）实现智能体能力的持续提升与泛化： - \*\*自我改写与元优化\*\* - 早期理论工作如 Gödel machines

87
探讨了自我指涉的通用自我改进。 - 近期研究包括 LLM 系统重写自身智能体代码（如 Darwin Gödel Machine
24
、STOP
88
、Gödel Agent
89
），以及端到端的 Harness 元优化（Meta-Harness
18
）。 - **自动化智能体设计** - ADAS
90
、AFlow
91
、AgentSquare
92
等通过自动化搜索或工作流生成，在模块化设计空间中设计智能体架构。 - **提示优化** - OPRO
93
、Promptbreeder
94
、TextGrad
95
等利用文本梯度、进化算法或自指涉机制自动优化提示模板。 - **自我反思与反馈学习** - Self-Refine
96
、Reflexion
97
、ExpeL
98
等通过自我反馈、言语强化学习或经验积累实现迭代精炼。 - **固定权重下的 Harness 进化与专门化**（与本文最直接相关） - **自动合成与修复**：AutoHarness
33
自动合成代码级 Harness；Harness-R1
35
与 Chen et al.
32
从失败轨迹中诊断并修复 Harness 缺陷；Self-Harness
19
实现 Harness 的自我修订。 - **模块化与分层方法**：ModularRSI
26
在基准不相交任务上进化可复用模块；HSI
34
提出按任务族分层的可进化 Harness；JIT-Agent
25
支持即时（just-in-time）Harness 进化；HarnessX
104
提供可组合、类型化的 Harness 原语。 - **持续适应与体制分支**：Harness Continual Learning
105
构建扁平能力图以持续适应任务流；Adaptive Auto-Harness
106
在开放任务流上实现体制分支的 Harness 树。 - **测试时与元级别适应**：TTHE
99
在测试时进化 Harness；MetaSkill-Evolve
100
和 MetaRSI
101
从元技能层面实现递归自我改进。与上述工作相比，**The Trinity 的核心差异**在于：从训练轨迹中**归纳层次化能力树**而非按任务或模态扁平分组，在 Creator 生成的仿真世界（排除目标任务布局与真实解）中进化 Harness，并通过**选择性模块继承**机制在 44 个异构基准上实现跨任务泛化，最终评估于保留基准与真实机器人。 —- ### 2. 智能体与环境的协同进化（Co-evolution of Agents and Environments）该主线关注如何自动生成、调整或验证训练环境，以形成与学习者共同进化的课程： - **开放式协同进化** - POET

108
及其增强版
109
通过环境与其优化解的开放式协同进化持续生成新的学习挑战；Minimal Criterion Co-evolution
107
提出了开放式搜索的新方法。 - **无监督环境设计与课程学习** - PACE
29
、基于遗憾的环境设计（Evolving Curricula）
110
，以及经典课程学习框架
111, 112
。 - **具身协同设计与技能库增长** - Voyager
113
在自动课程下增长技能库；Embodied Co-design
28
探讨了快速进化智能体的协同设计分类与挑战。 - **多样化环境生成** - **具身环境**：EnvGen
118
、SimWorld Studio
119
。 - **工具与通用环境**：Agent-World
120
、Endless Terminals
121
、Terminal-World
122
、Qwen-AgentWorld
123
。 - **游戏验证**：GameGen-Verifier
124
通过运行时状态注入并行验证 LLM 生成的游戏。 - **语言智能体的协同进化循环** - SEAL
114
协同进化语言智能体与环境；Escher-Loop Q3: 论文如何解决这个问题？该论文通过引入 **The Trinity** 框架，将递归自我改进（RSI）的范式从“任务驱动”转向“**能力驱动**”，从而系统性地解决多模态智能体在规模化进化中面临的瓶颈。具体解决方案可从以下五个层面展开： —- ### 1. 核心范式：以共享能力需求重组任务空间论文的核心洞察在于，**不同模态与表面形态的任务可能共享相同的基础能力需求**（例如，ARC-AGI-3 与 Micromouse 均依赖精确感知与状态跟踪）。因此，框架不再按任务类别或模态类型组织训练，而是通过分析验证轨迹，将任务按其**能力需求集合**重新组织： - 定义一组能力类别 K ，每个训练任务 τ 被赋予固定的需求集合 Kτ ⊂eq K 。 - 依据预设的能力顺序 prec 对 Kτ 排序，得到路径 pτ = sort_prec(Kτ) 。 - 通过 Trie 结构合并所有任务路径的公共前缀，构建出**层次化能力树**（Capability Tree）：

T = Triepτ : τ ∈ B(tr)
树中每个节点代表一种能力组合，节点上的训练任务共享该组合所要求的所有能力。 —- ### 2. 三角色协同闭环：Creator、Explorer、Evolver 框架通过三个角色的协同，将环境生成与 Harness 进化耦合在同一个能力树上： | 角色 | 核心职能 | 解决的关键问题 | |———|————-|———————| | **Evolver** | 从任务规范与验证轨迹中提取能力需求，构建并维护能力树；设计简化训练关卡 | 将异构任务映射到共享的能力维度，避免任务特定过拟合 | | **Creator** | 依据节点能力需求，生成简化、可验证的仿真世界（Capability-Driven Real2Sim2Real） | 降低大规模异构环境的构建成本，提供专注能力学习的课程 | | **Explorer** | 沿能力树执行训练关卡，通过选择性继承父节点模块并局部 refine，进化 Harness 树 | 实现模块化、可复用的 Harness 进化，支持跨任务泛化 | —- ### 3. 能力驱动的 Real2Sim2Real（Creator）针对同一能力节点上的异构任务，Creator 将其**共同决策逻辑**抽象为简化的仿真训练关卡，而非直接复制原始任务： - **Sim 阶段**：基于节点能力需求、子节点信息及代表性任务的公开规范，Evolver 设计排除目标布局、私有证明与真实解迹的训练关卡；Creator 使用节点 Harness 实现这些关卡，并通过主机验证器池检查绑定、执行、状态转移与渲染的正确性。 - **Real 阶段**：训练完成后，直接在**原始基准任务**上评估性能，以衡量能力迁移效果。这一机制使得智能体在紧凑的仿真课程中学习可迁移的底层决策能力，显著降低了训练环境数量与推理成本（实验表明，Capability Tree (Sim) 在仅使用 10 个 Harness 和 11 个环境的情况下，即达到最优的模块级性能）。 —- ### 4. Harness 树的选择性继承与局部细化（Explorer） Explorer 沿能力树构建与树结构对齐的 Harness 树，通过以下机制实现高效进化： - **节点状态**：节点 v 在第 i 次迭代后的 Harness 由继承模块 P(v)^((i)) 与局部模块 L(v)^((i)) 组成：

H(E,v)^((i)) = P(v)^((i)) oplus L(v)^((i))
其中 oplus 为右偏并集（本地模块优先覆盖同名继承模块）。 - **选择性继承**：子节点仅在其父节点更新后的版本在相同验证任务上取得**严格更高**的任务完成数时，才继承该更新；否则保留先前版本。这确保了祖先模块的稳定性与有效性。 - **持续细化**：Explorer 在准入的仿真课程上 rollout 收集轨迹 Z(v)^((i+1)) ，Evolver 据此对比成功与失败轨迹，提出局部模块更新：
L(v)^((i+1)) = Evolve(L(v)^((i)), Z(v)^((i+1)), F(v)^((i)))
主机验证证据、所有权、接口与版本谱系后，接受或拒绝更新。 - **Base Harness 整合**：每次迭代结束时，Creator 将所有节点验证通过的模块提案与当前 Base Harness 库合并，去重并保留互补功能，形成下一代共享 Base Harness H_(C)^((i+1)) 。 —- ### 5. 能力感知的路由（Capability-Aware Harness Routing）由于进化后的 Harness 在不同能力分支上呈现专业化，框架引入路由机制为每个任务匹配兼容的模块配置： - 利用公开任务信息（目标、初始观测、元数据）与**已验证的执行经验**（存储于 FIFO 记忆池中），Router 检索相似历史记录并选择候选 Harness：

h_n = π(x_n, C, R(x_n, M_n), S(M_n))

该机制在冻结的能力树与版本化 Harness 池上运行，无需访问未见任务的能力标签，即可实现任务到 Harness 的动态匹配，避免了单一全局 Harness 的内在冲突。 —- ### 总结通过上述设计，The Trinity 将原本碎片化的任务特定优化，转化为在**固定拓扑的能力树上对可复用模块的递归进化**。Creator 提供低成本、高保真的仿真课程，Explorer 通过选择性继承累积验证有效的更新，Evolver 则确保整个系统始终围绕“共享能力需求”这一语义基础进行组织与改进，从而实现了跨模态、跨任务的 Harness 自我改进与泛化。 Q4: 论文做了哪些实验？论文在第4节（Experiments）中设计并执行了六组实验，系统验证能力驱动递归自我改进的有效性。实验基于 **28个训练基准** 与 **18个未见基准**（含两个真实世界具身任务），所有变体共享冻结的 Claude Opus 5 骨干与初始 Base Harness H0 。以下按实验目标分述： —- ### 1. 实验设置（Experimental Setup） - **基准集**：28个训练基准与18个未见基准，涵盖规则发现、约束求解、感知控制、多智能体交互与长程环境五大领域。其中9个训练环境由智能体通过网络搜索从公开规则重建。 - **评估协议**：Train 使用每个基准的固定代表性实例集；Unseen 使用官方评估集或固定子集。每个 Harness 在正式评估前执行 **5次准备试验**，将轨迹固化为技能。 - **对比基线**：在 Unseen 部分基准上报告了 Codex 与 DeepSeek 参考 Harness 的性能。 —- ### 2. 能力驱动组织的验证（Capability-Driven Organization）该实验验证“按能力需求重组任务”相较于“任务特定”或“全局统一”组织的优势。 #### 2.1 模块与技能的初步比较通过消融实验（Table 2）检验 evolved modules 与 skills 的独立及联合贡献： | 方法 | 模块 | 技能 | Train | Unseen | |———|———|———|———-|————| | Base ( H_0 ) | × | × | 39.06 | 37.45 | | Module Only | ✓ | × | 56.95 | 47.26 | | Skill Only | × | ✓ | 58.86 | 48.67 | | Ours ( H^((1)) ) | ✓ | ✓ | **63.80** | **53.53** | 联合使用模块与技能显著优于单独使用，表明二者互补。 #### 2.2 不同组织方式的对比比较六种 Harness 与训练课程的组织形式（Table 3）： | 方法 | 课程 | # Harness | # Env. | Train | Unseen | |———|———|—————-|————|———-|————| | Base ( H_0 ) | — | — | — | 39.06 | 37.45 | | Global Real | 原始任务 | 1 | 28 | 53.04 | 42.92 | | Task-Domain Real | 原始任务 | 15 | 15 | 51.17 | 40.82 | | Capability-Domain Real | 原始任务 | 6 | 6 | 49.25 | 39.43 | | Capability Tree (Real) | 原始任务 | 10 | 11 | 53.44 | 42.31 | | **Capability Tree (Sim)** | **仿真世界** | **10** | **11** | **56.95** | **47.26** | 关键发现： - **Capability Tree (Sim)** 在仅使用 10 个 Harness 与 11 个仿真环境的情况下，达到最高的模块级性能（56.95 / 47.26），且推理成本最低（514.42M / 549.07M tokens）。 - 相比扁平的领域分组（Capability-Domain），层次化能力树通过选择性继承获得 **+4.19 / +2.88** 点的提升；引入 Creator 生成的仿真课程后，进一步获得 **+3.51 / +4.95** 点的增益。 - 训练成本分析（Figure 4）显示，Creator 的环境构建成本在首次迭代占主导，后续复用可摊销该开销；Explorer 在固定轨迹量下仍持续提升性能，说明能力聚焦的环境提供了更清晰的进化信号。 —- ### 3. 递归自我改进的持续性（Recursive Self-Improvement）在固定能力树拓扑、基准划分、能力需求与骨干模型的条件下，追踪从 Base（Iteration 0）到 Iteration 4 的性能演化。 - **聚合性能**（Figure 6）： - Train 均值从 **39.1** 提升至 **73.2**（+34.1 点） - Unseen 均值从 **42.1** 提升至 **64.1**（+22.0 点） - 首代增益最大，但 Iterations 2–4 仍分别带来 **+9.4**（Train）与 **+6.4**（Unseen）的额外提升。 - **基准级演化**（Figure 5）：28个训练基准与18个未见基准的逐轮径向条形图显示，多数基准随迭代单调或持续提升。例如： - ARC-AGI-3：41.0 → 53.6 - SciGym：45.2 → 57.1 - BuildArena：93.3 → 97.8 - 部分基准（如 Mastermind）在 Iteration 1 即达瓶颈（88.9），而 Eleusis 出现轻微回落（82.2 → 81.1）。 - 最终 Unseen 均值超越了 Codex（47.5）与 DeepSeek（46.2）参考线。 —- ### 4. 能力感知 Harness 路由（Capability-Aware Harness Routing）在 Iteration-4 的 Explorer Harness 树上，比较五种路由配置（Table 4）： | 方法 | 能力定义 | 执行经验 | Train | Unseen | |———|—————|—————|———-|————| | Random | — | — | 52.74 | 46.23 | | Agent Self-Routing | × | × | 65.79 | 52.36 | | Agent Self-Routing | ✓ | × | 70.34 | 58.27 | | **Agent Self-Routing** | **✓** | **✓** | **71.27** | **60.96** | | Oracle | — | — | 73.16 | 63.61 | - 完整自路由配置（含能力定义与检索经验）在 Train 与 Unseen 上分别达到 **71.27** 与 **60.96**，接近 Oracle 上限（73.16 / 63.61）。 - 显式引入能力定义带来 **+4.55 / +5.91** 点的提升；进一步加入历史执行经验带来额外 **+0.93 / +2.69** 点。 - 结果表明，能力树提供了将任务需求语义匹配到 Harness 配置的有效基础。 —- ### 5. 能力–模块关系分析（Capability–Module Relationships） #### 5.1 能力–协议相关性通过 Iteration-4 的 29 个模块，计算六种共享能力（PST、HCI、CFR、GVT、VEA、VC）与六种 Harness 协议（Perception、Memory、Inference、Planning、Orchestration、Loop）的相关系数（Figure 7）。最强正相关包括： - HCI 与 Inference：**0.744** - GVT 与 Loop：**0.444** - VEA 与 Perception：**0.347** 最显著负相关为 GVT 与 Perception（**−0.361**）、PST 与 Loop（**−0.313**），揭示了不同能力在协议层面的分化模式。 #### 5.2 受控模块干预在 Train 上执行模块增删实验（Table 5）： | 方法 | Train 得分 | 相对 Base 变化 | 推理 Tokens (M) | |———|—————-|———————-|————————| | Base ( H_0 ) | 39.06 | — | 582.54 | | + irrelevant module | 40.08 | **+1.02** | 583.37 | | + relevant module | 58.45 | **+19.39** | 551.85 | | Ours ( H^((4)) ) | 73.16 | — | 496.70 | | − relevant module | 70.42 | **−2.74** | 517.26 | - 向 Base 添加**相关**模块带来 **+19.39** 点的大幅提升，而添加**无关**模块仅提升 **+1.02**。 - 从成熟 Harness 中移除一个已安装的相关模块导致性能下降 **−2.74** 且推理成本上升。 - 该实验为“基于任务能力需求指导模块选择与组合”提供了经验支持。 —- ### 6. 具身迁移验证（Embodied Transfer）将能力树上对应节点（ d to a ）进化得到的 Harness 配置，通过 Real2Sim2Real 迁移到两个真实世界机器人任务： | Harness | SOON (Sim) | CaP-X (Sim) | SOON (Real) | CaP-X (Real) | |————-|—————-|——————-|——————-|———————| | H_0 | 0% | 10% | 0% | 0% | | H^((1)) | 20% | 20% | 20% | 20% | | H^((2)) | 20% | 30% | 20% | 20% | | H^((3)) | 80% | 40% | 60% | 40% | | H^((4)) | **80%** | **60%** | **60%** | **60%** | - **SOON**（Unitree G1 导航至风扇旁书桌并触及）：仿真成功率从 0% 提升至 80%，真实机器人从 0% 提升至 60%。 - **CaP-X**（AlohaMini2 揭开杯子报告隐藏方块）：仿真从 10% 提升至 60%，真实机器人从 0% 提升至 60%。 - 两个任务均在 H^((1)) 即达到 20% 的真实机器人成功率，表明能力驱动的节点级模块进化能够有效支撑任务特定技能学习，并迁移至物理环境。 —- ### 实验结论上述实验共同支持了以下核心论断： 1. **能力驱动组织优于任务驱动**：以能力树重组任务并配合仿真课程，可在更少环境与更低推理成本下实现更优的跨任务泛化。 2. **递归改进具有持续性**：在固定能力树与骨干模型上，多轮迭代仍能持续提升性能，验证仿真环境提供了可持续的能力精炼空间。 3. **能力语义支撑路由与模块设计**：能力先验可有效指导 Harness 选择与模块配置，且受控干预证实了相关模块对性能的关键 Q5: 有什么可以进一步探索的点？基于论文第7节的讨论（Discussion）及方法论设计，以下是可以进一步探索的研究方向： —- ### 1. 从 Harness 层面扩展到模型参数层面的能力驱动自我改进论文明确指出，当前研究主要聚焦于 Harness（控制框架）层面的递归自我改进，而 **将能力驱动范式扩展至模型参数训练** 是一个关键的下一步。具体而言，可探索： - 能力感知路由与 RSI 形成闭环， jointly 驱动能力发现、获取与精炼； - 在固定或部分可训练的网络参数上，针对能力树节点进行模块化参数微调（modular fine-tuning），实现 Harness 架构与骨干模型能力的协同进化。 —- ### 2. 能力树的动态演化与新兴能力发现当前能力树在训练前由 Evolver 基于训练基准固定构建，拓扑在后续迭代中保持不变。未来可研究： - **动态扩展机制**：在面临新任务流或分布外任务时，自动识别现有能力树未覆盖的**新兴能力需求**，并触发节点的自动分裂、合并或新增； - **能力本体的自动归纳**：减少对人类评审员整合能力类别（judge consolidation）的依赖，发展完全自动化的、基于大规模轨迹数据的能力本体学习。 —- ### 3. 基准与环境自动发现的鲁棒性提升论文提及当前框架依赖智能体进行网络搜索以发现基准，但**检索覆盖率与结果质量因查询而异**。值得探索的方向包括： - 设计更可靠的自动基准采集管道，例如通过多源验证、社区驱动更新或自动规则提取与形式化验证； - 提升 Creator 生成仿真世界时的**自动验证与可重复性**，降低对主机私有验证器（host-private verifiers）的人工设计依赖。 —- ### 4. 能力–模块映射的内部机制与可解释性论文通过相关性分析（Figure 7）和模块干预实验（Table 5）建立了能力需求与模块功能之间的经验关联，但尚未揭示其深层机制： - 可进一步开展**细粒度的因果干预与反事实分析**，量化特定模块对不同能力维度的边际贡献； - 探索模块在模型内部激活层面的**神经基础**（neural basis），理解为何某些能力强烈依赖 Memory 或 Inference 协议。 —- ### 5. Creator 与 Explorer 的紧耦合联合优化目前 The Trinity 中 Creator 与 Explorer 沿相同能力树分别进化，通过验证反馈松散耦合。未来可探索： - **环境与 Harness 的端到端联合优化**：将世界生成与 Harness 更新置于统一的优化目标下，例如通过可微分或强化学习的方式，使 Creator 直接根据 Explorer 的学习效率调整课程难度与形式； - 在更长的 RSI 周期中，研究环境复杂度、Harness 容量与任务性能之间的**Pareto 前沿**。 —- ### 6. 路由策略的自适应与在线学习 Capability-Aware Harness Router 当前依赖基于余弦相似度的经验检索与固定策略代理选择。进一步的研究可包括： - 将路由问题形式化为**上下文 bandit 或强化学习问题**，使 Router 能在部署过程中根据实时反馈自适应调整选择策略； - 探索**分层路由**：在能力树的高层进行粗粒度 Harness 选择，在叶节点进行细粒度模块组合，以降低路由决策的搜索空间与计算开销。 —- ### 7. 大规模具身智能体部署的安全、验证与泛化论文在 SOON 与 CaP-X 两个真实机器人任务上验证了具身迁移，但更大规模的物理部署仍需解决： - **安全约束下的能力迁移**：如何在能力进化过程中形式化地编码安全规范（如碰撞避免、力限制），并确保这些约束在 Real2Sim2Real 过程中不被破坏； - **跨本体（cross-embodiment）迁移**：验证在能力树上习得的模块是否能迁移到具有不同动作空间与感知模态的物理平台。 —- ### 8. 多智能体协作场景下的能力分解与协同进化当前框架主要围绕单智能体与环境的交互展开。在**多智能体交互**（如 Among Us、Hanabi 等）日益重要的背景下，可进一步研究： - 将联合能力需求（如对手建模、通信协议、团队策略）分解为可复用的**多智能体能力模块**； - 多个智能体是否能在共享或分布式的能力树上**协作进化**，各自专攻互补能力并通过交互提升整体性能。 Q6: 总结一下论文的主要内容这篇论文提出 **The Trinity**，一个面向多模态智能体的**能力驱动递归自我改进（Capability-Driven Recursive Self-Improvement, RSI）**框架，旨在解决大规模异构任务下环境构建成本高、Harness 迭代效率低以及跨任务泛化不足的问题。 ### 1. 核心问题与洞察当前多模态智能体的扩展面临双重瓶颈： - 构建大规模、异构且可验证的训练环境成本高昂； - 现有 Harness（控制框架）的自我改进多聚焦于文本任务，且采用**任务特定优化**，导致 Harness 过拟合、碎片化，难以泛化到跨模态的异构任务。论文的核心洞察是：**不同模态和表面形式的任务可能共享相同的基础能力需求**。例如，ARC-AGI-3 与 Micromouse 均依赖精确的感知与状态跟踪。因此，应将 Harness 的组织与优化从“任务驱动”转向**“能力驱动”**，以共享能力需求作为学习的基本单元。 ### 2. The Trinity 框架框架通过三个协同角色，将世界生成与 Harness 进化耦合在统一的能力层级上： - **Evolver**：从训练任务的规范与验证执行轨迹中提取能力需求，将任务按共享能力重新组织为**层次化能力树**（Hierarchical Capability Tree）。给定能力类别集合 K ，每个任务 τ 的需求子集 Kτ ⊂eq K 经固定序 prec 排序后形成路径 pτ = sort_prec(Kτ) ，所有任务路径经 Trie 合并得到能力树：

T = Triepτ : τ ∈ B(tr)

**Creator**：针对能力树上同一节点的异构任务，将其共同决策逻辑抽象为简化、可验证的仿真训练世界，实现 **Capability-Driven Real2Sim2Real**。这些仿真世界排除了目标任务的私有布局与解迹，保留核心决策过程；智能体先在仿真环境中学习，再于原始任务上评估能力迁移。 - **Explorer**：沿能力树进化** Harness 树**。每个节点 v 在第 i 轮迭代维护一个 Harness：
H_(E,v)^((i)) = P_v^((i)) oplus L_v^((i))
其中 P_v^((i)) 为从父节点**选择性继承**的模块， L_v^((i)) 为本地细化的模块。继承遵循严格性能验证：仅当父节点更新版本在相同验证任务上取得严格更高的任务完成率时才被采纳。每轮结束时，Creator 将所有节点验证通过的模块提案合并、去重，形成下一轮共享的 Base Harness。此外，论文提出 **Capability-Aware Harness Router**，利用公开任务信息与已验证的执行经验，为每个任务从 Harness 树中选择兼容的模块配置，避免单一全局 Harness 的内在冲突。 ### 3. 实验与结果论文在 **28 个训练基准**与 **18 个未见基准**（涵盖规则发现、约束求解、感知控制、多智能体交互、长程环境，包括两个真实世界具身任务）上进行了系统评估： - **能力驱动的组织优越性**：对比全局单一 Harness、任务域分组与扁平能力域分组，**Capability Tree + Sim**（基于 Creator 仿真世界）在仅使用 10 个 Harness 和 11 个环境的情况下，达到最优的模块级性能（Train 56.95 / Unseen 47.26），且推理成本最低，验证了“以能力重组任务 + 简化仿真课程”的高效性。 - **递归自我改进的持续性**：在固定能力树拓扑与冻结骨干模型（Claude Opus 5）上，经过 4 轮迭代，Train 平均性能从 39.1 提升至 **73.2**（+34.1），Unseen 从 42.1 提升至 **64.1**（+22.0）。首代增益最大，但后续迭代仍持续带来显著提升。 - **能力感知路由的有效性**：在完整路由配置（能力定义 + 执行经验）下，Agent Self-Routing 在 Train/Unseen 上分别达到 **71.27 / 60.96**，接近 Oracle 上限（73.16 / 63.61），证明能力树为 Harness 选择提供了可靠的语义基础。 - **能力–模块关系的经验证据**：向 Base Harness 添加**相关**模块带来 **+19.39** 点性能提升，而添加无关模块仅提升 **+1.02**；从成熟 Harness 中移除相关模块则导致性能下降，支持了“按任务能力需求配置模块”的设计先验。 - **具身迁移**：将能力树上进化得到的 Harness 迁移至 Unitree G1（SOON）与 AlohaMini2（CaP-X）真实机器人任务。经过 4 轮迭代，SOON 真实机器人成功率从 0% 提升至 **60%**，CaP-X 从 0% 提升至 **60%**，验证了能力进化在物理环境中的可迁移性。 ### 4. 核心贡献论文的主要贡献可概括为： 1. **能力驱动的多模态 RSI**：首次将共享能力需求作为 Harness 进化的组织原则，通过 Real2Sim2Real 生成紧凑训练世界，构建可复用的模块式 Harness 树，并实现能力感知的动态路由。 2. **能力–模块先验**：建立了任务级能力需求与可复用模块配置之间的经验关联，并通过受控干预验证了相关模块对性能的关键支撑作用。 3. **高效进化与跨域迁移**：证明针对共享决策逻辑的模块进化可在低进化成本下实现有效改进，并迁移至异构任务、未见基准及真实具身场景。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36077.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36077

Published: 2026-10-30T02:56:50.985Z

4. CohortFlow: A Steerable Clinical Cohort Curation Agent with Localized Semantic Correction

Abstract:Language model agents for clinical cohort curation should accommodate evolving eligibility criteria without repeatedly processing unchanged requirements. We introduce CohortFlow, a steerable agent that represents natural language corrections as localized updates to a structured cohort specification and reconciles them with a persistent execution graph. Explicitly recorded semantic dependencies enable affected computations to be selectively invalidated while preserving valid prior results. On 100 scenarios derived from clinical-trial eligibility criteria, comprising 126 correction turns, localized steering achieves 77.0% requirement micro-F1 versus 76.4% for full regeneration using the same 8B model, a small numerical advantage that is not statistically significant ($p=0.493$). It reduces mean correction latency by 64.8% after completion and 44.3% during execution, with 38.1% fewer model calls. In a separate proof-of-concept evaluation over MIMIC, all 13 cohort states execute successfully, while correction trajectories demonstrate selective preservation of unaffected computations and recomputation of changed or dependent nodes. Together, these results show that localized semantic steering can substantially reduce correction latency and model calls while maintaining strong requirement-level accuracy.

中文摘要

摘要：用于临床队列策展的语言模型代理应能适应不断变化的资格标准，而无需反复处理未更改的要求。我们引入了CohortFlow，一种可引导的代理，它将自然语言修正表示为对结构化队列规范的局部更新，并将其与持久的执行图进行协调。显式记录的语义依赖关系使受影响的计算能够被选择性地作废，同时保留有效的先前结果。在从临床试验资格标准衍生的100个场景中，包括126个修正回合，局部引导实现了77.0%的要求微F1，相比使用相同的8B模型进行完整再生成的76.4%，这一数值优势较小且在统计上不显著（$p=0.493$）。它在完成后将平均修正延迟减少了64.8%，在执行过程中减少了44.3%，模型调用次数减少了38.1%。在对MIMIC进行的单独概念验证评估中，所有13个队列状态均成功执行，同时修正轨迹显示未受影响的计算被选择性保留，而更改或相关节点则重新计算。综上所述，这些结果表明，局部语义引导可以在保持较高要求级准确性的同时，大幅减少修正延迟和模型调用次数。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36100 (HTTP 429)

Authors: Neil Chen, Adrian Serapio, Hanxue Gu, Evan Lee, Kang Wang, Yang Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36100.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36100

Published: 2026-10-30T02:56:50.985Z

5. Why and How to Do Science When AI Is Better at It: A Framework Grounded in Human Understanding and Direction

Abstract:As AI begins to match or exceed human researchers at core scientific tasks, two questions become pressing: \emph{why} should humans keep doing science, and \emph{how} should they use AI when they do? This paper argues that the second can be answered only by answering the first. It holds that one indispensable aim of science is \emph{durable, collective human understanding of the world, pursued in service of human ends and values}. From this principle it derives a two-part test for when a research task can be delegated to AI. The first part, \emph{human understanding}, requires that the scientific community remain able to explain, defend and contest the resulting claims, and retain the skills to do so. The second, \emph{human direction}, requires that judgments about which questions matter and what findings mean stay with accountable humans. Applying the test to each phase of research in the Contributor Roles Taxonomy (CRediT) yields recommendations that fields can tailor to their questions and methods. The framework differs from existing guidance in three ways. It rests on an account of what science is for rather than on integrity norms. It holds even if AI outperforms human researchers, rather than depending on AI’s current limitations. And it judges each use of AI by its effects on human understanding and direction rather than by the type of tool, across every phase of research, including peer review and the training of new researchers. It closes with the reforms needed to keep science aimed at human understanding and direction.

中文摘要

摘要：随着人工智能在核心科学任务上开始与人类研究者匹敌甚至超越，两个紧迫问题变得迫切：为什么人类应该继续做科学，以及他们在做科学时该如何使用人工智能？本文认为，只有回答第一个问题才能回答第二个问题。它认为科学的一个不可或缺目标是实现持久的、集体的人类理解，服务于人类的目标和价值观。基于这一原则，它提出了一个两部分的测试，判断何时可以将研究任务委托给人工智能。第一部分，\emph{人类理解}，要求科学界能够解释、辩护和反驳所得主张，并保持相关技能。第二部分，\emph{人类指导}，要求对哪些问题重要性和发现意义的判断必须由负责任的人类掌握。将该测试应用于贡献者角色分类法（CRediT）中的每个研究阶段，可以提出各领域根据自身问题和方法量身定制的建议。该框架与现有指导意见有三点不同。它基于科学的目的，而非诚信规范。即使人工智能表现优于人类研究者，而非依赖人工智能当前的局限性，它依然适用。它在包括同行评审和新研究者培训在内的每个研究阶段，均以人工智能对人类理解和方向的影响而非工具类型来评判每一次人工智能的使用。最后，它提出了必要的改革，以确保科学以人类理解和方向为目标。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36116 (HTTP 429)

Authors: Hoda Heidari, Aydin Mohseni

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36116.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36116

Published: 2026-10-30T02:56:50.985Z

6. From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors

Abstract:Prompt optimization should improve the image a user receives without changing the scene the user requested. Yet stylistic rewriting can weaken object attributes and relations even when global text—image similarity remains high. We propose StruPO, a structure-aware prompt editor that uses a calibrated scene graph as a shared representation for policy conditioning and image-grounded supervision. The graph exposes what should be preserved, while deletion, reordering, and insertion provide a token-aligned way to modify the prompt. This turns structural feedback from an external critique into a training signal for a reusable editing policy. Learning from that signal requires handling both uncertain grounding and stochastic image generation. StruPO retains grounding confidence through smooth reward shaping and averages multiple images for each edit before computing group-relative advantages. Experiments span three disjoint 2K-prompt test sets and four frozen generation backbones, with comparisons to learned prompt optimizers, iterative structural feedback, diffusion-model fine-tuning, and inference-time attention control. StruPO improves the faithfulness—aesthetics trade-off, with consistent gains in relational fidelity. Independent automatic evaluators and a 15-annotator study provide complementary evidence, and human preference margins increase with relation complexity. Controlled ablations connect these gains to graph conditioning, local editing, and image-grounded learning. The resulting policy produces reusable optimized text in one pass after graph calibration, without an iterative critique—rewrite loop.

中文摘要

摘要：提示优化应在不改变用户请求的场景的前提下，改善用户获得的图像。然而，即使全局文本-图像相似性保持较高，风格化的重写也可能削弱对象属性和关系。我们提出了StruPO，一种结构感知的提示编辑器，它使用校准的场景图作为策略调控和图像监督的共享表示。场景图展示了应当保留的内容，而删除、重排和插入提供了一种与标记对齐的方式来修改提示。这将外部评论的结构化反馈转化为可重复使用的编辑策略的训练信号。基于该信号的学习需要处理不确定的定位和随机的图像生成。StruPO通过平滑的奖励塑造保持定位置信度，并在计算组相对优势前对每次编辑生成的多张图像进行平均。实验覆盖了三个互不重叠的2K提示测试集和四个固定的生成骨干网络，并与学习型提示优化器、迭代结构反馈、扩散模型微调及推理时注意力控制进行了比较。StruPO改善了忠实性与美学的权衡，并在关系保真度上实现了持续提升。独立自动评估器和由15名标注者进行的研究提供了互补证据，人类偏好幅度随关系复杂度增加。控制性消融实验将这些提升与图结构调控、本地编辑和图像监督学习联系起来。所得到的策略在图校准后可一次性生成可重复使用的优化文本，无需迭代的评论-重写循环。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36146 (HTTP 429)

Authors: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36146.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36146

Published: 2026-10-30T02:56:50.985Z

7. Don’t Pick a Winner: Knowledge Conflicts Need a Prior, Not a Rule

Abstract:A retrieval-augmented language model answers from two sources, the retrieved context and its own knowledge, and the two disagree whenever the context is incomplete or wrong. Existing methods settle the disagreement with a rule fixed at design time: follow the context, amplify it in proportion to how far it moves the model, or trust the model’s memory. Each rule is confidently wrong in some deployment. In a decision-theoretic model of two sources, the score of any fixed rule is linear in the share of reliable contexts while the best attainable score is convex, so every fixed rule is beaten wherever it is not exactly optimal; and a symmetric divergence between the two sources, the signal adaptive decoding uses, carries no information about which one is right. Resolving a conflict therefore needs two inputs that no existing method keeps: evidence about each source separately, and a prior on how often the context is right. We test these claims on GRACE, a benchmark that intervenes on the knowledge-graph context of a fixed question, so that what the model knows, what the context says and what is true are measured separately. There, every baseline from four families is strong on right contexts or on wrong ones, never on both. We then build the two inputs: the model states its knowledge as notes, a small policy voices each note with a calibrated confidence, a reader answers in two voices, and a selector commits or abstains under a prior $\pi$ applied as an exact prior shift. With $\pi$ set to the true share of right contexts, the system is above the best baseline at every mixture of GRACE contexts, by up to 26 points. Its overall score is 45.3 and 35.0 (Qwen3.5-35B-A3B, Llama-3.1-8B), against 29.4 and 27.5 for the best baseline. On preregistered ClashEval it beats same-backbone CK-PLUG and TCR by 12 and 26 points. Where the model lacks the knowledge, the gains vanish, as the theory predicts.

中文摘要

摘要：检索增强语言模型从两个来源回答：检索的上下文和自身知识，当上下文不完整或错误时，两者会存在分歧。现有方法解决设计时固定规则的分歧：遵循上下文，按移动模型的程度放大，或信任模型记忆。每种规则在某些部署中都是明确错误的。在两个来源的决策理论模型中，任何固定规则的得分在可靠上下文中是线性的，而最佳可达分数是凸的，因此每个固定规则在不完全最优的地方都会被击败;信号自适应解码所用的两个来源之间的对称背离，不包含哪一条正确的信息。因此，解决冲突需要两个输入，而现有方法都不保留：分别关于每个来源的证据，以及上下文正确频率的先验。我们在GRACE上测试这些主张，GRACE是一个基准测试，该基准会介入固定问题的知识图谱上下文，从而分别测量模型所知、上下文所说和真实。在那里，四个族的每个基线在正确的语境上都强或在错误的语境上强，绝不会同时在两者上。然后我们构建两个输入：模型以笔记形式陈述其知识，一个小型策略以校准置信度表达每个音符，读者以两个声音回答，选择器根据先前应用的精确先验偏移来承诺或放弃。当$\pi$设置为正确上下文的真实份额时，系统在每种GRACE上下文混合中都比最佳基线高出最多26个百分点。其总体得分分别为45.3和35.0（Qwen3.5-35B-A3B，Llama-3.1-8B），而最佳基线分别为29.4和27.5。在预注册的ClashEval中，它以12点和26点优势击败了同骨干的CK-PLUG和TCR。模型缺乏知识时，正如理论预测的那样，收益将消失。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36169 (HTTP 429)

Authors: Minh Pham Van, Cong Tran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36169.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36169

Published: 2026-10-30T02:56:50.985Z

8. Learning Human Sports Motion Feasibility via Quantile Regression on Tracking Data

Abstract:We study time-to-arrival (TTA) in sports: the shortest plausible time a player needs to reach an arbitrary location on the pitch given their current kinematic state, estimated as the lower envelope of observed locomotion times. Rather than modeling space ownership through position density estimation or closed-form physics-based models, we cast TTA as a conditional quantile regression problem, estimating the lower quantile of locomotion time so the model learns a player’s lower-envelope arrival time. We train the model on optical tracking data from all 64 matches of the PFF FC FIFA World Cup 2022 dataset, and evaluate a lightweight multilayer perceptron against six player-motion models from the literature, re-expressed as TTA predictors, and a learned reachable- hull baseline. Across our evaluation metrics, the MLP consistently outperforms every physics-based baseline. To probe the generality of the learned locomotion model, we further evaluate it on basketball tracking data and a single-game NFL tracking dataset, analyzing the transferability of player motion dynamics across sports. Our project is available at this https URL.

中文摘要

摘要：我们研究体育运动中的到达时间（TTA）：基于球员当前的运动学状态到达场上任意位置所需的最短可行时间，该时间估计为观察到的运动时间的下包络线。我们没有通过位置密度估计或基于物理的封闭形式模型来建模空间占有，而是将TTA问题转化为条件分位回归问题，估计运动时间的下分位数，从而使模型学习球员的下包络到达时间。我们使用PFF FC FIFA 2022世界杯数据集中所有64场比赛的光学跟踪数据训练模型，并将一个轻量级多层感知机（MLP）与文献中的六种球员运动模型（重新表达为TTA预测器）及一个学习到的可达区域基线进行比较。在我们的评估指标中，MLP始终优于所有基于物理的基线模型。为了探讨所学运动模型的通用性，我们进一步在篮球跟踪数据和单场NFL跟踪数据上进行评估，分析球员运动动态在不同体育项目间的可迁移性。我们的项目可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36183 (HTTP 429)

Authors: Marc Gutiérrez-Pérez, Antonio Agudo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36183.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36183

Published: 2026-10-30T02:56:50.985Z

9. Skill Dreaming: Evolving Repository Skills through Pull Request Streams

Abstract:Large language model (LLM) agents increasingly rely on reusable skills for complex software engineering tasks, making skill libraries essential for repository development and maintenance. However, repository-specific skills must evolve with changing code structures, implementation conventions, and maintenance requirements. Pull requests (PRs) provide a natural source of such knowledge by recording how repositories evolve through implementation and review. Meanwhile, new PRs must follow repository-specific implementation patterns, modify related components consistently, and ensure that existing tests continue to pass while adding coverage for new functionality. This creates a mutually reinforcing cycle: PRs provide knowledge for updating skills, while these skills improve future PRs, maintain repositories, and support further skill evolution. To enable this co-evolution of PRs, repositories, and skills, we propose Skill Dreaming, a framework that learns from PR streams to guide continuous repository development and maintenance. Given a repository and its PR history, Skill Dreaming builds a repository-specific skill library by extracting executable knowledge from validated PRs and continuously refines the skills as new PR information becomes available. These skills guide coding agents not only in implementing requested features but also in maintaining associated tests, documentation, compatibility, and repository conventions. By integrating PR analysis, skill management, code execution, and continuous integration, Skill Dreaming provides an end-to-end workflow for applying learned skills to repository changes and incorporating subsequent PR outcomes into future skill updates.

中文摘要

摘要：大型语言模型（LLM）代理越来越依赖可重复使用的技能来完成复杂的软件工程任务，这使得技能库对于代码库的开发和维护至关重要。然而，特定代码库的技能必须随着代码结构、实现约定和维护需求的变化而发展。拉取请求（PR）提供了这种知识的自然来源，因为它记录了代码库通过实现和审查的演变过程。与此同时，新PR必须遵循特定代码库的实现模式，一致地修改相关组件，并确保在添加新功能覆盖的同时，现有测试仍能通过。这形成了一个相互促进的循环：PR为更新技能提供知识，而这些技能又改善了未来的PR，维护代码库，并支持技能的进一步演变。为了实现PR、代码库和技能的共同进化，我们提出了Skill Dreaming框架，该框架从PR流中学习，以指导代码库的持续开发和维护。在给定代码库及其PR历史的情况下，Skill Dreaming通过从已验证的PR中提取可执行知识构建特定代码库的技能库，并随着新PR信息的出现不断优化这些技能。这些技能不仅引导编码代理实现所需功能，还指导其维护相关测试、文档、兼容性和代码库约定。通过整合PR分析、技能管理、代码执行和持续集成，Skill Dreaming提供了一个端到端工作流程，用于将学到的技能应用于代码库的变化，并将随后PR的结果纳入未来的技能更新。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36188 (HTTP 429)

Authors: Xinyuan Song, Hasibul Haque, Jay Somasundaram, Ryan Turner, Bowen Zhu, Liang Zhao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36188.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36188

Published: 2026-10-30T02:56:50.985Z

10. MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge

Abstract:Requirements engineering (RE) is foundational to systems engineering (SE), as requirement defects can propagate downstream and adversely affect development outcomes. Although large language models (LLMs) are promising for requirement quality assessment, prior work shows that off-the-shelf models miss a large share of expert-identified defects, perform unevenly across quality criteria, and vary across executions. This study investigates whether infusing expert-derived SE knowledge can improve LLM-based requirement quality evaluation beyond off-the-shelf capability. We present MARQ, a modular, LLM-agnostic prototype that supplements LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria and evaluated against off-the-shelf baselines on an expert-labeled NASA requirement set using Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B, with 100 executions per model. MARQ achieves median F1 scores of 0.80 for Claude Opus 5, 0.62 for GPT-5.6 Sol, and 0.53 for Gemma 3 12B, compared with off-the-shelf baselines of 0.55, 0.52, and 0.18, respectively. However, the nature of these gains is model-dependent. Claude Opus 5 improves defect detection and false-alarm control; GPT-5.6 Sol gains detection and better execution-level consistency at the cost of more false alarms; and Gemma 3 12B reaches the performance of off-the-shelf proprietary models, although it remains highly variable. Criterion-level analysis shows gains concentrated in Correctness and Conformance, trade-offs between misses and false alarms within individual criteria, and model-dependent responses across several criteria. These findings position SE knowledge infusion as a promising model-agnostic pathway for strengthening trustworthy LLM-based RE support while underscoring the need for criterion-specific interventions and human-in-the-loop review.

中文摘要

摘要：需求工程（RE）是系统工程（SE）的基础，因为需求缺陷可能向下游传播，并对开发结果产生不利影响。尽管大型语言模型（LLM）在需求质量评估方面具有潜力，但已有研究表明，现成模型遗漏了大量专家识别的缺陷，在不同质量标准上的表现不均，并且执行结果存在波动。本研究探讨了注入专家衍生的SE知识能否在现成模型的基础上提升基于LLM的需求质量评估。我们提出了MARQ，一种模块化、LLM无关的原型，它通过特定标准的知识栈补充LLM，实现了INCOSE需求质量标准，并在专家标注的NASA需求集上使用Claude Opus 5、GPT-5.6 Sol以及开源权重的Gemma 3 12B进行了评估，每个模型执行100次。MARQ实现的中位F1分数分别为Claude Opus 5的0.80、GPT-5.6 Sol的0.62和Gemma 3 12B的0.53，而现成模型的基线分别为0.55、0.52和0.18。然而，这些提升的性质依赖于模型。Claude Opus 5在缺陷检测和误报控制方面有所改善；GPT-5.6 Sol在检测率和执行级一致性方面取得提升，但代价是更多的误报；Gemma 3 12B达到了现成专有模型的性能，尽管仍然波动较大。按标准分析显示，提升集中在正确性和符合性上，单个标准内存在遗漏与误报的权衡，并且在多个标准上表现出模型依赖的响应。这些发现表明，SE知识注入是一条有前景的、与模型无关的途径，可增强可信的LLM需求工程支持，同时强调了对特定标准的干预和人工参与审查的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36234 (HTTP 429)

Authors: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36234.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36234

Published: 2026-10-30T02:56:50.985Z

Evaluation Domain Papers

1. Counting the Bandages: On measuring the time that AI saves

中文摘要

摘要：我思考了人工智能辅助节省时间意味着什么。我对比了一种计时器视角，在这种视角下，节省的时间就是时钟记录的时间，与一种账本视角，在这种视角下，它是一种反事实，必须与工作留下的错误一起阅读，并且我支持后者。论证分为四部分。我定义了一对无模型的量——节省时间和多余的未发现缺陷，以及从它们构建的一个决策数：盈亏平衡缺陷成本。我给出了一个检查的基准模型，在该模型中，除非模型足够好以至于不需要检查，否则经过校准的工作人员的未发现缺陷率不取决于模型好坏；检查时间随模型错误率的对数增长；过度信任以更大的总时间成本在时钟上节省分钟。我展示了随机研究可以和不可以识别的内容，并从公开数据中复制了METR的开发者研究：相同的246个问题根据估计量支持19%或24%的减速（未调整偶然不平衡时为34%），AI在其中的某些问题上提供了3%到82%的帮助。最后，我重述了已发表的记录，用明确界限代替导入的点假设。在GDPval自己每个输出都要审查的工作流程中，仅审查时间就将GPT-5的加速上限限制在3.6倍；前沿之外的顾问更快，但更容易出错。最后，我在一个小型预先规定的实验中测试了模型的两个预测，该实验针对AI审阅者检查与模型训练数据收集后生成的SEC文件构建的同类简报的AI草稿。当告知审稿人的真实错误率时，审稿人随着错误率上升而检查更多，但采取全有或全无的方式，在其提示的成本盈亏平衡处切换。当告知撰稿人的错误率比实际低十倍时，它检查了9个图表中的7个较少，并在22.5%的简报中让一个错误图表通过，而不是完全没有：更快但更差，完全因为减少了努力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35942 (HTTP 429)

Authors: Solomon Shalom Lijo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35942.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35942

Published: 2026-10-30T02:57:15.305Z

2. Enhancing Deep Learning Model Performance through Data Generation Strategies: Classification of Olive Tree Diseases

中文摘要

摘要：深度学习模型在广泛的领域中表现出极高的效能，尤其是在植物病害诊断方面。然而，它们的性能通常受到数据不足和类别不平衡等挑战的限制。在我们的工作中，我们提出了一种全面的数据生成策略以克服这些限制。首先，我们应用各种数据生成技术，包括传统的数据增强方法、CutMix、MixUp，以及使用深度卷积生成对抗网络（DCGANs）生成的合成图像，来创建新的数据样本。其次，我们在三个场景中利用这些生成的数据：（S1）平衡原始数据集中的类别分布，（S2）增加每个类别的样本数量，以及（S3）在保持类别平衡的同时扩展数据集。第三，我们使用具有预训练和微调权重的EfficientNetV2B0架构评估这些数据分布（S1、S2、S3）对模型性能的影响。实验结果显示分类准确率显著提高，强调了数据多样性和类别平衡的重要作用。这些发现突显了所提出的数据生成与分布策略在提升数据集质量方面的有效性和可适应性，为植物病害检测和精准农业提供了有前景的应用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35984 (HTTP 429)

Authors: Hicham El Akhal, Abderrahim Waga, Aissa Ben Yahya, Abdelbaki El Belrhiti El Alaoui

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.35984.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35984

Published: 2026-10-30T02:57:15.305Z

3. The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

中文摘要

摘要：多模态智能可以被视为通过交互实现的世界与智能体之间的人类指导共演化。然而，扩大这一过程面临两个瓶颈：构建异构、可验证的环境成本高昂，以及人工改进迭代无法跟上任务多样性和复杂性的增长。一个关键见解是，不同模态和表面形式的任务可以共享相同的底层能力需求。因此，我们引入了“The Trinity”，一个递归自我改进框架，通过三种角色——创造者（Creator）、探索者（Explorer）和演化者（Evolver）——将世界生成与改进迭代（Harness evolution）耦合。借助已验证的执行轨迹，Evolver 将任务组织的基础从表面类别转向共享需求，将原始任务树重组为层次化能力树。我们提出了基于能力的 Real2Sim2Real：对于同一节点的异构任务，创造者将其共同需求抽象为简化的、可验证的模拟世界以进行能力学习，同时在原始任务上的评估用于衡量迁移能力。在这一能力树上，探索者通过选择性继承逐步演化可复用能力模块，形成改进迭代树（Harness tree），其验证过的更新在固定拓扑结构内逐步积累。生成的改进迭代在不同能力上实现了专门化，从而促使形成能力感知的改进路由器（Capability-Aware Harness Router），利用公共任务信息从树中选择兼容的模块配置。我们演化出的改进迭代在28个训练基准测试中的平均性能提升34分，在18个未见基准测试中的平均性能提升26分，包括两个现实世界的具身任务。

LLM Analysis

h_n = π(x_n, C, R(x_n, M_n), S(M_n))

该机制在冻结的能力树与版本化 Harness 池上运行，无需访问未见任务的能力标签，即可实现任务到 Harness 的动态匹配，避免了单一全局 Harness 的内在冲突。 —- ### 总结通过上述设计，The Trinity 将原本碎片化的任务特定优化，转化为在**固定拓扑的能力树上对可复用模块的递归进化**。Creator 提供低成本、高保真的仿真课程，Explorer 通过选择性继承累积验证有效的更新，Evolver 则确保整个系统始终围绕“共享能力需求”这一语义基础进行组织与改进，从而实现了跨模态、跨任务的 Harness 自我改进与泛化。 Q4: 论文做了哪些实验？论文在第4节（Experiments）中设计并执行了六组实验，系统验证能力驱动递归自我改进的有效性。实验基于 **28个训练基准** 与 **18个未见基准**（含两个真实世界具身任务），所有变体共享冻结的 Claude Opus 5 骨干与初始 Base Harness H0 。以下按实验目标分述： —- ### 1. 实验设置（Experimental Setup） - **基准集**：28个训练基准与18个未见基准，涵盖规则发现、约束求解、感知控制、多智能体交互与长程环境五大领域。其中9个训练环境由智能体通过网络搜索从公开规则重建。 - **评估协议**：Train 使用每个基准的固定代表性实例集；Unseen 使用官方评估集或固定子集。每个 Harness 在正式评估前执行 **5次准备试验**，将轨迹固化为技能。 - **对比基线**：在 Unseen 部分基准上报告了 Codex 与 DeepSeek 参考 Harness 的性能。 —- ### 2. 能力驱动组织的验证（Capability-Driven Organization）该实验验证“按能力需求重组任务”相较于“任务特定”或“全局统一”组织的优势。 #### 2.1 模块与技能的初步比较通过消融实验（Table 2）检验 evolved modules 与 skills 的独立及联合贡献： | 方法 | 模块 | 技能 | Train | Unseen | |———|———|———|———-|————| | Base ( H_0 ) | × | × | 39.06 | 37.45 | | Module Only | ✓ | × | 56.95 | 47.26 | | Skill Only | × | ✓ | 58.86 | 48.67 | | Ours ( H^((1)) ) | ✓ | ✓ | **63.80** | **53.53** | 联合使用模块与技能显著优于单独使用，表明二者互补。 #### 2.2 不同组织方式的对比比较六种 Harness 与训练课程的组织形式（Table 3）： | 方法 | 课程 | # Harness | # Env. | Train | Unseen | |———|———|—————-|————|———-|————| | Base ( H_0 ) | — | — | — | 39.06 | 37.45 | | Global Real | 原始任务 | 1 | 28 | 53.04 | 42.92 | | Task-Domain Real | 原始任务 | 15 | 15 | 51.17 | 40.82 | | Capability-Domain Real | 原始任务 | 6 | 6 | 49.25 | 39.43 | | Capability Tree (Real) | 原始任务 | 10 | 11 | 53.44 | 42.31 | | **Capability Tree (Sim)** | **仿真世界** | **10** | **11** | **56.95** | **47.26** | 关键发现： - **Capability Tree (Sim)** 在仅使用 10 个 Harness 与 11 个仿真环境的情况下，达到最高的模块级性能（56.95 / 47.26），且推理成本最低（514.42M / 549.07M tokens）。 - 相比扁平的领域分组（Capability-Domain），层次化能力树通过选择性继承获得 **+4.19 / +2.88** 点的提升；引入 Creator 生成的仿真课程后，进一步获得 **+3.51 / +4.95** 点的增益。 - 训练成本分析（Figure 4）显示，Creator 的环境构建成本在首次迭代占主导，后续复用可摊销该开销；Explorer 在固定轨迹量下仍持续提升性能，说明能力聚焦的环境提供了更清晰的进化信号。 —- ### 3. 递归自我改进的持续性（Recursive Self-Improvement）在固定能力树拓扑、基准划分、能力需求与骨干模型的条件下，追踪从 Base（Iteration 0）到 Iteration 4 的性能演化。 - **聚合性能**（Figure 6）： - Train 均值从 **39.1** 提升至 **73.2**（+34.1 点） - Unseen 均值从 **42.1** 提升至 **64.1**（+22.0 点） - 首代增益最大，但 Iterations 2–4 仍分别带来 **+9.4**（Train）与 **+6.4**（Unseen）的额外提升。 - **基准级演化**（Figure 5）：28个训练基准与18个未见基准的逐轮径向条形图显示，多数基准随迭代单调或持续提升。例如： - ARC-AGI-3：41.0 → 53.6 - SciGym：45.2 → 57.1 - BuildArena：93.3 → 97.8 - 部分基准（如 Mastermind）在 Iteration 1 即达瓶颈（88.9），而 Eleusis 出现轻微回落（82.2 → 81.1）。 - 最终 Unseen 均值超越了 Codex（47.5）与 DeepSeek（46.2）参考线。 —- ### 4. 能力感知 Harness 路由（Capability-Aware Harness Routing）在 Iteration-4 的 Explorer Harness 树上，比较五种路由配置（Table 4）： | 方法 | 能力定义 | 执行经验 | Train | Unseen | |———|—————|—————|———-|————| | Random | — | — | 52.74 | 46.23 | | Agent Self-Routing | × | × | 65.79 | 52.36 | | Agent Self-Routing | ✓ | × | 70.34 | 58.27 | | **Agent Self-Routing** | **✓** | **✓** | **71.27** | **60.96** | | Oracle | — | — | 73.16 | 63.61 | - 完整自路由配置（含能力定义与检索经验）在 Train 与 Unseen 上分别达到 **71.27** 与 **60.96**，接近 Oracle 上限（73.16 / 63.61）。 - 显式引入能力定义带来 **+4.55 / +5.91** 点的提升；进一步加入历史执行经验带来额外 **+0.93 / +2.69** 点。 - 结果表明，能力树提供了将任务需求语义匹配到 Harness 配置的有效基础。 —- ### 5. 能力–模块关系分析（Capability–Module Relationships） #### 5.1 能力–协议相关性通过 Iteration-4 的 29 个模块，计算六种共享能力（PST、HCI、CFR、GVT、VEA、VC）与六种 Harness 协议（Perception、Memory、Inference、Planning、Orchestration、Loop）的相关系数（Figure 7）。最强正相关包括： - HCI 与 Inference：**0.744** - GVT 与 Loop：**0.444** - VEA 与 Perception：**0.347** 最显著负相关为 GVT 与 Perception（**−0.361**）、PST 与 Loop（**−0.313**），揭示了不同能力在协议层面的分化模式。 #### 5.2 受控模块干预在 Train 上执行模块增删实验（Table 5）： | 方法 | Train 得分 | 相对 Base 变化 | 推理 Tokens (M) | |———|—————-|———————-|————————| | Base ( H_0 ) | 39.06 | — | 582.54 | | + irrelevant module | 40.08 | **+1.02** | 583.37 | | + relevant module | 58.45 | **+19.39** | 551.85 | | Ours ( H^((4)) ) | 73.16 | — | 496.70 | | − relevant module | 70.42 | **−2.74** | 517.26 | - 向 Base 添加**相关**模块带来 **+19.39** 点的大幅提升，而添加**无关**模块仅提升 **+1.02**。 - 从成熟 Harness 中移除一个已安装的相关模块导致性能下降 **−2.74** 且推理成本上升。 - 该实验为“基于任务能力需求指导模块选择与组合”提供了经验支持。 —- ### 6. 具身迁移验证（Embodied Transfer）将能力树上对应节点（ d to a ）进化得到的 Harness 配置，通过 Real2Sim2Real 迁移到两个真实世界机器人任务： | Harness | SOON (Sim) | CaP-X (Sim) | SOON (Real) | CaP-X (Real) | |————-|—————-|——————-|——————-|———————| | H_0 | 0% | 10% | 0% | 0% | | H^((1)) | 20% | 20% | 20% | 20% | | H^((2)) | 20% | 30% | 20% | 20% | | H^((3)) | 80% | 40% | 60% | 40% | | H^((4)) | **80%** | **60%** | **60%** | **60%** | - **SOON**（Unitree G1 导航至风扇旁书桌并触及）：仿真成功率从 0% 提升至 80%，真实机器人从 0% 提升至 60%。 - **CaP-X**（AlohaMini2 揭开杯子报告隐藏方块）：仿真从 10% 提升至 60%，真实机器人从 0% 提升至 60%。 - 两个任务均在 H^((1)) 即达到 20% 的真实机器人成功率，表明能力驱动的节点级模块进化能够有效支撑任务特定技能学习，并迁移至物理环境。 —- ### 实验结论上述实验共同支持了以下核心论断： 1. **能力驱动组织优于任务驱动**：以能力树重组任务并配合仿真课程，可在更少环境与更低推理成本下实现更优的跨任务泛化。 2. **递归改进具有持续性**：在固定能力树与骨干模型上，多轮迭代仍能持续提升性能，验证仿真环境提供了可持续的能力精炼空间。 3. **能力语义支撑路由与模块设计**：能力先验可有效指导 Harness 选择与模块配置，且受控干预证实了相关模块对性能的关键 Q5: 有什么可以进一步探索的点？基于论文第7节的讨论（Discussion）及方法论设计，以下是可以进一步探索的研究方向： —- ### 1. 从 Harness 层面扩展到模型参数层面的能力驱动自我改进论文明确指出，当前研究主要聚焦于 Harness（控制框架）层面的递归自我改进，而 **将能力驱动范式扩展至模型参数训练** 是一个关键的下一步。具体而言，可探索： - 能力感知路由与 RSI 形成闭环， jointly 驱动能力发现、获取与精炼； - 在固定或部分可训练的网络参数上，针对能力树节点进行模块化参数微调（modular fine-tuning），实现 Harness 架构与骨干模型能力的协同进化。 —- ### 2. 能力树的动态演化与新兴能力发现当前能力树在训练前由 Evolver 基于训练基准固定构建，拓扑在后续迭代中保持不变。未来可研究： - **动态扩展机制**：在面临新任务流或分布外任务时，自动识别现有能力树未覆盖的**新兴能力需求**，并触发节点的自动分裂、合并或新增； - **能力本体的自动归纳**：减少对人类评审员整合能力类别（judge consolidation）的依赖，发展完全自动化的、基于大规模轨迹数据的能力本体学习。 —- ### 3. 基准与环境自动发现的鲁棒性提升论文提及当前框架依赖智能体进行网络搜索以发现基准，但**检索覆盖率与结果质量因查询而异**。值得探索的方向包括： - 设计更可靠的自动基准采集管道，例如通过多源验证、社区驱动更新或自动规则提取与形式化验证； - 提升 Creator 生成仿真世界时的**自动验证与可重复性**，降低对主机私有验证器（host-private verifiers）的人工设计依赖。 —- ### 4. 能力–模块映射的内部机制与可解释性论文通过相关性分析（Figure 7）和模块干预实验（Table 5）建立了能力需求与模块功能之间的经验关联，但尚未揭示其深层机制： - 可进一步开展**细粒度的因果干预与反事实分析**，量化特定模块对不同能力维度的边际贡献； - 探索模块在模型内部激活层面的**神经基础**（neural basis），理解为何某些能力强烈依赖 Memory 或 Inference 协议。 —- ### 5. Creator 与 Explorer 的紧耦合联合优化目前 The Trinity 中 Creator 与 Explorer 沿相同能力树分别进化，通过验证反馈松散耦合。未来可探索： - **环境与 Harness 的端到端联合优化**：将世界生成与 Harness 更新置于统一的优化目标下，例如通过可微分或强化学习的方式，使 Creator 直接根据 Explorer 的学习效率调整课程难度与形式； - 在更长的 RSI 周期中，研究环境复杂度、Harness 容量与任务性能之间的**Pareto 前沿**。 —- ### 6. 路由策略的自适应与在线学习 Capability-Aware Harness Router 当前依赖基于余弦相似度的经验检索与固定策略代理选择。进一步的研究可包括： - 将路由问题形式化为**上下文 bandit 或强化学习问题**，使 Router 能在部署过程中根据实时反馈自适应调整选择策略； - 探索**分层路由**：在能力树的高层进行粗粒度 Harness 选择，在叶节点进行细粒度模块组合，以降低路由决策的搜索空间与计算开销。 —- ### 7. 大规模具身智能体部署的安全、验证与泛化论文在 SOON 与 CaP-X 两个真实机器人任务上验证了具身迁移，但更大规模的物理部署仍需解决： - **安全约束下的能力迁移**：如何在能力进化过程中形式化地编码安全规范（如碰撞避免、力限制），并确保这些约束在 Real2Sim2Real 过程中不被破坏； - **跨本体（cross-embodiment）迁移**：验证在能力树上习得的模块是否能迁移到具有不同动作空间与感知模态的物理平台。 —- ### 8. 多智能体协作场景下的能力分解与协同进化当前框架主要围绕单智能体与环境的交互展开。在**多智能体交互**（如 Among Us、Hanabi 等）日益重要的背景下，可进一步研究： - 将联合能力需求（如对手建模、通信协议、团队策略）分解为可复用的**多智能体能力模块**； - 多个智能体是否能在共享或分布式的能力树上**协作进化**，各自专攻互补能力并通过交互提升整体性能。 Q6: 总结一下论文的主要内容这篇论文提出 **The Trinity**，一个面向多模态智能体的**能力驱动递归自我改进（Capability-Driven Recursive Self-Improvement, RSI）**框架，旨在解决大规模异构任务下环境构建成本高、Harness 迭代效率低以及跨任务泛化不足的问题。 ### 1. 核心问题与洞察当前多模态智能体的扩展面临双重瓶颈： - 构建大规模、异构且可验证的训练环境成本高昂； - 现有 Harness（控制框架）的自我改进多聚焦于文本任务，且采用**任务特定优化**，导致 Harness 过拟合、碎片化，难以泛化到跨模态的异构任务。论文的核心洞察是：**不同模态和表面形式的任务可能共享相同的基础能力需求**。例如，ARC-AGI-3 与 Micromouse 均依赖精确的感知与状态跟踪。因此，应将 Harness 的组织与优化从“任务驱动”转向**“能力驱动”**，以共享能力需求作为学习的基本单元。 ### 2. The Trinity 框架框架通过三个协同角色，将世界生成与 Harness 进化耦合在统一的能力层级上： - **Evolver**：从训练任务的规范与验证执行轨迹中提取能力需求，将任务按共享能力重新组织为**层次化能力树**（Hierarchical Capability Tree）。给定能力类别集合 K ，每个任务 τ 的需求子集 Kτ ⊂eq K 经固定序 prec 排序后形成路径 pτ = sort_prec(Kτ) ，所有任务路径经 Trie 合并得到能力树：

T = Triepτ : τ ∈ B(tr)

**Creator**：针对能力树上同一节点的异构任务，将其共同决策逻辑抽象为简化、可验证的仿真训练世界，实现 **Capability-Driven Real2Sim2Real**。这些仿真世界排除了目标任务的私有布局与解迹，保留核心决策过程；智能体先在仿真环境中学习，再于原始任务上评估能力迁移。 - **Explorer**：沿能力树进化** Harness 树**。每个节点 v 在第 i 轮迭代维护一个 Harness：
H_(E,v)^((i)) = P_v^((i)) oplus L_v^((i))
其中 P_v^((i)) 为从父节点**选择性继承**的模块， L_v^((i)) 为本地细化的模块。继承遵循严格性能验证：仅当父节点更新版本在相同验证任务上取得严格更高的任务完成率时才被采纳。每轮结束时，Creator 将所有节点验证通过的模块提案合并、去重，形成下一轮共享的 Base Harness。此外，论文提出 **Capability-Aware Harness Router**，利用公开任务信息与已验证的执行经验，为每个任务从 Harness 树中选择兼容的模块配置，避免单一全局 Harness 的内在冲突。 ### 3. 实验与结果论文在 **28 个训练基准**与 **18 个未见基准**（涵盖规则发现、约束求解、感知控制、多智能体交互、长程环境，包括两个真实世界具身任务）上进行了系统评估： - **能力驱动的组织优越性**：对比全局单一 Harness、任务域分组与扁平能力域分组，**Capability Tree + Sim**（基于 Creator 仿真世界）在仅使用 10 个 Harness 和 11 个环境的情况下，达到最优的模块级性能（Train 56.95 / Unseen 47.26），且推理成本最低，验证了“以能力重组任务 + 简化仿真课程”的高效性。 - **递归自我改进的持续性**：在固定能力树拓扑与冻结骨干模型（Claude Opus 5）上，经过 4 轮迭代，Train 平均性能从 39.1 提升至 **73.2**（+34.1），Unseen 从 42.1 提升至 **64.1**（+22.0）。首代增益最大，但后续迭代仍持续带来显著提升。 - **能力感知路由的有效性**：在完整路由配置（能力定义 + 执行经验）下，Agent Self-Routing 在 Train/Unseen 上分别达到 **71.27 / 60.96**，接近 Oracle 上限（73.16 / 63.61），证明能力树为 Harness 选择提供了可靠的语义基础。 - **能力–模块关系的经验证据**：向 Base Harness 添加**相关**模块带来 **+19.39** 点性能提升，而添加无关模块仅提升 **+1.02**；从成熟 Harness 中移除相关模块则导致性能下降，支持了“按任务能力需求配置模块”的设计先验。 - **具身迁移**：将能力树上进化得到的 Harness 迁移至 Unitree G1（SOON）与 AlohaMini2（CaP-X）真实机器人任务。经过 4 轮迭代，SOON 真实机器人成功率从 0% 提升至 **60%**，CaP-X 从 0% 提升至 **60%**，验证了能力进化在物理环境中的可迁移性。 ### 4. 核心贡献论文的主要贡献可概括为： 1. **能力驱动的多模态 RSI**：首次将共享能力需求作为 Harness 进化的组织原则，通过 Real2Sim2Real 生成紧凑训练世界，构建可复用的模块式 Harness 树，并实现能力感知的动态路由。 2. **能力–模块先验**：建立了任务级能力需求与可复用模块配置之间的经验关联，并通过受控干预验证了相关模块对性能的关键支撑作用。 3. **高效进化与跨域迁移**：证明针对共享决策逻辑的模块进化可在低进化成本下实现有效改进，并迁移至异构任务、未见基准及真实具身场景。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36077.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36077

Published: 2026-10-30T02:57:15.305Z

4. CohortFlow: A Steerable Clinical Cohort Curation Agent with Localized Semantic Correction

中文摘要

摘要：用于临床队列策展的语言模型代理应能适应不断变化的资格标准，而无需反复处理未更改的要求。我们引入了CohortFlow，一种可引导的代理，它将自然语言修正表示为对结构化队列规范的局部更新，并将其与持久的执行图进行协调。显式记录的语义依赖关系使得受影响的计算可以选择性地失效，同时保留有效的先前结果。在从临床试验资格标准衍生的100个场景中，包括126个修正回合，局部引导实现了77.0%的要求微F1，相比使用相同的8B模型进行完整再生成的76.4%，这一小幅数值优势在统计上并不显著（$p=0.493$）。它在完成后将平均修正延迟减少了64.8%，在执行过程中减少了44.3%，模型调用次数减少了38.1%。在对MIMIC进行的单独概念验证评估中，所有13个队列状态均成功执行，同时修正轨迹显示未受影响的计算被选择性保留，而更改或相关节点则重新计算。综上所述，这些结果表明，局部语义引导可以在保持较高要求级准确性的同时，大幅减少修正延迟和模型调用次数。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36100 (HTTP 429)

Authors: Neil Chen, Adrian Serapio, Hanxue Gu, Evan Lee, Kang Wang, Yang Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36100.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36100

Published: 2026-10-30T02:57:15.305Z

5. Why and How to Do Science When AI Is Better at It: A Framework Grounded in Human Understanding and Direction

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36116 (HTTP 429)

Authors: Hoda Heidari, Aydin Mohseni

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36116.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36116

Published: 2026-10-30T02:57:15.305Z

6. From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors

中文摘要

摘要：提示优化应在不改变用户所请求场景的情况下改善用户收到的图像。然而，即使全局文本—图像相似度保持高水平，风格化重写也可能削弱对象属性和关系。我们提出了 StruPO，一种结构感知的提示编辑器，它使用校准后的场景图作为策略条件和基于图像监督的共享表示。该图揭示了应保留的内容，而删除、重排和插入提供了一种与令牌对齐的方式来修改提示。这将来自外部批评的结构反馈转化为可重用编辑策略的训练信号。从该信号学习需要处理不确定的基础关系和随机图像生成。StruPO 通过平滑奖励塑造来保持基础关系的置信度，并在计算组相对优势前对每次编辑生成的多张图像进行平均。实验涵盖了三个不相交的 2K 提示测试集和四个冻结的生成主干网络，并与学习型提示优化器、迭代结构反馈、扩散模型微调以及推理时注意力控制进行了对比。StruPO 改善了忠实性与美学的权衡，并在关系保真度上实现了持续提升。独立自动评估器和 15 位标注者的研究提供了互补证据，人类偏好差距随关系复杂性增加。可控的消融实验将这些提升与图结构条件、本地编辑以及基于图像的学习联系起来。最终策略在图校准后一次生成即可产生可重用的优化文本，无需迭代的批评—重写循环。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36146 (HTTP 429)

Authors: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36146.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36146

Published: 2026-10-30T02:57:15.305Z

7. Don’t Pick a Winner: Knowledge Conflicts Need a Prior, Not a Rule

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36169 (HTTP 429)

Authors: Minh Pham Van, Cong Tran

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36169.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36169

Published: 2026-10-30T02:57:15.305Z

8. Learning Human Sports Motion Feasibility via Quantile Regression on Tracking Data

中文摘要

摘要：我们研究体育运动中的到达时间（TTA）：基于球员当前的运动学状态到达场上任意位置所需的最短合理时间，这一时间被估计为观察到的运动时间的下包络线。我们没有通过位置密度估计或闭式物理模型来建模空间占有情况，而是将TTA定义为条件分位数回归问题，估计运动时间的下分位数，从而使模型学习球员的下包络到达时间。我们在PFF FC 2022 FIFA世界杯数据集中所有64场比赛的光学跟踪数据上训练模型，并将轻量级多层感知器（MLP）与文献中六个球员运动模型（重新表达为TTA预测器）以及一个学习的可达外壳基线进行评估。在我们的评价指标中，MLP始终优于所有基于物理的基线模型。为了探究学习到的运动模型的普遍性，我们进一步在篮球跟踪数据和一场NFL比赛的跟踪数据上对其进行了评估，分析球员运动动态在不同运动间的可迁移性。我们的项目可通过此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36183 (HTTP 429)

Authors: Marc Gutiérrez-Pérez, Antonio Agudo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36183.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36183

Published: 2026-10-30T02:57:15.305Z

9. Skill Dreaming: Evolving Repository Skills through Pull Request Streams

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36188 (HTTP 429)

Authors: Xinyuan Song, Hasibul Haque, Jay Somasundaram, Ryan Turner, Bowen Zhu, Liang Zhao

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36188.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36188

Published: 2026-10-30T02:57:15.305Z

10. MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge

中文摘要

摘要：需求工程（RE）是系统工程（SE）的基础，因为需求缺陷可能向下游传播，并对开发结果产生不利影响。尽管大型语言模型（LLM）在需求质量评估方面具有潜力，但已有研究表明，现成模型遗漏了大量专家识别的缺陷，在不同质量标准上的表现不均，并且执行结果存在波动。本研究探讨了注入专家衍生的SE知识能否在现成模型的基础上提升基于LLM的需求质量评估。我们提出了MARQ，一种模块化、LLM无关的原型，它通过特定标准的知识栈补充LLM，实现了INCOSE需求质量标准，并在专家标注的NASA需求集上使用Claude Opus 5、GPT-5.6 Sol以及开源权重的Gemma 3 12B进行了评估，每个模型执行100次。MARQ实现的中位F1分数分别为Claude Opus 5的0.80、GPT-5.6 Sol的0.62和Gemma 3 12B的0.53，而现成模型的基线分别为0.55、0.52和0.18。然而，这些提升的性质依赖于模型。Claude Opus 5在缺陷检测和误报控制方面有所改善；GPT-5.6 Sol在检测能力和执行级一致性方面取得提升，但代价是更多的误报；Gemma 3 12B达到了现成专有模型的性能，尽管仍然波动较大。按标准分析显示，提升集中在正确性和符合性上，单个标准内存在遗漏与误报的权衡，并且在多个标准上表现出模型依赖的响应。这些发现表明，SE知识注入是一条有前景的、与模型无关的途径，可增强可信的LLM需求工程支持，同时强调了对特定标准的干预和人工参与审查的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36234 (HTTP 429)

Authors: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.36234.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36234

Published: 2026-10-30T02:57:15.305Z

VLM Domain Papers

1. ObjectTwin: Measuring the Asset Correspondence Gap for Capture-Anchored Digital Twins

Abstract:Object-wise reconstruction increasingly inserts generated meshes into captured scenes as editable proxies for observed objects. This use creates a requirement absent from isolated-asset scores and pose estimates: at the captured metric state, the proxy should reproduce calibrated observations of the same instance. We present ObjectTwin, a scan-grounded measurement protocol that freezes the instance, cameras, scan-projected support and recorded depth, metric anchor, and evaluation denominator, then replaces only the object representation. The resulting asset correspondence gap measures lost observation agreement relative to scan-derived visible geometry without treating the scan as complete physical ground truth. Across two indoor RGB-D capture domains and two generation backends, visible, anchored generated assets lose 0.302-0.497 MaskIoU under this replacement. Every tested scene-level estimate is positive, while same-input generator preference reverses across capture domains. Coverage and overlap-depth analyses locate disagreement in both visible support and surface placement; the evaluated conservative pose refinement does not systematically recover it. These results establish capture correspondence as a separately measurable interface between generated-asset quality and stronger physical or task-level evaluation.

中文摘要

摘要：面向对象的重建越来越多地将生成的网格插入捕获的场景中，作为可编辑的已观测对象代理。这种使用带来了独立资产分数和姿态估计中不存在的需求：在捕获的度量状态下，代理应重现同一实例的校准观测。我们提出了 ObjectTwin，一种基于扫描的测量协议，它冻结实例、摄像机、扫描投影支持和记录的深度、度量锚点以及评估分母，然后仅替换对象表示。由此产生的资产对应间隙衡量相对于扫描派生可见几何的观测一致性丢失，而不会将扫描视为完整的物理真实。跨两个室内 RGB-D 捕获领域和两个生成后端，可见、锚定的生成资产在此替换下损失 0.302-0.497 的 MaskIoU。每个测试的场景级估计均为正值，而相同输入的生成器偏好在不同捕获领域中发生逆转。覆盖率和重叠深度分析显示分歧存在于可见支持和表面放置中；评估的保守姿态优化并未系统地恢复它。这些结果将捕获对应确立为生成资产质量与更强的物理或任务级评估之间的独立可测接口。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35904 (HTTP 429)

Authors: Zhenghe Guo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35904.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35904

Published: 2026-10-30T02:57:38.515Z

2. Task-Utility IQA: Rethinking Image Quality Assessment in Embodied Tasks

Abstract:Image quality assessment (IQA) underpins embodied imaging pipelines by judging whether visual quality satisfies downstream tasks, yet most existing methods learn task-agnostic scores aligned with generic human ratings on static benchmarks. This objective mismatches embodied and interactive settings, where image adequacy depends on task goals, context, and action requirements that shape an agent’s decisions. We argue that IQA should shift from score regression to goal-conditioned judgment defined by embodied task utility. To this end, we propose an MLLM-based embodied IQA agent framework that reasons about task requirements, grounds quality evidence, and produces decision-facing assessments. A compact VisDrone evidence study shows that conventional perceptual metrics and generic MLLM-based IQA scores are weak proxies for downstream VLM task success, while a task-conditioned utility score better predicts whether visual input supports the target task. These findings support a task-utility-oriented reframing of IQA for embodied, explainable, and decision-aware visual perception.

中文摘要

摘要：图像质量评估（IQA）通过判断视觉质量是否满足下游任务，支撑了具身成像流程。然而，大多数现有方法学习与静态基准上的通用人类评分一致的任务不可知分数。这一目标与具身和交互式环境不匹配，在这些环境中，图像的适用性取决于任务目标、上下文以及影响智能体决策的操作需求。我们认为，IQA 应该从分数回归转向由具身任务效用定义的目标条件判断。为此，我们提出了一个基于 MLLM 的具身 IQA 智能体框架，该框架能够推理任务需求、建立质量证据，并生成面向决策的评估。一个紧凑的 VisDrone 证据研究表明，传统的感知指标和通用 MLLM 基于 IQA 的分数对于下游 VLM 任务的成功预测能力较弱，而任务条件效用分数则能够更好地预测视觉输入是否支持目标任务。这些发现支持将 IQA 重新框定为以任务效用为导向的具身、可解释和决策感知的视觉感知方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35905 (HTTP 429)

Authors: Jirong Zha, Yanwei Liao, Yemin Wang, Xiangmin Yi, Siqi Peng, Yingfeng Chen, Chen Gao, Xinlei Chen

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35905.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35905

Published: 2026-10-30T02:57:38.515Z

3. Physiognomy Revisited: How Vision-Language Models Encode Sensitive Attributes Through Image Transformation

Abstract:Emergent generative AI technologies, while remarkably beneficial across several tasks and domains, can suffer from unforeseen vulnerabilities and difficult-to-anticipate failure modes. Such failure modes can disparately affect vulnerable communities. This paper investigates two well-known vision language models (VLMs) and inspects how these models encode protected identities while generating images. We show that when VLMs are requested to transform human face images to reflect race identities (e.g., Hispanic, Black, White, or Asian) and sexual orientation (e.g., gay or straight), VLMs often comply with such requests. We demonstrate that compliance (and refusal) is non-deterministic, group-sensitive, and generated images are statistically distinguishable, often accentuating deep-seated stereotypes. We further show that representation biases introduced during image generation can re-emerge in textual reasoning and characterization tasks. Finally, we show that this worrisome finding is not limited to racial identity or sexual orientation, image generation can perpetuate bias around criminality, raising concerning possibilities of AI-assisted profiling.

中文摘要

摘要：新兴的生成型人工智能技术虽然在多个任务和领域中具有显著的益处，但可能存在不可预见的脆弱性和难以预测的失败模式。这些失败模式可能会对弱势群体产生不同程度的影响。本文研究了两种知名的视觉语言模型（VLMs），并检查这些模型在生成图像时如何编码受保护的身份信息。我们显示，当VLM被要求将人脸图像转换以反映种族身份（例如，西班牙裔、黑人、白人或亚洲人）和性取向（例如，同性恋或异性恋）时，VLM通常会遵从这样的请求。我们证明，遵从（以及拒绝）是非确定性的、群体敏感的，并且生成的图像在统计上是可区分的，经常强化根深蒂固的刻板印象。我们进一步表明，在图像生成过程中引入的表征偏差可以重新出现在文本推理和特性描述任务中。最后，我们显示，这一令人担忧的发现并不限于种族身份或性取向，图像生成可能会延续与犯罪相关的偏见，引发对人工智能辅助画像的担忧可能性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.35910 (HTTP 429)

Authors: Soumyajit Datta, Arka Dutta, Ashiqur R. KhudaBukhsh

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.35910.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.35910

Published: 2026-10-30T02:57:38.515Z

4. Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding

Abstract:Image and video generators can produce spatially consistent visual content, but how to use this capability to improve spatial understanding remains underexplored. We study this problem from two perspectives: geometric supervision during training and explicit geometric evidence during inference. To this end, we introduce a unified geometric understanding and generation model (GeoUG) that integrates depth and multi-view generation with spatial understanding. First, we design a multi-scale depth codec that enables metric-depth generation using a pretrained visual autoencoder, and show that joint training yields task-dependent gains in spatial understanding. Second, we introduce 3DCueBench to control geometric difficulty while balancing selected 2D cues, and find that generated depth provides larger reasoning gains on questions requiring fine-grained geometric discrimination. Building on this finding, we develop adaptive interleaved reasoning, in which GeoUG first drafts an answer and then decides whether to generate geometric evidence to confirm or revise it. We train this decision through reinforcement learning, balancing accuracy gains over retaining the draft against generation cost. GeoUG achieves circular accuracies of 97.9%, 90.8%, and 94.2% on CV-Bench-3D, 3DCueBench, and DA-2K with fewer generation calls than always generating.

中文摘要

摘要：图像和视频生成器可以生成空间一致的视觉内容，但如何利用这种能力来提升空间理解仍未被充分研究。我们从两个角度研究这个问题：训练期间的几何监督和推理期间的显式几何证据。为此，我们引入了一个统一的几何理解与生成模型（GeoUG），该模型将深度和多视角生成与空间理解结合起来。首先，我们设计了一个多尺度深度编解码器，使得能够使用预训练的视觉自编码器生成度量深度，并展示了联合训练在空间理解任务中带来的任务相关增益。其次，我们引入了3DCueBench，用于在平衡选定二维线索的同时控制几何难度，发现生成的深度在需要精细几何辨别的问题上提供了更大的推理增益。在此基础上，我们开发了自适应交替推理，其中GeoUG先草拟一个答案，然后决定是否生成几何证据以确认或修改它。我们通过强化学习训练这一决策，平衡保留草稿的准确性增益与生成成本。GeoUG在CV-Bench-3D、3DCueBench和DA-2K上的循环准确率分别达到97.9%、90.8%和94.2%，所需生成调用次数少于始终进行生成。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36022 (HTTP 429)

Authors: Rui Yang, Yanwei Li, Sili Chen, Jingjia Huang, Yi Lin, Hengshuang Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36022.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36022

Published: 2026-10-30T02:57:38.515Z

5. Any3R: Feedforward 3D Reconstruction from Any Camera Type

Abstract:Geometry foundation models recover camera poses and dense geometry from a set of images with a feed-forward network, but they expect pinhole images. That assumption is inside the backbone too: the positional encoding and the training loss both bind an image position to a direction in space, and both depend on the lens. We condition both on the dense ray field, the unit direction through every pixel, which describes any central camera without a lens type, distortion coefficients or a bound on field of view. Angular coordinates give the rotary encoding the measured ray angle of each patch, evaluated per view, and solid-angle weighting scales the point loss by the area each pixel covers on the sphere, so neither the encoding nor the supervision depends on the lens. Any3R is therefore a feed-forward model that takes any central camera, and is robust to mixing many camera types per scene, with no retraining per lens. On a benchmark of thirteen central cameras across three datasets, where every method reconstructs with its own predicted camera poses, it is the most consistently accurate method. Any3R enables scalable 3D reconstruction from heterogeneous crowdsourced and archival imagery collections sourced across diverse camera types. Project page: this https URL

中文摘要

摘要：几何基础模型通过前馈网络从一组图像中恢复相机姿态和稠密几何，但它们假定使用针孔图像。这一假设也存在于主干网络中：位置编码和训练损失都会将图像位置绑定到空间中的方向，并且两者都依赖于镜头。我们将两者都条件化到稠密光线场，即每个像素的单位方向，它能够描述任何中央相机而无需镜头类型、畸变系数或视场限制。角坐标为旋转编码提供每个补丁的测量光线角度，并在每个视图上评估，固体角加权根据每个像素在球面上覆盖的面积调整点损失，因此编码和监督都不依赖于镜头。因此，Any3R 是一个前馈模型，可以接受任何中央相机，并且在每个场景混合多种相机类型时具有鲁棒性，无需针对每个镜头进行再训练。在包含三组数据集共十三台中央相机的基准测试中，每种方法都用其预测的相机姿态进行重建，Any3R 是最稳定且准确的方法。Any3R 使得从异构众包和档案影像集合进行可扩展的 3D 重建成为可能，这些影像来自多种相机类型。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36150 (HTTP 429)

Authors: Jingong Chen, Qingwen Zhang, Youming Deng, Chulwoo Pack, Olaf Wysocki, Boris Jutzi, Kwanghee Won, Kyle Gao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36150.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36150

Published: 2026-10-30T02:57:38.515Z

6. PrinGS: Privacy Preservation in Gaussian Splatting

Abstract:3D Gaussian Splatting (3DGS) has rapidly become the preferred representation for high-fidelity novel view synthesis and 3D scene reconstruction. However, the learned representation encodes sensitive visual information including human faces, license plates, documents, and computer screens, raising significant privacy concerns when trained splats are shared or deployed. In this work, we address the underexplored problem of privacy preservation in Gaussian Splatting by proposing a representation-level anonymization framework that directly anonymizes a trained splat. Given a trained splat and a user-provided reference view identifying sensitive content, our method localizes the corresponding regions in the underlying 3D representation and directly anonymizes them, ensuring that the sensitive information is absent from all subsequently rendered novel views while preserving the overall scene geometry and visual fidelity. We achieve this post-training anonymization in less than 1 second. Furthermore, we extend our framework with a privacy-by-design training strategy that prevents sensitive content from being embedded into the representation during optimization, enabling the generation of privacy-preserving splats directly from training images. Our method achieves a remarkably low Face Similarity Measure (FSM) of 9.79% at a retained Face Detection Rate (FDR) of 39.47% and makes sensitive text completely unreadable with an OCR Character Error Rate of 1.00. Our work aims to serve as the primary stepping stone towards privacy-aware 3D representations and motivates further research along these directions.

中文摘要

摘要：三维高斯点绘制（3D Gaussian Splatting, 3DGS）已迅速成为高保真新视角合成和三维场景重建的首选表示方法。然而，学习到的表示包含敏感的视觉信息，包括人脸、车牌、文档和计算机屏幕，当训练好的点云被共享或部署时，会引发重大的隐私问题。在本工作中，我们通过提出一种表示级匿名化框架，直接对训练好的点云进行匿名化，从而解决了高斯点绘制中未充分研究的隐私保护问题。给定一个训练好的点云和用户提供的标识敏感内容的参考视图，我们的方法能在底层三维表示中定位相应区域并直接对其进行匿名化，确保所有随后渲染的新视角中不出现敏感信息，同时保留整体场景的几何结构和视觉保真度。我们在训练后可在不到1秒的时间内完成匿名化。此外，我们还在框架中扩展了基于隐私设计的训练策略，可以在优化过程中防止敏感内容被嵌入表示，使得能够直接从训练图像生成隐私保护的点云。我们的方法在保留39.47%的人脸检测率（FDR）下，实现了仅9.79%的面部相似性度量（FSM），并使敏感文本完全不可读，光学字符识别（OCR）的字符错误率为1.00。本工作旨在成为迈向隐私感知三维表示的主要基石，并推动沿这一方向的进一步研究。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36168 (HTTP 429)

Authors: Gaurav Behera, Abhinav Raundhal, Archisha Panda, Saumya Balina, Gargi Shroff, Ponnurangam Kumaraguru

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36168.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36168

Published: 2026-10-30T02:57:38.515Z

7. Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models

Abstract:Learning velocity fields directly in pixel space is difficult and slow. We show that coarse second-order image statistics can ease this task: frozen Wiener estimates improve velocity learning, with gains extending beyond the linear predictions they explicitly provide. Moreover, we observe similar but complementary gains from frozen bases and pixel decoding. These observations motivate Wiener-informed Decoding (WiD), which uses statistical knowledge both for direct prediction and to organize decoder computation without modifying native blocks. WiD combines a trainable Wiener prediction path with coefficient interfaces that inject features into the native decoder and return its predicted coefficient corrections, with these components initialized with data statistics. All introduced parameters, including the spectrum and coordinate transforms, are trained jointly under the original pixel-space velocity objective. Across model scales and decoder architectures, WiD accelerates training and improves generation quality with modest parameter overhead. It also yields smoother gradient trajectories and remains effective with representation alignment. WiD improves class-conditional and text-to-image generation across different resolutions. On ImageNet 256 x 256, PixelDiT-XL with WiD reaches FID 1.53 after 500 epochs, achieving comparable quality to PixelDiT with 37.5% fewer training epochs. Statistical denoisers contribute beyond the estimate: their computational structure can also ease pixel-space training.

中文摘要

摘要：在像素空间中直接学习速度场既困难又缓慢。我们表明，粗略的二阶图像统计可以简化这一任务：冻结的维纳估计能够改善速度学习，其收益超出了它们所明确提供的线性预测。此外，我们观察到来自冻结基和像素解码的类似但互补的收益。这些观察促使提出了维纳信息解码（WiD），它利用统计知识既用于直接预测，也用于组织解码器计算，而无需修改原生模块。WiD结合了可训练的维纳预测路径与系数接口，通过这些接口将特征注入原生解码器并返回其预测的系数修正，这些组件以数据统计初始化。所有引入的参数，包括谱和坐标变换，均在原始像素空间速度目标下联合训练。在不同模型规模和解码器架构下，WiD能够加速训练并在参数开销有限的情况下提高生成质量。它还带来更平滑的梯度轨迹，并在表示对齐时依然有效。WiD在不同分辨率下改善了类别条件生成和文本到图像生成。在 ImageNet 256 x 256 上，PixelDiT-XL 配合 WiD 在经过 500 个训练周期后达到 FID 1.53，实现了与 PixelDiT 相当的质量，同时训练周期减少了 37.5%。统计去噪器的贡献超越了估计：其计算结构同样可以简化像素空间训练。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*像素空间流模型（pixel-space flow models）中速度场学习的困难与低效问题\*\*。具体而言，其关注的核心问题与解决思路可概括如下： ### 1. 核心问题：像素空间速度学习的优化困境直接在像素空间学习速度场（velocity fields）是一项高维且困难的优化任务。去噪网络必须同时处理带有噪声的高维像素输入并学习自然图像的复杂结构，这导致训练过程缓慢且难以收敛。尽管像素空间流模型简化了生成流程（无需预训练的独立自编码器），但其本身的学习问题却变得更加艰巨。 ### 2. 关键观察：统计先验可超越显式估计论文观察到，即使仅利用自然图像的二阶统计特性构造\*\*固定的维纳（Wiener）估计器\*\*，作为解析速度基线（analytic velocity base），也能显著改善速度学习。重要的是，这种改善不仅来自于它提供了一个更好的线性预测起点，更在于它还能帮助网络\*\*更有效地组织计算以学习剩余的非线性预测\*\*（即增益超出了显式的线性响应）。 ### 3. 提出的方案：Wiener-informed Decoding (WiD) 基于上述观察，论文提出将统计估计器背后的计算结构（分析、系数调整、合成）整合到像素解码器中，而非仅将其输出作为加性基线。WiD 通过以下方式实现： - \*\*可训练的统计预测路径\*\*：利用数据二阶矩初始化，将噪声图像块变换到统计坐标，进行维纳增益调整后映射回像素空间。 - \*\*系数交互接口\*\*：将统计坐标作为额外特征注入原生解码器，并让解码器同时预测像素空间速度和系数空间的修正量。 - \*\*联合训练\*\*：所有引入的参数（包括谱估计、坐标变换）均在原始像素空间速度目标下与网络联合训练，且无需修改原有的上下文主干（backbone）架构。 ### 4. 主要成效 WiD 在多个模型尺度（B/XL）和不同解码器架构（PixelDiT、DeCo）上均展现出\*\*训练加速、生成质量提升、梯度轨迹更平滑\*\*的效果，且与表示对齐方法（REPA）兼容。例如，在 ImageNet 256×256 上，PixelDiT-XL 配合 WiD 仅需 500 个 epoch 即可达到 FID 1.53，相比原生模型节省了 37.5% 的训练轮数，参数开销仅约 1%。 Q2: 有哪些相关研究？该论文的相关研究主要集中在\*\*统计去噪\*\*与\*\*像素空间流模型\*\*两大方向，此外还涉及流匹配基础框架与生成模型训练技术。具体可归纳如下： ### 1. 统计去噪与维纳估计（Statistical Denoising）这类研究利用图像统计先验进行恢复，为本文WiD方法提供了理论基础与结构灵感： - \*\*经典维纳估计\*\*：Wiener (1949) 提出了最小均方误差意义下的线性最优估计；Kailath et al. (2000) 系统阐述了线性估计理论。 - \*\*基于统计的图像去噪\*\*：BLS-GSM (Portilla et al., 2003) 在小波域利用高斯尺度混合进行去噪；NLBayes (Lebrun et al., 2013) 提出了非局部贝叶斯去噪算法；BM3D (Dabov et al., 2007) 通过稀疏3D变换域协作滤波，展示了“表示构造—系数滤波—逆变换重建”的计算组织方式。 - \*\*深度维纳反卷积\*\*：Dong et al. (2020) 将维纳操作嵌入可学习的特征处理流程，用于图像去模糊。 - \*\*扩散模型中的统计结构\*\*：Wang & Vastola (2024) 利用高斯分数近似分析并加速扩散采样；Li et al. (2024) 通过线性拟合揭示扩散模型泛化与隐层高斯结构的关联；Lukoianov et al. (2025) 指出数据统计本身即可解释扩散模型的局部性特征。 ### 2. 像素空间流模型（Pixel-Space Flow Models）这类研究直接在高维像素空间进行生成建模，是本文试图改进的核心对象： - \*\*预测参数化（Prediction Parameterization）\*\*：为缓解像素空间学习困难，JiT (Li & He, 2026) 改为预测干净图像；AsymFlow (Chen et al., 2026a) 采用非对称的低秩噪声预测与满秩数据预测组合来重构速度；k-Diff (Jin & Wang, 2026) 通过学习标量控制网络输出的数据–噪声混合比例。 - \*\*像素解码架构（Pixel Decoding）\*\*：通过分离上下文建模与密集像素预测来降低学习难度。代表工作包括： - PixNerd (Wang et al., 2026a)：基于块级神经场（patch-wise neural fields）。 - PixelDiT (Yu et al., 2026)：采用像素级Transformer解码器。 - DeCo (Ma et al., 2026)：使用上下文条件MLP解码器，并引入频域目标。 - \*\*预条件方法（Preconditioning）\*\*：EDM (Karras et al., 2022) 通过噪声相关的缩放与跳跃连接归一化输入与目标；Preconditioned Flow Matching (Ahamed et al., 2026) 利用可逆数据变换改善中间流分布的条件数。本文WiD与此相关，但聚焦于解码器设计而非整体流预条件。 ### 3. 基础框架与训练技术 - \*\*流匹配与插值\*\*：Rectified Flow (Liu et al., 2022)、Flow Matching (Lipman et al., 2023) 与 Stochastic Interpolants (Albergo et al., 2025) 构成了像素空间流模型的数学基础，其速度场形式为 v = x - ε ，插值路径为 z_t = tx + (1-t)ε 。 - \*\*骨干架构\*\*：DiT (Peebles & Xie, 2023) 将扩散模型扩展为纯Transformer架构，是PixelDiT与本文实验的重要基线。 - \*\*表示对齐（Representation Alignment）\*\*：REPA (Yu et al., 2025) 利用视觉编码器（如DINOv2 (Oquab et al., 2024)）的中间层特征监督生成模型训练，本文验证了WiD与REPA的兼容性。 - \*\*训练与评估技术\*\*：包括AdamW优化器 (Kingma & Ba, 2015; Loshchilov & Hutter, 2019)、无分类器引导 CFG (Ho & Salimans, 2021)、FlowDPMSolver (Xie et al., 2024) 以及ImageNet基准 (Deng et al., 2009) 等。 Q3: 论文如何解决这个问题？论文通过提出 \*\*Wiener-informed Decoding (WiD)\*\* 来解决像素空间流模型的速度场学习困难。该方法的核心洞见是：自然图像的二阶统计量不仅可以直接提供一个好的速度估计起点，其背后的计算结构（分析、系数调整、合成）还可以用来重新组织像素解码器的学习过程。具体解决方案包含以下几个层面： ### 1. 从固定基线到可训练统计路径论文首先验证，基于数据二阶矩构造的固定维纳（Wiener）估计已经能显著加速训练。但为了获得更持久、更灵活的增益，WiD 将这些统计操作转化为\*\*可训练的解码器组件\*\*，而非仅作为一个冻结的加性偏置： - \*\*分析变换\*\*：对输入的噪声图像块 z_(t,i) ∈ R^m ，通过可学习的分析矩阵 U_(enc) ∈ R^(m × m) 提取统计系数：

ci = U(enc)^top z_(t,i)

**维纳增益**：根据噪声水平 t 和可学习的谱参数 λ ，对系数进行缩放：
w_i = a(t; λ) odot c_i
其中增益函数 a(t; λ) 来源于维纳滤波理论：
a_j(t) = (tλ_j - (1-t)) / (t^2λ_j + (1-t)^2)
**合成变换**：通过可学习的合成矩阵 U_(dec) ∈ R^(m × m) 将处理后的系数映射回像素空间，形成统计分支的速度预测。 ### 2. 系数接口与解码器融合 WiD 不仅使用统计路径的**输出**，还利用其**中间坐标**来引导原生解码器的计算。具体地，未经维纳缩放的原始系数 c_i 被注入到解码器的输入端： - **特征扩展**：通过线性扩展器 W_F 将系数映射为与解码器像素嵌入同维度的特征：

Fi^0 = E(z(t,i)) + reshape(W_F c_i)
这使得解码器在初始层就能访问图像的统计结构信息。 - **原生块保留**：后续层 F^L = T(F^0, s) 仍由原有的解码器块（如 PixelDiT 或 DeCo 的块）计算，上下文条件 s 来自主干网络，不改变原生架构。 ### 3. 双分支联合预测在输出端，WiD 让解码器同时承担两个互补的预测任务，其总和构成最终速度估计： - **系数修正头**：预测对维纳估计的系数空间修正量 Delta c_i ：

Delta c_i = W_Delta vec(N_Delta(F_i^L)) + b_Delta

**像素空间头**：原生解码器继续输出像素级的残差速度 H(πx)(F^L)_i 。 - **总预测**：将统计分支与像素分支相加：
v_i = U(dec)(wi + Delta c_i) + H(πx)(F^L)i
整个模型在原始的速度目标函数下联合训练：
L(FM) = E(x,y,ε,t)[(1) / (d)|vθ(zt, t, y) - (x - ε)|_2^2]
所有引入的参数（ U(enc), U(dec), λ, W_F, W_Delta 等）与网络其余部分一同优化。 ### 4. 数据驱动的初始化策略为了确保训练稳定性并充分利用统计先验，WiD 采用基于数据二阶矩的初始化： - U(enc) 与 U(dec) 初始化为共享图像块 PCA 基 U_0 ； - 谱参数 λ 在 log 空间初始化为 log λ_0 ； - 系数修正头与像素输出头均零初始化，使得初始总预测恰好等于冻结的维纳估计； - 输入端的像素投影 E 和系数扩展器 W_F 按 1:1 分配原始嵌入能量，确保初始输入特征与原生解码器等价。 ### 5. 架构无关性与低开销 WiD 以**插件形式**围绕现有解码器构建，不修改主干网络或原生解码器块的内部结构。这使其能直接应用于 PixelDiT、DeCo 等不同架构，仅增加约 0.9% sim 1.3% 的参数量和 1% 左右的计算开销。通过以上设计，WiD 将高维像素去噪任务部分分解到具有闭式结构的统计坐标系中，既提供了良好的优化起点，又通过系数接口降低了原生解码器学习剩余复杂结构的难度，从而在训练稳定性、收敛速度和生成质量上均获得提升。 Q4: 论文做了哪些实验？论文围绕类条件生成、文本到图像生成、消融分析及训练诊断展开了一系列实验，具体可归纳如下： ### 1. 类条件图像生成（Class-Conditional Generation on ImageNet）此部分验证 WiD 在不同分辨率与训练时长下的训练效率与生成质量提升，以 PixelDiT-XL/16 为骨干。 - **ImageNet 256×256**： - 遵循 PixelDiT 原始训练配置（AdamW、REPA、全局 batch size 256 等），对比 WiD 与原生模型在 80、160、200、260、320、500 个 epoch 的表现。 - 使用 FlowDPMSolver 100 步采样与分类器无关引导（CFG）。 - 指标涵盖 FID、sFID、IS（Inception Score）、Precision 和 Recall。 - 结果显示：WiD 在 80 epoch 时 FID 为 2.09（优于原生的 2.36）；260 epoch 达到 FID 1.61（匹配原生 320 epoch 水平）；500 epoch 达到 FID 1.53，节省 37.5% 训练轮数。参数量仅从 797M 增至 805M（约 1%）。 - **ImageNet 512×512**： - 以 260 epoch 的 256×256 检查点为起点，微调 50 epoch。 - 在相同采样设置下，WiD 达到 FID 1.64，优于原生 PixelDiT-XL/16 在 320+530 epoch 的 FID 1.81。 ### 2. 文本到图像生成（Text-to-Image Generation）此部分验证 WiD 在更大规模文本条件生成任务上的通用性，以 DeCo-XXL/16 为骨干，在 BLIP3-o 数据集上训练。 - **256×256 预训练阶段（80K 步）**： - 评估 GenEval 和 DPG-Bench。 - WiD 在 GenEval 总体得分上从 0.43 提升至 0.49，DPG-Bench 平均分从 73.1 提升至 78.8，显示早期训练阶段即可获益。 - **512×512 完整训练后**： - 经三阶段训练（256预训练 → 512提升 → 高质量微调），WiD 在 GenEval 总体得分（0.86）上与原生 DeCo-XXL 持平或略优，并在部分子项（如 Counting、Colors）上提升。 - 参数开销约为 1.3%（1.1B 基础上增加 14M）。 ### 3. 消融实验（Ablations on ImageNet 256×256）以 PixelDiT-B/16 为骨干，训练 40 epoch（使用 REPA，无 CFG），逐组件验证 WiD 的有效性： | 实验设置 | FID ↓ | sFID ↓ | IS ↑ | | :—- | :—- | :—- | :—- | | 原生 PixelDiT-B/16 | 60.01 | 14.10 | 24.89 | | **+ WiD（完整）** | **41.71** | **9.18** | **35.14** | | w/o Wiener prediction（移除统计预测路径） | 49.54 | 10.88 | 29.93 | | w/o Statistics init.（随机初始化而非 PCA 统计初始化） | 49.02 | 9.85 | 30.35 | | w/o Coefficient interface（移除系数特征接口与输出修正） | 50.67 | 9.14 | 28.97 | 结果表明：直接统计预测路径、基于数据统计的初始化以及系数接口均对最终性能有显著贡献。 ### 4. 训练稳定性与架构兼容性诊断论文在训练过程中进行了多项诊断分析： - **梯度轨迹分析**：对比 PixelDiT-B 与 PixelDiT-B+WiD 的裁剪前梯度范数，WiD 展现出更平滑的梯度轨迹与更少的大幅震荡（图 4a）。 - **与 REPA 的兼容性**：在 PixelDiT-B 和 DeCo-B 上，WiD 与表示对齐（REPA）联合使用时仍能进一步提升 FID，证明二者互补（图 4b、4c）。 - **跨解码器架构验证**：除 PixelDiT 外，WiD 同样改善了 DeCo-B 的生成质量，说明方法不依赖于特定解码器实现。 ### 5. 预测误差与路径响应分析（Appendix B）利用一个在 320 epoch 充分训练好的 PixelDiT-XL 作为参考模型，对 B-size 模型进行细粒度诊断： - **误差分解**：将预测误差分解为线性（fitted linear）与剩余（remaining）两部分。结果显示，冻结的 PCA/DCT 维纳基线以及原生 PixelDiT 的改进主要来自于“剩余误差”的降低，说明统计先验帮助网络更好地学习了非线性残差。 - **输入扰动路径对齐（JVP）**：计算解码器直接像素路径与上下文路径对输入扰动的雅可比向量积（JVP）。结果表明直接像素路径与维纳响应的（去平行后）余弦相似度显著高于上下文路径，支持了将统计结构集成到像素解码器而非主干的设计决策。 ### 6. 计算开销与实现细节（Appendix A） - **参数量与计算量**：PixelDiT-XL+WiD 参数量从 797.38M 增至 804.86M（+0.94%），前向计算量从 311.19 增至约 315.32 GFLOPs（+1.33%）。 - **推理吞吐**：在单卡 NVIDIA H200 上，batch size 为 4 时，PixelDiT-XL+WiD 的采样吞吐从 238.8 降至 227.6 samples/s；DeCo-XXL+WiD 在 25 步 Adams-2nd 采样+CFG 4.0 下，吞吐从 7.50 降至 7.04 images/s，开销可控。 Q5: 有什么可以进一步探索的点？基于论文内容与局限性讨论，可从以下几个维度展开进一步探索： ### 1. 拓展至潜空间与其他模态论文主要聚焦于像素空间的图像生成，但统计去噪的视角具有更广的适用性： - **潜空间生成**：将 Wiener-informed 结构应用于潜空间（latent-space）流模型，探索统计先验在低维表示空间是否同样能加速训练或提升生成质量。 - **跨模态任务**：将类似思路推广到**视频、音频、语言**等高维序列或多模态生成任务，验证其时序或空间统计结构是否可被类似地利用。 ### 2. 更深层的架构融合当前 WiD 以插件形式作用于像素解码器，保留了原生主干不变： - **直接集成到扩散 Transformer**：将 Wiener 分析与合成操作更深入地嵌入 Transformer 块内部（如注意力层或 FFN 层），而非仅作为解码器外围模块，可能催生下一代面向流匹配任务的基础架构。 - **多尺度统计坐标**：本文采用固定大小的 patch PCA，可探索**层级化或多尺度**统计坐标系（如不同频率带、不同空间尺度的独立或耦合统计），以捕捉更丰富的图像结构。 ### 3. 统计先验的动态演化 WiD 使用少量数据离线估计统计量进行初始化，随后通过梯度下降调整： - **在线统计更新**：探索在训练过程中动态估计或修正数据二阶矩（甚至高阶矩），使统计先验能自适应数据分布或训练阶段的演化。 - **高阶统计量**：本文利用的是二阶（Wiener）估计，引入**高阶统计信息**或更复杂的概率模型（如高斯混合、尺度混合）作为初始化或约束，可能进一步提升对复杂自然图像结构的逼近能力。 ### 4. 理论理解与设计空间论文观察到统计基底的增益“超越显式线性预测”，但对其机制的经验分析仍有拓展空间： - **非线性残差学习的理论分析**：更严格地刻画为何统计坐标能重新组织解码器的计算、降低剩余预测误差，可能为预条件（preconditioning）与模型架构设计提供新的理论视角。 - **系数接口的最优设计**：当前采用简单的线性扩展与相加融合，可探索更复杂的**自适应门控、交叉注意力或低秩耦合**机制，以优化统计分支与原生解码器之间的信息流。 ### 5. 计算效率与实用化优化尽管 WiD 的开销已很轻微，但在超大规模训练中仍可进一步优化： - **轻量化解码器接口**：设计更紧凑的系数交互模块，或利用结构化/稀疏的统计变换矩阵，进一步降低参数量与推理延迟。 - **与先进训练技术的协同**：结合更激进的蒸馏、量化或低精度训练策略，验证 WiD 在极端效率约束下的表现。 ### 6. 更复杂的条件生成场景论文验证了类条件和文本到图像生成，未来可在以下场景测试： - **多条件或组合生成**：验证 WiD 在需要复杂组合推理（如空间布局、多个对象属性控制）时是否仍能稳定提供增益。 - **下游编辑任务**：将 WiD 应用于图像编辑、修复或风格迁移等任务，检验统计先验在这些部分观测或逆问题中的价值。 Q6: 总结一下论文的主要内容该论文围绕像素空间流模型（pixel-space flow models）的训练难题展开，提出利用图像统计先验来简化高维像素空间中的速度场学习。主要内容可概括如下： ### 1. 研究背景与核心问题像素空间流模型直接在原始像素空间进行生成建模，避免了预训练自编码器的复杂流程，但带来了严峻的学习挑战：去噪网络必须在高维、带噪的像素输入上同时学习自然图像的复杂结构，导致优化过程缓慢且困难。 ### 2. 关键观察：统计先验的价值超越显式估计论文发现，仅利用自然图像的二阶统计量构建**固定的维纳（Wiener）估计器**作为解析速度基线，即可显著改善训练效果。更重要的是，这种改善不仅源于它提供了一个更好的线性预测起点，更在于它还能帮助网络**更有效地学习剩余的非线性预测**，即增益超出了该线性估计的显式贡献范围。此外，像素解码器的直接像素通路比上下文通路更接近维纳响应，表明解码器是集成统计知识的自然接口。 ### 3. 方法：Wiener-informed Decoding (WiD) 基于上述观察，论文提出 WiD，将统计估计器的计算结构（分析、系数调整、合成）转化为像素解码器中的**可训练组件**，而非仅作为冻结的加性偏置： - **可训练统计预测路径**：通过可学习的分析变换 U(enc) 将噪声图像块映射到统计坐标，利用可训练的谱参数 λ 进行维纳增益调整，再经合成变换 U_(dec) 映射回像素空间。 - **系数接口**：将统计坐标通过线性扩展器 W_F 注入原生解码器的输入特征，同时在输出端引入系数修正头，预测对维纳估计的残差修正量 Delta c 。 - **双分支联合预测**：最终速度为统计分支与原生像素分支预测之和：

v = U(dec)(w + Delta c) + H(πx)(F^L)

**数据驱动初始化**：所有统计参数基于图像块 PCA 统计量初始化，其余修正头零初始化，确保训练起点即为维纳估计，且与原生解码器等价。 ### 4. 实验验证论文在类条件生成（ImageNet 256/512）和文本到图像生成上进行了广泛实验，覆盖 PixelDiT 与 DeCo 两种解码器架构： - **ImageNet 256×256**：PixelDiT-XL/16 + WiD 在 80 epoch 时 FID 为 2.09（优于原生 2.36），在 260 epoch 达到 FID 1.61（匹配原生 320 epoch 水平），500 epoch 达到 **FID 1.53**，节省 **37.5%** 训练轮数。 - **ImageNet 512×512**：经 50 epoch 微调，FID 达到 1.64，优于原生模型在 320+530 epoch 的 1.81。 - **文本到图像**：DeCo-XXL/16 + WiD 在 GenEval 和 DPG-Bench 上均有提升，早期训练阶段即可获益。 - **训练稳定性**：WiD 展现出更平滑的梯度轨迹，且与 REPA 等表示对齐技术兼容。 - **开销**：参数量增加仅约 **0.9%–1.3%**，计算与推理成本增幅低于 1.5%。 ### 5. 核心贡献 - **经验发现**：证明粗糙的二阶统计估计可显著简化像素空间速度学习，且其增益超越显式的线性预测。 - **方法创新**：提出 WiD，将统计知识同时用于直接预测与解码器计算组织，以插件形式适配不同像素解码器架构。 - **实用价值**：在不修改原生主干的前提下，实现更快的收敛、更稳定的训练与更优的生成质量，适用于类条件与文本到图像等多种任务。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ziqiao Wang, Yang You

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36192.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36192

Published: 2026-10-30T02:57:38.515Z

8. Learning to Read Braille: Benchmarking and Improving Braille Recognition Capabilities of VLMs

Abstract:Despite rapid progress in visual understanding and document transcription, modern vision-language models (VLMs) struggle with a fundamental accessibility task: reading Braille from images. We introduce BrailleBench, a manually curated benchmark of 259 real-world Grade-1 and Grade-2 Braille images. We evaluate proprietary, open-weight, OCR-specialized, and tool-assisted multimodal systems and find that standalone general-purpose models perform poorly at directly transcribing Braille images, whereas tool-assisted systems perform much better. We design a synthetic Braille generation pipeline with diverse layouts and image perturbations. A 2B VLM model trained on our synthetic data reaches 87% exact match on Grade-1 and 61% on Grade-2 BrailleBench, outperforming standalone VLMs and achieving the highest Grade-2 exact match score among the evaluated systems. We further show that high accuracy on synthetic validation data does not guarantee high accuracy on real photographs in our experiments: models trained on prior synthetic data reach up to 96% on their synthetic validation set but at most 3.26% on Grade-1 BrailleBench. Our results identify an accessibility-relevant capability gap in multimodal systems and show that targeted synthetic supervision can improve real-world Braille transcription.

中文摘要

摘要：尽管在视觉理解和文档转录方面取得了快速进展，现代视觉-语言模型（VLMs）在一项基本的可访问性任务上仍然存在难题：从图像中读取盲文。我们介绍了BrailleBench，这是一个手工整理的基准，包含259张真实世界的一级和二级盲文图片。我们评估了专有模型、开源权重模型、OCR专用模型以及工具辅助的多模态系统，并发现独立的通用模型在直接转录盲文图像时表现不佳，而工具辅助系统表现要好得多。我们设计了一条具有多样化布局和图像扰动的合成盲文生成流程。在我们的合成数据上训练的2B VLM模型在BrailleBench的一级盲文上达到了87%的完全匹配率，在二级盲文上达到了61%，超过了独立VLM，并在所有评估系统中取得了二级盲文的最高完全匹配分数。我们进一步表明，在我们的实验中，合成验证数据上的高准确率并不保证在真实照片上的高准确率：使用先前合成数据训练的模型在其合成验证集上达到最多96%，但在BrailleBench的一级盲文上最多只有3.26%。我们的结果揭示了多模态系统在可访问性相关能力上的差距，并表明针对性的合成监督可以改善现实世界的盲文转录性能。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36195 (HTTP 429)

Authors: Kartik Jangra, Atharva Gawane, Siddharth Pulipaka, Hemachandran Karah, Raj Dabre

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36195.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36195

Published: 2026-10-30T02:57:38.515Z

9. UT-HMR: Uncertainty-Guided Temporal Modeling for Robust 3D Human Mesh Recovery

Abstract:Monocular 3D human mesh recovery (HMR) remains unreliable under weak observations caused by long camera-to-person distances, occlusion, and motion blur. In challenging scenarios such as sports, these factors make the problem highly ambiguous, as different 3D poses may yield similar 2D projections. This ambiguity is especially severe for one-stage HMR, which recovers all meshes directly from the full image without person crops or external 2D cues. To handle this ambiguity, we present UT-HMR ( Uncertainty-guided Temporal HMR), to our knowledge the first one-stage HMR framework to capture correlated pose uncertainty across joints. Each person query predicts a Gaussian distribution over the full SMPL pose with a compact low-rank-plus-diagonal covariance, which is converted into joint-wise precision weights for heteroscedastic supervision while keeping inference deterministic. Temporal early fusion further injects neighboring-frame evidence before pose decoding, supplying the visual evidence needed to resolve the ambiguity that the uncertainty captures. With a lightweight ViT-B backbone, UT-HMR achieves state-of-the-art results on VIP-HockeyPose-v2 (ice hockey) and WorldPose (soccer), reducing MPJPE, PA-MPJPE, and PVE by up to 4.7%, 3.8%, and 5.6%, and remains competitive on 3DPW against methods with larger backbones and higher input resolutions.

中文摘要

摘要：单目三维人体网格重建（HMR）在摄像机与人物距离过远、遮挡和运动模糊导致的弱观测下仍然不可靠。在体育等具有挑战性的场景中，这些因素使问题高度模糊，因为不同的三维姿态可能产生相似的二维投影。这种模糊对于单阶段HMR尤为严重，单阶段HMR直接从完整图像恢复所有网格，而不需要人物裁剪或外部二维线索。为应对这种模糊，我们提出了UT-HMR（不确定性引导的时序HMR），据我们所知，这是首个能够捕捉关节间相关姿态不确定性的一阶段HMR框架。每个人物查询预测整个SMPL姿态的高斯分布，采用紧凑的低秩加对角协方差，并将其转换为关节精度权重，用于异方差监督，同时保持推理的确定性。时序早期融合在姿态解码前进一步注入邻帧证据，提供解决不确定性捕捉的模糊所需的视觉证据。借助轻量级ViT-B骨干网络，UT-HMR在VIP-HockeyPose-v2（冰球）和WorldPose（足球）上实现了最先进的结果，MPJPE、PA-MPJPE和PVE分别降低了最多4.7%、3.8%和5.6%，并且在3DPW上仍与具有更大骨干和更高输入分辨率的方法保持竞争力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36203 (HTTP 429)

Authors: Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36203.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36203

Published: 2026-10-30T02:57:38.515Z

10. Diagnosing and Correcting Bias in MLLM for Long Video Understanding

Abstract:Long-video question answering is challenging since the answer often hinges on a few decisive moments scattered throughout the video, while memory constraints force Multimodal Large Language Models (MLLMs) to sample frames at extremely low rates, resulting in sparsity that risks omitting key evidence. Though aggressively enlarging the context size is intuitive, we argue that performance remains fundamentally constrained by the bias, \emph{i.e.}, the misleading cues caused by spurious \textit{linguistic} correlations and salient yet irrelevant \textit{visual} observations. In this paper, we first introduce {S-MME}, a benchmark designed to systematically diagnose shortcut-biased behavior in MLLMs. To mitigate this failure, we further propose a training-free framework, Counterfactual Long-video Evidence-Aware Reasoning (CLEAR). By treating the full video-question pair as a complete view, CLEAR estimates bias effects via augmented views by only keeping the question or locally salient visual clips. Then, we intervene hidden states to mitigate the discrepancy at inference such that the correct answer can be predicted confidently. With experimental studies across five benchmarks, we show that our method is generalizable and can be integrated in different MLLMs, yielding consistent gains in prediction and robustness. We hope CLEAR can offer a complementary direction in test-time scaling for long-video understanding.

中文摘要

摘要：长视频问答具有挑战性，因为答案通常依赖于散布在视频中的少数关键时刻，而内存限制迫使多模态大语言模型（MLLMs）以极低的帧率抽取视频帧，导致稀疏性，从而有遗漏关键证据的风险。尽管激进地扩大上下文大小是直观的做法，但我们认为性能从根本上仍受偏差限制，即由虚假的语言关联和显著但无关的视觉观察造成的误导性线索。在本文中，我们首先介绍了 {S-MME}，一个用于系统诊断 MLLMs 中捷径偏差行为的基准。为了缓解这种失败，我们进一步提出了一个无训练框架：反事实长视频证据感知推理（CLEAR）。通过将完整的视频-问题对视为一个完整视图，CLEAR 通过增强视图估计偏差效应，仅保留问题或局部显著视觉片段。然后，我们在推理时干预隐藏状态，以减轻差异，使正确答案能够自信预测。通过在五个基准上的实验研究，我们表明该方法具有通用性，能够集成到不同的 MLLMs 中，在预测和稳健性上产生一致的提升。我们希望 CLEAR 能为长视频理解的测试时扩展提供一个互补的方向。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.36210 (HTTP 429)

Authors: Xusheng Liang, Jianqiao Sun, Hao Zhang, Yulei Niu, Hengshuang Zhao, Jiawei Ma

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.36210.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.36210

Published: 2026-10-30T02:57:38.515Z