ArXiv Domain 2026-10-06

数据来源：ArXiv Domain

LLM Domain Papers

1. HakemBench: A Turkish Benchmark of Typed Decisions

Abstract:HakemBench is a Turkish benchmark of typed decisions, in which the model under test reads a text, a question and a fixed set of options and returns a probability for every option. Version 1.0 is released fully open under CC BY 4.0, with 2,346 items and 4,275 choice, yes/no and score questions in seven tracks (fact-check triage, education, guardrails, legal routing, moderation, spam and phishing, and customer support). One harness scores decision quality (macro F1), calibration (from the normalised Brier score) and selective automation (from the normalised area under the generalised risk-coverage curve), combines them by a geometric mean and reports intervals from 2,000 bootstrap draws; probes for option order, paraphrase, English translation and substituted names are reported alongside. Most gold labels come from blind passes of one AI model family compared with the votes of a panel of large language models from other model families; they are not human-verified. On a board of 16 rows the leader scores a composite of 0.888 and the lab’s own model is 7th at 0.660. Its numbers are not blind. Earlier runs’ test results shaped its training data, so its guardrail, moderation and customer support numbers are flagged; with every model scored on the other four tracks only, its composite is 0.678, 6th of 16.

中文摘要

摘要：HakemBench 是一个土耳其语的类型化决策基准，其中受测模型需要读取一段文本、一个问题和一组固定选项，并返回每个选项的概率。版本 1.0 在 CC BY 4.0 协议下完全开放发布，包含 2,346 个条目和 4,275 个选择题、是/否题和评分题，涵盖七个领域（事实核查分流、教育、护栏机制、法律路由、内容审核、垃圾邮件与网络钓鱼以及客户支持）。一个评估工具衡量决策质量（宏 F1）、校准（根据归一化布里尔分数）和选择性自动化（根据归一化广义风险-覆盖曲线下的面积），将其通过几何平均结合，并报告 2,000 次自助抽样的区间；同时报告了选项顺序、改写、英文翻译和替换名称的测试。大多数金标签来自同一 AI 模型家族的盲测结果，与其他模型家族的大型语言模型小组投票进行对比；这些标签没有经过人工验证。在一个 16 行的排行榜上，领先者的综合得分为 0.888，本实验室的模型位列第七，得分为 0.660，其得分结果不是盲测。早期运行的测试结果影响了其训练数据，因此其护栏机制、内容审核和客户支持的得分被标记；当每个模型只在其他四个领域上评分时，其综合得分为 0.678，在 16 个模型中排名第六。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02293 (HTTP 429)

Authors: Sait Furkan Teke

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02293.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02293

Published: 2026-10-06T03:19:48.974Z

2. Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents

Abstract:Static evaluations credit a language model for naming the right move, but an agent must carry a plan through to a verified outcome while an opponent responds. We introduce XiangqiBench, an executable benchmark that measures this difference in Chinese chess: starting from 119 tactical endgames with forced mates supported by engine or checks-only search, an LLM agent must deliver checkmate against an engine defender. An interactive REPL interface separates real moves, state queries, and forward simulation, and we record 8,568 multi-turn trajectories from 12 frontier LLMs under two observation protocols. Three signals that look like competence each overstate closed-loop success. (i) The Conversion Gap: models play the stored reference first move in 26.1\% of Sighted trials, yet only 13.9\% of these trials end in a win. (ii) The Consistency Gap: the leading model reaches 38.7\% pass@3 but only 5.9\% pass^3, winning all three trials on 7 of the 46 positions it ever wins. (iii) The Simulation Gap: 32.3\% of accepted simulation calls stop on an illegal move, and in 49.3\% of comparable cases the real defender replies differently from the line the agent simulated; self-authored rollouts check legality but cannot anticipate the opponent. Finding the move is not winning the game: agent evaluations should score closed-loop outcomes and report reliability alongside coverage.

中文摘要

摘要：静态评估会因为语言模型命中了正确的走法而给予其评分，但一个代理必须在对手响应时将计划落实到可验证的结果。我们引入了象棋基准（XiangqiBench），这是一个可执行基准，用于衡量中国象棋中的这一差异：从119个战术残局开始，这些残局存在迫杀、并由引擎或仅限将军搜索支持，一个大型语言模型代理必须在引擎防守下完成将杀。一个交互式REPL界面区分了实际走法、状态查询和前向模拟，我们记录了12个前沿大型语言模型在两种观察协议下的8,568条多回合轨迹。三类看似体现能力的信号都高估了闭环成功率。(i) 转化差距：模型在有视野试验中首步走出存储参考走法的比例为26.1%，但这些试验中仅有13.9%最终获胜。(ii) 一致性差距：领先模型在pass@3中达到38.7%，而在pass^3中仅为5.9%，它在46个曾经获胜的位置中仅在7个位置的三次试验中全部获胜。(iii) 模拟差距：32.3%的被接受模拟调用因非法走法而停止，在49.3%的可比情况中，实际防守者的回应不同于代理模拟的线路；自定义回滚可以检查合法性，但无法预测对手。找到走法并不等于赢得比赛：代理评估应对闭环结果进行评分，并在报告覆盖率的同时说明可靠性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02425 (HTTP 429)

Authors: Yekun Chai, Qiwei Peng, Haoyi Xiong

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02425.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02425

Published: 2026-10-06T03:19:48.974Z

3. Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs

Abstract:Large language models often solve a theorem forward yet fail to disprove a closely related false one: a falsification gap that supervised fine-tuning does not close and can actively worsen. We frame counterexample generation as constrained witness emission against a deterministic per-theorem Python verifier, and release SymCE, a corpus of 4,707 false undergraduate-algebra and real-analysis conjectures, each paired with executable verifiers. The verifier also serves as the reward function, making SymCE a training environment. Training Qwen3-4B with SFT followed by GRPO under this oracle reveals an imitation trap: counterexample-only SFT collapses true-theorem recognition from 0.27 to 0.00, while RLVR with a sparse outcome-only reward repairs this and exceeds the base, to 0.66. The collapse replicates across four seeds and on Gemma-3-4B. Sparse and dense rewards yield statistically indistinguishable in-domain success yet diverge by 33 points on a held-out calibration probe, a dissociation we trace to the partial-credit term. Our 4B model outperforms every evaluated 7B open-weights math specialist, remains competitive with six frontier commercial APIs, and transfers under unchanged prompting to GSM8K, MATH-500 and MMLU-college-math. A human audit of 177 verifier decisions finds 97.7% accuracy. Code, data, verifier modules and annotations: this https URL.

中文摘要

摘要：大型语言模型通常可以正向解决定理，但无法反驳一个密切相关的错误定理：这种伪证缺口（falsification gap）是监督微调无法弥补的，甚至可能使情况恶化。我们将反例生成框架化为针对每个定理的确定性 Python 验证器的受约束证人输出，并发布了 SymCE，它包含 4707 个错误的本科代数和实分析猜想，每个猜想都配有可执行的验证器。验证器也作为奖励函数，使 SymCE 成为训练环境。在此 oracle 下，使用 SFT 后再用 GRPO 训练 Qwen3-4B 显示出模仿陷阱：仅反例的 SFT 会将真定理识别率从 0.27 崩溃到 0.00，而仅有稀疏结果奖励的 RLVR 可以修复这一问题并超过基础水平，达到 0.66。这种崩溃在四个随机种子以及 Gemma-3-4B 上均可复现。稀疏奖励和密集奖励在域内成功率上无显著差异，但在保留的校准探针上相差 33 分，这种脱钩现象可追溯到部分奖励项。我们的 4B 模型超过了所有经过评估的 7B 开源权重数学专用模型，与六个最前沿商业 API 仍具竞争力，并可在不改变提示的情况下迁移到 GSM8K、MATH-500 和 MMLU-college-math。对 177 个验证器决策的人类审计显示准确率为 97.7%。代码、数据、验证器模块和注释见该 HTTPS URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决大语言模型（LLMs）在数学推理中存在的\*\*证伪能力缺陷\*\*及其训练过程中的\*\*校准崩溃\*\*问题，具体可归纳为以下几个方面： ### 1. 正向推理与反向推理的能力不对称现有LLMs在正向数学推导（证明真命题）上表现优异，但在\*\*反向推理\*\*（为假命题生成反例）上存在显著差距。即使模型能够轻松正向求解的定理，其密切相关的假命题版本却难以被有效证伪，形成所谓的“证伪鸿沟”（falsification gap）。 ### 2. 纯模仿学习（SFT）导致的“模仿陷阱” 论文揭示了一个核心病理现象：仅在反例数据上进行监督微调（SFT）不仅无法关闭证伪鸿沟，反而会\*\*主动恶化\*\*模型的逻辑校准。具体表现为： - 模型学会了反例的\*\*输出形式\*\*（如格式、模板），却未习得\*\*否定结论的约束\*\*； - 在真命题识别任务上，Pass@1从基线的 0.27 崩溃至 0.00 ； - 模型会对真实定理自信地编造虚假见证，表现出严重的过度自信与幻觉。 ### 3. 数据稀缺与评估不可靠此前反例生成研究面临两大障碍： - \*\*数据规模受限\*\*：现有基准（如COUNTERMATH）仅含约1,216道题目，难以支撑大规模训练； - \*\*评估非确定性\*\*：现有流程依赖LLM-as-a-judge进行评判，引入随机误差且难以审计，缺乏可符号执行的确定性验证机制。 ### 4. 强化学习奖励塑造中的校准-性能解耦论文进一步发现，即便引入基于验证器的强化学习（RLVR），\*\*密集奖励（dense reward）\*\*中的部分信用项（partial-credit term）会鼓励模型“宁可错报也不放弃”，导致在分布内任务上表现相当的情况下，分布外校准\_probe\_上出现高达33个百分点的差距。如何设计保持逻辑校准的奖励函数成为关键问题。 ### 解决方案概述为应对上述问题，论文构建了\*\*SYMCE\*\*——一个包含4,707条本科代数与实分析假命题的确定性验证环境，每条命题配备独立的Python验证器。该验证器同时充当RLVR的奖励函数，使反例生成被重新框架化为\*\*约束见证发射\*\*（constrained witness emission）。实验表明，基于稀疏结果奖励（sparse outcome-only reward）的RLVR能够修复SFT造成的校准崩溃，并在保持领域内竞争力的同时，零样本迁移至GSM8K、MATH-500等标准正向数学任务。 Q2: 有哪些相关研究？该论文在"Related Work"部分将相关研究梳理为四个主要脉络，分别对应其问题背景与方法论定位： ### 1. 反例生成与证伪基准 - \*\*COUNTERMATH\*\* (Li et al., 2025)：目前最常被引用的反例基准，包含1,216道大学级别题目，但评估依赖LLM-as-judge协议，存在随机性与主观性。 - \*\*REFUTE\*\* (Sinha et al., 2025)：在算法问题上度量反例成功率，揭示了同一模型的正向求解率（约48%）与反例成功率（不足9%）之间的尖锐不对称性。 - \*\*Learning to Disprove\*\* (Li et al., 2026)：构建了约575K条基于Lean 4 Mathlib的假设删除突变定理，以Lean tactic check作为验证信号。该数据集规模大于SYMCE，但验证耗时以秒计；相比之下，SYMCE采用Python验证器，运行时间在数十毫秒量级，且更贴合代数与实分析结构的评估需求。 - \*\*Alchemy\*\* (Wu et al., 2024)：通过AST突变生成有效的突变真定理，服务于自动定理证明，与本文聚焦假命题证伪的工作形成互补。 ### 2. 数学推理中的可验证奖励强化学习（RLVR） - \*\*DeepSeek-R1\*\* (Guo et al., 2025)、\*\*PRIME\*\* (Cui et al., 2025) 与 \*\*Eurus\*\* (Yuan et al., 2024)：确立了RLVR（特别是GRPO算法）作为数学后训练的主流范式。 - \*\*训练信号的本质争议\*\*：近期研究（如Shao et al., 2025）争论RLVR究竟是安装了新的推理能力，还是仅通过格式适应引出潜在能力。本文的分布外迁移结果（§6.5）支持前者——即证伪训练能够安装可迁移的逆向推理技能。 ### 3. 过程监督与符号验证器 - \*\*过程奖励模型（PRM）\*\*：Lightman et al. (2024) 提出用于数学推理的步骤级监督，后续由Math-Shepherd (Wang et al., 2023) 等扩展。 - \*\*FOVER\*\* (Kamoi et al., 2026)：从Z3与Isabelle迹中挖掘步骤级标签，提供密集监督。 - \*\*中间层验证信号\*\*：本文的per-theorem verifier介于结果奖励模型与PRM之间——它返回每条剩余假设及否定结论的布尔值，构成结构化、可审计且无需人工标注成本的信号。这与PRL (Yao et al., 2026) 和自奖励修正 (Xiong et al., 2025) 等可学习验证方法不同，其信号是外部锚定且非学习的。 - \*\*底层工具\*\*：SymPy与Z3 (Meurer et al., 2017; De Moura and Bjørner, 2008) 提供了符号验证的原语支撑。 ### 4. 幻觉税与校准病理 - \*\*TreeCut\*\* (Ouyang, 2025)：证明LLMs在问题被系统性修改以移除关键约束后，仍持续编造答案。 - \*\*SUM\*\* (Song et al., 2025)：报告标准拒绝采样微调在无法回答的数学基准上导致约80%的拒绝率崩溃。 - \*\*本文的定位\*\*：论文将上述文献中描述的"幻觉税"现象精确化到反例生成场景，首次通过结构化理由分类法（reason taxonomy, §6.3）将机制定位到奖励函数的具体项（partial-credit term），并提供了该设置下最清晰的校准失败测量。 Q3: 论文如何解决这个问题？论文通过\*\*构建可符号执行的验证环境\*\*、\*\*重新框架生成任务\*\*并\*\*设计校准感知的强化学习奖励\*\*，系统性地解决了反例生成中的数据稀缺、评估不可靠与模仿学习导致的校准崩溃问题。具体方案如下： --- ### 1. 构建大规模确定性验证环境 SYMCE 为克服反例数据稀缺与LLM-as-judge评估的随机性，论文构建了SYMCE（Symbolic Counterexample Environment）： - \*\*假设删除突变（hypothesis dropping）\*\*：从6,748条本科级定理（涵盖群论、环论、域论、数论、线性代数与实分析）出发，逐条删除一个假设，经LLM过滤与门控后保留4,707条格式良好的假命题。 - \*\*每定理独立Python验证器\*\*：为每条假命题编译一个独立的Python验证模块，该模块对模型输出的见证（witness）表达式返回一个布尔元组——分别指示每条剩余假设是否满足，以及否定结论是否成立。验证基于\`sympy\`与\`z3\`，在沙箱子进程中执行。 - \*\*确定性与高效性\*\*：验证器在测试集上的中位调用时间为132毫秒，人类审计177个验证决策的准确率达97.7%，彻底替代了噪声较大的LLM评判范式。 --- ### 2. 将反例生成为"约束见证发射" 论文将任务重新形式化为：给定形如“若 H_1 land ·s land H_k 则 Q ”的假命题，输出见证 w ，使得所有剩余假设成立且结论 Q 在 w 上失败。 - \*\*见证模式接口（witness-schema interface）\*\*：为每条命题自动生成一句Python形状描述（如“一个SymPy Matrix对象”），附带具体语法示例。该模式作为结构先验被注入用户提示，约束策略的输出形式，从而使RLVR在无需修改奖励函数或验证器的情况下即可高效运行。 --- ### 3. 设计结构化、可审计的奖励函数验证器同时充当强化学习的奖励函数，其每轮奖励定义为：

r = α · s(hyp)n(hyp) + β · q(neg) + γ · 1[format ok] - δ · 1[gave up on false] - varepsilon · (1 - 1[parse ok])
其中 s(hyp) 为满足的假设数， q(neg) ∈ 0,1 为否定结论指示符。论文对比了两种奖励形态： - **密集奖励（Dense）**： α=0.25, β=0.65, γ=0.10, δ=0.30, varepsilon=1.00 ，取值范围约 $
-1, +1
。其部分信用项 α · (s(hyp)/n(hyp)) 使“部分满足假设但未能否定结论”的尝试仍获得正回报。 - 稀疏结果奖励（Sparse）： α=γ=δ=0, β=varepsilon=1 ，取值 -1, 0, +1 。仅当否定结论成立且解析无误时给予正回报，放弃（NONE）与错误见证均得零分或负分。 —- ### 4. 通过Verifier-Grounded RLVR修复”模仿陷阱” 论文发现，仅进行反例监督微调（SFT）会引发模仿陷阱：模型习得了反例的输出格式，却未习得否定结论的逻辑约束，导致其在真定理探测上Pass@1从基线的 0.27 崩溃至 0.00 （跨四种子及Gemma-3-4B均复现）。修复路径采用两阶段训练： 1. SFT阶段：在1,000条SYMCE数据上进行监督微调，安装基本的见证格式与领域语言。 2. RLVR阶段：以SFT适配器为参考策略，使用GRPO（Group Relative Policy Optimization）进行强化学习，KL惩罚系数为0.02，每提示采样 G=4 条轨迹。关键发现是：稀疏结果奖励能够修复并超越原始校准，而密集奖励仅部分修复： - 在真定理探测（SYMCE-prompt风格）上，RLVR-sparse将Pass@1恢复并提升至 0.65 ，RLVR-dense仅恢复至 0.34 。 - 在领域内反例基准（ n=201 ）上，二者成功率均约 0.50 ，统计无显著差异；但在分布外校准_probe上差距达33个百分点。机制上，密集奖励的部分信用项 α · (s(hyp)/n(hyp)) 主动训练了策略“宁可尝试也不放弃”，导致面对真定理时过度自信地编造见证；稀疏奖励因不提供部分信用，保留了弃权（abstention）作为可行动作，从而维护了逻辑校准。 —- ### 5. 跨域迁移与鲁棒性验证为证明所习得的并非狭隘专用技能，论文在训练数据未涉及的基准上进行零样本评估： - 正向数学任务：GSM8K、MATH-500、MMLU-college-math、AIME-2024。 - 迁移结果：RLVR模型在MATH-500上从基线 0.13 提升至 0.65 ，GSM8K从 0.83 提升至 0.88 ，且该增益主要来自强化学习阶段而非SFT阶段，表明证伪训练安装了可迁移的逆向推理能力。 - 鲁棒性：Qwen3-4B上的发现在四种子及Gemma-3-4B上均得到复现，证明其非种子或模型家族的偶然产物。 —- 综上，论文的解决方案核心在于：以每定理Python验证器为确定性训练环境，以结构化奖励函数为行为锚点，以稀疏结果奖励的RLVR为校准修复机制，从而在可接受的计算成本下（单张RTX 5090，数小时训练）实现高性能且高校准的反例生成。 Q4: 论文做了哪些实验？论文围绕反例生成、校准修复与能力迁移三个层面，开展了一系列相互印证的实验。以下按逻辑脉络完整列出： —- ### 1. 领域内反例生成（主实验，§6.1，Table 2）在201条 held-out 假命题测试集上，评估了四种模型变体： - Qwen3-4B base（未训练基线） - + SFT（仅在SYMCE上监督微调） - + RLVR (dense)（基于密集奖励的GRPO） - + RLVR (sparse)（基于稀疏结果奖励的GRPO） 评估指标： - Greedy Pass@1（主指标）与 Sampled Pass@8 - 宽松指标 Conclusion-pass（仅要求否定结论 q_(neg)=1 ） - 格式合规率 Format-OK、解析成功率 Parse-OK 外部对照： - 5个7B开源数学专用模型（Abel-7B-002、DeepSeekMath-7B-RL、Eurus-2-7B-PRIME、MAmmoTH2-7B-Plus、Qwen2.5-Math-7B-Instruct） - 6个商业前沿API（DeepSeek与Gemini家族） —- ### 2. 定理真实性探测：模仿陷阱与修复（§6.2，Table 3；§6.3，Figure 2）为检验反例训练是否损害模型对真命题的识别能力，构建了含347条真定理的辅助探测集。 实验设计： - SYMCE-prompt：使用与训练时完全相同的提示风格（要求输出反例） - truth-classify：显式要求模型回答 TRUE / FALSE 核心发现：SFT在SYMCE-prompt上Pass@1从基线 0.27 崩溃至 0.00 ；RLVR-sparse修复并超越基线至 0.65 ，而RLVR-dense仅恢复至 0.34 。 机制剖析（原因分类，§6.3）：对测试集上每条greedy rollout进行七类互斥标注： - Success（成功反例） - neg Q only（否定结论但违反某假设） - Abstain (NONE)（弃权） - Full / Partial hypotheses（满足全部/部分假设但结论断言为真） - Parse error / Format error 通过对比四组模型的 outcome distribution，定位到密集奖励的部分信用项导致策略过度自信地编造见证，而稀疏奖励保留了弃权行为。 —- ### 3. 跨领域一致性检验（§6.4，Figure 3）将反例测试集按六个数学子领域（GroupTheory、RingTheory、NumberTheory、LinearAlgebra、FieldTheory、RealAnalysis）分层，报告每领域Pass@1及95% bootstrap置信区间。验证RLVR增益是否均匀分布，排除领域坍缩或狭隘专业化。 —- ### 4. 分布外迁移（§6.5，Table 4）在训练数据完全未涉及的四个标准数学基准上，使用相同chain-of-thought提示进行零样本评估： - GSM8K ( n=1319 ) - MATH-500 ( n=500 ) - MMLU-college-math ( n=100 ) - AIME-2024 ( n=30 ) 报告四种子均值±标准差，以区分格式适应与真实推理增益。 —- ### 5. 鲁棒性：多种子与跨模型家族复现（§6.6，Table 5） - Qwen3-4B：在4个独立种子（42、19、31、64）上完整复现SFT→RLVR流程 - Gemma-3-4B：在seed 56（及附录中seed 24）上复制整个训练-评估流程，验证“模仿陷阱”与“稀疏奖励修复”是否跨越模型家族成立 —- ### 6. 验证器质量与奖励可信度审计（§3.5）对177条模型生成的见证进行人工独立审计（101条被验证器接受，76条被拒绝），由具备研究生阶段数学背景的作者判定其是否为真正有效反例： - 计算验证器决策准确率（97.7%） - 区分类别：误接受（false accept）、误拒绝（false reject）、假设删除标签噪声、模式质量缺陷 - 同时测量验证器调用延迟（中位132 ms，p95 145 ms，最大326 ms） —- ### 7. 训练动态监控（Appendix A，Figure 4 & Table 6）记录RLVR训练全过程的逐step曲线（约1,752 steps）： - Mean reward（密集 vs 稀疏的收敛轨迹） - KL散度至SFT参考策略 - Policy loss 验证训练在无重启、无梯度爆炸、无奖励崩溃的情况下完成4个epoch。 —- ### 8. 答案提取规则与记忆化检验（Appendix C & E） - 严格 vs 宽松提取（Table 8）：对比不同答案解析规则下定理真实性探测的数值变化，确保“SFT崩溃至0.00”与“稀疏-密集差距”不受解析规则影响。 - 已见 vs 未见子集（Table 10）：将347条真定理按“其突变形式是否出现在RLVR训练集”划分为seen ( n=150 ) 与 unseen ( n=197$)，排除记忆化对校准修复效应的解释。 —- ### 9. 基线详尽的性能分解（Appendix G，Table 11、Table 12、Figure 6） - 列出全部5个7B开源模型与6个商业API在反例基准上的Pass@1/Pass@3/Pass@8及bootstrap置信区间 - 绘制所有参评模型的Pass@1对比条形图，直观展示4B RLVR模型落入前沿API性能带 —- ### 10. 定性案例分析（Appendix F，Figure 1 & Figure 5） - Figure 1：展示SFT在真定理上的“模仿陷阱”实例——模型输出格式完美、数学构造经典的反例，但该构造实际违反定理前提。 - Figure 5：展示稀疏奖励的对称失败模式——面对真可证伪命题时，稀疏模型选择弃权(NONE)，而密集模型成功给出紧凑反例。 Q5: 有什么可以进一步探索的点？基于论文的局限性与核心发现，可从以下七个方向进一步探索： —- ### 1. 规模、参数化与强化学习算法的系统性扩展当前实验仅覆盖 4B 参数模型 配合 LoRA 适配器 与 GRPO 算法。尚未检验的结论包括： - 模型规模效应：当基座扩展至 14B、32B 乃至更大时，”模仿陷阱”（imitation trap）是否仍然同等严重，抑或涌现自我修正能力； - 全参数微调（full fine-tuning）与参数高效微调（PEFT）在反事实推理中的行为差异； - 替代 RL 算法（如 PPO、ReMax、DAPO）对稀疏/密集奖励敏感度的异同。 —- ### 2. 验证器底座的领域拓展与形式化升级现有 SYMCE 依赖 Python + SymPy/Z3，其可判定性覆盖范围限于代数与实分析初等领域。向以下方向拓展将显著提升环境通用性： - 集成 Lean 4 或 Isabelle 后端，使验证器能够处理涉及高阶逻辑、拓扑学与泛函分析的命题； - 开发连续一阶逻辑（continuous FOL）扩展，以支持度量空间与收敛结构的符号判定； - 探索神经-符号混合验证：在 Z3 无法判定的边界情况下，引入可学习的过程奖励模型（PRM）作为软启发式。 —- ### 3. 突变策略与数据分布的多样化当前数据构建采用单假设删除（single-hypothesis dropping），虽便于归因分析，但限制了覆盖范围： - 结论突变（conclusion mutation）与多假设联合删除（multi-hypothesis dropping）可生成更复杂的假命题谱系； - AST 级突变（如 Wu et al., 2024 的 Alchemy 线路）可引入运算符替换、量词辖域修改等细粒度变换； - 对冗余假设、循环定义等边界情形的显式构造，可测试模型对”数学相关性”的深层理解。 —- ### 4. 奖励塑造（reward shaping）的因果机制研究论文发现密集奖励中的部分信用项（partial-credit term）

α · s(hyp)n(hyp)
会系统性侵蚀逻辑校准，但其普适性尚待检验： - 在其他结构化输出任务（如代码合成、科学假设检验）中，部分信用奖励是否同样诱导”过度自信-放弃行为失衡”； - 设计**动态奖励退火**策略：训练初期使用密集奖励引导探索，后期渐变为稀疏奖励以保持校准； - 探索基于假设重要性的**加权部分信用**，而非简单算术平均，以区分关键前提与辅助条件。 —- ### 5. 跨基准评估与生态整合 - 与 **COUNTERMATH** 进行系统交叉评估：将 SYMCE 训练的模型提交至其 LLM-as-judge 协议，量化确定性验证器与评判式评估之间的性能差距； - 在 **Lean 4 Mathlib** 生态中测试：将 SYMCE 的 Python 验证器输出转换为 Lean 证明义务（proof obligations），检验跨形式化语言的迁移性； - 构建统一评测框架，同时覆盖正向证明（proving）、反例生成（disproving）与定理分类（truth recognition）。 —- ### 6. 可解释性与机制理解 - **更大规模、多标注者的人工审计**：当前 177 例审计由单一作者完成，未来需独立数学专家标注以计算 Kappa 一致性，并细化错误类型学（verifier 逻辑错误 / 模式解析错误 / 标签噪声）； - **内部表示探测**：通过激活修补（activation patching）或线性探测，识别模型在反例生成中是否形成了与正向证明分离的”否定电路”； - **因果中介分析**：验证密集奖励是否确实通过提升 P(emit witness) 而非提升 P(neg Q mid emit) 来损害校准。 —- ### 7. 应用层面的延伸 - **自动定理证明中的剪枝**：将训练后的反例生成器作为启发式模块，在证明搜索早期快速剔除不可行的证明分支； - **教育科技**：开发”自动错题生成”系统，利用假设删除机制为学生量身构造具有明确归因的反例练习； - **安全关键系统的对抗测试**：将代数结构中的反例生成方法论迁移至协议验证与程序分析领域，生成边界条件触发器。 Q6: 总结一下论文的主要内容该论文围绕大语言模型（LLMs）在数学推理中的**证伪能力缺陷**与**校准崩溃**问题，提出了一套基于确定性符号验证器的训练与评估框架。核心内容可概括如下： ### 1. 研究问题与动机 - **正向/反向推理不对称**：LLMs 擅长证明真命题，却难以对密切相关的假命题生成反例，存在显著的**证伪鸿沟**（falsification gap）。 - **模仿陷阱（Imitation Trap）**：仅在反例数据上进行监督微调（SFT）不仅无法提升证伪能力，反而会诱导模型学习反例的**输出形式**而忽略**否定结论的逻辑约束**，导致对真定理的识别能力崩溃（Pass@1 从 0.27 降至 0.00 ）。 - **数据与评估瓶颈**：现有反例基准规模小（如 COUNTERMATH 仅 1,216 题），且依赖噪声较大的 LLM-as-a-judge 评估，缺乏可执行、可审计的验证机制。 ### 2. SYMCE：确定性证伪环境论文构建并发布了 **SYMCE**（Symbolic Counterexample Environment），包含： - **4,707 条假命题**：通过对 6,748 条本科级代数与实分析定理进行**单假设删除**（hypothesis dropping）突变，并经 LLM 过滤与门控生成。 - **每定理独立 Python 验证器**：每条命题配备一个可执行的 Python 模块，对模型输出的见证（witness）返回布尔元组——分别指示各剩余假设是否满足，以及否定结论 q_(neg) 是否成立。验证基于 `sympy`/`z3`，在沙箱中运行，中位耗时 132 ms。 - **见证模式接口（witness-schema）**：自动生成 Python 对象形状描述（如 `SymPy Matrix` 或 `PermutationGroup` 元组），作为结构先验注入提示，约束策略输出格式。 ### 3. 奖励函数与训练方法将反例生成重新框架为**约束见证发射**（constrained witness emission），采用两阶段训练： - **SFT**：在 1,000 条 SYMCE 数据上安装基本输出格式。 - **RLVR（GRPO）**：以验证器为确定性奖励函数，从 SFT 适配器出发进行强化学习，采样 G=4 条轨迹，KL 惩罚系数 0.02 。论文设计了两种奖励形态： - **密集奖励（Dense）**：

r = α · s(hyp)n(hyp) + β · q(neg) + γ · 1[format ok] - δ · 1[gave up] - varepsilon · (1 - 1[parse ok])
其中 α=0.25, β=0.65 等，包含**部分信用项**（partial-credit），使部分满足假设的尝试仍获正回报。 - **稀疏结果奖励（Sparse）**： α=γ=δ=0, β=varepsilon=1 ，仅当成功否定结论时给予 +1 ，放弃或失败得 0 或 -1 。 ### 4. 核心发现：校准与性能的解耦 - **SFT 导致校准崩溃**：在 347 条真定理探测集上，SFT 模型在 SYMCE-prompt 下对真定理的识别率降至 0.00 ，且跨四种子及 Gemma-3-4B 均复现；模型会自信地为真定理编造虚假见证（hyp-only 错误率从 1% 升至 31% ）。 - **Sparse RLVR 修复校准**：稀疏奖励将真定理识别率恢复并提升至 0.65 （SYMCE-prompt）与 0.84 （truth-classify），超越基线。 - **Dense RLVR 修复不足**：密集奖励仅恢复至 0.34 （SYMCE-prompt）。 - **机制定位**：密集奖励中的部分信用项 α · (s(hyp)/n_(hyp)) 主动训练策略”宁可尝试也不放弃”，抑制了弃权（abstention）行为；稀疏奖励因无此激励，保留了在不确定时弃权的能力，从而维护逻辑校准。 - **关键解耦**：在领域内反例基准（ n=201 ）上，dense 与 sparse 的 Pass@1 均约 0.50 ，统计无显著差异；但在分布外校准探测上相差 **33 个百分点**，证明两种奖励塑造了**定性不同的策略**。 ### 5. 性能与迁移 - **领域内竞争力**：基于 Qwen3-4B 的 RLVR 模型 greedy Pass@1 达 0.49 ± 0.02 ，超过所有评估的 7B 开源数学专家模型（最佳 7B 基线仅 0.30 ），并落入 6 个商业前沿 API 的性能范围（ 0.42 – 0.58 ）。 - **分布外迁移**：在未经任何训练的 GSM8K、MATH-500、MMLU-college-math 上，RLVR 模型实现显著提升。例如 MATH-500 从基线 0.13 升至 0.65 ，GSM8K 从 0.83 升至 0.88 ，且增益主要来自 RLVR 阶段而非 SFT，表明证伪训练安装了可迁移的逆向推理技能。 - **跨领域一致性**：在群论、环论、域论、数论、线性代数、实分析六个子领域上，RLVR 均一致提升，其中实分析仅占训练分布 6.7% 却获得 +0.23 绝对增益，支持技能迁移而非记忆化。 ### 6. 验证器审计对 177 条模型生成的见证进行人工独立审计（101 条被验证器接受，76 条被拒绝），验证器决策准确率达 **97.7%**（ 173/177 ），无证据表明存在奖励黑客（reward hacking）或验证器逻辑错误。 ### 7. 主要贡献 - **C1 — 模仿陷阱病理**：首次在反例生成场景中精确测量并定位 SFT 导致的校准崩溃，证明其跨种子、跨模型家族的稳健性。 - **C2 — 基于验证器的 RLVR 修复**：证明稀疏结果奖励可修复校准，而密集奖励的部分信用项是侵蚀校准的因果机制。 - **C3 — 强经验性能与迁移**：4B 模型在证伪任务上超越 7B 专家并与前沿 API 竞争，且正向数学任务显著迁移。 - **C4 — SYMCE 环境**：发布大规模、确定性、可执行的证伪数据集与验证器模块，摆脱 LLM-as-a-judge 范式。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Omar Farouk Zouak, Houssam Eddine Boukhalfa, Soumaya Lakehal, Shiv Katiyar, Samia Nefti-Meziani

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02444.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02444

Published: 2026-10-06T03:19:48.974Z

4. FinDialogLens: Event Extraction over Multi-Party Dialogue for Missed-Trade Identification in Financial Chatrooms

Abstract:Multi-party financial chatrooms are vital for sales-and-trading professionals, but their complexity makes manual recovery of missed trades infeasible: each Request for Quote (RFQ) is an event whose final price and trade outcome appear many messages after the RFQ-trigger message (the inquiry message), interleaved with concurrent RFQs from other participants. We cast this as event extraction (EE) over multi-party dialogue and present FinDialogLens, a hybrid LLM pipeline in which compact fine-tuned classifiers act as inference-time scaffolds: they detect RFQ-triggers and price/trade outcome metadata, an RFQ-Level Module segments per-event RFQ windows, and a Trade Engine fills argument roles. With GPT-4o, FinDialogLens reaches 92.1% and 94.3% accuracy on final price and trade outcome, respectively, outperforming full-chatroom CoT prompting methods; fine-tuned open-source LLMs with as few as 3B parameters achieve comparable performance with modest in-domain data. To make the LLM-based solution practical at scale, a difficulty-aware router balances cost and accuracy by allocating RFQs between a low-cost rule-based engine and the higher-performing LLM-powered Trade Engine, cutting LLM calls by 85% on final price while recovering half of the accuracy gap to FinDialogLens (GPT-4o), saving over $300/day at our 70,000-RFQ/day scale.

中文摘要

摘要：多方金融聊天群对销售和交易专业人员至关重要，但其复杂性使得手动恢复错过的交易几乎不可能：每个报价请求（RFQ）都是一个事件，其最终价格和交易结果往往出现在RFQ触发消息（询价消息）之后的许多消息中，并与来自其他参与者的并发RFQ交错出现。我们将此问题视为多方对话中的事件抽取（EE），并提出了FinDialogLens，这是一种混合型大型语言模型（LLM）管道，其中紧凑型微调分类器在推理时充当辅助：它们检测RFQ触发器和价格/交易结果元数据，RFQ级模块对每个事件的RFQ窗口进行分段，交易引擎则填充参数角色。使用GPT-4o时，FinDialogLens在最终价格和交易结果上的准确率分别达到92.1%和94.3%，超越了全聊天群链式推理（CoT）提示方法；使用仅3B参数的微调开源LLM在适量领域内数据下也能达到类似性能。为了使基于LLM的解决方案在大规模下可行，一个难度感知路由器通过在低成本规则引擎和高性能的LLM驱动交易引擎之间分配RFQ来平衡成本与准确性，在最终价格上将LLM调用减少了85%，同时恢复了FinDialogLens（GPT-4o）一半的准确率差距，在我们每日70,000个RFQ的规模下每天节省超过300美元。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决金融机构多方聊天室中\*\*未成交交易（missed-trade）的自动识别与结构化记录恢复\*\*问题。具体而言，研究聚焦于从嘈杂、异步且高度交错的金融即时通讯对话中，自动提取以询价（Request for Quote, RFQ）为锚点的完整业务事件记录。该问题的核心挑战体现在以下几个方面： - \*\*多方对话中的事件抽取\*\*：与传统单句或单作者文档不同，金融聊天室中的每个 RFQ 事件其论据（最终价格、交易结果）分散在多个参与者的非相邻消息中，且被大量无关的市场更新或闲聊所淹没。 - \*\*长距离与交错分布\*\*：RFQ 的触发消息（询价）、后续报价/重新报价以及最终成交或拒绝的线索之间可能存在数分钟的时间间隔，并与来自其他客户或产品的并发 RFQ 谈判交织在一起，导致论据归属极易混淆。 - \*\*“未成交”记录的缺失\*\*：已执行交易可由系统自动捕获，但未成交的询价（客户未接受报价或明确拒绝）缺乏结构化记录，使得销售团队无法量化报价竞争力或优先安排客户跟进。 - \*\*生产规模下的可行性\*\*：在每日处理数万条 RFQ 的工业场景下，依靠人工从海量聊天记录中回溯并整理每个 RFQ 的最终价格和结局既不可行也不经济。为应对上述挑战，论文将该任务形式化为\*\*多方对话上的事件抽取（Event Extraction over Multi-Party Dialogue）\*\*，其中每个 RFQ 是一个事件，其触发消息为询价句，而“最终价格”与“交易结果”两个论元角色则需从下游的、远距离的且可能与其他事件交错的消息中填充。 Q2: 有哪些相关研究？该论文的相关研究涵盖事件抽取、金融自然语言处理、对话解纠缠以及语言模型路由策略等方向，具体可归纳如下： ### 1. 事件抽取（Event Extraction, EE）现有 EE 方法按处理粒度可分为两类，但均无法直接适用于金融聊天室场景： - \*\*句子级方法\*\*：如 ACE 项目（Doddington et al., 2004）、Li et al. (2013) 与 Chen et al. (2015) 的工作，将事件及其论元限定在单一句子内部，无法处理跨句、跨轮次的论据分散问题。 - \*\*文档级方法\*\*：如 Ebner et al. (2020)、Li et al. (2021)、Zheng et al. (2019) 等，虽能处理文档内的论元链接，但通常假设文本为单作者、连贯叙述，未针对多方对话的交错特性设计。 - \*\*生成式/指令微调方法\*\*：如 Text2Event（Lu et al., 2021）、DEGREE（Hsu et al., 2022）、Wang et al. (2023) 与 GOLLIE（Sainz et al., 2024），通过序列生成或指令遵循实现事件抽取，但仍未解决多方对话中的长距离交错论据归属难题。 ### 2. 金融自然语言处理金融领域的结构化信息抽取研究主要集中于\*\*新闻与监管文件\*\*（filings），例如： - \*\*Doc2EDAG\*\*（Zheng et al., 2019）针对中文金融文档进行事件抽取； - \*\*FinRED\*\*（Sharma et al., 2023）专注于金融领域的关系抽取。近年来，Li et al. (2024b)、Nie et al. (2024) 与 Chen et al. (2024) 等对大型语言模型在金融、医疗与法律等关键社会领域的应用进行了综述，但指出\*\*对话式金融数据\*\*的结构化抽取仍受关注较少。 ### 3. 对话解纠缠（Dialogue Disentanglement） Kummerfeld et al. (2019) 与 Li et al. (2024a) 等研究处理了多方输入场景，旨在将交织的对话线程分离。然而，其目标是\*\*线程恢复\*\*而非以触发器为锚点的\*\*事件抽取与论元填充\*\*，因此不直接产出结构化的单事件记录。 ### 4. 紧凑模型在专用任务中的优势 Yu et al. (2023) 的研究表明，在特定领域任务上，经过充分微调的紧凑模型（如 RoBERTa）可能超越通用大型语言模型的表现。该发现为本文的 Message-Level Module 设计提供了依据——即使用轻量分类器生成领域特定的推理时脚手架信号。 ### 5. LLM 路由与成本优化在评估路由策略时，论文引用了 \*\*RouteLLM\*\*（Ong et al., 2025），采用 Performance Gap Recovery（PGR）与 Call-Performance Threshold（CPT）等指标，衡量在不同预算约束下通过路由策略平衡弱引擎与强引擎的成本-精度权衡。 --- \*\*与现有研究的本质区别\*\*：本文指出，金融聊天室中的未成交交易识别要求同时满足四个结构属性——\*\*多方输入（multi-party）\*\*、\*\*跨多轮对话的论据（cross-turn arguments）\*\*、\*\*显式的事件触发器（per-event trigger）\*\* 以及\*\*结构化事件记录输出（structured event record）\*\*。如论文表 1 所示，现有句子级 EE、文档级 EE 及对话解纠缠方法族均无法同时涵盖以上四个维度。 Q3: 论文如何解决这个问题？论文将金融聊天室中的未成交交易识别形式化为\*\*多方对话上的事件抽取\*\*问题，并提出 \*\*FinDialogLens\*\* 这一混合式大语言模型（LLM）流水线加以解决。该方法通过轻量级领域分类器提供推理时脚手架（inference-time scaffolds），结合基于事件窗口的上下文切分与难度感知路由，实现从嘈杂、交错对话中精准提取每个询价（RFQ）的最终价格与交易结果。整体解决方案包含以下四个核心组件： --- ### 1. 消息级模块（Message-Level Module）该模块负责从原始对话中为每条消息生成细粒度元数据，为下游模块提供领域特定的结构化信号。模块基于 RoBERTa-base 训练了三个紧凑的分类器： - \*\*RFQ 识别器（RFQ Identifier）\*\*：判定消息 m_i 是否为 RFQ 触发消息，输出 y^(RFQ)_i ∈ True, False ； - \*\*交易结果分类器（Trade Outcome Classifier）\*\*：判定消息是否包含交易结果线索，输出 y^(trade)_i ∈ Hit, Miss, None ； - \*\*价格命名实体识别模型（Price NER Model）\*\*：从消息中提取价格实体列表 y^(price)_i 。这些预测结果作为元数据附着于每条消息，既用于后续的 RFQ 窗口切分，也作为 LLM 的推理时脚手架，弥补通用大模型在金融行话与对话噪声上的领域知识不足。 --- ### 2. RFQ 级模块（RFQ-Level Module）鉴于单日内聊天室可能包含数百条消息与大量并发 RFQ，直接对全天对话进行推理既低效又易受“ lost-in-the-middle ”现象影响。该模块基于消息级元数据，将完整聊天室切分为\*\*以触发消息为锚点的独立事件窗口\*\*。对每个被标记为 RFQ 触发的消息 m^(trig)_j ，模块收集其后续消息，直到满足以下任一终止条件： - 时间跨度超过 20 分钟；或 - 累计消息数达到 25 条。由此生成 RFQ 窗口 w_j 。窗口内的原始文本与消息级元数据（通过特殊标记如 \`<>\`、\`<>\`、\`<>\`、\`<>\`）交错拼接，形成结构化的单事件上下文，输入至下游交易引擎。 --- ### 3. 交易引擎（Trade Engine）交易引擎负责在每个独立的 RFQ 窗口 w_j 中填充剩余的论元角色：最终价格 p_j 与交易结果 o_j 。完整的事件记录被组装为：

ej = ( m^(trig)_j, p_j, o_j )
其中 p_j 为从对话中提取的价格字符串（若无则为 `NONE`）， o_j ∈ Hit, Miss, Unknown 。引擎采用 LLM 实现，论文中测试了两类方案： - **闭源模型**：GPT-4o，通过精心设计的提示模板（含背景知识、思维链指导、特殊标记说明与输出格式约束）直接推理； - **开源模型**：对 Mistral-7B-Instruct、Llama-3-8B-Instruct、Phi-3-mini（3B）及 Flan-T5-XL 进行领域微调。实验表明，仅需约 1,000 条域内样本即可使轻量开源模型接近 GPT-4o 的表现。 —- ### 4. 难度感知路由器（Difficulty-Aware Router）为降低全量调用 LLM 带来的成本与延迟，论文引入一个路由器，根据每个 RFQ 窗口的预估难度，在**低成本规则引擎**（ E(weak) ）与**高性能 LLM 引擎**（ E(strong) ）之间进行动态分配。路由器训练一个估计器 P(θ)(Correct | w) ，预测规则引擎在给定窗口 w 上的正确概率。推理时通过阈值 α 控制成本—精度权衡：

R(α)(w) = E(weak), & if P(θ)(Correct | w) ≥ α, [6pt] E(strong), & otherwise.
该路由器可采用 RoBERTa-base、Mistral-7B-Instruct 或 Flan-T5-XL 实现。在生产环境（每日 70,000 条 RFQ）中，仅将约 15% 的窗口路由至 LLM 引擎即可在最终价格任务上恢复半数精度差距，同时削减 85% 的 LLM 调用量，显著降低运营成本。 —- ### 总结 FinDialogLens 通过“**轻量分类器打标 → 事件窗口切分 → LLM 论元填充 → 难度感知路由**”的四层架构，有效解决了金融多方聊天室中 RFQ 事件的长距离、交错分布与规模化解题难题：消息级元数据提供精准锚点与领域信号，RFQ 窗口隔离并发事件干扰，交易引擎完成高精度抽取，而路由器则在保证准确率的前提下将 LLM 调用成本降至可部署水平。 Q4: 论文做了哪些实验？论文的实验围绕以下三个核心主张展开验证：(1) 消息级元数据与逐事件 RFQ 窗口能否提升大模型在多方对话事件抽取上的表现；(2) 微调后的开源轻量大模型能否接近专有模型性能；(3) 难度感知路由器能否在大幅降低 LLM 调用量的同时保持较高精度。实验设置与主要结果如下。 —- ## 1. 实验设置 ### 数据与划分 - **语料规模**：47,362 条消息，涵盖 8,343 个 RFQ，时间跨度为 2023–2024 年。 - **划分方式**：按时间切分而非随机采样。训练集含 37,245 条消息 / 7,082 个 RFQ；验证集含 1,147 条消息 / 295 个 RFQ；测试集为 2024 年 6–7 月的连续数据，含 8,970 条消息 / 966 个 RFQ，无消息或 RFQ 重叠。 - **排除标准**：约 1% 的案例因标注者直接不一致或谈判转移至电话/邮件导致无法从聊天记录中确定金标准而被排除。 ### 基线方法 - **Rule-based Engine**：使用消息级模块产出的元数据，通过预定义启发式规则将价格与交易结果链接到 RFQ 触发消息。 - **Full-Chatroom CoT Prompting（GPT-4o）**：在全天聊天室上进行端到端思维链提示，考察四种配置： - 零样本 vs. 少样本（3 例）； - 无元数据 vs. 有元数据（用特殊标记注入消息级预测标签）。 ### 评估指标 - **触发检测**：Precision、Recall、F1。 - **最终价格**：精确匹配准确率（Exact-Match Accuracy）。 - **交易结果**：三分类（Hit / Miss / Unknown）的 Accuracy 与 F1。 - **路由器评估**： - Performance Gap Recovery（PGR）：

PGR(R(α)) = r(R(α)) - r(E(weak))r(E(strong)) - r(E(weak))
其中 r(·) 为准确率。 - Call-Performance Threshold（CPT）：达到目标 PGR 所需路由至强引擎（LLM）的最小比例。 —- ## 2. 主要实验结果 ### 2.1 消息级元数据与逐事件窗口的有效性 - **消息级模块性能**（表 3）：RFQ 识别器 F1 为 0.97，交易结果分类器 F1 为 0.95，价格 NER 模型 F1 为 0.93，为下游提供可靠的推理脚手架。 - **元数据的增益**（表 2）：在少样本 CoT 设置中，向全天聊天室注入元数据使最终价格准确率从 64.4% 提升至 79.2%（+14.8），交易结果准确率从 70.5% 提升至 87.0%（+16.5）。 - **窗口切分的增益**：FinDialogLens（GPT-4o）进一步将最终价格准确率提升至 **92.1%**，交易结果准确率提升至 **94.3%**，相比最强元数据增强 CoT 基线分别高出 12.9 和 7.3 个百分点。这表明逐事件窗口有效隔离了并发 RFQ 的交叉干扰。 ### 2.2 开源模型与专有模型的对比 - **数据效率**（图 3）：随着域内训练样本增加，微调后的开源模型性能迅速提升，在约 1,000 例后趋于平稳。 - **最终性能**（表 2 与图 3）：使用完整训练集时，Flan-T5-XL 达到 91.7% 的最终价格准确率与 92.8% 的交易结果准确率；Phi-3-mini（3B 参数）达到 87.8% 与 91.2%。所有微调开源模型均超越 GPT-4o 的 CoT prompting 基线，证明少量域内数据即可使轻量开源模型在该流水线中接近专有模型表现。 ### 2.3 难度感知路由器的成本—精度权衡 - **路由效率**（表 4）：随机路由需将 49.2% 的 RFQ 窗口送至 LLM 才能在最终价格上达到 50% PGR；而 RoBERTa-base 路由器仅需 **14.9%**，Flan-T5-XL 在 80% PGR 下仅需 **29.9%**。 - **准确率曲线**（图 4）：微调路由器在仅将约 40% 窗口送至 LLM 时，整体准确率已接近全量 LLM 方案，显著优于随机路由。 - **生产级收益**：在每日 70,000 RFQ 的规模下，仅路由 14.9% 的窗口至 GPT-4o 即可恢复最终价格任务上弱引擎与 FinDialogLens 之间一半的性能差距，每日节省 API 费用超过 **300 美元**。 —- ## 3. 附加分析实验 ### 3.1 元数据错误传播的消融实验（附录 E，表 9）将消息级模块的预测标签替换为人工标注的金标准后，最终价格准确率几乎不变（92.1% → 91.9%），交易结果准确率小幅上升（94.3% → 95.9%）。这表明下游交易引擎对消息级模块的残余误差具有较强鲁棒性。 ### 3.2 错误分析（附录 D）对 FinDialogLens（GPT-4o）在测试集上的错误进行案例分析，发现主要错误源于**短时间内的多 RFQ 密集交错**场景（如图 5 所示）。在此类情况下，模型偶发地将属于其他 RFQ 的价格错误关联到目标 RFQ 上。 ### 3.3 GPT-4o 多轮稳定性评估（附录 C，表 8）尽管使用 temperature=0，API 层面的非确定性仍可能导致微小波动。5 次独立运行的均值与标准差显示，FinDialogLens（GPT-4o）的最终价格准确率为 91.8 ± 0.42 ，交易结果为 93.4 ± 0.27 ，验证了其稳定性。 ### 3.4 路由器的质量、成本与延迟分析（附录 F） - **路由质量**（图 6）：按路由器 logit 将窗口分为十档，Top 10% 窗口中规则引擎的最终价格准确率达 95%–100%，而 Bottom 10% 仅 14.6%，说明路由器能有效区分易例与难例。 - **成本**（表 6）：在 CPT(50%) 下，RoBERTa-base 路由处理每 1,000 个 RFQ 的 LLM 成本为 0.80，远低于随机路由的 2.66。 - **延迟**（表 7）：在 CPT(50%) 下，RoBERTa-base 处理整个测试集的总 API 延迟为 217.4 秒，较随机路由的 717.8 秒大幅降低，支撑实际部署的可行性。 Q5: 有什么可以进一步探索的点？基于论文所述的方法局限、实验观察及工业部署需求，以下几个方面值得进一步探索： ### 1. 自适应 RFQ 窗口切分机制当前 RFQ-Level Module 采用固定的时序阈值（20 分钟或 25 条消息）界定事件窗口。不同资产类别、客户习惯或谈判复杂度下，RFQ 的生命周期差异显著：部分询价秒级成交，部分则需数小时的反复磋商。未来可探索**基于对话结构、参与者行为模式及产品语义的动态边界检测**，例如利用对话行为识别（dialogue act detection）或条件随机场建模消息间的依赖关系，从而在不牺牲召回率的前提下压缩上下文噪声。 ### 2. 跨机构与跨资产类别的领域迁移论文指出，Message-Level Module 中的紧凑分类器高度依赖领域内标注数据，其效用可能随通信风格、产品惯例或机构术语的变化而衰减。后续研究可聚焦于： - **少样本/零样本领域自适应**：利用参数高效微调（PEFT）或提示学习，将在一个交易台（如利率衍生品）训练的模型快速迁移至另一个（如外汇或信用债）； - **通用金融对话预训练**：构建跨机构、跨资产的金融多方对话预训练语料，以提升基础模型对行业黑话的泛化能力。 ### 3. 从二元路由到多层级、多目标智能路由现有难度感知路由器仅在“低成本规则引擎”与“高性能 LLM 引擎”间做二元决策。实际生产环境中，模型选型需同时权衡**精度、延迟、成本与合规风险**。可扩展的方向包括： - **多层级模型路由**：在弱规则引擎、中等规模开源 LLM、强专有 LLM 及人工复核之间建立多路路由； - **约束感知路由**：将延迟 SLA 或风险等级（如高名义本金交易）纳入路由决策，实现任务特异性的资源分配； - **在线学习路由策略**：随对话分布漂移持续更新路由器，而非依赖静态阈值 α 。 ### 4. 复杂交错场景下的深层对话结构建模错误分析表明，多数失败案例源于**短时间内多 RFQ 密集交错**（如图 5 所示），模型难以正确将报价或成交信号归因至对应的询价锚点。这暗示需超越简单的逐事件窗口隔离，引入： - **显式对话解纠缠与线程共指**：联合建模 RFQ 触发器、报价实体与结果信号之间的共指链条； - **图结构表示**：将消息、参与者、价格实体与产品提及构建为异构图，利用图神经网络（GNN）显式捕捉跨 RFQ 的交互与排斥关系。 ### 5. 论元角色的扩展与事件本体丰富化当前事件定义仅包含两个论元角色：最终价格 p_j 与交易结果 o_j 。完整的交易生命周期涉及更多结构化字段，如**名义本金、期限、产品标识、交易方向（买/卖）、结算日期**等。扩展事件本体并研究多角色、多值论元在交错对话中的联合抽取，可进一步提升业务价值并支持下游的报价竞争力分析。 ### 6. 隐私保护下的数据共享与外部验证由于监管与客户保密要求，原始对话无法公开，限制了研究社区的直接复现。未来可探索： - **合成金融对话生成**：利用 LLM 结合领域约束生成高保真的脱敏对话数据，用于公开基准测试； - **联邦学习或差分隐私**：在多家金融机构间协同训练事件抽取模型，而无需交换原始聊天记录。 ### 7. 增量与持续学习金融市场与对话模式具有时变性（如新产品上线、监管措辞变化、季节性交易习惯）。当前模型在固定历史数据上训练，可能在概念漂移（concept drift）下性能衰退。引入**增量学习或持续预训练机制**，使系统能够从新流入的标注或弱监督信号中自适应更新，是提升长期部署稳定性的关键。 ### 8. 多模态金融对话理解实际交易聊天室不仅包含文本，还可能嵌入**语音消息转录、截图中的结构化报价单、表格或 PDF 附件**。将 FinDialogLens 从纯文本管道扩展至支持多模态输入的统一抽取框架，可更全面地还原复杂的交易协商场景。 Q6: 总结一下论文的主要内容该论文研究金融机构多方聊天室中**未成交交易（missed-trade）的自动识别**问题，并将其形式化为**多方对话上的事件抽取（Event Extraction over Multi-Party Dialogue）**。在该场景下，每个询价（RFQ）构成一个事件，其触发消息为客户的报价请求，而论元角色——**最终价格**与**交易结果**——分散在后续非相邻且与其他并发 RFQ 交错的消息中，传统句子级或文档级事件抽取方法难以直接适用。为应对这一挑战，论文提出 **FinDialogLens**，一种混合式大语言模型流水线，包含以下核心组件： - **消息级模块（Message-Level Module）**：基于 RoBERTa-base 微调三个轻量分类器，分别用于 RFQ 触发检测、价格实体识别与交易结果线索分类，生成推理时脚手架（inference-time scaffolds），为下游模块提供领域特定信号。 - **RFQ 级模块（RFQ-Level Module）**：利用上述元数据，以每个触发消息为锚点，通过时序启发式（20 分钟或 25 条消息上限）将完整聊天室切分为独立的逐事件 RFQ 窗口，隔离并发事件干扰。 - **交易引擎（Trade Engine）**：基于 GPT-4o 或微调开源 LLM（如 Mistral-7B、Llama-3-8B、Phi-3-mini、Flan-T5-XL），在每个 RFQ 窗口内填充最终价格与交易结果（ Hit / Miss / Unknown ），输出结构化事件记录 e_j = (m^(trig)_j, p_j, o_j) 。 - **难度感知路由器（Difficulty-Aware Router）**：训练一个估计器 P(θ)(Correct,|,w) 预测规则引擎在窗口 w 上的可靠性，通过阈值 α 将简单案例分配给低成本规则引擎，仅将复杂案例 escalation 给高性能 LLM 引擎，实现成本与精度的动态平衡。主要实验发现如下： - **性能优势**：FinDialogLens（GPT-4o）在最终价格与交易结果抽取上分别达到 **92.1%** 与 **94.3%** 的准确率，显著优于直接在全天聊天室上进行思维链（CoT）提示的基线方法。 - **开源模型可行性**：仅 3B 参数的开源模型经适量域内数据微调后，可在该流水线内接近 GPT-4o 性能，例如 Flan-T5-XL 达到 91.7% 的最终价格准确率。 - **规模化成本优化**：在生产规模（每日 70,000 个 RFQ）下，难度感知路由器仅需将约 **15%** 的窗口路由至 LLM 即可恢复半数精度差距，削减 **85%** 的 LLM 调用量，每日节省 API 费用逾 **300 美元**。综上，该工作展示了通过轻量领域分类器与 LLM 的协同架构，结合逐事件上下文切分与智能路由，可在高噪声、高并发的金融对话场景中实现高精度、可扩展的事件抽取。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Chin-Lun Fu, Hong Ni, Behrouz Madahian

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02455.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02455

Published: 2026-10-06T03:19:48.974Z

5. CUEing User Simulators: Calibrated User Embeddings for Multi-Turn Benchmarking

Abstract:Recent benchmarks rely on user simulators to evaluate AI agents in multi-turn interaction. While existing simulation techniques demonstrate surface fidelity to human style and behavior, ecologically valid interactive benchmarking also requires alignment in when and how agents fail across simulated and real user populations. We find that existing simulators lack outcome calibration: agreement with observed success rates and failure patterns when real users interact with the same agent. We introduce Calibrated User Embeddings (CUE), a framework that both encodes observed sessions and samples continuous representations, then decodes them into persona commands to steer LLMs to act as user simulators without training. Through this, we evaluate user-conditioned replay of past sessions and aggregate metric agreement when sampling novel personas for the same tasks. On $\tau^2$-Bench, CUEd simulators commit fewer simulator-attributed errors and more faithfully reproduce real-user agent failure modes, aggregate success rates, and outcomes for specific task-user pairs than other persona-based simulation methods. These gains coexist with competitive user fidelity as measured using metrics established in prior work. After being fit to mostly customer support interactions, the same CUEd simulators generalize to document creation, math tutoring, and casual conversation, and remain effective across different simulator LLMs without CUE retraining.

中文摘要

摘要：近期的基准测试依赖用户模拟器来评估人工智能代理在多轮交互中的表现。虽然现有的模拟技术在表面上展示了与人类风格和行为的相似性，但生态有效的交互基准测试还要求在代理在模拟和真实用户群体中失败的时间和方式上保持一致。我们发现现有的模拟器缺乏结果校准：即与真实用户在与同一代理交互时观察到的成功率和失败模式的一致性。我们引入了校准用户嵌入（Calibrated User Embeddings, CUE），这一框架既能编码观察到的会话并采样连续表示，又能将其解码为角色命令，引导大语言模型（LLM）充当用户模拟器而无需训练。通过此方法，我们评估了基于用户的过去会话重放，以及在为相同任务采样新角色时的汇总指标一致性。在 $ au^2$-Bench 上，经 CUE 校准的模拟器产生的模拟器归因错误更少，并且比其他基于角色的模拟方法更忠实地重现了真实用户代理的失败模式、整体成功率以及特定任务-用户对的结果。这些提升与使用既有度量方法评估的用户忠实度保持竞争力共存。在大部分训练数据为客户支持交互后，同样的 CUE 校准模拟器能够推广到文档创建、数学辅导和休闲对话，并且在不同的模拟器 LLM 上无需重新训练 CUE 仍然有效。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02460 (HTTP 429)

Authors: Anjali Kantharuban, Jonas Mueller

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02460.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02460

Published: 2026-10-06T03:19:48.974Z

6. APDMem: Agent-Controlled Progressive Disclosure for Query-Adaptive Long-Term Memory

Abstract:Personalized LLM assistants must recover sparse evidence from long conversation histories across queries of varying complexity. We introduce APDMem (Agent-controlled Progressive Disclosure Memory), a hierarchical long-term memory architecture that applies progressive disclosure to memory retrieval. Rather than relying on a flat memory store or fixed retrieval granularity, APDMem represents conversation history as four progressively detailed layers: thematic summaries, personalized key facts, turn-level evidence notes, and raw messages. At inference time, a controller applies progressive disclosure to the memory hierarchy: it first reads high-level summaries and drills into finer evidence only when needed. This creates an adaptive cost-fidelity trade-off: simple queries can terminate early, while complex temporal, multi-hop, or exact-evidence queries trigger deeper inspection. A note synthesizer converts retrieved evidence into a query-focused structure that consolidates facts, orders events, and flags contradictions before final answer generation. Experiments on LongMemEval show that APDMem achieves strong performance for long-context memory reasoning while accessing only 8% of the total conversations.

中文摘要

摘要：个性化大型语言模型助手必须从不同复杂度查询的长对话历史中恢复稀疏证据。我们提出了 APDMem（代理控制的渐进式披露记忆），这是一种分层长期记忆架构，将渐进式披露应用于记忆检索。APDMem 并不依赖于扁平的记忆存储或固定的检索粒度，而是将对话历史表示为四个逐步详细的层次：主题摘要、个性化关键事实、轮次级证据笔记和原始消息。在推理时，控制器将渐进式披露应用于记忆层次结构：它首先读取高级摘要，并仅在需要时深入更具体的证据。这创造了一种自适应的成本-精度权衡：简单查询可以提前结束，而复杂的时间、跨步或精确证据查询则触发更深入的检查。笔记合成器将检索到的证据转换为聚焦于查询的结构，整合事实、排列事件顺序，并在最终答案生成前标注矛盾之处。在 LongMemEval 实验中，APDMem 在长上下文记忆推理方面表现出较强性能，同时仅访问了总对话的 8% 内容。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*个性化大语言模型（LLM）助手在长程、多会话交互中高效检索与利用长期记忆\*\*的问题。具体而言，核心挑战可归纳为以下三方面： ### 1. 长程对话中的稀疏证据检索个性化智能体需在跨越多个会话的长对话历史中，恢复与当前查询相关的\*\*稀疏证据\*\*（sparse evidence）。相关信息可能分散在大量历史会话中，而现有系统常因缺乏有效记忆机制导致\*\*情境性失忆\*\*（contextual amnesia），表现为无法回忆先前事实、丢失动态目标或忽视跨会话关联。 ### 2. 查询复杂度与检索粒度的错配现有方法多采用\*\*扁平化记忆存储\*\*或\*\*固定检索粒度\*\*（如统一摘要、统一分块），无法适应查询复杂度的差异： - \*\*简单查询\*\*（如事实确认）无需深入细节，过度检索造成浪费； - \*\*复杂查询\*\*（如时序推理、多跳推理、精确措辞引用）需要轮次级甚至原始消息级的细粒度证据，粗粒度摘要则信息不足。 ### 3. 效率与保真度的权衡困境现有系统通过图转换、压缩或专用记忆对象来降低成本，但这引入了额外的记忆机制开销，且往往需要在写入时就将上下文提交到外部存储或抽象表示中，牺牲了透明度和灵活性。 --- ### 解决方案概述为应对上述问题，论文提出 \*\*APDMem\*\*（Agent-controlled Progressive Disclosure Memory），将长期记忆访问重新定义为\*\*查询自适应的渐进披露问题\*\*（query-adaptive disclosure problem），核心思想包括： - \*\*分层记忆组织\*\*：将对话历史存储为四个由粗到细的分辨率层级——主题摘要（L0）、个性化关键事实（L1）、轮次级证据笔记（L2）、原始消息（L3）。 - \*\*渐进式检索\*\*：由控制器动态决定披露深度，先读取高层抽象，仅在证据不足时按需下钻（drill down）至更细层级。 - \*\*自适应成本–保真度权衡\*\*：简单查询可提前终止以节省开销；复杂查询则触发深层检查，确保答案准确性。通过在 \*\*LongMemEval\*\* 基准上的验证，APDMem 在仅访问 \*\*8%\*\* 的历史会话的情况下，实现了优于现有基线的长程记忆推理性能。 Q2: 有哪些相关研究？根据论文第2节及引言中的综述，相关研究主要围绕以下三个方向展开： ### 1. 面向LLM智能体的记忆表示方法现有记忆系统主要通过不同的表征形式来解决长期记忆保持问题，可分为以下几类： - \*\*基于画像或事实的方法\*\*：将对话蒸馏为用户专属信息。例如 \*\*MemoryBank\*\*（Zhong et al., 2024）构建结构化记忆存储以支持个性化对话；\*\*Mem0\*\*（Chhikara et al., 2025）同样采用事实抽取与维护策略。 - \*\*基于情节的方法\*\*：保留并检索先前交互痕迹。例如 \*\*MemGPT\*\*（Packer et al., 2024）通过虚拟上下文与外部记忆管理信息；\*\*A-MEM\*\*（Xu et al., 2025）构建可演化、互联的记忆网络。 - \*\*基于图结构的方法\*\*：显式建模实体与时序关系。例如 \*\*Zep\*\*（Rasmussen et al., 2025）构建时序化的实体-关系记忆图。 - \*\*基于压缩与精简的方法\*\*：通过分阶段合并或紧凑表示降低成本。例如 \*\*LightMem\*\*（Fang et al., 2026）采用分阶段记忆处理；\*\*SimpleMem\*\*（Liu et al., 2026）在紧凑语义记忆上执行检索。这些方法的共同特点是将原始对话转换为专用数据库、图节点或压缩对象，在效率、保真度与系统复杂度之间形成不同权衡。 ### 2. 渐进式披露与分层检索研究者已在信息检索与上下文组织中探索不同粒度的表示： - \*\*分层粒度表示\*\*：包括摘要、段落、块、情节轨迹等多级抽象，用于改善大上下文检索效果，代表性工作如 \*\*RAPTOR\*\*（Sarthi et al., 2024）的树状组织检索、\*\*ColBERT\*\*（Khattab & Zaharia, 2020）的晚期交互式段落检索、以及 \*\*Self-RAG\*\*（Asai et al., 2024）等自适应检索生成框架。 - \*\*渐进式披露思想\*\*：该概念源自交互设计领域（Nielsen, 1993），强调先暴露粗略信息、仅在需要时揭示更细内容。APDMem 将这一原则显式引入智能体记忆架构，通过工具调用由智能体自主控制披露深度，而非预先固定检索粒度。 ### 3. 证据锚定的生成与推理复杂查询（涉及时序约束、歧义指代、多跳推理、枚举等）通常需要迭代式检索与验证： - \*\*迭代检索与推理框架\*\*：如 \*\*ReAct\*\*（Yao et al., 2023）将推理与行动交错；\*\*IRCoT\*\*（Trivedi et al., 2023）将检索与思维链推理结合；\*\*Toolformer\*\*（Schick et al., 2023）使模型学会调用外部工具。 - \*\*检索证据的结构化组织\*\*：在最终生成答案前对证据进行整理与推理可提升准确性。例如 \*\*Chain-of-Note\*\*（Yu et al., 2024）通过笔记式推理增强检索增强语言模型的鲁棒性；相关综述（Gao et al., 2023）也系统讨论了检索增强生成中证据组织的价值。 --- \*\*与现有工作的区别\*\*：上述方法或依赖固定粒度的检索，或在写入时即将上下文提交至专用抽象（图、压缩表示等）。APDMem 的不同之处在于将对话保留为轻量级 Markdown 分层视图（而非转换为外部专用结构），并在推理时通过智能体控制的渐进披露，动态决定需要访问的记忆分辨率，从而在成本与保真度之间实现查询自适应的权衡。 Q3: 论文如何解决这个问题？论文通过提出 \*\*APDMem\*\*（Agent-controlled Progressive Disclosure Memory）框架来解决个性化LLM助手的长期记忆检索问题。该框架将记忆访问重新定义为\*\*查询自适应的渐进披露问题\*\*，通过"先粗后细、按需深入"的策略，在检索效率与证据保真度之间取得动态平衡。具体解决方案由三个耦合组件构成： --- ### 1. 多分辨率记忆基质（Multi-Resolution Memory Substrate）该组件解决了"固定检索粒度无法适应多样化查询"的问题，通过分层存储实现从语义抽象到原始文本的连续谱表示。将每条会话历史 S_i 组织为四层递进结构 S_i = (L_0, L_1, L_2, L_3) ： - \*\* L_0 （主题摘要层）\*\*：包含逐轮单句摘要、关键词与标签，代词已消解、日期已归一化，作为\*\*主索引层\*\*用于快速定位候选会话。 - \*\* L_1 （个性化关键事实层）\*\*：提取用户画像、偏好、计划与约束等结构化要点，支持跨会话事实聚合。 - \*\* L_2 （轮次级证据层）\*\*：保留时序顺序的原子化事实条目，每轮分解为多条自包含证据子弹，支持细粒度时序推理。 - \*\* L_3 （原始消息层）\*\*：完整的用户–助手原始对话文本，用于精确措辞或细节还原。 \*\*惰性物化机制\*\*：仅在写入时物化 L_0 与 L_3 ； L_1 与 L_2 在控制器首次请求时\*\*按需生成\*\*并缓存复用。这避免了为从未被查询的会话预计算细粒度表示的写入开销。 --- ### 2. 渐进披露控制器（Progressive Disclosure Controller）该组件是系统的决策核心，负责在查询驱动下自适应地选择记忆分辨率，避免"一刀切"的过度检索或检索不足。 #### 查询准备阶段 - \*\*日期归一化\*\*：通过 \`interpret\_dates\` 将相对时间（如"去年夏天"）基于问题时间戳转换为绝对日期。 - \*\*查询分解\*\*：通过 \`decompose\` 将多跳或复合查询拆分为聚焦的子查询。 #### 渐进披露循环控制器在每一步 t 维护已收集的证据集 V_t ，并从动作空间 A 中选择工具动作 a_t ∈ A 。记忆读取动作对应不同的分辨率层级，满足：

c(L0) < c(L_1) < c(L_2) < c(L_3), quad f(L_0) < f(L_1) < f(L_2) < f(L_3)
其中 c(·) 为访问成本， f(·) 为证据保真度。典型披露轨迹遵循由粗到细的顺序： 1. **`search`**：基于 L_0 的混合检索（BM25 + 稠密向量 + RRF 融合）召回 Top-K 候选会话。 2. **`read_facts`**（自动下钻）：对高相关性会话读取 L_1 关键事实。若证据充分，即可终止。 3. **`read_turns`**：若 L_1 不足，下钻至 L_2 的轮级原子证据，保留时序信息。 4. **`read_raw`**：若需精确措辞或 L_2 仍未覆盖，最终下钻至 L_3 的原始消息，但限制在最相关的轮次范围内。 #### 反思与收敛控制控制器通过 `reflect` 工具避免过早作答与无界搜索。`reflect` 对当前证据集 V_t 进行结构化复盘：评估证据充分性、识别缺失信息、提出后续查询建议。循环终止条件（收敛控制）为： - 反思发现无新证据进入，即 |V_t| = |V(t-1)| ；或 - 达到最大步数预算 T_(max) （实验中设为 20）。该过程可形式化为带约束的优化问题：

min(a_1:T) ∑(t=1)^(T) c(at) quad s.t. quad sufficient(V_T, q) = 1
—- ### 3. 结构化笔记合成器（Organized Notes Synthesizer）该组件解决”原始检索片段噪声大、结构混乱导致生成错误”的问题。在控制器完成证据收集并产出草稿答案 a(draft) 后，合成器将查询 q 、证据集 V 与 a_(draft) 转换为**查询聚焦的结构化中间表示**（Organized Notes）。笔记按以下维度重组证据： - **相关事实**：按相关性排序，标注来源会话及日期； - **时序梳理**：将涉及时序的事实按时间线排列，明确标注最新状态； - **矛盾与更新**：记录跨会话冲突信息，以最新日期为当前真值； - **枚举证据**：对计数或列举类查询，穷举所有符合条件的条目并去重； - **答案提示**：基于证据组织给出指向性结论（非最终答案）。最终，**答案生成器**在结构化笔记与草稿答案的共同 grounding 下生成最终回复。这种”先合成、再生成”的设计既保留了控制器的检索轨迹，又允许最终阶段纠正推理过程中出现的遗漏或错误。 —- ### 总结通过上述设计，APDMem 实现了以下目标： - **查询自适应**：简单查询停留在 L_0 / L_1 提前终止；复杂时序、多跳或精确措辞查询动态下钻至 L_2 / L_3 。 - **高效稀疏检索**：仅访问约 **8%** 的历史会话即可定位关键证据。 - **透明与轻量**：记忆以 Markdown 分层视图形式保存，无需转换为外部图结构或压缩对象，兼顾人类可读性与机器检索效率。 Q4: 论文做了哪些实验？论文在 **LongMemEval-S** 基准上开展了一系列实验，涵盖准确率对比、效率分析、渐进披露行为验证、消融研究及人工校验等方面。 —- ### 1. 实验设置 - **数据集**：LongMemEval-S（500 个问题，6 个类别），包括： - **Multi-S**（多会话综合） - **K-Upd**（知识更新） - **SS-User**（单会话-用户相关） - **SS-Asst**（单会话-助手相关） - **SS-Pref**（单会话-偏好相关） - **Temporal**（时序推理） - **对比基线**：Full-context（无检索）、Mem0、LightMem、SimpleMem，以及论文自行复现的 RAPTOR。 - **主干模型**：GPT-4.1、GPT-4.1-mini；效率实验额外使用 GPT-4o-mini、GPT-5.2。 - **评估指标**：准确率（Accuracy，由 GPT-4.1-mini 作为 LLM-as-a-Judge 评判，temperature=0.0）； token 消耗与延迟。 —- ### 2. 主实验：准确率对比表 1 报告了各类别及平均准确率： | 主干 | 方法 | 平均准确率 | |———|———|—————-| | GPT-4.1 | Full-context | 56.7% | | | Mem0 | 58.5% | | | RAPTOR | 62.0% | | | LightMem | 76.9% | | | SimpleMem | 84.0% | | | **APDMem** | **87.8%** | | GPT-4.1-mini | Full-context | 39.6% | | | Mem0 | 59.8% | | | RAPTOR | 63.4% | | | LightMem | 68.7% | | | SimpleMem | 76.9% | | | **APDMem** | **79.8%** | **关键发现**： - APDMem 在 GPT-4.1 上达到 **87.8%**，领先此前最佳基线 SimpleMem **3.8** 个百分点；在 GPT-4.1-mini 上领先 **2.9** 个百分点。 - 在 **SS-Asst** 类别上，APDMem 取得 **100.0%** 准确率，显著高于 SimpleMem（76.8%）与 Full-context（96.4%），表明对精确措辞类查询的细粒度下钻具有明显优势。 —- ### 3. 推理效率分析论文将成本拆分为**离线（一次性 L_0 构建）**与**在线（每查询控制器开销，含 L_1 / L_2 的按需生成）**，如表 2 所示： | 方法 | 准确率 | 离线 Token (k) | 离线延迟 (s) | 在线 Token (k) | 在线延迟 (s) | |———|————|————————|———————|————————|———————| | Mem0 | 53.6% | 1,152.6 | 4,248.5 | — | — | | A-MEM | 62.6% | 1,605.8 | 5,132.1 | — | — | | LightMem | 68.6% | 28.3 | 283.8 | — | — | | **APDMem** | **74.4%** | **145.4** | **101.5** | **124.3** | **37.7** | - APDMem 的离线成本约为 Mem0/A-MEM 的 **十分之一**，且延迟远低于更新密集型系统。 - 在线阶段平均每次查询消耗 **124.3k** token，延迟 **37.7 秒**（GPT-4o-mini）。附录 H 的进一步拆解显示：**更强的模型（如 GPT-5.2）在线 token 消耗更低（86.5k）**，因其能更快收敛，减少迭代轮次。 —- ### 4. 渐进披露有效性分析该部分验证“按需下钻、最小化记忆访问”的设计目标： - **检索选择性（图 2a）**： - 控制器平均每查询仅深入 **8%** 的候选会话（3.7 / 47.7 个）。 - 单会话类别选择性最高（SS-Asst 仅 **2%**，SS-User **6%**）；多会话问题需要更广访问（**12%**）。 - **披露深度分布（图 2b）**： - 在 1,838 次下钻中，**73.7%** 停留在 L_1 （关键事实），**20.2%** 到达 L_3 （原始消息），**6.1%** 停留在 L_2 。 - 单会话精确查询更常下钻至 L_3 （SS-Asst **40.7%**，SS-User **35.8%**）；多会话与知识更新查询大多保持浅层（ L_3 率分别仅 15.2% 与 9.9%）。 - **错误分解（图 2c）**： - 将错误拆分为**检索错误**（未找到正确会话）与**生成错误**（证据正确但答案生成失败）。 - 提升主干模型强度主要降低**检索错误**（GPT-4.1-mini 的 22.2% → GPT-4.1 的 10.6%），而生成错误维持在 8–10%。 - **证据发现是主要瓶颈**。 - **控制器强度实验（表 3）**： - 固定生成器为 GPT-4.1-mini，仅升级控制器： - GPT-4.1-mini 控制器：79.8% - GPT-4.1 控制器：86.8% - GPT-5.2 控制器：**87.8%** - 证实将较强模型配置给控制器可显著释放性能。 —- ### 5. 消融实验（表 4）在 GPT-4.1 上系统性地移除组件，以量化各部分贡献： | 配置 | 平均准确率 | 相对下降 | |———|—————-|————-| | APDMem（完整） | 87.8% | — | | Vanilla RAG（仅 L_3 ） | 77.0% | ↓ 12.3% | | **控制器消融** | | | | w/o Controller（静态分层 RAG） | 83.2% | ↓ 5.2% | | **记忆层级消融** | | | | w/o `read_facts` ( L_1 ) | 84.6% | ↓ 3.6% | | w/o `read_turns` ( L_2 ) | 87.4% | ↓ 0.5% | | w/o `read_raw` ( L_3 ) | 82.6% | ↓ 5.9% | | **推理工具消融** | | | | w/o `reflect` | 84.6% | ↓ 3.6% | | w/o `decompose` | 86.0% | ↓ 2.1% | | w/o `interpret_dates` | 87.6% | ↓ 0.2% | **结论**： - **控制器本身**带来 5.2% 的提升；与仅使用 L_3 的扁平 RAG 相比，分层记忆结构本身也提供了显著增益。 - ** L_1 与 L_3 ** 对性能影响最大，分别下降 3.6% 与 5.9%； L_2 作为中间层影响较小（0.5%）。 - **`reflect` 工具**最为关键（下降 3.6%），其次是 `decompose`（2.1%）。 —- ### 6. 补充验证与案例分析 - **统计显著性（附录 E，表 7–8）**： - 对 APDMem 与 SimpleMem 各运行 10 次，APDMem 平均 **87.5%** vs. SimpleMem **84.1%**。 - Welch’s t-test： t = 8.44, p = 2.6 × 10^(-7) ；BCa Bootstrap 95% CI 为 $

+2.70, +4.20
，证实提升具有统计显著性。 - 人工校验 LLM-as-a-Judge（附录 F，表 9）： - 对 120 个分层抽样预测进行人工盲评，人与裁判一致性达 99.2%，Cohen’s kappa = 0.98 。 - 唯一一例分歧为人类认为正确而裁判认为错误，说明裁判未偏向 APDMem。 - 生成器消融（附录 J，表 11）： - 固定检索结果，仅改变最终生成策略： - 移除草稿答案：–1.2% - 移除 Organized Notes：–2.6% - 同时移除两者：–4.2% - 结构化笔记对多会话综合（+6.0%）与时序推理（+3.0%）尤为关键。 - 案例研究（图 3）： - Case 1（跨会话多跳）：通过 L1 事实检索与 reflect 迭代补全证据，无需下钻至 L_2 / L_3 即可回答“Alex 出生时我几岁”。 - Case 2（会话内精确措辞）：沿 L_1 arrow L_2 arrow L_3 逐级下钻，最终从原始消息中恢复店名“Sugar Factory at Icon Park”。 —- ### 总结实验体系从准确率优势、效率权衡、机制验证、组件贡献与可靠性校验五个维度，系统证明了 APDMem 在稀疏长程记忆检索中的有效性与高效性。 Q5: 有什么可以进一步探索的点？基于论文局限性（Limitations）及实验分析，以下方向值得进一步探索： ### 1. 主题摘要质量的系统性评估与监控当前检索召回高度依赖 L_0 主题摘要的忠实度与覆盖率。若摘要遗漏关键细节，即使底层原始消息包含答案，该会话也可能在初始排名中落选。未来可建立面向记忆索引的摘要质量评估体系（如以 LLM-as-a-Judge 检查摘要相对原始消息的忠实性与信息覆盖度），并配套在线监控机制，在摘要质量下降时触发重写或增强。 ### 2. 惰性物化的预计算策略与成本–延迟权衡 L_1 与 L_2 的按需生成虽降低了写入开销，但首次访问会引入冷启动延迟。未来工作可探索选择性预计算或后台物化策略：基于会话访问频率、时效性或用户行为预测，提前生成高优先级会话的细粒度层级。这本质上是将“纯按需”推向“预测性预取”，需在计算成本与尾延迟之间做显式权衡。 ### 3. 跨会话关系的轻量级显式建模现有架构中各会话的 L_0 – L_3 层级相对独立，未像图结构记忆系统（如 Zep）那样显式编码跨会话的实体关联与时序演化。引入轻量级跨会话链接机制（例如基于共享实体或时间线的软关联、超链接式引用）可在不牺牲 Markdown 透明性的前提下，提升多跳推理与长期用户画像追踪的效率。 ### 4. 自适应步预算与动态收敛控制当前控制器使用固定的最大步数 T(max)=20 作为硬上限。未来可研究查询复杂度感知的动态预算分配：在推理阶段预估查询难度（如基于 L_0 检索后的不确定性或问题类型分类），为简单查询分配更小预算、为复杂多跳查询预留更深探索空间，从而进一步优化平均延迟与成本。 ### 5. 异构模型部署策略的深化实验表明，检索错误是性能瓶颈，而生成错误相对稳定。这暗示了非对称算力配置的潜力：将高性能模型分配给控制器以提升证据发现能力，同时使用轻量模型承担最终答案生成。未来可系统研究控制器、合成器与生成器之间的最优能力配置，乃至引入专用的小模型处理特定工具调用（如日期解析、查询分解）。 ### 6. 记忆层级结构的自适应扩展当前四层结构（ L_0 – L_3 ）是人工预设的。未来可探索自适应层级生成：根据对话内容复杂度或领域特性，动态决定是否增加中间抽象层（如项目级、主题级聚合），或合并/跳过某些层级，使记忆基质本身具备结构可塑性。 ### 7. 更长记忆跨度与多领域泛化验证论文在 LongMemEval-S 上验证了有效性，但该基准的记忆长度与领域分布仍有限。将 APDMem 推向更长的时间跨度（如数年用户历史）或专业领域（医疗、法律、金融），并检验层级摘要的可扩展性与检索选择性是否保持，是验证其实用价值的关键下一步。 Q6: 总结一下论文的主要内容该论文提出 APDMem（Agent-controlled Progressive Disclosure Memory），一种面向个性化大语言模型（LLM）智能体的分层长期记忆架构，旨在解决长程、多会话交互中稀疏证据的高效检索与利用问题。 ### 1. 研究背景与核心问题个性化LLM助手需在跨越多个会话的长对话历史中定位并恢复与当前查询相关的稀疏证据。现有方法主要面临三方面局限： - 检索粒度固定：扁平摘要或统一分块无法同时满足简单查询（需低成本）与复杂查询（需细粒度证据）的差异需求； - 过度抽象或压缩：图转换、压缩等专用表示虽降低成本，但丢失了原始上下文，且引入额外系统复杂度； - 情境性失忆：缺乏有效记忆机制时，智能体难以 recall 先前事实、追踪时序演化或建立跨会话关联。 ### 2. 核心方法论文将长期记忆访问重新定义为查询自适应的渐进披露问题，提出由三个组件耦合构成的 APDMem 框架： #### （1）多分辨率记忆基质（Multi-Resolution Memory Substrate）每条会话 S_i 被组织为四层递进结构 S_i = (L_0, L_1, L_2, L_3) ，形成由语义抽象到原始文本的连续谱： - L_0 （主题摘要）：逐轮单句摘要、关键词与标签，作为主索引层； - L_1 （个性化关键事实）：用户画像、偏好、计划的结构化要点； - L_2 （轮级证据笔记）：原子化、时序化的自包含事实条目； - L_3 （原始消息）：完整的用户–助手原始对话文本。采用惰性物化策略：仅 L_0 与 L_3 在写入时构建； L_1 与 L_2$ 在控制器首次请求时按需生成并缓存，以降低写入开销。 #### （2）渐进披露控制器（Progressive Disclosure Controller）控制器通过工具调用实现有界、自适应的记忆访问，优化如下成本–保真度权衡：

min(a_1:T) ∑(t=1)^(T) c(at) quad s.t. quad sufficient(V_T, q) = 1
其中 c(·) 为访问成本， V_T 为最终证据集。动作空间 A 包含 `search`、`read_facts`、`read_turns`、`read_raw`、`reflect`、`decompose`、`interpret_dates` 等。典型披露轨迹遵循“先粗后细”原则： 1. 在 L_0 上执行混合检索（BM25 + 稠密向量 + RRF）召回候选会话； 2. 自动下钻至 L_1 读取关键事实； 3. 若证据不足，逐级下钻至 L_2 （轮级时序证据）乃至 L_3 （原始消息）； 4. 通过 `reflect` 进行证据充分性评估与缺失识别，避免过早作答或无界搜索； 5. 达到收敛条件或步预算 T(max) 时终止，输出草稿答案 a(draft) 。 #### （3）结构化笔记合成器（Organized Notes Synthesizer）将查询 q 、证据集 V 与草稿答案 a(draft) 转换为**查询聚焦的结构化中间表示**，按以下维度重组证据： - 相关事实（标注来源与时序） - 时序梳理与最新状态标记 - 跨会话矛盾与更新 - 枚举与去重 - 答案提示最终答案生成器在该结构化 grounding 下独立验证并生成回复，减少噪声并提升准确性。 ### 3. 实验与结果论文在 **LongMemEval-S**（500题，6个类别）上进行评估： - **准确率**：APDMem 在 GPT-4.1 下达到 **87.8%**，领先此前最佳基线 SimpleMem（84.0%）**3.8** 个百分点；在 GPT-4.1-mini 下达到 **79.8%**，领先 **2.9** 个百分点。 - **检索选择性**：平均每查询仅深入 **8%** 的历史会话，单会话精确查询选择性高达 **2%–6%**。 - **披露深度**：**73.7%** 的查询停留在 L_1 即终止；**20.2%** 需下钻至 L_3 ，主要集中在需要精确措辞的单会话查询。 - **效率**：离线构建成本约为更新密集型系统（如 Mem0、A-MEM）的十分之一；在线查询平均消耗 **124.3k** token（GPT-4o-mini），延迟 **37.7** 秒。更强模型（如 GPT-5.2）因收敛更快，在线 token 消耗可降至 **86.5k**。 - **消融与机制验证**： - 移除控制器（改为静态分层 RAG）导致准确率下降 **5.2%**； - 移除 L_3 （原始消息）下降 **5.9%**，移除 L_1 （关键事实）下降 **3.6%**； - `reflect` 工具贡献最大（下降 **3.6%**）； - 错误分解显示检索错误是主要瓶颈（GPT-4.1: **10.6%**），而非生成错误（约 **8–10%**）。 ### 4. 主要贡献 - **粗到细记忆公式**：提出保留原始消息的四层多分辨率记忆基质，以透明 Markdown 分层替代专用外部存储抽象； - **智能体控制的查询自适应披露**：首次将渐进披露显式作为记忆架构的核心原则，由控制器动态决定披露深度； - **结构化笔记用于锚定生成**：将检索证据与草稿推理重组为结构化笔记，改善复杂查询的 grounding 质量； - **LongMemEval 验证**：证明在仅访问 **8%** 会话的情况下，可达到 **87.8%** 的长程记忆推理准确率，实现了显著的效率–准确率权衡。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Chin-Lun Fu, Anagha Kulkarni, Hong Ni, Behrouz Madahian

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02472.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02472

Published: 2026-10-06T03:19:48.974Z

7. From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders

Abstract:Typed decision models answer schema-constrained questions about a text in one forward pass and return probabilities meant to be thresholded. We ask whether biomedical sentence encoders trained for retrieval are good starting points for such models. We present SBERT2S1, which converts Sentence-Transformers encoders into bi-encoder, cross-head (C) and prior-fused residual (PFR) decision models, together with BIODECIDE, a biomedical typed-decision suite, and MEDLINE-S1, 243k training decisions derived from NLM indexing. Across six parent-retriever pairs, retrieval training improves zero-shot matching of content-bearing options. After fine-tuning, its effect depends on the head: across five pairs and three training-set sizes, retrieval training significantly helps PFR, which keeps the retrieval prior, in 10 of 15 comparisons, but helps C in one and hurts it in five. A matched grid of two heads and five training objectives shows that C outperforms PFR under every objective, and that the released RLCD recipe of open System One models trails cross-entropy by 2.5-3.0 points. The deficit stems mainly from its reward normalisation, which inflates the noisy score-function term 3.6-15-fold; an unbiased leave-one-out estimator recovers most of the gap. After temperature scaling, no objective is clearly better calibrated than cross-entropy. We release the code, the MEDLINE-S1 labels and a model.

中文摘要

摘要：类型化决策模型在一次前向计算中回答受模式约束的文本问题，并返回需要阈值处理的概率值。我们探讨了为检索训练的生物医学句子编码器是否是此类模型的良好起点。我们提出了 SBERT2S1，它将 Sentence-Transformers 编码器转换为双编码器、跨头（C）和先验融合残差（PFR）决策模型，同时提供 BIODECIDE，一个生物医学类型化决策套件，以及 MEDLINE-S1，包含由 NLM 索引生成的 243k 个训练决策。在六个父检索器对中，检索训练能改善内容承载选项的零样本匹配。微调后，其效果取决于头类型：在五对和三种训练集规模下，检索训练在 15 次比较中，有 10 次显著帮助保留检索先验的 PFR，帮助 C 仅一次且在五次中有负面影响。一个涵盖两种头和五个训练目标的匹配网格显示，在每个目标下，C 都优于 PFR，同时开放系统 One 模型发布的 RLCD 配方比交叉熵落后 2.5-3.0 个点。这一差距主要源于其奖励归一化，它将嘈杂的评分函数项放大了 3.6-15 倍；使用无偏留一法估计器可以恢复大部分差距。经过温度缩放后，没有任何目标明显比交叉熵更好校准。我们发布了代码、MEDLINE-S1 标签以及一个模型。

LLM Analysis

Q: 这篇论文试图解决什么问题？该研究旨在解决\*\*如何将生物医学领域专为检索任务训练的句子编码器（Sentence-Transformers）有效转换为"系统一"（System One）类型化决策模型\*\*的问题。这类模型需要在一次前向传播中，针对给定的生物医学文本（如文献摘要、临床记录）回答结构化的、类型约束的问题（如选择、评分、是非判断），并输出可供下游代码进行阈值化操作的校准概率。具体而言，论文围绕以下三个核心研究问题展开： \*\*1. 初始化问题（RQ1）：检索训练是否有益？\*\* - 为密集检索进行的对比学习训练（contrastive training），能否提升编码器在零样本（zero-shot）场景下匹配内容相关选项的能力？ - 在经过微调后，检索训练对不同类型决策头（head）的影响是什么？尤其是在训练数据稀缺或充足的不同情境下。 \*\*2. 转换架构问题（RQ2）：哪种转换方式最优？\*\* - 论文提出了 \*\*SBERT2S1\*\* 框架，比较了四种将句子编码器转换为决策模型的方式：双编码器（B）、交叉头（C）、先验融合残差（PFR）以及冻结先验的变体。 - 核心是比较这些转换在\*\*准确性、对选项顺序的鲁棒性、计算成本以及检索能力保持性\*\*之间的权衡。例如，交叉头（C）精度更高，但PFR对选项顺序几乎不变，且能保留检索先验。 \*\*3. 训练目标问题（RQ3）：RLCD 目标函数的哪个成分真正起作用？\*\* - 论文剖析了现有开源 System One 模型（Laya）使用的 \*\*RLCD\*\*（一种结合交叉熵与基于恰当评分规则的策略梯度）训练配方。 - 研究指出其发布的估计器存在偏差（same-sample mean baseline 导致期望收缩为 3/4 ，以及奖励归一化随噪声退火而放大噪声项 3.6–15 倍），并证明使用无偏的留一法（leave-one-out）基线可以弥补大部分性能差距。 - 最终探究在应用温度缩放（temperature scaling）后，各种训练目标（CE、Proper、PG、PG-LOO、Reparam）在准确率与校准度上是否存在实质性差异。简言之，该研究不仅提供了一套将生物医学检索编码器改造为结构化决策引擎的完整方法论（SBERT2S1）和评测基准（BIODECIDE），还通过控制实验纠正了当前开源训练配方中的统计偏差，为构建高效、校准且鲁棒的生物医学决策模型提供了实证指导。 Q2: 有哪些相关研究？相关研究可从以下三个核心维度进行梳理，并在附录中进一步延伸至生物医学基准与模型级联等方面。 ### 1. System One 决策模型 System One 模型专为"类型化决策"（typed decisions）接口而设计，其核心要求是在单次前向传播中返回符合预定义模式（schema）的概率分布，以供下游代码进行阈值化操作。 - \*\*Jev\*\*（TypeSafe AI, 2026）最早提出了类型化决策的三类原语：选择（choice）、评分（score）与是非（noul），但其训练目标未公开。 - \*\*Laya\*\*（Convai Innovations, 2026）是首个开源实现，采用 ModernBERT-large 作为编码器，搭配双层掩码槽（mask-slot）头，以交叉熵加上基于恰当评分规则（proper scoring rules）的策略梯度进行训练。该论文的交叉头（C）直接复现了 Laya 的架构，并验证了其零样本精度。 - \*\*Decider\*\*（Marosi, 2026）则探索了基于解码器（decoder）的微调路径。 - \*\*Decision Index\*\*（Decision Index contributors, 2026）提供了类型化决策引擎的评测基准。此外，近期并行研究将 System One 模型应用于渗透测试代理、文本标注、事故报告编码、干扰语境下的决策翻转以及主动提问等场景，但均未涉及生物医学领域转换、检索初始化或 RLCD 目标的消融分析。 ### 2. 校准与评分规则决策模型的实用价值依赖于概率输出的校准性（calibration）。 - \*\*恰当评分规则\*\*（strictly proper scoring rules）是激励诚实概率报告的理论基础，其期望得分仅在报告真实分布时达到最优（Gneiting and Raftery, 2007）。典型实例包括对数评分（log score）、Brier 分数（Brier, 1950）、球形评分（spherical score）以及排序概率评分（ranked-probability score; Epstein, 1969）。 - 然而，包括预训练 Transformer 在内的神经网络普遍存在误校准（miscalibration）现象。\*\*温度缩放\*\*（temperature scaling）是一种强有力的后置校准手段（Guo et al., 2017; Desai and Durrett, 2020）。因此，对训练目标所声称的校准收益，必须在温度缩放后进行检验。 ### 3. 句子编码器作为决策模型将句子编码器用于决策或分类任务的研究沿袭了检索与语义匹配的脉络。 - \*\*双编码器\*\*（Siamese encoders）通过对比学习使余弦相似度反映文本相关性（Reimers and Gurevych, 2019），在 MS MARCO 等查询-篇章数据上训练的模型已成为密集检索的标准范式。 - \*\*交叉编码器\*\*（cross-encoders）以更高计算成本实现更精确的重排序（Nogueira and Cho, 2019）。 - \*\*基于蕴含的零样本分类\*\*（entailment-based zero-shot classification）通过将文本与标签描述进行语义比较来实现分类（Yin et al., 2019）。 - 在生物医学领域，\*\*域内预训练\*\*（如 BioBERT、PubMedBERT）结合对比学习（如在 MS MARCO 上微调的 S-PubMedBERT-MS-MARCO，或在 PubMed 搜索日志上训练的 MedCPT）产出了强大的检索模型。本研究将此类编码器作为决策模型的初始化起点，并系统评估对比学习阶段对后续类型化决策的贡献。 ### 4. 扩展相关工作（附录补充） - \*\*生物医学基准\*\*：BLURB 等基准主要评估任务特定头部，而非运行时的模式约束或校准；生物医学问答基准（如 PubMedQA、MedQA、MedMCQA）目前主要由生成式大语言模型主导。 - \*\*模型级联\*\*：将简单输入路由至廉价模型、复杂输入路由至昂贵模型的级联思想（如 FrugalGPT）与 System One 模型的定位天然契合——经过校准的 System One 模型可作为级联中的首阶段，对高置信度请求直接响应，低置信度请求则上抛至大语言模型。 Q3: 论文如何解决这个问题？论文通过提出 \*\*SBERT2S1\*\* 框架并配套新的生物医学评测资源与训练目标分析，系统性地解决了将检索型句子编码器转换为类型化决策模型的问题。具体方法可从以下五个层面展开： --- ### 1. 模型转换：四种编码器适配头（Heads）给定一个 Sentence-Transformers 编码器 E_θ 及其归一化嵌入 e_θ(·) ，论文将假设（hypothesis）构造为指令与选项的拼接 h_k = x oplus o_k ，并定义检索先验 c_k = langle e_θ(s), e_θ(h_k) rangle 。在此基础上提出四种转换： | 转换 | 公式 | 特点 | |------|------|------| | \*\*Z\*\* | z_k = α_τ c_k | 编码器冻结，仅拟合按类型共享的尺度 α_τ ；零样本基线 | | \*\*B\*\* | z_k = α_τ c_k （训练 θ, α ） | 双编码器；状态嵌入可预计算，适合对大规模语料库进行筛选 | | \*\*C\*\* | z_k = r_(θ,φ)(s, q)_k | 交叉头（Cross-head），复现 Laya 架构：将 \`

CLS
τ x
SEP

MASK
o_1 …
MASK
o_K
SEP
s
SEP
` 输入 Eθ ，经两层变换器 φ 与 MLP 对每个 `
MASK
` 评分 | | **PFR** | z_k = r(θ,φ)(s, q)k + ατ ck | 先验融合残差（Prior-Fused Residual）；在检索先验上叠加交叉注意力残差，末层零初始化使初始状态等价于 Z | PFR 可选择共享 θ 或使用冻结副本以保持原始检索能力。先验尺度初始化为 ατ = 20 ，采用独立学习率且无权重衰减。 —- ### 2. 数据资源：BIODECIDE 与 MEDLINE-S1 为填补生物医学类型化决策基准的空白，论文构建了两套资源： - **BIODECIDE**：涵盖公共与临床（需 PhysioNet 授权）轨道的评测套件。公共部分包括 PubMedQA、SciFact、HealthVer、DDI-2013、HoC、ADE、Druglib、BIOSSES、MTSamples、MedQA、MedMCQA、MMLU-medical 等；临床部分包括 MedNLI、MIMIC-III 试验资格问题、MIMIC-IV 姓名提及检测。所有数据集被统一转换为“状态 + 类型化问题 + 选项上的金分布”格式。 - **MEDLINE-S1**：从 NLM 人工索引衍生的 24.3 万训练决策（涉及研究设计、疾病领域、人类/动物受试者、不良事件、药物治疗及年龄/性别分组）。与基于 LLM 教师合成数据不同，该数据利用 curator 级别的索引标签，支持同一文本上的多异构问题训练。 —- ### 3. 训练目标的分析与改进：从 RLCD 到 PG-LOO 论文对 Laya 公开的 **RLCD** 配方进行了形式化拆解与修正。 RLCD 对每个样本的 logits 施加 G=4 次高斯噪声 varepsilon^((g)) sim N(0, σ^2 Pi_K) ，计算奖励 R^((g)) = S(softmax(z + varepsilon^((g))), t) ，并通过策略梯度更新：

g = (1) / (Gσ^2) ∑(g=1)^(G) R^((g)) - barRd , varepsilon^((g))
其中 S 为恰当评分规则（对数分 + 球形分 + 排序概率分）， R 为同一样本 G 次采样的均值， d 为小批量中心化奖励的标准差。论文证明并量化了该估计器的两处偏差： 1. **同样本均值基线（same-sample mean）**： R 包含第 g 次采样自身的奖励，导致期望估计被收缩至真实平滑梯度 ∇_z Jσ 的 (G-1)/G = 3/4 ； 2. **奖励归一化（除以 d ）**：中心化奖励随噪声尺度 σ 收缩，而 varepsilon/σ^2 项使估计量随 σ 退火（从 0.4 降至 0.1）而被放大 **3.6–15 倍**。这导致噪声平滑的评分项在训练中后期以 5–20 倍于交叉熵的权重主导梯度方向，信噪比低于 1。为此，论文提出 **PG-LOO**（Leave-One-Out）： - 基线替换为其余 G-1 次采样的均值 b(-g) = (1) / (G-1)∑(h ≠ g) R^((h)) ，确保与当前噪声独立； - **移除除以 d 的归一化**，保持估计量与真实平滑梯度同尺度。 PG-LOO 与路径估计器（Reparameterization trick, Reparam）估计同一梯度，仅在方差上有所不同。实验表明，PG-LOO 相比发布版 PG 在准确率上提升 **1.5–2.5 点**，且与 Reparam 的差距在 1 点以内。 —- ### 4. 校准策略：温度缩放决策模型必须输出可阈值化的置信度。论文在训练后 carving 出的校准子集上，为每类问题类型 τ 与选项数分桶（ K=2 , 3 – 5 , 6 – 10 , ≥ 11 ）拟合温度 T_(τ,K) ，通过最小化负对数似然获得：

p(· mid s, q) = softmax( (z) / (T(τ,K)) )
所有指标的汇报均包含温度缩放前后结果。分析表明，RLCD 各变体在原始 ECE 上存在差异，但在温度缩放后，没有任何目标在校准度上明确优于交叉熵。 —- ### 5. 控制实验设计为隔离各因素的效应，论文执行了严格的控制网格： - 编码器：覆盖 11 个 base-size 检查点，形成 6 组共享预训练父模型、仅检索语料不同的“父-检索器”对（如 PubMedBERT ↔ S-PubMedBERT-MS-MARCO；ModernBERT-base ↔ Nomic-embed 等）。 - 头 × 目标全网格：在 S-PubMedBERT-MS-MARCO 上完整运行 C 与 PFR 分别配合 CE、Proper、PG、PG-LOO、Reparam（以及 PFR 上的 PG w/o CE），共 3 组随机种子，数据、调度与种子完全匹配。 - 学习曲线：对 5 对编码器在 2%、10%、100% 数据量下进行对比，以评估检索初始化在低资源场景下的作用。 - 长文本策略：针对超出 512 token 的临床记录，评估截断、滑动窗口与 retrieve-then-decide（利用编码器自身嵌入选取最相关片段）三种策略。通过该设计，论文得以独立回答： - 检索训练是否提升 zero-shot / 微调性能（RQ1）； - 不同转换头在准确率、鲁棒性、成本与检索保持性上的权衡（RQ2）； - RLCD 配方中噪声平滑、偏差与估计器方差对最终结果的相对贡献（RQ3）。 Q4: 论文做了哪些实验？论文围绕三个核心研究问题（RQ1: 初始化；RQ2: 转换架构；RQ3: 训练目标）开展了一系列控制实验，涵盖编码器初始化、模型架构、训练目标、校准策略、鲁棒性测试及与 LLM 的对比。主要实验如下： —- ### 1. 主实验：跨编码器与转换头的系统对比（表 2、表 10、表 11）在 11 个 base-size 编码器（构成 6 组“父模型—检索子模型”配对）上，评估了四种转换（Z、B、C、PFR）在训练后的表现： - 评测指标：chance-normalised accuracy（ acccn ）、温度缩放后的 top-label ECE（ ECE(TS) ）、NLL 等。 - 数据划分： - Seen tasks：8 个有监督训练的 grounded 任务； - Held-out tasks：PUBHEALTH、BIOSSES、MTSamples（训练中未见）； - Clinical track：MedNLI、MIMIC-III 试验问题、MIMIC-IV 姓名门控； - Knowledge track：MedQA、MedMCQA、MMLU-medical（仅作描述）。 - 关键发现：在全量数据与交叉头（C）下，检索训练对准确率大致中性；但在 PFR 头下，检索初始化在 10/15 个配对与数据量组合中显著占优。BioClinical-ModernBERT + C 达到 73.1 acccn ，接近 fine-tuned Laya-large（75.0）。 —- ### 2. 零样本内容匹配（表 3）在训练前（step 0）测试各编码器对两类选项的区分能力： - 内容型选项（如研究设计、疾病领域、评分等级）：对比学习编码器达到 15–24 acccn ，而 MLM 父模型仅 0–7。 - 标签型选项（如 yes/no、true/false）：所有编码器的余弦差距约为 10^(-3) ，均接近随机。 —- ### 3. 数据效率学习曲线（图 2、表 8）对 6 组父-子编码器配对，分别在 2%、10%、100% 训练数据上训练，对比 C 头与 PFR 头： - PFR：检索初始化在 4/5 配对中于 10% 和 2% 数据下均领先（如 Nomic-embed 在 seen tasks 上分别领先 +5.3 和 +9.2 acccn ）。 - C：检索初始化多数情况下中性或略负，仅在 S-PubMedBERT 的 10% 数据上显著增益（+1.9）。 —- ### 4. 转换头 × 训练目标的全因子网格（表 4、表 7、表 9）固定使用 S-PubMedBERT-MS-MARCO，在 C 与 PFR 两个头下，系统比较了五种目标函数（各 3 个随机种子，数据与调度完全相同）： - CE：交叉熵； - Proper：直接最大化恰当评分规则 S （无噪声）； - PG：发布的 RLCD 配方（含同样本均值基线与奖励归一化）； - PG w/o CE：仅 RLCD 的策略梯度项（仅 PFR）； - PG-LOO：留一法基线、无归一化； - Reparam：重参数化技巧直接微分平滑奖励。 观测维度包括 seen/held-out/clinical/knowledge 准确率、原始 ECE、温度缩放后 ECE（ ECE(TS) ）、NLL、Druglib 的序数 MAE、选项顺序翻转率、梯度裁剪前全局梯度范数 |∇| 。 —- ### 5. RLCD 梯度估计器的偏差探测（表 6、图 5、图 6、附录 C–D）为解析 RQ3，在固定检查点与固定批次上，对同一组 logits 施加 G=4 次噪声，比较四种估计器对平滑目标 $Jσ(z) = E_(varepsilon)

S(softmax(z+varepsilon), t)
的梯度估计： - 尺度（Slope）：投影到 2048 样本路径参考梯度上的比值。发布版 PG 在 σ=0.4 时放大 3.6–3.8 倍，在 σ=0.1 时放大 14–15 倍；PG-LOO 与路径估计器保持为 1。 - 有效权重：发布版 PG 使评分项相对于 CE 的权重从设计的 1.3 倍膨胀至 4.7–19.9 倍。 - 信噪比（SNR）：在匹配尺度下，所有 score-function 估计器的 per-item SNR 约为 0.8，而路径估计器（Reparam）高出 2–3 个数量级。 - 训练动态：发布版 PG 的预裁剪梯度范数比 CE 高一个数量级，且随 σ 退火而单调上升；其余目标（CE、Proper、PG-LOO、Reparam）均被裁剪至阈值 1，更新长度固定，仅方向不同。 —- ### 6. 校准与温度缩放（图 7、表 7）在训练数据预先 carve 出的 calibration split 上，按问题类型 τ 与选项数分桶（ K=2, 3–5, 6–10, ≥ 11 ）拟合温度 T(τ,K) ，并绘制可靠性图： - 微调后的编码器在原始输出上普遍过自信，经温度缩放后接近对角线； - 发布版 PG 的原始 ECE 最低，但缩放后各目标（CE、Proper、PG、PG-LOO、Reparam）的 ECE 均落在 3.6–4.4 区间，无明确优胜者； - 在 held-out tasks 上，目标排序与 seen tasks 不一致，未见跨分布的校准优势。 —- ### 7. 选项顺序鲁棒性（表 12）评估随机排列选项后答案改变的比例： - C 头：平均翻转 15.7%，且在分布偏移时恶化（seen 3%、held-out 17%、exams 28%）。 - PFR：翻转率仅 0.3%，因检索先验对每个选项独立评分，不受位置影响。 - B 头：同样几乎不变（0.0%）。 —- ### 8. 长状态（临床笔记）策略（表 12）针对平均 12.9k 字符的 MIMIC-III 出院记录，测试三种长文本策略： - Truncation：直接截断至 512 token； - Sliding windows：滑动窗口后取 logits 均值或最自信窗口； - Retrieve-then-decide（RtD）：利用编码器自身嵌入 eθ(s) 选取与指令最相似的 m=3 个片段。结果：长笔记决策对 base encoder 仍具挑战性；RtD 在部分模型上略有优势，但无统一最优策略。 —- ### 9. 隐私门控与临床基线（表 12）在 MIMIC-IV 笔记窗口上测试姓名提及检测（noul）： - 标准名与常见词汇名（如 “May”）的 AUROC 差异不超过 2 点； - 增加临床训练数据后，AUROC 从约 75 提升至 99.8；两个 LLM 基线达到完美 zero-shot。 —- ### 10. 检索能力保留（表 14）测量转换与微调后，编码器嵌入在 BEIR SciFact 与 NFCorpus 上的 nDCG@10： - 未训练的 Z：SciFact 67.6； - 训练后 C：43.3；PFR（共享先验）：35.6；B：34.3；CE 训练的 C：24.6； - 冻结先验的 PFR 保持原始检索性能（67.6），但内存翻倍。 —- ### 11. 与 LLM 的级联路由（图 3、表 2）对比 zero-shot Qwen3.8-27B 与 Gemma-4-31B： - 在 seen tasks 上，fine-tuned 编码器（70.2）优于 zero-shot LLM（65.7）； - 在 held-out 与 clinical tracks 上，LLM 显著领先。 级联实验：将 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与实验发现，以下是可以进一步探索的研究方向： —- ### 1. 模型规模与架构的系统性扩展论文仅在 base-size 编码器上验证了 SBERT2S1 框架，且头 × 目标的完整控制网格仅运行于 S-PubMedBERT-MSMARCO 单一检查点。未来工作可在 large-size 模型（如 Laya-large 所采用的 ModernBERT-large）上重复该网格，以检验检索初始化、PFR 残差融合以及 RLCD 偏差问题是否随模型容量变化而呈现不同规律。此外，可将该框架扩展至 decoder-only 架构的 System One 模型（如 Decider），比较 encoder-based 与 decoder-based 在生物医学决策中的效率-准确率边界。 —- ### 2. 训练目标的精细化与自适应设计论文继承了 Laya 的固定超参数（噪声退火范围 σ ∈

0.4, 0.1
、 G=4 、奖励权重 w_(sph)=0.75 等），未对各目标进行独立调优。后续研究可探索： - 自适应噪声调度：根据训练阶段或样本难度动态调整 σ$，而非线性退火； - 元学习基线：为 PG-LOO 设计可学习的 leave-one-out 基线，以进一步降低方差； - 多目标帕累托前沿：显式联合优化交叉熵、恰当评分规则与检索保留度，避免微调对嵌入空间造成破坏性偏移（论文观察到 C 头训练后 SciFact nDCG@10 从 67.6 跌至 43.3）。 —- ### 3. 分布外校准与动态温度策略论文发现，尽管温度缩放能在 seen tasks 上将各目标的 ECE 降至相近水平，但在 held-out tasks 与临床数据上校准度显著下降，且交叉头的选项顺序敏感性在分布偏移下加剧。未来可研究： - 任务自适应温度缩放：在测试时利用少量无标签样本在线估计温度； - 分布偏移检测：构建辅助模块预判输入是否偏离训练分布，从而动态调整置信度阈值或触发人工介入（escalation）； - 序数约束的校准：针对 score 型问题，探索保持序数结构的同时进行保序回归（isotonic regression）校准。 —- ### 4. 长临床笔记的决策机制对于平均 12.9k 字符的 MIMIC-III 出院记录，现有策略（截断、滑动窗口、retrieve-then-decide）均使 base encoder 的准确率接近随机。亟需针对长上下文的设计： - 层次化编码：先对片段编码，再通过轻量级聚合器（如自适应注意力池化）构建文档级表示； - 长上下文编码器：利用支持更长序列的 ModernBERT 变体，测试在 4k–8k token 窗口下的端到端微调效果； - 检索-摘要联合决策：在 retrieve-then-decide 基础上，先由编码器自身选取关键片段，再由同一模型的交叉头进行多片段联合推理，而非简单拼接。 —- ### 5. 数据质量、弱标签与隐私 MEDLINE-S1 依赖 NLM 索引标签，属于弱标签（索引者可能参考全文，且未标注不代表否定）。后续可探索： - 半监督或噪声鲁棒学习：利用置信度阈值或协同训练（co-training）净化 MEDLINE-S1 的伪标签； - 近重复与患者级去重：论文指出文本级去重无法保证患者级独立性。未来需建立基于临床概念或事件序列的去重机制，尤其是在 MIMIC 衍生数据上； - 真实去标识化数据验证：当前临床测试使用替代姓名（surrogate names）且规模有限，需在多中心、真实去标识化记录上验证姓名门控与试验资格决策的可靠性。 —- ### 6. 选项顺序鲁棒性的架构创新 PFR 因检索先验对选项独立评分而几乎不受选项排列影响（翻转率 0.3%），而交叉头（C）虽准确率更高却敏感（翻转率 15.7%，分布外达 28%）。可探索兼具两者优势的混合架构： - 置换等变（permutation-equivariant）交叉头：在选项间引入自注意力时显式编码位置无关的交互； - 显式去偏训练：在训练时对选项顺序进行数据增强（shuffle augmentation），强制交叉头学习顺序不变的特征。 —- ### 7. 检索能力与决策能力的联合保持论文显示，除冻结先验外，所有微调转换均严重损害原始编码器的检索性能。未来可设计多任务目标：

L(total) = L(decision) + λ L_(retrieval)
在 MEDLINE 或 BEIR 数据上同步进行对比学习，使嵌入空间同时服务于 dense retrieval 与 typed decision，从而支持”先检索相关片段、再局部决策”的级联管线而不需维护两份参数。 —- ### 8. 实际部署中的级联策略验证论文的 LLM 级联实验为**回顾性固定预算**（将测试集中最低置信度的 20% 上抛至 Gemma），并非经过验证的部署策略。后续需： - **在线阈值学习**：在验证集上学习置信度阈值，使得在给定延迟或成本预算下最大化宏观准确率； - **人机回环（human-in-the-loop）实验**：测量临床医生或馆员对模型置信度与 deferral 决策的信任度，校准”escalate”信号的实际效用； - **成本-效益分析**：量化 encoder 的低成本前向传播与 LLM 的高成本推理在真实生物医学工作流中的经济边界。 —- ### 9. 跨领域与跨语言迁移论文聚焦于英文生物医学文献。SBERT2S1 框架是否适用于： - **非英语临床记录**（如中文电子病历、西班牙语文献）？需验证检索先验在多语言 sentence encoder 上的可迁移性； - **其他专业领域**（法律判决、金融合规）？这些领域同样存在 schema-constrained 的小决策与检索需求，可测试 PFR 与 C 头的领域无关性。 —- ### 10. 临床安全性与监管评估论文明确声明当前模型**并非经过验证的临床器械**。未来需走向： - **前瞻性临床验证**：在独立医院系统上测量 trial-eligibility 与 name-gate 的灵敏度/特异度，而非仅汇报 AUROC； - **误差分析**：对模型高置信度错误（overconfident errors）进行人工审计，识别系统性失败模式（如特定疾病领域或人口统计学子群体中的偏差）； - **模型监控**：部署后持续监测输入分布漂移与决策翻转率，建立 System One 模型在监管环境下的维护协议。 Q6: 总结一下论文的主要内容这篇论文研究了**如何将生物医学领域专为密集检索训练的句子编码器（Sentence-Transformers）转换为”系统一”（System One）类型化决策模型**，使其能够在单次前向传播中回答结构化的生物医学问题（如选择、评分、是非判断），并输出可供下游代码阈值化操作的校准概率。 ### 研究背景与核心问题生物医学软件中的大量语言处理需求是”小而边界明确”的决策：某篇摘要是否报告了随机对照试验？某陈述是否被证据支持？患者描述的不良事件严重程度如何？System One 模型正是为这类接口设计，要求输出严格符合预设模式（schema）且附带可阈值化置信度。现有 System One 模型均为通用领域，且多从掩码语言模型或解码器初始化；而生物医学领域拥有大量经对比学习强化的检索型编码器（如 S-PubMedBERT-MS-MARCO、MedCPT）。论文围绕三个研究问题展开： - **RQ1（初始化）**：检索训练是否提升零样本或微调后的类型化决策性能？ - **RQ2（转换架构）**：双编码器、交叉头与先验融合残差等转换方式如何在准确率、鲁棒性、成本与检索保持性之间权衡？ - **RQ3（训练目标）**：开源 RLCD 训练目标的哪个成分真正起作用？其概率校准优势是否经得起温度缩放检验？ —- ### 主要贡献 1. **SBERT2S1 框架**：提出将 Sentence-Transformers 编码器转换为类型化决策模型的四种方式： - **Z**：冻结编码器，仅拟合按类型共享的尺度； - **B**：可训练双编码器，支持状态嵌入预计算以筛选大规模语料； - **C**：交叉头（Cross-head），复现并兼容 Laya 的 `

MASK
` 槽位架构； - **PFR**：先验融合残差（Prior-Fused Residual），在检索先验上叠加可学习的交叉注意力残差，末层零初始化使训练起点等价于 Z。 2. **BIODECIDE 评测套件**：覆盖公共与临床（PhysioNet 授权）轨道的生物医学类型化决策基准，涵盖 PubMedQA、SciFact、HealthVer、DDI、HoC、ADE、Druglib、MedNLI、MIMIC-III/IV 等任务，并统一转换为”状态—类型化问题—选项分布”格式。 3. **MEDLINE-S1**：基于 NLM 人工索引衍生的 24.3 万训练决策数据集，支持同一文本上的多异构问题训练，避免了基于 LLM 教师合成数据带来的误差传播。 4. **PG-LOO 估计器**：形式化剖析了 RLCD 配方中梯度估计器的偏差，证明其同样本均值基线导致期望收缩为真实梯度的 3/4 ，且奖励归一化使噪声项随退火膨胀 3.6–15 倍；提出基于留一法（leave-one-out）基线且无归一化的无偏替代方案。 —- ### 核心实验与发现实验在 11 个 base-size 编码器（构成 6 组共享预训练父模型的”父—检索器”配对）上系统展开，包含控制化的头 × 目标全因子网格、学习曲线与梯度探测。 #### RQ1：检索初始化的效果 - **零样本场景**：对比学习编码器在内容型选项（研究设计、疾病领域等）上达到 15–24 个 chance-normalised 点，MLM 父模型仅 0–7。 - **微调后**：效果高度依赖转换头。对于 **PFR**（保留检索先验），检索训练在 15 个配对与数据量组合中的 **10 个显著有益**，尤其在 2%–10% 低资源场景（如 Nomic-embed 在 10% 数据下领先父模型 +5.3 点）。对于 **C**（交叉头），检索训练基本中性，在 ModernBERT 家族中甚至略负；MedCPT-Query 因 `

MASK
` 状态退化导致 C 头失效（17.9 点），但 PFR 恢复至 60.4 点。 #### RQ2：转换架构的权衡 - **准确率**：在匹配网格中，**C 头在所有五个共享目标下均显著高于 PFR**（seen tasks 领先 1.3–2.4 点，held-out 领先 3.8–10.2 点）。最强组合为 BioClinical-ModernBERT + C（73.1 点），接近 fine-tuned Laya-large（75.0）且参数量仅约三分之一。 - **选项顺序鲁棒性**：C 头在分布偏移下答案翻转率高达 15–28%；**PFR 几乎不变（0.3%）**，因检索先验对选项独立评分。 - **检索保持性**：除**冻结先验的 PFR** 外，所有微调转换均严重损害原始嵌入的检索能力（SciFact nDCG@10 从 67.6 跌至 24–43）。 #### RQ3：训练目标与校准 - **RLCD 的缺陷**：发布的 PG 配方在准确率上落后交叉熵（CE）**2.5–3.0 点**。梯度探测表明，其奖励归一化导致有效梯度尺度被放大 3.6–15 倍，信噪比低于 1，训练方向被噪声主导的评分项控制。 - **PG-LOO 的修正**：移除同样本均值基线与归一化后，PG-LOO 将准确率差距缩小至 1 点以内，且与重参数化估计器（Reparam）性能相当。 - **校准**：尽管各目标原始 ECE 存在差异，**经温度缩放后，没有任何目标在校准度上明确优于交叉熵**（ ECE(TS) 均落在 3.6–4.4 区间）。 #### 与 LLM 的互补性 Fine-tuned 编码器在 seen tasks 上优于 zero-shot Gemma-4-31B 与 Qwen3.8-27B，且校准更佳（ ECE(TS) 约 4 对比 8.5–9.1）；但在 held-out 与临床任务上 LLM 领先。回顾性实验表明，将 20% 最低置信度问题路由给 Gemma，可将宏观准确率从 59.5 提升至 68.4。 —- ### 结论与启示 - 生物医学检索编码器可成功转换为 System One 模型，但**检索初始化的收益取决于转换头**：对保留检索先验的 PFR 有益（尤其数据稀缺时），对交叉头 C 不必然。 - **实用推荐**：单次决策优先选择交叉头 + 交叉熵（准确率最高）；若选项顺序鲁棒性或大规模语料筛选是关键，则选用 PFR 或 B。 - **实现建议**：RLCD 的开源实现应放弃同样本均值基线与奖励归一化，改用留一法等独立基线。 - 经过校准的 System One 模型是 LLM 级联中高效且自然的首阶段，可 confident → act，uncertain → escalate，从而在成本、延迟与准确性之间取得平衡。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Pritam Deka

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02486.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02486

Published: 2026-10-06T03:19:48.974Z

8. A generative-informed neuro-symbolic framework for syntactic ambiguity resolution: Evidence from Arabic DPs

Abstract:Syntactic ambiguity poses a persistent challenge for Arabic NLP, particularly in morphologically rich nominal constructions where multiple structu6ral interpretations may be compatible with the same surface sequence. This study proposes a generatively informed neuro-symbolic framework for resolving structural ambiguity in Modern Standard Arabic (MSA) DPs. The framework integrates generative syntactic notions with AraBERT by representing ambiguity as a candidate-based decision task in which linguistically motivated alternatives are explicitly constructed and evaluated through candidate-conditioned input representations. Findings indicate that the model achieved 96.88% accuracy, 95.92% macro-F1, 96.83% weighted F1, and 93.94% binary F1 on the unseen evaluation set. Class-level analysis revealed asymmetric performance, with recall of 99.71% for High/VP Attachment (N1) and 89.26% for Low/NP/Embedded Attachment (N2), indicating greater difficulty in recovering the embedded interpretation. The study concludes that formal syntactic representations can be operationalized within Transformer-based NLP as an explicit interface between linguistic structure and contextual neural modeling, providing a controlled and interpretable approach to Arabic syntactic ambiguity resolution and beyond.

中文摘要

摘要：句法歧义对阿拉伯语自然语言处理（NLP）构成了持续的挑战，尤其是在形态丰富的名词结构中，其中多个结构解释可能与相同的表层序列兼容。本研究提出了一种受生成语法启发的神经符号框架，用于解决现代标准阿拉伯语（MSA）名词短语（DPs）中的结构歧义。该框架将生成句法概念与AraBERT相结合，通过将歧义表示为基于候选的决策任务来操作，其中语言学动机的备选方案被明确构建，并通过候选条件输入表示进行评估。研究结果表明，该模型在未见评估集上实现了96.88%的准确率，95.92%的宏平均F1，96.83%的加权F1，以及93.94%的二分类F1。类别级分析显示性能不对称，高/动词短语附着（N1）的召回率为99.71%，低/名词短语/嵌入附着（N2）的召回率为89.26%，表明恢复嵌入解释更具挑战性。研究得出结论：形式句法表示可以在基于Transformer的NLP中实现，将语言结构与上下文神经建模作为明确接口，为阿拉伯语句法歧义解析及其他应用提供可控且可解释的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02529 (HTTP 429)

Authors: Mohammed Damom, Muneef Y. Alshawsh, Ashraf A. Naji, Mustafa Ali Alhamzi, Fawwaz An-Nashef, Jameel Ahmed Elayah, Mohammed Q. Shormani, Noman AL-Sayadi

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02529.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02529

Published: 2026-10-06T03:19:48.974Z

9. Evaluating Multi-Dimensional Generalization of Large Language Models in Temporal Extraction Tasks

Abstract:Time and event expression extraction are fundamental temporal reasoning tasks, but the problem remains difficult due to annotation ambiguity, domain sensitivity, and unstable model behavior. Existing evaluations focus on in-domain performance, offering limited insight into reliability under distribution shifts. We evaluate multiple model configurations across families, architectures, and reasoning strategies over four dimensions of generalization, examining transfer from base performance, cross-dimensional correlations, and the effects of scale, architecture, and prompting. This provides a systematic study of how prompted LLMs generalize in time and event expression extraction tasks. We find that strong base-task performance generally predicts better generalization. However, this relationship weakens under substantial distribution shifts. Inductive prompting performs most consistently across domain shift, adversarial perturbations, compositionality, and length increase, while gains from scale, architecture, and deductive and abductive prompting strategies are uneven and dimension-specific. We conclude that LLM generalization in temporal extraction tasks cannot be predicted from any single dimension alone and cannot be reliably inferred from in-domain or single-dimension evaluations, highlighting the need for reasoning strategies that generalize across dimensions.

中文摘要

摘要：时间和事件表达提取是基本的时间推理任务，但由于标注歧义、领域敏感性和模型行为不稳定，这一问题仍然困难。现有评估主要关注域内性能，对于分布变化下的可靠性提供的见解有限。我们在四个泛化维度上评估了跨模型家族、架构和推理策略的多种模型配置，考察了从基础性能的迁移、跨维度相关性以及规模、架构和提示方式的影响。这提供了对提示型大语言模型在时间和事件表达提取任务中泛化的一项系统研究。我们发现，强大的基础任务性能通常预示着更好的泛化能力。然而，在存在显著分布变化的情况下，这种关系会减弱。归纳提示在域变化、对抗扰动、组合性和长度增加方面表现最为一致，而规模、架构以及演绎和溯因提示策略的提升则不均衡且具有维度特异性。我们总结认为，LLM在时间提取任务中的泛化能力不能仅通过单一维度预测，也不能可靠地从域内或单维度评估中推断，这突显了开发能够跨维度泛化的推理策略的必要性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02549 (HTTP 429)

Authors: Fahmid Shahriar Iqbal, Ritam Dutt, Soumitra Das, Arnav Verma, Sagnik Ray Choudhury

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02549.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02549

Published: 2026-10-06T03:19:48.974Z

10. Learning When to Commit from Partial Speech for End-to-End Simultaneous Speech Translation

Abstract:Simultaneous speech translation must emit useful target text before the source is complete while preserving every committed token. We adapt a full-utterance speech language model using prefix supervision derived from its own complete- and partial-waveform translations, requiring neither transcripts nor human translations. We compare single-turn forced-prefix and multi-turn append-only decoding, use a confidence threshold to control the inference-time quality—latency trade-off, and vary the density of training prefixes with a separate synthesis margin. On FLEURS and CoVoST2 in three language directions, prefix training improves quality—latency frontiers over the unadapted model, and confidence provides the broadest consistently competitive operating range. Multi-turn decoding is generally stronger at low latency; under multi-turn training, commit-calibration error falls by 63—68% overall and 68—80% at early prefixes, whereas single-turn training provides only modest overall calibration gains and no early-prefix improvement. A small synthesis margin sometimes extends the frontier to lower latency, particularly on shorter utterances, while a larger margin degrades translation quality and calibration. Prefix adaptation therefore improves simultaneous speech translation, especially under multi-turn append-only decoding, while synthesis density introduces a non-monotonic quality—latency trade-off.

中文摘要

摘要：即时语音翻译必须在源语言尚未完成时就输出有用的目标文本，同时保留每一个已提交的标记。我们使用由自身完整和部分波形翻译生成的前缀监督，改编完整话语的语音语言模型，这不需要转录稿或人工翻译。我们比较了单轮强制前缀解码和多轮仅追加解码，使用置信度阈值来控制推理时的质量–延迟权衡，并通过单独的合成边距变化训练前缀的密度。在三种语言方向的 FLEURS 和 CoVoST2 数据集上，前缀训练提高了质量–延迟前沿，相较于未适应模型，置信度提供了最广泛且持续具有竞争力的操作范围。多轮解码在低延迟下通常更强；在多轮训练下，提交校准误差整体下降 63–68%，早期前缀下降 68–80%，而单轮训练仅提供有限的整体校准提升，并且在早期前缀没有改进。较小的合成边距有时可以将前沿延伸至更低的延迟，尤其是在较短的语句上，而较大的边距则会降低翻译质量和校准效果。因此，前缀适应能够改善即时语音翻译，特别是在多轮仅追加解码下，而合成密度会引入非单调的质量–延迟权衡。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02612 (HTTP 429)

Authors: Hieu Hoang, Amittai Axelrod

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.02612.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02612

Published: 2026-10-06T03:19:48.974Z

Agent Domain Papers

1. MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

Abstract:Flow matching models excel at generative modeling, and many downstream applications require their samples to satisfy prescribed constraints, such as observed measurements and physical laws. However, existing constrained samplers often face a trade-off: \textit{enforcing constraints can substantially displace samples from the pretrained data distribution}. To address this trade-off, we introduce \textbf{MintFlow}, a training-free constrained sampling framework that formulates constraint enforcement as a minimal intervention on the pretrained flow trajectory. MintFlow seeks the minimal perturbation of an intermediate flow state such that its subsequent evolution under the pretrained flow field satisfies the target constraint. By minimally perturbing the flow state while keeping the pretrained flow field unchanged, MintFlow enforces the constraint while minimizing unnecessary deviation from the pretrained distribution. An adjoint formulation yields a closed-form expression for this perturbation, eliminating expensive iterative optimization. Furthermore, MintFlow adaptively selects the intervention time to balance the required perturbation magnitude with its amplification by the remaining flow. Across a range of tasks in generative vision and physical system modeling, MintFlow achieves competitive constraint satisfaction while preserving the pretrained generative distribution substantially better than state-of-the-art constrained methods.

中文摘要

摘要：流匹配模型在生成建模方面表现出色，许多下游应用要求其样本满足规定的约束条件，例如观测测量和物理定律。然而，现有的约束采样器往往面临一个权衡： extit{强制约束可能会显著偏离预训练数据分布}。为了解决这一权衡，我们提出了 extbf{MintFlow}，一个无需训练的约束采样框架，它将约束强制执行表述为对预训练流轨迹的最小干预。MintFlow 寻求对中间流状态的最小扰动，使其在预训练流场下的后续演化满足目标约束。通过在保持预训练流场不变的情况下最小化对流状态的扰动，MintFlow 在强制约束的同时尽量减少与预训练分布的偏离。伴随公式提供了该扰动的闭式表达，从而消除了昂贵的迭代优化。此外，MintFlow 自适应选择干预时间，以平衡所需扰动幅度与剩余流的放大效应。在生成视觉和物理系统建模的各种任务中，MintFlow 实现了具有竞争力的约束满足度，同时在很大程度上保持了预训练生成分布，优于最先进的约束方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02260 (HTTP 429)

Authors: Yesom Park, Kelvin Kan, Qifan Chen, Thomas Flynn, Hayden Schaeffer. Xihaier Luo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02260.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02260

Published: 2026-10-06T03:20:09.008Z

2. Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

Abstract:Agent harnesses make many small, typed decisions per task: which model to call, which tool to use, whether retrieved text is relevant, whether an input carries an injection. System-1 decision models answer such questions in a single forward pass with class probabilities, promising large cost and latency savings over LLM calls. We present a paired evaluation of an open-weight (Laya) and a hosted (Jev) System-1 model on 11 agent decision points built from 18 public sources: 7,283 base cases plus 6,640 robustness variants, with byte-identical inputs, paired tests, and cross-hardware and cross-day reproducibility checks. Jev is significantly more accurate on 9 of 11 decision points (+10.8 to +46.0 pp). Neither model beats chance on zero-shot model routing, and they tie on RAG relevance gating. Laya changes 30% of its answers when the option order is reversed and degrades sharply with many or similar candidates (31% at 50 nearest-neighbour tools, vs. 98% for Jev on items with a unique correct tool). We also audit our own pipeline. Three analysis errors and one design confound distorted headline deployment claims: an omitted pre-screen cost (reported 23.9% saving, actual 4.3%), gate accuracy reported as end-to-end quality (58% vs. 98%), in-sample thresholds (5% target, up to 17% held-out misses), and a “channel effect” on injection false positives that vanishes with channel-native content. Two other suspected confounds did not change the conclusions. All cases, raw outputs and analysis code are available at this https URL.

中文摘要

摘要：代理程序在每个任务中会做许多小型、类型化的决策：调用哪个模型、使用哪个工具、检索的文本是否相关、输入是否包含注入。System-1 决策模型通过一次前向传播并输出类别概率来回答此类问题，相比调用大语言模型（LLM）有望节省大量成本和延迟。我们对一个开源权重模型（Laya）和一个托管模型（Jev）的 System-1 模型在 11 个代理决策点进行了配对评估，这些决策点由 18 个公共来源构建：7,283 个基本案例加 6,640 个鲁棒性变体，使用字节一致的输入、配对测试，并进行了跨硬件和跨日期的可重复性检查。在 11 个决策点中，Jev 在 9 个点上的准确率明显更高（+10.8 到 +46.0 个百分点）。在零样本模型路由方面，两者都未能超过随机水平，在 RAG 相关性门控上表现持平。Laya 在选项顺序反转时会改变其 30% 的答案，并且在候选项多或相似时表现急剧下降（在 50 个最近邻工具中 31%，而 Jev 在唯一正确工具的项目上为 98%）。我们还对自己的管道进行了审计。三处分析错误和一处设计混淆扭曲了头条部署声明：遗漏预筛成本（报告节省 23.9%，实际为 4.3%）、门控准确率被报告为端到端质量（58% 对 98%）、样本内阈值（5% 目标，留出样本错过率高达 17%）、以及注入假阳性的“通道效应”，在通道本地内容下消失。其他两个怀疑的混淆因素未改变结论。所有案例、原始输出和分析代码可在此 https URL 获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02267 (HTTP 429)

Authors: Jiawei Li

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02267.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02267

Published: 2026-10-06T03:20:09.008Z

3. The AI Risk Observatory: What Can We Learn from AI Disclosures in Annual Reports About Societal Resilience?

Abstract:Societal resilience research relies on access to useful and actionable data, which motivates our main research question: Can annual reports, processed at scale with LLMs, provide a useful signal about how companies disclose their response to AI? We test this by applying a reproducible two-stage classification pipeline to 9,821 annual reports from 1,362 UK listed companies (2020-2025, with partial 2026 data). We first validate the method against 474 human-annotated passages, finding high recall and moderate label-level agreement. We then report three empirical patterns: (i) between 2020 and 2025, the share of reports mentioning AI risk rose from 2.8% to 41.2%, while AI adoption disclosure also rose, from 13.8% to 45.2%, and named vendor mentions cluster around a small set of major providers led by Microsoft; (ii) disclosure varies substantially by Critical National Infrastructure sector and market segment: AIM reports disclose AI risk at far lower rates than Main Market reports, and sectors such as Energy and Data Infrastructure lag behind the rest in AI risk disclosure; and (iii) harm disclosures are near-absent (seven reports across the entire corpus). We develop a substantiveness classification to assess the quality of the disclosure and find that most AI risk disclosure is not substantive: in 2025, 41.2% of all reports mention AI as a risk, but only 4.3% contain AI risk disclosure we classify as substantive.

中文摘要

摘要：社会韧性研究依赖于获取有用且可操作的数据，这促使我们提出了主要研究问题：年度报告在大规模使用大型语言模型（LLMs）处理后，能否提供有关公司披露其应对人工智能措施的有用信号？我们通过将可重复的两阶段分类流程应用于1,362家英国上市公司（2020-2025年，部分2026年数据）的9,821份年度报告来测试这一问题。我们首先将该方法与474段人工标注的文本进行验证，发现召回率高，标签级别一致性中等。然后，我们报告三个实证模式：(i) 在2020至2025年间，提及AI风险的报告比例从2.8%上升至41.2%，同时AI采用披露也从13.8%上升至45.2%，且所提及的供应商主要集中在以微软为主的一小部分主要提供商；(ii) 披露情况在关键国家基础设施部门和市场细分中差异显著：AIM市场报告披露AI风险的比例远低于主板市场报告，而能源和数据基础设施等部门在AI风险披露方面落后于其他部门；(iii) 损害披露几乎不存在（整个语料库中仅有七份报告）。我们开发了一种实质性分类方法来评估披露质量，发现大多数AI风险披露并不具有实质性：在2025年，41.2%的报告提及AI作为风险，但仅有4.3%的报告包含我们认定为实质性的AI风险披露。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02281 (HTTP 429)

Authors: Bart Jaworski

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02281.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02281

Published: 2026-10-06T03:20:09.008Z

4. Keep It CALM: Analyzing the Limits of Global Unsafety in Text-to-Image Generation

Abstract:Training-free safeguards for text-to-image generation often rely on a reusable safety signal, such as an unsafe direction or global toxic subspace, applied broadly across prompts. We provide a controlled geometric analysis of this global-unsafety assumption and reveal a consistent coverage-selectivity trade-off: compact unsafe subspaces fail to cover heterogeneous unsafe semantics, whereas broader aggregation increasingly distorts safety-adjacent benign prompts. Motivated by this finding, we propose CALM (Counterfactual Adaptive Local Modulation), a training-free safeguard that replaces uniform global removal with prompt-local counterfactual correction. Using matched unsafe-benign anchors, CALM routes each prompt to active unsafe categories, minimally edits only violating token representations toward the safe side, and suppresses positively aligned unsafe residual components. Across broad evaluation, CALM significantly improves unsafe content suppression while preserving benign utility, demonstrating that local counterfactual correction provides a more selective alternative to global unsafe signal removal.

中文摘要

摘要：面向文本到图像生成的免训练安全防护通常依赖可重复使用的安全信号，例如不安全方向或全局有害子空间，并广泛应用于各种提示。我们对该全局不安全假设提供了受控几何分析，并揭示了一个一致的覆盖-选择性权衡：紧凑的不安全子空间无法覆盖异质的不安全语义，而更广的聚合则会越来越扭曲安全邻近的良性提示。受此发现启发，我们提出了 CALM（反事实自适应局部调制），这是一种免训练安全防护方法，将统一的全局移除替换为提示局部的反事实修正。通过匹配的不安全-良性锚点，CALM 将每个提示路由至活跃的不安全类别，仅对违反规则的 token 表示进行最小化编辑以朝安全方向调整，并抑制正向对齐的不安全残余成分。在广泛评估中，CALM 显著改善了不安全内容的抑制，同时保留了良性效用，证明局部反事实修正提供了比全局不安全信号移除更具选择性的替代方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02300 (HTTP 429)

Authors: NaHyeon Park, Minhyun Lee, Hyunjung Shim

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02300.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02300

Published: 2026-10-06T03:20:09.008Z

5. Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

Abstract:Large language models (LLMs) rely on long-horizon tool invocation sequences for complex tasks, where each invocation can alter the task state and condition subsequent decisions. In long-horizon tool use, final-outcome rewards provide weak credit assignment over long interaction traces. Step-level rewards can offer more targeted feedback, but obtaining reliable step supervision often requires human or LLM judgment, or additional rollouts to estimate the downstream effect of an intermediate decision. In this paper, we argue that effective tool-use agents should estimate the long-horizon value of a possible next tool invocation before executing it. This objective requires comparative supervision over alternative invocations under the same context, while logged trajectories only contain the invocation that was actually taken. Therefore, we propose Comparative Inference for Tool-use Agents (CITA). CITA trains a Comparative Inference Model (CIM) from paired signals that combine observed tool behavior, scalable supervision from a Bayesian tool-graph simulator, and semantic judgments from LLM-based comparison. The resulting CIM learns to estimate how likely a possible next tool invocation is to support final task success under the current context. Across three tool-use benchmarks and multiple backbone LLMs, CITA consistently improves Tool F1 and task success. Additional analysis shows that CIM learns accurate step-level value estimates for comparative tool choices.

中文摘要

摘要：大型语言模型（LLM）在执行复杂任务时依赖于长周期的工具调用序列，其中每一次调用都可能改变任务状态并影响随后决策。在长周期的工具使用中，最终结果的奖励在长时间的交互轨迹中很难提供有效的信用分配。步骤级奖励可以提供更有针对性的反馈，但获取可靠的步骤监督通常需要人工或LLM判断，或者需要额外的回滚以估计中间决策的下游影响。在本文中，我们认为有效的工具使用代理应在执行可能的下一步工具调用之前，评估其长周期价值。这个目标要求在相同上下文中对不同调用进行比较监督，而日志轨迹中仅包含实际发生的调用。因此，我们提出了工具使用代理的比较推理方法（CITA）。CITA利用观测到的工具行为、来自贝叶斯工具图模拟器的可扩展监督以及基于LLM的语义比较等配对信号训练比较推理模型（CIM）。由此得到的CIM能够估计在当前上下文下，可能的下一步工具调用支持最终任务成功的可能性。在三个工具使用基准和多种主干LLM上，CITA持续提升了工具F1分数和任务成功率。进一步分析显示，CIM能够为比较工具选择学习准确的步骤级价值估计。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02330 (HTTP 429)

Authors: Yu Li, Zheng Zhang, Xin Liu, Shengtian Yang, Guangfeng Cai, Lei Feng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02330.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02330

Published: 2026-10-06T03:20:09.008Z

6. World Editing: Intervening on Executable Worlds at Increasing Depth

Abstract:Interactive world models are increasingly capable of generating environments and acting within them, yet deliberately editing an existing executable world remains underexplored. We formulate world editing as intervening on an existing world while preserving properties that should remain unchanged, and introduce intervention depth as an axis describing how strongly an edit couples world entities, dynamics, and systems. We instantiate this capability through industry-grade game modding and introduce IGMWorld, together with IGMBench, a benchmark of 110 tasks and over 1.1K executable state and behavioral criteria across Minecraft and Terraria. The tasks span property, entity, dynamics, and system interventions and are evaluated through deterministic executability, behavioral, preservation, and visual checks. Frontier coding agents already exhibit substantial world-editing capability: the strongest configuration solves 78.2% of tasks under a strict task-level criterion, while criterion-level performance reaches 94.8%. Reliability generally decreases with intervention depth, and this pattern persists even among tasks with similar numbers of evaluation criteria. Most failed edits still build and load successfully, suggesting that the main difficulty is making the edited world behave as requested. Visual consistency remains a separate weakness, with all evaluated configurations below 50% joint visual pass rate. These results show that world editing is a distinct capability from world generation and interaction, and that executable games provide a practical testbed for studying it.

中文摘要

摘要：交互式世界模型越来越能够生成环境并在其中行动，但有意地编辑一个现有的可执行世界仍未被充分探索。我们将世界编辑定义为在干预现有世界的同时保持应保持不变的属性，并引入干预深度作为描述编辑如何强烈地耦合世界实体、动态和系统的维度。我们通过行业级游戏模组实现了这一能力，并推出了IGMWorld，以及IGMBench，这是一个包含110个任务和超过1.1K可执行状态和行为标准的基准，覆盖Minecraft和Terraria。这些任务涵盖属性、实体、动态和系统的干预，并通过确定性的可执行性、行为、保持性和视觉检查进行评估。前沿编码代理已经展现出显著的世界编辑能力：最强配置在严格的任务级标准下解决了78.2%的任务，而标准级性能达到了94.8%。可靠性通常随干预深度而下降，这种模式即使在评估标准数量相似的任务中也会持续存在。大多数失败的编辑仍然能够成功构建和加载，这表明主要困难在于使编辑后的世界按要求表现。视觉一致性仍然是一个独立的弱点，所有评估配置的联合视觉通过率均低于50%。这些结果表明，世界编辑是一种不同于世界生成和交互的能力，而可执行游戏为研究其提供了一个实际的测试平台。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02331 (HTTP 429)

Authors: Max Ku, Nok-Kan Law, Yu-Chien Tang, Shih-Ying Yeh, Ping Nie, Andy Zheng, Tat Hei Lai, Fei-Yueh Chen, Nikko Yu, Wei-Chieh Sun, Suzy Huang, Chiao-Wei Hsu, Chih-Chuan Huang, Chak-Wing Mak, Ho Yin Sam Ng, Edisy Kin Wai Chan, Min-Hung Chen, Ho Kei Cheng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02331.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02331

Published: 2026-10-06T03:20:09.008Z

7. A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection

Abstract:Natural Visibility Graph (NVG) based analysis characterizes network traffic through topological descriptors reflecting different structural properties. However, not all descriptors contribute equally to cyber-attack classification, and extracting a large metric set can increase computational cost. This study evaluates 21 NVG derived topological metrics and investigates whether a compact subset can preserve classification capability while improving computational efficiency. Four importance analysis methods SHAP, grouped Permutation Importance, Boruta, and Recursive Feature Elimination (RFE) are integrated through a Consensus Ranking strategy. Based on this ranking, Full21, Top15, Top10, Top7, Top5, and Top3 configurations are evaluated using the CICIDS2018 dataset, a CNN classifier, and stratified 5 fold cross validation. The three highest ranked metrics are avg_clustering_coeff_median, avg_clustering_coeff_std, and avg_clustering_coeff_mean. Top3 achieved the highest observed mean performance, with 97.148% accuracy, 97.055% weighted F1 score, and an MCC of 0.9675, compared with 95.999%, 95.521%, and 0.9549 for Full21, respectively. It also reduced total runtime from 14,961.39 s to 589.22 s (96.06%). These results indicate that importance guided metric reduction can provide a compact NVG representation with higher observed mean predictive performance and substantially lower computational cost under the evaluated setting.

中文摘要

摘要：基于自然可视化图（NVG）的分析通过反映不同结构特性的拓扑描述符来表征网络流量。然而，并非所有描述符在网络攻击分类中贡献相同，而提取大量指标会增加计算成本。本研究评估了21个来源于NVG的拓扑指标，并探讨了是否可以通过一个紧凑的子集在保持分类能力的同时提高计算效率。将四种重要性分析方法——SHAP、分组置换重要性（grouped Permutation Importance）、Boruta和递归特征消除（RFE）——通过共识排名策略进行整合。基于此排名，对Full21、Top15、Top10、Top7、Top5和Top3配置使用CICIDS2018数据集、CNN分类器和分层5折交叉验证进行了评估。排名前三的指标为avg_clustering_coeff_median、avg_clustering_coeff_std和avg_clustering_coeff_mean。Top3实现了观测到的最高平均性能，准确率为97.148%、加权F1值为97.055%、MCC为0.9675，而Full21分别为95.999%、95.521%和0.9549。它还将总运行时间从14,961.39秒减少到589.22秒（96.06%）。这些结果表明，在所评估的设置下，基于重要性指导的指标缩减可以提供紧凑的NVG表示，同时具有更高的观测平均预测性能和显著降低的计算成本。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02342 (HTTP 429)

Authors: Ali Melih Kanca, Ilker Turker

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02342.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02342

Published: 2026-10-06T03:20:09.008Z

8. DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents

Abstract:ReAct-based agents typically rely on a single LLM policy to propose actions, interact with the environment, and decide when a task is complete. This coupling makes action authorization and completion control difficult to enforce independently, allowing errors to propagate and unsupported completion claims to terminate execution. We introduce DeReAct, a modular agent architecture that externalizes two gating policies: a Critic that validates proposed actions before execution, and a Context Manager that reconstructs an environment-supported \textsc{State} and certifies task completion. Across GAIA and SWE-bench Verified, DeReAct improves Pass@1 most for weaker Brain models, with gains of 6.5—7.0 points for Qwen3-Coder-480B and 4.2—5.2 points for Claude Sonnet~4.5; gains diminish as Brain capability increases. Trajectory and ablation analyses show that external gating is effective when targeted failures are sufficiently prevalent and the gating policy is itself sufficient. With Claude Opus~4.5, Pass@1 remains comparable to ReAct, while DeReAct produces more evidence-complete and constraint-satisfying trajectories, indicating that completion control can trade earlier termination for stronger grounding. Overall, DeReAct improves weaker agents while retaining grounding benefits as models strengthen.

中文摘要

摘要：基于 ReAct 的智能体通常依赖单一的大语言模型（LLM）策略来提出动作、与环境交互以及决定任务何时完成。这种耦合使得动作授权和完成控制难以独立执行，从而导致错误传播和不支持的完成声明终止执行。我们提出了 DeReAct，一种模块化的智能体架构，将两个门控策略外部化：一个 Critic（评论者）在执行前验证提议的动作，以及一个 Context Manager（上下文管理器）重构环境支持的状态并认证任务完成。在 GAIA 和 SWE-bench Verified 上，DeReAct 对较弱的 Brain 模型在 Pass@1 上的提升最大，Qwen3-Coder-480B 的提升为 6.5–7.0 点，Claude Sonnet~4.5 的提升为 4.2–5.2 点；随着 Brain 能力增加，增益减小。轨迹分析和消融分析表明，当目标失败足够普遍且门控策略本身足够有效时，外部门控是有效的。使用 Claude Opus~4.5 时，Pass@1 与 ReAct 相当，而 DeReAct 生成的轨迹更完整且满足约束，这表明完成控制可以以更早终止为代价换取更强的依据。总体而言，DeReAct 在提升较弱智能体的同时，在模型增强时仍保留了依据性优势。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02351 (HTTP 429)

Authors: Ajay Vohra, Tao Chen, Neeti Narayan, Caron Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02351.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02351

Published: 2026-10-06T03:20:09.008Z

9. Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion

Abstract:Text-to-image generation enables users to explore several images generated from the same prompt. For these generated images to be useful, each one must reflect the user’s preferences, measured by a learned reward, and differ visually from the others to maintain diversity. Existing methods are limited: they either address reward and diversity separately or combine them in one aggregate score, enabling high diversity to offset low rewards. In this paper, we address these limitations by formulating generation as satisficing: every image (candidate) must satisfy a reward floor and the batch of images must satisfy a diversity cutoff. The reward floor controls the balance between worst-candidate reward and batch diversity; we show that varying this floor defines a Pareto frontier. To traverse this frontier, we introduce SatisDive, a training-free inference-time method. SatisDive uses a batch-relative reward cutoff to distinguish lower- from higher-reward candidates, emphasizing reward improvement for candidates below the cutoff and diversity among candidates above it. On Pick-a-Pic, at matched DreamSim, SatisDive improves worst-candidate reward over FK steering by up to 0.43 with FLUX.1-dev as the base model and HPSv3 as the reward, and by up to 0.70 with SANA-1.6B as the base model and ImageReward as the reward. More broadly, across their overlapping DreamSim ranges, SatisDive’s satisfaction-diversity curve Pareto-dominates FK steering’s curve in each setting.

中文摘要

摘要：文本生成图像使用户能够探索由相同提示生成的多张图像。为了使这些生成的图像有用，每张图像必须反映用户的偏好，这通过学习的奖励来衡量，并且在视觉上要与其他图像不同，以保持多样性。现有方法存在局限：它们要么分别处理奖励和多样性，要么将它们组合成一个总体分数，从而允许高多样性来弥补低奖励。在本文中，我们通过将生成问题表述为满意化问题来解决这些局限：每张图像（候选）必须满足奖励下限，并且整批图像必须满足多样性阈值。奖励下限控制最差候选奖励与批量多样性之间的平衡；我们表明，改变该下限定义了帕累托前沿。为了遍历这一前沿，我们提出了SatisDive，这是一种无需训练的推理时方法。SatisDive 使用相对于批次的奖励下限来区分低奖励和高奖励候选，强调对低于下限的候选进行奖励提升，以及对高于下限的候选保持多样性。在Pick-a-Pic数据集上，在匹配DreamSim的情况下，SatisDive相较于FK steering，在以FLUX.1-dev为基础模型、HPSv3作为奖励时，将最差候选奖励提高了最高0.43；在以SANA-1.6B为基础模型、ImageReward作为奖励时，最差候选奖励提高了最高0.70。更广泛地说，在其重叠的DreamSim范围内，SatisDive的满意度-多样性曲线在每种设置中都是对FK steering曲线的帕累托支配。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02372 (HTTP 429)

Authors: Kevin Zhai, Siva Rajesh Kasa, Soumya Roy, Sumit Negi, Mubarak Shah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02372.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02372

Published: 2026-10-06T03:20:09.008Z

10. THPL: A Vision-to-Language Decision Support Framework for Rainbow Trout Feeding Management in RAS

Abstract:In Recirculating Aquaculture Systems (RAS), precision feeding is critical for minimizing costs and improving fish welfare. However, existing methods lack cognitive alignment between fish behaviors and management knowledge, impeding translation into executable, interpretable feeding decisions. To address this, we propose THPL, a generative feeding decision framework tailored for rainbow trout (Oncorhynchus mykiss) in RAS. First, Fishsort extracts trajectories to establish an Activity Coefficient (AC) quantifying feeding intensity. Second, a Hierarchical Behavior Encoder (HBE) models individual temporal progression and collective dynamics using Temporal and Set Transformers, transforming trajectory tensors into dual-evidence representations of explicit physical and implicit soft tokens. Finally, these tokens are integrated with environmental parameters, metadata, and expert rules to fine-tune an LLM via LoRA, followed by counterfactual multimodal Direct Preference Optimization (mDPO) to reinforce causal reasoning. Results show that AC exhibits a statistically significant monotonic positive correlation with expert-annotated feeding intensity (Spearman $\rho = 0.925$, $p < 0.001$). Ablations indicate that decision accuracy improves from 33.33% (text-only baseline) to 93.33% with dual-evidence tokens, confirming that continuous spatiotemporal tokens provide necessary physical grounding for LLMs. Compared with standard LoRA, counterfactual mDPO elevates decision accuracy from 93.33% to 96.67%, advances METEOR from 58.10% to 85.30%, reduces Self-BLEU-2 from 58.79% to 52.88%, and increases Distinct-3 from 6.68% to 7.81%, suppressing templating and actuation biases while reinforcing causal consistency and operational safety. Overall, by integrating continuous kinematics with LLM reasoning, this study provides a novel decision support paradigm for precision aquaculture.

中文摘要

摘要：在循环水养殖系统（RAS）中，精准饲喂对于降低成本和改善鱼类福利至关重要。然而，现有方法缺乏鱼类行为与管理知识之间的认知对齐，阻碍了可执行且可解释的饲喂决策的转化。为此，我们提出了THPL，一种针对循环水系统中虹鳟（Oncorhynchus mykiss）的生成式饲喂决策框架。首先，Fishsort提取轨迹以建立量化饲喂强度的活动系数（AC）。其次，层级行为编码器（HBE）使用时间和集合变换器建模个体时间进程和集体动态，将轨迹张量转化为明确的物理信息和隐含软标记的双重证据表示。最后，这些标记与环境参数、元数据及专家规则结合，通过LoRA微调大语言模型（LLM），随后使用反事实多模态直接偏好优化（mDPO）强化因果推理。结果显示，AC与专家标注的饲喂强度具有显著单调正相关（Spearman $
ho = 0.925$, $p < 0.001$）。消融实验表明，决策准确率从33.33%（仅文本基线）提高到93.33%，确认连续时空标记为LLM提供了必要的物理基础。与标准LoRA相比，反事实mDPO将决策准确率从93.33%提升至96.67%，将METEOR从58.10%提升至85.30%，将Self-BLEU-2从58.79%降低至52.88%，将Distinct-3从6.68%提高至7.81%，抑制了模板化和执行偏差，同时增强了因果一致性和操作安全性。总体而言，通过将连续运动学与LLM推理相结合，本研究为精准水产养殖提供了一种新型的决策支持范式。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02378 (HTTP 429)

Authors: Meng Liang, Guanbo Feng, Haozhuang Chi, Shilong Zhao, Zhixin Xiong, Yuhang He, Wenfeng Han, Tianhao Zhao, Zhihong Ma, Ying Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02378.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02378

Published: 2026-10-06T03:20:09.008Z

Evaluation Domain Papers

1. MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02260 (HTTP 429)

Authors: Yesom Park, Kelvin Kan, Qifan Chen, Thomas Flynn, Hayden Schaeffer. Xihaier Luo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02260.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02260

Published: 2026-10-06T03:20:30.691Z

2. Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

中文摘要

摘要：代理程序在每个任务中会做许多小的、类型化的决策：调用哪个模型、使用哪个工具、检索的文本是否相关、输入是否包含注入。System-1 决策模型通过一次前向传递输出类别概率来回答此类问题，相比调用大语言模型（LLM）有望节省大量成本和延迟。我们对一个开源权重模型（Laya）和一个托管模型（Jev）的 System-1 模型在 11 个代理决策点进行了配对评估，这些决策点由 18 个公共资源构建：7,283 个基础案例加 6,640 个鲁棒性变体，使用字节一致的输入、配对测试，并进行了跨硬件和跨日期的可重复性检查。在 11 个决策点中，Jev 在 9 个点上的准确率明显更高（+10.8 到 +46.0 个百分点）。在零样本模型路由方面，两种模型都未超过随机水平，在 RAG 相关性门控上表现持平。Laya 在选项顺序反转时会改变其 30% 的答案，并且在候选项多或相似时表现急剧下降（在 50 个最近邻工具中 31%，而 Jev 在唯一正确工具的项目上为 98%）。我们还对自己的管道进行了审计。三个分析错误和一个设计混杂因素扭曲了头条部署声明：遗漏的预筛成本（报告节省 23.9%，实际为 4.3%）、门控准确率被报告为端到端质量（58% vs. 98%）、样本内阈值（目标 5%，留出样本错过高达 17%）以及对注入假阳性的“渠道效应”，该效应在渠道本地内容下消失。其他两个可疑混杂因素并未改变结论。所有案例、原始输出和分析代码可在此 https URL 获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02267 (HTTP 429)

Authors: Jiawei Li

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02267.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02267

Published: 2026-10-06T03:20:30.691Z

3. The AI Risk Observatory: What Can We Learn from AI Disclosures in Annual Reports About Societal Resilience?

中文摘要

摘要：社会韧性研究依赖于获取有用且可操作的数据，这促使我们提出了主要研究问题：年度报告在大规模使用大型语言模型（LLMs）处理后，能否提供有关公司披露其应对人工智能措施的有用信号？我们通过将可重复的两阶段分类流程应用于1,362家英国上市公司（2020-2025年，部分2026年数据）的9,821份年度报告来测试这一问题。我们首先将该方法与474段人工标注的文本进行验证，发现召回率高，标签级别一致性中等。然后，我们报告三个实证模式：(i) 在2020至2025年间，提及AI风险的报告比例从2.8%上升至41.2%，同时AI采用披露也从13.8%上升至45.2%，且所提及的供应商主要集中在以微软为主的一小部分主要提供商；(ii) 披露情况在关键国家基础设施部门和市场细分中差异显著：AIM市场报告披露AI风险的比例远低于主板市场报告，能源和数据基础设施等部门在AI风险披露方面落后于其他部门；(iii) 损害披露几乎不存在（整个语料库中仅有七份报告）。我们开发了一种实质性分类方法来评估披露质量，发现大多数AI风险披露并不具有实质性：在2025年，41.2%的报告提及AI作为风险，但仅有4.3%的报告包含我们认定为实质性的AI风险披露。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02281 (HTTP 429)

Authors: Bart Jaworski

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02281.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02281

Published: 2026-10-06T03:20:30.691Z

4. Keep It CALM: Analyzing the Limits of Global Unsafety in Text-to-Image Generation

中文摘要

摘要：面向文本到图像生成的免训练安全措施通常依赖于可重复使用的安全信号，例如不安全方向或全局有害子空间，并广泛应用于各种提示。我们对该全局不安全假设提供了受控几何分析，并揭示了一个一致的覆盖-选择性权衡：紧凑的不安全子空间无法覆盖异质的不安全语义，而更广的聚合则会越来越扭曲安全邻近的良性提示。受此发现启发，我们提出了 CALM（反事实自适应局部调制），这是一种免训练安全措施，用提示局部的反事实修正替代统一的全局移除。通过匹配的不安全-良性锚点，CALM 将每个提示路由到活跃的不安全类别，仅对违反的标记表示进行最小化编辑以向安全方向调整，并抑制正向对齐的不安全残余成分。在广泛评估中，CALM 显著提升了不安全内容的抑制效果，同时保持了良性功能，证明局部反事实修正提供了比全局不安全信号移除更具选择性的替代方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02300 (HTTP 429)

Authors: NaHyeon Park, Minhyun Lee, Hyunjung Shim

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02300.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02300

Published: 2026-10-06T03:20:30.691Z

5. Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02330 (HTTP 429)

Authors: Yu Li, Zheng Zhang, Xin Liu, Shengtian Yang, Guangfeng Cai, Lei Feng

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02330.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02330

Published: 2026-10-06T03:20:30.691Z

6. World Editing: Intervening on Executable Worlds at Increasing Depth

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02331 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02331.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02331

Published: 2026-10-06T03:20:30.691Z

7. A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection

中文摘要

摘要：基于自然可视化图（NVG）的分析通过反映不同结构特性的拓扑描述符来表征网络流量。然而，并非所有描述符在网络攻击分类中贡献相同，而提取大量指标会增加计算成本。本研究评估了21个来源于NVG的拓扑指标，并探讨了是否可以通过一个紧凑的子集在保持分类能力的同时提高计算效率。将四种重要性分析方法——SHAP、分组置换重要性（grouped Permutation Importance）、Boruta和递归特征消除（RFE）——通过一致性排名策略进行整合。基于此排名，使用CICIDS2018数据集、CNN分类器以及分层5折交叉验证，对Full21、Top15、Top10、Top7、Top5和Top3配置进行评估。排名前三的指标为平均聚类系数中位数（avg_clustering_coeff_median）、平均聚类系数标准差（avg_clustering_coeff_std）和平均聚类系数均值（avg_clustering_coeff_mean）。Top3在观察到的平均性能上达到最高，准确率为97.148%，加权F1得分为97.055%，MCC为0.9675，而Full21分别为95.999%、95.521%和0.9549。Top3还将总运行时间从14,961.39秒减少到589.22秒（减少96.06%）。结果表明，在所评估的背景下，基于重要性的指标减少可以提供更紧凑的NVG表示，同时实现更高的平均预测性能和显著降低的计算成本。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02342 (HTTP 429)

Authors: Ali Melih Kanca, Ilker Turker

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02342.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02342

Published: 2026-10-06T03:20:30.691Z

8. DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents

中文摘要

摘要：基于 ReAct 的智能体通常依赖单一的大语言模型（LLM）策略来提出动作、与环境交互以及决定任务何时完成。这种耦合使得动作授权和完成控制难以独立执行，从而导致错误传播，并且 unsupported completion claims（未经支持的完成声明）可能终止执行。我们提出了 DeReAct，这是一种模块化智能体架构，将两个门控策略外部化：一个 Critic（评论者）在执行前验证提出的动作，另一个 Context Manager（上下文管理器）重建环境支持的 extsc{State} 并认证任务完成。在 GAIA 和 SWE-bench Verified 测试中，DeReAct 对性能较弱的 Brain 模型在 Pass@1 上提升最大，对 Qwen3-Coder-480B 提升 6.5—7.0 分，对 Claude Sonnet~4.5 提升 4.2—5.2 分；随着 Brain 能力的提升，增益逐渐减小。轨迹和消融分析显示，当目标失败足够普遍且门控策略本身足够有效时，外部门控是有效的。使用 Claude Opus~4.5 时，Pass@1 与 ReAct 相当，而 DeReAct 生成的轨迹在证据完整性和约束满足性方面更强，表明完成控制可以以更早终止为代价换取更强的依据。总体而言，DeReAct 在改进较弱的智能体的同时，随着模型能力增强仍保留了可靠性优势。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02351 (HTTP 429)

Authors: Ajay Vohra, Tao Chen, Neeti Narayan, Caron Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02351.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02351

Published: 2026-10-06T03:20:30.691Z

9. Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02372 (HTTP 429)

Authors: Kevin Zhai, Siva Rajesh Kasa, Soumya Roy, Sumit Negi, Mubarak Shah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02372.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02372

Published: 2026-10-06T03:20:30.691Z

10. THPL: A Vision-to-Language Decision Support Framework for Rainbow Trout Feeding Management in RAS

中文摘要

摘要：在循环水养殖系统（RAS）中，精准饲喂对于降低成本和改善鱼类福利至关重要。然而，现有方法缺乏鱼类行为与管理知识之间的认知对齐，阻碍了可执行且可解释的饲喂决策的转化。为此，我们提出了THPL，一种针对循环水系统中虹鳟（Oncorhynchus mykiss）的生成式饲喂决策框架。首先，Fishsort提取轨迹以建立活动系数（AC），用于量化饲喂强度。其次，分层行为编码器（HBE）利用时间和集合变换器对个体时间进展和群体动态进行建模，将轨迹张量转换为显式物理和隐性软标记的双重证据表示。最后，这些标记与环境参数、元数据和专家规则集成，通过LoRA对大语言模型（LLM）进行微调，随后通过反事实多模态直接偏好优化（mDPO）强化因果推理。结果表明，AC与专家标注的饲喂强度呈统计学显著的单调正相关（Spearman $
ho = 0.925$, $p < 0.001$）。消融实验表明，决策准确率从33.33%（仅文本基线）提升至93.33%（使用双重证据标记），确认了连续时空标记为LLM提供了必要的物理基础。与标准LoRA相比，反事实mDPO将决策准确率从93.33%提升至96.67%，将METEOR从58.10%提升至85.30%，将Self-BLEU-2从58.79%降至52.88%，将Distinct-3从6.68%提升至7.81%，抑制了模板化和执行偏差，同时强化了因果一致性和操作安全性。总体而言，通过将连续运动学与LLM推理相结合，本研究为精准水产养殖提供了一种新型的决策支持范式。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02378 (HTTP 429)

Authors: Meng Liang, Guanbo Feng, Haozhuang Chi, Shilong Zhao, Zhixin Xiong, Yuhang He, Wenfeng Han, Tianhao Zhao, Zhihong Ma, Ying Liu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.02378.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02378

Published: 2026-10-06T03:20:30.691Z

VLM Domain Papers

1. EditHero: A Benchmark for Long-Horizon Part-Level 3D Editing and Vibe Modeling

Abstract:3D editing methods are usually tested on a single edit, yet an asset is built through a long sequence of revisions, each of which must implement the requested change while leaving everything else unchanged. We introduce EditHero, to our knowledge the first benchmark for long-horizon, part-level 3D editing, with natural-language instructions and target images for both geometry and texture. A deterministic assembly engine produces the exact target after every edit, and every sequence is reviewed by hand. We use EditHero to compare 2 opposite approaches to 3D editing. Non-agentic methods operate top down, regenerating the object from a learned 3D representation and inferring what to keep. In contrast, LLM/VLM agents operate bottom up, editing through code that inspects the mesh and rewrites only the parts required by instructions. The non-agentic methods often miss the requested change and disturb regions that should stay fixed. Most LLMs follow instructions more closely, and all of them preserve the unedited parts better, but each of their edits takes minutes. We will release the engine and the edit sequences to support research on reliable iterative 3D editing.

中文摘要

摘要：3D 编辑方法通常只在单次编辑上进行测试，但一个资产是通过一长串修订构建的，每一次修订都必须实现所请求的更改，同时保持其余部分不变。我们介绍了 EditHero，据我们所知，这是首个针对长时间、零件级 3D 编辑的基准测试，提供用于几何和纹理的自然语言指令及目标图像。一个确定性的装配引擎在每次编辑后精确生成目标，每个编辑序列都经过人工审查。我们使用 EditHero 比较 3D 编辑的两种相对方法。非智能方法自上而下操作，从学习到的 3D 表示中重新生成对象，并推断应保留的部分。相比之下，LLM/VLM 代理自下而上，通过检查网格并仅重写指令所需的部分来进行编辑。非智能方法经常错过所请求的更改，并干扰应保持不变的区域。大多数 LLM 更仔细地遵循指令，并且它们都能更好地保留未编辑的部分，但它们的每次编辑都需要几分钟。我们将发布引擎和编辑序列，以支持可可靠迭代 3D 编辑的研究。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决的核心问题是\*\*现有3D编辑评估体系与真实资产生产需求之间的脱节\*\*，具体可归纳为以下几个方面： - \*\*单次编辑评估的局限性\*\* 现有文本/图像引导的3D编辑方法（如PartFlow、Nano3D、3DEditFormer、VoxHammer等）通常仅在“从干净源对象执行一次编辑”的设定下进行测试。然而，真实艺术或游戏管线中的资产演化依赖\*\*连续、多轮的局部修订\*\*（long-horizon part-level editing），每一轮都必须准确执行当前指令，同时\*\*完整保留此前所有未修改部分\*\*。 - \*\*缺乏长程序列的精确参照\*\* 现有成对数据集（paired datasets）仅提供孤立的编辑样本，其目标状态往往来自生成式模型或姿态/语义部件变化，无法告知研究者：当方法反复编辑自己的输出时，是否会丢失先前已完成的更改、导致几何/纹理漂移或资产退化。 - \*\*“氛围建模”（vibe modeling）对迭代保真度的需求\*\* 近期提出的“vibe modeling”概念强调用户通过 iterative natural-language conversation 逐步塑造3D资产。这要求编辑系统具备可靠的\*\*自 rollout\*\* 能力——即第 k 轮的输入必须是第 k-1 轮自己的输出，而非始终回到干净的初始状态。为应对上述问题，论文提出了 \*\*EditHero\*\*——据作者所知首个面向\*\*长程、部件级3D编辑\*\*的基准测试。该基准通过确定性程序化装配引擎构建，在每一轮编辑后都提供精确的3D目标状态（exact ground truth），从而能够分别度量： - \*\*指令遵循（Instruction Following, IF）\*\*：在指定编辑区域内是否准确完成了请求的更改； - \*\*内容一致性（Content Consistency, CC）\*\*：在未修改区域是否成功保留了先前状态。 Q2: 有哪些相关研究？根据论文第2节及附录A的综述，相关研究可分为以下几个主要方向： --- ### 1. 单轮3D编辑方法（Non-agentic 3D Editing）这类方法通常基于预训练的3D生成模型，在单次编辑设定下运行，可进一步细分为： - \*\*基于NeRF/Gaussian Splatting的早期方法\*\* 通过2D扩散先验优化3D表示，如 Instruct-NeRF2NeRF

61
、GaussianEditor
28
等；或先编辑2D视图再重建3D物体
7, 66
。 - **原生3D潜空间编辑（Native 3D Latent Editing）** 随着TRELLIS
200
等结构化3D潜空间生成模型的出现，编辑可直接在3D潜空间进行： - **训练式方法**：借鉴ControlNet思想，通过额外分支将源对象潜空间信息注入模型。代表包括 PartFlow
193
（源控制分支）与 3DEditFormer
199
（双重引导注意力）。 - **免训练方法（Training-free）**：直接复用预训练生成器。VoxHammer
98
通过对源对象反演并缓存其潜空间与注意力特征；Nano3D
216
基于FlowEdit
89
框架，沿源条件与目标条件流的差异进行编辑。 - **部件级与交互式方法** 允许用户逐步细化特定部件，如基于草图的 Sketch2CAD
94
、MeshPad
97
，以及交互式生成系统
41, 157
。 —- ### 2. 3D编辑基准（3D Editing Benchmarks）现有基准大多针对**单次编辑**设计，主要分为两类： - **有成对目标资产（Paired Target）** 通过图像引导生成

199, 216, 126
或姿态/语义部件变化
199, 193, 145
获得目标状态。 - **无目标资产（No Target Asset）** 仅评估未编辑区域的保留程度，并与编辑后的图像或文本对齐
98, 251, 53, 135, 143, 115, 253
。 - **多步/智能体基准** BlenderGym
58
与 3DCodeBench
52
允许智能体迭代朝向单一固定目标；EZBlender
178
将多个编辑指令打包至单一提示词。 **EditHero** 与上述工作的核心区别在于：它评估的是**同一资产上按序列执行的不同自然语言部件编辑**，且每轮均提供**精确的3D参考状态**。 —- ### 3. 基于LLM/VLM的智能体3D编辑（Agentic 3D Editing） - **代码驱动的场景构建与编辑** LLM通过编写程序或调用工具构建3D场景

166, 208
，或基于渲染图编辑Blender场景
69, 121
；相关系统亦包括从文本生成CAD程序
35, 83, 155
。 - **程序即资产（Program-as-Asset）** 近期研究将程序本身视为3D资产，智能体在视觉反馈下规划、编写并修订过程化代码，以实现局部编辑并保留其余状态
109, 137, 184
。EditHero的数据引擎同样以JSON操作日志记录编辑序列，可精确重放任意状态，与这一范式理念相通。 —- ### 4. 扩展相关方向（Appendix A）附录A进一步补充了以下关联领域： - **3D生成与部件感知建模** 包括文本到3D生成（DreamFusion

144
、ProlificDreamer
186
等）、原生3D扩散/流模型（基于向量集
228, 232, 247
、三平面
197
或结构化体素
200, 201, 104
）、低多边形艺术网格自回归生成
133, 162, 30, 187, 241
与基于流的生成
102, 176
。部件感知方面涵盖部件分割
210, 116
、部件级生成与补全
211, 24, 110, 212, 170
以及纹理/材质合成
153, 18, 226, 71, 163, 31
。 - **2D图像编辑及其评估** 从早期的反演与注意力控制
128, 64, 132, 34
到基于编辑对训练的模型
13, 159, 240, 75
，再到上下文统一的生成式编辑
202, 118, 90, 194
。评估基准包括 MagicBrush
231
、EditBench
182
等；多轮图像编辑评估则涉及历史记忆与强化学习方法
230, 204, 219
。 - **程序化合成与确定性生成** CLEVR
79
、Kubric
57
等通过程序化生成提供确定性标签；EditHero的装配引擎 similarly 以确定性方式组装部件，确保每轮状态的精确可复现。 - **其他智能体系统** 包括面向图像 Q3: 论文如何解决这个问题？论文通过构建一套完整的**数据合成引擎、基准测试与评估框架**来解决长程部件级3D编辑的评估难题。具体方案可分解为以下几个层面： —- ### 1. 构建确定性装配引擎，实现逐轮精确 Ground Truth 论文设计了一个**程序化数据合成引擎**，通过离散的部件库与显式操作日志，确保每一轮编辑后都能重建出精确无误的3D目标状态： - **四种原子操作**：支持 `add`（添加部件）、`remove`（删除部件）、`replace`（替换部件）、`retexture`（重绘纹理）。每种操作仅作用于被命名的部件槽位（slot），其余部分严格保持不变。 - **部件库与自动筛选**：从 PartVerse-XL

40
、Objaverse-XL
38
和 HY3D-Bench
173
中构建带描述的部件库。引擎先通过语义相似性检索候选部件，再用视觉-语言模型（VLM）及几何检查（接触、尺度、连通性、穿透）筛选合理摆放。 - **JSON 操作日志**：每一轮 accepted 的编辑被记录为一条 JSON 条目，包含目标槽位、库部件编号、位姿矩阵与纹理信息。凭借该日志与部件库，可在无需重新运行生成管线的情况下**精确重放（replay）任意轮次**的完整状态 Sk 。 —- ### 2. 人工审核与质量控制引擎自动生成的结果需经过人工逐轮审查与修正，以保证指令清晰、几何合理、依赖关系正确： - 审查者检查每一轮的渲染图，排查错误部件、方向/尺度不当、指令歧义、依赖断裂（如依附部件在父部件被替换时未正确处理）等问题。 - 发现问题时，审查者直接修改 JSON 日志中的操作条目，并重新构建受影响轮次及后续状态。 - 指令草稿（由部件描述自动生成）被人工改写为自然语言，明确指定目标部件、位置与方向，避免暴露内部槽位标识。最终，**EditHero** 包含 **457 条编辑链、2755 次编辑、覆盖 252 个宿主对象**，单链长度 3 至 30 轮，分为 6 大家族（R/P/M/A/G/X）。 —- ### 3. 设计 Self-Rollout 评估协议为模拟真实资产迭代流程，论文摒弃了“每轮都回到干净初始状态”的设定，转而采用 **self-rollout**： - 第 k 轮的输入必须是该方法自己在第 k-1 轮的输出 S(k-1) ，而非 ground-truth 的 S_(k-1) 。 - 每轮向待测方法提供：当前网格、自然语言指令、固定视角的目标渲染图（VoxHammer 额外获得 ground-truth 编辑掩码）。 - 若某轮失败（输出为空或无法加载），则该链后续轮次全部阻塞，以此严格考核长程稳定性。 —- ### 4. 提出区域化、与自身历史对比的评估指标论文指出，传统全对象指标（如 Chamfer Distance、F-score、PSNR）在长程编辑中会严重失效：由于单轮仅修改小区域，**直接返回输入（no-op）即可在全对象指标上获得高分**。为此，论文设计了分离编辑区与未编辑区的指标： #### 区域定义基于 ground-truth 中被指令命名的部件，定义第 k 轮的： - **编辑区** E_k ：该部件在编辑前后所占的体素/像素的单格膨胀并集。 - **未编辑区** U_k ：其补集。 #### Instruction Following（IF）衡量当前轮次相对于**方法自身上一轮输出**仍需要完成的变更比例，防止“早已丢失的部件被记为成功删除/添加”：

IF^+k = Recall(Ak)(S_k, S_k),quad A_k = (V(S_k)setminus V(S(k-1)))setminus V(S_(k-1))

IF^-k = 1 - Recall(Dk)(S_k, S(k-1)),quad Dk = (V(S(k-1))setminus V(Sk))∩ V(S(k-1))

`add` 用 IF^+ ，`remove` 用 IF^- ，`replace` 取调和平均；`retexture` 无几何 IF。 #### Content Consistency（CC）在未编辑区衡量保真度： - ** CC^(prev)_k **：输出与**自身上一轮输出**在未编辑区的 IoU，考核当前轮是否扰动了不应修改的区域。 - ** CC^0_k **：输出与**初始宿主对象**在“累计从未编辑区域”的 IoU，考核整条链至今的漂移累积。通过这两个指标，论文建立了两个参照极端： - **No-op 基线**： IF=0 ， CC=1 （什么都不改，但保留一切）。 - **Regeneration 基线**：每轮从目标渲染图独立重建（ IF 高，但 CC 极低）。一个优秀的编辑器应**同时逼近高 IF 与高 CC**。 —- ### 5. 系统对比两类对立方法利用上述基准与协议，论文对两类方法进行了大规模系统评估： | 类别 | 代表方法 | 工作方式 | 核心结论 | |———|————-|————-|————-| | **非智能体（Non-agentic）** | PartFlow、Nano3D、3DEditFormer、VoxHammer | 自上而下，从3D潜空间或扩散流中**整体再生**对象，通过模型隐式推断“保留什么” | 往往从首轮就遗漏请求变更，且未编辑区域随链长持续漂移；全对象指标甚至不如 no-op 基线 | | **LLM/VLM 智能体** | GLM 5.3 Flash、DeepSeek V4.1、Sol 6、Astra、Fable 5.1、Opus 5.5 | 自下而上，通过代码**仅重写被命名的部件**，其余部分在构造上完全 untouched | 所有智能体均优于最佳非智能体方法在未编辑区的保留（ CC^(prev) 达 0.95–0.98），且多数指令遵循（IF）更好；但单轮耗时分钟级，难以交互 | —- ### 6. 总结简言之，论文的解决路径是：**通过程序化装配获得可精确重放的逐轮参考状态 → 以 self-rollout 协议强制考核迭代稳定性 → 以区域化、与自身历史对比的指标分离“编辑正确性”与“未编辑区保留” → 揭示出现有整体再生方法在长程编辑中的根本性缺陷，并验证基于代码的智能体在局部编辑上的结构优势**。同时，论文将全部引擎与编辑链开源，以支持后续对“快速且准确”的混合式编辑系统的研究。 Q4: 论文做了哪些实验？论文围绕长程部件级3D编辑任务，设计了一套系统的实验方案，涵盖非智能体方法、LLM/VLM智能体、基线对比及多种诊断分析。具体实验内容如下： —- ### 1. 总体实验设置 - **被测方法**： - **4种非智能体3D编辑方法**：PartFlow

193
、Nano3D
216
、3DEditFormer
199
、VoxHammer
98
（均使用官方发布的代码与权重）。 - **6种LLM/VLM智能体**：GLM 5.3 Flash、DeepSeek V4.1 Flash、Sol 6、Astra、Fable 5.1、Opus 5.5。 - **2种参考基线**：No-op 基线（每轮返回初始对象 S0 ）与 TRELLIS Regeneration 基线（每轮仅从目标渲染图独立重建）。 - **评估协议**：所有方法均在 **self-rollout** 设定下测试，即第 k 轮的输入为该方法第 k-1 轮的输出 S(k-1) 。每轮提供当前网格、文本指令、固定视角目标渲染图（VoxHammer 额外提供 ground-truth 编辑掩码）。 - **数据集**：主实验在 EditHero 全部 **457 条链、2755 轮**上进行；与智能体对比时，在经人工筛选的 **55 条链（416 轮）比较子集**上进行。 - **度量指标**：采用论文提出的区域化指标，包括编辑区 **Instruction Following（IF）**、未编辑区 **Content Consistency（CCprev / CC0）**，以及 3D（IoU、F-score、Chamfer Distance）与 2D（LPIPS、PSNR、SSIM、DINOv2 余弦相似度）指标。 —- ### 2. 非智能体方法主实验（表 2、图 4） - **全对象指标的失效验证**：实验显示，在整体对象上，No-op 基线在 F-score、LPIPS 和 PSNR 上优于所有非智能体方法。这说明“直接返回输入”因只改变极小部分而得分虚高，证明必须分区域评估。 - **编辑区表现（IF）**：非智能体方法的 IF 整体偏低（0.12–0.32），且在第一轮就已不足（0.24–0.36），说明它们**从首轮就开始遗漏请求的变更**。Nano3D 与 VoxHammer 的 IF 相对较高（0.31 / 0.32），但 VoxHammer 的未编辑区 IoU 仅为 0.71，远低于 Nano3D 的 0.89。 - **错误累积与漂移**：沿链长观察（图 4a、b），IF 持续低迷，且所有方法的 **CC0（相对初始对象的保留度）逐轮下降**。例如从第 1 轮到第 7 轮，各方法的 CC0 从 0.60–0.78 降至 0.33–0.67。这表明整体再生策略在 self-rollout 下会导致未编辑区域持续劣化。 —- ### 3. 与 LLM/VLM 智能体的对比实验（表 3、图 5） - **核心优势验证**：在 55 链比较子集上，所有 6 个 LLM/VLM 智能体的未编辑区保留显著优于非智能体方法（ CC^(prev) 达 **0.95–0.98**，而非智能体最高仅 0.90）。除 GLM 5.3 Flash 外，其余智能体的 IF（最高 **0.62**，Opus 5.5）也全面优于非智能体（最高 0.36）。 - **操作级精度**：智能体的 `remove` 操作表现极佳（IF 0.88–0.99），但 `add` 与 `replace` 因需从零用代码构建新几何，IF 仍有挑战（分别为 0.10–0.49 与 0.17–0.52）。 - **全对象感知质量**：所有智能体在整体 LPIPS 上均击败 No-op 基线（0.065–0.136 vs. 0.154），说明它们确实改进了对象，而非“什么都不做”。 - **速度瓶颈**：记录每轮的中位耗时，非智能体方法仅需 **20–50 秒**（本地 H100），而 LLM 智能体需 **1.5–6 分钟**（中位数），且每轮涉及 6–16 次模型调用（表 12）。 - **定性对比**（图 5）：以“覆盖马车连续 6 次替换”为例，非智能体方法的颜色与几何均发生非指令要求的漂移（如车身变色、顶盖错误保留），而 LLM 智能体的误差基本局限于被指定的顶盖区域。 —- ### 4. 操作类型与材质编辑细分分析 - **按操作分解**（图 8）：统计四种操作（add / remove / replace / retexture）下的 IF 与 CCprev。`retexture` 无几何 IF 定义；`remove` 的 IF 普遍最高；`add` 与 `replace` 的 IF 较低，是主要难点。 - **材质编辑评估**（附录 I，表 11）：因几何指标无法捕捉材质变化，论文在 `retexture` 轮次中，于 ground-truth 像素变化区域内比较图像差异。结果显示，PartFlow、3DEditFormer、VoxHammer 能产生接近目标的变化幅值（0.68–0.98 倍），但误差常扩散至未命名区域；Nano3D 因被路由到 `replace` 模式，变化幅度仅 0.31 倍，且其输出与“不编辑”的前一帧距离接近。 —- ### 5. 错误来源诊断实验（附录 H，图 4c）为区分“后续指令本身更难”与“前序错误继承导致更难”，论文对 Nano3D 与 3DEditFormer 进行了 **Reset 诊断**： - **Self-rollout**：第 k 轮输入为 S(k-1) 。 - **Ground-truth 输入**：第 k 轮输入改为 ground-truth S(k-1) （仍使用同样的指令与目标渲染图）。结果（表 10、图 4c）表明： - 使用 ground-truth 输入时，Nano3D 的 IoU 在第 5 轮保持 **0.68**（self-rollout 仅 0.52），3DEditFormer 从 0.36 回升至 **0.46**。 - IF 在 ground-truth 输入下同样显著提高（Nano3D 提升 0.06–0.08；3DEditFormer 提升 0.08–0.19）。这说明**大量性能衰减源于前序输出的误差继承**，而非后续指令本身更困难。 —- ### 6. 链长与最终状态分析（表 9）论文按链长分组（3 轮、4–6 轮、7–10 轮、11–30 轮），比较每条链**首轮与末轮**的 IoU 与 CC0： - 所有非智能体方法从首轮到末轮的 IoU 与 CC0 均下降，且链越长下降越剧烈。例如 PartFlow 在 3 轮链上 IoU 下降 0.10，在 11+ 轮链上下降 0.20；VoxHammer 的 CC0 在短链上下降 0.11，在长链上下降 0.38。 - No-op 基线的末轮 IoU 同样随链长下降（因目标远离初始状态），但非智能体方法**在所有长度组中均未能在末轮 IoU 上超越 No-op 基线**。 —- ### 7. 多视角与扩展指标（附录 K、L） - **条件视角与 held-out 视角**（表 15、16）：将 4 个固定视角拆分为 1 个条件视角（提供目标渲染图）与 3 个 held-out 视角。结果显示，多数方法在条件视角略优，但排序基本一致，说明平均 4 视角不会系统性偏袒某方法。 - **扩展几何与图像指标**（表 13、14）：补充了 Chamfer Distance、HD95、Normal Consistency、F-score（阈值 τ=0.01, 0.02 ）、 silhouette IoU、DINOv2 特征相似度等。在非编辑区域（untouched region），No-op 的 HD95 为 0.009，而非智能体方法高达 3–8 倍，再次验证其漂移。 —- ### 8. 执行覆盖率与失败模式（表 5） - **覆盖率**：PartFlow、3DEditFormer 完成全部 457 链；Nano3D 因无材质模式，经路由适配后仅失败 2 链；VoxHammer 因产生空稀疏结构，在 39 链上失败，仅完成 418/457 链。 - **智能体覆盖率**：在 55 链比较子集上，所有 LLM/VLM 智能体均交付了每轮的网格（完成率 100%）。 —- 综上，实验体系从**定量指标、定性可视化、操作分解、错误溯源、视角泛化、计算成本**六个维度，系统论证了：现有整体再生式编辑方法在长程迭代中不可靠，而基于代码的智能体虽在保真与指令遵循上占优，却受限于速度。这为后续“兼具速度与精度的混合式编辑”研究指明了方向。 Q5: 有什么可以进一步探索的点？基于论文的实验发现与讨论，以下方向具有显著的研究价值： —- ### 1. 混合式编辑架构：融合 Agent 精度与传统方法速度论文结论明确指出，这是一个核心开放问题：**如何将 Agent 自下而上的局部编辑能力（高保真、高指令遵循率）与非智能体方法基于潜空间推理的速度（秒级）相结合**。可能的探索包括： - 让 LLM/VLM Agent **生成编辑掩码或潜空间引导条件**（如 ControlNet 式的空间控制），而非直接输出代码网格，从而利用原生 3D 扩散模型快速生成新部件。 - 构建可微分的**部件级潜空间接口**，使 Agent 能在语义层面规划操作，而几何生成仍由前馈网络完成。 —- ### 2. 提升程序化几何生成的质量当前 LLM Agent 在执行 `add` 与 `replace` 操作时，由于需从零用代码（如 Three.js/Blender 脚本）构建新几何，往往难以匹配目标的精确尺寸与形状（IF 仅 0.10–0.49）。未来可探索： - **外部部件库检索 + Agent 微调**：允许 Agent 在受控条件下检索与检索验证，而非纯代码生成，或训练专门的部件检索-适配模型。 - **神经符号几何生成**：结合参数化 CAD 生成（如 CSG/SDF）与大语言模型，提升代码生成几何的复杂度和准确性。 —- ### 3. 自动化与可扩展的基准构建管线 EditHero 目前依赖**人工审核**修正引擎生成的链条（如校正位姿、依赖关系与指令描述）。后续研究可致力于： - 引入**更强的 VLM 验证器与物理/几何约束求解器**，将人工审核环节自动化，从而将基准规模从数百扩展至数万条链。 - 支持**动态拓扑变化与更细粒度的槽位系统**（如子部件的递归编辑），突破当前固定层级 slot 的限制。 —- ### 4. 材质编辑的专用评估与算法现有 IF 指标对 `retexture` 操作未定义（因其不改变体素几何），且 Nano3D 等方法在材质轮次被降级为 `replace` 模式。这提示： - 需设计**解耦几何-外观的评估指标**，例如基于 BRDF/材质 latent 的相似度，而非仅依赖渲染像素差异。 - 开发**原生材质/纹理编辑算法**，支持在保持 UV 与拓扑不变的前提下，通过文本或图像指令精确重绘 PBR 材质。 —- ### 5. 长程依赖与隐式状态跟踪论文提到指令可能引用早期编辑（如“移除几轮前添加的帽子”），但当前方法缺乏显式状态记忆。未来可研究： - **显式部件图（part graph）记忆模块**：让 Agent 或非智能体方法维护一个可查询的“已构建部件历史数据库”，解决跨多轮的指代消解与依赖追踪。 - **抗漂移的锚点机制**：借鉴 2D 多轮编辑中的因果记忆（causal memory）思想，在 3D 潜空间中引入编辑锚点，防止未修改区域随链长累积误差。 —- ### 6. 多模态指令与交互式编辑当前基准主要依赖**文本指令 + 单视角目标渲染图**。可扩展至： - **草图、3D 涂鸦、部分点云或拖动手柄（drag handles）**作为附加或替代条件，降低用户精确描述部件的难度。 - **对话式“氛围建模”（vibe modeling）**：支持模糊、迭代细化的自然语言对话，而非原子化的一次性指令，这要求模型具备主动澄清与建议的能力。 —- ### 7. 从对象编辑迈向场景级与结构感知编辑 EditHero 聚焦于部件级对象编辑。向更复杂场景延伸时： - 需处理**遮挡、尺度差异与光照一致性**，例如在室内场景中添加家具并确保其与周围物体的物理合理性。 - 探索**关节体与功能性部件**的编辑（如铰链、轮子），保持运动学约束的同时进行替换或重纹理。 —- ### 8. 实时性与用户研究论文指出 Agent 方法单轮耗时分钟级，难以满足交互式工作流。未来工作包括： - 通过**模型蒸馏、工具调用缓存或专用小模型**加速 Agent 的代码-渲染-验证循环。 - 开展**用户研究**，量化人类艺术家对“保真度-速度”权衡的偏好，以及在实际生产管线中对不同错误类型（几何漂移 vs. 语义错误）的容忍度。 Q6: 总结一下论文的主要内容该论文针对**长程迭代式3D资产编辑**的评估空白，提出了基准测试框架 EditHero，并系统对比了非智能体生成方法与基于 LLM/VLM 的智能体编辑方法。以下是主要内容概括： —- ### 1. 研究背景与问题现有文本/图像引导的 3D 编辑方法通常在**单次编辑、干净源对象**的设定下评估。然而，真实艺术和游戏管线中的资产往往经历**多轮 successive revisions**：每一轮需精确执行当前指令，同时**完整保留此前所有未修改部分**。近期兴起的 “vibe modeling” 进一步要求通过自然语言对话迭代塑造 3D 资产。现有数据集缺乏逐轮精确参考，无法衡量方法在编辑自身输出时是否丢失历史更改或引入漂移。 —- ### 2. EditHero 基准为填补上述空白，论文构建了 EditHero——据作者所知首个面向**长程、部件级 3D 编辑**的基准： - **确定性装配引擎**：定义四种原子操作——`add`、`remove`、`replace`、`retexture`。引擎从部件库（PartVerse-XL、Objaverse-XL 等）检索候选部件，经几何与语义筛选后，以 JSON 日志记录每轮操作。凭借日志与部件库，可**精确重建任意轮次**的完整 3D 状态。 - **人工审核**：逐轮检查渲染图，修正部件语义、位姿、尺度、指令歧义及依赖错误，并重构建受影响状态。 - **规模**：包含 **457 条编辑链、2755 次编辑、252 个宿主对象**，链长 3 至 30 轮，涵盖仅几何、仅材质、混合操作等 6 大家族。 —- ### 3. 评估协议与指标论文设计了严格的 **self-rollout** 协议：第 k 轮的输入必须是该方法自己在第 k-1 轮的输出，而非 ground-truth 状态。为克服传统全对象指标（如 F-score、PSNR）在长程编辑中的失效（直接返回输入即可得高分），提出**区域化、与自身历史对比**的指标： - **Instruction Following（IF）**：在编辑区内，衡量输出相对于**自身上一轮输出**仍需要完成的变更比例，防止对历史错误进行重复计分。 - **Content Consistency（CC）**：在未编辑区内，通过 CC^(prev) （与自身上一轮的 IoU）和 CC^(0) （与初始宿主的 IoU）衡量保真度，考察当前轮是否扰动了不应修改的区域，以及整条链的漂移累积。 —- ### 4. 核心实验发现论文对比了 **4 种非智能体方法**（PartFlow、Nano3D、3DEditFormer、VoxHammer）与 **6 种 LLM/VLM 智能体**（GLM 5.3 Flash、DeepSeek V4.1、Sol 6、Astra、Fable 5.1、Opus 5.5）： - **非智能体方法（自上而下整体再生）**： - 从首轮起即频繁遗漏请求的编辑（IF 仅 0.12–0.32）。 - 未编辑区域随链长持续漂移（第 7 轮时 CC^(0) 降至 0.33–0.67）。 - Reset 诊断表明，性能衰减主要由**前序误差继承**导致，而非后续指令本身更困难。 - **LLM/VLM 智能体（自下而上代码编辑）**： - 所有智能体在未编辑区的保留显著优于非智能体（ CC^(prev) 达 0.95–0.98），且多数指令遵循率更高（Opus 5.5 的 IF 达 0.62）。 - 智能体通过代码仅修改被命名部件，在构造上保证其余部分 untouched。 - 主要瓶颈是**速度**：单轮编辑需 1.5–6 分钟及多次模型调用，而非智能体方法仅需 20–50 秒。 —- ### 5. 结论与开放方向论文的贡献可概括为三方面：**确定性数据合成引擎**、**长程部件级编辑基准**、以及**区域化的自滚动评估框架**。核心结论是：基于 LLM/VLM 的 Agent 编辑在保真度和指令遵循上展现出结构性优势，更适合迭代式资产生产；但其速度仍难以满足交互需求。如何将 Agent 的局部精确性与传统前馈方法的速度相结合，是未来亟待解决的关键问题。论文已开源引擎与编辑链以支持后续研究。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ruihan Yu, Yu-Ju Tsai, Muyao Niu, Runyi Li, Lian Fu, Hanqing Liu, Zheng-Hui Huang, Yonghao Yu, Sho Kuno, Ming-Hsuan Yang, Kaipeng Zhang, Zhixiang Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02298.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02298

Published: 2026-10-06T03:20:52.220Z

2. DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents

Abstract:Computer-use agents need to reliably ground action targets in complex desktop scenes, where multiple applications, overlapping windows, and visually similar controls compete for attention. Existing training data rarely pair such scenes with dense annotations or vary them in a controlled way. We introduce DeskForge, a controllable desktop environment that composes and explores real applications to generate large-scale supervision for computer-use agents. It varies application states, content, window layout, appearance, and resolution, and fuses screenshots, accessibility trees, and window geometry into dense element annotations while recording the outcome of each executed action. Using this environment, we construct DeskForge-1M, a corpus of 1.2M annotated desktop observations containing 159.7M element instances. We fine-tune four vision-language models on 200K grounding examples drawn from DeskForge-1M. All four improve across held-out desktop conditions and on all five external GUI grounding benchmarks; for Qwen3.5-4B, accuracy increases by 11.51 percentage points on ScreenSpot-Pro and 10.11 points on OSWorld-G. The gains also translate to long-horizon task completion: under a fixed planner, the fine-tuned action models solve more WebArena-Infinity and OpenApps tasks, with Qwen3.5-4B increasing from 31 to 50 of 119 tasks and from 3 to 15 of 100 tasks, respectively. These results show that controllable composition of real desktop environments provides a scalable source of supervision for improving both GUI grounding and long-horizon computer use. The framework code, the dataset, and the fine-tuned model are available from the project page: this https URL

中文摘要

摘要：计算机使用代理需要在复杂的桌面场景中可靠地定位操作目标，这些场景中多个应用程序、重叠窗口以及视觉上相似的控件会争夺注意力。现有的训练数据很少将此类场景与密集注释配对，或以受控方式对其进行变化。我们引入了DeskForge，这是一个可控的桌面环境，它通过组合和探索真实应用程序，为计算机使用代理生成大规模监督数据。它会变化应用状态、内容、窗口布局、外观和分辨率，并将屏幕截图、辅助性树和窗口几何融合为密集元素注释，同时记录每个执行操作的结果。利用该环境，我们构建了DeskForge-1M，这是一个包含1.2M注释桌面观察的语料库，包含159.7M元素实例。我们在从DeskForge-1M抽取的200K定位示例上微调了四个视觉-语言模型。四个模型在分离的桌面条件和所有五个外部GUI定位基准上均有所提升；对于Qwen3.5-4B，在ScreenSpot-Pro上准确率提高了11.51个百分点，在OSWorld-G上提高了10.11个百分点。这些提升同样反映在长时任务完成能力上：在固定规划器下，微调后的操作模型完成更多WebArena-Infinity和OpenApps任务，Qwen3.5-4B分别从119个任务中的31个提升到50个，从100个任务中的3个提升到15个。这些结果表明，真实桌面环境的可控组合为提升GUI定位和长时计算机使用能力提供了一种可扩展的监督来源。框架代码、数据集和微调模型可在项目页面获取：此https URL

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决计算机使用代理（computer-use agents）在复杂桌面环境中进行视觉目标定位（GUI grounding）时面临的数据稀缺性与场景复杂性挑战。具体而言，论文聚焦于以下核心问题： - \*\*复杂桌面场景中的可靠动作定位\*\*：桌面界面具有高度的组合性，多个应用程序窗口、对话框与系统控件共存于同一屏幕。代理必须在此类密集视觉上下文中，从相似元素与跨应用干扰物中辨识出正确的交互目标，同时应对窗口重叠、部分遮挡及多分辨率变化等情况。 - \*\*现有训练数据的关键缺陷\*\*：当前用于训练计算机使用代理的数据资源存在显著局限。静态截图语料库无法对已记录场景进行系统化的受控变化（如调整窗口布局、外观主题或显示分辨率）；多数数据集仅提供孤立应用程序或单一目标的稀疏标注，缺乏对完整多应用桌面场景的密集元素级标注；现有的可执行交互环境主要面向任务评估设计，并未提供用于学习的密集屏幕结构标注。 - \*\*可控大规模监督数据的生成\*\*：为提升代理对未见桌面配置的泛化能力，亟需一种能够系统性地变化应用状态、内容、窗口布局、视觉外观及显示分辨率，并同步融合屏幕截图、可访问性树与窗口几何信息，进而生成包含元素类别、文本、可见性、交互属性及动作执行结果的密集标注与状态转移记录的数据生成机制。为应对上述问题，论文提出了 \*\*DeskForge\*\*——一个可控的桌面环境，以及由此构建的 \*\*DeskForge-1M\*\* 数据集。该框架通过组合并探索真实运行的应用程序，生成包含 120 万张密集标注桌面观测与 1.597 亿个元素实例的大规模监督数据，从而改善视觉语言模型在 GUI 定位与长程任务执行中的性能。 Q2: 有哪些相关研究？根据论文第2节（Related Work）的梳理，相关研究可归纳为以下四个方向，每个方向均包含代表性工作与它们同 DeskForge 的核心差异： ### 1. 结构化屏幕监督（Structured screen supervision）此类工作致力于将截图与界面结构信息配对，以支持视觉定位与解析。 - \*\*Rico\*\*（Deka et al., 2017）与 \*\*WebUI\*\*（Wu et al., 2023）：分别将移动应用截图与视图层次结构、网页截图与页面元数据配对。 - \*\*Pix2Struct\*\*（Lee et al., 2023）：通过掩码截图预训练，预测简化的 HTML 结构。 - \*\*ScreenParse\*\*（Gurbuz et al., 2026）：提供密集的网页屏幕标注，并引入 \*\*ScreenTag\*\* 序列化表示（DeskForge 亦采用该表示）。 - \*\*GroundCUA\*\*（Feizi et al., 2026）：为专家桌面工作流提供经过人工验证的密集标注。 \*\*与 DeskForge 的区别\*\*：上述资源通常只标注单个网页、移动屏幕或孤立应用，缺乏对\*\*多应用共存的完整桌面场景\*\*的密集标注。 --- ### 2. 自动化采集与界面合成（Automated collection and interface synthesis）此类研究通过自动化管道或合成界面来扩展数据规模与多样性。 - \*\*SeeClick\*\*（Cheng et al., 2024）、\*\*OS-Atlas\*\*（Wu et al., 2025）、\*\*ScaleCUA\*\*（Liu et al., 2026b）等：通过自动化 pipeline 扩展界面覆盖范围。 - \*\*UGround\*\*（Gou et al., 2025）：基于网页结构与视觉内容合成指代表达（referring expressions）。 - \*\*Jedi\*\*（Xie et al., 2025）：将 UI 分解与合成及增强相结合。 - \*\*MolmoPoint-GUISyn\*\*（AI2, 2026）：渲染生成的 HTML 界面以获取监督数据。 - \*\*GUIrilla\*\*（Garkot et al., 2025）：利用原生可访问性 API 探索运行中的应用以构建状态-动作图，但\*\*逐个处理每个应用\*\*。 \*\*与 DeskForge 的区别\*\*：DeskForge 不是在单个应用或合成网页内操作，而是在\*\*共享的桌面场景中组合多个真实应用\*\*，并系统性地变化它们的联合布局与周围上下文。 --- ### 3. 可控环境与桌面组合（Controllable environments and desktop composition）此类环境支持任务执行，并允许对界面状态进行一定程度的控制。 - \*\*WebArena\*\*（Zhou et al., 2024）与 \*\*OSWorld\*\*（Xie et al., 2024）：将界面动作与任务级结果相连的可执行环境。 - \*\*OpenApps\*\*（Ullrich et al., 2026）：通过改变应用外观和内容来研究 UI 代理的可靠性。 - \*\*CUA-Gym\*\*（Wang et al., 2026a）与 \*\*WebArena-Infinity\*\*（Zhou, 2026）：构建环境状态或应用组合，并配套任务与验证器。 - \*\*WinDeskGround\*\*（Zhao et al., 2026）：通过组合捕获的窗口图像来变化布局、遮挡与干扰，用于定位评估；但其组合是\*\*静态的\*\*，无法执行后续动作。 \*\*与 DeskForge 的区别\*\*：DeskForge 在\*\*真实运行的桌面内部\*\*完成组合与交互，同步收集密集结构化标注以及可观察的点击执行结果，而不仅限于任务评估或静态布局变化。 --- ### 4. 交互数据与转移监督（Interaction data and transition supervision）此类工作关注将屏幕观察与任务导向的行为或状态转移相关联。 - \*\*Mind2Web\*\*（Deng et al., 2023）与 \*\*AgentNet\*\*：提供人工演示轨迹。 - \*\*VideoCUA\*\*（Jian et al., 2026，属于 CUA-Suite）：保留连续的专家交互视频记录。 - \*\*GUI-360\*\*（Mu et al., 2025）：通过自动化任务执行收集轨迹，保留截图与可访问性元数据。 - \*\*OS-Genesis\*\*（Sun et al., 2025）：采用“先探索、后回顾性推导任务”的策略。 \*\*与 DeskForge 的区别\*\*：DeskForge 同样采用\*\*交互优先（interaction-first）\*\*的策略，从记录的点击与前后观察中构建单步自然语言定位指令；同时，它保留了\*\*状态转移记录\*\* (S_t, a_t, S_(t+1)) ，可支持正向/逆向动力学学习等更广泛的训练目标。 --- ### 5. 其他常被对比的 GUI 资源论文表 1 还列举了以下公开资源进行能力对比： - \*\*UGround\*\*、\*\*OS-Atlas\*\*、\*\*ScaleCUA\*\*：大规模 grounding 数据集，但缺乏密集全屏标注或多应用场景。 - \*\*AgentNet\*\*：包含人机演示，但无密集元素标注。 - \*\*WinDeskGround\*\*：支持多应用静态组合与可见性几何，但无可执行交互与状态转移记录。简言之，现有工作各自提供了部分能力（密集标注、多应用场景、可控环境、可见性几何、转移记录），而 \*\*DeskForge 是首个将这些能力整合于一体的框架\*\*。 Q3: 论文如何解决这个问题？论文通过构建一个\*\*可控的桌面生成环境 DeskForge\*\*及其衍生的\*\*大规模密集标注数据集 DeskForge-1M\*\*，系统性地解决了复杂桌面场景中计算机使用代理缺乏可控、密集、结构化监督数据的问题。其核心方法论可分为以下四个层面： --- ### 1. 核心思想：生成式桌面监督与被动录制现有屏幕不同，论文提出\*\*主动生成桌面场景\*\*而非仅仅记录它们。通过在隔离的 Linux 桌面会话中\*\*可控地组合真实运行的应用程序\*\*，每一帧屏幕都被同步捕获，并关联其完整的界面结构、窗口布局以及每一次交互动作的执行结果。这种方法使得导致桌面定位困难的关键因素——如窗口重叠、多应用共存、视觉相似控件干扰、分辨率与主题变化——能够被\*\*有意识地系统变化\*\*，从而规模化生成带有密集标注的训练数据。 --- ### 2. DeskForge 可控桌面环境的构建 #### (a) 场景组合与视觉多样性每个桌面场景由\*\*场景规格（scene specification）\*\*定义，通过采样权重和布局约束控制以下维度： - \*\*应用选择与初始状态\*\*：从 19 个真实应用中选取，并配置其启动状态与预置内容； - \*\*窗口布局与堆叠\*\*：定义多窗口的空间排布与层级关系，制造竞争性的视觉上下文和部分遮挡； - \*\*内容可配置性\*\*：同一应用在不同场景中呈现不同数据，扩展内容多样性； - \*\*外观与分辨率\*\*：集成 7 种视觉预设（涵盖类 Ubuntu、类 Windows、类 macOS 的亮色/暗色主题）和 7 种显示分辨率（从 1366 × 768 到 3840 × 2160 ），通过社区开发的主题、图标集与窗口装饰资产直接配置运行中的应用工具包。 #### (b) 密集结构化标注流程标注管线融合了三类原始观察——\*\*屏幕截图\*\*、\*\*可访问性树（accessibility trees）\*\*与\*\*窗口几何信息\*\*——以解决单一数据源的不完整性： - \*\*几何精修与遮挡解析\*\*：通过祖先容器裁剪、视口限制与重叠窗口计算，确定每个元素的实际可见区域。对于被部分覆盖的元素，其可见支撑被表示为\*\*若干轴对齐矩形的并集\*\*（union of rectangles），保留控件暴露的部分，而非将其整个外接矩形视为有效点击区域。 - \*\*像素级文本验证\*\*：通过字符几何与像素检查，区分屏幕上实际渲染的文本与可访问性 API 报告的语义名称（例如未标注图标可能带有可访问性名称，但屏幕上并未绘制对应文字），避免将不可见的语义标签误作视觉文本。 - \*\*层级与所有权恢复\*\*：保留元素间的父子结构、阅读顺序、所属应用与窗口、堆叠索引；同时从窗口几何中恢复那些未被可访问性树收录的系统控件。 - \*\*质量审计\*\*：自动审计排除存在不一致或稀疏标注的捕获（约占 4.7% ），并通过人工审计确认 99.8% 的采样元素标注正确。最终输出包含元素类型、可见文本、完整几何范围、可见片段、遮挡状态、交互属性（如是否可点击、已启用、已选中）及 \*\*ScreenTag\*\* 序列化表示。 #### (c) 交互记录与指令构建 DeskForge 通过采样可交互元素执行点击来探索场景，记录每一次转移 (S_t, a_t, S_(t+1)) ，其中包含： - 执行动作前后的屏幕观察； - 点击坐标与目标元数据； - 元素级别的变化（出现、消失、移动、文本/状态变更、被遮挡/被揭示）及聚合效应摘要。为将原始交互转化为自然语言定位监督，论文使用视觉语言模型（Qwen3.6-27B）基于\*\*前后观察\*\*与\*\*目标上下文\*\*合成单步指令。该过程生成三种风格的指令（简洁、标准、详细上下文），并经过精修与过滤，确保： - 指令描述的目标\*\*仅通过前序截图即可唯一识别\*\*； - 不包含坐标、像素位置或标注标记； - 反映用户意图而非底层操作原语。 --- ### 3. DeskForge-1M 数据集的构建与划分基于上述环境，论文构建了 DeskForge-1M 数据集，其规模与特性包括： - \*\*120 万张\*\*密集标注桌面观察； - \*\*1.597 亿个\*\*元素实例（平均每屏 132 个元素）； - \*\*91.7 万条\*\*记录的点击转移； - 覆盖 19 个应用、7 种外观预设、7 种分辨率。为评估泛化能力，论文采用\*\*场景级划分（scene-level splits）\*\*，确保同一场景的所有帧与交互记录被严格划分到同一集合： - \*\*New Scenes\*\*：未见过的场景实例，但属性在训练中出现； - \*\*App\*\*：包含训练时\*\*未出现过的应用\*\*（GNOME System Monitor, Pluma, Xarchiver）； - \*\*Theme\*\*：保留训练时未见的 \*\*Quartz Night Nord\*\* 外观预设； - \*\*Resolution\*\*：保留训练时未见的 \*\* 2880 × 1800 \*\* 分辨率。 --- ### 4. 下游验证：从单步定位到长程任务执行论文进一步验证了该监督数据的实用价值： - \*\*视觉语言模型微调\*\*：从 DeskForge-1M 中抽取 20 万个单目标定位示例，对 Qwen3.5-4B、Gemma4-E4B、InternVL3.5-8B 和 UI-R1-3B 进行 LoRA 微调。结果在全部四个保留测试条件及五个外部 GUI 定位基准上均取得提升。 - \*\*全屏元素检测\*\*：利用密集标注微调 RT-DETRv4-L 检测器，在跨数据集评估（GroundCUA）上超越了 OmniParser v2 和 ScreenParse YOLO11L，证明密集桌面监督可支持完整的屏幕解析。 - \*\*长程任务完成\*\*：在固定规划器（Qwen3.6-27B）的条件下，仅替换动作模型为微调后的权重，即可在 WebArena-Infinity 和 OpenApps 长程任务集上显著提升任务完成数量，建立了\*\*单步定位监督与多步任务执行能力\*\*之间的直接联系。综上，论文通过\*\*可控环境生成\*\*、\*\*多源信息融合的密集标注\*\*、\*\*交互转移记录\*\*以及\*\*场景级泛化评估\*\*，为计算机使用代理提供了一种可扩展的、结构化的桌面监督数据来源。 Q4: 论文做了哪些实验？论文围绕 DeskForge-1M 数据集进行了系统的实验验证，涵盖\*\*保留条件定位\*\*、\*\*外部基准迁移\*\*、\*\*长程任务执行\*\*及\*\*密集元素检测\*\*四个层面，并在附录中提供了多项补充分析。具体实验内容如下： --- ### 1. 保留桌面条件下的单步定位（Grounding）实验在 DeskForge-1M 的四个\*\*场景级保留划分\*\*上评估微调后的视觉语言模型（VLM），验证其泛化能力。 - \*\*实验设置\*\*：使用 20 万个单目标定位样本，对 Qwen3.5-4B、Gemma4-E4B、InternVL3.5-8B 和 GUI 专用模型 UI-R1-3B 进行 LoRA 微调。每对基础/微调模型采用\*\*完全相同的推理协议\*\*（提示词、图像预处理、解码参数与评分方式），以确保增益 solely 来自数据。 - \*\*评估条件\*\*： - \*\*New Scenes\*\*：未见场景，但应用、主题、分辨率均在训练中出现过； - \*\*Theme\*\*：保留的 \*\*Quartz Night Nord\*\* 外观预设； - \*\*App\*\*：包含训练时未见过的 3 个应用（GNOME System Monitor、Pluma、Xarchiver）； - \*\*Resolution\*\*：保留的 \*\* 2880 × 1800 \*\* 分辨率。 - \*\*主要结果\*\*： - 所有四个模型在\*\*全部四个保留条件\*\*上均实现一致提升。 - Qwen3.5-4B 的平均准确率从 76.26% 提升至 87.54% ；UI-R1-3B 从 38.01% 提升至 84.59% 。 - 与多个公开 SOTA 模型（如 UI-Venus-2-9B、UI-TARS-1.5-7B、GroundNext-7B 等）相比，微调后的轻量级模型（如 Qwen3.5-4B）在多数条件上达到或超越其性能。 --- ### 2. 外部 GUI 定位基准的迁移实验检验 DeskForge-1M 生成的监督数据是否\*\*超出其自身环境\*\*，迁移到涵盖不同平台（Windows、macOS、Linux、移动端、Web）与专业应用的真实世界 GUI 基准。 - \*\*评估基准\*\*：ScreenSpot-Pro、ScreenSpot-v2、OSWorld-G、UI-Vision、MMBench-GUI。 - \*\*主要结果\*\*： - \*\*全部四个模型在全部五个外部基准上均获得提升\*\*，无一例下降。 - Qwen3.5-4B 在 ScreenSpot-Pro 上提升 \*\*11.51\*\* 个百分点，在 OSWorld-G 上提升 \*\*10.11\*\* 个百分点；Gemma4-E4B 在五个基准上的平均提升高达 \*\*24.9\*\* 个百分点。 - 即使对于已经过 GUI 专门化预训练的 UI-R1-3B，微调后在 ScreenSpot-Pro 上仍从 14.48% 提升至 27.20% ，证明 DeskForge-1M 对专用模型仍具补充价值。 - \*\*补充分析\*\*（附录 E.1）：对 ScreenSpot-v2 按 \*\*desktop / mobile / web\*\* 三类界面领域进行细分。结果显示，Qwen 与 UI-R1 在 desktop 领域增益最大（分别为 +14.37 和 +5.69 点），但在 mobile 和 web 上也有正向迁移，尽管 DeskForge-1M 本身不包含移动屏幕。 --- ### 3. 长程任务完成实验（固定 Planner）评估单步定位监督是否能改善\*\*多步交互任务\*\*的实际执行成功率。 - \*\*实验设置\*\*：固定一个 \*\*Qwen3.6-27B\*\* 作为高层规划器（planner），负责决定动作类型、文本输入与坐标无关的目标描述；仅替换负责预测屏幕坐标的 \*\*action model\*\* 权重。在以下两个环境进行测试： - \*\*WebArena-Infinity\*\*：自定义 119 个浏览器任务面板； - \*\*OpenApps\*\*：100 个长程任务（longer-horizon set）。 - \*\*主要结果\*\*： - 所有四个微调后的 action model 在\*\*两个环境中均解决了更多任务\*\*。 - Qwen3.5-4B：WebArena-Infinity 从解决 31 个任务提升至 \*\*50\*\* 个；OpenApps 从 3 个提升至 \*\*15\*\* 个。 - Gemma4-E4B：在 WebArena-Infinity 上从 5 个大幅提升至 \*\*40\*\* 个任务。 - \*\*定性分析\*\*（附录 E.5）：通过对比 base 与微调模型在相同任务上的完整轨迹（Figures 9–10），发现定位错误常导致点击无响应控件、误删相邻条目、输入错误字段或触发相邻的 Cancel 按钮；微调后的模型显著减少了此类连锁错误。 --- ### 4. 密集元素检测实验利用 DeskForge-1M 的\*\*全屏密集标注\*\*训练元素检测器，评估其在跨数据集屏幕解析中的效用。 - \*\*实验设置\*\*：微调 \*\*RT-DETRv4-L\*\* 检测器，与 \*\*OmniParser v2 检测器\*\*和 \*\*ScreenParse YOLO11L\*\* 在 \*\*GroundCUA\*\* 上进行跨数据集比较。 - \*\*评估指标\*\*： - \*\*Group F1\*\*：允许多个预测框通过空间并集覆盖同一元素（DetEval 风格的多对一准则）； - \*\*Center-hit F1\*\*：基于中心点落在真实框内的分配方式； - \*\*Mean best IoU\*\*：预测框与真实框的重叠质量。 - \*\*主要结果\*\*： - DeskForge 检测器在\*\*全部三项指标\*\*上均取得最优： - Group F1： 62.17% （OmniParser v2: 58.55% ；ScreenParse: 57.59% ） - Center-hit F1： 87.01% - Mean best IoU： 0.611 - \*\*可视化\*\*（附录 E.4，Figure 8）：在未参与训练的 GroundCUA 应用（Blender、Shotcut、OBS Studio）上，微调后的检测器仍能成功恢复工具栏按钮、菜单项、列表项及停靠控件。 --- ### 5. 鲁棒性与失败案例分析（附录 E） - \*\*场景组合与遮挡鲁棒性\*\*（附录 E.2，Figure 6）： - 随着屏幕上同时打开的应用数量从 1 个增至 4 个以上，微调后 Qwen 的准确率下降极缓，而 base 模型与公开最强参考模型 UI-Venus-2-9B 持续衰减；两者差距从 9.7 点扩大至 14.3 点。 - 随着目标可见面积损失（visible-area loss）增至 35% ，微调模型与 base 的差距从 10.9 点扩大至 13.7 点，表明密集桌面监督特别提升了模型在\*\*遮挡与拥挤场景\*\*下的定位鲁棒性。 - \*\*公共模型失败案例\*\*（附录 E.3，Figure 7）：展示了多个公开 checkpoints（UI-Venus、GUI-Owl、UI-MOPD 等）在保留集上集体失效的实例，错误通常表现为点击相邻控件或重叠窗口中的相似控件，而微调后的 Qwen3.5-4B 能正确命中目标。 Q5: 有什么可以进一步探索的点？基于论文第6节及全文讨论，可进一步探索的研究方向包括： --- ### 1. 平台与应用覆盖的扩展当前 DeskForge 的采集后端基于 Linux，且依赖能够提供可访问性树（accessibility tree）的应用程序。未来工作可从以下方面突破该限制： - \*\*更广泛的应用集成\*\*：将不具备完整可访问性支持的应用程序纳入环境，覆盖暴露较少结构信息的界面（如自定义绘制控件、游戏界面或专业创意工具）。 - \*\*原生跨平台后端\*\*：开发原生的 Windows 与 macOS 执行后端，使生成数据直接包含这些平台的原生视觉风格与交互语义，而非仅通过主题模拟。 - \*\*补充视觉标注机制\*\*：对于可访问性信息不完整或缺失的界面，引入纯视觉的检测与解析模块作为补充，以实现对低结构信息界面的密集监督。 --- ### 2. 从单步定位到结构感知与动态学习的联合训练现有实验主要利用 DeskForge-1M 进行\*\*单目标定位（single-target grounding）\*\*的监督微调。数据集本身保留了远超此用途的丰富信息，为以下扩展提供了自然基础： - \*\*界面结构联合学习\*\*：同时利用元素的层级关系、窗口所有权、阅读顺序与 ScreenTag 结构化表示，训练模型对屏幕进行整体解析，而非仅定位单一指令目标。 - \*\*状态转移与动力学建模\*\*：DeskForge-1M 记录了 917,211 条转移 (S_t, a_t, S_(t+1)) 。这些转移可用于学习\*\*正向动力学\*\*（预测动作后果）与\*\*逆向动力学\*\*（推断导致状态变化的动作），从而帮助代理建立对交互结果的因果理解，超越单纯的感知定位。 --- ### 3. 目标条件的长程任务与在线训练当前环境主要生成原子级交互与对应的定位监督，尚未涉及多步任务目标： - \*\*目标条件的多应用任务\*\*：构建需要跨应用协调的复杂任务（如在文件管理器与文本编辑器之间传递信息），并配套基于环境状态的自动验证器。 - \*\*长程代理的在线训练\*\*：将 DeskForge 从离线数据生成器扩展为\*\*可交互的训练环境\*\*，支持代理在 episodes 中持续探索、接收奖励并更新策略，从而直接用于长程计算机使用代理（long-horizon computer-use agents）的在线强化学习或模仿学习。 --- ### 4. 更复杂的动作空间与交互类型当前记录的交互以\*\*点击（click）\*\*为主。未来可系统性地扩展动作空间，以覆盖更丰富的桌面交互原语： - \*\*键盘输入、快捷键与组合键\*\*：虽然环境支持这些动作，但当前大规模采集与转移记录主要围绕鼠标点击展开。 - \*\*拖拽、滚动与多步手势\*\*：记录包含起始与终止坐标的拖拽序列，以及在不同窗口层级上的滚动操作。 - \*\*文本输入与表单交互\*\*：利用已捕获的文本输入框属性，生成涉及填写、编辑与提交表单的长程交互轨迹。 --- ### 5. 更高质量与更多样化的指令合成当前的自然语言指令由 Qwen3.6-27B 基于前后观察合成。指令质量仍有提升空间： - \*\*多轮指令精修与人工验证\*\*：引入人在回路（human-in-the-loop）或更强模型的迭代精修，进一步提高指令与视觉目标的一致性。 - \*\*跨语言与跨文化指令\*\*：生成非英语或多语言指令，以训练具备多语言 grounding 能力的代理。 - \*\*模糊与歧义指令的刻意生成\*\*：有意识地构造需要利用上下文消歧的指令，训练模型在复杂桌面场景中进行推理与消歧。 --- 这些方向共同指向一个更通用的目标：将 DeskForge 从一个\*\*大规模离线监督数据生成器\*\*，演进为一个支持\*\*多模态感知、动态预测与长程决策\*\*的完整训练与评估平台。 Q6: 总结一下论文的主要内容该论文提出了一种通过\*\*可控生成真实桌面环境\*\*来获取大规模密集监督数据的方法，以提升计算机使用代理（computer-use agents）在复杂桌面场景中的视觉定位与任务执行能力。 ## 核心问题计算机使用代理需在高度组合化的桌面环境中定位动作目标——多应用窗口重叠、视觉相似控件干扰、遮挡与分辨率变化等因素使该问题极具挑战。现有资源存在明显缺口：静态数据集无法系统变化场景，多数标注聚焦于孤立应用或单一目标，而可执行环境通常面向任务评估，缺乏密集的屏幕结构标注与交互结果记录。 ## 方法：DeskForge 环境与 DeskForge-1M 数据集 ### DeskForge 可控桌面环境论文构建了 \*\*DeskForge\*\*，一个在隔离 Linux 会话中运行的工作流程： - \*\*场景配置\*\*：通过场景规格（scene specification）控制应用选择、初始状态、预置内容、窗口布局与堆叠、外观主题（7 种预设，涵盖类 Ubuntu、类 Windows、类 macOS 风格）及显示分辨率（7 种，从 1366 × 768 到 3840 × 2160 ）。 - \*\*密集标注管线\*\*：融合屏幕截图、可访问性树（accessibility trees）与窗口几何信息，精修元素边界并解析遮挡。每个元素的可见区域表示为\*\*暴露片段的轴对齐矩形并集\*\*，同时记录类型、文本、层级、应用/窗口所有权及交互属性（可点击、已启用、已选中等等）。标注以 \*\*ScreenTag\*\* 序列化格式保留。 - \*\*交互记录\*\*：通过采样可交互元素执行点击，记录转移 (S_t, a_t, S_(t+1)) ，包含前后观察、目标元数据及元素级变化（出现、消失、移动、状态变更、遮挡/揭示）。 - \*\*指令合成\*\*：利用视觉语言模型从记录的点击与前后观察生成自然语言单步定位指令，经精修确保目标仅通过前序截图即可唯一识别。 ### DeskForge-1M 基于该环境生成的数据集规模如下： - \*\*120 万\*\*张密集标注桌面截图 - \*\*1.597 亿\*\*个元素实例（平均每屏 132 个元素） - \*\*91.7 万\*\*条记录的点击转移 - 覆盖 19 个真实应用、7 种外观预设、7 种分辨率数据集采用\*\*场景级划分\*\*，确保同一场景的所有帧与交互记录不泄露到训练集。测试条件包括：新场景（New Scenes）、未见应用（App）、未见外观主题（Theme）及未见分辨率（Resolution）。 ## 实验结果论文对四个视觉语言模型（Qwen3.5-4B、Gemma4-E4B、InternVL3.5-8B、GUI 专用模型 UI-R1-3B）进行 LoRA 微调，并开展三类评估： ### 1. 保留条件与外部基准定位 - 在 DeskForge-1M 的四个保留测试条件上，\*\*所有模型均一致提升\*\*。Qwen3.5-4B 的平均准确率从 76.26% 提升至 87.54% ；UI-R1-3B 从 38.01% 提升至 84.59% 。 - 在五个外部 GUI 定位基准（ScreenSpot-Pro、ScreenSpot-v2、OSWorld-G、UI-Vision、MMBench-GUI）上，\*\*所有模型在所有基准上均获得提升\*\*。Qwen3.5-4B 在 ScreenSpot-Pro 上提升 \*\*11.51\*\* 个百分点，在 OSWorld-G 上提升 \*\*10.11\*\* 个百分点。增益在桌面场景最困难时（多应用共存、目标严重遮挡）最为显著。 ### 2. 长程任务完成固定高层规划器（Qwen3.6-27B），仅替换负责预测坐标的 action model，在 WebArena-Infinity（119 任务）与 OpenApps（100 任务）上评估： - Qwen3.5-4B 的完成任务数从 31 提升至 \*\*50\*\*，从 3 提升至 \*\*15\*\*。 - Gemma4-E4B 在 WebArena-Infinity 上从 5 个提升至 \*\*40\*\* 个。 - 结果表明，单步定位监督可直接转化为多步任务执行能力的提升。 ### 3. 密集元素检测利用 DeskForge-1M 的全屏密集标注微调 \*\*RT-DETRv4-L\*\* 检测器，在跨数据集基准 GroundCUA 上： - Group F1 达到 62.17% ，优于 OmniParser v2（ 58.55% ）与 ScreenParse YOLO11L（ 57.59% ）。 - 证明密集桌面监督可支持完整的屏幕解析，并迁移到训练时未见过的专业应用（Blender、Shotcut、OBS Studio）。 ## 主要贡献 1. \*\*DeskForge\*\*：首个支持在运行中的真实桌面内组合多应用、系统变化视觉上下文，并同步收集密集结构化标注与交互转移的可控环境。 2. \*\*DeskForge-1M\*\*：一个包含 120 万观测、1.597 亿元素实例与 91.7 万转移的大规模密集标注桌面语料库，具备场景级泛化评估划分。 3. \*\*实证增益\*\*：证明该数据可提升通用与 GUI 专用视觉语言模型在保留条件、外部定位基准及长程任务中的性能，同时支持全屏元素检测。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 [**这里**](http://kimi.com/_prefill_chat?prefill_prompt=我们要讨论的论文是DeskForge%3A%20Dense%20Supervision%20from%20Desktop%20Environments%20for%20Computer-Use%20Agents，链接是https://arxiv.org/pdf/2610.02320，已有的FAQ链接是https://papers.cool/arxiv/kimi?paper=2610.02320。请以此为基础，继续回答我后面的问题。&system_prompt=你是一个学术助手，后面的对话将围绕着以下论文内容进行，已经通过链接给出了论文的PDF和论文已有的FAQ。用户将继续向你咨询论文的相关问题，请你作出专业的回答，不要出现第一人称，当涉及到分点回答时，鼓励你以markdown格式输出。&send_immediately=true) 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: A. Said Gurbuz, Ahmed Nassar, Sunghwan Hong, Marc Pollefeys, Peter W. J. Staar

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02320.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02320

Published: 2026-10-06T03:20:52.220Z

3. SCION: Scene Composition with Instanced Neural Primitives

Abstract:Real-world scenes are compositional: bricks, blades of grass, pebbles, and tree leaves recur across human-built and natural environments. Existing neural scene representations model these elements independently. Most 3D Gaussian Splatting and follow-up abstraction and compression methods treat each element as unique, fitting millions of independent Gaussians per scene. Prior methods like Splat and Replace fit template objects, but they require mostly manual selection of repeated elements. As a result, these representations store redundant parameters and provide weak manipulation handles for downstream tasks. We introduce SCION, a hierarchical compositional scene representation that replaces independent Gaussians with a compact vocabulary of reusable primitives and lightweight world-space instances that place transformed copies throughout the scene. We fit this representation to multi-view captures via a joint optimization over discrete and continuous scene parameters, combining two-level densification over splats and instances with an adversarial loss that preserves detail across shared primitives. The recovered structure yields a compact, controllable representation while maintaining high quality even at 1.2 MB. SCION achieves rate-distortion favorable to existing Gaussian compression methods, and it enables instance-level scene editing and animation without retraining. Our results show that neural scene representations need not memorize scenes as independent primitives; they can discover reusable parts. Project webpage: this https URL

中文摘要

摘要：现实世界的场景是组合性的：砖块、草叶、鹅卵石和树叶在人类建造的环境和自然环境中反复出现。现有的神经场景表示独立地建模这些元素。大多数3D高斯点溅（Gaussian Splatting）及其后续的抽象和压缩方法将每个元素视为独特的，对每个场景拟合数百万个独立的高斯。像Splat和Replace这样的先前方法拟合模板对象，但它们主要依赖于对重复元素的手动选择。因此，这些表示存储了冗余参数，并且为下游任务提供的操作控制较弱。我们提出了SCION，一种分层组合的场景表示，它用可重用原语的紧凑词汇表和轻量级世界空间实例替换独立高斯，这些实例将变换后的副本放置在场景中各处。我们通过对离散和连续场景参数进行联合优化，将该表示拟合到多视图捕获数据中，结合对点溅和实例的两级密集化处理，以及保持共享原语细节的对抗损失函数。恢复的结构提供了一个紧凑、可控的表示，同时即使在1.2 MB的情况下仍保持高质量。SCION在速率-失真方面优于现有的高斯压缩方法，并且无需重新训练即可实现实例级场景编辑和动画。我们的结果表明，神经场景表示不必将场景记忆为独立原语；它们可以发现可重复使用的部分。项目网页：此网址

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02322 (HTTP 429)

Authors: William Koch, Amogh Joshi, Cyrus Vachha, Cheng Zheng, Felix Heide

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02322.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02322

Published: 2026-10-06T03:20:52.220Z

4. SCOPE-4D: Endoscopic 4D Geometry Foundation Models

Abstract:Geometric understanding supports endoscopic navigation and robotic assistance, but learning reliable endoscopic geometry faces two challenges: scarce geometric annotations and ambiguity between camera motion and tissue deformation. We present SCOPE-4D, an endoscopic 4D geometry foundation model that jointly predicts camera parameters, dense geometry, and 3D tissue trajectories from monocular RGB video in a single forward pass. Our curation and annotation pipeline constructs SCOPE-5K, a collection of approximately 5,000 clips spanning real and synthetic gastrointestinal endoscopy and laparoscopy. The collection provides rich geometric supervision and includes newly collected phantom and real-colonoscopy evaluation sets. Geometric supervised fine-tuning on SCOPE-5K learns endoscopic priors that improve camera and depth estimation. Common—Residual Motion (CRM) further constrains local deformation relative to common tissue movement. Together with geometric supervision, CRM and trajectory supervision further improve camera and depth estimation over geometric fine-tuning alone while enabling dense 3D tissue tracking. Evaluations on public and newly collected benchmarks demonstrate strong in-domain and out-of-domain geometry, superior 3D tracking, and more stable long-sequence colon reconstruction. A blinded user study further supports the perceived reconstruction quality on real clinical video. Together, these results demonstrate the value of large-scale endoscopic supervision and motion constraints for joint geometry estimation and tissue tracking.

中文摘要

摘要：几何理解支持内窥镜导航和机器人辅助，但学习可靠的内窥镜几何面临两个挑战：几何标注稀缺以及相机运动与组织变形之间的歧义。我们提出了 SCOPE-4D，一种内窥镜 4D 几何基础模型，可以在单次前向推理中联合预测相机参数、密集几何和 3D 组织轨迹，输入为单目 RGB 视频。我们的策划和标注流程构建了 SCOPE-5K，这是一个包含约 5,000 个片段的集合，涵盖真实和合成的胃肠内镜以及腹腔镜视频。该集合提供了丰富的几何监督，并包括新收集的模拟体和真实结肠镜评价集。在 SCOPE-5K 上进行几何监督微调可以学习内窥镜先验，从而提升相机和深度估计。Common—Residual Motion（CRM）进一步约束相对于常见组织运动的局部变形。结合几何监督，CRM 与轨迹监督在几何微调基础上进一步提升了相机和深度估计性能，同时实现了密集的 3D 组织跟踪。在公开和新收集的基准上评估表明，在同域和跨域几何、优越的 3D 跟踪以及更稳定的长序列结肠重建方面均具有显著性能。一项盲测用户研究进一步支持了在真实临床视频上的重建质量感知。综合来看，这些结果证明了大规模内窥镜监督和运动约束在联合几何估计与组织跟踪中的价值。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02343 (HTTP 429)

Authors: Chaoyi Zhou, Zhongpai Gao, Anwesa Choudhuri, Meng Zheng, Benjamin Planche, Run Wang, Terrence Chen, Siyu Huang, Ziyan Wu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02343.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02343

Published: 2026-10-06T03:20:52.220Z

5. Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift

Abstract:Explainability is increasingly required for perception models in intelligent vehicles, yet whether explanations remain faithful under driving domain shift is still poorly understood. This work audits post-hoc explanations of a fixed YOLOv8s pedestrian detector across PIE and JAAD using ROI-based D-Deletion, frozen confidence terciles, rank-based tests, bootstrap intervals, and Holm correction. The audit shows that deletion-based faithfulness is strongly coupled to detection strength at explanation time, with Spearman correlations between 0.70 and 0.82 for D-RISE, making naive confidence-stratified comparisons unreliable. After controlling for detection strength within fixed f0 bins, D-RISE faithfulness remains domain-dependent in the central f0 range, with PIE showing higher D-Deletion than JAAD and Holm-adjusted significance. A non-perturbative EigenCAM baseline is less faithful than D-RISE but also exhibits score coupling, suggesting that the effect is not specific to D-RISE and is related to the deletion-based evaluation setup. These results motivate confidence-controlled XAI audits for safety-critical perception under domain shift.

中文摘要

摘要：智能车辆的感知模型越来越需要可解释性，但在驾驶领域转移下解释是否仍然可信仍知之甚少。本研究通过基于ROI的D-Deletion、冻结置信度三分位、基于排序的检验、引导区间和Holm校正，对固定YOLOv8s行人检测器在PIE和JAAD数据集上的后验解释进行了审计。审计结果表明，基于删除的可信度在解释时与检测强度密切相关，D-RISE的斯皮尔曼相关系数在0.70到0.82之间，使得简单的置信度分层比较不可靠。在固定f0区间内控制检测强度后，D-RISE的可信度在中心f0范围内仍然依赖于领域，其中PIE表现出比JAAD更高的D-Deletion，并且Holm校正后具有显著性。非扰动的EigenCAM基线可信度低于D-RISE，但也表现出分数耦合，表明该效应并非D-RISE特有，而是与基于删除的评估设置相关。这些结果促使在领域转移下对安全关键感知进行置信度控制的XAI审计。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02364 (HTTP 429)

Authors: Ruben Dario Florez-Zela

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02364.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02364

Published: 2026-10-06T03:20:52.220Z

6. EviDent-CBCT: Evidence-Bottlenecked Report Generation from Dental CBCT under Non-Exhaustive Report Supervision

Abstract:Dento-maxillofacial cone-beam CT (CBCT) reports may contain dozens of tooth-specific, anatomical, and spatial findings from a single 3D scan. Learning to generate such reports from limited clinical data is challenging because routine reports may not exhaustively document image findings, and a non-mention may reflect either absence or non-reporting. We present EviDent-CBCT, an evidence-bottlenecked framework designed for this incomplete supervision. An anatomy-aware network maps each CBCT scan to a discrete record of tooth-level, global, and tooth-IAC evidence. A dental-logic consistency projection reconciles incompatible evidence before a deterministic renderer and an image-blind local language model generate the report using only this record. For tooth-level evidence, reliability-aware training uses eligible non-mentions as reduced-weight negatives, while unreported global and tooth-IAC labels remain unknown. A metal-sensitive input channel preserves intensity cues from dental materials. Across three validation runs, EviDent-CBCT achieves $0.666\pm0.006$ merged evidence set-F1 and $0.402\pm0.003$ RadFact-Lite-Dental logical-F1, versus $0.371\pm0.018$ for the strongest controlled direct baseline. In the ODIN 2026 challenge, it ranked second in automated evaluation and third in blinded clinical Arena comparison on the hidden test set. These results support the discrete evidence record as an effective and auditable interface for CBCT report generation.

中文摘要

摘要：牙颌面锥形束CT（CBCT）报告可能包含来自单次三维扫描的数十个特定牙齿、解剖及空间的发现。从有限的临床数据中学习生成此类报告具有挑战性，因为常规报告可能不会详尽记录影像发现，而未提及可能反映的是缺失或未报告。我们提出了EviDent-CBCT，这是一种为这种不完整监督设计的基于证据瓶颈的框架。一个解剖感知网络将每个CBCT扫描映射为牙齿级、全局和牙齿-颌管（IAC）证据的离散记录。牙科逻辑一致性投影在确定性渲染器和图像盲局部语言模型使用该记录生成报告之前，协调不兼容的证据。对于牙齿级证据，可靠性感知训练将可用的未提及项作为降低权重的负样本使用，而未报告的全局和牙齿-IAC标签则保持未知。金属敏感输入通道保留了牙科材料的强度线索。通过三次验证运行，EviDent-CBCT在合并证据集F1上达到$0.666\pm0.006$，在RadFact-Lite-Dental逻辑F1上达到$0.402\pm0.003$，而最强的受控直接基线仅为$0.371\pm0.018$。在ODIN 2026挑战赛中，它在隐藏测试集的自动评估中排名第二，在盲法临床Arena比较中排名第三。这些结果支持离散证据记录作为CBCT报告生成的有效且可审计的接口。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*从牙科CBCT（锥形束CT）扫描自动生成临床报告\*\*时，在\*\*非详尽常规报告监督（non-exhaustive routine report supervision）\*\*条件下所面临的核心学习难题与系统架构挑战。具体试图解决的问题可归纳为以下几个方面： --- ### 1. 非详尽报告监督导致的监督信号不完整 - 常规临床报告记录的是临床实践中实际记载的内容，而非对影像进行穷尽性标注。 - 报告中的\*\*未提及\*\*（non-mention）具有多重不可区分的解释：可能表示真实阴性（absence），也可能是报告特异性遗漏、习惯性不报告或临床疏忽。 - 因此，无法将报告沉默直接视为负面标签，导致难以从有限的CBCT-报告配对数据中构建可靠的监督信号。 ### 2. 直接图像到文本生成中功能纠缠与不可解释性 - 现有方法通常将视觉编码器直接连接大语言模型进行端到端生成，需同时学习三维解剖结构理解、视觉定位、报告内容筛选和语言生成。 - 在数据有限的情况下，这些功能相互纠缠，使得候选输出与参考报告之间的差异无法归因：误差可能源于视觉预测错误、文档不完整，或是语言实现偏差。 - 缺乏显式内容接口导致解码器可能\*\*绕过\*\*预测的视觉证据，直接生成与图像不一致的文本。 ### 3. 牙科CBCT报告的高度结构化与解剖复杂性 - 单次3D扫描可能包含数十个\*\*牙齿级别\*\*（FDI位点）、\*\*全局体积级别\*\*（颌骨、鼻窦、扫描范围）以及\*\*空间关系级别\*\*（牙齿与下牙槽管IAC的邻近关系）的发现。 - 系统必须准确恢复病例特异性发现，保持其\*\*解剖学身份\*\*（如具体牙位）和\*\*极性\*\*（存在/缺失），并以符合临床逻辑的方式组织叙述，这远超一般图像描述任务的复杂度。 ### 4. 证据预测与语言实现的分离及可审计性缺失 - 现有工作缺乏一种机制，将内容预测（what to say）与语言实现（how to say it）在推理时强制分离。 - 论文提出需要一个\*\*离散证据瓶颈\*\*（discrete evidence bottleneck），使得生成报告所依赖的病例特定信息必须来自一个经过一致性修正的、可人工检查的离散证据记录，而非连续视觉特征。 - 由此支持在证据层面进行\*\*确定性的牙科逻辑修正\*\*（dental-logic consistency projection），并使预测错误在生成前即可被识别和审计。 --- \*\*总结而言\*\*，论文通过提出 \*\*EviDent-CBCT\*\* 框架，试图解决的核心问题是：在非详尽、存在大量隐含不确定性的常规报告监督下，如何学习一个既能可靠预测解剖对齐的离散临床证据、又能通过显式证据瓶颈强制实现可审计报告生成的系统，从而将证据预测与语言生成分离，并提升事实准确性与临床可解释性。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要分布在以下三个方向： --- ### 1. 医学报告生成（Medical Report Generation）该领域的发展经历了从早期模型到近期大语言模型驱动的系统： - \*\*早期序列与联合建模\*\*：基于循环网络及联合疾病-报告建模的方法（Jing, Xie, and Xing 2018; Wang et al. 2018）。 - \*\*记忆、检索与区域引导架构\*\*：引入记忆网络、检索机制及区域引导策略以改进报告连贯性与相关性（Chen et al. 2020, 2021; Endo et al. 2021; Tanida et al. 2023）。 - \*\*视觉-语言大模型融合\*\*：近期研究 increasingly 将视觉编码器连接至大语言模型，采用冻结LLM适应、诊断驱动提示、知识增强及灵活token融合等技术（Wang et al. 2023; Liu et al. 2024a; Jin et al. 2024; Li et al. 2024; Wang et al. 2025; Goswami, Subedi, and Chakraborty 2025; Shi et al. 2026）。 - \*\*体积CT扩展\*\*：CT2Rep将直接的图像到报告生成扩展到三维体积CT（Hamamci, Er, and Menze 2024）。 \*\*局限性\*\*：上述系统的报告解码器通常仍依赖于连续视觉特征、检索文本或软诊断指导，未在推理时强制分离视觉理解与语言生成。 --- ### 2. 事实准确性与证据接口（Factuality and Evidence Interfaces）随着生成式模型的应用，临床事实准确性成为核心关切，相关研究包括： - \*\*多层级事实性优化\*\*：优化临床连贯性及实体、关系、语义级别的一致性（Liu et al. 2019; Miura et al. 2021; Delbrouck et al. 2022）。 - \*\*结构化提取与评估\*\*：RadGraph支持从报告中提取临床实体与关系（Jain et al. 2021）；RadFact通过双向命题蕴涵评估报告质量（Bannur et al. 2024）。 - \*\*视觉归因与偏好优化\*\*：通过视觉定位、偏好优化及链式推理提升事实性与可验证性（Bannur et al. 2024; Xiao et al. 2025; Jing et al. 2026）。 \*\*向结构化内容接口的演进\*\*： - KERP、区域引导生成及概念瓶颈模型（concept bottleneck models）尝试将内容预测与语言实现分离（Li et al. 2019; Koh et al. 2020; Tanida et al. 2023）。 - 与上述方法不同，EviDent-CBCT将此类分离作为\*\*硬推理时约束\*\*：一个可审计的离散证据记录是图像盲生成器唯一的病例特定输入，从而防止解码器绕过预测的视觉证据。 --- ### 3. 牙科CBCT分析（Dental CBCT Analysis）该领域早期以解剖结构分割为主，逐步向临床解释推进： - \*\*通用分割框架\*\*：nnU-Net为生物医学图像分割提供了强大的自配置方法（Isensee et al. 2021）。 - \*\*下牙槽管（IAC）分割\*\*：针对纤细的下牙槽管，采用连接感知方法提升分割精度（Liu et al. 2024b; Bolelli et al. 2025）。 - \*\*多结构分割扩展\*\*：近期通过大型牙科基准数据集与状态空间模型（如U-Mamba2）扩展至多结构同步分割（Bolelli et al. 2026; Tan et al. 2025）。 \*\*向临床报告的过渡\*\*： - Lumetti et al. (2026) 将牙科CBCT报告制定为基于本体的结构化预测任务，预测发现的存在性、解剖分配及临床限定词。该系统将结构化预测作为最终输出，未处理自由文本的叙述实现，其任务特定模式与自由文本报告生成不直接可比。 \*\*EviDent-CBCT的定位\*\*：不同于上述工作，该框架从选择性、非详尽的常规报告中学习牙齿级别、全局及牙齿-IAC关系证据，并将预测的离散记录作为图像盲叙述实现器必需的、可审计的内容接口。 Q3: 论文如何解决这个问题？论文通过提出 \*\*EviDent-CBCT\*\* 框架，将报告生成重新定义为\*\*证据预测 → 一致性修正 → 语言实现\*\*的三阶段流程，以系统性地应对非详尽监督与可解释性挑战。具体解决方案可分解为以下五个层面： --- ### 1. 证据瓶颈范式：离散记录作为唯一病例特定接口区别于直接条件于连续视觉特征的图像到文本生成，论文将任务因子化为：

E = qθ(x),quad E = Pi(dent)(E),quad y0 = R(E),quad y = Gφ(y0)
其中： - qθ 预测离散证据记录； - Pi(dent) 执行确定性的牙科逻辑一致性投影； - R 为确定性渲染器，将修正后的记录转为结构化草稿； - Gφ 为**图像盲**（image-blind）重写器，在训练和推理时均仅接收该草稿，无法访问CBCT体积或视觉特征。由此，离散证据记录 E 成为生成器唯一的病例特定信息源，从架构上杜绝了解码器绕过预测证据的可能性，并将内容选择与语言实现分离，使偏差可审计。 —- ### 2. 解剖对齐的多分支证据预测（Stage 2）为应对牙科CBCT中牙齿级别、全局体积级别及空间关系级别的异质性发现，论文将证据记录分解为三个独立的多标签分支，各自匹配相应的解剖感受野： - **牙齿分支（Tooth Branch）**：针对32个FDI牙位，从牙齿中心三维裁剪中预测11类牙位特异性发现； - **全局分支（Global Branch）**：从降采样全体积预测12类整卷发现（如扫描覆盖范围、颌骨萎缩）； - **关系分支（Relation Branch）**：从左右下颌后区视图预测8类牙齿-下牙槽管（IAC）关系。各分支采用解剖对齐的特征融合。对于牙齿与关系分支，设 r 为外观特征， c 为Stage 1结构token， s 为解剖嵌入，则门控混合表示为：

g = σ(W_g[r; c; s] + b_g),quad z = (1 - g) odot r + g odot c
该设计既保留原始强度模式，又利用分割上下文。此外，论文引入**金属敏感强度通道**（metal-sensitive intensity channel），在牙齿裁剪中保留高密度牙科材料的归一化强度差异，补偿标准预处理对金属修复体信息压缩造成的信号损失。 —- ### 3. 可靠性感知的非详尽监督策略针对常规报告未穷尽记录影像发现的核心难题，论文设计了差异化的监督策略： - **牙齿级别非提及（Tooth-level Non-mentions）** 对符合条件的牙齿级未提及标签，采用**正例-未标注（Positive-Unlabeled, PU）启发的可靠性加权**。损失函数为：

L = ∑(i,c) β_c , w(s(ic), c) , BCE(y(ic), p(ic))
其中显式阳性/阴性陈述权重为1； eligible非提及按类别赋予降低的负权重 0 < w(unmentioned, c) < 1 （pu-weak策略）。例如，”缺失”的非提及可靠性较高（权重0.95），而”龋坏”的非提及可靠性较低（权重0.10），以反映临床习惯性漏报与诊断不确定性的差异。 - **全局与关系级别未报告标签** 由于全局和牙齿-IAC阳性标签稀疏，其未报告类别直接视为**未知**（unknown），不纳入对应分支的损失计算，避免从报告沉默中推断阴性带来的噪声。 - **缺失牙齿条件化** 在牙齿分支内，用分离的缺失概率头预测牙位是否存在，并以**分离梯度**（detached）方式条件化其余属性头，使属性预测能在缺牙/残牙语境中区分有效信息，同时阻止属性损失反传至缺失头。 —- ### 4. 牙科逻辑一致性投影与确定性渲染在语言生成前，预测证据 E 需经过确定性的牙科逻辑投影 Pi_(dent) 映射为 E ： - 利用预定义的牙科解剖语义约束，**移除互斥或不兼容**的证据组合（例如，若某牙位已标记为缺失，则消除该牙位的IAC邻近记录，除非存在阻生或残根证据）； - 仅使用预测置信度解决互斥替代项，**不引入任何新的阳性发现**； - 修正后的记录保持可检查性。随后，非参数的确定性渲染器 R 将 E 转换为**规范化证据草稿**（canonical evidence draft），按兼容解剖区域与发现类型分组，使用紧凑模板处理重复模式（如全口无牙）。该草稿显式枚举Stage 2所选内容，但将句式结构、排序、聚合与临床措辞留给学习式重写器。 —- ### 5. 图像盲重写与内容保持蒸馏（Stage 3）为实现高质量叙述同时维持证据瓶颈，论文采用**内容保持的教师-学生蒸馏**： - **教师重写**：使用GPT-4o将训练集中的确定性草稿（由一致性投影后的预测证据构建）重写为自然临床语言。指令要求严格保留草稿的事实内容，不得增删或修正发现；原始临床报告仅作为语言风格参考。 - **学生蒸馏**：将上述行为蒸馏至本地 **Qwen2.5-7B** 模型，通过LoRA微调。学生在训练与推理阶段**仅接收确定性草稿**，无视觉输入、无参考报告、无并行视觉表征。 - **审计机制**：保留确定性草稿作为对照，使重写引入的偏差（如冠/修复体术语替换）在个案层面可被直接比对。 —- ### 总结通过上述设计，EviDent-CBCT将直接图像到文本生成中纠缠的三维解剖理解、视觉定位、内容筛选与语言生成解耦为可独立评估的模块，并以离散证据记录作为强制性的透明接口，使系统在非详尽常规报告监督下仍能获得可靠的可审计报告生成能力。 Q4: 论文做了哪些实验？论文围绕所提出的 EviDent-CBCT 框架开展了多层次的实验验证，涵盖受控基线比较、阶段级路径分解、模块消融、审计性分析及官方挑战赛评估。主要实验内容如下： —- ### 1. 数据集与实验设置 - **数据集**：使用 ToothFairy4 的配对子集，包含 **624** 例 CBCT 体积与 **1,001** 份英文临床报告。将数据划分为 **561** 例训练 / **63** 例验证；隐藏测试集为 **50** 例来自独立中心的 CBCT，由 ODIN 2026 挑战赛组织者评估。 - **保守标注策略**：当同一扫描的多份报告在某二元发现上不一致时，该标签被排除在监督之外，不充当仲裁者。 —- ### 2. 评估指标 - **Merged Stage 2 logical set-F1**：无 LLM 的结构化指标，按病例计算精确率与召回率，再取语料级调和平均，用于在一致性投影前隔离证据预测器的性能。 - **RadFact-Lite-Dental logical F1 / Precision / Recall**：基于双向命题蕴涵的叙事报告级指标，使用 GPT-5.6-Luna 进行牙科专门化的命题解析与蕴涵判断。 - **传统文本指标**：BLEU-4、METEOR。 - **官方 ODIN 2026 指标**：采用不同的 RadFact 协议，独立报告。 —- ### 3. 主要对比实验：EviDent-CBCT vs. 受控直接生成基线论文构建了 **5 种**受控直接生成接口，分别使用 **Qwen3-8B** 和 **Med42-8B** 两种语言解码器，并在 **原始报告（Raw）** 和 **规范化报告（Canonical）** 两种监督目标下进行训练： | 基线 | 视觉/报告接口 | |:—-|:—-| | Direct 1 | 冻结 Stage 1 结构 token | | Direct 2 | 微调 Stage 1 编码器 | | Direct 3 | 连续 Stage 2 特征（可训练分支） | | Direct 4 | Direct 3 + 辅助证据监督（仅训练） | | Direct 5 | 冻结 Stage 2 编码器 + 可训练适配器 | - **结果**：在所有配置中，规范化目标均优于原始目标。Med42 在直接生成中最强配置为 Direct 2（Canonical），达到 **0.371 ± 0.018** logical-F1。 - **EviDent-CBCT**：一致性投影后的确定性模板达到 **0.398 ± 0.004**；经本地 Qwen 重写后达到 **0.402 ± 0.003**，显著优于最强直接基线。与最强直接基线（Med42 Direct 2 Canonical）的配对 bootstrap 95% 置信区间为 **

0.0047, 0.0586
**。 —- ### 4. 证据到报告路径分解（Pathway Decomposition）为定位系统瓶颈，论文追踪从参考报告到最终输出的逐阶段表现（Table 2）： | 候选输出 | Logical F1 | |:—-|:—-| | 参考报告 vs. 自身 | 1.000 | | 提取的逐字源线索 | 0.957 | | 参考证据 → 模板 | 0.589 | | 参考证据 → 模板 → Qwen | 0.597 | | 预测证据 → 模板 | 0.389 ± 0.006 | | 预测证据 → 模板 → Qwen | 0.398 ± 0.001 | | 一致性投影证据 → 模板 | 0.398 ± 0.004 | | 一致性投影证据 → 模板 → Qwen | **0.402 ± 0.003** | 该分析表明： - 最大的性能损失发生在从丰富 JSON 证据投影到紧凑预测模式并渲染时（0.957 → 0.589）。 - 本地重写器仅带来 modest 增益（模板 0.389 → 重写 0.398），说明瓶颈主要在上游证据预测。 - **牙科逻辑一致性投影**将模板 F1 从 0.389 提升至 0.398，重写 F1 从 0.398 提升至 0.402，证实修正是通过证据接口实现的。 —- ### 5. Stage 2 模块消融实验（Tooth-Branch Ablations）固定全局与关系分支，对牙齿分支进行消融（Table 3）： | 实验维度 | 变体 | Tooth-Branch Logical F1 | |:—-|:—-|:—-| | **监督策略** | explicit（忽略 eligible 非提及） | 0.359 ± 0.018 | | | hard（全权重负标签） | 0.467 ± 0.017 | | | **pu-weak（类依赖降权负标签）** | **0.480 ± 0.007** | | **融合策略** | concat | 0.474 ± 0.015 | | | visual-only | 0.471 ± 0.004 | | | scratch-only | 0.435 ± 0.001 | | | **gated hybrid（基线）** | **0.480 ± 0.007** | | **金属通道** | no metal channel | 0.463 ± 0.006 | | | **metal-sensitive（基线）** | **0.480 ± 0.007** | - **pu-weak** 在精确率与召回率间取得最佳平衡；直接忽略非提及（explicit）导致大量假阳性，而全权重负标签（hard）虽提升召回但牺牲部分精确率。 - **门控混合融合**优于纯外观或纯从零训练。 - **金属敏感通道**的移除使 F1 从 0.480 降至 0.463。 —- ### 6. 审计性与重写保真度（Auditability and Rewrite Fidelity） - 对 **30 例**评估案例进行人工审计，逐命题比对确定性模板与 Qwen 重写输出： - **93.3%**（28/30）的案例保留了所有模板命题。 - 无发现极性反转、FDI 位点重分配或解剖侧别重分配。 - 仅 2 例出现实质性变化，且均使输出更贴近参考报告（如将预测的“冠”修正为参考所述的“修复体”）。 - 该实验证实：重写并非严格无损，但偏差有限且可审计；保留确定性草稿使个案级变化可直接追溯。 —- ### 7. 类级 Stage 2 分支性能分析 - **牙齿分支**（Table 15）：在 pu-weak 策略下，6/11 个类别取得最高 F1，包括缺失牙、冠修复、根管治疗、修复体相关、阻生/多生牙、龋坏。根折、龋坏、残根因阳性样本极少（分别为 1、10、12 例），其排序仅为描述性。 - **全局分支**（Table 16）：对常见覆盖范围与萎缩陈述表现最强（分支 logical set-F1 **0.884**）；牙周炎与图像质量差因无观察到的阴性样本而呈完美分数，但支持极少。 - **关系分支**（Table 16）：牙齿-IAC 邻近与舌侧走行标签召回率高，但颊侧走行因稀疏而精确率受限（分支 logical set-F1 **0.537**）。 —- ### 8. 鲁棒性与敏感性分析 - **配对 Bootstrap 不确定性**：对 EviDent-CBCT 与最强直接基线进行 100,000 次配对病例重采样，计算 logical-F1 差异的 95% 百分位置信区间。 - **多报告敏感性（Mean-over-References）**：针对 63 例验证体积中 39 例含双份报告的情况，评估每份候选输出对应所有参考报告的平均表现。在此设定下，EviDent-CBCT 重写输出为 **0.374**，仍显著优于直接基线的 **0.333**（95% CI: **

0.0170, 0.0637
**），表明优势不依赖于单参考选择。 —- ### 9. 官方隐藏测试集与挑战赛排名（ODIN 2026）在隐藏测试集上的官方结果（Table 4）： | 团队 | RadFact F1 | BLEU-4 | METEOR | Aggregate Score | Arena Score | |:—-|:—-|:—-|:—-|:—-|:—-| | shivam.singh | 0.3924 | 0.1476 | 0.3269 | **0.3614** | **1307** | | **EviDent-CBCT (ours)** | **0.3245** | **0.1206** | **0.3171** | **0.3033** | **985** | | ViktorB | 0.2321 | 0.0865 | 0.2828 | 0.2226 | 1172 | - EviDent-CBCT 在自动评估中排名 **第二**，在盲法临床 Arena 比较中排名 **第三**。 - 论文指出官方 RadFact 协议与内部 RadFact-Lite-Dental 不同，绝对值不直接可比。 —- ### 10. 定性案例比较补充材料提供了 **4 组**代表性案例的可视化对比（Figures 3–6），将 EviDent-CBCT 与最强直接模型（Med42 Direct 2 Canonical）的预测分别与参考报告对照，使用颜色编码： - **深绿**：完全匹配 - **浅绿**：部分正确或欠指定 - **蓝色**：不支持或矛盾的预测 - **红色**：未恢复的参考事实这些案例显示：在治疗丰富、 Q5: 有什么可以进一步探索的点？基于论文结论与局限性分析，未来研究可从以下几个方向展开： —- ### 1. 跨报告分歧建模当前训练数据中对同一扫描的多份报告存在分歧时，采用保守策略将该标签排除监督。未来可显式**建模报告者间的分歧机制**，将不同临床医生的观察差异纳入学习框架，而非简单丢弃不确定性标签，从而更充分地利用有限的多读者标注数据。 —- ### 2. 扩展与精细化证据模式论文的 ceiling 分析表明，从丰富证据 JSON 投影到紧凑的 31 类预测模式时，logical-F1 从 0.957 显著下降至 0.589。主要信息损失源于： - 萎缩的精确分布与程度 - 治疗质量评估 - 桥体拓扑结构 - 病变形态与大小等限定词未来可探索**分层或细粒度证据模式**，在保持可学习性的同时，引入程度、分布、形态等附加维度，以提升报告的信息完整性与临床实用性。 —- ### 3. 可靠性权重的自适应学习当前对牙齿级别非提及的可靠性权重（pu-weak）为基于临床经验预设的固定值，未在验证数据上优化。后续可研究**数据驱动的可靠性估计**或**真正例-未标注（PU）学习的风险最小化方法**，从聚合报告模式中自动推断各类别非提及的阴性概率，替代手工设定的类依赖权重。 —- ### 4. 引入独立判定的图像级真实标准论文强调所有监督均来源于常规报告，缺乏独立的图像级临床金标准。未来工作应收集**经盲法牙科专家判读的CBCT真实标签**，以： - 量化非详尽监督下的固有误差上界 - 区分预测错误与报告遗漏 - 在独立标准上评估临床准确性而非仅报告一致性 —- ### 5. 外部队列泛化与域适应隐藏测试集虽来自独立中心，但规模有限（50例）。需在**更多外部队列**上验证系统泛化性，并探索针对以下因素的域适应策略： - 不同扫描仪型号与采集协议 - 人群特定的解剖变异 - 跨语言的报告生成 —- ### 6. 证据瓶颈的松弛与交互式修正当前的 image-blind 重写器被严格限制仅接收确定性草稿，无法回查或质疑视觉证据。未来可探索**保留瓶颈但允许受控交互**的架构，例如： - 重写器对低置信度证据生成不确定性标记或澄清请求 - 人在回路中对投影后证据进行快速修正后再生成叙述 —- ### 7. 端到端或联合优化现有三阶段流程（分割 → 证据预测 → 重写）分步训练。尽管这保证了模块可审计性，但也可能积累误差。可研究在**保持离散瓶颈可解释性的前提下进行端到端微调**，或引入强化学习将报告级反馈传递至证据预测模块，以优化整体 logical-F1 而非仅阶段性能。 —- ### 8. 融合额外影像模态当前仅依赖 CBCT 体积。牙科诊断常结合**口内扫描、全景X线片或口内摄影**。未来可扩展证据框架以支持多模态输入，通过统一的离散证据接口融合跨模态发现，生成更全面的临床报告。 —- ### 9. 动态牙科逻辑约束学习一致性投影 Pi_(dent) 目前依赖预定义的确定性规则。对于复杂或边缘病例，可探索**从数据中自动挖掘或持续更新牙科兼容性约束**，使逻辑投影在保持确定性的同时具备可扩展性。 —- ### 10. 生成内容的校准与不确定性量化论文的审计显示重写器偶尔会轻微调整预测术语（如将“修复体”改为“冠”）。未来需在生成文本中显式**量化证据预测的不确定性**，或在报告中插入置信度修饰语（如“可能”、“提示”），以更符合临床风险沟通规范。 Q6: 总结一下论文的主要内容论文针对牙科锥形束CT（CBCT）的自动生成报告问题，提出了 **EviDent-CBCT** 框架，旨在解决常规临床报告作为监督信号时存在的**非详尽性**（non-exhaustive supervision）挑战，即报告未提及的发现可能代表真实阴性，也可能只是临床遗漏或习惯性不记录。以下是论文的主要内容总结： —- ### 1. 核心问题与挑战 - **监督信号不完整**：常规CBCT临床报告记录的是实际记载内容，而非对影像的穷尽标注。报告中的“未提及”无法直接当作阴性标签，导致学习信号存在内在歧义。 - **直接生成的可解释性困境**：现有视觉-语言大模型的端到端生成方法将三维解剖理解、视觉定位、内容筛选与语言生成功能纠缠在一起，难以区分误差来源（视觉错误 vs. 文档遗漏 vs. 语言偏差），且解码器可能绕过视觉证据直接生成文本。 - **牙科报告的高度结构化**：单次扫描需涵盖牙齿级别（FDI位点）、全局体积级别（颌骨、鼻窦）及空间关系级别（如下牙槽管邻近性）的发现，要求系统精确保持解剖身份与极性。 —- ### 2. 方法：证据瓶颈的三阶段框架论文将报告生成重新因子化为**证据预测 → 一致性修正 → 语言实现**的流程：

E = qθ(x),quad E = Pi(dent)(E),quad y0 = R(E),quad y = Gφ(y_0)

Stage 1：解剖坐标系统采用 nnU-Net-v2 风格的 3D U-Mamba2 分割器，从 CBCT 体积中提取 46 类解剖结构掩码（包括 FDI 位点牙齿、颌骨、下牙槽管等）及对应的结构 token，为后续分支提供解剖对齐的局部化信息。 #### Stage 2：可靠性感知的证据预测将证据记录 E 分解为三个多标签分支： - 牙齿分支：32 个 FDI 位点 × 11 类发现； - 全局分支：12 类整卷发现（扫描覆盖、骨萎缩等）； - 关系分支：8 类牙齿-下牙槽管关系。关键技术包括： - 门控混合特征融合：结合局部外观特征 r 、Stage 1 结构上下文 c 与解剖嵌入 s ：

g = σ(W_g[r; c; s] + b_g),quad z = (1 - g) odot r + g odot c

**金属敏感输入通道**：保留高密度牙科材料的强度线索，补偿标准预处理造成的信息损失。 - **可靠性感知训练（PU-weak）**：对符合条件的牙齿级未提及标签赋予类别依赖的降低负权重（如“缺失”权重高，“龋坏”权重低），而全局/关系未报告标签直接视为未知。损失函数为：
L = ∑(i,c) β_c , w(s(ic), c) , BCE(y(ic), p(ic))
Stage 3：证据瓶颈的报告实现 - **牙科逻辑一致性投影** Pi(dent) ：基于预定义解剖语义，确定性地移除互斥证据组合（如缺失牙位的 IAC 邻近记录），不引入新阳性发现。 - **确定性渲染器** R ：将修正后的离散证据记录转换为结构化规范草稿。 - **图像盲重写器** Gφ ：本地 Qwen2.5-7B 模型仅接收该草稿作为输入，在训练和推理阶段均无法访问 CBCT 体积或视觉特征，从而强制所有病例特定信息必须通过离散证据接口。该模型通过 GPT-4o 教师蒸馏获得内容保持的重写能力。 —- ### 3. 实验与结果 - **受控直接基线对比**：论文构建了 5 种直接生成接口（冻结/微调 Stage 1/2 特征，有无辅助监督），使用 Qwen3-8B 和 Med42-8B 解码器。在 63 例验证集上，最强直接基线（Med42 Direct 2, Canonical）的 RadFact-Lite-Dental logical-F1 为 **0.371 ± 0.018**，而 EviDent-CBCT 达到 **0.402 ± 0.003**，配对 bootstrap 95% 置信区间为 **

0.0047, 0.0586
**。 - **路径分解分析**：参考证据的逐字源线索可达 0.957 logical-F1；投影到紧凑模式后降至 0.589；预测证据模板为 0.389，经一致性投影和重写后提升至 0.402，证实瓶颈主要在**上游证据预测**而非语言实现。 - **消融实验**：pu-weak 监督策略（0.480）优于硬负标签（0.467）和显式忽略（0.359）；门控混合融合与金属敏感通道均带来一致增益。 - **审计性验证**：人工审计 30 例显示，93.3% 的案例中 Qwen 重写完整保留了模板命题，无证据极性或牙位重分配错误。 - **官方测试集**：在 ODIN 2026 隐藏测试集（50 例独立中心数据）上，EviDent-CBCT 自动评估排名**第二**，盲法临床 Arena 排名**第三**。 —- ### 4. 主要贡献 - **证据瓶颈架构**：首次将离散证据记录作为牙科 CBCT 报告生成中**唯一**的病例特定输入，从架构上实现内容预测与语言实现的硬分离，支持透明的牙科逻辑修正与个案级审计。 - **非详尽监督下的解剖对齐学习**：设计了针对牙齿级、全局级和关系级证据的差异化监督策略，特别是基于正例-未标注（PU）启发的可靠性加权，有效利用常规报告中的隐性负信号。 - **系统性的受控验证**：在五类直接生成接口、两种语言解码器和两种报告目标上进行了严格比较，结合路径分解、模块消融与人工审计，充分验证了离散证据接口的有效性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ruiyang Hao, Zhi Qin Tan, Yulan He, Owen Addison, Yunpeng Li

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02375.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02375

Published: 2026-10-06T03:20:52.220Z

7. FactorSplat: Appearance-Controllable Gaussian Proxies for Medical Volume Rendering

Abstract:Transfer functions (TFs) control color and visibility in medical volume rendering, but image-trained Gaussian proxies typically bake one transfer function into their appearance. We present FactorSplat, a per-scene N-dimensional Gaussian splatting (N-DGS) proxy that accepts region-specific intensity-to-RGBA curves at inference. A local lookup applies the authored color and opacity change, while a shared functional encoder and low-rank per-Gaussian factors learn the residual appearance response. Geometry and directional appearance remain shared across presets, with visibility control and TF-aware pruning preserving the ability to hide and reveal structures. On seven CT and MR scans, FactorSplat improves mean PSNR and changed-region error over region-aware VEG across validation, interpolation, unseen composition, and out-of-distribution (OOD) edits. Across these four splits, seven-scan mean PSNR gains over VEG range from 1.10 to 1.52 dB. One checkpoint per scan supports unseen edits without retraining. At $1600^2$, the cached fast renderer averages 524 FPS with 1.17 ms TF switches. Project page: this https URL.

中文摘要

摘要：传递函数（TFs）在医学体积渲染中控制颜色和可见性，但经过图像训练的高斯代理通常将单个传递函数固定在其外观中。我们提出了 FactorSplat，一种针对每个场景的 N 维高斯散射（N-DGS）代理，它在推理时接受区域特定的强度到 RGBA 曲线。本地查找应用作者设定的颜色和不透明度变化，同时共享的函数编码器和每个高斯的低秩因子学习残差外观响应。几何和方向外观在预设间保持共享，借助可见性控制和传递函数感知裁剪保留隐藏和显示结构的能力。在七个 CT 和 MR 扫描上，FactorSplat 在验证、插值、未见组合和分布外（OOD）编辑中，相较于区域感知的 VEG，提升了平均 PSNR 和修改区域误差。在这四个分割中，七份扫描的平均 PSNR 相较 VEG 的增益范围为 1.10 到 1.52 dB。每个扫描的一个检查点支持未见过的编辑而无需重新训练。在 $1600^2$ 分辨率下，缓存的快速渲染器平均达到 524 FPS，传递函数切换耗时 1.17 毫秒。项目页面：此 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02382 (HTTP 429)

Authors: Zhongpai Gao, Benjamin Planche, Meng Zheng, Anwesa Choudhuri, Terrence Chen, Ziyan Wu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02382.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02382

Published: 2026-10-06T03:20:52.220Z

8. Octrees as an Explicit 3D Language

Abstract:Existing 3D large language models (LLMs) compromise on two fronts: they compress shapes into latent codebook indices or coordinate text, which removes spatial structure from what the model observes, and they acquire the 3D modality by fine-tuning the backbone, which overwrites its general language ability. We present OctLLM, which addresses both limitations. Geometry enters as an explicit 3D sequence of octree occupancy tokens. However, full octree sequences grow rapidly with depth; OctLLM therefore randomly empties penultimate-level nodes and omits descendants while preserving shape, yielding a shorter coordinate- and depth-anchored Sparse Octree (S-Octree) for position-aware mask-modeling generation and 3D understanding. On the other front, existing methods introduce a new modality with full fine-tuning or LoRA, but full fine-tuning is costly, LoRA limits 3D capacity, and both modify the language pathway. OctLLM instead adds 3D capacity in parameters separate from the pretrained ones: mesh tokens are routed through independent trainable branches in a subset of blocks while text and image tokens retain the frozen vision-language pathway, and the two streams interact through shared self-attention. It trains far fewer parameters than full fine-tuning, yet sets a new state of the art among unified multimodal LLMs, lowering image-to-3D FID by $17.4\%$ and raising render-grounded captioning by $28.7$ points over ShapeLLM-Omni, while matching the backbone on general language benchmarks.

中文摘要

摘要：现有的 3D 大型语言模型（LLMs）在两个方面存在妥协：它们将形状压缩为潜在码本索引或坐标文本，这会移除模型观察到的空间结构；并且它们通过微调骨干网络来获取 3D 模态，这会覆盖其通用语言能力。我们提出了 OctLLM，解决了这两个限制。几何信息以八叉树占据标记的显式 3D 序列形式输入。然而，完整的八叉树序列会随着深度迅速增长；因此，OctLLM 随机清空倒数第二层节点并省略子节点，同时保留形状，从而生成更短的、具有坐标和深度锚定的稀疏八叉树（S-Octree），用于位置感知的掩码建模生成和 3D 理解。在另一方面，现有方法通过完整微调或 LoRA 引入新模态，但完整微调成本高昂，LoRA 限制了 3D 能力，并且两者都会修改语言路径。OctLLM 则在与预训练参数分离的参数中增加 3D 能力：网格标记通过部分块中的独立可训练分支路由，而文本和图像标记保留冻结的视觉-语言路径，两条流通过共享自注意力进行交互。它训练的参数远少于完整微调，但在统一多模态 LLM 中创造了新的最先进水平，使图像到 3D 的 FID 降低了 17.4%，并将基于渲染的图像描述提升了 28.7 分，超过 ShapeLLM-Omni，同时在通用语言基准上与骨干网络匹配。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决现有3D大语言模型（LLMs）在统一多模态生成与理解任务中面临的两个核心局限： \*\*1. 3D几何结构的显式表示缺失\*\* - 现有方法通常将3D形状压缩为离散的潜在码本索引（如VQVAE）或序列化为坐标文本（如OBJ格式），导致模型无法直接观察到几何的空间层次结构与局部关联性。 - 论文提出将\*\*稀疏八叉树（S-Octree）\*\*作为一种显式的"3D语言"，使每个占据标记（occupancy token）都锚定到具体的3D坐标与八叉树深度，从而在自回归生成与理解过程中保留显式的空间结构信息。 \*\*2. 引入新模态时对通用语言能力的侵蚀\*\* - 现有方法通过全参数微调或LoRA来使LLM适应3D模态，但这些方式会修改预训练的语言通路权重，导致模型在通用语言基准（如MMLU、HellaSwag）上出现显著性能下降。 - 论文设计了一种\*\*token路由的双流Transformer架构\*\*：文本与图像token保持冻结的预训练路径，而3D相关的mesh token与位置查询token通过独立的、全参数可训练的分支进行处理；两个流通过共享的自注意力机制交互。这样在不重写语言通路的前提下，为3D模态注入足够的学习容量。简言之，该论文旨在构建一个既能以显式3D结构进行高质量生成与理解、又能完全保留底层模型通用语言能力的统一多模态大语言模型。 Q2: 有哪些相关研究？该论文的相关研究主要围绕三个维度展开：统一多模态生成与理解、自回归3D生成与八叉树表示、以及3D理解与语言保持的模型适应。 ### 1. 统一多模态生成与理解 - \*\*2D统一框架\*\*：在图像与文本的统一建模方面，Chameleon、Emu3、Show-o 和 Transfusion 等系统验证了"下一个token预测"范式可同时覆盖理解与生成任务。 - \*\*3D统一尝试\*\*： - \*\*ShapeLLM-Omni\*\*：将形状压缩为VQVAE码本索引，使LLM只能观察到潜在编码，细粒度几何细节与空间组织已不存。 - \*\*LLaMA-Mesh\*\*：将网格序列化为OBJ坐标文本，把顶点坐标当作普通字符串处理，掩盖了形状的局部性与层次性。 - \*\*其他接口\*\*：基于点云编码器（如3D-LLM、PointLLM系列）或网格派生token的方法，也存在类似的结构信息丢失或模态转换损耗。 - \*\*与本文的关系\*\*：OctLLM以稀疏八叉树（S-Octree）作为显式3D语言，避免了将几何压缩为潜在码本索引或纯坐标文本，从而保留了空间局部性与层次结构。 ### 2. 自回归3D生成与八叉树表示 - \*\*网格自回归生成\*\*：PolyGen、MeshGPT、MeshAnything、MeshXL等直接对网格进行建模，表面保真度高，但序列较长且依赖有损VQ码本。 - \*\*八叉树与层次化空间离散化\*\*： - \*\*OctGPT\*\*与\*\*Uni-3DAR\*\*：利用八叉树将空间层次化离散，以较短的由粗到精序列同时编码整体结构与细节。 - \*\*自适应与跨尺度token化\*\*：Deng等人、Zhang等人进一步探索了基于八叉树的自适应token化策略。 - \*\*非自回归3D生成\*\*：Latent Diffusion、分数蒸馏（如DreamFusion、Magic3D）及前馈系统（如TRELLIS）可生成高质量3D资产，但其连续潜在表示无法作为LLM可直接读写的离散"语言"。 - \*\*与本文的关系\*\*：OctLLM将八叉树表示扩展到通用大语言模型，使每个占据token都携带显式的3D坐标与深度信息，从而让LLM在生成与理解时直接操作显式的层次化3D结构。 ### 3. 3D理解与语言保持的模型适应 - \*\*3D理解的演进\*\*：从早期的联合形状-文本嵌入（如Y2Seq2Seq），到将2D视觉-语言先验迁移至点云（PointCLIP、ULIP等），再到当前连接点云编码器或原始点token至LLM进行对话、定位与部件感知推理的3D多模态大模型（如3D-LLM、PointLLM、ShapeLLM、MeshLLM、ShapeLLM-Omni等）。 - \*\*模型适应方式的局限\*\*： - \*\*全参数微调\*\*：表达能力强，但成本高且暴露所有预训练权重于3D梯度，导致通用语言能力被覆盖。 - \*\*LoRA\*\*：成本较低，但将3D学习限制在低秩更新中，合并后仍会改变语言通路。 - \*\*现有3D LLM的退化\*\*：无论是全参数微调还是LoRA，都会修改文本token所依赖的权重，实验表明ShapeLLM-Omni与LLaMA-Mesh在3D训练后通用语言能力显著下降。 - \*\*模态解耦架构（2D领域）\*\*：Mixture-of-Transformers、XFusion等为每种模态设置独立权重同时共享全局自注意力，证明可在引入新模态时减少对语言通路的干扰。 - \*\*与本文的关系\*\*：OctLLM将模态解耦原则引入3D，通过全参数（full-rank）独立分支处理3D token，配合独立的mesh嵌入与输出头，使文本/图像通路保持冻结，从而在获得3D能力的同时不侵蚀模型的通用语言能力。 Q3: 论文如何解决这个问题？论文通过以下四个相互关联的设计来解决上述问题： --- ## 1. 稀疏八叉树（S-Octree）作为显式3D语言为解决现有方法将几何压缩为潜在码本或坐标文本导致空间结构丢失的问题，论文提出将几何表示为\*\*稀疏八叉树（Sparse Octree, S-Octree）\*\*的占据字节序列。 - \*\*基础序列化\*\*：输入网格首先被编码为深度达目标体素分辨率的八叉树，按Z序（Z-order）遍历将占据空间序列化，并将每8个二进制占据位打包为一个取值在 $

0, 255
的字节级mesh token。这使序列长度相比原始二进制序列缩短8倍，同时保持离散化与对体素化八叉树结构的忠实性。 - 随机稀疏化：针对深层八叉树序列过长的问题，论文利用细粒度节点的高度冗余性——随机将固定比例的倒数第二层节点置空，并连带省略其最深层后代。这种S-Octree在保持粗粒度结构（决定物体身份）的同时显著缩短序列长度。被移除的精细占据后续由一个专门的补全网络恢复。 - 显式空间锚定：每个mesh token不仅携带占据模式，还通过三通道位置标识符绑定到其3D节点中心坐标，并辅以可学习的深度嵌入（depth embedding）以区分不同尺度的节点。因此，LLM在处理序列时，即使两个token在一维序列中相距甚远，也能通过坐标与深度信息意识到它们在3D空间中的邻接关系或尺度差异。 —- ## 2. 3D感知双流Transformer架构为解决引入3D模态时侵蚀通用语言能力的问题，论文设计了一种token路由的双流（dual-stream）Transformer，在保持文本/图像通路冻结的前提下，为3D模态提供独立且充分的学习容量。 ### 2.1 参数隔离的3D分支对于选定的部分Transformer块，模型根据token类型路由至不同变换路径： - 文本与图像token：继续使用冻结的预训练FFN与注意力投影（ WQ, WK, WV, WO ）。 - Mesh token与位置查询token：通过独立的全参数（full-rank）可训练分支（ FFN_(3D) 与 W^(3D)_Q, W^(3D)_K, W^(3D)_V, W^(3D)_O ）进行变换。具体地，第 ell$ 个路由块的FFN输出由token-wise分支选择实现：

FFN(route)^(ell)(h_i) = (1 - r_i) · FFN(base)^(ell)(hi) + r_i · FFN(3D)^(ell)(h_i)
其中 r_i ∈ 0, 1 为路由指示符， r_i=1 表示mesh字节或mask token， r_i=0 表示文本、图像及边界token。注意力投影（Q、K、V、O）遵循同样的路由规则。 - **共享自注意力**：两个流并非完全隔离，而是在**共享的因果自注意力**空间中交互，使语言、图像与几何信息能够充分交换，同时确保token局部的线性变换互不干扰。 - **独立嵌入与输出头**：3D相关token拥有独立的输入嵌入空间与mesh输出头，与原始语言词汇表分离。这避免了占据预测与单词预测在输出分布上的竞争。 ### 2.2 3D旋转位置编码（3D RoPE）与深度嵌入文本与图像token保留原有的序列或栅格位置编码，而八叉树token的位置由其在3D空间中的节点中心坐标决定。论文对三个坐标通道独立应用旋转位置编码，使位置成为三维索引空间中的点，而非一维序列偏移。配合可学习的深度嵌入，模型能同时感知token的**空间位置**与**尺度层级**。 ### 2.3 预测性Mask Token与Mask抑制在自回归生成过程中，下一个mesh byte需要同时决定”在哪里”和”是什么”，这增加了学习难度。论文借鉴Uni-3DAR的做法，引入**预测性mask token（``）**： - 在每个待预测mesh byte之前插入一个`` token，该token携带目标3D坐标与八叉树深度，其隐藏状态充当”位置查询”，询问在给定条件和已生成几何下该位置应出现何种占据模式。 - **Mask抑制**：由于`` token是位置查询而非实际几何观测，历史mask token在注意力中被抑制为不可见的key，而文本、图像及先前生成的mesh byte仍保持可见。这确保了模型上下文聚焦于真实条件信息与已生成几何，避免被大量中间查询占位符污染。 —- ## 3. 稀疏体素补全网络 S-Octree紧凑但非完整稠密形状。论文将其解码为最深层分辨率的稀疏占据网格，再通过一个轻量的**3D U-Net**推断缺失的精细占据。该编码器通过四层3D卷积下采样，解码器对称上采样，以二元交叉熵监督训练。补全后的稠密网格提供被占据的体素坐标，作为预训练流式生成器（如TRELLIS）的结构条件，结合原始文本或图像语义条件，输出最终带纹理的网格。 —- ## 4. 混合训练目标模型同时在3D生成与3D理解数据上训练，统一目标为：

**生成样本**：在mesh byte前插入``，仅对mesh byte目标通过 P(mesh) 监督。 - **理解样本**：S-Octree作为输入的一部分直接提供，不插入mask token，仅对自然语言回答通过 P(vocab) 监督。这种分离确保了文本目标使用语言词汇分布、mesh目标使用mesh词汇分布，二者互不稀释。 —- ## 总结通过上述设计，论文实现了： - **显式3D语言**：以坐标与深度锚定的S-Octree占据序列替代压缩潜在码本或坐标文本，使LLM直接读写具有空间层次结构的几何。 - **语言能力保持**：通过冻结文本/图像通路、为3D token配置独立全参数分支与独立输入输出空间，并借助共享自注意力实现跨模态交互，从而在注入3D能力的同时，完全保留底层模型的通用语言性能。 Q4: 论文做了哪些实验？论文的实验部分围绕**3D生成质量**、**3D理解质量**、**通用语言能力保持**以及**设计组件消融**四个维度展开，具体包括以下内容： —- ### 1. 实现与训练设置 - **数据集**：联合训练了 Objaverse-XL（Sketchfab 子集）、HSSD、ABO 和 ShapeNet 四个数据集，经预处理后共 195K 个资产，585K 条指令；补全网络在 175K 对稀疏-完整占据数据上独立训练。 - **模型配置**：以 Qwen2.5-VL-7B-Instruct 为文本-图像通路，S-Octree 采用 6 层八叉树（最细网格 64^3 ），以 0.5 概率随机稀疏化倒数第二层节点；在 28 个解码器块中选取 12 个插入 3D 路由分支，新增约 2.80B 可训练参数。 - **优化设置**：主模型在 16 张 H20 上训练 69K 步，补全网络在 8 张 RTX 5090 上训练 155K 步，均使用 AdamW，有效 batch size 为 64。 —- ### 2. 定量对比实验 #### 2.1 3D 生成评估（Toys4K 测试集） - **指标**：基于 Inception-V3 与 DINOv2 特征的渲染图 FID/KID，以及 CLIP 条件对齐度。 - **对比方法**： - **任务专用生成器**：TRELLIS、SAR3D、OctGPT - **统一多模态 LLM**：ShapeLLM-Omni、LLaMA-Mesh、AR3D-R1 - **结果**： - **Image-to-3D**：OctLLM 在统一多模态 LLM 中取得最优，相对 ShapeLLM-Omni 降低 Inception FID 17.4%、KID 45%；整体仅次于任务专用模型 TRELLIS。 - **Text-to-3D**：OctLLM 在同类统一模型中领先 Inception FID 与 KID，与 ShapeLLM-Omni 在 DINOv2 FID 和 CLIP 上表现相当。 #### 2.2 3D 理解评估（PointLLM-200） - **指标**：Sentence-BERT、SimCSE 语义相似度，以及 Qwen3.8-Max 作为自动评判员的 GPT-ref（有参考文本）和 GPT-img（基于渲染图无参考）分数。 - **对比方法**：PointLLM-7B/13B、ShapeLLM-7B、LLaMA-Mesh、ShapeLLM-Omni。 - **结果**：OctLLM 在所有多模态 LLM 中全面领先，其中 GPT-img 分数较 ShapeLLM-Omni 提升 28.7 点；在所有方法中 GPT-img 最优，其余三项仅次于使用彩色点云输入的 PointLLM。 #### 2.3 通用语言能力保持 - **基准**：MMLU、HellaSwag、GSM8K、IFEval。 - **对比**：与冻结主干 Qwen2.5-VL-7B、ShapeLLM-Omni、LLaMA-Mesh 比较。 - **结果**：OctLLM 在 MMLU 与 HellaSwag 上与主干完全一致，GSM8K 差距小于 1 点；而 ShapeLLM-Omni 在 MMLU 和 HellaSwag 上分别下降 34.5 和 40.7 点，LLaMA-Mesh 亦有显著退化。 —- ### 3. 定性对比实验 - **Image-to-3D**：与 ShapeLLM-Omni、SAR3D、TRELLIS 对比，OctLLM 在保持条件图像的全局布局与部件结构方面更接近 TRELLIS。 - **Text-to-3D**：在包含部件组合关系的复杂文本提示下，OctLLM 比 ShapeLLM-Omni、AR3D-R1 和 LLaMA-Mesh 更准确地遵循了提示中的结构约束（如双翼飞机的双层机翼、弦乐器的琴颈与琴身关系等）。 - **3D 理解**：OctLLM 对输入 3D 资产的描述在细节丰富度与准确性上优于对比方法（见附录 Fig. S2）。 —- ### 4. 消融实验（附录 D）为验证各设计组件的贡献，论文在 ShapeNet 飞机子集上进行了系统消融： | 实验主题 | 关键发现 | |————-|————-| | **显式 3D 语言 vs. 潜在编码** | 将 S-Octree 替换为 1,024 个 VQVAE token 后，Image-to-3D FID 恶化 20.5%，理解指标亦下降，证明显式坐标锚定的占据序列优于压缩潜在索引。 | | **语言能力保持机制** | 相比 rank-64 LoRA（即使混合 UltraChat 文本数据仍损失 5.1 MMLU 与 18.1 HellaSwag 点），OctLLM 完全匹配主干的语言基准。 | | **S-Octree 组件消融** | 移除预测性 `` token 导致 FID 从 26.31 升至 61.08；移除 3D 位置编码或 mask 抑制亦分别带来性能退化，说明三者互补。 | | **3D 分支放置策略** | 对比“前 8 层”“后 8 层”与“均匀 8 层”三种放置方式，均匀分布在生成任务上 FID/KID 最优，被选为默认策略；增加分支时优先分配至后半网络。 | | **路由容量扩展** | 从 4 分支增至 8 分支，Image-to-3D FID 从 37.63 降至 26.31，表明为 3D 通路分配足够容量对质量至关重要。 | | **全参数分支 vs. Token 路由 LoRA** | 即使采用 rank-256 的 token 路由 LoRA，其 Image-to-3D FID（32.44）仍差于全参数分支（26.31），且高秩 LoRA 在大规模训练中出现梯度爆炸，稳定性不如独立全秩分支。 | | **S-Octree 效率收益** | 相比完整八叉树，S-Octree 将序列长度减少约 37%，峰值显存从 58 GB 降至 44 GB，每轮训练时间从 2.17 小时降至 1.37 小时，而生成质量（FID 27.54 vs. 26.31）基本保持。 | | **补全网络设计** | 对比 skip connection、Dice loss、编码器对齐等变体，默认的 bottleneck 3D U-Net 配合二元交叉熵在 FID/KID 上最优。 | Q5: 有什么可以进一步探索的点？基于论文的论述与内在方法设计，以下是可以进一步探索的研究方向： —- ### 1. 更紧凑的显式3D语言表示论文指出，S-Octree 的平均序列长度（约 1,793 token）仍显著长于 ShapeLLM-Omni 的固定 1,024 token，带来了训练时间与显存开销。未来可探索： - **空间自适应八叉树细化**：根据局部几何复杂度动态决定节点深度，而非固定深度，从而在简单区域减少 token 消耗。 - **可学习的稀疏化策略**：当前 S-Octree 通过随机清空倒数第二层节点实现稀疏化，可尝试由模型自身或外部策略网络决定应省略哪些节点，以在序列长度与重建质量间取得更优权衡。 —- ### 2. 统一端到端的几何生成与补全当前 pipeline 分为两阶段：LLM 生成稀疏 S-Octree，再由独立的 3D U-Net 补全为稠密占据。这种级联结构可能导致上游占据误差传播并放大（如出现孔洞）。未来方向包括： - **联合训练 LLM 与补全网络**：将补全网络的梯度回传至 LLM，或把补全网络设计为 LLM 的一个可微插件，使模型在生成稀疏结构时即考虑下游补全的可恢复性。 - **直接在 LLM 内部完成稀疏到稠密的转换**：通过增加专门的“补全 token”或在特定层引入局部 3D 卷积 inductive bias，尝试将补全能力内化到语言模型本身，从而简化 pipeline。 —- ### 3. 引入外观（颜色、材质、纹理）建模目前的 S-Octree 仅编码几何占据，OctLLM 因此无法描述或生成颜色与材质信息，且依赖外部流式生成器（如 TRELLIS）赋予纹理。可扩展方向： - **多通道八叉树语言**：在现有占据字节之外，增加颜色、粗糙度、金属度等属性的离散化 token，使 LLM 能够读写具有完整 PBR 材质的 3D 资产。 - **外观与几何的联合理解**：当输入带纹理的 3D 数据时，模型可同时推理几何结构、材质属性与语义描述，实现真正意义上的全属性 3D 多模态理解。 —- ### 4. 3D 编辑能力的支持论文提到当前 OctLLM 不支持 3D 编辑。基于显式八叉树表示，未来可探索： - **局部重生成**：利用八叉树的空间局部性，对指定空间区域或部件进行遮罩后再生成，实现文本或图像驱动的局部编辑（如替换物体某部分、调整局部结构）。 - **结构保持的变形**：在 S-Octree 空间引入几何约束或刚度损失，使编辑操作在改变局部形状的同时保持整体拓扑与部件连接关系。 —- ### 5. 生成效率与解码策略优化尽管 S-Octree 已比完整八叉树紧凑，自回归逐 token 生成在推理时仍存在延迟。可探索： - **半自回归或并行解码**：在八叉树的同层或同分支内采用并行预测（类似视觉自回归中的 next-scale prediction），减少解码步数。 - **渐进式采样策略**：对粗层级保持自回归以确保结构正确性，而对最细层级采用一次性批量预测或非自回归生成，加速高分辨率几何产出。 —- ### 6. 双流架构向更多模态的扩展论文验证了 token 路由的双流 Transformer 可在不侵蚀语言通路的情况下引入 3D。该原则可向其他模态推广： - **视频、音频、触觉信号**：为每种新模态配置独立的全参数分支，共享自注意力以实现跨模态对齐，从而构建真正意义上的任意模态统一模型。 - **多模态联合推理**：研究不同模态分支在共享注意力空间中的交互机制，例如 3D 几何分支如何最有效地从冻结的视觉-语言通路中提取语义先验。 —- ### 7. 更大规模与更复杂的场景理解当前实验主要聚焦于单个物体（object-centric）的生成与理解。未来可扩展至： - **场景级八叉树**：将 S-Octree 推广到包含多个物体与背景的大规模 3D 场景，需解决超长上下文建模与物体间关系推理问题。 - **具身智能与机器人应用**：利用保留的空间结构，使 LLM 能够进行 3D 空间推理、导航指令跟随或物理操作规划。 —- ### 8. 结构化位置编码的泛化论文提出的 3D RoPE（基于三通道坐标的旋转位置编码）使模型能够感知层次化空间位置。这一思想可迁移至其他具有内在坐标的结构化数据： - **图结构数据**：将节点坐标或拓扑位置编码为多维 RoPE，用于分子生成、蛋白质结构预测或社交网络分析。 - **4D 时空数据**：引入时间维度的位置标识符，将双流架构扩展至动态 3D（4D）内容的生成与理解。 Q6: 总结一下论文的主要内容这篇论文提出 **OctLLM**，一种统一 3D 生成与 3D 理解的多模态大语言模型，核心贡献在于解决了现有 3D LLM 面临的两个根本局限： ### 1. 问题与动机现有 3D 大语言模型在两个关键方面存在不足： - **3D 表示不够显式**：现有方法通常将形状压缩为 VQVAE 潜在码本索引或序列化为 OBJ 坐标文本，导致模型无法直接感知几何的空间层次结构与局部关联性。 - **语言能力被侵蚀**：现有方法通过全参数微调或 LoRA 引入 3D 模态，这会修改语言通路权重，导致模型在通用语言基准（如 MMLU、HellaSwag）上出现显著性能退化。 ### 2. 核心方法论文围绕上述问题提出两项核心设计： #### （1）稀疏八叉树（S-Octree）作为显式 3D 语言 - 将输入网格编码为八叉树，按 Z 序遍历序列化，并将每 8 个二进制占据位打包为一个字节级 mesh token（取值 $

0, 255
$）。 - 为控制序列长度，随机清空固定比例的倒数第二层节点并连带省略其最深层后代，得到 **S-Octree**。被移除的精细占据由一个轻量的 3D U-Net 补全网络恢复。 - 每个 token 都显式锚定到 3D 节点中心坐标与八叉树深度，并辅以 3D 旋转位置编码（3D RoPE）和可学习的深度嵌入，使模型能够直接感知空间位置与尺度层级。 #### （2）Token 路由的双流 Transformer 架构 - **参数隔离**：文本与图像 token 保留在**冻结**的预训练通路中；mesh token 与预测性 `` 查询 token 则通过独立的**全参数可训练分支**（独立的 FFN、注意力投影、输入嵌入与输出头）进行处理。 - **共享自注意力**：两个流在共享的因果自注意力空间中交互，确保语言、图像与几何信息能够充分交换，但局部的线性变换互不干扰。 - **预测性 Mask 与 Mask 抑制**：生成时在每个待预测 mesh byte 前插入携带目标 3D 位置的 `` 查询，其隐藏状态充当位置查询；历史 `` 在注意力中被抑制为不可见的 key，避免污染上下文。 ### 3. 训练与推理 - 模型在 3D 生成与 3D 理解数据上混合训练，文本目标通过语言词汇头监督，mesh 目标通过独立 mesh 头监督。 - 推理时，模型自回归地预测位置感知的 S-Octree 序列，经补全网络得到稠密占据，再输入预训练的流式生成器（如 TRELLIS）输出最终带纹理的网格。 ### 4. 实验结果论文在 Toys4K（生成）和 PointLLM-200（理解）等基准上进行了全面评估： - **3D 生成**：在统一多模态 LLM 中达到最优。Image-to-3D 的 Inception FID 相对 ShapeLLM-Omni 降低 **17.4%**，KID 降低 **45%**；Text-to-3D 同样领先于同类统一模型。 - **3D 理解**：GPT-img 分数较 ShapeLLM-Omni 提升 **28.7** 点，在描述 3D 结构、部件与空间布局方面更准确。 - **语言能力保持**：OctLLM 在 MMLU 与 HellaSwag 上与冻结主干 **完全一致**，GSM8K 差距小于 1 点；而 ShapeLLM-Omni 在这些基准上分别损失 34.5 和 40.7 点。 ### 5. 结论 OctLLM 证明了将稀疏八叉树作为一种显式的“3D 语言”，配合参数隔离的双流 Transformer，能够在不牺牲底层模型通用语言能力的前提下，同时实现高质量的 3D 生成与 3D 理解，为统一多模态大模型在三维视觉领域的应用提供了新的范式。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ran Dan, Si-Tong Wei, Pengfei Xiong, Wei Zhang, Yadong Mu, Peng-Shuai Wang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02388.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02388

Published: 2026-10-06T03:20:52.220Z

9. An AI-Based Multi-Stage Approach for Androgenetic Alopecia Assessment from Low-Magnification Scalp Images

Abstract:Androgenetic alopecia (AGA) is characterized by patterned follicular miniaturization, increased single-hair follicular units, and altered hair-shaft diameter. We present an automated quantitative scalp-analysis and clinical decision-support framework combining FU localization, ordinal visible-shaft counting, calibrated shaft-width estimation, regional aggregation, and an interpretable rule layer. The clinical cohort comprised 243 patients (127 AGA, 116 non-AGA), while the computer-vision experiments used 160 expert-annotated patients, 2,400 trichoscopic images, and approximately 158,000 FU annotations. Under patientdisjoint evaluation, YOLOv8m achieved test mAP@0.5=0.920 and recall=0.860; EfficientNet-B5 with a support-map channel achieved 87.0% expert-box count accuracy (macro F1=0.85). A separate 500-image set was processed end-to-end with detector-generated boxes, yielding MAE of 6.56 for follicle detection and 16.59 for follicle classification relative to human-expert annotations. The system is intended to assist, rather than replace, dermatologist interpretation.

中文摘要

摘要：雄激素性脱发（AGA）的特征为毛囊呈模式化的微小化、单发毛囊单位增加以及发干直径改变。我们提出了一个自动化的定量头皮分析与临床决策支持框架，结合了毛囊单位定位、按序可见毛干计数、校准毛干宽度估算、区域汇总以及可解释规则层。临床队列包括243名患者（127名AGA患者，116名非AGA患者），而计算机视觉实验使用了160名专家标注的患者、2400张毛囊镜图像以及约158,000个毛囊单位标注。在患者不重叠评估下，YOLOv8m在测试中实现了mAP@0.5=0.920以及召回率=0.860；带有支持地图通道的EfficientNet-B5实现了87.0%的专家框计数准确率（宏F1=0.85）。一个独立的500图像集采用检测器生成的框进行端到端处理，其毛囊检测的平均绝对误差（MAE）为6.56，毛囊分类的MAE为16.59，相较于人工专家标注。该系统旨在辅助，而非替代，皮肤科医生的解读。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.02421 (HTTP 429)

Authors: Mahmoud Raslan, Nada Omar, Omar Khaled, Tarek Waleed, Mohamed Hazem, Rania Mounir, Solwan Elsamanoudy, Ahmed Mourad, Noura Adel, Muhammad Rushdi

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02421.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02421

Published: 2026-10-06T03:20:52.220Z

10. A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting

Abstract:Effective wildfire monitoring requires relating visual evidence to physical fire dynamics, yet real videos with synchronized physical annotations are scarce and high-fidelity 3D simulation is costly. We present a simulation-grounded vision-language model (VLM) framework that automatically converts 2D wildfire simulations into labeled video episodes. A fixed Blender mapping produces low-detail 3D proxies aligned with simulator terrain, fuel layout, fire activity, and wind cues; controllable video generation supplies richer appearance. The proxies are intermediate representations rather than finely rendered final scenes. Generated videos and simulator labels form reusable multimodal memory for a training-free multi-agent VLM system that retrieves reference episodes, reconciles visual and memory-based predictions, and produces structured wildfire reports. On held-out generated episodes, video memory achieves 51.5% exact four-tag accuracy, compared with 22.6% for direct VLM querying and 16-17% for text-only memory; the complete system achieves 77.3% accuracy on six simulator-derived report fields. Component ablations, cross-generator tests, and three real-UAV evaluations assess retrieval, reporting, generator changes, and observable monitoring tasks. The framework connects automatic simulation-to-proxy conversion with memory-based VLM reasoning under scarce real-world physical annotations.

中文摘要

摘要：有效的野火监测需要将视觉证据与火灾物理动力学联系起来，但带有同步物理标注的真实视频稀缺，而高保真度的3D模拟成本高昂。我们提出了一种基于模拟的视觉-语言模型（VLM）框架，该框架能够自动将二维野火模拟转换为带标签的视频片段。固定的Blender映射生成与模拟器地形、燃料布局、火势活动和风力线索对齐的低细节3D代理；可控视频生成提供更丰富的外观。这些代理是中间表示，而不是精细渲染的最终场景。生成的视频和模拟器标签形成可重用的多模态记忆，用于无需训练的多智能体VLM系统，该系统能够检索参考片段，协调视觉与记忆基础的预测，并生成结构化的野火报告。在未见的生成片段上，视频记忆实现了51.5%的四标签精确准确率，而直接VLM查询为22.6%，纯文本记忆为16-17%；完整系统在六个模拟器衍生报告字段上实现了77.3%的准确率。组件消融实验、跨生成器测试和三次真实无人机评估用于评估检索、报告生成、生成器变化及可观测监测任务。该框架将自动模拟到代理转换与在真实世界物理标注稀缺情况下的基于记忆的VLM推理相结合。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*野火监测与报告中视觉证据与物理火灾动力学对齐不足\*\*的问题，核心矛盾在于：真实野火视频缺乏同步的物理状态标注，而火灾模拟器虽能输出物理变量，却无法直接提供视觉语言模型（VLM）可理解的航拍视角视频观测。具体而言，论文针对以下三个相互关联的挑战： - \*\*稀缺的真实世界物理标注\*\* 真实野火视频在视觉上丰富，但通常缺少风、湿度、坡度、燃料状况、燃烧范围和严重火灾行为等同步物理标注。现场采集这些标注既危险又昂贵，且难以控制实验条件。 - \*\*模拟器输出与视觉模态之间的鸿沟\*\* 2D火灾蔓延模拟器（如 SimFire）原生输出的是网格状态、掩膜和火灾前锋等抽象数据，而非类似无人机航拍视频的相机视角观测；而高保真3D火灾模拟虽然能提供视觉渲染，但计算成本极高，难以在多种燃料、地形、天气和相机配置下大规模扩展。 - \*\*VLM 缺乏物理基础的视觉推理支撑\*\* 现有的野火 VLM 研究在火灾/烟雾识别、无人机态势感知和卫星风险分析等方面取得进展，但受限于缺乏带物理标签的时间丰富视频数据，难以将视觉观测与潜在的火灾驱动因素（环境变量）及火灾行为（蔓延风险、燃烧面积等）进行可靠关联。为应对上述问题，论文提出了一种\*\*基于模拟的代理式 VLM 框架\*\*，通过将高效的 2D 野火模拟自动提升为带物理标签的受控视频片段，构建可重用的多模态记忆库，从而在无模型微调的情况下，支持对新野火视频进行环境驱动因素估计和结构化报告生成。 Q2: 有哪些相关研究？论文在第2节（Related Work）中从四个维度梳理了相关研究： ### 1. 野火建模与观测 - \*\*火灾蔓延模拟\*\*：Rothermel 模型（Rothermel, 1972）是 FARSITE（Finney, 1998）的基础；Mallet 等（2009）使用水平集方法处理火锋拓扑变化；Mandel 等（2011）通过 WRF-SFIRE 将蔓延与大气动力学耦合。 - \*\*广域卫星观测\*\*：MODIS 与 VIIRS 提供大范围火灾观测（Justice et al., 2002; Giglio et al., 2016; Schroeder et al., 2014）。 - \*\*无人机监测\*\*：Bailon-Ruiz 等（2022）、Raoufi 等（2025）以及 Fan 等（2025）开展了无人机烟雾/火灾检测与火锋跟踪研究。 ### 2. 视觉语言模型（VLM）在科学与野火理解中的应用 - \*\*科学 VLM 基准\*\*：Esparza 等（2025）、Roberts 等（2024）、Wu 等（2024b）、Kuckreja 等（2024）及 Li 等（2023）指出通用多模态模型在领域特定视觉结构、术语和评估协议上仍存在困难。 - \*\*野火专用 VLM 系统\*\*：Du 等（2025）研究野火场景识别；Wu 等（2025）与 Qi 等（2026）聚焦烟雾/火灾检测；Seidel 等（2025）探索无人机态势感知；Ayanzadeh 等（2026）开展卫星图像风险推理；Webb 等（2026）将 VLM 与野火数字孪生中的强化学习相结合。 ### 3. 代码世界模型与模拟条件视频生成 - \*\*可执行世界模型\*\*：WorldCoder（Tang et al., 2024）通过交互构建可执行世界模型；Code World Model（Chen et al., 2026b）将编码代理驱动的状态演化与代理条件视频生成相连接。 - \*\*物理条件生成\*\*：PhysGen（Liu et al., 2024）结合刚体模拟与生成式视频精修；Cosmos-Transfer1（Alhaija et al., 2025）支持空间可控生成。这些工作推动了将结构化动力学与空间控制从视觉外观中分离的范式。 ### 4. 记忆增强的多模态推理 - \*\*检索增强生成（RAG）\*\*：Lewis 等（2020）提出在不更新模型权重的情况下引入外部证据；Packer 等（2023）与 Park 等（2023）利用代理记忆支持长程推理。 - \*\*多模态与视频检索\*\*：Jeong 等（2025）、Luo 等（2025）、Gia 等（2025）、Zeng 等（2026）及 Fu 等（2026）通过视频-文本嵌入（Xu et al., 2021; Luo et al., 2022; Wang et al., 2022b; Ma et al., 2022）访问视觉、文本和场景级证据。 - \*\*视觉生成中的记忆\*\*：WorldMem（Xiao et al., 2026）与 PhysStream（Chen et al., 2026a）利用记忆实现一致的视觉生成。 - \*\*野火情境感知系统\*\*：Xie 等（2025）与 Sandeep 等（2026）开发了基于历史数据或上下文感知的野火系统。 Q3: 论文如何解决这个问题？该论文通过\*\*两阶段框架\*\*解决野火监测中视觉证据与物理动力学对齐的问题：第一阶段将高效的 2D 火灾模拟自动转换为带物理标签的受控视频片段；第二阶段将这些片段组织为可重用的多模态记忆，支撑一个无需训练（training-free）的多代理 VLM 推理系统。 --- ### 1. 基于模拟的视觉证据构建该阶段的核心目标是在不依赖稀缺真实标注的前提下，生成物理可控、视觉丰富且带有明确环境标签的野火视频。 #### 1.1 物理基础的 2D 野火模拟论文采用 \*\*SimFire\*\* 作为 2D 模拟平台，其底层基于 \*\*Rothermel 地表火蔓延模型\*\*。对于每个片段，系统随机采样真实地理坐标，查询 \*\*LANDFIRE\*\* 数据库获取真实的燃料与地形数据，并随机化风向、风速与燃料湿度等参数。模拟在约 3,km 的空间域上运行，输出逐时刻的火场掩膜、燃料分布、地形场和火锋状态。每个片段被总结为四个离散化的物理驱动标签：\*\*风速\*\*、\*\*湿度\*\*、\*\*坡度\*\* 和 \*\*植被密度\*\*（各分为低/高两档）。 #### 1.2 程序化 3D 代理（Procedural 3D Proxy）由于 2D 模拟输出是地形投影上的网格状态，不具备相机视角的 3D 视觉外观，论文设计了一套\*\*全自动 Blender 流程\*\*，将 2D 模拟场提升为轻量级 3D 代理场景： - \*\*地形\*\*：高程场转换为高度场地形网格； - \*\*植被\*\*：Anderson 13 燃料类别映射为程序化的植被与地形纹理（基于广告牌/billboard 渲染）； - \*\*火焰\*\*：燃烧格网内随机采样火焰广告牌； - \*\*烟雾\*\*：根据风速与风向定向并动画化烟雾广告牌。该代理并非追求照片级真实感，而是\*\*编码模拟器导出的空间结构\*\*（地形形状、植被分布、活跃火点位置、风驱动的烟雾方向），为后续视频生成提供几何与语义控制。 #### 1.3 可控视频生成代理渲染在视觉上仍较简陋，因此论文引入\*\*可控视频生成模型（VACE）\*\*进一步翻译为更丰富的外观。生成条件包括： - \*\*深度序列\*\*（控制地形与火场几何）； - \*\*涂鸦序列\*\*（控制植被布局与火锋位置）； - \*\*文本提示\*\*（指定烟雾密度、火焰可见性、植被类型、风驱动运动等外观信息）。提示文本由模拟元数据自动合成，并经由 VLM 精炼；同时引入\*\*参数化负提示\*\*以抑制矛盾属性（例如在低风案例中抑制"强风"描述）。生成的每个视频都保留其源自模拟器的物理标签，形成\*\*物理标签化的视觉片段\*\*。 --- ### 2. 记忆增强的代理式 VLM 监测与报告该阶段将生成的视频片段作为可重用的物理标签化视觉记忆，用于对新输入的野火视频进行状态估计与结构化报告。 #### 2.1 物理标签多模态记忆记忆库中的每个条目为\*\*键-值对\*\*： - \*\*键\*\*：生成视频的多模态嵌入（视频 + 模拟器衍生的文本描述）； - \*\*值\*\*：生成视频、生成提示、2D 模拟参数、环境标签（四标签）及下游火灾行为标签。检索时，使用 \*\*Qwen3-2B-VL\*\* 将查询视频编码到同一嵌入空间，通过余弦相似度召回前 k 个最相似的参考片段。为进一步提升准确性，系统引入 \*\*GPT-5 重排序\*\*对候选片段进行打分筛选。 #### 2.2 多代理报告系统给定查询视频，系统执行\*\*三代理互补推理\*\*，每个代理接收不同证据组合： | 代理 | 输入证据 | 职责 | |------|----------|------| | \*\*视觉代理\*\* | 仅查询视频的采样帧 | 基于直接可见线索（烟雾漂移、火焰蔓延、地形坡度、植被覆盖）进行判断 | | \*\*查找代理\*\* | 查询帧 + 检索到的前 k 个片段的四标签先验 | 利用检索标签的记忆共识作为软先验 | | \*\*组合记忆代理\*\* | 查询帧 + 查找先验 + 检索片段的模拟器摘要（环境元数据与火灾行为元数据） | 综合视觉与更丰富的物理上下文 | 对于每个二值报告字段 t ，检索记忆提供一个\*\*分数加权共识\*\*：

Ct(y mid q) = ∑(i=1)^(k) wi 1[ell_t(r_i)=y]∑(i=1)^(k) wi
其中 r_i 为检索片段， w_i 为检索分数， ell_t(r_i) 为其在字段 t 上的标签。该共识作为参考先验，而非查询的校准概率。 #### 2.3 分歧裁决与报告渲染 - **一致通过**：若三个代理在某个字段上预测一致，则直接写入最终报告； - **分歧裁决**：若存在分歧，则将该字段路由至**法官代理（Judge Agent）**。法官接收查询帧、各代理的预测与理由、记忆共识及检索元数据，依据任务特定的可靠性规则进行裁决（例如：可见蔓延速度优先信任视觉代理，而冠层覆盖与最终烧伤面积更依赖强记忆共识）。最终，所有 resolved 预测被编译为**结构化 HTML 报告**，记录视觉证据、预测标签、路由状态、代理理由及检索记忆摘要，并生成面向用户的自然语言叙事摘要。 —- ### 3. 核心特点总结 - **全自动**：从 2D 模拟到 3D 代理再到视频生成的流程完全自动，无需人工标注； - **物理可解释**：每个视频片段都绑定明确的模拟器物理标签； - **无需训练**：VLM 权重不更新，仅通过扩展记忆库提升覆盖范围； - **模块化与可扩展**：代理分工明确，支持跨生成器泛化（如 VACE 与 LTX-2.3 互换）； - **可控评估**：在保留的生成片段上，系统实现 **51.5%** 的四标签精确匹配准确率（对比直接 VLM 查询的 22.6% 与纯文本记忆的 16–17%），在六个模拟器衍生的报告字段上达到 **77.3%** 的准确率。 Q4: 论文做了哪些实验？论文在消融研究（第4节）、验证与结果（第5节）以及附录中开展了一系列实验，可分为**组件消融**、**生成视频上的受控评估**、**跨生成器泛化测试**和**真实无人机数据评估**四大类。 —- ### 一、组件消融实验（第4节） #### 1. 多模态嵌入模型选择对比了四种多模态嵌入模型在标签检索上的准确率，以确定记忆库的编码器： - **对比模型**：Qwen3-2B-VL、CosmosEmbed1、Rzen-v2-7B、Ops-MM-7B - **评价指标**：风、湿度、坡度、植被四个标签的 Top-1 匹配率 - **结论**：Qwen3-2B-VL 在多数标签上表现最优，被选为最终嵌入模型（见图4） #### 2. 候选重排序（Reranking）有效性评估引入 GPT-5 重排序对检索精度的提升： - 无重排序时，精确四标签匹配率为 **45.5%** - 加入 GPT-5 重排序后，提升至 **51.5%** - 检索数量 k 从 1 增加到 4 时，四标签命中率从 51.52% 提升至 **69.70%**（表3、附录表22） #### 3. 视频记忆 vs. 文本记忆验证存储视频片段相对于仅存储文本提示或标题的必要性： - **完整多模态记忆**：51.5%（四标签精确匹配） - **视频生成提示作为文本记忆**：17.2% - **先 Caption 再文本检索**：16.2% - 结论：完整视频记忆在所有四个单独标签上也显著优于纯文本记忆（表2） #### 4. 多智能体报告结构消融在六个模拟器衍生的下游任务上，逐一移除或单独使用某个智能体，评估对最终报告准确率的影响： - **完整系统**：**77.3%** - 消融项包括：移除裁判（72.6%）、移除查找记忆智能体（74.3%）、移除组合记忆智能体（74.1%）、移除直接视觉智能体（73.6%） - 单一智能体基线：仅直接视觉（66.8%）、仅组合记忆（72.2%）、仅查找记忆（67.8%） - 理论上界（Oracle，只要任一智能体正确即算对）：82.3%（表1） —- ### 二、模拟到视频的对齐验证（第5.1节 & 附录D）在将 2D 模拟提升为生成视频后，需要验证生成视频是否忠实于代理渲染的控制信号： - **图像对齐指标**：SSIM、边缘 F1、RGB L1、LPIPS - **正确配对胜率**：生成视频与其配对的代理渲染相比，相较于错配渲染的胜率在 LPIPS 上达 **99.1%**，SSIM 上达 **76.6%** - **方向性线索误差**： - 烟雾羽流主轴平均误差：**7.6°** - 火线蔓延轴平均误差：**35.8°** - **VLM 主观评分**：使用 GPT-5.6-luna 对火锋位置、燃料分布、燃烧面积、地形结构进行 0–100 分评估，平均得分为 **75.00**（附录表14） —- ### 三、保留生成视频上的受控评估（第5.2–5.4节）在 500 个地理不重叠的模拟位置中，400 个用于构建记忆，100 个作为保留测试集。 #### 5. 环境驱动因素（四标签）预测对比了直接查询主流 VLM 与基于记忆检索的方法： - **直接查询基线**：Gemini 2.5（22.6%）、Claude 4（22.2%）、GPT-5（21.2%）、GPT-4.1（16.2%） - **记忆检索（无重排序）**：45.5% - **记忆检索（有重排序）**：**51.5%** - 三标签和两标签正确率也同步提升（表3） #### 6. 记忆规模效应将记忆库从 100 个片段扩展到 400 个片段： - 精确四标签准确率从 **26.3%** 提升至 **51.5%** - 各单独标签（风、湿度、坡度、植被）准确率均随记忆规模增大而提升（图7） #### 7. 下游火灾行为报告（六个二值字段）在六个模拟器衍生的报告字段上评估完整系统与基线： - **字段定义**：快速蔓延风险、高峰燃烧面积、高最终烧伤面积、高冠层覆盖、快速增长+大面积燃烧、严重火灾行为 - **完整系统**：在六个字段上均取得最高或次高准确率，平均领先于直接 GPT 查询、ForestFireVLM-7B 和 Qwen2-Wildfire-2B - 例如：快速蔓延风险上达到 **75.3%**（对比直接 GPT 的 55.7%）（表4） —- ### 四、跨生成器与真实无人机泛化测试（第5.5节 & 附录L） #### 8. 跨生成器泛化测试当查询视频与记忆视频由**不同视频生成器**合成时系统的鲁棒性： - 使用 **LTX-2.3 + AVControl** 替代原有的 VACE 作为生成骨干 - **LTX 查询 → VACE 记忆**：41.00%（最强直接 VLM 基线为 28.00%） - **VACE 查询 → LTX 记忆**：44.44%（最强直接 VLM 基线为 27.27%） - 结论：跨生成器时性能有所下降，但仍显著优于直接 VLM 查询（表5a） #### 9. 真实无人机（UAV）视频评估在三个公开真实无人机数据集上评估可观测的监测任务（这些数据集不包含完整的环境驱动标注，因此仅测试感知能力）： | 数据集 | 任务 | 本系统表现 | 主要对比基线 | |————|———|——————|———————| | **Boreal Forest Fire** | 烟雾检测（准确率） | **100%** | Claude 4、ForestFireVLM-7B 也达 100% | | **FireMan-UAV-RGBT** | 火灾存在检测（平衡准确率） | **0.9625** | 最佳基线 0.8625 | | **FLAME** | 可见火灾面积排序（NDCG） | **0.984** | 最佳基线 0.973 | | **FLAME** | 最大火灾 Hit@1 | **0.850**（并列） | Claude Sonnet 4.6 也达 0.850 | —- ### 五、补充基线与效率实验（附录） #### 10. 带标注参考视频的少样本基线为直接 VLM 提供 16 个覆盖所有标签组合的标注参考视频（查询的模拟器元数据仍隐藏）： - 最强基线（GPT-5 mini）仅达到 **27.27%** 的四标签精确匹配，仍远低于完整记忆系统的 51.5%（附录表20） #### 11. 重排序器效率与准确性权衡对比了 GPT-5、Claude Sonnet 4.5、Gemini 2.5 Pro 和本地运行的 Qwen3-VL-Reranker-2B： - GPT-5 与 Gemini 2.5 Pro 均达 51.52% 准确率，但 GPT-5 平均延迟更低（约 9.18 秒 vs 22.24 秒） - Qwen3-VL-Reranker-2B 在本地 H200 上最快（5.79 秒），但准确率降至 40.40%（附录表21） #### 12. 检索数量 k 的消融系统测试了 k=1 到 k=4 的检索覆盖率： - 精确四标签命中率：51.52% → 57.58% → 64.65% → **69.70%** - 各属性的 Hit@k 随 k 增加而单调上升（附录表22）这些实验共同支持了论文的核心结论：通过模拟驱动的物理标签视频记忆，可以在不微调 VLM 权重的情况下，显著提升野火环境驱动因素估计和火灾行为报告的准确性，并在跨生成器和真实无人机感知任务中展现出一定的泛化能力。 Q5: 有什么可以进一步探索的点？基于论文第7节（Limitations and Future Work）及全文技术框架，可进一步探索的方向包括： - **真实世界物理标注校准与验证** 当前物理标签完全源自 SimFire 模拟器，真实无人机数据集（Boreal、FireMan-UAV-RGBT、FLAME）仅用于感知层面的烟雾/火灾检测与可见火区评估。未来需在真实野火事件中部署同步气象站、风速廓线仪与燃料含水率传感器，建立带有精确物理标注的真实视频基准，以验证模拟记忆向真实场景的迁移能力。 - **场景覆盖度的系统性扩展** 现有模拟固定于 3,km 域、Rothermel 地表火模型及 Anderson 13 燃料模型。可进一步纳入： - 冠层火灾与地表-冠层耦合燃烧； - 飞火（spotting）与火-大气耦合动力学； - 扑救干预（阻燃带、洒水、点烧）的实时反馈； - 天气边界的非平稳性（阵风锋、湿度锋）。 - **专家参与的操作级验证** 论文报告为结构化 HTML 输出，尚未经过消防管理专家的操作有效性审查。后续应引入野火行为分析师与事件指挥人员，对以下方面进行人为评估： - 环境驱动标签（风、湿度、坡度、植被）的可信度； - 下游报告字段（如 v(max) ≥ 0.30,m/s 对应蔓延风险等级）与现场决策的匹配度； - 自然语言叙事摘要是否存在误导性过度自信。 - **生成条件与视频合成骨干的解耦分析** 当前视频外观同时受 Blender 代理几何、深度/涂鸦控制信号及文本提示影响。需设计控制实验，隔离以下因素的独立贡献： - 固定代理渲染 vs. 生成模型自由发挥； - 正提示 vs. 负提示对标签一致性 cues 的塑造； - 不同生成器（VACE、LTX-2.3、Cosmos-Transfer1）在跨生成器检索中的特征偏移量。 - **证据与计算匹配的对比基线** 现有消融实验移除了特定智能体，但未在相等上下文长度、API 调用次数或视觉令牌预算下与单智能体基线进行严格对照。未来应构建**等计算/等证据**基线，以精确量化多智能体分歧裁决（disagreement adjudication）相对于简单集成策略（如多数投票、加权平均）的边际收益。 - **与应急响应及无人机规划系统的闭环集成** 论文框架当前为开环报告系统。可探索与以下系统的接口： - 无人机路径规划器（如基于 VLM 的强化学习野火跟踪系统，Webb et al., 2026）； - 多智能体协同 hazard-adaptation 框架（如 MARSHA, Xie et al., 2025）； - 实时疏散决策支持，将模拟记忆检索与动态风险图叠加。 - **记忆库覆盖不足与检索失败的缓解机制** 当前检索准确率高度依赖记忆库对标签空间的覆盖（400 条片段使四标签匹配率达到 51.5% ，但 k=4 命中率仅 69.70% ）。可研究： - 主动记忆合成策略，针对检索盲区定向生成稀缺标签组合； - 层级索引结构，将四标签空间与连续物理量（如精确风速 w 、含水率 M_f ）联合嵌入； - 不确定性量化：当检索共识 C_t(y mid q) 低于阈值时，系统主动声明“未知”而非强行预测。 - **代理裁决机制的校准与可靠性** 法官代理（Judge Agent）目前基于启发式规则信任视觉或记忆证据，但未对其校准误差进行统计表征。未来可引入： - 任务特定的智能体可靠性先验 P(correct mid agent, task) ； - 贝叶斯共识聚合，替代当前的硬路由（ unanimous pass / dispute judge ）； - 对抗性测试：向查询帧注入分布外扰动（如极端光照、传感器噪声），评估报告鲁棒性。 - **程序化代理的自动化进化与资产扩展** 当前 Blender 映射为固定规则集，新场景类型需人工扩展资产。借鉴 Code World Model（Chen et al., 2026b）与 GPT-6 Astra 的场景创作能力，可探索： - 由代码代理根据新燃料模型或地形类型自动生成 Blender 几何节点与材质； - 运行时自适应代理细节层级，以平衡模拟保真度与渲染开销。 Q6: 总结一下论文的主要内容该论文提出了一种**基于模拟的代理式视觉语言模型（VLM）框架**，用于野火监测与报告，旨在弥合真实野火视频缺乏物理标注与火灾模拟器缺乏视觉可解释性之间的鸿沟。 ### 研究背景与核心问题野火监测的本质是将视觉观测与底层物理状态（风速、湿度、坡度、燃料、燃烧范围等）相关联。然而，该领域面临双重稀缺性： - **真实世界数据稀缺**：真实野火视频通常缺乏同步的物理环境标注，现场采集危险且昂贵； - **模拟器输出不可视**：高效的 2D 火灾模拟器（如 SimFire）输出网格状态与掩膜，而高保真 3D 火灾模拟计算成本极高，难以大规模覆盖不同燃料、地形与天气条件。 ### 框架概述论文提出的框架分为两大阶段： 1. **模拟驱动的视觉证据构建** 以高效的 2D 野火模拟为基础，通过全自动流程将其转换为带有物理标签的受控视频片段： - **2D 模拟**：基于 Rothermel 模型与真实 LANDFIRE 地形/燃料数据，在约 3,km 域上运行，输出逐时刻火场状态； - **3D 代理转换**：通过固定的 Blender 程序，将模拟场（高程、燃料、火锋、风向）映射为轻量级 3D 场景（地形网格、植被/燃料广告牌、火焰与烟雾广告牌）； - **可控视频生成**：以 3D 代理渲染的深度图、涂鸦序列和元数据生成的文本提示为条件，使用 VACE 生成视觉更丰富的航拍视频片段。每个片段保留其模拟器衍生的物理标签。 2. **记忆增强的多代理 VLM 报告** 将生成的视频片段组织为可重用的**物理标签多模态记忆库**，并构建无需微调权重的多代理推理系统： - **记忆检索**：使用 Qwen3-2B-VL 嵌入查询视频，召回视觉上相似的参考片段，并通过 GPT-5 重排序精炼候选； - **互补式三代理推理**： - **视觉代理**：仅基于查询帧的直接可见线索推理； - **查找记忆代理**：基于查询帧与检索到的四标签先验推理； - **组合记忆代理**：基于查询帧、标签先验及检索片段的完整模拟器元数据（风速、燃烧面积等）推理； - **分歧裁决**：若三代理一致，直接采纳；若存在分歧，由法官代理（Judge Agent）综合视觉证据与记忆共识进行裁决； - **报告输出**：生成包含预测标签、推理依据、检索摘要与叙事建议的结构化 HTML 报告。 ### 实验与主要结果论文在 500 个地理不重叠的模拟位置（400 个构建记忆，100 个保留测试）以及真实无人机数据集上进行了评估： - **环境驱动因素预测（四标签：风、湿度、坡度、植被）** - 基于重排序的视频记忆达到 **51.5%** 的精确四标签匹配率； - 直接查询最强 VLM 基线仅为 **22.6%**； - 纯文本记忆（提示或标题）仅为 **16–17%**； - 记忆规模从 100 扩展至 400 条片段，四标签准确率从 26.3% 提升至 51.5%。 - **下游火灾行为报告（六个二值字段）** - 完整多代理系统达到 **77.3%** 的字段级准确率； - 显著优于直接 GPT 查询（如快速蔓延风险：75.3% vs 55.7%）及领域微调模型 ForestFireVLM-7B、Qwen2-Wildfire-2B。 - **模拟-视频对齐验证** - 生成视频与配对代理渲染的 LPIPS 正确配对胜率达 **99.1%**； - 烟雾羽流轴平均方向误差 **7.6°**，火线蔓延轴平均误差 **35.8°**。 - **跨生成器泛化** 当查询视频与记忆视频分别由 LTX-2.3 和 VACE 生成时，系统仍达 **41.0%–44.4%** 的四标签准确率，显著优于直接 VLM 基线（约 28%）。 - **真实无人机视频评估** - **Boreal Forest Fire** 烟雾检测：准确率 **100%**； - **FireMan-UAV-RGBT** 火灾存在检测：平衡准确率 **0.9625**（最佳基线 0.8625）； - **FLAME** 可见火区排序：NDCG **0.984**（最佳基线 0.973）。 ### 主要贡献 - **自动化的模拟-视觉证据转换**：建立了从 2D 野火模拟到可控视频生成的全自动流程，通过固定映射保持模拟器-场景对应关系，在真实物理标注稀缺条件下生成大规模带标签视频数据； - **记忆增强的代理式报告**：将物理标签视频组织为可检索的多模态记忆，结合检索增强与多代理分歧裁决，实现无需模型微调的环境状态估计与结构化报告生成； - **受控与真实数据互补的评估**：在保留生成片段上验证了物理标签恢复能力，并通过跨生成器测试与真实无人机数据集评估了框架的组件有效性与实际感知任务上的迁移能力。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Duowen Chen, Yuchen Sun, Zhiqi Li, Yuxuan Liao, Sinan Wang, Bart van Bloemen Waanders, Bo Zhu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.02451.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.02451

Published: 2026-10-06T03:20:52.220Z