ArXiv Domain 2026-10-23

数据来源：ArXiv Domain

LLM Domain Papers

1. How Far Can the Gemma 4 Speech Encoder Go Without Changing Its Weights? Saudi and Gulf Arabic Speech Recognition with a Frozen and an Adapter-Augmented Encoder

Abstract:We study the 305M-parameter audio encoder shared by Gemma 4 and EmbeddingGemma 2 (bit-identical to that of Gemma 4 E2B except for the final audio-embedding projection) for Saudi and Gulf Arabic speech recognition, without changing any of its pretrained weights; the adapters of our adapted system are additive and kept separate. A frozen system trains only a 22.6M-parameter CTC reader over a learned mix of four intermediate encoder layers and the encoder output; an adapted system adds 3.1M low-rank adapter parameters, a 41.5M-parameter hybrid CTC/attention reader and joint decoding with a sub-word language model. Against Cohere Transcribe Arabic (2.07B parameters), re-run on identical audio, the frozen system trails in word error rate (WER) but is not significantly different in character error rate (CER) on five of six human-labelled conditions, while running 3.4 times faster on CPU with greedy decoding. The adapted system is not significantly different in WER on a public Saudi customer-service call (19.20% against 19.27%) and on clean Emirati speech, is significantly better on telephone-coded Emirati speech, has a significantly lower CER on all six conditions of these sets, and beats a 0.6B recogniser fine-tuned on SADA in WER on all six; it still trails Cohere in WER on long-form Saudi speech. On a blind, human-corrected public call-centre sample it ranks 4 of 15 systems, behind three commercial APIs (significantly only one) and ahead of the other self-hostable systems by point estimate. An optimised joint decoder runs it at 139 times real time on one GPU. We also find, on our data, that references made by correcting machine drafts favour the drafting system. Code and public-set results are released.

中文摘要

摘要：我们研究了由 Gemma 4 和 EmbeddingGemma 2 共享的 3.05 亿参数音频编码器（与 Gemma 4 E2B 完全相同，唯一不同是最终的音频嵌入投影），用于沙特和海湾阿拉伯语语音识别，且未更改其任何预训练权重；我们适配系统的适配器为加性并保持独立。冻结系统仅在四个中间编码器层和编码器输出的学习混合上训练 2,260 万参数的 CTC 读取器；适配系统增加了 310 万低秩适配器参数、4,150 万参数的混合 CTC/Attention 读取器以及与子词语言模型的联合解码。在相同音频上再次运行时，与 Cohere Transcribe Arabic（20.7 亿参数）相比，冻结系统在词错误率（WER）上略逊一筹，但在六种人工标注条件中的五种字符错误率（CER）上无显著差异，同时在 CPU 上使用贪婪解码运行速度快 3.4 倍。适配系统在公共沙特客户服务电话（19.20% 对 19.27%）和干净的阿联酋语音上 WER 无显著差异，在电话编码的阿联酋语音上显著更好，在这些数据集的六种条件下 CER 显著更低，并且在所有六种条件下在 WER 上优于在 SADA 上微调的 6,000 万参数识别器；但在长篇沙特语音的 WER 上仍落后于 Cohere。在一份盲审、人工校正的公共呼叫中心样本中，它在 15 个系统中排名第 4，仅落后于三个商业 API（显著差异仅一个），而根据点估计领先于其他可自托管系统。优化的联合解码器在单 GPU 上运行速度为实时的 139 倍。我们还发现，在我们的数据上，通过纠正机器稿件生成的参考更倾向于起草系统。代码和公共数据集结果已公开发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28673 (HTTP 429)

Authors: Amr Abdelkhalik

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28673.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28673

Published: 2026-10-23T01:56:33.228Z

2. Translation and data ethics

Abstract:This chapter introduces data ethics for translation and discusses a number of ethical issues regarding data. These include issues of copyright, ownership and bias, which apply to all types of data, whereas there are further issues particular to minoritised language communities and those on either side of the digital divide, as data is implicated in power imbalances and dynamics. We close with a discussion of responsibility and regulation, and reflect on the growing attention on data ethics from translation studies researchers.

中文摘要

摘要：本章介绍了翻译中的数据伦理，并讨论了有关数据的若干伦理问题。这些问题包括版权、所有权和偏见问题，适用于所有类型的数据，而对于少数语言社区以及数字鸿沟两端的人群，还存在特定的进一步问题，因为数据涉及权力不平衡和动态。最后，我们讨论了责任与监管，并反思了翻译学研究者对数据伦理日益增长的关注。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28710 (HTTP 429)

Authors: Joss Moorkens, Monja Jannet

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28710.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28710

Published: 2026-10-23T01:56:33.228Z

3. SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models

Abstract:Current evaluation of LLMs on benchmarks typically aggregates performance over individual examples into a single scalar score. This approach is overly coarse and ignores the diverse scope of skills covered by benchmark datasets. To address this limitation and better exploit benchmark data, we propose SkillEval, a new evaluation framework that performs cross-model, skill-level analysis. The framework integrates advances from two areas: (1) it leverages the meta-cognitive capabilities of LLMs to automatically discover interpretable skills from questions, and (2) it applies cognitive diagnosis models (CDMs) from psychometrics to estimate per-skill abilities of LLMs. We conduct experiments on 3,811 LLMs evaluated on 9,523 items across five benchmarks spanning diverse domains (MATH, BBH, GPQA, MuSR, IFEval). Compared to the traditional average-based evaluation paradigm, SkillEval produces reliable, more calibrated and informative yet concise model profiles that more accurately predict model behavior on unseen items. We also demonstrate the utility of SkillEval in two downstream tasks: (1) LLM routing, which dynamically assigns each query to a capable but efficient model, reducing inference cost by over 60% while achieving improved performance, and (2) Computerized Adaptive Testing (CAT), where an unseen model can be efficiently evaluated using a trained CDM. Furthermore, we show that these skill profiles provide useful insights, for example, how benchmarks share skills and how instruction-tuned models differ from their base models.

中文摘要

摘要：当前对大型语言模型（LLMs）的基准测试评估通常将单个示例的表现聚合为一个标量分数。这种方法过于粗略，忽略了基准数据集所涵盖的多样化技能范围。为了解决这一限制并更好地利用基准数据，我们提出了SkillEval，一个新的评估框架，可执行跨模型、技能级别的分析。该框架整合了两个领域的进展：（1）利用LLMs的元认知能力自动从问题中发现可解释的技能；（2）应用心理测量学中的认知诊断模型（CDMs）来估计LLMs的每项技能能力。我们在三个LLMs上进行实验，这些模型在五个跨不同领域的基准（MATH、BBH、GPQA、MuSR、IFEval）上共评估了9,523个题目。与传统的基于平均值的评估范式相比，SkillEval产生了可靠的、更校准和信息丰富但简洁的模型档案，更准确地预测模型在未见过题目上的行为。我们还展示了SkillEval在两个下游任务中的实用性：（1）LLM路由动态地将每个查询分配给既有能力又高效的模型，将推理成本降低超过60%，同时实现性能提升；（2）计算机化自适应测试（CAT），可以使用训练好的CDM有效评估未见过的模型。此外，我们还展示了这些技能档案提供了有用的洞见，例如基准测试如何共享技能以及指令调优模型与其基础模型的差异。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28767 (HTTP 429)

Authors: Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28767.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28767

Published: 2026-10-23T01:56:33.228Z

4. Scaling Therapy Supervision: Assessing Psychotherapy Fidelity Using Large Language Models

Abstract:Psychotherapy fidelity assessment measures how faithfully a therapist adheres to a treatment protocol, a critical determinant of positive patient outcomes. However, fidelity assessment is bottlenecked by manual expert review, rendering the process labor-intensive and unscalable. To scale therapy supervision and support clinician self-learning, we present an integrated application of large language models (LLMs) that automates psychotherapy fidelity workflows and generates actionable supervisory feedback from authentic, long-form clinical transcripts. We evaluate three open-weight models across multiple task decomposition configurations and reasoning strategies, demonstrating that evidence-first reasoning improves fidelity estimation. Furthermore, we establish the framework’s external construct validity on an independent randomized controlled trial (RCT), where it reliably distinguishes Cognitive Behavioral Therapy (CBT) from non-CBT sessions across core therapeutic skills. Through a user study that evaluates the generated feedback, mental health experts indicate that the pipeline synthesizes actionable clinical feedback. Ultimately, our work offers a practical, scalable solution toward bridging the community mental health supervision gap.

中文摘要

摘要：心理治疗忠实度评估衡量治疗师在多大程度上遵循治疗方案，这是患者获得积极治疗效果的关键因素。然而，忠实度评估受到人工专家审查的制约，使该过程劳动密集且难以扩展。为了扩展治疗监督并支持临床医生自我学习，我们提出了一种大型语言模型（LLM）的综合应用，它能够自动化心理治疗忠实度工作流程，并从真实的长篇临床记录中生成可操作的监督反馈。我们在多种任务分解配置和推理策略下评估了三种开放权重模型，结果表明，以证据为先的推理可以改善忠实度估计。此外，我们在一项独立的随机对照试验（RCT）中验证了该框架的外部构念效度，结果显示它能够可靠地区分认知行为疗法（CBT）和非CBT环节在核心治疗技能上的差异。通过对生成反馈的用户研究，精神健康专家指出，该流程能够综合出可操作的临床反馈。总之，我们的工作提供了一种实用且可扩展的解决方案，以弥合社区心理健康监督的差距。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28772 (HTTP 429)

Authors: Arvind Pillai, Alexis Roach, Jason Holden, Varsha D Badal, Subigya Nepal, Yu Yvonne Wu, Yuliang Chen, Sudarshan Regmi, Sarah Masud Preum, Nicholas C Jacobson, Nikhil Singh, Eric Granholm, Colin Depp, Andrew Campbell

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28772.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28772

Published: 2026-10-23T01:56:33.228Z

5. Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets

Abstract:Evaluations of large language model (LLM) agents report that pricing agents collude at others’ expense. Yet collusion is defined by enforcement: a cartel, in which competitors share monopoly profits, holds only if a member who cheats is punished. We introduce an audit that tests enforcement by forcing a member to cheat in counterfactual copies of a market, and use it to study what reinforcement learning (RL) teaches agents in pricing and trading. Small LLMs trained by RL learn what their training rivals reward, but only what they readily try. In self-play, they learn fixed rules ignoring their rivals; against a punishing rival, to be deterred; against a cheating rival, to match its cuts, never the costly price war that would deter it, which they rarely try. A war forced into training is learned, but mostly only where it was forced. Against their own copies, deterred and matching agents can earn the same cartel profits, but only matching ones can enforce them, and then thinly: as a by-product and only against large cuts. Q-learners enforce collusion only in pricing. Prompted LLMs reach cartel-like outcomes mostly through rules that ignore the market. Outcome measures cannot tell these cases apart; the audit can.

中文摘要

摘要：对大型语言模型（LLM）代理的评估报告称，定价代理会以他人利益为代价进行勾结。然而，勾结的定义在于执行力：一个卡特尔，即竞争者共享垄断利润的组织，只有在成员作弊时受到惩罚才成立。我们引入了一种审计方法，通过在市场的反事实副本中强制让成员作弊来测试执行力，并用它研究强化学习（RL）在定价和交易中教会代理的内容。通过RL训练的小型LLM会学习其训练对手所奖励的行为，但只能学习它们愿意尝试的行为。在自我对弈中，它们学习固定规则而忽略对手；面对会惩罚的对手时，会为了威慑而学习；面对作弊对手时，会匹配对方的降价策略，但不会尝试昂贵的价格战——这种价格战本可以威慑对手。强制在训练中进行的价格战会被学到，但主要只在被强制的场景中学到。面对自身的复制体时，被威慑和匹配的代理可以获得相同的卡特尔利润，但只有匹配型代理能够执行这种利润，而且执行力很有限：只是结果之一且仅在面对大幅降价时有效。Q-学习者仅在定价中执行勾结。受提示的LLM主要通过忽略市场的规则达到类似卡特尔的结果。结果指标无法区分这些情况；而审计方法可以。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28787 (HTTP 429)

Authors: Hieu Tran, Hong Yu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28787.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28787

Published: 2026-10-23T01:56:33.228Z

6. Where Do Legal Factors Live in LLMs?

Abstract:In case-based legal reasoning, legal professionals identify legally significant fact patterns in a new dispute and compare them with those of decided cases. In AI & Law, HYPO dimensions and CATO factors represent these patterns symbolically, organizing expert knowledge distilled from case narratives as explicit, structured, interpretable, and auditable legal concepts and relations that support case comparison, legal argument, and precedent-based reasoning. Large language models (LLMs) are increasingly used for legal tasks, yet their internal organization of legal knowledge remains difficult to trace. We investigate whether LLMs form internal representations corresponding to all 26 CATO factors. Two research questions examine linear decodability and sparse localization with sparse autoencoders. Experiments cover three open models, Qwen3-1.7B, Qwen3-8B, and Gemma-2 2B, supported by cross-model comparison and human audit of controlled natural-language passages. Results show that all 26 factors are linearly decodable in all three models. Single-feature sparse readouts cover the complete factor catalog, with best-layer test AUCs ranging from 0.86 to 1.00. Five selected features approach full-vector readout performance. We report 78 model-specific layer-feature coordinates, one for each factor in each model. Together, these results show that information corresponding to expert-defined legal factors can be read from the internal activations of LLMs processing legal narratives. By locating these readouts, our study connects legal language and the symbolic abstractions of HYPO and CATO to learned internal representations.

中文摘要

摘要：在基于案例的法律推理中，法律专业人员会在新的争议中识别具有法律意义的事实模式，并将其与已裁决案件的事实模式进行比较。在人工智能与法律领域，HYPO 维度和 CATO 因素以符号化的方式表示这些模式，将从案例叙述中提炼的专家知识组织为明确的、结构化的、可解释和可审核的法律概念及关系，从而支持案例比较、法律论证和基于先例的推理。大型语言模型（LLM）越来越多地用于法律任务，但其内部的法律知识组织仍然难以追踪。我们研究了 LLM 是否形成对应于所有 26 个 CATO 因素的内部表征。两个研究问题检验了线性可解码性和使用稀疏自编码器的稀疏定位。实验涵盖三个开源模型——Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B，并通过跨模型比较和对受控自然语言片段的人类审核进行支持。结果显示，所有三种模型中所有 26 个因素均可线性解码。单特征稀疏读出覆盖了完整的因素目录，最佳层测试 AUC 范围为 0.86 至 1.00。五个选定特征的性能接近全向量读出。我们报告了 78 个模型特定的层-特征坐标，每个模型中每个因素对应一个坐标。总体来看，这些结果表明，可以从 LLM 在处理法律叙述时的内部激活中读取与专家定义的法律因素对应的信息。通过定位这些读出，我们的研究将法律语言以及 HYPO 和 CATO 的符号抽象与学习到的内部表征联系起来。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28799 (HTTP 429)

Authors: Li Zhang, Kevin Ashley

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28799.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28799

Published: 2026-10-23T01:56:33.228Z

7. LIFT: Scoped Constraints for Evaluating and Training Instruction Following

Abstract:Common instruction following (IF) benchmarks, such as IFEval, evaluate the ability of language models (LMs) to follow simple constraints that can easily be verified programmatically. These same constraints, in turn, are used as reward signals for reinforcement learning. This design may lead to reward hacking of constraints, pushing models away from the main task. Recent attempts to address this resulted in benchmarks with richer constraints, but required expert labor, remained closed-access, and cannot be easily extended. We present Lift-Bench, an IF benchmark that asks a model to draft a document given a topic and a structured outline. Constraints are scoped to certain document sections, providing finer control over constraint density. Lift-Bench includes both verifiable and judged constraints, as well as a training counterpart, Lift-Train. Importantly, Lift-Bench provides both main task and instruction-following constraints, mitigating shallow reward hacking. On experiments with multiple models, we find that frontier models struggle with the harder subsets of our benchmark and analyze model performance along multiple axes. We also find that training on Lift-Train is much less susceptible to reward hacking than training on the common IFTrain. Lift-Bench and Lift-Train are publicly available, as well as the data generating pipeline.

中文摘要

摘要：常见的指令遵循（IF）基准，如IFEval，用于评估语言模型（LMs）遵循可以通过程序轻松验证的简单约束的能力。反过来，这些相同的约束也被用作强化学习的奖励信号。这种设计可能导致对约束的奖励操纵，将模型推离主要任务。近期解决这一问题的尝试产生了具有更丰富约束的基准，但需要专家劳动、仍然是封闭访问，并且不易扩展。我们提出了Lift-Bench，这是一个IF基准，要求模型根据主题和结构化大纲起草文档。约束被限定在特定文档部分，从而提供对约束密度的更精细控制。Lift-Bench包含可验证约束和评审约束，以及对应的训练版本Lift-Train。重要的是，Lift-Bench提供了主要任务与指令遵循约束，减少了浅层奖励操纵的可能性。在对多种模型的实验中，我们发现前沿模型在基准的较难子集上表现不佳，并沿多个维度分析模型性能。我们还发现，在Lift-Train上训练比在常见的IFTrain上训练对奖励操纵的敏感性要低得多。Lift-Bench和Lift-Train以及数据生成流程均已公开可用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28819 (HTTP 429)

Authors: Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28819.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28819

Published: 2026-10-23T01:56:33.228Z

8. A Parallel Multi-Dialect Arabic Dependency Treebank

Abstract:Dependency parsing resource development for Arabic has largely focused on Modern Standard Arabic, leaving dialectal Arabic comparatively under-resourced. We introduce MADARTB, the first large-scale parallel dependency treebank spanning five city dialects: Beirut, Cairo, Doha, Rabat and Tunis, and extending an existing parallel MSA version. In total MADARTB consists of 5,000 sentences annotated using the CATiB dependency scheme. We analyze syntactic similarity across all city dialects and MSA. Although global construction profiles exhibit high similarity across varieties, local syntactic structures frequently diverge, revealing substantial structural variation across dialects. We further establish a cross-dialect dependency parsing comparison using a supervised parser and four LLMs. The supervised parser achieves 87.5% LAS, while the best LLM setup trails at 85.7% LAS across all six varieties on the test set. We release our annotations and models publicly.

中文摘要

摘要：针对阿拉伯语的依存句法分析资源开发主要集中在现代标准阿拉伯语，而方言阿拉伯语的资源相对不足。我们介绍了 MADARTB，这是第一个涵盖五个城市方言的的大规模平行依存句法树库：贝鲁特、开罗、多哈、拉巴特和突尼斯，并扩展了现有的平行现代标准阿拉伯语版本。MADARTB 总共包含 5,000 个句子，使用 CATiB 依存方案进行标注。我们分析了所有城市方言与现代标准阿拉伯语的句法相似性。尽管全球句法结构轮廓在各方言间表现出高度相似，但局部句法结构常常不同，揭示出方言间的显著结构差异。我们进一步使用监督解析器和四个大型语言模型建立了跨方言依存句法解析对比。监督解析器在测试集上达到 87.5% 的 LAS，而最佳大型语言模型配置在所有六种变体上仅达到 85.7% 的 LAS。我们公开发布了我们的标注和模型。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28823 (HTTP 429)

Authors: Noor Abo Mokh, Mohamed Adel, Jamila El-Gizuli, Go Inoue, Ahmed Elshabrawy, Nizar Habash

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28823.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28823

Published: 2026-10-23T01:56:33.228Z

9. How to Use Parallel Data for Multilingual Pretraining

Abstract:High-quality human-translated parallel corpora can improve cross-lingual transfer, but are typically too small for large-scale pretraining. Machine-translated web corpora help overcome this limitation, making parallel data available at pretraining scale. Standard multilingual pretraining, however, samples source documents and their translations independently, without explicitly using their parallel structure. We investigate how to use the parallel structure of the data to improve multilingual pretraining by concatenating each document with its translation in the same training sequence. We compare this parallel pretraining (PPT) approach with standard pretraining (SPT), training models from scratch at matched token budgets. Surprisingly, despite the benefits of parallel data reported in prior cross-lingual work, PPT alone does not consistently improve language understanding over SPT. Our further analysis suggests that although PPT builds a strong cross-lingual foundation, as shown by its better use of shared information across languages, the mismatch between parallel training contexts and single-language task inputs limits its gains in general language understanding. This finding motivates a two-stage approach following the pretraining-fine-tuning paradigm: we first use PPT to build a cross-lingual foundation, then continue with SPT to adapt it to standard language modeling. In both high-resource and low-resource settings, the two-stage approach consistently improves general language understanding and cross-lingual task performance over standard pretraining alone at matched training budgets.

中文摘要

摘要：高质量的人类翻译平行语料库可以提高跨语言迁移能力，但通常对于大规模预训练来说规模过小。机器翻译的网络语料库有助于克服这一限制，使平行数据在预训练规模上变得可用。然而，标准的多语言预训练是独立采样源文档及其翻译的，并没有明确利用它们的平行结构。我们研究了如何利用数据的平行结构，通过在同一训练序列中将每个文档与其翻译连接起来来改进多语言预训练。我们将这种平行预训练（PPT）方法与标准预训练（SPT）进行比较，在相同的 token 预算下从零开始训练模型。令人惊讶的是，尽管之前的跨语言工作报告了平行数据的好处，但单独使用 PPT 并不能持续提升语言理解能力。进一步分析表明，尽管 PPT 构建了强大的跨语言基础，如其更好地利用各语言间共享信息所示，平行训练上下文与单语言任务输入之间的不匹配限制了它在一般语言理解方面的收益。这一发现促使我们提出一种遵循预训练-微调范式的两阶段方法：我们首先使用 PPT 构建跨语言基础，然后继续采用 SPT 将其适应于标准语言建模。在高资源和低资源设置中，两阶段方法在相同训练预算下，相较于单独的标准预训练，均能持续提升一般语言理解和跨语言任务性能。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决**如何在大规模多语言预训练中有效利用文档级平行数据的结构**，以同时提升模型的通用语言理解能力与跨语言迁移能力。具体而言，该研究围绕以下核心问题展开： 1. **平行数据的规模与利用之间的矛盾** - 高质量的人工翻译平行语料规模有限，难以支撑大规模预训练；机器翻译的网页语料虽可弥补这一缺口，但标准的多语言预训练（SPT）将原文与译文作为独立样本进行采样，**未能显式利用其平行结构**。 2. **平行预训练（PPT）本身的不稳定性** - 论文提出将源文档与其翻译拼接在同一训练序列中进行**平行预训练（PPT）**，发现尽管PPT能构建更强的跨语言基础（更好地利用跨语言共享信息），但由于**平行训练上下文与下游单语言任务输入之间存在不匹配**，PPT单独使用并未在通用语言理解任务上持续优于SPT。 3. **两阶段预训练策略的提出与验证** - 为克服上述不匹配，论文提出遵循“预训练–微调”范式的**两阶段方法**： - **第一阶段（PPT）**：利用文档级平行数据建立跨语言基础； - **第二阶段（SPT）**：继续以标准独立采样方式进行预训练，使模型适应单语言输入分布。 - 实验表明，在匹配的训练预算下，该策略在高资源（英–法）与低资源（英–斯瓦希里语）设定中均一致地提升了通用语言理解与翻译性能。 Q2: 有哪些相关研究？该论文的相关研究主要分布于以下三个层面： --- ### 1. 多语言预训练数据来源：机器翻译扩展平行语料为了解决高质量人工翻译平行语料规模受限的问题，近期研究探索利用机器翻译将网络文本转换为多语言平行数据，从而覆盖预训练所需的海量token： - **Penedo 等人 (2025, 2026)** 通过 FineTranslations 项目将非英语 FineWeb2 文档翻译为英语，生成超过万亿 token 的翻译语料。 - **Doshi 等人 (2024)** 与 **Wang 等人 (2025)** 则探讨将英语网页语料翻译为多种目标语言，其中 Wang 等人提出的 TransWebLLM 在独立采样翻译文档的前提下，已在斯瓦希里语等低资源语言上取得了有竞争力的多语言性能。 --- ### 2. 利用平行语料进行预训练：从掩码预测到文档级目标如何利用平行结构本身进行预训练是另一条研究主线，其方法随模型架构演变而发展： - **Lample 与 Conneau (2019)** 提出翻译语言建模（Translation Language Modelling），在拼接的平行句子中预测掩码 token，以学习跨语言表示。 - **Lee 等人 (2022)** 与 **Lu 等人 (2023)** 将此类目标扩展至文档级，设计基于编码器–解码器架构的预训练任务，以支持文档翻译与跨语言生成。 - 在 Decoder-only 模型方面，**Kondo 等人 (2024)** 与 **Lin 等人 (2025)** 研究了句子排序与平行数据配比对多语言大模型的影响；**Qorib 等人 (2025)** 则发现在以英语为主的预训练后加入短阶段的平行句子训练，可获得最佳的翻译效果。 - 本文在此基础上，于**文档级别**系统比较了长阶段平行预训练（PPT）与标准预训练（SPT）的组合顺序，并检验了两种训练顺序对理解与生成的影响。 --- ### 3. 序列构造与多语言上下文利用预训练序列中文档的组织方式直接影响模型对上下文的利用效率： - **Zhao 等人 (2024)** 指出随机的跨文档上下文可能干扰语言建模；相对地，**Shi 等人 (2024)** 与 **Staniszewski 等人 (2025)** 表明将相关文档分组打包能够改善长上下文利用与语言建模效果。 - 在多语言场景下，**Wu 等人 (2025)** 通过拼接标题匹配的跨语言维基百科文章进行“跨语言上下文预训练”，并对比了简单并置与拼接的差异。 - **Shao 等人 (2026)** 发现，若从预训练语料中移除自然出现的双语/混语文档，模型翻译性能会下降；恢复这些平行内容则可挽回大部分性能损失。 - 与上述工作侧重于文档相关性或混语性不同，本文通过**固定目标内容、变化跨语言上下文**的实验设计，直接量化了“对应内容”（corresponding content）对预测的贡献。 --- ### 4. 预训练范式此外，论文的方法论动机亦与以下研究一脉相承： - **Howard 与 Ruder (2018)** 提出的“预训练–微调”范式为本文的两阶段策略（PPT→SPT）提供了框架基础，即先通过特定目标构建能力，再通过后续训练适配到目标分布。 Q3: 论文如何解决这个问题？论文通过提出并验证一种**两阶段预训练策略（PPT→SPT）**来解决该问题。整体思路遵循“先建立跨语言能力，再适配单语言任务分布”的范式，具体实现分为以下步骤： --- ### 1. 核心方案：两阶段预训练（PPT→SPT）该方案将预训练过程明确划分为两个阶段： - **第一阶段（PPT）**：利用文档级平行结构，通过**平行预训练（Parallel Pretraining, PPT）** 构建跨语言基础； - **第二阶段（SPT）**：从PPT中间检查点继续，切换为**标准预训练（Standard Pretraining, SPT）**，使模型适应独立采样的单语言文档分布。实验表明，在总训练预算相同的情况下，该策略在高资源（英–法）与低资源（英–斯瓦希里语）设定中，均同时提升了通用语言理解与翻译性能。 --- ### 2. 阶段一：PPT 构建跨语言基础为显式利用平行语料的结构，PPT 对训练序列构造方式进行了重新设计： - **文档配对与拼接**：将同一文档的源语言版本与其译文拼接为**单个训练序列**，而非像 SPT 那样独立采样。 - **语言标识与分隔**：每个文档前添加语言前缀（如 `"English:n"`、`"French:n"`），两篇文档之间以换行分隔，序列末尾添加文档结束符。 - **交替语言顺序**：在跨文档配对时交替源语言与目标语言的先后顺序，确保模型在双向都能获得跨语言上下文。 - **注意力机制**：在 2,048 个 token 的窗口内，注意力可跨越文档边界，使得预测后半部分文档时，模型能直接访问前半部分对应内容的跨语言表达。通过这种方式，PPT 迫使模型在预测下一个 token 时利用跨语言对应信息，从而建立更强的跨语言共享表示。 --- ### 3. 阶段二：SPT 适配单语言输入分布尽管 PPT 能提升跨语言上下文利用能力，但论文发现其单独使用时存在关键局限： - **上下文不匹配**：PPT 的训练输入始终是**双语平行序列**，而下游通用语言理解任务（如常识推理、问答）的输入通常是**单语言文本**。这种分布差异导致 PPT 学到的跨语言能力难以在单语言任务上充分发挥，其通用语言理解表现与 SPT 相比并无持续优势。为弥合这一差距，论文在 PPT 之后引入 SPT 续训： - 从 PPT 的中间检查点（如 60B 、 100B 或 160B token）开始，继续以**独立采样**的方式训练约 20B token； - 使用新的优化器，配合**学习率重新预热**（re-warming）及随后的余弦衰减，使模型逐步适应单语言文档的语言建模目标。这一续训过程在保持 PPT 带来的跨语言优势的同时，显著降低了单语言预测损失，从而将能力“迁移”到标准单语言输入分布上。 --- ### 4. 行为分析与机制验证为解释两阶段策略的有效性，论文设计了固定目标内容、变化跨语言上下文的预测实验： - **单语言建模能力**：在 WMT14 和 AfriDocMT 上测量模型对单语言目标文本的预测损失（以 bits per byte, BpB 为单位）。结果显示，PPT→SPT 在匹配预算下的**目标语言单独损失**低于纯 SPT 与纯 PPT。 - **跨语言上下文利用**：通过比较“对应源文本前缀”与“无关源文本前缀”下的损失差异，发现 PPT→SPT 保留了显著高于 SPT 的**对应源文本收益**（corresponding-source benefit）。 - **注意力干预实验**：通过阻断模型对对应源句子的注意力，进一步验证 PPT→SPT 模型在中间层（如 9 – 16 层）对跨语言对应内容具有更高的敏感性。 --- ### 5. 实验验证与性能提升在 1.3B 参数的 Llama 2 架构模型上，论文对以下四种策略在相同总预算下进行了对比：SPT-only、PPT-only、PPT→SPT、SPT→PPT。 | 设定 | 通用语言理解 | 翻译性能（BLEU） | |------|-------------|-----------------| | **英–法（ 120B token）** | PPT→SPT 超过 SPT-only | 19.25 to 34.03 （相对提升 77% ） | | **英–斯瓦希里语（ 120B token）** | PPT→SPT 达到最高斯瓦希里语均值 | 9.07 to 13.18 （相对提升 45% ） | 结果表明，**PPT→SPT** 在两种资源设定下均一致地优于单独使用 SPT 或 PPT，实现了通用理解能力与跨语言生成能力的同步提升。 Q4: 论文做了哪些实验？论文围绕**如何在大规模预训练中利用平行数据**这一核心问题，设计了系统性的对比实验与行为分析实验。具体实验设置与内容如下： --- ### 1. 基础实验设置 - **模型架构**：基于 Llama 2 的 1.3B 参数 Decoder-only Transformer（TransWebLLM 架构与分词器）。 - **预训练语料**：使用 TransWebEdu（Wang et al., 2025）中的英文文档及其机器翻译版本，涵盖： - **英语–法语**（高资源设定，约 150B tokens/语言） - **英语–斯瓦希里语**（低资源设定） - **序列长度**： 2,048 tokens。 - **训练预算**： - 基础训练（SPT / PPT）：约 200B tokens，每 20B 保存检查点。 - 两阶段续训：从中间检查点（ 60B 、 100B 、 160B ）继续训练 20B tokens。 --- ### 2. 核心训练策略对比实验为控制变量，所有模型从相同初始权重出发，在**相同总训练预算**下比较四种策略： | 策略 | 描述 | |------|------| | **SPT** | 标准预训练：源文档与译文独立采样，作为无关样本。 | | **PPT** | 平行预训练：将同一文档的源语与译文拼接为单个训练序列，交替语言顺序。 | | **PPT→SPT** | 先进行 PPT，再从中间检查点切换为 SPT 续训 20B tokens。 | | **SPT→PPT** | 先进行 SPT，再从中间检查点切换为 PPT 续训 20B tokens。 | 在英语–法语上，论文测试了早期（ 60Bto 80B ）、中期（ 100Bto 120B ）与晚期（ 160Bto 180B ）三种切换节点；英语–斯瓦希里语则聚焦于中期（ 100Bto 120B ）。 --- ### 3. 下游任务评估实验 #### 3.1 通用语言理解任务在每种语言上评估多项选择题与推理任务，采用 5 -shot 演示（TruthfulQA 采用固定前缀），通过 lm-evaluation-harness 进行评测： - **英语–法语**： - ARC-Challenge、HellaSwag、TruthfulQA MC1、PAWS-X、XNLI、XWinograd。 - 对英法双语任务得分取平均。 - **英语–斯瓦希里语**： - XNLI、XStoryCloze、COPA/XCOPA、Global-MMLU-Lite。 - 对英斯双语任务得分取平均。 #### 3.2 翻译任务使用语料级 BLEU（SacreBLEU）评估双向翻译质量： - **英语–法语**：FLORES-200 与 WMT14，两个方向，两种提示格式（Prompt A / B）。 - **英语–斯瓦希里语**：FLORES-200，两个方向，两种提示格式。 --- ### 4. 行为分析与机制探究实验为解释 PPT 与两阶段策略对模型内部行为的影响，论文设计了一系列**固定目标内容、变化上下文**的预测实验： #### 4.1 单语言建模与跨语言上下文利用在**固定目标续写**的前提下，改变前文语境，测量负对数似然（以 bits per UTF-8 byte, BpB 为单位）： - **目标单独预测（Target-only）**：仅提供目标语言前缀，衡量单语言建模能力。 - **对应源文本收益（Corresponding-source benefit）**：

Benefit = Loss(unrelated source) - Loss(corresponding source)
衡量对应跨语言内容带来的预测增益。实验分别在： - 英语–法语的 WMT14 新闻测试集（ 173 篇对齐文档，前三句对齐）； - 英语–斯瓦希里语的 AfriDocMT 健康文档（ 61 篇对齐文档）上进行。 #### 4.2 对应内容利用的细粒度干预基于 WMT14 中 133 篇前八句对齐的文档对，执行两种干预： - 源文本扩展（Source extension）： - 固定目标句 1 – 8 ，将源文本从 1 – 3 句扩展至 1 – 8 句； - 对比“对应扩展”与“无关扩展”带来的损失下降差异，检验模型是否利用新增对应内容。 - 注意力阻断（Attention blocking）： - 在完整输入中，阻断目标句 4 – 8 的预测位置对源句 4 – 8 的注意力； - 分别在前 8 层、中间 8 层（ 9 – 16 ）、后 8 层（ 17 – 24 ）独立执行，测量损失上升幅度。 #### 4.3 单语言任务答案变化分析通过对比同一检查点前后（ 100B to 120B ）的预测结果，分解准确率变化来源： - HellaSwag（英法）：统计“纠正错误”（corrected）与“丢失正确”（lost）答案的比例。 - XStoryCloze（英斯）：分析对齐故事在续训后的答案保持与转换情况。 #### 4.4 概念–属性关联判断使用英语 COMPS-BASE 最小对（minimal pairs）测试模型对概念与属性关联的鲁棒性： - 判断属性短语在合适概念前是否获得更高概率； - 覆盖功能、视觉感知、其他感知、百科全书式、分类学五类属性。 —- ### 5. 主要实验结果概要 - PPT 单独使用：跨语言上下文利用显著优于 SPT，但单语言建模损失更高，且通用语言理解未持续超过 SPT。 - PPT→SPT：在所有匹配预算下，英法与英斯设定均实现了最高的双语翻译 BLEU，并提升了平均通用语言理解准确率。 - SPT→PPT：也能改善单语言建模与跨语言利用，但在翻译任务上通常不如 PPT→SPT。这些实验从下游任务性能与内部预测行为两个层面，共同支撑了“先平行预训练建立跨语言基础，再标准预训练适配单语言分布”的有效性。 Q5: 有什么可以进一步探索的点？基于该论文的实验发现与自陈局限，以下方向值得进一步探索： —- ### 1. 模型规模与架构的扩展验证论文仅在 1.3B 参数的稠密 Transformer 上进行了验证。尚不明确 PPT→SPT 的优势是否随模型规模增长而保持、放大或收敛： - 在 7B 、 13B 乃至 70B+ 参数规模上复现实验； - 检验该策略对混合专家架构（MoE）的有效性，尤其是路由机制在平行序列与单语言序列切换时的适应性； - 探索更长的上下文窗口（如 8K 或 128K ），评估文档级平行结构在长程依赖建模中的增益边界。 —- ### 2. 语言覆盖与类型学多样性当前实验局限于英语–法语（高资源、同语系）与英语–斯瓦希里语（低资源、跨语系）： - 扩展至多语言混合场景（如 100+ 语言的 mBERT/mT5 设定），检验 PPT→SPT 对多语言干扰与代表性倾斜的缓解作用； - 引入形态学差异更大、资源更稀缺的语言（如纳瓦霍语、缅甸语），验证策略在极端低资源设定下的鲁棒性； - 探讨语系亲近性对最优切换节点的影响：对于与英语差异更大的语言，PPT 阶段是否需要更长或更短的预算。 —- ### 3. 阶段配比与课程学习策略的精细化论文采用固定的 20B tokens 续训窗口，且切换节点为离散的几个检查点： - 系统扫描切换时机（如 PPT 占总预算的 10% 、 30% 、 50% ）与续训长度，建立预算分配与下游性能的帕累托前沿； - 设计交替或渐进式课程：例如从高频交错 PPT/SPT 批次，逐步过渡到纯 SPT，而非硬切换； - 引入可学习的或基于验证集性能的自适应切换准则，替代人工预设的 token 预算。 —- ### 4. 深层机制与表征分析论文通过预测损失与注意力干预揭示了行为层面的差异，但表征层面的机制仍待澄清： - 利用探测任务（probing）或对比激活分析，比较 PPT→SPT 与 SPT 在跨语言对齐空间（如语言无关概念层 L_(concept) ）的几何结构差异； - 分析 PPT 阶段是否诱导了共享的注意力头（cross-lingual heads），以及 SPT 续训如何保留或重塑这些头的功能； - 研究词汇嵌入空间：PPT 是否促使不同语言的对应 token 在嵌入层形成更紧密的聚类，以及这种聚类与翻译性能的相关性。 —- ### 5. 平行数据质量、噪声与粒度的影响实验基于机器翻译的网页文档（TransWebEdu），未深入探讨数据特征： - 对比人工翻译与机器翻译平行语料：前者质量高但规模小，后者噪声大但可扩展，探索两种数据源在 PPT 阶段的最优混合比例； - 研究文档级与句子级平行结构的差异：若将文档拆分为句子对并交错排列（如 source sentence 1, target sentence 1, source sentence 2…），是否优于文档级拼接； - 量化翻译错误（如语义漂移、幻觉）对 PPT 的负面影响，并设计噪声鲁棒的采样或加权策略。 —- ### 6. 与后训练阶段（指令微调、对齐）的协同论文聚焦于预训练阶段，尚未涉及后续阶段： - 检验在 PPT→SPT 基础上进行多语言指令微调（instruction tuning）时，跨语言指令跟随能力是否优于纯 SPT 基线； - 探索对齐阶段（RLHF / DPO）中平行数据的作用：例如，是否可在偏好数据构建中利用平行文档来保持跨语言价值一致性； - 研究 PPT→SPT 是否减少了对大规模多语言指令数据的依赖，即在低资源语言的指令微调中展现更强的零样本迁移。 —- ### 7. 更复杂的序列构造与上下文组织策略除简单的文档拼接外，可探索更灵活的序列构造： - 多文档平行打包：将一篇源文档与多语翻译（如英语原文 + 法语 + 斯瓦希里语）打包至同一序列，构建多语言“枢纽”结构； - 检索增强式 PPT：在 SPT 阶段，动态检索对应语言的平行文档并插入上下文，而非完全放弃平行信号； - 结合结构化打包（structured packing）技术（如 Staniszewski et al., 2025），在 2,048 token 窗口内优化平行文档与单语言文档的排列，减少无关上下文干扰。 —- ### 8. 计算效率与实用部署考量两阶段训练增加了流程复杂度，需权衡投入产出： - 量化 PPT 阶段相对于纯 SPT 的训练时间与显存开销，尤其是在并行数据加载与配对采样上的系统 overhead； - 探索参数高效续训（如 LoRA、Adapter）在阶段切换时的可行性：是否仅需微调部分层即可实现 SPT 对 PPT 的适配，而非全量续训； - 评估模型在推理阶段的表现：PPT→SPT 是否改变了最优的解码超参数（如温度、重复惩罚）或提示格式敏感度。 —- ### 9. 跨任务与跨模态迁移平行结构的思想可拓展至多语言预训练之外： - 代码–自然语言平行数据：检验 PPT→SPT 范式对代码生成与理解任务的迁移效果，其中“平行”体现为代码与注释/文档的对应； - 多模态平行数据：在视觉–语言预训练中，将图像描述的多语言翻译版本作为平行文档进行 PPT，再切换至单语言多模态 SPT； - 语音–文本平行：探索文档级语音转录文本与其翻译的联合预训练策略。 —- ### 10. 理论视角下的最优性分析从学习理论角度形式化 PPT→SPT 的优势： - 将 PPT 建模为跨语言表示对齐的正则化项，SPT 视为单语言分布拟合的似然项，分析两阶段优化是否收敛至更优的泛化边界； - 研究平行数据比例与语言模型损失景观（loss landscape）的交互，解释为何纯 PPT 会因分布偏移而损害单语言任务性能。 Q6: 总结一下论文的主要内容该论文系统研究了如何在大规模多语言预训练中有效利用机器翻译生成的文档级平行语料，核心内容与贡献可概括如下。 —- ### 研究背景与问题 - 高质量平行数据稀缺：人工翻译的平行语料规模有限，难以支撑大规模预训练；机器翻译虽可将高质量网页文本扩展至多语，但标准多语言预训练（SPT）将原文与译文作为独立样本采样，未显式利用其平行结构。 - 关键矛盾：如何在使用平行数据扩大预训练规模的同时，通过其“平行性”真正提升模型的跨语言迁移能力与通用语言理解能力。 —- ### 核心方法论文提出并对比了两种序列构造方式： - 标准预训练（SPT）：源文档与译文独立采样、独立进入训练序列。 - 平行预训练（PPT）：将同一文档的源语版本与译文拼接为单个序列（如 `English:n

Doc
n French:n
Doc
`），并交替语言顺序，使模型在预测时可直接利用跨语言对应内容。基于上述构造，论文重点提出**两阶段预训练策略（PPT→SPT）**： 1. **第一阶段（PPT）**：利用文档级平行数据建立跨语言基础，强化模型对跨语言共享信息的利用。 2. **第二阶段（SPT）**：从 PPT 中间检查点继续，切换为标准独立采样训练，使模型适配单语言输入分布，缓解平行训练上下文与下游单语言任务之间的**分布不匹配**问题。 —- ### 实验设计 - **模型**：基于 Llama 2 架构的 1.3B 参数 Decoder-only Transformer。 - **语料**：TransWebEdu 的英–法（高资源）与英–斯瓦希里语（低资源）平行数据，各约 150B tokens。 - **训练**：基础训练约 200B tokens；两阶段实验从 60B 、 100B 、 160B 等检查点续训 20B tokens，比较 PPT→SPT、SPT→PPT、纯 SPT 与纯 PPT。 - **评估**： - **通用语言理解**：ARC-Challenge、HellaSwag、XNLI、XStoryCloze 等多项选择/推理任务（5-shot）。 - **翻译**：FLORES-200、WMT14 双向语料级 BLEU。 - **行为分析**：固定目标内容、变化跨语言上下文的预测实验，测量单语言建模损失（bits per byte）、对应源文本收益、注意力阻断影响以及任务答案变化。 —- ### 主要发现 - **PPT 单独使用表现不稳定**：尽管 PPT 在跨语言上下文利用上显著优于 SPT（对应源文本收益更高），但其单语言预测损失也更高，且在通用语言理解任务上未持续超越 SPT。原因在于平行双语训练输入与下游单语言任务输入存在**上下文不匹配**。 - **PPT→SPT 两阶段策略最优**：在相同总训练预算下，该策略一致地优于纯 SPT 与纯 PPT。 - **英–法**： 120B tokens 时，翻译 BLEU 从 SPT 的 19.25 提升至 34.03 （相对提升 77% ），通用语言理解准确率也持续提高。 - **英–斯瓦希里语**： 120B tokens 时，翻译 BLEU 从 9.07 提升至 13.18 （相对提升 45% ），斯瓦希里语理解任务全面改善。 - **机制层面**：PPT→SPT 在续训后**单语言建模损失低于 SPT**，同时**保留了对跨语言对应内容更高的敏感性**（注意力阻断实验与源文本扩展实验证实）。在单语言常识推理任务上，该策略能更多地保留正确答案并纠正错误。 —- ### 结论与贡献 - **核心结论**：大规模文档级平行语料的最优使用方式并非贯穿始终的平行训练，而是**先通过 PPT 构建跨语言基础，再通过 SPT 适配标准语言建模**。这一范式在高低资源语言对中均有效。 - **主要贡献**： - 首次在控制变量条件下，从模型初始训练开始系统比较了文档级平行预训练与标准预训练。 - 揭示了平行预训练在跨语言能力与单语言任务性能之间的张力，并指出分布不匹配是限制其增益的关键因素。 - 提出并验证了两阶段预训练策略（PPT→SPT），在匹配预算下同时提升了通用语言理解与翻译性能，为利用机器翻译扩展多语言预训练数据提供了实用范式。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Zhihong Huang, Yao Lu, Derek F. Wong, Hamid Alinejad-Rokny, Min Yang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28838.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28838

Published: 2026-10-23T01:56:33.228Z

10. KIRA: A Full-Stack Reading Screening System with Dual-Pathway Analysis for Children

Abstract:Early-grade reading screening is critical for identifying children at risk of reading difficulty. Existing AI-based screeners are often limited in the scope of their analyses and evaluation metrics, or are proprietary systems that lack transparent model specifications and evaluation. We present KIRA, a dual-pathway screening system that pairs word-level fluency scoring with detailed phoneme-level error detection. We adapt pretrained word and phoneme recognizers to children’s speech, reducing word error rate from 13.88% to 8.84% and phoneme error rate from 41.66% to 23.00%. Powered by these child-adapted models, we implement Word Reading (WRE) and Oral Reading Fluency (ORF), two foundational tasks in K-2 screening. The system integrates these recognizers with a web-based teacher-facing interface presenting fluency scores alongside phoneme feedback for potential targeted intervention. KIRA brings modern child-speech recognition into a full-stack, deployable, classroom-ready reading screener.

中文摘要

摘要：低年级阅读筛查对于识别有阅读困难风险的儿童至关重要。现有的基于人工智能的筛查工具在分析范围和评估指标方面往往有限，或者是缺乏透明模型规范和评估的专有系统。我们提出了KIRA，一种双路径筛查系统，将词汇级流利度评分与详细的音素级错误检测相结合。我们将预训练的词汇和音素识别器适配到儿童语音，将词汇错误率从13.88%降低到8.84%，将音素错误率从41.66%降低到23.00%。借助这些儿童适配模型，我们实现了词语阅读（WRE）和口语阅读流利度（ORF）两项K-2筛查中的基础任务。该系统将这些识别器与面向教师的网页界面整合，呈现流利度评分及音素反馈，以便进行潜在的针对性干预。KIRA将现代儿童语音识别引入完整、可部署、可用于课堂的阅读筛查工具中。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28840 (HTTP 429)

Authors: Maggie Dong, Rohit Mekkoth, Zixuan Wang, Cheol Jun Cho, Jiachen Lian, Gopala Anumanchipalli

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.28840.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28840

Published: 2026-10-23T01:56:33.228Z

Agent Domain Papers

1. A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation

Abstract:Query clarification is essential for retrieval-augmented generation (RAG) systems that face ambiguous user queries. We consider multi-turn grounded conversational scenarios where a user query is either ill-formed or ambiguous in the context of the prior dialog or, more interestingly, it may be well-formed but when posed against retrieved documents there are multiple relevant interpretations. The task is to recognize both such cases and then generate an appropriate clarification request to the user. We present ClariEdge, a new dataset of approximately 3,900 examples that include such ambiguous queries along with negative examples that do not require clarification. We also show that a lightweight fine-tuned LoRA achieves 96.6% classification accuracy and outperforms prompted baselines of many larger models on both classification and quality of clarification generation. Our study shows that hard negatives are an essential ingredient to separate out queries that are truly ambiguous from queries that may look ambiguous but are not (i.e., can be resolved from the context). The same LoRA achieves high performance in both pre-retrieval and post-retrieval scenarios; thus, it can be used in two places in a RAG pipeline as a check before answer generation. The ClariEdge dataset is available at this https URL.

中文摘要

摘要：查询澄清对于面临模糊用户查询的检索增强生成（RAG）系统至关重要。我们考虑多轮有根对话场景，其中用户查询在先前对话的上下文中要么格式不正确或模糊，或者更有趣的是，它可能格式正确，但在针对检索到的文档提出时存在多种相关解释。这一任务是识别这两种情况，并生成适当的澄清请求给用户。我们提出了ClariEdge，一个包含约3,900个示例的新数据集，其中包括此类模糊查询以及不需要澄清的负面示例。我们还展示了轻量级微调的LoRA在分类准确率上达到96.6%，并在分类和澄清生成质量上均优于许多更大模型的提示基线。我们的研究表明，难负样本是区分真正模糊查询与可能看似模糊但实际上并非模糊（即可从上下文中解决）的查询的重要组成部分。相同的LoRA在检索前和检索后场景中均表现出高性能；因此，它可以在RAG流程中在答案生成前作为检查工具使用。ClariEdge数据集可通过此网址获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28686 (HTTP 429)

Authors: Lihong He, Lucian Popa, Marina Danilevsky

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28686.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28686

Published: 2026-10-23T01:56:54.211Z

2. Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

Abstract:Scaling data, diversity and model capacity has improved embodied learning in physical environments, where diverse experiences remain grounded in shared physical laws. Whether these gains extend to virtual worlds with different visual styles, dynamics, controls, and objectives remains unclear. We investigate this question through a controlled study of continued pre-training (CPT) across three axes: data volume, diversity, and model size. Our 120 training configurations span four model sizes from 0.8B to 27B, six data budgets from 50 to 1,600 hours, and five mixtures ranging from Minecraft-only data to diverse multi-world corpora. We assess performance and generalization using three-level validation losses and gameplay benchmarks from in-corpus worlds to unseen worlds. Our results show: (1) more data improves in-corpus performance, diversity improves transfer to related worlds with limited gains in distant worlds, and model size improves data efficiency but generalizes worse to distant worlds under single-world training; (2) we observe an early interface phase with broad cross-world benefits and a later world phase with gains narrowed to in-corpus and related worlds, and fit an empirical scaling law relating validation loss to data volume, diversity and model size; and (3) our models are competitive with Minecraft specialists and frontier models in 3D worlds, and perform best in real-time settings. However, the limits of imitation and persistent gaps in distant worlds suggest that building generalist embodied agents requires richer training stages beyond continued pre-training.

中文摘要

摘要：在物理环境中，扩展数据规模、多样性和模型容量已经提升了具身学习，其中多样化的经验仍然基于共同的物理规律。然而，这些提升是否能扩展到具有不同视觉风格、动态、控制和目标的虚拟世界仍不清楚。我们通过一个受控研究来探讨这一问题，对三条轴线上的持续预训练（CPT）进行了研究：数据量、多样性和模型规模。我们的 120 个训练配置涵盖了从 0.8B 到 27B 的四种模型规模、从 50 到 1,600 小时的六个数据预算，以及从仅 Minecraft 数据到多样化多世界语料的五种混合方式。我们使用三级验证损失和从语料库内世界到未见过世界的游戏基准来评估性能和泛化能力。我们的结果显示：(1) 更多的数据提升了语料库内的表现，多样性提升了迁移到相关世界的能力，但在远程世界的收益有限，模型规模提升了数据效率，但在单一世界训练下对远程世界的泛化能力更差；(2) 我们观察到一个早期接口阶段，带来了广泛的跨世界收益，以及一个后期世界阶段，收益主要集中在语料库内和相关的世界，并拟合了一个将验证损失与数据量、多样性和模型规模相关的经验缩放规律；(3) 我们的模型在 3D 世界中与 Minecraft 专家模型和前沿模型具有竞争力，并且在实时环境下表现最佳。然而，模仿的局限性和远程世界中持续存在的差距表明，构建通用的具身智能体需要超越持续预训练的更丰富训练阶段。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决**异构虚拟世界中具身智能体的持续预训练（Continued Pre-Training, CPT）扩展规律与泛化机制**问题。具体而言，研究围绕以下核心问题展开： - **物理世界与虚拟世界的扩展差异** - 物理环境共享一致的动力学规律（如重力、接触、物体恒存），因此跨场景经验具有可复用性； - 虚拟世界（如电子游戏）在视觉风格、物理规则、控制接口与任务目标上同时存在剧烈差异，现有工作尚不清楚物理环境中的扩展收益（数据量、多样性、模型容量）是否同样适用于此类异构环境。 - **持续预训练中的因素解耦** - 现有研究在扩展虚拟具身智能体时，通常同时改变数据量、数据多样性与模型规模，导致各因素的独立效应无法辨识； - 论文通过控制实验（4种模型尺寸 × 6种数据预算 × 5种数据混合策略，共120组配置），首次系统分离了这三个轴对性能与泛化的影响。 - **异质经验的互补性 vs. 干扰性** - 核心争议在于：在差异巨大的虚拟世界中进行联合训练，异质经验是会互补以提升跨世界泛化，还是会产生干扰而破坏对任一世界的学习； - 论文通过从同分布世界（Minecraft、DOOM）到相关未见过世界（OmniGameArena）再到遥远未见过世界（GameWorld）的三级评估体系，量化了异质性对泛化的真实作用。 - **扩展规律的建模与预测** - 论文进一步探究是否能够建立经验性的扩展定律（Scaling Law），将验证损失与数据量、世界混合比例及模型参数关联，以预测在虚拟世界持续预训练中的性能演化。 Q2: 有哪些相关研究？根据论文第3页及参考文献，相关研究可分为以下三个主要方向： ### 1. 虚拟具身模型（Virtual Embodied Models）早期研究聚焦于环境特定的专家系统，依赖深度强化学习在单一固定环境中取得超人类表现： - **经典游戏智能体**：在 Atari（Mnih et al., 2015）、Go（Silver et al., 2016）、StarCraft II（Vinyals et al., 2019）和 Dota 2（OpenAI et al., 2019）等环境中，通过固定环境、目标和动作接口实现专家级性能。近期研究转向大型基础模型，追求跨游戏的通用性： - **视频预训练**：VPT（Baker et al., 2022）从互联网无标注视频学习 Minecraft 控制先验。 - **跨游戏像素-动作学习**：NitroGen（Magne et al., 2026）与 OpenP2P（Yue et al., 2026）将像素到动作的学习扩展到更广泛的游戏语料库。 - **大语言/视觉语言模型智能体**：利用预训练的语言和视觉知识进行指令跟随、规划与控制，代表性工作包括 SIMA（Abi Raad et al., 2024; SIMA Team, 2025）、Game-TARS（Wang et al., 2025a）、Lumine（Tan et al., 2025）以及 CombatVLA（Chen et al., 2025）。 ### 2. 虚拟世界作为测试环境（Virtual Worlds as Test Environments）游戏提供了可控的虚拟世界子集，用于在多样化规则和动态下评估感知、推理与动作能力： - **同分布（In-corpus）评估**：Minecraft 基准（Zheng et al., 2025）和 ViZDoom（Wydmuch et al., 2019）用于衡量模型在训练语料覆盖世界内的能力。 - **相关未见过世界（Unseen related worlds）**：OmniGameArena（Lin et al., 2026）包含 7 个未见过但动作原语（导航、瞄准、射击等）与训练语料有语义对应关系的 3D 世界。 - **遥远未见过世界（Unseen distant worlds）**：GameWorld（Ouyang et al., 2026）覆盖 2D、2.5D 和少量 3D 游戏，在视觉风格、物理、控制和目标上与训练数据有显著差异。 ### 3. 持续预训练的可扩展性（Scalability of Continued Pre-training） - **经典扩展定律**：Kaplan et al.（2020）与 Hoffmann et al.（2022）建立了模型性能与参数量、数据量及计算量之间的幂律关系。 - **领域自适应与混合比例**：D-CPT Law（Que et al., 2024）和 CMR Scaling Law（Gu et al., 2024）研究表明，源数据组成会改变自适应与知识保留；Wu et al.（2026）探讨了数据稀缺情境下的重复训练。 - **计算机使用与 GUI 智能体**：ScaleCUA（Liu et al., 2026）、GUIMid（Zhang et al., 2025）和 OpenThoughtsAgent（Raoof et al., 2026）发现任务组成与样本数量同等重要。 - **机器人模仿学习**：Lin et al.（2025）、Wang et al.（2026a）和 Abe et al.（2026）报告了数据多样性扩展、负迁移以及模型容量依赖的干扰现象，为虚拟世界中的异构训练提供了类比。现有虚拟世界 CPT 研究通常同时改变模型规模、训练数据和时长，缺乏对这三个轴的系统隔离，也缺乏在 varying distances from training 的评估体系下测量泛化能力的 controlled study。该工作填补了这一空白。 Q3: 论文如何解决这个问题？论文通过**控制实验网格**系统性地分离并量化了数据量、数据多样性与模型容量三个轴对虚拟世界持续预训练（CPT）的影响，并建立了从训练分布到遥远未见世界的三级评估体系。具体方法如下： ### 1. 构建 120 组条件的阶乘实验网格研究设计了 4 × 6 × 5 = 120 组训练配置，覆盖： - **模型规模**：基于 Qwen3.5 的 0.8B、2B、9B、27B 四种参数量； - **数据预算**：50、100、200、400、800、1,600 小时游戏时长； - **数据混合物**：S1–S5 五种多样性设置，通过调整 Minecraft 轨迹在游戏数据中的占比（100%、51.4%、27.1%、2.8%、0%）实现，其余为固定的 79 个异构游戏世界。该网格总计消耗 3.5 × 10^(11) 训练 token 与 2.2 × 10^(22) FLOPs，确保在统一协议下比较三个轴的独立效应与交互作用。 ### 2. 统一的数据格式与动作空间为消除跨游戏接口差异带来的混淆，研究将游戏玩法形式化为统一的视觉决策过程： - **输入**：提示上下文 c 、当前观测 o_t 与交互历史 H_t ； - **输出**：推理轨迹 r_t 与结构化动作 a_t ，其中 a_t 以 200 ms 为周期，编码鼠标位移 $(Delta x_t, Delta y_t) ∈

-1000, 1000
^2 、滚轮增量 Delta z_t ∈
-5, 5
及每 33 ms 的按键状态。所有配置共享相同的训练目标（对助手响应的因果 next-token 预测）、优化器（AdamW）与学习率调度（Warmup–Stable–Decay），且视觉编码器参数完全可更新，仅变化模型大小、数据量与混合物。 ### 3. 三级评估体系研究从损失与游戏能力两个维度，构建了由近及远的三级评估： - 同分布（In-corpus）：Minecraft 验证损失、MCU 基准（30 项长程任务）与 ViZDoom（射击任务）； - 相关未见过世界（Unseen related）：OmniGameArena（OGA），包含 7 个未见但动作原语（导航、瞄准、射击）与训练语料语义对应的 3D 世界； - 遥远未见过世界（Unseen distant）：GameWorld（GW），以 2D/2.5D 游戏为主，在视觉、物理与控制逻辑上与训练分布显著不同。此外，所有基准均在时间暂停（time-paused）与实时（real-time）两种交互设置下测试，以隔离纯推理能力与推理延迟的联合效应。 ### 4. 识别两阶段学习动态通过分析训练曲线与验证损失演化，论文观察到： - 早期界面阶段（Interface Phase）：前数十小时内，按键、鼠标与格式损失迅速下降，跨所有验证集（包括未见世界）均出现性能提升，表明模型正在习得跨世界共享的控制格式与动作原语； - 后期世界阶段（World Phase）：进一步训练带来的增益高度依赖于训练分布中是否包含对应世界，异构数据在相关世界中产生迁移，但在遥远世界中收益有限甚至下降。 ### 5. 建立三因素经验扩展定律基于上述动态，论文将 Chinchilla 扩展定律推广至异构虚拟世界 CPT，引入混合物比例 rho$ 刻画世界多样性，并增加非零 floor 项以捕捉跨混合物迁移：

L(N, T, rho) = E + (A) / (N^α) + (B rho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为游戏时长， rho 为评估目标世界在训练混合物中的轨迹占比。该定律在训练损失、Minecraft 验证损失与 in-corpus 验证损失上分别取得 R^2 = 0.980 、 0.982 、 0.995 的拟合优度，且能外推至未参与拟合的模型规模、数据预算与混合物配置。 ### 6. 系统对比与瓶颈定位研究将实验导出的 GameScaling 模型与两类基线进行严格对比： - **Minecraft 专家模型**：如 VPT、ROCKET-1、MAIN-VLA 等，证明 CPT 后的通用骨干可在专用任务上超越专门设计的系统； - **前沿基础模型**：包括 GPT-5.6、Gemini-3.8、Claude-Opus-5.0、Qwen3.5 等，在统一的动作接口与提示下评估，发现： - 在时间暂停设置中，CPT 将 27B 骨干的 MCU 与 OGA 分数分别提升约 6 倍与 2.6 倍； - 在实时设置中，由于前沿模型输出长度（123–1,027 token/步）导致的高延迟（4.0–23.7 秒/步），其性能下降约 90%，而 GameScaling 模型（0.13–0.69 秒/步）在动态环境中可保持时间暂停下 88% 的表现，实现最高达 5 倍的实时性能优势。综上，论文通过**控制网格分离变量、统一动作接口、三级由近及远评估、两阶段动态刻画、扩展定律拟合以及跨类别基线对比**，系统回答了虚拟世界 CPT 的扩展规律与泛化边界问题。 Q4: 论文做了哪些实验？该论文围绕**持续预训练（CPT）在异构虚拟世界中的扩展规律与泛化机制**展开了一系列实验，涵盖训练配置网格、多层级验证、游戏基准评估、与前沿模型的对比以及扩展定律拟合等方面。具体实验内容如下： —- ### 1. 120 组条件的阶乘训练网格研究构建了 4 × 6 × 5 = 120 组 CPT 配置，系统分离模型规模、数据量与数据多样性三个轴的独立效应与交互作用： - **模型规模（Model Size）**：基于 Qwen3.5 的 0.8B、2B、9B、27B 四种参数量； - **数据预算（Data Budget）**：50、100、200、400、800、1,600 小时游戏时长，覆盖总计 3.5 × 10^(11) 训练 token； - **数据混合物（Data Mixture）**：S1–S5 五种设置，通过控制 Minecraft 轨迹在游戏数据中的占比实现： - S1：100% Minecraft - S2：51.4% Minecraft - S3：27.1% Minecraft - S4：2.8% Minecraft - S5：0% Minecraft（完全移除 Minecraft）所有配置采用统一的下一个 token 预测目标、AdamW 优化器与 Warmup–Stable–Decay 学习率调度，视觉编码器参数完全可更新。 —- ### 2. 动作界面适应与训练动态监控在 CPT 过程中，论文监控了模型对统一键盘-鼠标动作格式的适应过程： - **动作组件损失**：记录 key token、mouse token 与 format token 的训练损失； - **鼠标方向预测准确率**：跟踪八方向鼠标位移预测的精度； - **两阶段学习动态观察**： - **早期界面阶段（Interface Phase）**：前数十小时内，动作格式与控制原语损失快速下降，跨所有验证集（含未见世界）均出现泛化提升； - **后期世界阶段（World Phase）**：后续增益高度依赖训练分布中是否包含对应游戏世界。 —- ### 3. 三级验证损失评估对每组配置，研究测量了四个层级的损失，以量化从同分布到远分布世界的泛化： - **训练损失（Training Loss）**：100 步 EMA 平滑； - **Minecraft 验证损失**：仅含 Minecraft 的 held-out 轨迹； - **同分布（In-corpus）验证损失**：来自 D2E、OpenP2P 及匹配规模的 Minecraft 测试集，覆盖训练语料中的 80 个游戏世界； - **分布外（OOD）验证损失**：完全来自训练混合物中未出现的 28 个游戏（如 Palworld、Assassin’s Creed、Dota 2 等），涵盖 2D、2.5D 与 3D 环境。 —- ### 4. 四级游戏玩法基准测试在 120 个检查点及基线模型上，研究执行了从同分布到远分布世界的四级能力评估（均在**时间暂停**与**实时**两种交互协议下测试）： | 层级 | 基准 | 环境特征 | 评估内容 | |———|———|—————|—————| | 同分布 | **MCU** | Minecraft | 30 项长程任务（导航、生存、GUI、战斗、合成） | | 同分布 | **ViZDoom** | DOOM | 4 张射击地图的击杀与生存表现 | | 相关未见 | **OmniGameArena (OGA)** | 7 个 UE5 游戏 | 第三人称探索、战术战斗、平台跳跃等 | | 遥远未见 | **GameWorld (GW)** | 34 个环境/170 任务 | 2D/2.5D 街机、解谜、文字游戏等 | 所有基准使用统一的动作解析适配器，将模型的 <|action_start|> dots <|action_end|> 输出转译为各环境原生的键盘-鼠标事件，确保评估仅反映模型能力差异。 —- ### 5. 与前沿模型的系统对比实验研究将 CPT 后的 GameScaling 模型与两类基线进行了受控对比： - **Minecraft 专家模型**：包括 VPT、STEVE-1、ROCKET-1、JARVIS-VLA、OpenHA、MAIN-VLA、GameWAM 等，比较在 MCU 上的任务完成率与步数； - **通用前沿模型**：包括 GPT-5.6-Sol/Luna、Gemini-3.8-Flash、Claude-Opus-5.0、GLM-5.3-Flash、DeepSeek-V4-Flash-Vision 及未训练的 Qwen3.5 骨干，在统一接口与提示下评估。实验特别比较了： - **时间暂停（Time-Paused）**：环境在模型推理时冻结，仅测纯决策能力； - **实时（Real-Time）**：环境持续运行，推理延迟计入总分。 —- ### 6. 测试时扩展（Test-Time Scaling）实验在 MCU 基准上，论文测试了增加交互步数预算对任务成功率的影响： - 将默认 600 步上限提升至 3,000 步； - 对比 GameScaling-0.8B-S1、GameScaling-9B-S1 与未训练的 Qwen3.5 骨干； - 发现 CPT 模型的成功率随步数对数线性增长（从约 42%/51% 升至 59.3%/69.3%），而未训练骨干几乎无法通过增加步数获益，表明 CPT 同时提升了基础能力与测试时扩展效率。 —- ### 7. 稀疏回顾推理标注实验为保留骨干模型的原生推理能力而不改变动作监督，研究进行了稀疏推理注入： - 使用 GPT-5.6-Luna 为部分训练窗口生成回顾性推理（retrospective reasoning），解释观测、意图与动作选择； - 在 S1–S5 中保持约 5.4%–6.0% 的助手轮次携带非空标注，平均每 20 帧样本含 1.08–1.19 条推理、约 70–78 个推理 token； - 验证该标注密度在不同混合物间差异极小，排除了推理密度作为混淆变量的可能。 —- ### 8. 三因素扩展定律拟合与验证实验基于 120 组损失数据，论文拟合并验证了 CPT 的扩展定律： - **定律形式**：将 Chinchilla 定律推广为

L(N, T, rho) = E + (A) / (N^α) + (B rho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为时长， rho 为目标世界轨迹占比。 - **拟合性能**：在训练损失、Minecraft 验证损失、In-corpus 验证损失上分别达到 R^2 = 0.980 、 0.982 、 0.995 ； - **留一法验证**：对 27B 模型、1,600 小时检查点、50 小时检查点及单个混合物进行留块外推，RMSE 保持在 0.0016–0.0027； - **负控制**：OOD 损失因单调性假设失效，拟合显示 β ≈ 0 ，证实 CPT 对遥远未见世界的收益在 50 小时后即停滞。 —- ### 9. 推理延迟与输出长度分析实验为解释实时交互下的性能反转，论文测量了各模型的： - **每步推理延迟**：GameScaling（0.13–0.69 秒/步）vs. 前沿模型（4.0–23.7 秒/步）； - **输出长度**：GameScaling 每步 35–39 token（含稀疏推理）vs. 前沿模型 123–1,027 token； - **部署配置**：GameScaling 在 1–4 张 H200 GPU 上通过 vLLM 本地部署，前沿模型通过服务商 API 调用， latency 差异直接体现在实时游戏分数中。 Q5: 有什么可以进一步探索的点？基于论文的发现与讨论，以下方向值得进一步探索： —- ### 1. 超越模仿学习的训练范式当前 CPT 仅依赖行为克隆（behavior cloning），缺乏来自环境成败的直接反馈。未来可探索： - **整合在线环境反馈**：将 CPT 与强化学习（RL）或来自实际游戏过程的反馈相结合，检验是否能突破在遥远世界（如 GameWorld）中的泛化瓶颈； - **混合范式**：同时扩展世界多样性与引入在线交互，验证两者在跨世界迁移中的协同或独立效应。 —- ### 2. 世界多样性与迁移机制的精细化控制论文中 S2–S5 共享固定的 79 个非 Minecraft 游戏池，仅改变采样比例。后续研究可： - **变世界数量而非仅比例**：系统增加训练池中不重复世界的数量，分离“世界丰富度”与“采样分布”对泛化的独立贡献； - **量化世界相似度与迁移的关系**：建立从视觉风格、物理规则到控制接口的相似度度量，预测向相关/遥远世界的迁移幅度； - **纳入更多模态**：引入音频信号、游戏内文本教程或 UI 说明，检验多模态输入对异构世界理解的增益。 —- ### 3. 模型架构与推理机制的优化论文保留了 Qwen3.5 的稀疏推理结构，但固定了推理标注密度。未来可研究： - **推理密度的自适应调整**：探索不同比例或动态推理深度对动作精度与实时延迟的权衡； - **缓解大模型的跨世界干扰**：针对 27B 模型在单世界训练中出现的显著负迁移，设计模块化或混合专家（MoE）架构，隔离不同世界的动力学知识； - **长程记忆与世界模型**：为长周期任务（如 Minecraft）引入显式记忆或世界状态预测模块，检验其是否扩展测试时有效步数（test-time scaling）的收益。 —- ### 4. OOD 损失动态与扩展定律的修正论文发现分布外（OOD）验证损失在 50 小时后即停止下降甚至回升，不满足幂律单调递减假设。后续可： - **建立非单调扩展模型**：为描述遥远世界损失的“漂移”现象（drift），引入含 log T 或饱和-上升项的经验公式，而非经典幂律； - **多种子验证定律稳定性**：当前 grid 基于单一训练种子，重复实验可量化 scaling law 参数（如 α, β ）的统计不确定性，并检验外推至更大模型（如 100B+）的可靠性。 —- ### 5. 实时交互与部署优化论文揭示实时性能高度依赖推理延迟。进一步探索包括： - **透明化部署基准**：在对比前沿模型与专用智能体时，统一报告任务分数、单步延迟与硬件配置，建立实时游戏智能体的标准化评估协议； - **极短延迟下的模型压缩**：研究在保持 CPT 收益的前提下，通过量化或蒸馏将 27B 模型压缩至单卡甚至边缘设备可承载的规模，同时维持 <200,ms 的响应时间。 —- ### 6. 从界面阶段到世界阶段的转换机制论文观察到 CPT 存在清晰的**界面阶段**（interface phase）与**世界阶段**（world phase），但其转换边界与内在机制尚不明确： - **识别转换临界点**：通过探测任务（probing tasks）确定模型何时从学习通用控制原语转向过拟合特定世界动力学； - **干预分析**：在界面阶段冻结部分动作头参数，检验是否能强制保留跨世界泛化能力，延缓后期阶段的世界特异性过拟合。 Q6: 总结一下论文的主要内容该论文系统研究了**异构虚拟世界中持续预训练（CPT）的扩展规律与泛化机制**，核心内容可概括如下： —- ### 1. 研究背景与问题 - 物理世界中的具身智能受益于共享的物理定律（重力、接触等），数据扩展与多样性通常带来跨场景泛化增益。 - 虚拟世界（电子游戏等）在**视觉风格、物理规则、控制接口与任务目标**上同时存在剧烈差异，现有工作不清楚物理环境中的扩展收益是否同样适用。 - 关键问题：异构虚拟世界经验是**互补**还是**相互干扰**？数据量、多样性、模型容量各自如何影响性能与泛化？ —- ### 2. 实验方法：120组控制网格研究构建了**4 × 6 × 5 = 120 组** CPT 配置，系统分离三个轴的独立效应： - **模型规模**：0.8B、2B、9B、27B（基于 Qwen3.5）； - **数据预算**：50、100、200、400、800、1,600 小时； - **数据混合物（S1–S5）**：通过调整 Minecraft 轨迹在游戏数据中的占比实现——100%、51.4%、27.1%、2.8%、0%，其余为固定的 79 个异构游戏。所有配置采用统一的**键盘-鼠标动作接口**与下一个 token 预测目标，动作统一编码为包含鼠标位移与按键状态的文本块。 —- ### 3. 三级评估体系从训练分布到未见世界建立三级评估： - **同分布（In-corpus）**：Minecraft（MCU 基准）与 ViZDoom； - **相关未见（Unseen related）**：OmniGameArena（OGA），7 个 UE5 游戏，动作原语与训练语料有语义对应； - **遥远未见（Unseen distant）**：GameWorld（GW），以 2D/2.5D 游戏为主，与训练数据差异显著。同时采用**时间暂停**与**实时**两种交互协议，区分纯推理能力与推理延迟的联合效应。 —- ### 4. 核心发现 #### （1）两阶段学习动态 - **早期界面阶段（Interface Phase）**：前数十小时内，动作格式与控制原语损失快速下降，**跨所有验证集（含未见世界）均出现泛化提升**，模型习得共享的控制表示； - **后期世界阶段（World Phase）**：后续增益高度依赖训练分布中是否包含对应世界，性能提升收窄至同分布与相关世界。 #### （2）三轴扩展效应 - **数据量**：更多数据持续改善同分布性能，但对遥远世界（GameWorld）的增益有限甚至停滞； - **多样性**：多游戏训练显著提升相关未见世界表现（1,600 小时下 OGA 均分约为 Minecraft-only 的 **2.8 倍**），但对遥远世界提升不一致； - **模型规模**：更大的模型数据效率更高，但在**单世界训练下对遥远世界的泛化更差**（27B-S1 在 GameWorld 上较基线下降约 17 分），表现出容量依赖的干扰效应。 #### （3）经验三因素扩展定律论文拟合了统一损失公式：

L(N, T, rho) = E + (A) / (N^α) + (Brho^eta) / (T^β) + (C) / ((rho + ε)^γ)
其中 N 为参数量， T 为数据时长， rho 为目标世界轨迹占比。该定律在训练损失、Minecraft 损失、In-corpus 损失上分别达到 R^2 = 0.980 、 0.982 、 0.995 。然而，OOD（遥远世界）损失不满足单调递减假设， β ≈ 0 ，表明 CPT 对遥远世界的收益在 50 小时后即停滞。 #### （4）与前沿模型的对比 - **时间暂停**：CPT 将 27B 骨干的 MCU 与 OGA 分数分别提升约 **6 倍**与**2.6 倍**，9B 与 27B 模型可匹敌约 300B 参数的前沿模型； - **实时交互**：前沿模型因推理延迟过高（4.0–23.7 秒/步）导致性能下降约 90%，而 GameScaling 模型延迟仅为 0.13–0.69 秒/步，在实时设置下平均分超越最佳前沿模型（25.3 vs 19.2），**最高达 5 倍优势**。 —- ### 5. 结论与贡献 - **控制研究**：首次系统量化了数据量、混合物多样性与模型容量对虚拟世界 CPT 的影响； - **两阶段动态与扩展定律**：揭示了界面阶段与世界阶段的分化，并建立了可预测同分布损失的扩展定律； - **性能参考**：在四级基准与两种交互设置下锚定了模型表现，证明 CPT 后的中小模型可在实时动态环境中超越前沿大模型； - **局限与方向**：指出仅靠行为克隆式的 CPT 难以突破遥远世界的泛化瓶颈，构建通用虚拟具身智能体需要**超越 CPT 的更丰富训练阶段**（如在线环境反馈、世界覆盖扩展、新架构设计等）。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou, Tao Tan, Yinhe Zheng, Yiming Li

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28698.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28698

Published: 2026-10-23T01:56:54.211Z

3. SpecEvo: Speculative Evolution with Large Language Models for Cost-Efficient Scientific Discovery

Abstract:LLM-driven evolutionary search is a promising paradigm for scientific discovery, but existing methods remain costly and slow, often applying expensive reasoning uniformly while underusing evidence from failed, redundant, and saturated trials. We introduce Speculative Evolution (SpecEvo), a multi-LLM framework that coordinates lightweight and frontier models through continual consolidation of search evidence. Lightweight models power both parallel Speculators, which generate and refine candidate programs, and an Advisor, which distills accumulated successes, failures, and saturated directions into persistent guidance for subsequent exploration. At sparse checkpoints, a frontier-model Navigator inspects the evolving population and intervenes through synthesis, surgical refinement, or reframing according to search stagnation. This speculate-then-consolidate workflow delegates routine exploration and evidence consolidation to inexpensive models while reserving frontier reasoning for strategic interventions whose benefits extend across many subsequent low-cost evaluations. Across 176 tasks spanning four scientific and algorithmic discovery domains, SpecEvo matches or outperforms frontier-model baselines while reducing API cost by up to 80%, achieves up to 1.5x greater evaluation efficiency than cost-efficient baselines on equation discovery, and improves over the strongest CO-Bench baseline by 3.8%. These results support trajectory-conditioned model coordination as an effective approach to cost-efficient scientific discovery.

中文摘要

摘要：由大语言模型（LLM）驱动的进化搜索是科学发现的有前景的范式，但现有方法仍然昂贵且缓慢，通常在失败、冗余和饱和的实验中未充分利用证据的同时，一致地应用高成本的推理。我们提出了投机进化（Speculative Evolution, SpecEvo），这是一种多LLM框架，通过持续整合搜索证据来协调轻量级和前沿模型。轻量级模型驱动并行投机者（Speculators），生成和优化候选程序，以及顾问（Advisor），将累积的成功、失败和饱和方向提炼为对后续探索的持久指导。在稀疏检查点，前沿模型导航者（Navigator）检查不断演化的人群，并根据搜索停滞情况通过合成、手术式改进或重新构架进行干预。这种先投机再整合的工作流程将常规探索和证据整合委托给低成本模型，同时将前沿推理保留用于战略性干预，其益处可扩展到许多后续低成本评估中。在涵盖四个科学与算法发现领域的176个任务中，SpecEvo匹配或超越了前沿模型基线，同时将API成本降低了最多80%，在方程发现任务上实现了比成本效益基线高出1.5倍的评估效率，并相比最强的CO-Bench基线提高了3.8%。这些结果支持以轨迹为条件的模型协调作为实现成本高效科学发现的有效方法。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决 \*\*LLM 驱动进化搜索（LLM-driven evolutionary search）在科学发现中面临的成本高昂与搜索效率低下\*\* 的问题，具体可归纳为以下几个层面： ### 1. 核心矛盾：推理成本与搜索质量之间的失衡 - 现有方法通常依赖单一的前沿大模型（frontier model）来统一执行候选程序生成、变异和高层搜索决策，导致常规探索也反复产生昂贵的推理开销。 - 直接使用轻量级模型虽能降低 API 成本，但会显著牺牲解的质量，因为轻量模型缺乏可复用的全局指导，容易陷入局部最优或重复生成相似策略。 ### 2. 搜索证据的严重利用不足 - 现有系统未能有效整合累积的搜索轨迹信息，包括： - \*\*失败试验\*\*（执行错误、不可行方案）； - \*\*冗余探索\*\*（反复访问相似的策略方向）； - \*\*饱和信号\*\*（某些搜索 niche 长期无改进却仍被频繁采样）。 - 这些证据若被持续忽略，会导致轻量模型不断重复相同的实现错误，且无法区分哪些方向仍有潜力、哪些已经耗尽。 ### 3. 异构模型协作的结构性缺陷 - 已有的一些成本敏感方法（如 RelayEvolve、LEVI）虽然尝试结合轻量与前沿模型，但存在明显局限： - \*\*一次性交接\*\*：轻量模型的探索在 handoff 后完全终止，其失败经验与饱和轨迹未被凝练为可复用指导； - \*\*角色固化\*\*：前沿模型被绑定到预定义的“范式转移”操作，缺乏根据搜索状态动态选择干预策略（综合、外科式修正或重构）的机制； - \*\*无持续整合\*\*：缺乏一个专门组件持续将历史证据蒸馏为轻量模型后续探索可用的指导。 ### 4. 论文要回答的核心问题 > \*\*如何利用累积的成功、失败以及搜索饱和信号，持续地指导后续轻量级候选生成，并动态决定前沿模型何时、以何种方式介入，从而在保持或超越前沿模型基线性能的同时，大幅降低推理成本？\*\* 为解决上述问题，论文提出了 \*\*SPECEVO\*\* 框架，其核心是 \*\*Speculate-Then-Consolidate（StC）\*\* 工作流：通过轻量级并行 Speculators 进行低成本探索、轻量级 Advisor 将历史证据凝练为持续更新的指导、以及稀疏调用的前沿模型 Navigator 根据停滞信号执行战略性干预，实现成本与搜索质量的双重优化。 Q2: 有哪些相关研究？该论文的相关研究主要分布在以下三个方向： --- ### 1. LLM 引导的进化搜索（LLM-Guided Evolutionary Search）这类研究将大语言模型作为语义变异算子，结合基于执行的评估与种群优化进行科学发现。 - \*\*基础范式建立\*\* - \*\*FunSearch\*\*（Romera-Paredes et al., 2024）与 \*\*AlphaEvolve\*\*（Novikov et al., 2025）：首次展示了如何通过执行反馈与 LLM 生成的程序变异，实现数学与算法发现。 - \*\*ELM\*\*（Lehman et al., 2023）：将预训练代码模型与质量多样性搜索相结合。 - \*\*搜索机制的多样化改进\*\* - \*\*OpenEvolve\*\*（Sharma, 2025）：采用异步岛屿进化与 MAP-Elites 风格的数据库，保留行为多样性与高性能候选。 - \*\*SeaEvo\*\*（Luo et al., 2026b）：围绕持久化的策略级记忆组织搜索，维持语义层面的策略家族。 - \*\*GEPA\*\*（Agrawal et al., 2025）：通过执行轨迹生成反思性更新，并利用 Pareto 选择维持互补候选。 - \*\*AdaEvolve\*\*（Cemri et al., 2026）：根据观测到的搜索进展自适应调整探索强度、资源分配与元级指导。 - \*\*EvoX\*\*（Liu et al., 2026b）：同时进化候选程序与生成它们的搜索策略本身。 - \*\*ReEvo\*\*（Ye et al., 2024）、\*\*LLaMEA\*\*（Van Stein & Bäck, 2024）、\*\*HSEvo\*\*（Dat et al., 2025）、\*\*MPaGE\*\*（Hieu et al., 2026）：分别在反射引导、元启发式进化、多样性与收敛平衡、多目标优化等角度扩展该范式。 - \*\*面向特定领域的应用\*\* - 包括奖励设计（\*\*Eureka\*\*, Ma et al., 2024b）、偏好优化（Lu et al., 2024）、科学方程发现（\*\*LLM-SR\*\*, Shojaee et al., 2025a; \*\*LLM-SRBench\*\*, Shojaee et al., 2025b; \*\*LaSR\*\*, Grayeli et al., 2024）等。 --- ### 2. 成本高效的 LLM 推理分配（Cost-Efficient LLM Allocation）这类研究关注如何在推理请求层面降低 LLM 调用成本，通常通过模型级联或自适应路由实现。 - \*\*查询级级联与路由\*\* - \*\*FrugalGPT\*\*（Chen et al., 2023b）：构建渐进式级联，对困难查询逐步升级模型。 - \*\*AutoMix\*\*（Aggarwal et al., 2024）：利用自验证机制判断小模型响应是否需要强模型增强。 - \*\*RouteLLM\*\*（Ong et al., 2025）：基于人类偏好数据学习路由策略。 - \*\*SCOPE\*\*（Huang et al., 2026）：在质量约束下为复合 AI 系统的各模块选择固定模型分配。 - \*\*进化搜索中的模型选择\*\* - \*\*ShinkaEvolve\*\*（Lange et al., 2026）：使用 bandit 根据观测性能选择变异模型。 - \*\*AdaptEvolve\*\*（Ray et al., 2026）：先运行小模型，再利用 token 级置信度统计与在线决策树路由器决定是否用大模型重新生成。 --- ### 3. 进化搜索中的异构模型协调（Heterogeneous-Model Coordination in Evolution）这是与 SPECEVO 最直接相关的方向，研究如何在搜索轨迹中协同使用廉价模型与前沿模型。 - \*\*LEVI\*\*（Tanveer, 2026） - 结合 bootstrapped CVT-MAP-Elites 进行多样性保持，并实施角色感知路由：将局部细化分配给廉价模型，将范式转移（paradigm shift）分配给前沿模型。 - 局限：前沿模型仍主要绑定于预定义的范式转移角色；其基于错误的建议未能利用更广泛的进展与饱和证据来动态调整干预方式。 - \*\*RelayEvolve\*\*（Luo et al., 2026a） - 通过多个廉价模型轨迹进行探索，利用 Relay Gain 信号衡量边际质量与覆盖度；当廉价探索饱和时，一次性将筛选后的种群交接给强模型进行细化。 - 局限：交接后轻量级探索终止，被丢弃轨迹中的失败经验、重复错误与耗尽方向未被凝练为可复用的指导。 - \*\*AdaEvolve\*\*（Cemri et al., 2026） - 在更宏观的层面自适应调整搜索强度与资源分配，但未将异构模型组织为持续的、功能分化的角色。 --- ### 与现有工作的核心区别 SPECEVO 的差异化在于：\*\*将模型异质性视为贯穿整个进化过程的持久性劳动分工\*\*，而非仅在查询级、变异级或阶段级进行模型选择。具体而言： | 维度 | 现有方法 | SPECEVO | |------|---------|---------| | \*\*证据利用\*\* | 多聚焦于成功候选或种群层面 | 显式归档\*\*失败试验\*\*、\*\*饱和方向\*\*与\*\*执行错误\*\* | | \*\*指导生成\*\* | 通常缺失或基于固定规则 | \*\*Advisor\*\* 持续将轨迹证据蒸馏为轻量模型可用的动态指导 | | \*\*前沿模型介入\*\* | 绑定于特定操作（如范式转移）或一次性交接 | \*\*Navigator\*\* 基于停滞信号在\*\*综合（Synthesis）\*\*、\*\*外科修正（Surgical）\*\*、\*\*重构（Reframe）\*\*之间动态选择 | | \*\*探索-整合关系\*\* | 探索与整合常分离或终止 | \*\* speculate-then-consolidate（StC）\*\* 闭环：廉价探索提供证据，周期性整合转化为后续低成本探索的指导 | 这些设计使得 SPECEVO 在 176 个跨领域任务上，以显著更低的 API 成本匹配或超越了基于单一前沿模型的基线方法。 Q3: 论文如何解决这个问题？该论文通过提出 \*\*SPECEVO\*\* 框架，以 \*\*Speculate-Then-Consolidate（StC）\*\* 为核心范式，系统性地解决了 LLM 驱动进化搜索中的成本与效率问题。其方法论可从以下六个层面展开： --- ### 1. 核心范式： speculate-then-consolidate（StC）该方法借鉴了推测解码（speculative decoding）的不对称计算原理，并将其从单次推理迁移到整个搜索轨迹： - \*\*Speculate（推测）\*\*：由轻量级模型持续、并行地生成大量候选程序，承担日常探索与局部细化的计算负担。 - \*\*Consolidate（整合）\*\*：周期性地将累积的搜索证据（成功、失败、饱和方向）凝练为可复用的指导，并仅在必要时调用前沿大模型进行战略性干预。这种分工使得前沿模型的昂贵推理被稀疏地用于能影响后续大量低成本评估的决策点，而非消耗在常规变异上。 --- ### 2. 共享搜索状态：区分“保留的程序”与“保留的证据” SPECEVO 维护两个持续更新的全局结构，将用于继续搜索的程序与用于学习的证据解耦： - \*\*行为档案（Behavioral Archive）\*\* A_t ：采用 MAP-Elites 风格，最多保留 K=50 个精英，每个精英占据一个\*\*结构-语义 niche\*\*。程序通过描述符映射竞争其 niche 内的保留资格，而非仅依赖全局适应度排名。 - 描述符 z_r(p) 融合 AST 结构统计 φ(p) 与策略描述嵌入 e(p) ，经 PCA 降维与标准化后拼接为 16 维向量：

z_r(p) = [ Z_r^(ast)(φ(p)) parallel Z_r^(sem)(U_r^top (e(p) - e_r)) ] ∈ R^(16)

该设计确保即使某些策略不在全局前列，只要其在其 niche 内最优，就能被保留以供后续交叉与合成。 - **搜索历史（Search History）** H_t ：记录**每一次**评估尝试，包括被拒绝的程序、执行失败、错误签名与评估器诊断。这为系统提供了关于哪些方向消耗资源却无进展、哪些实现错误反复出现的完整信号。 —- ### 3. 初始化：分层构建多样性种群搜索开始前，系统通过两个阶段建立初始种群： 1. **种子生成**：前沿模型 Navigator 顺序生成 M=5 个种子程序，每次条件化于此前种子的策略与结果，确保算法范式多样性。 2. **轻量扩展**： W 个轻量级 Speculators 并行地将每个可执行种子扩展为 V=20 个廉价变体，借鉴其他种子的描述作为灵感。此后，所有经过评估的程序被嵌入并纳入 Archive，建立初始 niche 分布。 —- ### 4. 三个协同角色 #### 4.1 Speculators：异步、持续的轻量级探索 - **并行工作池**： W=4 个异步工作者持续运行，几乎承担全部候选生成任务。 - **停滞自适应的父代采样**：父代选择基于 Archive 内的排名 r_i 与 Zipf 分布，其指数 β_t 随停滞信号 s_t 动态调整：

Pr(pi mid A_t) = r_i^(-β_t)∑(j=1)^(|At|) r_j^(-β_t), quad β_t = β(min) + (1-st)(β(max)-β(min))
其中 (β(min), β_(max)) = (0.3, 2.0) 。当搜索停滞加剧时， β_t 下降，分布趋于平缓，从而自动从聚焦顶级精英转向探索更低排名的 archive 区域。 - **六类互补变异算子**：包括通用变异、单弱点修复、机制替换、分析靶向变异、结构交叉与组件级交叉。均匀采样这些算子可防止轻量模型陷入重复生成相似结构的陷阱。 #### 4.2 Navigator：稀疏、状态依赖的前沿模型干预 Navigator 每 Delta_N 次评估被调用一次，根据搜索停滞程度选择干预模式，且**非阻塞**于 Speculator 工作流： - **停滞信号** s_t 综合全局最优改进等待时间与 Archive 准入等待时间：

s_t = max{ min(1, t-τ_t^(best)H_g), min(1, t-τ_t^(adm)H_l) }
其中 H_g=100 , H_l=20 。 s_t to 1 表示搜索显著停滞。 - **三级干预模式**（阈值 γ_1=0.4, γ_2=0.7 ）：
m_t = SYNTHESIS, & s_t ≤ γ_1, SURGICAL, & γ_1 < s_t ≤ γ_2, REFRAME, & s_t > γ_2.

**SYNTHESIS**：将多个竞争 niche 的互补机制融合为一个连贯程序； - **SURGICAL**：对当前冠军实施局部结构修正； - **REFRAME**：引入当前种群中缺失的全新策略家族。 - **双分辨率上下文**：为控制提示长度，Navigator 接收少数高排名 niche 精英的**完整代码**（anchors）与额外 niche 的**描述摘要**（inspirations），避免verbatim模仿。 - **轻量后续跟进**：每次 Navigator 生成有效程序后，Speculators 立即为其生成 J=5 个邻近变体，使单次昂贵干预能辐射多次低成本评估。 #### 4.3 Advisor：将轨迹证据凝练为滚动指导 Advisor 每 Delta_A 次评估由轻量模型调用一次，将近期统计与历史失败转化为**可复用的处方笔记**： - **信号提取**： - **Working niches**：近期有精英改进的 niche，指示应保留的算法机制； - **Saturated niches**：近期活动频繁但无改进的 niche，指示应淡化的方向； - **Recurring failure signatures**：从 H_t 中聚合的重复执行错误及其代表性诊断信息。 - **指导输出**：生成不超过 500 字的笔记，包含 `WORKING`、`SATURATED`、`AVOID` 三个字段，明确指出保留何种机制、淡化何种方向、避免何种错误。 - **概率化注入**：每条笔记以概率 rho_A=0.35 独立出现在各 Speculator 提示中。这种随机注入既允许有益经验传播，又保留大部分提议不受显式指导约束，防止反馈导致的群体思维（herding）。 —- ### 5. 档案动态重构每 Delta_C=50 次评估，系统在运行中重新拟合 PCA 基与标准化参数，并重新锚定 niche 中心。这使得描述符空间能随种群演化而调整，稳定 niche 分配的同时确保 Archive 的几何结构始终反映当前策略分布。 —- ### 6. 成本效率的实现机制 SPECEVO 的成本优势并非简单来自“用便宜模型代替贵模型”，而是源于以下结构性设计： - ** Q4: 论文做了哪些实验？该论文在 **176 个任务** 上开展了系统性实验，横跨 **数学发现、系统优化、组合优化与科学方程发现** 四个领域。实验围绕三个核心研究问题（RQ1–RQ3）展开，并辅以大量消融实验与搜索动态分析。 —- ### 1. 实验设置与基准 **评测领域与数据集** - **数学发现**：7 个来自 AlphaEvolve Math 的可执行优化问题（如圆填充、Heilbronn 问题、MinMax 距离等）。 - **系统优化**：4 个来自 ADRS 的真实系统任务（如专家并行负载均衡 EPLB、LLM-SQL 前缀缓存、事务调度等）。 - **组合优化**：36 个来自 CO-Bench 的问题，涵盖装箱、切割、设施选址、调度、路由等 8 个类别。 - **科学方程发现**：129 个来自 LSR-Synth 的符号回归问题，覆盖化学、生物、物理与材料科学。 **对比基线** - **单模型进化方法**：OpenEvolve、GEPA、AdaEvolve、EvoX（均使用前沿模型）。 - **异构模型/成本敏感方法**：LEVI、RelayEvolve。 - **受控模型分配策略**（用于 RQ2）：All-cheap、Fixed-switch、Random、Bandit，用于剥离“模型协调机制”本身带来的增益。 **模型配置** - 前沿模型：GPT-5、Kimi-K2-Thinking。 - 轻量模型：Qwen3-30B/14B/8B、Qwen2.5-7B。 - 默认配置：SPECEVO 以 GPT-5 作为 Navigator，Qwen3-30B 作为 Speculators 与 Advisor。 —- ### 2. RQ1：整体有效性与成本–性能权衡在**匹配的 wall-clock、API 成本与评估预算**下，与强基线进行全面对比： - **固定 3 小时 wall-clock 预算**（Figure 3、Figure 4、Table 12、Table 13）： - 在数学与系统任务上，SPECEVO 在性能领先或持平的同时，将 API 成本降低约 **50%–80%**。 - 在 CO-Bench 上，SPECEVO 取得最高综合得分，比最强基线高 **3.8%**。 - **固定 10 美元 API 预算**（Figure 6）： - 在系统优化任务上验证成本受限场景下的优势，最大提升出现在 LLM-SQL 任务（+5.12%）。 - **固定 500 次评估预算**（Figure 1、Table 2）： - 在 LSR-Synth 的 Biology 与 Chemistry 任务上追踪最优迄今 NMSE；SPECEVO 在 500 次评估内达到的质量，基线需要多耗 **43%–65%** 的评估次数才能匹配。 - **跨模型配置鲁棒性**： - 测试了前沿模型（GPT-5 / Kimi-K2）与多种轻量模型的组合，验证 SPECEVO 在不同价格–能力曲线上的稳定性。 —- ### 3. RQ2：异构模型协调机制的有效性为验证“speculate-then-consolidate”是否优于简单的模型切换或路由，在**固定 500 次模型调用**的严格预算下开展对比（Table 1）： - **RelayEvolve**：一次性将种群从廉价模型交接给前沿模型（89.0% 的前沿调用）。 - **LEVI**：轻量模型做局部细化，前沿模型做预定义范式转移（3.2% 的前沿调用）。 - **受控策略**：All-cheap、Fixed-switch、Random、Bandit。 SPECEVO 仅使用 **2.4%** 的前沿模型调用，在 6 个代表性任务中的 5 个上取得最佳性能，且从未跌出前二。该实验支撑了核心结论：**成本优势不仅来自“少用贵模型”，更来自基于搜索轨迹证据的持续协调**。 —- ### 4. RQ3：搜索动态与组件贡献分析通过轨迹级指标分析三个角色（Speculator、Navigator、Advisor）的互补作用： - **种群多样性**（Figure 8）：使用 Code Diversity Index（CDI）度量。SPECEVO 的 CDI 显著高于单提示消融与 LEVI，表明多算子与停滞自适应采样维持了更高的代码结构多样性。 - **停滞率与前沿贡献**（Figure 7）： - SPECEVO 的停滞率（17.5%）低于 LEVI（22.4%）。 - 前沿模型可追溯的新最优贡献率（15.5%）高于 LEVI（10.2%），说明 Navigator 的干预及其后续的轻量变体 refinement 更有效。 - **执行错误率**（Figure 9）：SPECEVO 的错误率降至 **5%–8%**，而 LEVI 为 13%–25%；移除 Advisor 后错误率显著上升，验证了其失败知识传递的价值。 - **案例研究**（Figure 5、Figure 10、Appendix I）： - 在 Circle Packing Rectangle 与 EPLB 上，可视化 Navigator 的 SYNTHESIS/REFRAME 如何改变搜索策略，以及 Advisor 如何将空数组、dtype 不匹配等重复错误转化为可复用的编码约束。 —- ### 5. 消融实验与超参敏感性 **组件消融**（Table 3）：在代表性任务上逐一移除或替换关键设计，观察平均得分下降： - **探索侧**：移除 AST 特征（-0.38% / -7.76%）、移除描述嵌入、禁用 refit、将六类算子折叠为单一通用变异（-2.17% / -12.74%）。 - **整合侧**：移除 Navigator（-2.25% / -9.42%）、随机/固定干预模式（对比自适应模式）、移除 Advisor（-3.82% / -6.09%）、使用固定指导（对比动态更新）。 **超参敏感性**（Figure 11、Figure 12）： - **Archive 容量 K **： K=50 时性能最佳，平衡策略覆盖与 niche 内充分优化。 - **干预间隔**：Navigator 每 20 次评估、Advisor 每 50 次评估为优选，反映战略响应与统计置信度的不同信息需求。 - **Speculator 数量**：从 1 增至 4 _workers 时，解质量与评估吞吐量同步提升；超过 4 后质量增益边际递减，而 token 消耗与成本急剧上升。 —- ### 6. 逐领域详细分解 - **CO-Bench 逐类别与逐任务**（Figure 14、Table 14、Figure 15、Table 15）：SPECEVO 在 8 个类别中的 5 个领先，20/36 个问题上排名第一；成对bootstrap 检验显示对 4/5 个基线的平均提升置信区间严格为正。 - **LSR-Synth 扩展对比**（Table 16、Figure 16、Table 17）： - 与 LLM-SR、LaSR、SGA 等专用符号回归方法对比，除 Biology ID 外均取得最低 NMSE。 - 在化学、生物、物理领域取得最高的数值精度（Acc0.1）与符号准确率（SA），且 OOD 泛化误差显著更低。 —- ### 实验总结论文的实验设计覆盖了 **性能对比、成本控制、样本效率、组件贡献、超参鲁棒性、定性机制分析** 六个维度，并通过多预算（wall-clock / API / evaluations / model calls）与多模型配置的交叉验证，支撑了“基于轨迹证据的异构模型协调可实现高性价比科学发现”这一核心命题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与框架设计，以下方向具有进一步探索的潜力： —- ### 1. 评估成本异构场景下的资源分配当前实验假设候选程序可在 CPU 上快速执行，从而支持多 Speculators 并行评估。若候选评估涉及 GPU 训练、大规模仿真或物理实验，单次评估成本将显著上升，且不同候选的评估开销可能差异巨大。在此类场景中： - 需动态调整 Speculator 数量与评估并行度，以平衡 wall-clock 时间与加速器/实验预算； - 可将评估成本纳入 Archive 准入与 Navigator 干预的决策准则，避免在昂贵且低信息量的方向上浪费资源； - 引入提前终止（early stopping）或代理评估（proxy evaluation）机制，降低无效候选的完整评估开销。 —- ### 2. 多级模型级联与动态路由论文聚焦于“轻量级—前沿”两级分工。未来可探索**超过两个层级**的模型级联（例如 7B → 14B → 30B → 前沿模型），并设计自适应路由策略： - 在每个决策点根据当前候选复杂度、历史成功率与即时预算状态，选择最合适的模型层级； - 借鉴 speculative decoding 中“接受率”的思想，建立轻量模型提案被后续层级采纳的概率估计，以优化级联阈值； - 将模型路由本身作为可学习的策略，在进化轨迹中进行元优化。 —- ### 3. 自适应干预频率与引导注入策略 SPECEVO 中 Navigator 与 Advisor 的触发间隔（ Delta_N , Delta_A ）以及 Advisor 指导的注入概率 rho_A 均为超参数。更精细的自适应机制包括： - 基于停滞信号 s_t 的非线性调度：在高度停滞期缩短 Navigator 间隔、增加前沿干预频率，在快速改进期延长间隔以节省成本； - 根据指导效用（如注入后 Speculator 产出的成功率提升）动态调整 rho_A ，而非固定为 0.35； - 引入“预测性触发”：利用历史轨迹训练一个低成本预测器，预判何时可能陷入局部最优，从而前置化干预。 —- ### 4. 代码描述可靠性的增强与验证 Archive 的描述符依赖轻量模型生成的自然语言策略描述 d(p) ，其不准确性可能扭曲语义距离、niche 分配及 Navigator 的种群视图。可探索： - **代码 grounded 描述**：利用 AST 路径、执行轨迹或变量依赖关系约束描述内容，减少幻觉； - **描述–代码一致性检验**：训练轻量级判别器或利用 LLM 自验证，检测描述中声称的机制是否真实存在于代码； - **无描述进化**：完全基于执行行为（输入–输出特征、资源消耗模式）构造行为描述符，消除对自然语言生成的依赖。 —- ### 5. 跨任务与元进化（Meta-Evolution）当前框架在每个任务上独立运行。若将 SPECEVO 应用于大量相关任务，可研究： - **任务间迁移**：将某任务上 Advisor 凝练的失败模式与有效策略家族，迁移至结构相似的新任务，作为热启动知识； - **元进化搜索策略**：在任务分布上进化 Advisor 的提示模板、Navigator 的干预阈值或 Archive 的描述符构造方式本身，实现“进化搜索策略的进化”； - **持续学习**：防止在多任务序列中遗忘先前积累的有效搜索经验。 —- ### 6. 多目标与约束优化扩展现有框架主要针对单目标最大化问题 F: P to R 。扩展至多目标场景需要： - 多目标版本的 MAP-Elites Archive，例如在行为描述符中引入帕累托前沿或超体积指标； - Advisor 需同时追踪多个目标上的改进、饱和与冲突（trade-off）关系； - Navigator 的干预模式需新增“目标重加权”或“约束松弛/收紧”等操作，以引导搜索跨越不同的帕累托区域。 —- ### 7. 理论分析：收敛性与后悔界目前 SPECEVO 的优越性主要基于实证。理论层面可探索： - 在特定适应度景观假设下，分析停滞自适应采样（Zipf 分布与 β_t 调度）的收敛速率； - 量化稀疏 Navigator 干预对搜索多样性的影响，建立“干预频率—局部最优逃逸概率”之间的形式化关系； - 在 bandit 或强化学习框架下，推导模型调用分配策略的有限时间后悔界（regret bound）。 —- ### 8. 与神经架构搜索及科学实验闭环的结合 SPECEVO 的 speculate-then-consolidate 范式可推广至更广泛的科学发现场景： - **神经架构搜索（NAS）**：将候选程序替换为网络架构描述，评估器对应训练管道；此时需处理长周期评估与噪声适应度； - **自主实验系统**：将 Speculator 生成的实验方案交由机器人实验室或仿真环境执行，Navigator 根据实验结果提出新假设，Advisor 则整合实验失败（如设备约束违反、测量误差模式）； - **多模态反馈**：除标量得分外，利用执行日志、可视化输出或人类专家反馈作为额外的整合信号。 —- ### 9. 环境足迹与能效优化论文重点在于 API 成本，但 LLM 推理与大规模评估的能源消耗日益显著。未来可研究： - 将碳排放或能耗作为显式约束纳入 Archive 准入或模型选择准则； - 在轻量模型与前沿模型之间建立能效–性能帕累托前沿，寻找环境友好的最优操作点； - 针对特定硬件（边缘设备 vs. 数据中心）定制模型层级与并行策略。 Q6: 总结一下论文的主要内容该论文针对 **LLM 驱动进化搜索在科学发现中成本高昂、效率低下** 的问题，提出了 **SPECEVO** 框架，通过 **Speculate-Then-Consolidate（StC）** 范式实现了高性能与低成本的统一。 ### 1. 研究背景与核心问题现有 LLM 驱动的进化搜索方法通常依赖单一前沿模型执行所有变异与决策，导致 API 成本极高；而直接替换为轻量模型虽能降低成本，却会因缺乏全局指导而陷入局部最优、重复错误与冗余探索。关键瓶颈在于：**搜索过程中积累的成功经验、失败教训与方向饱和信号未能被持续转化为可复用的指导**，也未能动态决定昂贵的前沿模型何时、以何种方式介入。 ### 2. 核心范式：Speculate-Then-Consolidate（StC） SPECEVO 借鉴推测解码的不对称计算思想，将搜索轨迹层面的任务分解为： - **Speculate（推测）**：由轻量模型持续、并行地生成大量候选，承担常规探索； - **Consolidate（整合）**：周期性地将累积证据凝练为指导与战略干预，仅稀疏调用前沿模型。 ### 3. 方法框架与关键组件 #### 共享搜索状态系统维护两个解耦的全局结构： - **行为档案（Behavioral Archive）** A_t ：采用 MAP-Elites 风格，基于结构–语义描述符

z_r(p) = [ Z_r^(ast)(φ(p)) parallel Z_r^(sem)(U_r^top (e(p) - e_r)) ] ∈ R^(16)
将最多 K=50 个精英分入不同 niche，保留策略多样性而非仅保留全局最优。 - **搜索历史 H_t **：记录每一次评估（包括失败、拒绝、执行错误），为后续分析提供完整证据。 #### 三大协同角色 - **Speculators（轻量模型）**： W=4 个异步工作者持续探索。父代采样采用停滞自适应的 Zipf 分布：

Pr(pi mid A_t) = r_i^(-β_t)∑(j=1)^(|At|) r_j^(-β_t), quad β_t = β(min) + (1-st)(β(max)-β_(min))
其中停滞信号 $s_t ∈
0,1
综合了全局最优改进等待时间与档案准入等待时间。 s_t 升高时，分布趋于平缓，自动从聚焦精英转向探索边缘区域。同时，六类互补变异算子（通用变异、单弱点修复、机制替换、分析靶向变异、结构交叉、组件交叉）维持代码多样性。 - Navigator（前沿模型）：每 Delta_N 次评估稀疏触发，依据停滞信号 s_t 在三种模式间动态选择： - SYNTHESIS（ s_t ≤ 0.4 ）：融合多 niche 互补机制； - SURGICAL（ 0.4 < s_t ≤ 0.7 ）：对当前冠军进行局部结构修正； - REFRAME（ s_t > 0.7 ）：引入当前种群缺失的全新策略家族。干预后，Speculators 立即生成 J=5 个邻近变体，使单次昂贵调用辐射多次低成本评估。 - Advisor（轻量模型）：每 Delta_A 次评估将近期 niche 活动、饱和信号与重复失败签名凝练为不超过 500 字的滚动指导（WORKING / SATURATED / AVOID），并以概率 rho_A=0.35$ 注入 Speculator 提示，在传播经验的同时保留独立探索空间。 ### 4. 实验验证论文在 176 个任务 上开展系统评测，覆盖数学发现、系统优化、组合优化（CO-Bench）与科学方程发现（LSR-Synth）四个领域： - 成本–性能权衡：在固定 3 小时 wall-clock 预算下，SPECEVO 匹配或超越所有强基线，API 成本降低 50%–80%；在 CO-Bench 上综合得分比最强基线高 3.8%。 - 样本效率：在 LSR-Synth 的 500 次评估预算下，基线需多耗 43%–65% 的评估次数才能达到 SPECEVO 的质量。 - 异构协调优势：在固定 500 次模型调用下，SPECEVO 仅使用 2.4% 的前沿模型调用，即在多数任务上取得最佳性能，验证了“基于轨迹证据的持续协调”优于简单模型切换或一次性交接。 - 组件贡献：消融实验表明，六类专用变异算子、自适应 Navigator 模式与动态 Advisor 指导均为性能关键；移除任一组件均导致显著性能下降。 ### 5. 主要贡献 - 提出了 SPECEVO，首个基于 speculate-then-consolidate 范式的异步多 LLM 进化框架，实现了轻量探索与前沿战略干预的持续闭环。 - 设计了 停滞感知的自适应干预机制（Navigator）与 轨迹证据的滚动蒸馏机制（Advisor），使稀缺的前沿推理能够放大影响后续大量低成本评估。 - 在四个科学发现领域的 176 个任务上，系统验证了该框架在匹配 wall-clock、API 成本与评估预算下的优越性与鲁棒性。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Ha Minh Hieu, Tongyao Zhu, Do Xuan Long, Min-Yen Kan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28706.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28706

Published: 2026-10-23T01:56:54.211Z

4. Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?

Abstract:Frontier coding agents are increasingly framed as end-to-end automated researchers, and ML for science offers a demanding test of that promise: improving a scientific model often requires domain insight beyond routine ML engineering. We introduce Agent4Sci, a long-horizon testbed for measuring how far today’s agents can improve the published best models on scientific ML benchmarks, spanning 20 benchmarks across 11 domains. Rather than ranking agents on a leaderboard, Agent4Sci asks what kinds of progress agents can make on these tasks under in-the-wild conditions, and where they fall short. Empirically, today’s frontier agents advance the published best on every benchmark, with Claude Opus reaching 10.4% mean relative improvement and no run flagged for academic misconduct. These gains, however, come almost entirely from a bag of ML-engineering tricks rather than research-level insight. Trajectory analysis surfaces three recurring limitations in this setting: novelty miscalibration, resource under-utilization, and rapid collapse into local engineering sweeps. Lightweight plug-in skills for research ideation, experiment management, and scheduled checklists raise Claude Opus from 10.4% to 20.1% and Codex from 4.4% to 8.1%, while yielding more diverse, domain-relevant interventions. Agent4Sci gives the community a way to track and push frontier agents from ML engineering toward domain insight on real-world ML-for-science problems. Code and data are available on GitHub (this https URL) and Hugging Face (this https URL).

中文摘要

摘要：前沿编码代理越来越被定位为端到端的自动化研究者，而科学机器学习（ML for Science）为这种承诺提供了一个严格的测试：改进科学模型通常需要超越常规机器学习工程的领域洞察力。我们介绍了Agent4Sci，这是一个长期测试平台，用于衡量当今的代理在科学机器学习基准测试中提升已发布最佳模型的能力，涵盖11个领域的20个基准测试。与其在排行榜上对代理进行排名，Agent4Sci更关注代理在实际条件下可以在这些任务上取得何种进展，以及它们的不足之处。在实证上，当今的前沿代理在每个基准测试上都推动了已发布最佳成果，Claude Opus达到了10.4%的平均相对提升，并且没有任何运行被标记为学术不端行为。然而，这些进展几乎完全来自一系列机器学习工程技巧，而非研究级别的洞察力。轨迹分析揭示了这一环境下的三个反复出现的局限性：新颖性误判、资源未充分利用以及快速陷入局部工程优化。针对研究构思、实验管理和计划检查清单的轻量插件技能将Claude Opus的改进从10.4%提升至20.1%，将Codex从4.4%提升至8.1%，同时带来了更多样化、领域相关的干预措施。Agent4Sci为社区提供了一种方法，可以在实际的科学机器学习问题上跟踪并推动前沿代理从机器学习工程向领域洞察迈进。代码和数据可在GitHub（此https URL）和Hugging Face（此https URL）获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28763 (HTTP 429)

Authors: Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28763.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28763

Published: 2026-10-23T01:56:54.211Z

5. Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing

Abstract:Agentic harness evolution optimizes an agent’s instructions, tools, and control flow by using its task execution experiences as evolving evidence. While more evolution tasks should intuitively improve performance, our preliminary study reveals a paradoxical failure mode: the performance of existing methods degrades as the task pool expands. Our further analysis demonstrates that this degradation stems from suboptimal evidence selection during optimization, as different evidence combinations lead to substantially different evolution outcomes. To address this issue, we propose Successive Scale Racing (SSR), a framework that adaptively searches for optimal evidence combinations in each evolution round. SSR constructs diverse evidence combinations based on the corresponding task quality and coverage, and efficiently races the resulting candidate harnesses under a small compute budget. Empirically, across three distinct benchmarks, SSR achieves state-of-the-art results in all six configurations. Notably, as the task pool grows from 40 to 200, SSR steadily improves the pass rate from 64.3% to 68.3%, while the baselines’ performances all drop. Furthermore, its racing mechanism identifies near-optimal candidates while reducing validation executions by 60%.

中文摘要

摘要：代理利用进化优化代理的指令、工具和控制流程，通过将其任务执行经验作为不断发展的证据。尽管直觉上更多的进化任务应该提升性能，我们的初步研究揭示了一种矛盾的失败模式：随着任务库的扩展，现有方法的性能反而下降。进一步分析表明，这种性能下降源于优化过程中证据选择的次优性，因为不同的证据组合会导致截然不同的进化结果。为了解决这个问题，我们提出了连续尺度竞赛（SSR）框架，该框架在每轮进化中自适应地搜索最优证据组合。SSR基于相应任务的质量和覆盖度构建多样化的证据组合，并在小计算预算下高效地竞赛生成的候选代理。实证结果显示，在三个不同的基准测试中，SSR在所有六种配置下都达到了最先进的结果。值得注意的是，随着任务库从40增长到200，SSR的通过率稳步提升，从64.3%增至68.3%，而基线方法的性能均有所下降。此外，其竞赛机制在识别接近最优候选者的同时，将验证执行次数减少了60%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28815 (HTTP 429)

Authors: Jingzhe Liu, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28815.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28815

Published: 2026-10-23T01:56:54.211Z

6. Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI

Abstract:Automated judges of clinical artificial intelligence (AI) outputs are necessary, but large language model (LLM) judges are costly and slow at scale. We compared Jev, a decision language model that returns structured judgments, with frontier and open-weight LLM judges in four use cases. On 118 pediatric answers, Jev’s agreement with physicians’ ordinal quality ratings (Gwet’s AC2 0.50; expected score 0.53) matched or exceeded that of seven of 12 LLM judges, including frontier models, Claude Opus 5.5 (0.49) and GPT-6 (0.38). On physician-graded binary HealthBench criteria, Jev matched or exceeded four of six LLM judges. On MedHELM’s open-ended tasks, Jev’s agreement with a three-LLM jury approached or exceeded the jurors’ internal agreement. On HealthBench Professional, Jev matched the benchmark’s reference judge, GPT-5.4, on 91% of criteria (other judges, 91-93%). Frontier judges cost 73-294 times more than Jev and took 7-57 times longer. Jev may enable efficient clinical AI evaluation at scale.

中文摘要

摘要：临床人工智能（AI）输出的自动化评判是必要的，但在大规模应用中，大型语言模型（LLM）作为评判者既昂贵又速度缓慢。我们将Jev（一种返回结构化判断的决策语言模型）与前沿模型和开放权重的LLM评判者在四种使用场景中进行了比较。在118个儿科答案上，Jev与医生的序数质量评分的一致性（Gwet’s AC2 0.50；预期得分 0.53）与12个LLM评判者中的7个持平或更高，包括前沿模型Claude Opus 5.5（0.49）和GPT-6（0.38）。在医生评分的二元HealthBench标准上，Jev与6个LLM评判者中的4个持平或更优。在MedHELM的开放式任务中，Jev与三LLM陪审团的一致性接近或超过陪审团内部的一致性。在HealthBench Professional中，Jev在91%的标准上与基准参考评判者GPT-5.4持平（其他评判者为91-93%）。前沿评判者的成本比Jev高73-294倍，耗时比Jev长7-57倍。Jev可能使大规模临床AI评估高效可行。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28826 (HTTP 429)

Authors: Rotem Gershon, Seffi Cohen, Dean Ariel, Havatzelet Bilavsky-Yarden, Amiel Sberro, Shai Yitzhaki, Osnat Tausky, Naama Golan, Maayan Rabinovitch, Ariel Avraham Hasidim, Itay Arianu, Maya Dagan, Ran Balicer, Noa Dagan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28826.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28826

Published: 2026-10-23T01:56:54.211Z

7. Sketch2Sim: an end-to-end modular framework for hand-drawn circuit analysis

Abstract:This study proposes a sketch-to-simulation system to solve handwritten circuit diagrams. The system converts raw images into a Simulation Program with Integrated Circuit Emphasis (SPICE)-compatible netlist and automatically calculates the circuit’s nodal voltages and currents. Another objective is to propose a holistic framework that benefits students and educators by enhancing the teaching and learning experience of electric circuits and expediting engineering design reviews. This article presents a multistage pipeline that converts raw photographs of handwritten electric circuits into executable SPICE-like netlists, providing a solution. A dataset of 1,000 hand-drawn Resistor-Inductor-Capacitor (RLC) circuits was curated and annotated for components, text regions, and character recognition. The proposed system decomposes a circuit diagram into three stages: (i) dual You Only Look Once (YOLO)-based detectors for components and text regions, (ii) a Convolutional Recurrent Neural Network (CRNN) with Connectionist Temporal Classification (CTC) and Optical Character Recognition (OCR)-based domain-aware symbol value extraction, and (iii) image processing with thresholding, skeletonization, and Density-Based Spatial Clustering of Applications with Noise (DBSCAN) to automatically identify nodes and map them with corresponding components. The proposed system produces the netlist and solves the circuit. The qualitative and quantitative ablation studies on modular stages, as well as end-to-end tests, demonstrate robust performance across various handwriting styles, lighting conditions, and this http URL study serves as an interactive learning aid and practical tool for professionals, providing a comprehensive user interface (UI), enabling rapid digitization of circuit sketches for study, design, prototyping, or troubleshooting.

中文摘要

摘要：本研究提出了一种从手绘电路图到仿真的系统。该系统能够将原始图像转换为与SPICE（集成电路仿真程序）兼容的网表，并自动计算电路的节点电压和电流。另一个目标是提出一个整体框架，通过增强电路教学与学习体验并加快工程设计评审，惠及学生和教育者。本文介绍了一条多阶段处理管线，将手绘电路的原始照片转换为可执行的SPICE类网表，从而提供解决方案。我们构建并标注了一个包含1000个手绘电阻-电感-电容（RLC）电路的数据集，包括元件、文本区域和字符识别标注。所提出的系统将电路图分解为三个阶段：（i）基于双YOLO的元件和文本区域检测器，（ii）结合CTC（连接时序分类）的卷积递归神经网络（CRNN）以及基于OCR的领域感知符号值提取方法，（iii）通过阈值处理、骨架化和基于密度的空间聚类（DBSCAN）进行图像处理，以自动识别节点并将其与对应元件映射。所提出的系统能够生成网表并求解电路。关于各模块阶段的定性和定量消融研究，以及端到端测试表明，该系统在各种手写风格、光照条件下表现稳健。此外，本研究作为交互式学习辅助工具和实用专业工具，提供全面的用户界面（UI），能够快速将电路草图数字化，用于学习、设计、原型开发或故障排查。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28836 (HTTP 429)

Authors: Mohammad Kawsar, Al Amin Islam Ridoy, Md Rakib Hossain, Farzana Akter, AKM Bahalul Haque, Rejwan Bin Sulaiman, Mohammed Amin Almaiah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28836.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28836

Published: 2026-10-23T01:56:54.211Z

8. Speedrunning Relational Foundation Model Pretraining

Abstract:Progress on foundation model pretraining is gated by who can afford a trial, and relational pretraining is no exception. Recipes are developed inside individual labs, reported under private protocols, and do not accumulate. Speedrun leaderboards remove that barrier by decentralizing the search rather than the training run. The problem is fixed, the stack is open, entries are ranked by wall-clock time to a quality target, and one GPU is enough to hold the record. We introduce modded-nanoRT, the first such leaderboard for Relational Transformers. Which database to hold out decides whether the benchmark can resolve improvements at all, so we fix it by calibration, ranking six candidates by how sharply a 45-minute learning curve separates improvement from seed noise. We open the leaderboard with typed trilinear attention, a relational operator that conditions attention scores and values on the foreign key traversed, together with Muon and SIGReg. The recipe reaches the target in 305.63 seconds on one NVIDIA H200, 8.11x faster than the reference implementation, and wins 13 of 15 pairs outside the development database. We will release the benchmark, its frozen artifacts, and the record runs. Our code is available at this https URL.

中文摘要

摘要：基础模型预训练的进展受限于谁能够负担得起试验，关系型预训练也不例外。训练方案通常在各个实验室内部开发，按照私有协议报告，并不会积累共享。速通排行榜通过去中心化搜索而非训练过程来消除这一障碍。问题得以解决，堆栈开放，参赛作品按达到质量目标所需的实际时钟时间排名，而单个 GPU 就足以保持记录。我们介绍了 modded-nanoRT，这是首个面向关系型 Transformer 的此类排行榜。选择保留哪个数据库决定了基准测试能否真正区分改进，因此我们通过校准解决了这一问题，将六个候选数据库按 45 分钟学习曲线能够多明确地区分改进与随机噪声进行排名。我们以带类型三线性注意力的模型开启排行榜，这是一种关系运算符，它将注意力分数和值条件化于遍历的外键，同时结合 Muon 和 SIGReg。该训练方案在单个 NVIDIA H200 上以 305.63 秒达到目标，比参考实现快 8.11 倍，并在开发数据库之外的 15 对比测试中赢得 13 场。我们将发布基准测试、其冻结的工件以及记录运行。我们的代码可通过此 HTTPS 链接获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28855 (HTTP 429)

Authors: Gabriel Wedson Mendonça de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa, Francisco Galuppo Azevedo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28855.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28855

Published: 2026-10-23T01:56:54.211Z

9. To Manipulate or Not: Opinion Dynamics in LLM Interactions

Abstract:Large language models increasingly take part in extended conversations where they can both shape and be shaped by another party’s views, yet most persuasion research measures only one side of that exchange. We introduce a controlled LLM-LLM debate framework in which two language-model roles repeatedly discuss a contested topic (climate-change attribution): one is given an assigned stance and, in some conditions, an explicit instruction to persuade, while the other receives no assigned position. Across four ordered model combinations involving GPT-6 Luna and Gemini 2.5 Flash Lite, we track both each role’s explicitly reported position and a separate measure of its turn-by-turn behavior inside the conversation. Opinion dynamics differ substantially across model combinations: same-model interactions narrow the opinion gap on average, clearly for only one of the two models, while cross-model interactions widen it. Explicit reports and in-dialogue behavior capture distinct aspects of opinion dynamics, and a blanket instruction to persuade does not reliably increase influence. These findings suggest that conversational influence depends not only on assigned roles and initial positions but also on the participating models, with implications for how opinion change is measured in extended LLM interactions.

中文摘要

摘要：大型语言模型越来越多地参与延长的对话，在这些对话中，它们既可以影响对方的观点，也可以被对方的观点所影响，但大多数说服研究仅测量交流中的一方。我们引入了一个受控的LLM-LLM辩论框架，在该框架下，两个语言模型角色会反复讨论一个有争议的话题（气候变化归因）：其中一个被分配了立场，并在某些条件下收到明确的说服指令，而另一个没有被分配立场。在涉及GPT-6 Luna和Gemini 2.5 Flash Lite的四种有序模型组合中，我们跟踪每个角色的明确报告立场以及其在对话中逐轮行为的独立测量。意见动态在不同模型组合中有显著差异：相同模型的交互平均缩小了意见差距，但明显仅对其中一个模型有效，而不同模型的交互会扩大差距。明确报告和对话中的行为捕捉到意见动态的不同方面，而一项统一的说服指令并不可靠地增加影响力。这些发现表明，对话影响力不仅取决于分配的角色和初始立场，还取决于参与的模型，这对在扩展的LLM交互中如何测量意见变化具有重要意义。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28875 (HTTP 429)

Authors: Mohammad Siahkamari, Phuoc Dat Nguyen, Stephen MacNeil

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28875.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28875

Published: 2026-10-23T01:56:54.211Z

10. Fig: Automated Multiagent Behavior Elicitor

Abstract:Many social evaluations for multiagent systems study behaviors as they emerge from environments instead of systematically intervening in the environment to elicit such behaviors. We introduce Fig (Finding Interactions in Games), an agentic system that performs targeted elicitation interventions on game environments. It takes a natural language behavior description, decomposes it into sub-behaviors, generates new social games or selects existing ones, and executes single or combined interventions to the games’ engine, opponents, instructions, and context. To evaluate model behavior, it combines built-in mechanical checks and synthetic rubric judgments. We validate the interventions, generated games, and evaluation mechanisms via human review. Models attempt the target behavior in 45.2% of episodes on average for valid scenarios generated by Fig for six test behaviors — cooperation, exploitation, deception, covert coordination, betrayal, and sabotage. For game-behavior pairs with available controls, Fig’s interventions increase attempt rates by 10.9% on average compared to matched control games. Fig shows that multiagent environments can serve as programmable test beds for intentional, controllable, and reproducible behavior evaluation. Code is available at this https URL.

中文摘要

摘要：许多针对多智能体系统的社会评估研究行为时，关注的是行为如何从环境中自然出现，而不是通过系统干预环境来引发这些行为。我们介绍了Fig（在游戏中发现交互，Finding Interactions in Games），一个能在游戏环境中执行有针对性诱发干预的智能体系统。它接受自然语言行为描述，将其分解为子行为，生成新的社交游戏或选择现有游戏，并对游戏引擎、对手、指令及环境执行单独或组合的干预。为了评估模型行为，它结合了内置机械检查和合成评分标准判断。我们通过人工审查验证了干预措施、生成的游戏及评估机制。在Fig为六种测试行为——合作、利用、欺骗、隐蔽协调、背叛和破坏——生成的有效场景中，模型平均在45.2%的实验中尝试目标行为。对于可控的游戏行为对，Fig的干预措施使尝试率平均比匹配的对照游戏提高10.9%。Fig展示了多智能体环境可以作为可编程的测试平台，用于有意图、可控且可复现的行为评估。代码可通过此HTTPS链接获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28891 (HTTP 429)

Authors: Anrui Gu, Zhichao Wang, Nicolai Ouporov

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28891.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28891

Published: 2026-10-23T01:56:54.211Z

Evaluation Domain Papers

1. A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation

中文摘要

摘要：查询澄清对于面临模糊用户查询的增强检索生成（RAG）系统至关重要。我们考虑多轮有根对话场景，其中用户查询在先前对话的上下文中要么格式不正确或模糊，或者更有趣的是，它可能格式正确，但在针对检索到的文档提出时存在多种相关解释。这一任务是识别这两种情况，然后生成适当的澄清请求给用户。我们提出了ClariEdge，一个包含约3,900个示例的新数据集，其中包括此类模糊查询以及不需要澄清的负面示例。我们还展示了轻量级微调的LoRA在分类准确率上达到96.6%，并在分类和澄清生成质量上均优于许多更大模型的提示基线。我们的研究表明，难负样本是区分真正模糊查询与可能看似模糊但实际上并非模糊（即可从上下文中解决）的查询的重要组成部分。相同的LoRA在检索前和检索后场景中均表现出高性能；因此，它可以在RAG流程中在答案生成前作为检查点使用。ClariEdge数据集可通过此网址获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28686 (HTTP 429)

Authors: Lihong He, Lucian Popa, Marina Danilevsky

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28686.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28686

Published: 2026-10-23T01:57:14.176Z

2. Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

中文摘要

摘要：在物理环境中，数据规模、多样性和模型容量的增加提升了具身学习，因为多样化的经验仍然基于共同的物理规律。是否这些提升可以扩展到具有不同视觉风格、动力学、控制方式和目标的虚拟世界仍不清楚。我们通过一个受控研究来探讨这一问题，对三条轴线上的持续预训练（CPT）进行了研究：数据量、多样性和模型规模。我们的 120 个训练配置涵盖了四种模型规模，从 0.8B 到 27B，六个数据预算，从 50 到 1600 小时，以及五种数据组合，从仅包含《Minecraft》的数据到多样的多世界语料库。我们通过三级验证损失和从语料世界到未见世界的游戏基准来评估性能和泛化能力。我们的结果显示：(1) 更多的数据提升了语料内的性能，多样性提高了迁移到相关世界的能力，但在远程世界的收益有限，模型规模提高了数据效率，但在单世界训练下对远程世界的泛化能力较差；(2) 我们观察到一个早期的界面阶段，具有广泛的跨世界收益，而后期的世界阶段，收益仅限于语料内和相关世界，并拟合了一个将验证损失与数据量、多样性和模型规模关联的经验规模规律；以及 (3) 我们的模型在 3D 世界中与《Minecraft》专项模型和前沿模型具有竞争力，并在实时环境中表现最佳。然而，模仿的限制以及在远程世界中持续存在的差距表明，构建通用具身智能体需要比持续预训练更丰富的训练阶段。

LLM Analysis

Authors: Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou, Tao Tan, Yinhe Zheng, Yiming Li

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28698.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28698

Published: 2026-10-23T01:57:14.176Z

3. SpecEvo: Speculative Evolution with Large Language Models for Cost-Efficient Scientific Discovery

中文摘要

摘要：由大语言模型（LLM）驱动的进化搜索是科学发现的有前景的范式，但现有方法仍然昂贵且缓慢，通常会统一应用高成本的推理，同时未充分利用来自失败、冗余和饱和试验的证据。我们引入了投机进化（Speculative Evolution, SpecEvo），这是一个多LLM框架，通过持续整合搜索证据来协调轻量级模型和前沿模型。轻量级模型不仅支持并行的投机者（Speculators）生成和优化候选程序，还支持顾问（Advisor），将积累的成功、失败和饱和方向提炼为持续的指导，用于后续探索。在稀疏的检查点上，前沿模型导航器（Navigator）会检查正在进化的人群，并根据搜索停滞情况通过综合、精细调整或重新构架进行干预。这种“先投机再整合”的工作流程将常规探索和证据整合委托给低成本模型，同时将前沿推理保留用于策略性干预，其收益可扩展至许多后续的低成本评估。在涵盖四个科学与算法发现领域的176个任务中，SpecEvo在匹配或超过前沿模型基线性能的同时，将API成本降低了最多80%，在方程发现上比成本效益基线提高了最多1.5倍的评估效率，并相比最强的CO-Bench基线提高了3.8%。这些结果支持了轨迹条件下的模型协调作为实现成本高效科学发现的有效方法。

LLM Analysis

z_r(p) = [ Z_r^(ast)(φ(p)) parallel Z_r^(sem)(U_r^top (e(p) - e_r)) ] ∈ R^(16)

该设计确保即使某些策略不在全局前列，只要其在其 niche 内最优，就能被保留以供后续交叉与合成。 - **搜索历史（Search History）** H_t ：记录**每一次**评估尝试，包括被拒绝的程序、执行失败、错误签名与评估器诊断。这为系统提供了关于哪些方向消耗资源却无进展、哪些实现错误反复出现的完整信号。 —- ### 3. 初始化：分层构建多样性种群搜索开始前，系统通过两个阶段建立初始种群： 1. **种子生成**：前沿模型 Navigator 顺序生成 M=5 个种子程序，每次条件化于此前种子的策略与结果，确保算法范式多样性。 2. **轻量扩展**： W 个轻量级 Speculators 并行地将每个可执行种子扩展为 V=20 个廉价变体，借鉴其他种子的描述作为灵感。此后，所有经过评估的程序被嵌入并纳入 Archive，建立初始 niche 分布。 —- ### 4. 三个协同角色 #### 4.1 Speculators：异步、持续的轻量级探索 - **并行工作池**： W=4 个异步工作者持续运行，几乎承担全部候选生成任务。 - **停滞自适应的父代采样**：父代选择基于 Archive 内的排名 r_i 与 Zipf 分布，其指数 β_t 随停滞信号 s_t 动态调整：

**SYNTHESIS**：将多个竞争 niche 的互补机制融合为一个连贯程序； - **SURGICAL**：对当前冠军实施局部结构修正； - **REFRAME**：引入当前种群中缺失的全新策略家族。 - **双分辨率上下文**：为控制提示长度，Navigator 接收少数高排名 niche 精英的**完整代码**（anchors）与额外 niche 的**描述摘要**（inspirations），避免verbatim模仿。 - **轻量后续跟进**：每次 Navigator 生成有效程序后，Speculators 立即为其生成 J=5 个邻近变体，使单次昂贵干预能辐射多次低成本评估。 #### 4.3 Advisor：将轨迹证据凝练为滚动指导 Advisor 每 Delta_A 次评估由轻量模型调用一次，将近期统计与历史失败转化为**可复用的处方笔记**： - **信号提取**： - **Working niches**：近期有精英改进的 niche，指示应保留的算法机制； - **Saturated niches**：近期活动频繁但无改进的 niche，指示应淡化的方向； - **Recurring failure signatures**：从 H_t 中聚合的重复执行错误及其代表性诊断信息。 - **指导输出**：生成不超过 500 字的笔记，包含 `WORKING`、`SATURATED`、`AVOID` 三个字段，明确指出保留何种机制、淡化何种方向、避免何种错误。 - **概率化注入**：每条笔记以概率 rho_A=0.35 独立出现在各 Speculator 提示中。这种随机注入既允许有益经验传播，又保留大部分提议不受显式指导约束，防止反馈导致的群体思维（herding）。 —- ### 5. 档案动态重构每 Delta_C=50 次评估，系统在运行中重新拟合 PCA 基与标准化参数，并重新锚定 niche 中心。这使得描述符空间能随种群演化而调整，稳定 niche 分配的同时确保 Archive 的几何结构始终反映当前策略分布。 —- ### 6. 成本效率的实现机制 SPECEVO 的成本优势并非简单来自“用便宜模型代替贵模型”，而是源于以下结构性设计： - ** Q4: 论文做了哪些实验？该论文在 **176 个任务** 上开展了系统性实验，横跨 **数学发现、系统优化、组合优化与科学方程发现** 四个领域。实验围绕三个核心研究问题（RQ1–RQ3）展开，并辅以大量消融实验与搜索动态分析。 —- ### 1. 实验设置与基准 **评测领域与数据集** - **数学发现**：7 个来自 AlphaEvolve Math 的可执行优化问题（如圆填充、Heilbronn 问题、MinMax 距离等）。 - **系统优化**：4 个来自 ADRS 的真实系统任务（如专家并行负载均衡 EPLB、LLM-SQL 前缀缓存、事务调度等）。 - **组合优化**：36 个来自 CO-Bench 的问题，涵盖装箱、切割、设施选址、调度、路由等 8 个类别。 - **科学方程发现**：129 个来自 LSR-Synth 的符号回归问题，覆盖化学、生物、物理与材料科学。 **对比基线** - **单模型进化方法**：OpenEvolve、GEPA、AdaEvolve、EvoX（均使用前沿模型）。 - **异构模型/成本敏感方法**：LEVI、RelayEvolve。 - **受控模型分配策略**（用于 RQ2）：All-cheap、Fixed-switch、Random、Bandit，用于剥离“模型协调机制”本身带来的增益。 **模型配置** - 前沿模型：GPT-5、Kimi-K2-Thinking。 - 轻量模型：Qwen3-30B/14B/8B、Qwen2.5-7B。 - 默认配置：SPECEVO 以 GPT-5 作为 Navigator，Qwen3-30B 作为 Speculators 与 Advisor。 —- ### 2. RQ1：整体有效性与成本–性能权衡在**匹配的 wall-clock、API 成本与评估预算**下，与强基线进行全面对比： - **固定 3 小时 wall-clock 预算**（Figure 3、Figure 4、Table 12、Table 13）： - 在数学与系统任务上，SPECEVO 在性能领先或持平的同时，将 API 成本降低约 **50%–80%**。 - 在 CO-Bench 上，SPECEVO 取得最高综合得分，比最强基线高 **3.8%**。 - **固定 10 美元 API 预算**（Figure 6）： - 在系统优化任务上验证成本受限场景下的优势，最大提升出现在 LLM-SQL 任务（+5.12%）。 - **固定 500 次评估预算**（Figure 1、Table 2）： - 在 LSR-Synth 的 Biology 与 Chemistry 任务上追踪最优迄今 NMSE；SPECEVO 在 500 次评估内达到的质量，基线需要多耗 **43%–65%** 的评估次数才能匹配。 - **跨模型配置鲁棒性**： - 测试了前沿模型（GPT-5 / Kimi-K2）与多种轻量模型的组合，验证 SPECEVO 在不同价格–能力曲线上的稳定性。 —- ### 3. RQ2：异构模型协调机制的有效性为验证“speculate-then-consolidate”是否优于简单的模型切换或路由，在**固定 500 次模型调用**的严格预算下开展对比（Table 1）： - **RelayEvolve**：一次性将种群从廉价模型交接给前沿模型（89.0% 的前沿调用）。 - **LEVI**：轻量模型做局部细化，前沿模型做预定义范式转移（3.2% 的前沿调用）。 - **受控策略**：All-cheap、Fixed-switch、Random、Bandit。 SPECEVO 仅使用 **2.4%** 的前沿模型调用，在 6 个代表性任务中的 5 个上取得最佳性能，且从未跌出前二。该实验支撑了核心结论：**成本优势不仅来自“少用贵模型”，更来自基于搜索轨迹证据的持续协调**。 —- ### 4. RQ3：搜索动态与组件贡献分析通过轨迹级指标分析三个角色（Speculator、Navigator、Advisor）的互补作用： - **种群多样性**（Figure 8）：使用 Code Diversity Index（CDI）度量。SPECEVO 的 CDI 显著高于单提示消融与 LEVI，表明多算子与停滞自适应采样维持了更高的代码结构多样性。 - **停滞率与前沿贡献**（Figure 7）： - SPECEVO 的停滞率（17.5%）低于 LEVI（22.4%）。 - 前沿模型可追溯的新最优贡献率（15.5%）高于 LEVI（10.2%），说明 Navigator 的干预及其后续的轻量变体 refinement 更有效。 - **执行错误率**（Figure 9）：SPECEVO 的错误率降至 **5%–8%**，而 LEVI 为 13%–25%；移除 Advisor 后错误率显著上升，验证了其失败知识传递的价值。 - **案例研究**（Figure 5、Figure 10、Appendix I）： - 在 Circle Packing Rectangle 与 EPLB 上，可视化 Navigator 的 SYNTHESIS/REFRAME 如何改变搜索策略，以及 Advisor 如何将空数组、dtype 不匹配等重复错误转化为可复用的编码约束。 —- ### 5. 消融实验与超参敏感性 **组件消融**（Table 3）：在代表性任务上逐一移除或替换关键设计，观察平均得分下降： - **探索侧**：移除 AST 特征（-0.38% / -7.76%）、移除描述嵌入、禁用 refit、将六类算子折叠为单一通用变异（-2.17% / -12.74%）。 - **整合侧**：移除 Navigator（-2.25% / -9.42%）、随机/固定干预模式（对比自适应模式）、移除 Advisor（-3.82% / -6.09%）、使用固定指导（对比动态更新）。 **超参敏感性**（Figure 11、Figure 12）： - **Archive 容量 K **： K=50 时性能最佳，平衡策略覆盖与 niche 内充分优化。 - **干预间隔**：Navigator 每 20 次评估、Advisor 每 50 次评估为优选，反映战略响应与统计置信度的不同信息需求。 - **Speculator 数量**：从 1 增至 4 _workers 时，解质量与评估吞吐量同步提升；超过 4 后质量增益边际递减，而 token 消耗与成本急剧上升。 —- ### 6. 逐领域详细分解 - **CO-Bench 逐类别与逐任务**（Figure 14、Table 14、Figure 15、Table 15）：SPECEVO 在 8 个类别中的 5 个领先，20/36 个问题上排名第一；成对bootstrap 检验显示对 4/5 个基线的平均提升置信区间严格为正。 - **LSR-Synth 扩展对比**（Table 16、Figure 16、Table 17）： - 与 LLM-SR、LaSR、SGA 等专用符号回归方法对比，除 Biology ID 外均取得最低 NMSE。 - 在化学、生物、物理领域取得最高的数值精度（Acc0.1）与符号准确率（SA），且 OOD 泛化误差显著更低。 —- ### 实验总结论文的实验设计覆盖了 **性能对比、成本控制、样本效率、组件贡献、超参鲁棒性、定性机制分析** 六个维度，并通过多预算（wall-clock / API / evaluations / model calls）与多模型配置的交叉验证，支撑了“基于轨迹证据的异构模型协调可实现高性价比科学发现”这一核心命题。 Q5: 有什么可以进一步探索的点？基于论文的讨论与框架设计，以下方向具有进一步探索的潜力： —- ### 1. 评估成本异构场景下的资源分配当前实验假设候选程序可在 CPU 上快速执行，从而支持多 Speculators 并行评估。若候选评估涉及 GPU 训练、大规模仿真或物理实验，单次评估成本将显著上升，且不同候选的评估开销可能差异巨大。在此类场景中： - 需动态调整 Speculator 数量与评估并行度，以平衡 wall-clock 时间与加速器/实验预算； - 可将评估成本纳入 Archive 准入与 Navigator 干预的决策准则，避免在昂贵且低信息量的方向上浪费资源； - 引入提前终止（early stopping）或代理评估（proxy evaluation）机制，降低无效候选的完整评估开销。 —- ### 2. 多级模型级联与动态路由论文聚焦于“轻量级—前沿”两级分工。未来可探索**超过两个层级**的模型级联（例如 7B → 14B → 30B → 前沿模型），并设计自适应路由策略： - 在每个决策点根据当前候选复杂度、历史成功率与即时预算状态，选择最合适的模型层级； - 借鉴 speculative decoding 中“接受率”的思想，建立轻量模型提案被后续层级采纳的概率估计，以优化级联阈值； - 将模型路由本身作为可学习的策略，在进化轨迹中进行元优化。 —- ### 3. 自适应干预频率与引导注入策略 SPECEVO 中 Navigator 与 Advisor 的触发间隔（ Delta_N , Delta_A ）以及 Advisor 指导的注入概率 rho_A 均为超参数。更精细的自适应机制包括： - 基于停滞信号 s_t 的非线性调度：在高度停滞期缩短 Navigator 间隔、增加前沿干预频率，在快速改进期延长间隔以节省成本； - 根据指导效用（如注入后 Speculator 产出的成功率提升）动态调整 rho_A ，而非固定为 0.35； - 引入“预测性触发”：利用历史轨迹训练一个低成本预测器，预判何时可能陷入局部最优，从而前置化干预。 —- ### 4. 代码描述可靠性的增强与验证 Archive 的描述符依赖轻量模型生成的自然语言策略描述 d(p) ，其不准确性可能扭曲语义距离、niche 分配及 Navigator 的种群视图。可探索： - **代码 grounded 描述**：利用 AST 路径、执行轨迹或变量依赖关系约束描述内容，减少幻觉； - **描述–代码一致性检验**：训练轻量级判别器或利用 LLM 自验证，检测描述中声称的机制是否真实存在于代码； - **无描述进化**：完全基于执行行为（输入–输出特征、资源消耗模式）构造行为描述符，消除对自然语言生成的依赖。 —- ### 5. 跨任务与元进化（Meta-Evolution）当前框架在每个任务上独立运行。若将 SPECEVO 应用于大量相关任务，可研究： - **任务间迁移**：将某任务上 Advisor 凝练的失败模式与有效策略家族，迁移至结构相似的新任务，作为热启动知识； - **元进化搜索策略**：在任务分布上进化 Advisor 的提示模板、Navigator 的干预阈值或 Archive 的描述符构造方式本身，实现“进化搜索策略的进化”； - **持续学习**：防止在多任务序列中遗忘先前积累的有效搜索经验。 —- ### 6. 多目标与约束优化扩展现有框架主要针对单目标最大化问题 F: P to R 。扩展至多目标场景需要： - 多目标版本的 MAP-Elites Archive，例如在行为描述符中引入帕累托前沿或超体积指标； - Advisor 需同时追踪多个目标上的改进、饱和与冲突（trade-off）关系； - Navigator 的干预模式需新增“目标重加权”或“约束松弛/收紧”等操作，以引导搜索跨越不同的帕累托区域。 —- ### 7. 理论分析：收敛性与后悔界目前 SPECEVO 的优越性主要基于实证。理论层面可探索： - 在特定适应度景观假设下，分析停滞自适应采样（Zipf 分布与 β_t 调度）的收敛速率； - 量化稀疏 Navigator 干预对搜索多样性的影响，建立“干预频率—局部最优逃逸概率”之间的形式化关系； - 在 bandit 或强化学习框架下，推导模型调用分配策略的有限时间后悔界（regret bound）。 —- ### 8. 与神经架构搜索及科学实验闭环的结合 SPECEVO 的 speculate-then-consolidate 范式可推广至更广泛的科学发现场景： - **神经架构搜索（NAS）**：将候选程序替换为网络架构描述，评估器对应训练管道；此时需处理长周期评估与噪声适应度； - **自主实验系统**：将 Speculator 生成的实验方案交由机器人实验室或仿真环境执行，Navigator 根据实验结果提出新假设，Advisor 则整合实验失败（如设备约束违反、测量误差模式）； - **多模态反馈**：除标量得分外，利用执行日志、可视化输出或人类专家反馈作为额外的整合信号。 —- ### 9. 环境足迹与能效优化论文重点在于 API 成本，但 LLM 推理与大规模评估的能源消耗日益显著。未来可研究： - 将碳排放或能耗作为显式约束纳入 Archive 准入或模型选择准则； - 在轻量模型与前沿模型之间建立能效–性能帕累托前沿，寻找环境友好的最优操作点； - 针对特定硬件（边缘设备 vs. 数据中心）定制模型层级与并行策略。 Q6: 总结一下论文的主要内容该论文针对 **LLM 驱动进化搜索在科学发现中成本高昂、效率低下** 的问题，提出了 **SPECEVO** 框架，通过 **Speculate-Then-Consolidate（StC）** 范式实现了高性能与低成本的统一。 ### 1. 研究背景与核心问题现有 LLM 驱动的进化搜索方法通常依赖单一前沿模型执行所有变异与决策，导致 API 成本极高；而直接替换为轻量模型虽能降低成本，却会因缺乏全局指导而陷入局部最优、重复错误与冗余探索。关键瓶颈在于：**搜索过程中积累的成功经验、失败教训与方向饱和信号未能被持续转化为可复用的指导**，也未能动态决定昂贵的前沿模型何时、以何种方式介入。 ### 2. 核心范式：Speculate-Then-Consolidate（StC） SPECEVO 借鉴推测解码的不对称计算思想，将搜索轨迹层面的任务分解为： - **Speculate（推测）**：由轻量模型持续、并行地生成大量候选，承担常规探索； - **Consolidate（整合）**：周期性地将累积证据凝练为指导与战略干预，仅稀疏调用前沿模型。 ### 3. 方法框架与关键组件 #### 共享搜索状态系统维护两个解耦的全局结构： - **行为档案（Behavioral Archive）** A_t ：采用 MAP-Elites 风格，基于结构–语义描述符

Authors: Ha Minh Hieu, Tongyao Zhu, Do Xuan Long, Min-Yen Kan

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28706.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28706

Published: 2026-10-23T01:57:14.176Z

4. Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?

中文摘要

摘要：前沿的编码代理越来越被描述为端到端的自动化科研人员，而科学领域的机器学习（ML）为这一承诺提供了一个严峻的考验：改进科学模型通常需要超出常规ML工程的领域洞察。我们引入了Agent4Sci，这是一个长期测试平台，用于评估当今的代理在科学ML基准测试上改进已发表最佳模型的能力，涵盖11个领域的20个基准测试。Agent4Sci并不通过排行榜对代理进行排名，而是关注在真实环境下，代理能在这些任务上取得何种进展，以及它们的局限所在。实证结果显示，当今的前沿代理在每个基准测试上都超过了已发表的最佳模型，其中Claude Opus达到了平均相对改进10.4%，且没有任何实验被标记为学术不端。然而，这些提升几乎完全来自一系列ML工程技巧，而非研究层面的洞察。轨迹分析揭示了该环境下的三个反复出现的局限：新颖性校准不当、资源未充分利用以及快速陷入局部工程优化。为研究构思、实验管理和定期清单提供的轻量级插件技能，将Claude Opus的改进从10.4%提升至20.1%，将Codex从4.4%提升至8.1%，同时带来更多多样化且与领域相关的干预。Agent4Sci为社区提供了一种方式，以追踪并推动前沿代理从ML工程向真实世界科学ML问题的领域洞察发展。代码和数据可在GitHub（此https URL）和Hugging Face（此https URL）获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28763 (HTTP 429)

Authors: Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28763.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28763

Published: 2026-10-23T01:57:14.176Z

5. Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing

中文摘要

摘要：代理利用进化优化代理的指令、工具和控制流程，通过将其任务执行经验作为不断发展的证据。尽管直觉上更多的进化任务应该提升性能，我们的初步研究揭示了一种矛盾的失败模式：随着任务库的扩展，现有方法的性能反而下降。进一步分析表明，这种性能下降源于优化过程中证据选择的次优性，因为不同的证据组合会导致截然不同的进化结果。为了解决这个问题，我们提出了连续尺度竞赛（SSR）框架，该框架在每轮进化中自适应地搜索最优证据组合。SSR基于相应任务的质量和覆盖度构建多样化的证据组合，并在小计算预算下高效地竞赛生成的候选代理。实证上，在三个不同基准上，SSR在所有六种配置中都取得了最先进的结果。值得注意的是，随着任务库从40增长到200，SSR的通过率稳步提升，从64.3%增加至68.3%，而基线方法的性能均下降。此外，其竞赛机制在减少60%验证执行的情况下识别出接近最优的候选方案。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28815 (HTTP 429)

Authors: Jingzhe Liu, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28815.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28815

Published: 2026-10-23T01:57:14.176Z

6. Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI

中文摘要

摘要：临床人工智能（AI）输出的自动化评判是必要的，但在大规模应用中，大型语言模型（LLM）作为评判者既昂贵又速度缓慢。我们将Jev（一种返回结构化判决的决策语言模型）与前沿及开放权重的LLM评判者在四种使用场景中进行了比较。在118个儿科答案上，Jev与医生的序数质量评分的一致性（Gwet’s AC2 0.50；期望得分 0.53）与12个LLM评判者中的7个持平或更高，包括前沿模型Claude Opus 5.5（0.49）和GPT-6（0.38）。在医生评分的二元HealthBench标准上，Jev与6个LLM评判者中的4个持平或更优。在MedHELM的开放式任务中，Jev与三LLM陪审团的一致性接近或超过陪审员内部的一致性。在HealthBench Professional中，Jev在91%的标准上与基准参考评判者GPT-5.4持平（其他评判者为91-93%）。前沿评判者的成本比Jev高73-294倍，耗时比Jev长7-57倍。Jev可能使大规模临床AI评估高效可行。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28826 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28826.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28826

Published: 2026-10-23T01:57:14.176Z

7. Sketch2Sim: an end-to-end modular framework for hand-drawn circuit analysis

中文摘要

摘要：本研究提出了一种从手绘电路图到仿真的系统。该系统能够将原始图像转换为与SPICE（集成电路仿真程序）兼容的网表，并自动计算电路的节点电压和电流。另一个目标是提出一个整体框架，通过增强电路教学与学习体验并加快工程设计评审，惠及学生和教育工作者。本文展示了一个多阶段管道，将手绘电路的原始照片转换为可执行的SPICE类网表，从而提供解决方案。我们构建并标注了一个包含1000个手绘电阻-电感-电容（RLC）电路的数据集，包括元件、文本区域和字符识别标注。所提出的系统将电路图分解为三个阶段：（i）基于双YOLO的元件和文本区域检测器，（ii）结合CTC（连接时序分类）的卷积递归神经网络（CRNN）以及基于OCR的领域感知符号值提取方法，（iii）通过阈值处理、骨架化和基于密度的空间聚类（DBSCAN）进行图像处理，以自动识别节点并将其与对应元件映射。所提出的系统能够生成网表并求解电路。关于各模块阶段的定性和定量消融研究，以及端到端测试表明，该系统在各种手写风格、光照条件下表现稳健。此外，本研究作为交互式学习辅助工具和实用专业工具，提供全面的用户界面（UI），能够快速将电路草图数字化，用于学习、设计、原型制作或故障排查。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28836 (HTTP 429)

Authors: Mohammad Kawsar, Al Amin Islam Ridoy, Md Rakib Hossain, Farzana Akter, AKM Bahalul Haque, Rejwan Bin Sulaiman, Mohammed Amin Almaiah

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28836.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28836

Published: 2026-10-23T01:57:14.176Z

8. Speedrunning Relational Foundation Model Pretraining

中文摘要

摘要：基础模型预训练的进展受限于谁能够负担得起试验，关系型预训练也不例外。训练方案通常在各个实验室内部开发，按照私有协议报告，并且难以积累。速度排行榜通过去中心化搜索而非训练过程来消除这一障碍。问题得以解决，堆栈是开放的，条目按达到质量目标的实际用时进行排名，一块 GPU 就足够保持记录。我们介绍了 modded-nanoRT，这是针对关系型变换器的第一个此类排行榜。选择保留哪个数据库决定了基准是否能够测量改进，所以我们通过校准解决了这个问题，对六个候选项按 45 分钟学习曲线中改进与随机初始化噪声的区分度进行排名。我们用带类型的三线性注意力开启排行榜，这是一个关系操作符，它根据遍历的外键条件调整注意力分数和值，结合 Muon 和 SIGReg。该方案在一块 NVIDIA H200 上 305.63 秒内达到目标，比参考实现快 8.11 倍，并且在开发数据库之外的 15 对测试中赢得了 13 对。我们将发布基准、冻结的工件和记录运行结果。我们的代码可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28855 (HTTP 429)

Authors: Gabriel Wedson Mendonça de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa, Francisco Galuppo Azevedo

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28855.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28855

Published: 2026-10-23T01:57:14.176Z

9. To Manipulate or Not: Opinion Dynamics in LLM Interactions

中文摘要

摘要：大型语言模型越来越多地参与延长的对话，在这些对话中，它们既可以影响对方的观点，也可以被对方的观点所影响，但大多数说服研究仅衡量交流中的一方。我们引入了一个受控的LLM-LLM辩论框架，在该框架下，两个语言模型角色会反复讨论一个有争议的话题（气候变化归因）：其中一个被分配了立场，并在某些条件下收到明确的说服指令，而另一个没有被分配立场。在涉及GPT-6 Luna和Gemini 2.5 Flash Lite的四种有序模型组合中，我们跟踪每个角色的明确报告立场以及其在对话中逐轮行为的独立测量。意见动态在不同模型组合中有显著差异：相同模型的交互平均缩小了意见差距，但明显仅对其中一个模型有效，而跨模型的交互会扩大差距。明确报告和对话中的行为捕捉到意见动态的不同方面，而一项统一的说服指令并不可靠地增加影响力。这些发现表明，对话影响力不仅取决于分配的角色和初始立场，还取决于参与的模型，这对在扩展的LLM交互中如何测量意见变化具有重要意义。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28875 (HTTP 429)

Authors: Mohammad Siahkamari, Phuoc Dat Nguyen, Stephen MacNeil

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28875.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28875

Published: 2026-10-23T01:57:14.176Z

10. Fig: Automated Multiagent Behavior Elicitor

中文摘要

摘要：许多针对多智能体系统的社会评估研究行为时，关注的是行为如何从环境中自然出现，而不是通过系统干预环境来引发这些行为。我们介绍了Fig（在游戏中发现交互，Finding Interactions in Games），一个能在游戏环境中执行有针对性诱发干预的智能系统。它接受自然语言的行为描述，将其分解为子行为，生成新的社交游戏或选择现有游戏，并对游戏引擎、对手、指令及环境执行单独或组合的干预。为了评估模型行为，它结合了内置机械检查和合成评分标准进行判断。我们通过人工审核验证了干预措施、生成的游戏及评估机制。在Fig为六种测试行为——合作、利用、欺骗、隐蔽协调、背叛和破坏——生成的有效场景中，模型平均在45.2%的实验中尝试了目标行为。对于具有可用对照的游戏-行为对，Fig的干预措施使尝试率平均比匹配对照游戏提高10.9%。Fig表明，多智能体环境可以作为可编程的测试平台，用于有意图、可控且可重复的行为评估。代码可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28891 (HTTP 429)

Authors: Anrui Gu, Zhichao Wang, Nicolai Ouporov

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.28891.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28891

Published: 2026-10-23T01:57:14.176Z

VLM Domain Papers

1. Different Defects, Different Effects: A Controlled Audit of Face Recognition Training Data

Abstract:The development of face recognition has been strongly supported by the availability of large-scale training datasets. Among them, MS-Celeb-1M has played an important role by providing millions of facial images from nearly 100K identities. However, the size and heterogeneity of such datasets increase the likelihood of annotation errors, redundant samples, and other forms of data inconsistency. This motivated the introduction of refined versions, such as MS1MV2 and MS1MV3, aimed at improving the quality of the training data. Despite these cleaning efforts, we show that several types of training-data defects remain in MS1MV3. By proposing complementary data-auditing strategies, we identify five defect categories: exact and near-duplicate images, split identities, crop errors, multiple-face ambiguity, and invalid content. We then assess the effect of correcting these defects under a controlled face-recognition training protocol based on IResNet-50 and ArcFace. The results show that targeted interventions can preserve, and in some cases improve, recognition performance while requiring fewer optimization steps to reach the performance of the original training set. Duplicate removal provides the clearest overall benefit, while split-identity merging and invalid-content removal also improve training efficiency. Overall, the results indicate that the effect of dataset cleaning depends strongly on the type of defect being addressed and provide further evidence that training-data quality remains an important and comparatively underexplored factor in large-scale face recognition. The training manifests and code used in this work will be released upon acceptance.

中文摘要

摘要：面部识别的发展得到了大规模训练数据集可用性的强有力支持。其中，MS-Celeb-1M 通过提供来自近 10 万个身份的数百万张人脸图像，发挥了重要作用。然而，这类数据集的规模和异质性增加了标注错误、冗余样本以及其他形式数据不一致的可能性。这促使了精炼版本的引入，如 MS1MV2 和 MS1MV3，旨在提高训练数据的质量。尽管进行了这些清理工作，我们表明在 MS1MV3 中仍存在几种类型的训练数据缺陷。通过提出互补的数据审计策略，我们识别了五类缺陷：完全重复和近重复图像、身份拆分、裁剪错误、多面孔歧义以及无效内容。然后，我们在基于 IResNet-50 和 ArcFace 的受控面部识别训练协议下评估了纠正这些缺陷的效果。结果表明，有针对性的干预可以保持，甚至在某些情况下提高识别性能，同时需要更少的优化步骤即可达到原始训练集的性能。去除重复样本提供了最明显的总体益处，而合并拆分身份和去除无效内容也提高了训练效率。总体而言，结果表明数据集清理的效果在很大程度上取决于所处理的缺陷类型，并进一步证明了训练数据质量仍然是大规模面部识别中一个重要且相对未充分探索的因素。本研究中使用的训练清单和代码将在接受后公开发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28766 (HTTP 429)

Authors: Ana Dias, João Ribeiro Pinto, Hugo Proença, João C. Neves

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28766.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28766

Published: 2026-10-23T01:57:33.241Z

2. Complexity-Aware Surgical Video Reasoning Segmentation with Digital Twin and Context Memory

Abstract:Conventional surgical segmentation relies on closed-set categories or explicit text queries, which cannot resolve implicit queries that require reasoning about workflows, instrument functions, and temporal relationships. To address these limitations, we propose SurgReasonSeg, a complexity-aware method that brings reasoning segmentation over digital twin (DT) representations to surgical video. Specifically, SurgReasonSeg constructs DT representations from surgical foundation models and trains two low-rank adapters (LoRA) of one large language model with reinforcement learning (RL), each specialized for a different query complexity. A lightweight router, also trained with RL, selects between the two adapters to balance latency against accuracy. SurgReasonSeg also sets the temporal context with an adaptive sliding window conditioned on query complexity and workflow phase, and retrieves relevant historical cases from a surgical context memory by workflow similarity and procedural relevance. We further introduce EndoVis-ReasonSeg, a surgical reasoning segmentation benchmark with 1,460 training and 961 test samples across semantic, spatial, and temporal categories. On EndoVis-ReasonSeg, SurgReasonSeg improves J&F over the strongest baseline, ReSurgSAM2, by 0.178, 0.237, and 0.297 on semantic, spatial, and temporal queries, and it also achieves the best results on the Ref-EndoVis17 and Ref-EndoVis18 referring segmentation benchmarks. A backbone-matched attribution protocol separates the contribution of the upstream segmenter from that of the reasoning modules. Our method runs at 18.8 FPS averaged over the query distribution, enabling real-time reasoning segmentation in surgical videos.

中文摘要

摘要：传统的手术分割依赖于封闭集类别或明确的文本查询，无法解决需要对工作流程、手术器械功能和时间关系进行推理的隐式查询。为了解决这些限制，我们提出了SurgReasonSeg，一种复杂性感知的方法，将基于数字孪生（DT）表示的推理分割引入手术视频。具体而言，SurgReasonSeg从手术基础模型构建DT表示，并使用强化学习（RL）训练一个大型语言模型的两个低秩适配器（LoRA），每个适配器专门用于不同的查询复杂性。一个轻量级路由器，同样通过RL训练，在两个适配器之间进行选择，以在延迟和准确性之间取得平衡。SurgReasonSeg还通过基于查询复杂性和工作流程阶段的自适应滑动窗口设置时间上下文，并通过工作流程相似性和手术相关性从手术上下文记忆中检索相关历史病例。我们进一步引入了EndoVis-ReasonSeg，一个包含语义、空间和时间类别，共有1,460个训练样本和961个测试样本的手术推理分割基准。在EndoVis-ReasonSeg上，SurgReasonSeg在语义、空间和时间查询上的J&F分别比最强基线ReSurgSAM2提高了0.178、0.237和0.297，并且在Ref-EndoVis17和Ref-EndoVis18参考分割基准上也取得了最佳结果。一个与主干网络匹配的归因协议将上游分割器的贡献与推理模块的贡献分开。我们的方法在查询分布上的平均运行速度为18.8 FPS，实现了手术视频的实时推理分割。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28776 (HTTP 429)

Authors: Yiqing Shen, Mathias Unberath

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28776.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28776

Published: 2026-10-23T01:57:33.241Z

3. JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces

Abstract:Most unified multimodal models treat images and text asymmetrically: a pretrained language model generates text, an attached diffusion head generates images, and outputs that contain both are produced in a fixed order, so the first output cannot adapt to the second. We ask whether both modalities can instead be generated by one process that is trained on them jointly from scratch. Pretrained encoder spaces hold both modalities in one continuous form and carry knowledge learned at scale, and recent work finds them effective as generative targets for vision and language. We therefore model the joint distribution directly in these spaces. We introduce JUICE (Joint Unified multimodal modeling In Continuous Encoder spaces), a single flow matching Transformer over frozen image and text representations, in which each modality has its own noise level. Which modalities are clean and which are generated then decides the task: image generation, captioning, visual question answering, or joint generation. Controlled pretraining runs test each design choice. At equal guidance, generating text as continuous states leaves image generation intact (48.41 GenEval, against 47.86 for a model trained only for text-to-image generation), while captions lose some exact wording. Training on joint and conditional denoising together beats either alone, and semantic encoder spaces beat VAE latents and raw pixels as targets. At 2.1B parameters, with no language model initialization and at 224x224, JUICE reaches up to 0.88 on GenEval and 73.1 on VQAv2. By sampling both modalities from the joint distribution (coupled sampling), it can also draw a route on a map while writing out the matching moves. On mazes with several valid solutions, joint success rises from 54.6% with independent sampling to 93.7%, and no modality has to go first. On visual spatial planning, JUICE solves 99.8% of maps at its training sizes.

中文摘要

摘要：大多数统一多模态模型对图像和文本的处理是不对称的：预训练的语言模型生成文本，附加的扩散头生成图像，而包含两者的输出按固定顺序生成，因此第一个输出无法适应第二个输出。我们提出是否可以由一个从零开始联合训练的过程同时生成两种模态。预训练编码器空间将两种模态以连续形式保存，并携带大规模学习的知识，且最近的研究发现它们作为视觉和语言的生成目标是有效的。因此，我们直接在这些空间中建模联合分布。我们引入了JUICE（Joint Unified multimodal modeling In Continuous Encoder spaces，连续编码器空间中的联合统一多模态建模），这是一个在冻结的图像和文本表示上进行单流匹配的Transformer，其中每种模态都有自己的噪声水平。哪种模态是干净的，哪种是生成的，然后决定任务类型：图像生成、字幕生成、视觉问答或联合生成。受控预训练运行用于测试每个设计选择。在相同的指导下，将文本生作为连续状态生成不会影响图像生成（GenEval为48.41，而仅用于文本到图像生成模型为47.86），但字幕的精确措辞会有所损失。在联合和条件去噪上同时训练比单独训练更优，语义编码器空间的目标优于VAE潜在空间和原始像素空间。在21亿参数下，未进行语言模型初始化且在224x224尺寸下，JUICE在GenEval上可达到0.88，在VQAv2上可达到73.1。通过从联合分布中采样两种模态（耦合采样），它还可以在地图上绘制路线，同时写出匹配的操作。在有多个有效解的迷宫中，联合成功率从独立采样的54.6%提升到93.7%，且无需任何一种模态先行。在视觉空间规划任务中，JUICE在其训练规模下解决了99.8%的地图问题。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文试图解决\*\*统一多模态模型中图像与文本生成过程不对称、固定顺序依赖以及缺乏真正联合分布建模\*\*的问题。具体而言，其针对的核心问题可归纳如下： ### 1. 模态生成的不对称性与固定顺序依赖现有主流统一多模态模型通常以不对称方式处理图像和文本： - \*\*文本生成\*\*：依赖预训练的自回归语言模型生成离散token； - \*\*图像生成\*\*：通过附加的扩散头或流匹配头生成； - \*\*联合输出\*\*：当需要同时生成图像和文本时，输出往往以\*\*固定顺序\*\*产生（如先图后文或先文后图），导致先生成的模态无法根据后生成的模态进行自我调整与修正。这种设计本质上对联合分布进行了\*\*固定顺序的因子分解\*\*，限制了模态间的双向协调与自适应。 ### 2. 缺乏真正的联合分布统一建模现有方法通常存在以下局限： - 不同模态由\*\*不同的生成过程\*\*（如自回归 vs. 扩散）处理； - 图像往往被量化为离散token，与文本一同通过自回归或掩码扩散建模，但这仍非真正的连续空间联合建模； - 模型通常先进行语言预训练，再\*\*后期集成\*\*视觉能力，导致模型过度依赖语言先验，而非从头联合学习多模态表示。论文追问：\*\*是否可以用一个从头训练的单一过程，直接在统一的连续空间中对两种模态进行联合建模与生成？\*\* ### 3. 预训练表示空间的生成适配问题为了上述目标，需要解决四个关键的设计问题： - \*\*文本表示形式\*\*：文本应作为连续编码器状态生成，还是保持为离散token？ - \*\*训练任务组合\*\*：应训练哪些去噪任务（条件去噪、联合去噪或混合）以覆盖推理时的采样路径？ - \*\*编码器空间选择\*\*：应选择何种冻结的预训练编码器空间（语义型、VAE潜空间或原始像素）作为生成目标？ - \*\*规模可迁移性\*\*：上述设计选择是否在不同模型规模（如179M至2.1B参数）下保持稳健，还是会随规模发生偏好翻转？ ### 4. 联合推理中的一致性难题在需要图像与文本输出\*\*相互一致\*\*的任务中（如迷宫路径规划，需同时绘制路线并写出对应移动步骤），独立采样各模态容易导致\*\*跨模态模式不匹配\*\*（cross-modal mode mismatch）——即各自生成了合理但彼此矛盾的答案。现有固定顺序生成方法无法灵活解决此类问题，且无法预先确定何种生成顺序更优。 --- \*\*总结\*\*：该论文旨在构建一个\*\*无语言模型初始化、单一生成过程、在冻结的预训练编码器连续空间中联合建模图像与文本分布\*\*的统一框架（JUICE），使生成顺序不再是架构固有的固定属性，而是推理时可灵活选择的路径，从而在生成质量、理解能力与联合推理一致性之间取得统一。 Q2: 有哪些相关研究？根据论文第2节，相关研究主要分布在\*\*统一多模态建模\*\*、\*\*预训练表示空间生成\*\*、\*\*联合与条件多模态建模\*\*以及\*\*连续扩散语言模型\*\*四个方向。各方向的代表性工作及其与JUICE的关系如下： --- ### 1. 统一多模态模型（Unified Multimodal Models）现有主流方案多采用混合架构，即不同模态使用不同的表示空间与生成过程： | 模型 | 文本表示/过程 | 图像表示/过程 | 特点 | |------|--------------|--------------|------| | \*\*Chameleon\*\*

6,7
：证明在冻结的预训练视觉特征上进行扩散效果良好，语义结构使其成为优质生成目标。 - **BLM**
8
：在冻结视觉特征上使用流匹配训练统一主干，但**文本仍以离散token自回归生成**。 - **ELF**
9
：直接在预训练文本编码器空间中应用连续流匹配生成文本，但**不生成图像**。 **与JUICE的区别**：RAEs与BLM仅关注视觉模态；ELF仅关注语言模态。JUICE首次将两种模态同时置于预训练编码器的连续空间中，用同一目标函数联合生成，使相同表示既作为生成目标，又作为跨模态条件。 —- ### 3. 联合与条件多模态建模（Joint and Conditional Multimodal Modeling）数学框架层面，各模态独立的噪声调度为统一建模提供了基础： - **UniDiffuser**

19
：在CLIP嵌入上进行扩散，需额外搭配自回归GPT-2解码文本。 - **OneFlow**
23
：使用离散编辑流建模文本。 - **OmniFlow**
24
：使用多模态校正流实现任意模态到任意模态的生成，其MMDiT主干从Stable Diffusion 3初始化，文本潜空间源自基于Flan-T5与TinyLlama构建的VAE。 **与JUICE的区别**：现有实现需要专用组件（如UniDiffuser的GPT-2、OmniFlow的VAE文本潜空间）。JUICE将两种模态均保持为连续编码器状态（每token一个状态），通过轻量级并行解码器解码文本，且主干从头训练。此外，论文发现联合去噪对条件生成的提升超出额外监督目标所能解释的范围（第4.3节）。 —- ### 4. 语言的连续扩散（Continuous Diffusion for Language）该领域探索以连续方式生成离散文本数据的路线： - **早期工作**：Diffusion-LM

25
、DiffuSeq
26
对学习到的词嵌入进行扩散，随后取整（rounding）回离散token；CDCD
27
、Plaid
28
改进了似然目标。 - **分类流匹配**：在概率单纯形上对每个token进行流匹配
29,30
，为离散数据提供另一条连续路径。 - **预训练语言模型表示空间扩散**： - LD4LG
31
：将序列压缩为固定潜空间后扩散。 - TEncDM
32
、ELF
9
：直接在预训练语言模型的上下文编码器状态上进行扩散。 与JUICE的区别：上述工作均为纯文本生成模型。JUICE采纳了TEncDM/ELF的路线（在上下文编码器状态上扩散文本），但将其扩展为与图像联合生成，并在相同架构下与连续图像流匹配统一。 —- ### 总结性对比 JUICE与现有工作的核心差异可概括为三点： 1. 生成过程统一：摒弃AR+扩散的混合范式，单一流匹配Transformer同时处理图像与文本； 2. 表示空间统一：两种模态均生成于冻结的预训练编码器连续空间，而非离散token或VAE潜空间； 3. 顺序自由：通过二维时间域中的路径规划，条件生成与联合生成共享同一组权重，无需预设生成顺序。 Q3: 论文如何解决这个问题？论文提出的解决方案围绕 JUICE（Joint Unified multimodal modeling In Continuous Encoder spaces） 展开，其核心是在冻结的预训练图像与文本编码器的连续空间中，用单一流匹配过程对联合分布进行建模。具体技术路径可分为以下六个层面： —- ### 1. 以冻结预训练编码器空间作为统一表示与生成目标不同于将图像量化为离散token或依赖VAE潜空间的做法，JUICE选择直接在冻结的预训练编码器输出空间中进行生成： - 图像侧：使用SigLIP2或DINO等视觉编码器提取的连续patch状态； - 文本侧：使用Flan-T5等语言编码器的上下文隐藏状态。这些编码器在训练过程中保持固定，其连续表示经过归一化后，既作为扩散过程的生成目标，也作为跨模态条件的上下文输入。这保证了图像与文本在数学形式上的统一性——二者均为连续向量序列，可用同一流匹配框架处理。 —- ### 2. 单一流匹配主干：MM-RiT JUICE设计了一个名为 MM-RiT（Multimodal Representation Diffusion Transformer） 的单一主干网络，负责同时去噪图像与文本表示。其关键设计包括： - 模态专属投影：由于图像与文本表示的维度、尺度和几何结构不同，每个模态拥有独立的输入/输出投影、Q/K/V注意力投影以及前馈网络； - 双向联合注意力（Bidirectional Joint Attention）：在每个块中，两个模态的查询、键、值被拼接后执行一次联合注意力操作，随后再经各自的输出投影与残差连接返回； - 时间感知机制：通过时间token（序列中附加的可学习向量）和逐token加性时间嵌入，网络能精确识别每个位置的角色——是干净的上下文条件（ t=1 ）还是待生成的噪声目标（ t<1 ）。 —- ### 3. 二维时间域：将任务统一为噪声空间中的路径 JUICE将每个模态赋予独立的噪声时间变量，从而构建一个二维时间域 $(t_i, t_t) ∈

0,1
^2 ，其中 t=0 为纯噪声， t=1$ 为干净数据。网络从一对噪声状态预测一对干净状态：
(zi, z_t) = fθ(zi^(t_i), z_t^(t_t); t_i, t_t)
不同的任务仅对应于该单位正方形中的不同路径，无需改变模型结构： - 文本到图像生成（T2I）：沿 t_t=1 的边移动，文本保持干净，图像从噪声恢复； - 图像到文本/视觉问答（I2T/VQA）：沿 t_i=1 的边移动，图像保持干净，文本从噪声恢复；VQA中问题token固定为 t=1 ，答案token逐步去噪； - 联合生成：穿越正方形内部， t_i 与 t_t 同时从 0 向 1 演化，两种模态同步生成。 —- ### 4. 联合与条件混合训练为使模型既能处理条件任务又能建模真正的联合分布，训练采用三种去噪任务的混合： - 联合去噪（Joint Denoising）：两个模态同时加噪，网络学习在彼此均为噪声的情况下互相预测； - 条件T2I去噪：文本干净（ t_t=1 ），仅图像被加噪； - 条件I2T去噪：图像干净（ t_i=1 ），仅文本被加噪。每个模态拥有独立的噪声采样分布与偏移参数。例如，图像时间通过偏移函数将概率质量推向更噪声的状态，以适应高维特征空间；文本时间则不偏移。损失函数采用稳定化的速度匹配形式，网络直接预测干净表示 zθ ，再转换为速度场进行监督。 —- ### 5. 推理：从条件生成到耦合采样 条件任务推理沿正方形边缘进行欧拉积分，并施加分类器自由引导（CFG）。JUICE无需显式训练null token，其无参考分支通过替换条件为无信息输入实现（如将图像条件替换为噪声端状态， Q4: 论文做了哪些实验？论文的实验围绕系统性预训练对照研究与大规模模型基准评估两条主线展开，具体可分为以下四部分： —- ## 1. 预训练对照研究（Pretraining Study）在固定 668M 参数 MM-RiT 主干、冻结 SigLIP2 图像编码器与 Flan-T5 文本编码器的设定下，通过单次仅改变一个设计变量的控制实验，回答四个核心问题。训练使用 38M 图文对与 Cambrian-7M 数据，共 50k 更新步。 ### 1.1 生成框架比较：连续文本 vs. 离散文本比较四种生成框架，以验证“将文本作为连续编码器状态生成”的可行性： - JUICE：连续图像流匹配 + 连续文本流匹配 - Transfusion-style：自回归（AR）文本 + 流匹配图像 - D-DiT-style：掩码扩散（MD）文本 + 流匹配图像 - MMaDA-style：掩码扩散文本 + 掩码扩散图像（VQ 代码）评估指标涵盖 GenEval、DPG-Bench（图像生成）与 CIDEr、CLIPScore（captioning）。关键发现：在相同引导尺度（ w=5 ）下，JUICE 的 GenEval 达到 48.41 ，与纯 T2I 模型（ 47.86 ）相当，而所有离散文本框架均低于该基线；但 JUICE 的 CIDEr（ 88.80 ）显著低于自回归文本（ 160.52 ），表明连续文本生成以牺牲部分精确措辞为代价，换取了图像生成能力的保持。 ### 1.2 训练任务混合：边缘与内部的覆盖在二维时间域 (t_i, t_t) 中探索训练采样区域对推理的影响： | 配方 | 任务比例 (I2T / T2I / Joint) | GenEval | DPG | CIDEr | CLIP | |———|———————————————|————-|——-|———-|———| | T2I only | 0 / 100 / 0 | 47.86 | 77.50 | 2.83 | 25.15 | | I2T only | 100 / 0 / 0 | 0.21 | 9.95 | 107.22 | 77.81 | | Multi-task | 50 / 50 / 0 | 36.30 | 77.71 | 79.41 | 75.07 | | Joint only | 0 / 0 / 100 | 31.33 | 56.98 | 75.66 | 73.70 | | Mixing（默认） | 22.2 / 22.2 / 55.6 | 48.41 | 78.85 | 88.80 | 80.20 | 控制实验进一步排除了“额外监督目标”这一混杂因素：将联合样本替换为两组条件样本（matched DC）、阻断联合样本的跨模态注意力（blocked joint）、或每联合样本仅监督单一流（single target joint），均无法达到 Mixing 的性能。结论表明，训练必须覆盖采样所经的边缘与内部区域，且联合去噪提供的跨模态交互超越了单纯增加监督量的效应。 ### 1.3 表示空间选择：语义 vs. 重建固定文本编码器为 T5，比较四种图像空间；再固定图像编码器为 SigLIP2，比较四种文本空间： 图像空间（T5 文本固定）： - SigLIP2：GenEval 48.41 ，CIDEr 88.80 - DINO：GenEval 49.07 ，CIDEr 68.80 - FLUX VAE：GenEval 35.42 ，CIDEr 49.95 - 原始像素：GenEval 24.48 ，CIDEr 49.57 文本空间（SigLIP2 图像固定）： - Flan-T5：GenEval 48.41 ，CIDEr 88.80 - Qwen3-E：GenEval 43.07 ，CIDEr 88.50 - Qwen3-VL-E：GenEval 39.28 ，CIDEr 84.24 - SigLIP2 text：GenEval 33.08 ，CIDEr 85.54 重建诊断显示，FLUX VAE 的 rFID 最优（ 0.288 ），但其生成质量反而最差。结论为：语义编码器空间优于为重建设计的 VAE 潜空间与原始像素；在文本侧，Flan-T5 状态优于更大的嵌入模型及与图像对齐的 SigLIP2 文本特征。 ### 1.4 规模扩展：从 179M 到 2.1B 在 SigLIP2 与 DINO 两种图像空间下，训练 179M、335M、668M、1.33B、2.1B 五种规模的 MM-RiT： - 图像生成：DINO 在 179M 时 GenEval 领先（ 32.90 vs. 18.99 ），但随着规模增长优势消失，至 2.1B 时 SigLIP2 反超（ 56.81 vs. 52.78 ）。 - Captioning：SigLIP2 在所有规模上均领先 DINO，2.1B 时 CLIPScore 达到 86.64 对 72.32 。结论：规模会改变图像生成任务中编码器空间的优劣排序，但对 captioning 任务的排序保持稳定。 —- ## 2. 大规模模型基准评估（2.1B 参数）基于上述预训练结论，训练两个 2.1B 模型（SigLIP2/T5 与 DINO/T5）。预训练 60k 步后，进行 15k 步监督微调（SFT），再在特定推理任务上适配 5k 步。所有实验原生分辨率为 224 × 224 ，无语言模型初始化。 ### 2.1 图像生成 组合生成： - GenEval：SigLIP2 变体 0.87 ，DINO 变体 0.88 ，与 TUNA（ 0.88 ）并列同尺寸最优； - DPG-Bench：SigLIP2 变体 85.22 ，DINO 变体 84.38 。 世界知识生成（WISE）： - SigLIP2 变体 Overall WiScore 0.45 ，为 1B–3B 统一模型中最高； - DINO 变体 0.37 ，显著低于 SigLIP2，验证了语言对齐图像空间对世界知识生成的增益。 ### 2.2 视觉理解在 10 项理解基准上评估，使用 16 步欧拉采样与 w=3 的并行文本解码器： | 基准 | SigLIP2 | DINO | |———|————-|———| | VQAv2 test-dev | 73.1 | 68.8 | | GQA | 58.6 | 55.7 | | POPE | 84.0 | 82.3 | | MME-P | 1115.7 | 960.2 | | MMBench | 66.0 | 55.8 | | AI2D | 34.4 | 31.9 | | MMMU | 29.6 | 31.5 | | RealWorldQA | 53.6 | 40.5 | SigLIP2 变体在多数感知基准上优于或持平于现有 1B–3B 统一模型（如 Show-o、Muddit、OneFlow），但在需要深厚领域知识的 AI2D 与 MMMU 上落后于从 LLM 初始化的模型（如 Janus-Pro、TUNA）。 ### 2.3 联合推理 多解迷宫（Mazes）：在具有 2–16 条最短路径的迷宫中，要求模型同时生成带路径的图像与 Q5: 有什么可以进一步探索的点？基于论文的局限性讨论与技术框架，以下几个方向具有显著的进一步探索价值： —- ### 1. 提升分辨率与细粒度视觉细节论文指出当前模型受限于 224 × 224 的原生分辨率，难以生成精细的视觉细节。未来可探索： - 将预训练编码器适配至更高分辨率输入（如 512 × 512 或 1024 × 1024 ），或采用 patch-free 的分层编码策略； - 在 MM-RiT 中引入多尺度表示融合，结合高分辨率 VAE 与语义编码器的优势，在保持生成质量的同时提升细节保真度。 —- ### 2. 改进连续文本生成的精确性当前框架中，将文本生成为连续编码器状态会导致 CIDEr 显著低于自回归文本（ 88.80 vs. 160.52 ），主要损失在于“精确措辞”而非内容准确性。可探索： - 设计更精细的文本噪声调度与时间偏移策略，减少高维语义空间中的近义漂移； - 在流匹配目标中引入词汇级约束，或在连续表示与离散 token 之间建立更紧致的映射； - 开发混合解码机制：主体内容通过并行连续解码生成，关键命名实体通过定点精修或少量自回归步进行校准。 —- ### 3. 预训练编码器空间的深度优化论文发现语义编码器优于重建型 VAE，但不同任务对编码器空间的偏好随规模变化（如 DINO 在小模型图像生成上领先，SigLIP2 在大模型及 captioning 上更优）。可进一步研究： - 编码器组合策略：是否可为不同模态任务动态切换或插值多个编码器空间； - 编码器微调边界：当前编码器完全冻结，若允许在极窄范围内微调（如仅 LayerNorm 或偏置项），能否在不破坏跨模态一致性的前提下提升生成可控性； - 通用文本空间的统一：Flan-T5 在文本侧表现最优，但需验证更大规模语言模型（如 T5-XXL 或 Qwen3-72B）的编码器状态是否仍能作为有效的流匹配目标。 —- ### 4. 模型规模、数据扩展与训练稳定性 - 论文的预训练研究每个配置仅运行一次，未来可通过 多次独立运行 评估方差与统计显著性； - 将 MM-RiT 扩展至 7B–13B 参数 或更高，观察 GenEval 与理解基准上的 scaling law 是否持续，以及 DINO 与 SigLIP2 的优劣排序是否再次翻转； - 探索 更长训练周期 与 课程学习策略（如早期侧重条件任务、后期增加联合去噪比例）对收敛速度与最终性能的影响。 —- ### 5. 真实世界联合多模态任务当前联合推理实验局限于合成规划任务（迷宫与视觉空间规划）。未来可拓展至： - 真实图文互生任务：如根据科学论文生成配图与摘要，或根据设计草图与需求文档同步输出渲染图与规格说明； - 具身智能与机器人规划：在视觉导航或操作任务中，联合生成环境观测的视觉预测与执行指令； - 多轮交互式生成：用户可在对话中交替要求修改图像或文本，模型在联合分布中动态调整两者以保持一致性。 —- ### 6. 动态与自适应采样策略当前推理通过固定路径（边缘或内部）与欧拉步长进行采样。可探索： - 自适应步长与调度：根据流场曲率动态调整步长，在保证质量的前提下减少采样步数； - 非对称耦合采样：在联合生成中，允许 t_i 与 t_t 以不同速率演化，甚至根据模态置信度实时决定哪个模态“领先”于另一个，而非同步推进； - 迭代精修（iterative refinement）：对先生成的模态不立即固定，而是保留少量噪声，在后续步骤中根据另一模态的演化进行微调。 —- ### 7. 弥补领域知识缺陷由于无语言模型初始化，JUICE 在 AI2D、MMMU 等需要深厚领域知识的任务上存在明显短板。潜在路径包括： - 知识蒸馏：在 SFT 阶段引入从大规模 LLM 提炼的高质量多模态推理链（chain-of-thought）数据； - 模块化知识注入：在不破坏连续流匹配框架的前提下，通过可插拔的知识编码器或记忆模块增强模型对专业领域符号与常识的表征能力； - 混合初始化：探索以部分预训练语言模型权重初始化文本流，同时保持图像流从头训练，检验是否能兼顾语言知识与世界知识生成能力。 —- ### 8. 向更多模态扩展 JUICE 的框架原则上可推广至任意具有冻结预训练编码器的模态： - 视频：将视频编码器（如 VideoMAE 或 VideoSigLIP）的时空特征作为连续目标，联合生成视频关键帧与描述性脚本； - 音频：利用音频大模型的编码器空间，构建“图像–文本–音频”三流联合模型； - 3D 表示：结合点云或 NeRF 编码器，实现文本、图像与 3D 场景的统一流匹配生成。 —- ### 9. 理论理解：为何语义空间优于重建空间？论文观察到 FLUX VAE 的重建 rFID 最优，但生成质量反而最差。未来需深入理解： - 预训练编码器空间的 线性可分性、流形结构 与 扩散过程可逆性 之间的关系； - 建立表示空间的 生成友好性指标（超越重建误差），用于指导编码器选择或设计。 —- ### 10. 解码器架构的再设计当前文本采用轻量级并行解码器以换取速度，但在多项选择任务上显著优于自回归解码器，而在开放域 VQA 上略逊。可探索： - 自适应解码：根据任务类型自动选择并行或自回归解码； - 非自回归迭代细化解码器：在并行解码基础上增加少量细化层，弥补 EOS 定位与长程依赖的不足。 Q6: 总结一下论文的主要内容这篇论文提出 JUICE（Joint Unified multimodal modeling In Continuous Encoder spaces），一种在冻结的预训练编码器连续空间中，使用单一流匹配 Transformer 从头训练、统一建模图像与文本联合分布的多模态框架。以下是主要内容总结： —- ### 1. 研究动机与核心问题当前主流统一多模态模型通常以不对称方式处理图像与文本： - 文本由预训练语言模型以自回归方式生成离散 token； - 图像由附加的扩散或流匹配头生成； - 包含两种模态的输出往往以固定顺序生成（如先图后文或先文后图），导致先生成的模态无法根据后生成的模态进行调整。论文核心追问：能否设计一个单一过程，在统一的连续空间中从头联合训练，直接建模图像与文本的联合分布，且不预设生成顺序？ —- ### 2. JUICE 方法框架 JUICE 的核心设计包含以下要素： - 统一连续表示空间：图像与文本分别由冻结的预训练编码器（如 SigLIP2、DINO、Flan-T5）提取为连续向量序列，经归一化后作为扩散的目标与条件。 - 单一流匹配主干 MM-RiT：一个从头训练的 Transformer，通过双向联合注意力同时处理图像与文本流。每个模态拥有独立的输入/输出投影、Q/K/V 投影及前馈网络。 - 二维时间域 (t_i, t_t) ：每个模态拥有独立的噪声时间 $t ∈

0,1
。不同任务对应单位正方形中的不同路径： - 文本到图像（T2I）：沿 t_t=1 边缘，文本干净、图像去噪； - 图像到文本/视觉问答（I2T/VQA）：沿 t_i=1 边缘，图像干净、文本去噪（VQA 中问题保持 t=1 ，答案逐步生成）； - 联合生成：穿越正方形内部， t_i 与 t_t 同时演化，两种模态同步生成。 - 耦合采样（Coupled Sampling）：在联合生成时，每一步先基于当前联合状态 (z_i^(t_i), z_t^(t_t)) 同时计算两个模态的速度场，再共同推进，使两种模态在生成过程中实时相互条件。训练采用混合去噪任务：联合去噪（内部）与条件去噪（边缘）按比例混合，确保推理路径均被覆盖。 —- ### 3. 系统性预训练研究（Controlled Pretraining Study）论文通过 668M 参数模型的对照实验，逐一验证了关键设计选择： - 生成框架：将文本作为连续编码器状态进行流匹配（而非离散 token 自回归/掩码扩散），在同等引导尺度下，图像生成质量（GenEval 48.41 ）与纯 T2I 模型（ 47.86 ）基本持平，但 caption 的精确措辞（CIDEr）显著低于自回归文本。 - 训练任务混合：仅训练条件边缘（Multi-task）或仅训练联合内部（Joint only）均不如二者混合（Mixing， 55.6% 联合 + 22.2% T2I + 22.2% I2T）。匹配目标数量或阻断跨模态注意力的对照实验表明，联合去噪的价值超越了额外监督本身。 - 表示空间选择：语义编码器空间（SigLIP2、DINO）作为生成目标优于 FLUX VAE 潜空间和原始像素；在文本侧，Flan-T5 状态优于更大的嵌入模型及与图像对齐的 SigLIP2 文本特征。 - 扩展规律：从 179M 扩展至 2.1B 参数，DINO 在小规模图像生成上领先，但随规模增长 SigLIP2 反超；SigLIP2 因其与语言的对齐性，在 captioning 上始终保持优势。 —- ### 4. 大规模模型实验（2.1B 参数）基于上述结论训练的两个 2.1B 模型（SigLIP2/T5 与 DINO/T5），在 224 × 224 分辨率、无语言模型初始化的设定下进行评估： - 图像生成： - GenEval：SigLIP2 变体 0.87 ，DINO 变体 0.88 ，与 TUNA 并列同尺寸（1B–3B）最优； - DPG-Bench：SigLIP2 达 85.22 ； - WISE（世界知识生成）：SigLIP2 达 0.45 ，为同尺寸统一模型中最高。 - 视觉理解： - VQAv2：SigLIP2 达 73.1 ，优于 Show-o、Muddit、OneFlow 等； - 在感知类任务（POPE、GQA、MMBench）上具有竞争力，但在需要深厚领域知识的 AI2D、MMMU 上落后于从 LLM 初始化的模型。 - 联合推理： - 迷宫规划：在多解迷宫中，独立采样联合成功率仅 54.6% （SigLIP2），固定顺序（图像先/文本先）分别为 95.2% / 85.3% ；而耦合采样达 93.7% ，无需预先选择顺序，且可通过任一模态的后期调整实现一致。 - 视觉空间规划（VSP）：在训练尺寸地图（3×3 至 6×6）上成功率达 99.8% ，在未见过的更大尺寸（7×7、8×8）上分别为 94% 和 69%$。 —- ### 5. 主要贡献与结论论文的主要贡献可概括为： 1. 联合建模范式：首次在冻结的预训练图像与文本编码器连续空间中，用单一流匹配过程统一生成与理解，无需语言模型初始化。 2. 设计原则验证：通过控制实验确立了连续文本生成、混合任务训练、语义编码器空间选择及规模扩展规律四项关键原则。 3. 顺序自由的联合推理：通过耦合采样，在多模态规划任务中实现了无固定生成顺序的高一致性联合输出。最终结论表明：预训练的连续表示空间使单一模型能够在不将任一模态置于优先地位的前提下，理解、生成并协调图像与文本。未来的改进方向包括提升分辨率、增强连续文本的精确性、扩展至真实世界联合任务，以及向更大规模模型与更多模态延伸。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Jiahan Li, Huangyuan Su, Shengbang Tong, Shusheng Yang, Ruihan Guo, Suozhi Huang, Hexu Zhao, Pratyusha Sharma, Sherry Yang, Jiatao Gu, Rob Fergus, Kyunghyun Cho

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28801.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28801

Published: 2026-10-23T01:57:33.241Z

4. SAIL: A Learnable Generalisation of Spatial Autocorrelation over Graph-Structured Data

Abstract:In vision and scientific domains involving spatial data, a key question is whether node feature values vary independently across space or form coherent spatial structures. Classical spatial autocorrelation statistics such as Moran’s $I$ and Geary’s $C$ quantify this phenomenon but operate on a single scalar variable with fixed neighbourhood weights, limiting their use for high-dimensional graph-like data. We introduce SAIL (Spatial Autocorrelation Index Learner), a differentiable framework that generalises spatial autocorrelation into a learnable operator by jointly learning feature projections defining candidate scalar fields and inter-node neighbourhood affinities. SAIL produces interpretable local and global spatial coherence descriptors, enabling supervised prediction and unsupervised discovery of spatial autocorrelation modes and hotspots. We show that SAIL exactly recovers classical spatial statistics under appropriate parametrisations and, for tasks driven by latent spatial autocorrelation, can approximate the Bayes-optimal predictor with an inductive bias matched to such tasks. Experiments on synthetic data and large-scale biomedical graphs demonstrate statistical correctness and discovery of spatial coherence with applications across vision, geospatial analysis, and biomedicine. The code repository is available at: this https URL.

中文摘要

摘要：在涉及空间数据的视觉和科学领域，一个关键问题是节点特征值是否在空间上独立变化，还是形成连贯的空间结构。经典的空间自相关统计方法如Moran的$I$和Geary的$C$可以量化这一现象，但它们仅针对单一标量变量并使用固定的邻域权重，限制了其在高维图状数据上的应用。我们引入了SAIL（空间自相关指数学习器），这是一个可微分框架，将空间自相关推广为可学习算子，通过联合学习特征投影（定义候选标量场）和节点间邻域亲和力。SAIL生成可解释的局部和全局空间连贯性描述符，使监督预测和无监督空间自相关模式及热点发现成为可能。我们展示了，在适当参数化下，SAIL能够精确恢复经典的空间统计。在由潜在空间自相关驱动的任务中，它可以通过与任务匹配的归纳偏置近似Bayes最优预测器。在合成数据和大规模生物医学图上的实验表明，该方法统计上正确，并能够发现空间连贯性，可应用于视觉、地理空间分析和生物医学等领域。代码仓库可在以下链接获取：this https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28806 (HTTP 429)

Authors: Piotr Keller, Fayyaz Minhas

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28806.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28806

Published: 2026-10-23T01:57:33.241Z

5. Register Anything Model for Generalizable and Robust Point Cloud Registration

Abstract:We present Register Anything Model (RAM), a unified model for generalizable 3D point cloud registration that robustly estimates 6-DoF transformations across diverse domains spanning sensors and environments. Existing registration methods are typically tailored to a single domain, with carefully tuned architectures and hyperparameters, and thus degrade markedly when applied to novel domains. We bridge this gap by training a single model on diverse data from indoor, outdoor, and object domains. A central challenge is the severe geometric discrepancy across domains, i.e., differences in scene scale, sensor noise, point density, and structural patterns, which hinders processing with a unified point-based model. To address this, we introduce a geometry-aware normalization strategy that jointly voxelizes and normalizes point clouds into a standardized geometric space, adaptively based on their geometric properties to preserve salient local structures while standardizing resolution. Built on this normalization, RAM follows a hierarchical coarse-to-fine paradigm, and employs an efficient geometric transformer that models local geometric consistency instead of globally over all points. This design mitigates discretization noise introduced by voxelization, and improves computational efficiency. Extensive experiments on 12 benchmarks demonstrate state-of-the-art performance in terms of inlier ratio and registration recall. Notably, our method outperforms the counterparts trained on each separate domain, showing superior generalization capability.

中文摘要

摘要：我们提出了注册任意模型（Register Anything Model，RAM），这是一个用于可推广三维点云配准的统一模型，能够在跨越不同传感器和环境的多样化领域中稳健地估计六自由度（6-DoF）变换。现有的配准方法通常针对单一领域进行定制，具有精心调优的架构和超参数，因此在应用于新领域时性能会明显下降。我们通过在来自室内、室外和物体领域的多样化数据上训练单个模型来弥合这一差距。一个核心挑战是跨领域的严重几何差异，即场景尺度、传感器噪声、点密度和结构模式的差异，这阻碍了统一基于点的模型的处理。为解决此问题，我们提出了一种几何感知归一化策略，将点云联合体素化并归一化到标准化几何空间中，根据其几何特性自适应处理，以在标准化分辨率的同时保留重要的局部结构。在此归一化基础上，RAM遵循分层的粗到细范式，并采用高效的几何变换器（geometric transformer）对局部几何一致性建模，而非对所有点进行全局建模。这一设计减轻了体素化引入的离散化噪声，并提高了计算效率。在12个基准测试上的大量实验表明，在内点率和配准召回率方面取得了最先进的性能。值得注意的是，我们的方法优于在各个单独领域上训练的对照方法，显示出卓越的泛化能力。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28821 (HTTP 429)

Authors: Zheng Qin, Junhua Xi, Yan Huang, Jiahong Lai, Anwen Huang, Qiong Li, Guangda Zhang, Kai Xu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28821.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28821

Published: 2026-10-23T01:57:33.241Z

6. WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State

Abstract:We present WorldStream, an open-ended 3D world model with three simultaneous capabilities: it extends playable terrain beyond any pre-specified map, acts on open-ended language in the running world, and restores visited places with their edits. A hierarchical planner over a typed decision model emits structured decision state: Macro fixes settlement, ecology, transport, and hydrological structure across a group of tiles; Micro specializes that contract into tile semantics under measured terrain and accepted neighbor commitments. Deterministic local code compiles accepted plans into terrain, roads, settlements, vegetation, and entities. Streaming separates their reach: plans run ahead along the predicted corridor, compilation only where movement will soon need it, geometry behind the user released. One world record retains plans, seeds, object identities and mutable state, boundary commitments, and edits by attribute, revised as the user advances and edits; returning tiles recompile from it. The same record grounds interaction: the model acts on existing entities, including stateful NPCs that update as they act, edits the present region, or attaches intent to unplanned regions. Together they yield a world expanding under bounded budgets, connected across independently planned tiles, and interactive.

中文摘要

摘要：我们提出了 WorldStream，这是一种开放式的 3D 世界模型，具有三项同时进行的能力：它可以将可游玩地形扩展到任何预先指定的地图之外，在运行中的世界中对开放式语言进行操作，并恢复已访问地点及其修改。基于类型化决策模型的分层规划器产生结构化决策状态：宏观层对一组地块的定居点、生态、交通和水文结构进行修正；微观层则将该合同细化为测量地形和接受邻近承诺下的地块语义。确定性的本地代码将已接受的计划编译为地形、道路、定居点、植被和实体。流式处理将它们的影响范围分开：计划沿预测走廊提前运行，编译只发生在即将需要移动的地方，用户之后的几何部分被释放。一个世界记录保留了计划、种子、对象身份和可变状态、边界承诺以及按属性编辑的内容，并随着用户的前进和编辑进行修订；返回的地块从中重新编译。同一记录支撑交互：模型对现有实体进行操作，包括随行动更新状态的 NPC，对当前区域进行编辑，或将意图附加到未规划的区域。它们共同产生一个在有限预算下扩展、跨独立规划地块相连且可交互的世界。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决\*\*开放世界实时生成与持久化交互\*\*中的核心问题，即如何在一个无边界、可探索的三维世界中，同时满足运行时扩展、开放式语言交互与状态持久化这三项彼此关联却难以兼顾的需求。具体而言，论文针对以下三个并发挑战： - \*\*可扩展的地形生成\*\* 世界必须在用户身处其中时持续延伸，超越任何预先指定的地图边界，且每帧计算成本不得随已探索范围的增长而增加。这要求系统能够按需生成可游玩的地形，而非在运行前加载固定场景。 - \*\*基于开放式语言的实时交互\*\* 系统必须将自然语言指令解释并作用于当前运行中的世界，包括用户所在区域以及尚未生成的远端区域。交互对象需具备可寻址的实体身份，支持对现有实体、地形进行修改，或对未规划区域附加意图。 - \*\*可重现的持久化状态与重访一致性\*\* 已访问区域在几何数据被卸载以控制渲染内存后，必须能在用户返回时精确还原，包括原始地形、生成计划、对象身份以及用户所做的全部编辑。这要求持久化记录独立于临时的几何缓存，确保“所见即所得”的世界状态在卸载与重建后保持一致。现有方法通常只能满足其中部分需求：基于潜变量的生成式世界模型缺乏持久化的空间标识与可编辑对象；传统的程序化系统虽支持显式编辑，但场景范围固定且生成成本前置。该论文提出的 \*\*WorldStream\*\* 试图通过层次化规划、确定性本地编译与统一持久化状态记录的协同设计，首次在单一运行时框架中同时解决上述三项挑战。 Q2: 有哪些相关研究？论文中涉及的相关研究可按照其技术路线与作用范畴划分为以下几类： ### 1. 学习型生成式世界模型（Learned Generative World Models）这类研究从早期的潜动态预测模型

1–4
演进至可交互的视觉环境
5–13
，其核心能力是根据用户动作生成下一帧视图。代表性工作包括基于扩散模型的实时游戏引擎
6
、面向具身智能的生成式交互环境 Genie
5
、以及面向自动驾驶与持久化三维具身世界模型的 GAIA-1
15
与后续工作
16,17
。这类方法的状态通常维持在帧与潜变量中，缺乏持久化的空间标识，导致已释放区域仅能重新合成而无法精确复现，且单个对象难以被引用和后续修改。 ### 2. 程序化与代码驱动的三维系统（Procedural and Code-Driven 3D Systems）该类系统通过显式语义规范从资产库编译几何体，使每个对象可被检查与编辑

18–29
。具体涵盖： - **传统程序化城市建模**：如基于道路网络与地块划分的城市生成
18,36–39
； - **大规模程序化环境**：如 ProcTHOR
19
、Infinite Photorealistic Worlds
20
、CityDreamer
21
与 Proc-GS
22
，用于构建无边界的照片级场景； - **大语言模型驱动的三维场景合成**：如 3D-GPT
23
、Scenecraft
24
、Holodeck
25
、SceneMotifCoder
26
，以及更近期的 CityGenAgent
27
、WorldClaw
28
、Code World Model
29
与 Programmable World Model
44
，通过代码或智能体实现场景的程序化控制与开放世界生成； - **递归与统一上下文生成**：如 Recursive Code World Models
46
与统一室内外城市场景生成
47
。这类系统的互补优势在于显式状态与可编辑性，但其生成成本通常在运行前支付，且场景范围固定，难以在运行时按需扩展并维护持久状态。 ### 3. 学习型对象生成与风格化（Learned Object Generation and Stylization）作为程序化系统的补充，这类方法从参考图像、物体部件序列或文本指令中生成可重用的几何资产。代表性工作包括单图像到一致三维物体的视图预测生成

30
、基于下一部件预测的高质量三维资产生成
31
，以及面向多物体网格的文本驱动风格化
32
。 ### 4. 领域特定的生成方法（Domain-Specific Generation Methods）为支持层次化规划与确定性编译，论文还引用了多项专门领域的经典方法： - **地形与水文**：基于水文过程模型的地形生成

34,35
； - **道路与交通网络**：交互式程序化街道建模、分层道路网络创作
36–38
； - **植被与生态系统**：基于一致场与空间相关性的植物群落建模
40,41
，以及用于均匀采样的快速泊松盘采样算法
42
。 ### 5. 系统机制与决策模型（System Mechanisms and Decision Models） - **并发控制**：采用乐观并发控制方法

43
实现异步编辑与状态提交的冲突处理； - **类型化决策模型**：基于 Jev 的类型化决策模型
33
，为层次化规划中的结构化输出与联合求解提供概率决策框架； - **物理一致性视频生成**：如 VideoCoCo
45
，探讨了代码作为思维链（Code-as-CoT）在物理一致性视频生成中的应用。 Q3: 论文如何解决这个问题？ WorldStream 将世界生成重新定义为**连续运行时循环**，通过“层次化规划 + 确定性本地编译 + 统一持久化状态记录”的协同架构，同时解决开放扩展、语言交互与状态持久三项需求。具体技术路径如下。 —- ### 1. 可扩展的地形生成：双前沿流式与预算准入为使世界在用户身处其中时持续延伸，且每帧成本不随已探索范围增长，系统采用**双前沿流式机制**： - **语义前沿（Planning Frontier）**：沿预测行进走廊提前运行 Macro–Micro 层次化规划，输出紧凑的可执行语义规范（semantic specification），确立地块的组织方式、内容家族与边界连接。 - **实现前沿（Realization Frontier）**：仅对即将进入活动区域的瓦片执行确定性本地编译，生成实际几何体；已过时几何体在内存中释放，但保留其语义记录。运行时依据移动需求将待处理瓦片划分为三个优先级集合： - **Required set R **：玩家邻近区域，需立即就绪； - **Preferred set P **：可见及近未来缓冲区； - **Prefetch set G **：基于运动方向与相机朝向的推测性候选。通过分离的规划预算 K_p 与构建预算 K_c （ K_c ≤ K_p ），准入规则为：

Q = Top(K_p)(L ∪ G), quad C = Top(K_c)(Q ∩ [L ∪ i : eta(i) ≤ H_c]),
其中 C ⊂eq Q ，且 |Q| ≤ K_p 、 |C| ≤ K_c 。该机制保证规划与编译各自拥有显式并发上界，实现成本有界扩展。 —- ### 2. 层次化规划：从区域意图到可执行瓦片语义为避免“局部合理、全局脱节”或“区域意图无法跨边界连续”的问题，规划在两个互补空间尺度上分布执行： - **Macro 规划**：基于区域地形、水文摘要及已接受边界状态，确定跨瓦片的定居点梯度、生态结构、交通走廊与水文组织，输出区域合同 M_r 。 - **Micro 规划**：在单个瓦片被调度时，结合精细地表证据、覆盖的 Macro 合同及相邻瓦片已接受的边界承诺，推导瓦片级语义 m_i ：

Mr = P_M(G_r, N_r), quad m_i = Pμ(gi, M_r, N_i).
Micro 输出是一个结构化语义程序 m_i = (Z_i, C_i, A_i, Theta_i) ，分别记录局部区域角色、边界连接、设施与实体锚点、生成器参数。由于模型对每处局部区域返回首选值与允许替代方案的概率分布，独立最大概率选择会导致 63% 的计划违反地形、水文或邻接约束。因此引入**联合求解**：
z^star = argmax(z ∈ F) [ ∑_q log p_q(z_q) + R(z, N_i) ],
其中 F 为可行赋值集， R(z, N_i) 鼓励内外平滑过渡。联合求解在编译前即确立计划的可执行性，避免生成后才发现冲突。 —- ### 3. 持久化状态与重访一致性：保留瓦片记录几何体的释放不意味着身份的丢失。每个瓦片维护一份**持久保留记录**：

Ri = (G_i, M_i, B_i, O_i, U_i, rho_i, V_i),
其中 G_i 为地理证据， M_i 为已接受语义计划， B_i 为共享边界承诺， O_i 为显式对象状态， U_i 为用户编辑与未来意图， rho_i 为单调递增的修订号， V_i 为兼容的生成器与资产版本。加载的几何体只是该记录的派生实现：
X_i = Compile(R_i).
当瓦片被卸载时，仅释放 X_i ；重访时从 R_i 重新编译即可复现该地点及其编辑。为保证异步处理下的一致性，系统通过三种记录级机制确保结果与到达顺序和行进方向无关： 1. **共享边界记录**：相邻瓦片沿公共边读取同一权威记录（道路端口、边缘高程、生态过渡），确保独立编译仍产生匹配的边界几何。 2. **与调度无关的计划键**：规划结果由瓦片身份、地理证据、Macro 合同、邻接承诺、编辑及版本共同键控，预取、窗口内请求与重访共享同一语义结果。 3. **后台工作的修订戳**：每个规划或编译任务携带源修订号，安装时仅接受与当前记录匹配的版本，从而保留最新已提交编辑。 —- ### 4. 开放式语言交互：基于共享记录的读写语言交互直接操作上述流式运行时维护的瓦片记录，使行为锚定于当前世界状态并持久化。给定 utterance u ，动作选择模型结合局部世界上下文 W(local) 与可用能力 K ，求解操作 a 及其落地参数 θ ：

(a, θ) = Pa(u, W(local), K), quad W’ = Phi_a(W; θ).
交互分为三类，共享同一语义表示与异步提交协议： - **实体动作**：导航、避障、动画等，通过更新对象状态实现； - **当前区域编辑**：针对已存在区域，重新编译地形、路网、生态与资产； - **未来区域意图**：将期望语义保留为输入，供后续 Macro 与 Micro 规划消费。编辑提交遵循乐观并发规则：从修订 rho_i^s 开始，若目标仍有效且当前记录未被其他修改超越，则原子性地应用更新 Delta_i 并生成 rho_i^s + 1 ，否则拒绝。该规则保证“最新修订”始终作为后续交互与重建的权威基础。 —- ### 5. 确定性本地编译：连接语义与几何接受后的计划通过确定性本地代码展开为可游玩几何体，这是模型决策与空间构造之间的桥梁： - **道路与定居点**：从承诺的边界端口出发，连接计划入口，预留道路与开发空间；建筑 footprint 尊重水域、坡度、占据与资产尺度约束。 - **自然环境**：植被编译器结合种子空间提议与相干环境场 φ(x) ，通过群落特征 h_c 将丰度 α 、局部适宜度 s(x) 转化为提议概率：

π_c(x) = clamp(α , s(x) , h_c(φ(x)), , 0, , 1).
再通过掩膜、间距与预算筛选，保证空间相关性（如密林中的空隙、边缘生长）。确定性编译确保同一 R_i 始终产生相同的几何与对象记录，使重访精确可复现。 —- ### 总结 WorldStream 的解决路径可概括为： - **可扩展性**：通过方向感知预取与双预算准入，将语义准备与几何实现分离，实现“探索越远，驻留成本仍保持有界”； - **可交互性**：以统一保留记录为接口，使语言动作能够引用、编辑当前实体或向未规划区域附加意图； - **持久性**：瓦片记录独立保存计划、身份、种子、边界承诺与修订，支持卸载后精确重建，并通过联合求解与乐观并发维持跨瓦片一致性。这三者通过同一状态模型耦合，形成“规划—编译—交互—持久化—重建”的闭环运行时。 Q4: 论文做了哪些实验？论文在第 6 节通过四项机制实验，分别从层次化规划、流式预取、语言交互与本地执行四个维度对运行时进行隔离验证。实验环境基于 Three.js WebGL 运行时，分辨率为 1920 × 1080 ，后端启用三个持久化编译工作进程，需求评估以 3 × 3 邻域为基准。 ### 1. 层次化规划机制（Planning Mechanisms）该实验分为两步，固定生成请求、地理证据与本地代码，仅改变规划层可获取的信息。 - **空间尺度职责消融**（图 7 与表 2）在相同的“城市到乡村”请求下，对比五种配置： - **Macro only**：仅提供定居点包络与连通道路骨架，无本地内容； - **Micro only**：仅用已接受的邻居信息而无区域目标，无法形成请求的定居点； - **Flat Micro**：独立做局部决策，缺乏城市级组织； - **No Micro-neighbor**：保留 Macro 中心与道路端口，但瓦片被反复过度建造，且出现剧烈的城市/非城市切割； - **Full hierarchy**：生成连通、有界的城乡梯度。量化指标显示，完整层次结构的边界跳变（boundary jump）为 0.089 ，而无 Micro 邻居上下文时达 0.361 ；Micro only 与 Flat Micro 均无法产出道路、建筑与设施。 - **联合求解有效性**（表 3）保留 100 组模型输出的概率分布，在两种解析规则下评估： - **Independent**：对每个象限独立选择最大概率标签； - **Joint solver**：在相同概率下搜索同时满足地形、水域、生物群落、Macro 角色与邻接约束的联合赋值。独立选择导致仅 37% 的计划满足全部硬约束；联合求解使 100% 的计划可执行，其中对生物群落约束的增益达 2.70 倍，对水域约束的增益为 1.14 倍。 ### 2. 流式就绪性（Streaming Readiness）通过重放 100 条路线轨迹，隔离语义前瞻与几何就绪对瓦片到达时可用性的影响。四种受控设置仅在规划与编译的准入时机上不同： - **No prefetch**：瓦片进入当前需求窗口后才启动规划与编译； - **Plan ahead**：沿预测路线提前请求语义计划，但编译仍推迟到进入本地构造窗口； - **Directional**：在基于运动预测的走廊上同时准入构造，使用固定的规划与构造视界； - **Adaptive**：在 Directional 基础上，根据近期调度到完成的耗时动态调整前瞻距离。评估指标包括到达时 3 × 3 必需邻域的就绪瓦片比例，以及完整 4,km 基准路线上的累计等待时间（图 8）。结果表明： - 纯语义前瞻（Plan ahead）缩短了恢复时间，但未改善到达覆盖率； - Directional prefetch 是避免停滞的关键机制：在到达前几乎将整个必需邻域带入就绪集，总路线等待降至 3.52,s ； - Adaptive 前瞻进一步削减剩余尾部延迟。 ### 3. 接地交互（Grounded Interaction）在固定世界事实、保留状态与运行时能力的前提下，测试开放式自然语言映射到预期可执行世界操作（或安全地拒绝执行）的准确率。基准共 80 条双语请求，涵盖以下类别（表 4）： | 请求类别 | 正确数 / 测试数 | 考察要点 | |—-|—-|—-| | Actor / landmark | 19 / 20 | 将动作或方向锚定到已知目标 | | World editing | 18 / 20 | 区分当前区域编辑与未来区域意图 | | Clarification | 19 / 20 | 处理模糊范围或多重动作 | | No action | 10 / 10 | 否定、解释或引用示例时不执行 | | Unavailable | 10 / 10 | 目标缺失或操作不支持时安全拒绝 | 总体准确率为 76/80 （ 95.0% ）。显式动作与安全敏感类（无动作请求、不可用目标/能力）表现完美；剩余错误集中在范围区分，尤其是将“未来世界指令”与“当前编辑”分开。 ### 4. 本地执行效率（Local Execution Efficiency）测量将已接受语义计划编译为可发布瓦片记录的耗时，对比完整优化前后的性能（表 5）。优化措施包括：跨放置共享地形检查、可复用空间索引加速碰撞与间距测试、资产/生态/空间场数据缓存、植被层共享确定性单元采样等。 | 场景 | 优化前 (s) | 优化后 (s) | 加速比 | |—-|—-|—-|—-| | Dense forest | 10.780 | 3.323 | × 3.24 | | Forest–wetland | 5.102 | 2.699 | × 1.89 | | Light village | 1.196 | 0.718 | × 1.67 | | Park | 1.218 | 0.960 | × 1.27 | | Light mountain | 0.164 | 0.159 | × 1.03 | | Farmland | 0.176 | 0.171 | × 1.03 | | Coast–wetland | 0.205 | 0.188 | × 1.09 | 植被密集型地形收益最大；在完整流式运行时中， 12 个新发布瓦片的本地编译平均耗时 2.134,s ，最大耗时 3.318,s 。此外，将两个编译线程替换为两个持久化工作进程后，热吞吐量从 0.234 提升至 0.464 瓦片/秒，提升 1.99 倍，原因在于编译器状态在每个进程内只需加载一次，且独立瓦片编译不再争用单一解释器。 Q5: 有什么可以进一步探索的点？基于论文第 7 节的讨论与展望，可从以下几个方向进一步探索： ### 1. 长期运行世界的存储与离线模拟策略当前原型面向实时流式运行，但对**长程持久化**仍留有问题： - **积累记录的存储策略**：随着用户持续探索，瓦片记录 R_i 及其修订历史会不断累积，需要设计存档、压缩或分层存储机制，以控制长期运行的存储开销。 - **活跃邻域外动态参与者的模拟策略**：当 NPC 或其他动态实体离开玩家所在区域并卸载几何后，其行为与状态如何在外部继续演化（或进入休眠/抽象模拟），尚未在本文中解决。这涉及开放世界中“离屏生命”的模拟一致性。 ### 2. 视觉保真度的两条互补提升路径论文指出保留的“计划–记录”接口支持两条进阶路径，同时保持现有规划契约： - **流式视觉解码器**：以低多边形实现、相机状态、对象身份和编辑为条件，结合显式控制与长程视觉合成（如 WorldPlay

17
或可编程/代码引导的渲染器
44, 45
）。这需要评估新增延迟以及编辑后地点在重访时的视觉一致性。 - **更丰富的显式生成器**：在保持相同 Macro/Micro 规划合同的前提下，替换当前资产与本地实现过程，引入更高精度的几何与材质生成。候选机制包括：智能体化开放世界构建（agentic open-world construction）
28
、递归场景程序（recursive scene programs）
46
、以及统一城市上下文生成（unified urban context）
47
。 ### 3. 当前原型的能力边界扩展论文明确当前实现受限于有限的原型范围，以下方面可进一步放宽： - **生成词汇表的扩展**：当前使用有界的生成词汇（bounded generation vocabulary），未来可支持更多样的内容家族与生成器类型。 - **从局部到全局的控制器升级**：现有控制器是局部的（local controllers），可探索跨瓦片、跨区域的协同行为与全局叙事机制。 - **编辑几何的泛化**：当前编辑基于关系型几何（relational edit geometry），未来可支持更自由、更细粒度的形状/地形/网络编辑。 - **减少人工策划的地理规则**：当前地形与生态合理性依赖人工策划的地理规则（curated geographic rules），可探索从数据中学习或自动扩展的规则系统。 ### 4. 规划与流式效率的深化 - **表面证据与前瞻质量**：扩展质量受限于可用表面证据、规划吞吐量以及运动前方维持的准备度。提升 Macro/Micro 规划速度、扩展地理证据分辨率、或采用自适应前瞻策略（adaptive lookahead）可进一步缩短瓦片到达时的等待时间。 - **端到端编辑–卸载–重访循环的完整基准**：当前交互实验测量了语言解释准确率，但未孤立完整的 edit–evict–revisit 周期。未来需要建立覆盖编辑提交、几何卸载、异步重建与重访一致性的端到端评测。 ### 5. 统一框架下的跨领域迁移 - **室内外统一场景**：现有工作聚焦宏观地形与聚落，可结合统一室内外城市场景生成

47
，将 WorldStream 的流式与持久机制扩展到建筑内部与地下空间。 - **多用户与并发编辑**：当前乐观并发控制针对单用户交互，多用户共享世界的并发编辑冲突消解与因果一致性是自然的延伸问题。 Q6: 总结一下论文的主要内容 WorldStream 提出了一种面向开放式三维世界的实时生成与交互框架，旨在同时解决无边界地形扩展、开放式语言交互与持久化状态重访三项并发需求。以下从研究动机、核心架构、关键机制与实验验证四个方面进行总结。 ### 1. 研究动机与问题设定现有工作存在明显分野：基于潜变量的生成式世界模型（如扩散模型、视频预测模型）能够响应用户动作产生视图，但缺乏持久化的空间标识与可编辑对象；程序化与代码驱动的三维系统虽支持显式编辑，却通常需要前置生成成本且场景范围固定。开放世界探索要求二者能力兼而有之，具体表现为： - **运行时扩展**：世界需在用户身处其中时持续延伸，且每帧计算成本不随已探索范围增长； - **接地语言交互**：开放式自然语言需被解释为对当前实体、地形或未生成区域的可执行操作； - **持久化与重访一致性**：已访问区域在几何体被卸载后，必须能在返回时精确复现，包括原始结构、对象身份与用户编辑。 ### 2. 核心架构：规划–编译–持久化–交互闭环 WorldStream 将世界生成重新定义为连续运行时，核心由以下组件构成（如图 2 所示）： - **层次化规划器**：在 Macro 区域尺度与 Micro 瓦片尺度上产生结构化语义决策，输出紧凑的可执行规范； - **确定性本地编译器**：将接受的语义计划展开为地形、道路、建筑、植被与实体等几何体； - **持久化瓦片记录**：每个瓦片维护一份保留记录 R_i = (G_i, M_i, B_i, O_i, U_i, rho_i, V_i) ，涵盖地理证据、语义计划、边界承诺、对象状态、用户编辑、修订号与版本信息； - **流式调度器**：依据玩家运动与相机朝向，以有限预算前瞻地提交规划与编译任务。加载的几何体 X_i = Compile(R_i) 仅为保留记录的派生视图；卸载时仅释放 X_i ，重访时从 R_i 重新编译即可恢复该地点。 ### 3. 关键机制 #### 3.1 双前沿流式与预算准入为保持运行时成本有界，系统分离语义准备与几何实现： - **语义前沿**：沿预测行进走廊提前运行规划，确立跨瓦片结构； - **实现前沿**：仅对即将进入活动区域的瓦片执行编译。通过方向感知预取与双预算准入机制，将瓦片划分为 Required、Preferred 与 Prefetch 集合，确保规划与编译各自满足显式并发上界 |Q| ≤ K_p 、 |C| ≤ K_c ，从而使探索范围扩大时驻留成本保持不变。 #### 3.2 地理感知的层次化规划与联合求解规划在两个互补尺度上分布执行： - **Macro 规划**：基于区域地形、水文与邻接状态，确定跨瓦片的定居点梯度、生态结构、交通走廊与水文组织，输出区域合同 M_r ； - **Micro 规划**：结合局部地表证据、 M_r 与已接受邻居边界承诺，推导瓦片级语义 m_i = (Z_i, C_i, A_i, Theta_i) 。由于模型对每处选择返回首选值与概率分布，独立最大概率选择会导致 63% 的计划违反硬约束。因此引入联合求解：

z^star = argmax(z ∈ F) [ ∑_q log p_q(z_q) + R(z, N_i) ],
其中 F 为可行集， R(z, N_i) 鼓励内外平滑过渡。该步骤在编译前即确立计划的可执行性。 #### 3.3 跨瓦片一致性机制异步处理下，系统通过三种记录级机制保证结果与到达顺序和行进方向无关： 1. **共享边界记录**：相邻瓦片沿公共边读取同一权威记录，确保独立编译产生匹配的边界几何； 2. **调度无关的计划键**：规划结果由瓦片身份、地理证据、合同、邻接承诺、编辑及版本共同键控； 3. **修订戳**：后台任务携带源修订号，安装时仅接受与当前记录匹配的版本，保留最新已提交编辑。 #### 3.4 接地语言交互与乐观并发语言交互直接读写保留瓦片记录。给定 utterance u ，系统结合局部世界上下文 W(local) 与可用能力 K ，求解操作 a 及其落地参数 θ ：

(a, θ) = Pa(u, W(local), K), quad W’ = Phi_a(W; θ).
交互覆盖实体动作、当前区域编辑与未来区域意图，二者共享同一语义表示。编辑提交采用乐观并发规则：仅当目标仍有效且当前记录未被超越时，才原子性地应用更新并递增修订号。 ### 4. 实验验证论文从四个维度隔离验证运行时机制： - **层次化规划消融**：证明 Macro 与 Micro 各有明确分工——Macro 决定大尺度结构，Micro 邻居上下文保证局部连续；独立选择概率导致仅 37% 的计划可行，联合求解将其提升至 100%； - **流式就绪性重放**：在 100 条路线轨迹上，方向感知预取将 4,km 路线总等待降至 3.52,s ，自适应前瞻进一步削减尾部延迟； - **接地交互基准**：80 条双语请求的意图识别准确率达 95.0%，无动作与不可用目标类实现零误触发； - **本地执行效率**：编译优化使密集森林场景提速 3.24 倍，完整运行时 12 个新瓦片平均编译耗时 2.134,s ；持久化工作进程将热吞吐量提升 1.99 倍。 ### 5. 主要贡献论文的核心贡献可概括为： - **双前沿流式与有界驻留**：通过语义前沿与实现前沿的分离，以及方向感知的预算准入，实现探索范围无界而运行时成本有界； - **地理感知层次化规划与可执行空间合同**：Macro 组织多瓦片结构，Micro 在测量地形与已接受边界下特化执行，联合求解将类型化概率分布转化为可行计划； - **修订化世界状态支持持久交互**：保留计划、种子、边界承诺、稳定身份、可变参与者状态与用户编辑，独立于几何体存在，为当前与未来动作、卸载与重访提供统一权威记录。综上，WorldStream 通过模型驱动的语义规划、确定性代码实现、流式调度与持久化状态的深度耦合，首次在单一运行时框架中实现了可无限扩展、可自然语言交互且状态可精确重现的开放式三维世界。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiaoxiao Ma, Weiyang Jin, Yanwen Ma, Haoran Li, Zhixiang Wei, Songchun Zhang, Yaowei Li, Junhao Zhuang, Zeyue Xue, Yuming Li, Zheming Fu, Haoyang Huang, Nan Duan, Feng Zhao

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28827.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28827

Published: 2026-10-23T01:57:33.241Z

7. HorizonComposer: Spatiotemporally Consistent Driving Video Editing with Enriched Traffic Semantics

Abstract:Instruction-guided video generative models offer a scalable solution for stress-testing autonomous driving systems by simulating diverse environmental conditions. However, driving scenes operate within a dense Operational Design Domain (ODD) governed by strict traffic semantics. When applied to global driving-condition edits, general-purpose instruction-guided video editors frequently corrupt these semantics, leading to structural hallucinations and ``temporal shock.’’ This work distills and protects traffic semantics during video editing at three levels. First, we construct a hybrid dataset by combining temporally aligned real-world videos with synthetic edits, balancing foundational scene structure with unambiguous appearance signals. Second, during training, we adapt advantage conditioning from offline reinforcement learning to align the model using dense rewards. We extract dense, pixel-level rewards from the hybrid data to serve as a localized signal and actively steer generation toward structurally reliable pixels. Finally, our model mitigates temporal shock by introducing thinking frames, a transition mechanism that seamlessly reconciles static image conditioning with dynamic video context. Extensive experiments demonstrate that our method prevents the corruption of multi-actor dynamics, establishing state-of-the-art spatiotemporal consistency, yielding consistent user preference (39% relative improvement in content preservation and 12% in temporal consistency), and achieving a significant 5% gain in downstream road line segmentation and 7% gain in downstream multi-object detection.

中文摘要

摘要：基于指令的视频生成模型通过模拟多样的环境条件，为自动驾驶系统的压力测试提供了一种可扩展的解决方案。然而，驾驶场景运行在由严格交通语义控制的密集操作设计域（ODD）内。当应用于全球驾驶条件编辑时，通用的指令驱动视频编辑器经常会破坏这些语义，导致结构幻觉和“时间冲击”。本工作在视频编辑过程中在三个层面提炼并保护交通语义。首先，我们通过将时间对齐的真实视频与合成编辑相结合构建混合数据集，在基础场景结构与明确的外观信号之间取得平衡。其次，在训练过程中，我们采用来自离线强化学习的优势条件方法，使用稠密奖励来对模型进行对齐。我们从混合数据中提取稠密的像素级奖励，作为局部信号，主动引导生成趋向结构可靠的像素。最后，我们的模型通过引入思考帧来缓解时间冲击，这是一种过渡机制，可无缝调和静态图像条件与动态视频上下文。大量实验证明，我们的方法可以防止多参与者动态的破坏，实现最先进的时空一致性，获得一致的用户偏好（内容保留相对提升39%，时间一致性提升12%），并在下游道路车道线分割中实现显著5%的提升，在下游多目标检测中提升7%。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28829 (HTTP 429)

Authors: Mauricio Soroco, Yuqiu Liu, Zaid Tasneem, Francesco Pittaluga, Abhishek Aich, Wuyang Chen, Manmohan Chandraker, Ziyu Jiang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28829.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28829

Published: 2026-10-23T01:57:33.241Z

8. Conditional Imaging for Privacy-Preserving Visual Sensing

Abstract:Conventional visual sensing faces a fundamental dilemma: information that should remain private today may need to be recovered tomorrow. This challenge is becoming increasingly important as cameras become pervasive in our daily surroundings. Existing safeguards either protect visual content only after an image is formed or suppress information during capture in ways that prevent its later recovery. Here, we show through an information-theoretic analysis that privacy and recoverability cannot be achieved simultaneously in static optical systems. Information preserved in a measurement for later reconstruction also remains available to an observer of that measurement, limiting the privacy such systems can provide. To overcome this limitation, we introduce conditional imaging, an imaging approach that changes the optical state for every captured frame. The measurement alone conceals the scene, while knowledge of the corresponding physical system state enables its reconstruction. We analyze how the optical parameters determine the information that can be recovered and use this analysis to guide the design of a camera prototype. We evaluate the system on a captured dataset of human faces using increasingly powerful attempts to recover the scene, from direct visualization and computational inversion to learned reconstruction and identity recognition. Our experiments show that conditional imaging preserves identity in authorized reconstructions while withholding visual information from observers without access to the system state. By making the physical state of the camera part of the information needed for reconstruction, conditional imaging enables visual information to be protected at the point of capture while remaining recoverable for future authorized use.

中文摘要

摘要：传统的视觉传感面临一个根本性困境：今天应保持私密的信息，明天可能需要被恢复。随着摄像头在我们日常环境中变得越来越普及，这一挑战变得愈加重要。现有的保护措施要么只在图像形成后保护视觉内容，要么在拍摄过程中以无法恢复信息的方式抑制信息。本文通过信息理论分析表明，在静态光学系统中，隐私性和可恢复性无法同时实现。在测量中为后续重建保存的信息也同样可以被该测量的观察者获取，从而限制了这些系统所能提供的隐私性。为了克服这一限制，我们引入了条件成像，这是一种为每一帧捕获改变光学状态的成像方法。单独的测量能够隐藏场景，而了解相应的物理系统状态则可以实现其重建。我们分析了光学参数如何决定可恢复的信息，并利用该分析指导相机原型的设计。我们在一个人体面部采集数据集上评估了该系统，采用逐渐增强的重建尝试，从直接可视化和计算反演到学习型重建和身份识别。实验结果表明，条件成像在授权重建中能够保留身份信息，同时对没有访问系统状态的观察者隐藏视觉信息。通过将相机的物理状态作为重建所需信息的一部分，条件成像使视觉信息在捕获点受到保护，同时仍可用于未来的授权使用。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28835 (HTTP 429)

Authors: Hengyu Lian, Debabrata Mandal, Anzhou Wen, Yujie Wang, Xi Peng, Praneeth Chakravarthula

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28835.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28835

Published: 2026-10-23T01:57:33.241Z

9. Beyond Correct Answers: How Compositional Cues Shape Visual Judgments

Abstract:Visual question answering requires models to assign attributes and relations to the correct objects, a problem known as visual binding. Structured prompts make these assignments explicit through labeled fields. Yet an improvement from the full prompt does not reveal which labels help or how they interact. First, we isolate field-label effects across ten models and six tasks by holding the image and claim fixed. These comparisons reveal differences that overall accuracy can hide. With a relation label present, adding object-role labels helps Qwen3 but hurts Qwen2 on Spatial. Second, we compare auxiliary hints that preserve or swap the question’s role assignments against a no-hint baseline. Across two image sets, Qwen3’s advantage with preserving hints mainly reflects errors caused by swapped hints. Preserving hints remain near baseline. Field order further affects the harm. Third, we test clearer hint wording and direct selection of the relation shown in the image. Clearer hints improve text matching but do not consistently improve visual judgments. In contrast, relation selection partly reduces errors for some hints in Qwen3 and GPT-4.1-mini.

中文摘要

摘要：视觉问答要求模型将属性和关系分配给正确的对象，这个问题被称为视觉绑定。结构化提示通过标记字段使这些分配显式化。然而，从完整提示中获得的改进并不能揭示哪些标签有帮助或它们如何相互作用。首先，我们通过保持图像和陈述固定，在十个模型和六个任务中分离字段-标签效应。这些比较揭示了整体准确率可能隐藏的差异。在存在关系标签的情况下，添加对象角色标签对Qwen3有帮助，但在Spatial任务中对Qwen2有害。其次，我们将保留或交换问题角色分配的辅助提示与无提示基线进行比较。在两个图像集上，Qwen3保留提示的优势主要反映了交换提示导致的错误。保留提示仍接近基线。字段顺序进一步影响了害处。第三，我们测试了更清晰的提示措辞和图像中显示的关系的直接选择。更清晰的提示改善了文本匹配，但并未一致地改善视觉判断。相比之下，对于Qwen3和GPT-4.1-mini来说，关系选择部分减少了某些提示的错误。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28843 (HTTP 429)

Authors: Xiaoyu Ma, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28843.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28843

Published: 2026-10-23T01:57:33.241Z

10. Depth-guided Geometric Adaptation for Few-shot Image Classification

Abstract:Few-shot image classification (FSIC) frequently suffers from visual ambiguity, where background clutter and RGB appearance similarities hinder discriminative feature matching in data-scarce settings. To mitigate this, we propose DAFIC, a geometry-guided framework that incorporates monocular depth into representation learning, episodic adaptation, and dense support-query matching. DAFIC first learns geometry-aware token representations through RGB-D self-supervised pre-training. Subsequently, the Depth-guided Geometric Adaptation (DGA) module uses depth-derived geometry to refine patch representations with geometry-enriched class context while suppressing background interference. Spatial Bidirectional Patch Matching (SBiM) then performs bidirectional dense matching on the refined features, reducing sensitivity to spurious correspondences and background clutter. Extensive experiments on four benchmarks show that DAFIC achieves strong performance against existing methods, with ablation and robustness analyses supporting the effectiveness of coupling geometry-conditioned episodic adaptation with bidirectional matching for few-shot visual recognition.

中文摘要

摘要：少样本图像分类（FSIC）经常受到视觉模糊的影响，其中背景杂乱和RGB外观的相似性在数据稀缺的情况下会阻碍判别特征的匹配。为此，我们提出了DAFIC，这是一种几何引导的框架，将单目深度融入表示学习、情景适应和密集支持-查询匹配中。DAFIC首先通过RGB-D自监督预训练学习几何感知的标记表示。随后，深度引导的几何适应（DGA）模块利用深度衍生的几何信息，通过几何丰富的类别上下文优化图像块表示，同时抑制背景干扰。空间双向图像块匹配（SBiM）随后对优化后的特征进行双向密集匹配，从而减少对虚假对应和背景杂乱的敏感性。在四个基准数据集上的大量实验表明，DAFIC在现有方法中表现出强大的性能，消融和鲁棒性分析支持将几何条件的情景适应与双向匹配结合用于少样本视觉识别的有效性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.28856 (HTTP 429)

Authors: Zhiqi Miao, Estefanía Talavera, Weichuan Zhang, Jiapan Guo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.28856.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.28856

Published: 2026-10-23T01:57:33.241Z