ArXiv Domain 2026-10-18

数据来源：ArXiv Domain

LLM Domain Papers

1. DeepUnfolding_Agent: A Classical_Quantum Adaptive Control API

Abstract:Adaptive optimization workflows in machine learning, federated learning, quantum machine learning, and hybrid classical quantum systems often embed controller logic directly inside task specific training scripts. This coupling limits reuse, reproducibility, safety validation, and fair comparison across execution environments. This paper presents DeepUnfolding Agent, a schema-driven FastAPI platform that exposes deep unfolded adaptive control as an external software service. External executors register a strategy schema, submit round-level diagnostic variables, receive schema-bounded control actions, execute one optimization round, and return feedback for controller update. The framework separates controller intelligence from domain specific execution through a strategy registry, diagnostic to state adapter, controller factory, safety guard, executor abstraction, feedback update path, SQLite persistence layer, Docker deployment, and reproducible benchmark scripts. The implementation supports classical, quantum-aware, hybrid, Qiskit Aer, and optional IBM quantum processing execution pathways. We validate the software through unit, schema, API, safety, orchestration, Quantum execution, checkpointing, and Docker tests, and demonstrate external user fixed versus adaptive workflows across finance, healthcare, genomics, transport, noisy quantum simulation, and hardware backed IBM Quantum execution. The results show that DeepUnfolding-Agent provides a reusable and traceable adaptive control layer for heterogeneous optimization workflows. Our quantum experiments are interpreted as API level quantum control and hardware portability evidence.

中文摘要

摘要：在机器学习、联邦学习、量子机器学习和混合经典-量子系统中，自适应优化工作流通常将控制器逻辑直接嵌入任务特定的训练脚本中。这种耦合限制了重用性、可重复性、安全性验证以及跨执行环境的公平比较。本文提出了DeepUnfolding Agent，一个基于模式的FastAPI平台，将深度展开的自适应控制作为外部软件服务提供。外部执行器注册策略模式，提交轮级诊断变量，接收模式约束的控制动作，执行一次优化轮，并返回反馈以更新控制器。该框架通过策略注册表、诊断到状态适配器、控制器工厂、安全保护器、执行器抽象、反馈更新路径、SQLite持久化层、Docker部署和可复现基准脚本，将控制器智能与领域特定执行分离。实现支持经典、量子感知、混合、Qiskit Aer 和可选的 IBM 量子处理执行路径。我们通过单元测试、模式测试、API测试、安全性测试、编排测试、量子执行测试、检查点测试和Docker测试验证软件，并展示了外部用户在金融、医疗、基因组学、交通、噪声量子模拟以及硬件支持的IBM量子执行中的固定与自适应工作流。结果表明，DeepUnfolding-Agent为异构优化工作流提供了可重用且可追踪的自适应控制层。我们的量子实验被解释为API级量子控制和硬件可移植性的证据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20615 (HTTP 429)

Authors: Shanika Iroshi Nanayakkara, Shiva Raj Pokhrel

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20615.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20615

Published: 2026-10-18T01:30:57.493Z

2. PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design

Abstract:Multi-agent systems (MAS) based on large language models (LLMs) have become a powerful way to address complex problems, and their effectiveness depends critically on the collaboration topology that decides which agents participate and how they communicate. Recent work learns to generate this topology from the task query, fitting the generator to corpora of execution-verified graphs. The post-training method for such generators remains a limitation: a corpus lists the graphs that solved a query but never ranks them, leaving continued supervised fine-tuning (SFT) with no per-query preference to exploit. Without such a preference, the generator drifts toward the topologies the corpus contains most often rather than those that suit each query, so a gain on one task can come at a cost on another. We propose PRISM, which recovers per-query signal from the same corpus by learning with privileged information: a teacher reads, through a zero-initialized low-rank branch, a sibling graph that also solved the query and is unavailable at deployment, and the student matches its per-decision targets on trajectories the student samples itself. Across six diverse benchmarks PRISM improves over every topology-design baseline evaluated, and matched-teacher controls support the contribution of privileged query information. Code is available in this link.

中文摘要

摘要：基于大型语言模型（LLMs）的多智能体系统（MAS）已成为解决复杂问题的强大方法，它们的有效性在很大程度上取决于协作拓扑，即决定哪些智能体参与以及它们如何通信。最近的研究尝试从任务查询中学习生成该拓扑，将生成器拟合到执行验证图的语料库中。这类生成器的训练后方法仍存在局限：语料库列出了哪些图解决了某个查询，但从不对它们进行排序，因此持续的监督微调（SFT）无法利用每个查询的偏好。缺乏这种偏好时，生成器会倾向于语料库中最常出现的拓扑，而不是适合每个查询的拓扑，因此在一个任务上的收益可能会以另一个任务的代价为代价。我们提出了PRISM，通过特权信息学习从同一语料库中恢复每个查询的信号：教师通过零初始化的低秩分支读取一个同样解决了该查询但部署时不可用的兄弟图，学生则在自己采样的轨迹上匹配每个决策目标。在六个不同的基准测试中，PRISM在所有拓扑设计基线中都有所提升，并且匹配教师的控制实验支持了特权查询信息的贡献。代码可通过此链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20628 (HTTP 429)

Authors: Phuong Tuan Dat, Qi Li, Xinchao Wang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20628.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20628

Published: 2026-10-18T01:30:57.493Z

3. A Large-Scale Dataset for Multi-Class Financial News Classification in Brazilian Portuguese

Abstract:The development of Financial Natural Language Processing (NLP) systems for Brazilian Portuguese is hindered by the scarcity of domain-specific datasets. To address this, we present a large-scale corpus of approximately 160,000 Brazilian Portuguese financial news articles collected from web sources. To establish initial benchmarks for a weakly supervised multi-class classification approach based on semantic similarity, we annotated subsets of this corpus both manually and using a Large Language Model (LLM). We evaluated three similarity-based methods — cosine similarity, K-Nearest Neighbors (KNN), and FAISS-based nearest-neighbor search — using multilingual semantic embeddings. Our experiments reveal that the task is highly sensitive to label quality and class distribution. On the manually labeled subset, KNN achieved the best performance (47.3% accuracy, 31.9% F1-score), closely followed by FAISS. Conversely, on the LLM-annotated subset, while accuracy reached approximately 50%, F1-scores dropped to near 20%, highlighting the negative impact of label imbalance and noisy weak annotations. These findings establish foundational baselines for a challenging task, underscoring the critical need for high-quality manual annotations. Ultimately, this dataset and our preliminary results provide a reference point for future research in Brazilian Portuguese Financial NLP.

中文摘要

摘要：巴西葡萄牙语金融自然语言处理（NLP）系统的发展受到领域特定数据集稀缺的限制。为了解决这一问题，我们发布了一个大规模语料库，包含约16万篇来自网络来源的巴西葡萄牙语金融新闻文章。为了为基于语义相似性的弱监督多分类方法建立初步基准，我们对该语料库的子集进行了人工标注和使用大语言模型（LLM）标注。我们使用多语言语义嵌入评估了三种基于相似性的方法——余弦相似度、K近邻（KNN）和基于FAISS的最近邻搜索。我们的实验表明，该任务对标签质量和类别分布高度敏感。在人工标注的子集上，KNN取得了最佳表现（准确率47.3%，F1分数31.9%），紧随其后的是FAISS。相反，在LLM标注的子集上，尽管准确率达到约50%，但F1分数下降至接近20%，突显了标签不平衡和弱标注噪声的负面影响。这些发现为这一具有挑战性的任务建立了基础基准，强调了高质量人工标注的关键需求。最终，该数据集和我们的初步结果为未来巴西葡萄牙语金融NLP研究提供了参考点。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20630 (HTTP 429)

Authors: Leomax Bandeira, Gabriel Aguiar, Dalton Cézane Gomes Valadares, Luiz Pereira, Helder Fernando de Araújo Oliveira, Gustavo Xavier, Andson M. Balieiro

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20630.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20630

Published: 2026-10-18T01:30:57.493Z

4. Real-time Chatbot Romance Scam Detection in Stage Classification

Abstract:Romance scam has become a serious problem via social media, and the improvement of artificial intelligence enable to fake identify easily. In the study, a chatbot has developed to detect romance scam in real-time through Line Messaging API. Using the seven stage theories in the social science field, the stages of romance scam can be detected through large language model. In addition, once a romance scam is detected, the chatbot provides explanations of the stage and prevention advices through large language model. The contribution of the work provides a practical application, and can be used in real scenario for reducing the risk of romance scam.

中文摘要

摘要：通过社交媒体，恋爱诈骗已成为一个严重问题，而人工智能的进步使伪造身份变得容易。在本研究中，开发了一个聊天机器人，通过 Line 消息 API 实时检测恋爱诈骗。利用社会科学领域的七阶段理论，可以通过大型语言模型检测恋爱诈骗的各个阶段。此外，一旦检测到恋爱诈骗，聊天机器人会通过大型语言模型提供阶段解释和预防建议。本工作的贡献在于提供了一个实际应用，并可在真实场景中用于降低恋爱诈骗的风险。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20631 (HTTP 429)

Authors: Yi-cheng Liu, Guan-ru Lai, Yi-cheng Lai, Lyn Chao-ling Chen

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20631.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20631

Published: 2026-10-18T01:30:57.493Z

5. MeddeX: A Retrieval-Augmented LLaMA-3 System with Gemini Vision for Evidence-Backed Medical Report Analysis

Abstract:Modern healthcare generates increasingly complex medical reports that challenge clinical professionals in terms of time and interpretive burden. Manual review processes are slow, error-prone, and difficult to scale. This paper presents MeddeX, a Medical Report Analyzer that combines a QLoRA fine-tuned LLaMA-3 (8B) model with Retrieval-Augmented Gen eration (RAG) and a multimodal Gemini Vision layer to deliver accurate, concise, and evidence-backed summaries of medical documents. The system handles text-native PDFs, scanned image based PDFs, and direct radiological images through an intelligent hybrid extraction pipeline that includes a novel garbage-text detection mechanism for corrupted and UTF-16-encoded doc uments. Beyond single-report Q&A, MeddeX introduces report scoped retrieval for precise contextual grounding, an automated longitudinal report comparison engine, and a self-healing backfill pipeline that lazily processes legacy documents on demand. A FastAPI backend, Supabase vector store, and this http URL fron tend complete the end-to-end architecture. Evaluation against the base LLaMA3-Med42-8B model demonstrates consistent improvements across ROUGE-1 (+9.2%), ROUGE-2 (+10.0%), ROUGE-L (+11.8%), BLEU (+71.4%), and BERTScore (+0.8%), validating the benefit of domain-specific fine-tuning. MeddeX represents a practical and robust step toward AI-assisted clinical decision support.

中文摘要

摘要：现代医疗产生的医疗报告日益复杂，这对临床专业人员在时间和解读负担方面构成了挑战。手动审查过程缓慢、容易出错且难以扩展。本文提出了 MeddeX，一种医疗报告分析工具，它结合了经过 QLoRA 微调的 LLaMA-3（8B）模型、检索增强生成（RAG）和多模态 Gemini Vision 层，以提供准确、简明且有证据支持的医疗文档摘要。该系统通过智能混合提取管道处理文本原生 PDF、扫描图像 PDF 及直接放射影像，其中包括针对损坏和 UTF-16 编码文档的新型垃圾文本检测机制。除了单报告问答功能外，MeddeX 还引入了报告范围检索以实现精确上下文定位，自动化纵向报告对比引擎，以及按需延迟处理历史文档的自愈补充管道。FastAPI 后端、Supabase 向量存储以及此 HTTP URL 前端构成了端到端架构。与基础 LLaMA3-Med42-8B 模型的评估显示，在 ROUGE-1（+9.2%）、ROUGE-2（+10.0%）、ROUGE-L（+11.8%）、BLEU（+71.4%）和 BERTScore（+0.8%）等指标上均有持续改进，验证了领域特定微调的益处。MeddeX 代表了向 AI 辅助临床决策支持迈出的一步，具有实用性和稳健性。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20632 (HTTP 429)

Authors: Rajdeep Pandhare, Rohit Kundaikar, Yakub Kojar, Shreyansh Tiwari

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20632.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20632

Published: 2026-10-18T01:30:57.493Z

6. Context Injection and Long-Horizon Reliability: Separating Duplicate Recognition, Local Processing, and Counter Tracking

Abstract:Long-horizon failures of language models are usually measured as end-task success or as a horizon length. We instead score, step by step, three components of a 400-step ledger task in which every step is easy in isolation and the model’s own answers are re-injected into its context: recognising a record already seen 5 to 300 steps earlier, processing the current record locally, and writing a counter incremented at every step. On Qwen3-8B (non-thinking, 20 seeds, replicated on a second machine and backend), with every step scored component by component, two results hold. First, duplicate-recognition errors rise late in the episode — from 0.0019 to 0.011 per step at risk across step 200 — while the counter makes no error in 8,000 steps and local processing is descriptively stable; the rise combines long-distance recall errors and rising false alarms. Second, a block of irrelevant content inserted before each step makes the counter fail in 20 of 20 seeds on each machine, against none without it, while its effect on local processing is much smaller and not distinguishable from none. Three pre-registered follow-ups probe the counter. Its value depends on the value present in the response history: a corrupted value persists without correction in every seed, and an exact external reminder, repeated before each message, re-aligns it within one to two steps. Under the irrelevant block, no counter error was observed when an exact compact reminder of the state, supplied externally by an oracle, preceded each message (0 of 20 seeds with an error, against 15 without it), and this reminder outperformed a length-matched neutral text; whether a single reminder suffices was not conclusive, and the absence of damage to the other components was not established. An aggregate or exclusive error classification can hide the difference we report.

中文摘要

摘要：语言模型的 long-horizon 失败通常通过最终任务成功与否或时间跨度长度来衡量。我们则采用逐步评分的方法，对一个 400 步的账本任务的三个组成部分进行评分：在每一步单独来看都很简单，并且模型自己的答案会重新注入到其上下文中。三个组件分别是：识别在 5 到 300 步前已经出现的记录、本地处理当前记录、以及每一步递增的计数器。在 Qwen3-8B（非思考型，20 个随机种子，并在第二台机器和后端上重复实验）上，对每一步按组件评分，有两个结果是成立的。首先，重复识别错误在剧情后期上升——在第 200 步处每步风险从 0.0019 升至 0.011，而计数器在 8,000 步中无错误，本地处理稳定；这一上升结合了远程记忆错误和越来越多的误报。其次，在每步之前插入一块无关内容会导致计数器在每台机器的 20 个随机种子中全部失败，而不插入则没有失败，同时其对本地处理的影响很小，并且与无影响无法区分。三个预注册的后续实验探究了计数器。其数值依赖于响应历史中存在的数值：在每个随机种子中，损坏的数值会持续存在且未被纠正，而精确的外部提醒在每条消息之前重复，可在一到两步内使其重新对齐。在插入无关块的情况下，当由神谕提供的精确紧凑状态提醒在每条消息之前提供时（20 个随机种子中无一出错，而未使用时有 15 个出错），未观察到计数器错误，并且该提醒优于等长的中性文本；单次提醒是否足够尚无结论，且未建立对其他组件无损害。总体或独立的错误分类可能会掩盖我们报告的差异。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20633 (HTTP 429)

Authors: Thomas Serval

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20633.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20633

Published: 2026-10-18T01:30:57.493Z

7. Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM

Abstract:Retrieval-augmented generation asks one question at volume: does this evidence support this claim? The answer is one bit, yet most pipelines obtain it from a text generator and pay generation prices for the prose wrapped around it. We compare a non-generative decision model, which returns a typed value from a declared enumeration together with a native probability and no text, against a frontier LLM configured as an engineer would deploy it for binary classification. Both answer the same 495 human-labelled claims from LLM-AggreFact, so every comparison is within-item. We report three things. First, the two systems are statistically indistinguishable on the metric this task is conventionally scored by, a paired difference of -0.56 points, Jev minus Astra, at a 187-fold cost difference. Second, that tie carries almost no information about deployment: the systems disagree on 15.2% of claims, and the cheaper one admits 23.2% of the claims annotators marked unsupported against the frontier model’s 14.1%. A component whose job is to catch unsupported claims should be judged on that rate, and the conventional headline hides it. Third, because the errors differ they compose: routing the claims the cheap model is confident about and escalating the rest reaches 74.10 at USD 2.92 per thousand claims against 73.83 at USD 8.93, with the threshold chosen out of fold. But a matched random-escalation control at in-sample thresholds, spending the same budget by coin flip, does as well, so what buys the saving is the escalation share and not the probability that picks what to escalate. Measured against the cheap model it is built from, the cascade costs 61-fold more for 0.83 points, 95% CI [-3.36, 4.86], and it is the more permissive guard of the two. Equal accuracy conceals unequal errors. All predictions, prompts, pricing and code are released.

中文摘要

摘要：检索增强生成提出了一个关键问题：这些证据是否支持该主张？答案只有一个比特，但大多数流程是通过文本生成器获得，并为其包装的文字支付生成成本。我们将一种非生成的决策模型——返回枚举类型中的类型化值、附带本地概率且不生成文本——与一个按工程师部署用于二元分类的前沿大型语言模型（LLM）进行比较。两者都回答了来自 LLM-AggreFact 的 495 个人工标注的主张，因此每一次比较都是同一条目内的。我们报告三点。首先，在传统任务评分指标上，两系统统计上没有显著差异——Jev 减 Astra 的配对差异为 -0.56 分，但成本差异达到 187 倍。其次，这种平局几乎无法提供部署信息：两系统在 15.2% 的主张上意见不一致，而成本较低的模型承认 23.2% 的主张未被支持，而前沿模型为 14.1%。一个检测不支持主张的组件应依据该比例进行评估，但传统的标题掩盖了这一点。第三，由于错误类型不同，它们可以组合：将成本低的模型有信心的主张直接路由，其余升级处理，可达到 74.10，相当于每千条主张支出 2.92 美元，而阈值在分层验证中选择，此时前沿模型为 73.83，每千条主张支出 8.93 美元。但在样本内阈值下的匹配随机升级对照，通过抛硬币分配相同预算，效果相同，因此节省成本的关键在于升级的比例，而非选择升级对象的概率。与其构建的廉价模型相比，级联模型的成本高 61 倍，仅提升 0.83 分，95% 置信区间 [-3.36, 4.86]，并且是两个模型中更宽松的守卫。等效的准确率掩盖了不同的错误分布。所有预测、提示、定价和代码均已发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20634 (HTTP 429)

Authors: Alden Do Rosario, Kirollos Atef

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20634.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20634

Published: 2026-10-18T01:30:57.493Z

8. Exploring the Design Space of Permutation Diffusion LLMs

Abstract:Permutation generation with language models requires both text-conditioned ranking and a global one-to-one assignment between candidates and output positions. We study this problem through three diffusion-LLM parameterizations: hard-assignment prediction over shuffled candidate-index sequences, soft-assignment prediction over doubly stochastic matrices, and direct ordering-score prediction followed by sorting. The three families place permutation constraints at different stages of prediction and decoding and therefore support different training objectives and sampling procedures. We evaluate these designs on recommendation reranking across three Amazon domains with candidate sets of size 10 and 20. At one function evaluation, the hard- and soft-assignment variants achieve Recall@1 comparable to a constrained masked-diffusion baseline, whereas direct ordering-score prediction guarantees valid permutations without Hungarian assignment or Sinkhorn normalization. Additional function evaluations do not consistently improve ranking quality, and their effect depends strongly on the state representation and training objective. These results show that corruption, prediction parameterization, objective, and decoder should be designed jointly for permutation diffusion with language-model denoisers.

中文摘要

摘要：使用语言模型生成排列需要文本条件下的排序以及候选项与输出位置之间的全局一对一分配。我们通过三种扩散-大型语言模型（diffusion-LLM）参数化方法研究这个问题：对洗牌后的候选索引序列进行硬分配预测、对双随机矩阵进行软分配预测，以及直接进行排序分数预测然后排序。这三类方法在预测和解码的不同阶段施加排列约束，因此支持不同的训练目标和采样过程。我们在三个亚马逊领域的推荐重排序任务中评估了这些设计，候选集大小为10和20。在一次函数评估中，硬分配和软分配变体的Recall@1可与受约束的掩码扩散基线相媲美，而直接排序分数预测则无需匈牙利分配或Sinkhorn归一化即可保证有效排列。额外的函数评估并不总是能持续提高排序质量，其效果在很大程度上依赖于状态表示和训练目标。这些结果表明，对语言模型去噪的排列扩散，需要同时设计扰动、预测参数化、目标函数和解码器。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20635 (HTTP 429)

Authors: Zhe Xu, Mingfu Liang, Kavosh Asadi, Jean-Pascal Billaud, Tianyi Chen, Yanhui Guo, Christina Huang, Baekjin Kim, Jimmy Kim, Yufei Li, Daqi Sun, Jiachen Sun, Dian Yu, Zaiwei Zhang, Kaushik Rangadurai, Frank Shyu, Sandeep Pandey, Xi Liu, Luke Simon

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20635.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20635

Published: 2026-10-18T01:30:57.493Z

9. AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

Abstract:Long chain-of-thought decoding is memory-bound: the KV cache of the generated tokens grows linearly with the test-time compute being spent. Evicting cache entries does not fix this, because a model never trained on a cache with entries removed generates longer, often up to the length limit. We instead train the model to compress its own output. AbridgeKV compresses each completed block of generated text into the KV entries of a few learned pause tokens. These are extra input tokens with trained embeddings that produce no output. Once the pause tokens have encoded the block, AbridgeKV frees the block’s original cache; subsequent tokens attend to the pause tokens’ KV entries in its place. Three novel choices make this work: the pause tokens’ KV entries take positions inside the block they replace, the cache budget is allocated across layers according to the measured value of each layer’s entries, and compression operates on relatively large blocks. On 446 competition problems from AIME, HMMT, AMC, BRUMO, CMIMC and SMT with 32K-token generations, keeping a quarter of the generated cache matches an identically trained full-KV model in accuracy and output length; the strongest published evictor at a matched budget writes far longer, and the closest trained compressor, retrained on the same data, loses 10 points. Served in vLLM, the cache is 3.5x smaller per sequence and a saturated H100 finishes a problem 3.2x faster than with full KV.

中文摘要

摘要：长链思路解码受内存限制：生成的令牌的KV缓存随着测试时计算量的增加而线性增长。驱逐缓存条目无法解决这个问题，因为从未在移除条目的缓存上训练过的模型生成的输出往往会更长，甚至达到长度限制。我们改为训练模型压缩自身输出。AbridgeKV将每个完成的生成文本块压缩到几个学习的暂停令牌的KV条目中。这些额外输入令牌带有训练过的嵌入，但不生成输出。一旦暂停令牌编码了该块，AbridgeKV就释放该块的原始缓存；后续令牌将改为关注暂停令牌的KV条目。三个新的选择使这项工作可行：暂停令牌的KV条目位于它们所替代块内的位置，缓存预算根据每层条目的实际价值分配，压缩在相对较大的块上进行。在来自AIME、HMMT、AMC、BRUMO、CMIMC和SMT的446个竞赛问题上进行32K令牌生成，保留四分之一的生成缓存在准确性和输出长度上与相同训练的全KV模型相匹配；在相同预算下，最强的已发布驱逐策略会生成更长的输出，而最近经过相同数据再训练的压缩器会损失10分。在vLLM中运行时，每个序列的缓存减少3.5倍，饱和的H100完成一个问题的速度比使用全KV快3.2倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20641 (HTTP 429)

Authors: Jack Cai, Lijie Yang, Vasilis Kontonis, Dimitris Papailiopoulos, Shivam Garg

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20641.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20641

Published: 2026-10-18T01:30:57.493Z

10. CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models

Abstract:Recent latent reasoning methods move beyond discrete Chain-of-Thought (CoT) by replacing sampled tokens with continuous soft embeddings or hidden states, enabling richer intermediate representations and preserving alternative reasoning paths. However, the need for latent reasoning varies across decoding steps: confident predictions favor discrete commitment, whereas ambiguous steps benefit from preserving multiple plausible alternatives. Existing approaches typically handle this variation through either global soft activation or hard switching based on uncertainty thresholds, treating latent intervention as an all-or-nothing decision rather than continuously adapting its strength. To address this limitation, we propose Competitive Token Selection (CoTS), a training-free framework that reframes latent intervention from binary mode selection into continuous allocation at the token level. CoTS uses the probability competition between the two most likely candidates to dynamically balance discrete commitment and soft exploration at each reasoning step. The second candidate represents the strongest alternative to the model’s preferred continuation, so the separation between the two directly reflects the stability of the current discrete choice. When one candidate clearly dominates, CoTS keeps the representation close to the sampled discrete token to preserve a stable reasoning trajectory; as the competition strengthens, it increases the contribution of the soft representation to retain plausible alternatives. This competition-based allocation requires neither manually tuned switching thresholds nor mixing coefficients, and introduces no additional forward passes. Experiments across six reasoning benchmarks demonstrate that CoTS consistently outperforms standard CoT and state-of-the-art training-free latent reasoning methods. Our code is available at this https URL.

中文摘要

摘要：最近的潜在推理方法通过用连续的软嵌入或隐藏状态替代采样的标记，超越了离散的思维链（CoT），从而实现更丰富的中间表示并保留替代推理路径。然而，不同解码步骤对潜在推理的需求各异：自信的预测更倾向于离散承诺，而不确定的步骤则从保留多种可能的替代方案中获益。现有方法通常通过全局软激活或基于不确定性阈值的硬切换来处理这种变化，将潜在干预视为一种全有或全无的决策，而不是连续地调整其强度。为了解决这一限制，我们提出了竞争性标记选择（CoTS），这是一个无需训练的框架，将潜在干预从二进制模式选择重新定义为标记级别的连续分配。CoTS利用两个最可能候选标记之间的概率竞争，动态平衡每个推理步骤中的离散承诺与软探索。第二候选标记代表模型首选延续的最强替代方案，因此两者之间的差距直接反映当前离散选择的稳定性。当一个候选明显占优时，CoTS会将表示保持接近采样的离散标记，以保持稳定的推理轨迹；随着竞争加剧，它会增加软表示的贡献以保留合理的替代方案。这种基于竞争的分配既不需要手动调整的切换阈值，也不需要混合系数，也不会引入额外的前向计算。在六个推理基准上的实验表明，CoTS始终优于标准的CoT和最先进的无需训练的潜在推理方法。我们的代码可通过此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20642 (HTTP 429)

Authors: Jie Yu, Yuxi Sun, Zhaoxu Li, Chunxiao Liu, Xudong Jiang

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2610.20642.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20642

Published: 2026-10-18T01:30:57.493Z

Agent Domain Papers

1. The World Won’t Wait: Evaluating and Teaching Agents Under a Live Clock

Abstract:Large language model (LLM) agents can solve complex interactive tasks, yet reasoning and tool calls take time. In continuously changing environments, an otherwise correct action may arrive too late. We introduce RealtimeBench, with 180 tasks across six game types, to evaluate agents while games continue running during inference. Paired evaluations show that GPT-6.1-sol outperforms the faster Jev when games are paused, but falls behind when they keep running. We propose Two-Timescale Offline Recursive Self-Improvement (TORSI): a slow teacher studies failures and tests corrections in paused games between attempts, then writes reusable instructions for a fast student. The student acts without teacher calls during gameplay, and validation scores determine which updates are adopted. Two rounds raise Jev’s average test score from 13.51 to 24.19 on a 0—100 progress scale, improving all six game types. The instructions also improve average scores for three other models without retuning. These findings point toward real-time intelligence: enabling powerful LLM agents to remain effective in a continuously changing world by organizing deliberation, learning, and action across timescales.

中文摘要

摘要：大型语言模型（LLM）代理可以解决复杂的交互任务，但推理和工具调用需要时间。在持续变化的环境中，即使是正确的动作也可能来得太迟。我们引入了 RealtimeBench，该基准包含六种游戏类型的 180 个任务，用于在推理过程中游戏继续运行时评估代理。配对评估显示，当游戏暂停时，GPT-6.1-sol 的表现优于更快的 Jev，但当游戏继续运行时却落后。我们提出了双时间尺度离线递归自我改进（TORSI）：一个慢速教师研究失败并在尝试间暂停的游戏中测试纠正措施，然后为快速学生编写可重用的指令。学生在游戏过程中无需调用教师，根据验证分数决定采用哪些更新。两轮迭代将 Jev 的平均测试分数从 13.51 提高到 24.19（在 0-100 的进度尺度上），六种游戏类型的成绩全部得到提升。这些指令也提升了其他三种模型的平均分数，无需重新调整。这些发现指向实时智能：通过跨时间尺度组织思考、学习和行动，使强大的 LLM 代理在持续变化的世界中保持有效。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20665 (HTTP 429)

Authors: Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20665.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20665

Published: 2026-10-18T01:31:19.649Z

2. Evaluating Model Capabilities After Benchmark Saturation

Abstract:Rapid advances in AI capabilities are causing benchmarks to saturate. Once several models approach perfect scores, a benchmark loses its power to differentiate between them, and with it its utility for informing AI safety cases and frontier policies. Yet benchmark items produce far more information than the scores we typically extract from them: a full transcript of how each model solved the task. We investigate whether these transcripts can be used to assess model capabilities even after benchmark scores have saturated. We simulate saturation retrospectively using historical benchmark and model releases, and test whether protocols that access only correctly solved transcripts from saturated benchmarks can predict capabilities measured on held-out, unsaturated items. We evaluate representative contemporary approaches for extracting information from model transcripts: pairwise judging, single-transcript absolute scoring, and predictions from deterministic transcript features or embeddings. We find that saturated transcripts retain capability information beyond benchmark accuracy. Amongst our evaluated protocols, pairwise judging performs best, reducing prediction error by 5.3 times compared to a baseline using only saturated benchmark scores. This capability-relevant information is distributed across transcript sections, but concentrated in specific channels of information such as reasoning and tool-calls. However, the predictive power of protocols does not always generalise across distribution shifts — for example by underestimating the capabilities of the first reasoning models introduced in early 2025. Saturated benchmarks thus retain capability-predicting signal in their task transcripts, but extending the lifetime of existing benchmarks requires methods designed to extract these signals robustly.

中文摘要

摘要：人工智能能力的快速进步正在导致基准测试趋于饱和。一旦多个模型接近完美分数，基准测试就失去了区分它们的能力，也就失去了为人工智能安全案例和前沿政策提供信息的作用。然而，基准测试项目产生的信息远超过我们通常从中提取的分数：它们包含每个模型解决任务的完整记录。我们研究了即使在基准分数饱和后，这些记录是否仍可用于评估模型能力。我们通过历史基准和模型发布回顾性地模拟饱和，并测试了仅访问饱和基准中正确解决任务的记录的协议，是否能够预测在未测出的、未饱和项目上的能力。我们评估了从模型记录中提取信息的代表性当代方法：成对评判、单记录绝对评分以及基于确定性记录特征或嵌入的预测。我们发现，饱和记录仍保留了超出基准准确率的能力信息。在我们评估的协议中，成对评判性能最佳，与仅使用饱和基准分数的基线相比，将预测误差减少了5.3倍。这些与能力相关的信息分布在记录的各个部分，但集中在诸如推理和工具调用等特定信息渠道中。然而，协议的预测能力并不总是在分布变化中泛化——例如，它低估了2025年初引入的首批推理模型的能力。因此，饱和基准在其任务记录中仍保留着能力预测信号，但延长现有基准的使用寿命需要设计用于稳健提取这些信号的方法。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20667 (HTTP 429)

Authors: Morio Hamada, Jehyeok Yeon, Matteo Migliarini, Justin Olive, Magda Dubois

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20667.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20667

Published: 2026-10-18T01:31:19.649Z

3. Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion

Abstract:Reward-guided discrete diffusion enables test-time alignment with downstream objectives, but applying Sequential Monte Carlo (SMC) guidance at every denoising step is computationally expensive. Active guidance steps require additional reward evaluations and, for gradient-based proposals, value-gradient computations. Sparse guidance reduces this cost by guiding only a subset of timesteps, but commonly used schedules are fixed heuristics whose effectiveness can vary substantially across tasks. We propose VISTA, a training-free method that automatically selects guided timesteps under a fixed budget. VISTA formulates sparse guidance as approximation of the ideal full-guidance probability path and derives an estimable upper bound on (\ell_1) path deviation. Using value statistics collected from a small number of full-guidance warmup generations, VISTA optimizes the resulting empirical surrogate exactly via dynamic programming. The warmup generations can be retained as model outputs, and after schedule selection VISTA has the same per-generation guidance complexity as other sparse schedules with the same budget. Across text, biological sequence, and image generation tasks, VISTA discovers task-dependent schedules and outperforms hand-designed sparse schedules in most tested settings, while approaching or exceeding full-guidance performance on several task metrics. In toxic-text generation, for example, VISTA attains a 0.99 unique-toxic ratio compared with 1.00 for full guidance while reducing post-selection per-generation latency from 204.23 s to 38.16 s, a 5.35$\times$ speedup.

中文摘要

摘要：奖励引导离散扩散使测试时间与下游目标对齐，但在每个去噪步骤应用顺序蒙特卡洛（SMC）指导计算成本高昂。主动指导步骤需要额外的奖励评估，对于基于梯度的提案，还需进行值梯度计算。稀疏引导通过仅引导部分时间步长来降低成本，但常用的计划是固定启发式，其效果在不同任务间差异较大。我们提出VISTA，一种无训练的方法，在固定预算内自动选择引导时间步。VISTA将稀疏指导表述为理想全指导概率路径的近似，并推导出可估计的\（\ell_1\）路径偏差的上界。VISTA利用从少数全引导预热生成中收集的价值统计，通过动态规划精确优化所得的经验代理。预热生成可保留为模型输出，经过调度选择后，VISTA的每代指导复杂度与其他预算相同的稀疏调度相同。在文本、生物序列和图像生成任务中，VISTA发现了任务相关的调度，并在大多数测试环境中优于手工设计的稀疏调度，同时在多个任务指标上接近或超过全导引的性能。例如，在有毒文本生成中，VISTA实现了0.99的唯一毒性比，而全导引时为1.00，同时将选择后每代延迟从204.23秒缩短至38.16秒，提升了5.35美元\时间美元。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20669 (HTTP 429)

Authors: Jaehyeon Kim, Ziseok Lee, Siyoung Choi, Kyungsu Kim

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20669.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20669

Published: 2026-10-18T01:31:19.649Z

4. AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks

Abstract:Agents pair reasoning models with harnesses that organize model calls, execute tools, load skill instructions, and retain history in memory. Understanding agent performance requires linking execution conditions to outcomes, behavior, and resource use. We introduce AlphaDiana, a measurement system with modular interfaces for datasets, agents, environments, and scorers. It preserves harness-native control loops while controlling file reuse and memory retention separately. AlphaDiana supports macro analyses of complete agents and micro interventions on agent components such as tools, skills, and memory under matched conditions. We study three open-source models and three open-source harnesses on five answer-based benchmarks, with two models also tested on two interactive benchmarks. We find that harnesses do not consistently improve the accuracy of reasoning: gains on questions unsolved by the model alone can be outweighed by losses on questions it answers correctly without tools. This inconsistency extends to component interventions: neither skill guidance nor retained history reliably improves accuracy. Behavior and output-token use must be assessed with correctness: low token entropy can accompany wrong answers, and less output per execution can mean more output tokens per correct answer when accuracy falls. AlphaDiana links answer correctness and execution status to traces and resource records for comparing agents and diagnosing failures under shared task and resource policies.

中文摘要

摘要：代理将推理模型与管理模型调用、执行工具、加载技能指令并在内存中保留历史记录的控制程序配对。理解代理的性能需要将执行条件与结果、行为和资源使用联系起来。我们介绍了AlphaDiana，一种具有数据集、代理、环境和评分器模块化接口的测量系统。它保留了控制程序本地的控制循环，同时分别控制文件重用和内存保留。AlphaDiana支持对完整代理的宏观分析，以及在匹配条件下对代理组件（如工具、技能和记忆）的微观干预。我们在五个基于答案的基准测试中研究了三个开源模型和三个开源控制程序，其中两个模型也在两个交互式基准测试中进行了测试。我们发现，控制程序并不总是能够提高推理的准确性：对模型单独无法解决的问题的提升，可能被其在无需工具即可正确回答的问题上的损失抵消。这种不一致性也延伸到组件干预：无论是技能指导还是保留的历史记录，都不能可靠地提高准确性。在评估行为和输出令牌使用时必须考虑正确性：令牌熵低可能伴随错误答案，而每次执行的输出减少可能意味着在准确性下降时每个正确答案的输出令牌更多。AlphaDiana将答案正确性和执行状态与轨迹和资源记录关联起来，以便在共享任务和资源策略下比较代理并诊断失败问题。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20675 (HTTP 429)

Authors: Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20675.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20675

Published: 2026-10-18T01:31:19.649Z

5. When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus

Abstract:Correctness feedback suppresses the very evidence that specification-completeness auditing is designed to uncover: programs that satisfy a written contract but violate intended behavior. We demonstrate this objective reversal on 12 Verus/Rust tasks across four model families under matched call budgets. Independent no-feedback discovery more than doubles certified-witness yield relative to IntentShield’s corrective-feedback loop (59.0% versus 27.1%). A format-matched iterative control places the larger share of this gap in feedback content, not independent restarts. The advantage holds in every model family and survives parser repair. A separate phase-separated execution matches the aggregate yield without reusing responses; most certified witnesses also fail held-out cases. Preserving these witnesses delivers stronger specification repair: Phase-Revised contracts achieve 81.3% implementation success, versus 62.5% for IS-Revised, with Direct-Revised close behind. Both no-feedback witness sources substantially outperform weakened contracts. The effect does not reproduce in the available Dafny and Lean evaluations, establishing an empirical boundary around the studied Verus/Rust workflow. Completeness auditing and correctness repair have opposing immediate objectives. Preserve and certify the admitted failure before repairing it.

中文摘要

摘要：正确性反馈会抑制规格完整性审计旨在发现的证据：即满足书面契约但违反预期行为的程序。我们在12个Verus/Rust任务中展示了这一目标的逆转，这些任务跨四个模型家族，在匹配的调用预算下进行。相较于IntentShield的纠正反馈循环，独立的无反馈发现使认证证人产出翻倍以上（59.0% 对 27.1%）。格式匹配的迭代控制显示，这一差距的大部分来源于反馈内容，而非独立重启。这种优势在每个模型家族中都存在，并在解析器修复后依然保持。一个单独的阶段分离执行在不重复使用响应的情况下匹配了总产出；大多数认证证人也未通过保留的案例。保留这些证人能带来更强的规格修复：阶段修订合同的实现成功率达到81.3%，而IS修订为62.5%，Direct修订也接近。两种无反馈证人来源都显著优于弱化合同。这一效果在现有的Dafny和Lean评估中未能复现，从而在研究的Verus/Rust工作流中确立了一个经验界限。完整性审计和正确性修复具有相反的直接目标。在修复之前，先保留并认证所承认的失败。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20676 (HTTP 429)

Authors: Adarsh Agrawal

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20676.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20676

Published: 2026-10-18T01:31:19.649Z

6. Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models

Abstract:Representation-based safety defenses for vision-language models (VLMs) often learn to separate harmful from benign inputs, but separation alone does not establish what a risk score means or when it should be trusted. We introduce Counterfactual Neighborhood Risk Fields (CNRF), an evidence-grounded framework for selective VLM safety. CNRF constructs context-matched benign-harmful counterfactual pairs, uses their representation differences as capability-related risk directions, and estimates neighborhood support separately from risk. This separation prevents unfamiliarity from being conflated with harmfulness and enables selective intervention rather than blanket rejection. A victim-adaptive interface accommodates different safety observations across VLM architectures and routes selected requests for same-victim response review, which either releases acceptable candidates or produces constrained alternatives with reduced harmful capability. Across three VLMs and five multimodal jailbreak families, CNRF achieves 86.06-89.30% macro defense success rate while retaining substantial benign-task utility. Controlled experiments further show that query-matched references and preserved context-direction correspondence materially improve risk ranking in the low-false-positive regime. CNRF thus reframes representation-based VLM safety from learning harmfulness boundaries to constructing applicable evidence for selective risk decisions.

中文摘要

摘要：基于表示的视觉-语言模型（VLM）安全防护通常学习将有害输入与无害输入区分开，但仅仅区分并不能确定风险分数的含义，也不能确定何时应当信任该分数。我们引入了反事实邻域风险场（Counterfactual Neighborhood Risk Fields, CNRF），这是一个以证据为基础的选择性VLM安全框架。CNRF 构建了上下文匹配的无害-有害反事实对，利用其表示差异作为与能力相关的风险方向，并分别估计邻域支持与风险。这种分离防止了陌生性与有害性混淆，并能够实现选择性干预，而非完全拒绝。基于受害者的自适应界面能够适应不同VLM架构间的安全观察差异，并将选择的请求路由至相同受害者响应审核，该审核要么释放可接受候选项，要么生成具有降低有害能力的受限替代方案。在三种VLM和五类多模态越狱案例中，CNRF 达到 86.06%-89.30% 的宏观防护成功率，同时保留了大量无害任务的实用性。对照实验进一步表明，查询匹配的参考和保留上下文-方向对应关系，在低误报率情况下显著改善了风险排序。因此，CNRF 将基于表示的VLM安全从学习有害边界的方式，重新构建为为选择性风险决策提供适用证据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20679 (HTTP 429)

Authors: Tianshi Wang, Jingsong Wang, Fengling Li, Jingjing Li, Xin Li, Lei Zhu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20679.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20679

Published: 2026-10-18T01:31:19.649Z

7. IneqAgent: Agentic Inequality Proving in Lean with Symbolic Computation

Abstract:Formal inequality proving requires mathematical reasoning and exact computation, often connected through intermediate lemmas and goal reformulations. We introduce IneqAgent, an agentic framework combining LLM reasoning with symbolic computation for inequality proving in Lean4. Lemma-level Monte Carlo Tree Search coordinates lemma construction, goal reformulation, and symbolic backend selection. Complementary sum-of-squares, Bernstein, and successive difference-substitution backends produce exact certificates for local Lean proof generation. The agent integrates these proofs with LLM-generated steps and uses Lean feedback to construct complete proofs checked against the original theorem statements. On four benchmarks, IneqAgent with DeepSeek-V4-Flash solves 175 of 186 problems (94.09%), achieving the highest overall success rate among the evaluated methods. Across four backbones, it achieves higher success rates at low LLM inference cost thresholds than Direct Agent using the same backbone, with lower mean inference costs over each method’s successful runs. We also obtain Lean-verified strengthenings of Dittert’s conjecture in dimensions four and five, and certify the Holens—Djokovic $(4,4)$ inequality, implying Merris’s conjecture in dimension four.

中文摘要

摘要：形式不等式证明需要数学推理和精确计算，通常通过中间引理和目标重述相互关联。我们介绍了 IneqAgent，一种将大语言模型（LLM）推理与符号计算结合用于 Lean4 不等式证明的智能体框架。引理级蒙特卡洛树搜索协调引理构建、目标重述和符号后端选择。互补的平方和、伯恩斯坦和连续差分替代后端为本地 Lean 证明生成提供精确的证明证书。该智能体将这些证明与 LLM 生成的步骤整合，并利用 Lean 的反馈构建完整证明，验证其与原定理陈述的一致性。在四个基准测试中，使用 DeepSeek-V4-Flash 的 IneqAgent 解决了 186 个问题中的 175 个（94.09%），在评估的方法中达到了最高的整体成功率。在四个不同的基础模型中，其在低 LLM 推理成本阈值下的成功率高于使用相同基础模型的直接智能体（Direct Agent），并且在各方法成功运行的平均推理成本上更低。我们还获得了 Dittert 猜想在四维和五维下的 Lean 验证加强形式，并证明了 Holens—Djokovic 的 $(4,4)$ 不等式，这也意味着四维下的 Merris 猜想。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20681 (HTTP 429)

Authors: Gaolei He, Jinhui Li, Ruobing Zuo, Xia Zeng, Zhengfeng Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20681.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20681

Published: 2026-10-18T01:31:19.649Z

8. L2G-SR: Learning to Guide LLM-based Symbolic Regression

Abstract:Symbolic regression searches for an equation that explains observed data. Numerical error is commonly used to guide the search, but it alone can favor an accurate surrogate over a candidate with the right structure. We propose L2G-SR, a framework for LLM-based symbolic regression that guides search with a learned structural verifier. We construct structural supervision signal using tree edit distance (TED), accounting for commutative operators and alternative expression forms. A verifier first aligns numerical observations with the formulas, then learns to score a candidate’s structural similarity to the target formula. At search time, the target formula is hidden and the verifier complements numerical error in parent selection. An analyst then uses verifier feedback and diagnostic tools to propose revisions, which a generator converts into refined expressions. On LLM-SRBench, L2G-SR achieves state-of-the-art numerical fit, equation level accuracy and TED across the evaluated LLM backbones and domains. L2G-SR demonstrates the value of learned structural guidance for LLM-based symbolic regression.

中文摘要

摘要：符号回归用于寻找能够解释观测数据的方程。数值误差通常用于指导搜索，但仅依靠它可能会偏向选择一个准确的替代模型，而不是具有正确结构的候选模型。我们提出了L2G-SR，一种基于大语言模型（LLM）的符号回归框架，通过学习的结构验证器指导搜索。我们使用树编辑距离（TED）构建结构监督信号，同时考虑交换运算符和可替代的表达形式。验证器首先将数值观测与公式对齐，然后学习对候选公式与目标公式的结构相似性进行评分。在搜索阶段，目标公式被隐藏，验证器在父节点选择中补充数值误差。随后分析师使用验证器反馈和诊断工具提出修订建议，生成器将其转换为改进后的表达式。在LLM-SRBench测试中，L2G-SR在评估的LLM骨干模型和领域中实现了最先进的数值拟合、方程级准确性和TED表现。L2G-SR展示了学习结构指导在基于LLM的符号回归中的价值。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20685 (HTTP 429)

Authors: Letian Huang, Xiangyu Wang, Haowei Lin, Di He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20685.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20685

Published: 2026-10-18T01:31:19.649Z

9. When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

Abstract:This paper challenges the understanding capabilities of existing AI paradigms and emerging world models by asking a fundamental question: How quickly can reality change before an intelligent system can no longer reliably perceive, reason, and act? We formulate this as a theory- and model-agnostic challenge in which systems must infer reliable actions for increasingly distant future states across a growing observation—reality gap. We operationalize this challenge through the effective Speed of Coherent Cognition ((S_C^{\mathrm{eff}})), defined as the highest tested Speed of Reality ((S_R)) through which a system continuously satisfies a predefined behavioural reliability criterion from baseline. As a proof of concept, reinforcement-learning agents are trained at the baseline (S_R) and evaluated, without retraining, as (S_R) is increased by up to (50\times) while computational resources remain fixed. We compare Transformer and gated-MLP baselines with (Co^4), an architecture inspired by cellular mechanisms implicated in conscious processing and awake thought. Across the tested scenarios, (Co^4) achieves substantially higher (S_C^{\mathrm{eff}}) than the baselines, motivating (S_C^{\mathrm{eff}}) as a new benchmark and the scaling of coherent cognition as a principle for reliable AI.

中文摘要

摘要：本文通过提出一个根本性问题，挑战了现有人工智能范式和新兴世界模型的理解能力：在智能系统无法可靠感知、推理和行动之前，现实能多快发生变化？我们将此表述为一个理论和模型无关的挑战，系统必须在日益扩大的观察-现实差距中，推断出对越来越遥远的未来状态的可靠行动。我们通过有效相干认知速度（\（S_C^{\mathrm{eff}}\））来实现这一挑战，该速度定义为最高测试的现实速度（\（S_R\）），通过该标准，系统从基线起持续满足预设的行为可靠性标准。作为概念验证，强化学习代理在基线（S_R\）进行训练，并在计算资源保持不变的情况下，不进行再S_R训练，且该速度可增加至\（50\倍\）。我们将变换器和门控MLP基线与\（Co^4\）进行比较，后者基于涉及意识处理和清醒思维的细胞机制。在测试场景中，\（Co^4\）实现了显著高于基线的\（S_C^{\mathrm{eff}}），这激励了\（S_C^{\mathrm{eff}}\）作为新基准，并将连贯认知作为可靠人工智能的原则。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20764 (HTTP 429)

Authors: Ahsan Adeel, Talha Bin Riaz

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20764.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20764

Published: 2026-10-18T01:31:19.649Z

10. ARIA: Runtime Inspection and Amendment for Multi-Agent Systems

Abstract:In LLM-based multi-agent systems (MAS), a local mistake can propagate as other agents build on it, turning a correctable error into a failed task. Diagnosing completed runs or repeatedly re-executing them to search for corrections does not provide a learned policy for intervening while execution is still in progress. We present Agent Runtime Inspection and Amendment (ARIA), a framework for learning when and how to repair ongoing multi-agent executions. Our key intuition is to turn execution-verified repairs into reusable supervision, moving repair search into data construction and training so that a learned model can intervene at runtime without repeatedly testing alternatives. First, we collect over 24{,}000 successful and failed trajectories across four multi-agent frameworks, six benchmarks, and eight host models. From these trajectories, we construct the ARIA dataset, to our knowledge the first large-scale dataset pairing failed multi-agent trajectories with execution-verified repairs. It contains 3{,}953 verified repair pairs, each specifying what went wrong, where to intervene, and how execution should continue. Then, we develop the ARIA framework for MAS-agnostic runtime inspection and amendment, designed to integrate with any MAS that exposes execution trajectories and supports continuation replacement. Using verified repairs as training examples, we teach a compact model to recognize when intervention is needed and how to correct an ongoing run. The aim is to learn repair strategies that apply to related failures in new configurations, rather than merely reproduce individual corrections. Finally, the trained ARIA model demonstrates strong repair performance in both post-hoc and runtime settings, with generalization to unseen frameworks and host models. Our code is available at this https URL.

中文摘要

摘要：在基于大型语言模型（LLM）的多智能体系统（MAS）中，一个局部错误可能会随着其他智能体在其基础上操作而传播，将可纠正的错误变成失败的任务。诊断已完成的运行或反复重新执行它们以寻找修正方案，并不能提供在执行过程中干预的学习策略。我们提出了智能体运行时检查与修正（ARIA），这是一个学习何时以及如何修复正在进行的多智能体执行的框架。我们的核心直觉是将经过执行验证的修正确保为可复用的监督，将修正搜索转移到数据构建和训练中，以便学习模型可以在运行时进行干预，而不必反复测试替代方案。首先，我们在四个多智能体框架、六个基准测试和八个主模型中收集了超过24,000条成功和失败的轨迹数据。基于这些轨迹，我们构建了ARIA数据集，据我们所知，这是首个将失败的多智能体轨迹与执行验证修正配对的大规模数据集。它包含3,953对经过验证的修正，每对均说明了错误发生的原因、干预位置，以及执行应如何继续。然后，我们开发了适用于MAS的ARIA框架，用于运行时检查和修正，设计上可以与任何能够暴露执行轨迹且支持延续替换的MAS集成。利用经过验证的修正作为训练示例，我们训练了一个紧凑模型，以识别何时需要干预以及如何纠正正在进行的运行。其目标是学习适用于新配置中相关故障的修正策略，而不仅仅是复现个别修正。最后，训练好的ARIA模型在事后和运行时设置中均展示出强大的修复性能，并能够推广到未见过的框架和主模型。我们的代码可在此https链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20780 (HTTP 429)

Authors: Bolin Shen, Yushun Dong

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20780.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20780

Published: 2026-10-18T01:31:19.649Z

Evaluation Domain Papers

1. The World Won’t Wait: Evaluating and Teaching Agents Under a Live Clock

中文摘要

摘要：大型语言模型（LLM）代理可以解决复杂的交互任务，但推理和工具调用需要时间。在持续变化的环境中，即使是正确的动作也可能来得太迟。我们引入了 RealtimeBench，该基准包含六种游戏类型的 180 个任务，用于在推理过程中游戏继续运行时评估代理。配对评估显示，当游戏暂停时，GPT-6.1-sol 的表现优于更快的 Jev，但当游戏继续运行时却落后。我们提出了双时间尺度离线递归自我改进（TORSI）：一个慢速教师研究失败并在尝试间暂停的游戏中测试纠正措施，然后为快速学生编写可重用的指令。学生在游戏过程中无需调用教师，根据验证分数决定采用哪些更新。两轮迭代将 Jev 的平均测试分数从 13.51 提高到 24.19（在 0-100 的进度尺度上），提升了所有六种游戏类型的表现。这些指令也提升了其他三种模型的平均分数，无需重新调整。这些发现指向实时智能：通过跨时间尺度组织思考、学习和行动，使强大的 LLM 代理在持续变化的世界中保持有效。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20665 (HTTP 429)

Authors: Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20665.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20665

Published: 2026-10-18T01:31:39.835Z

2. Evaluating Model Capabilities After Benchmark Saturation

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20667 (HTTP 429)

Authors: Morio Hamada, Jehyeok Yeon, Matteo Migliarini, Justin Olive, Magda Dubois

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20667.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20667

Published: 2026-10-18T01:31:39.835Z

3. Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20669 (HTTP 429)

Authors: Jaehyeon Kim, Ziseok Lee, Siyoung Choi, Kyungsu Kim

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20669.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20669

Published: 2026-10-18T01:31:39.835Z

4. AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks

中文摘要

摘要：代理将推理模型与管理模型调用、执行工具、加载技能指令并在内存中保留历史记录的控制程序配对。理解代理的性能需要将执行条件与结果、行为和资源使用联系起来。我们介绍了 AlphaDiana，一种具有数据集、代理、环境和评分器模块化接口的测量系统。它保留了控制程序本地的控制循环，同时分别控制文件重用和内存保留。AlphaDiana 支持对完整代理的宏观分析，以及在匹配条件下对代理组件（如工具、技能和内存）的微观干预。我们研究了三个开源模型和三个开源控制程序在五个基于答案的基准测试中的表现，其中两个模型还在两个交互式基准测试中进行了测试。我们发现，控制程序并不总是能够提高推理的准确性：在模型单独无法解决的问题上的提升可能会被其不使用工具即可正确回答的问题上的损失所抵消。这种不一致性也延伸到组件干预：无论是技能指导还是保留的历史都不能可靠地提高准确性。行为和输出 token 的使用必须与正确性一起评估：低 token 熵可能伴随错误答案，而每次执行的输出较少可能意味着在准确性下降时每个正确答案的输出 token 反而更多。AlphaDiana 将答案正确性和执行状态与跟踪记录和资源记录联系起来，以便在共享任务和资源策略下比较代理并诊断失败原因。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20675 (HTTP 429)

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20675.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20675

Published: 2026-10-18T01:31:39.835Z

5. When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus

中文摘要

摘要：正确性反馈会抑制规格完整性审计旨在发现的证据：即满足书面契约但违反预期行为的程序。我们在12个Verus/Rust任务中展示了这种目标逆转，涵盖四类模型，在匹配调用预算下进行评估。与IntentShield的纠正反馈循环相比，独立的无反馈发现能够使认证证据产出增加一倍多（59.0%对比27.1%）。一个格式匹配的迭代控制表明，这一差距的大部分来源于反馈内容，而非独立重启。这种优势在每个模型族中都成立，并且在解析器修复后依然存在。一个独立的阶段分离执行能够在不重复使用响应的情况下匹配总产出；大多数认证证据也会在保留的案例中失败。保留这些证据能带来更强的规格修复：阶段修订的契约实现成功率为81.3%，而IS修订为62.5%，直接修订紧随其后。两种无反馈证据来源的表现都显著优于弱化契约。在现有的Dafny和Lean评估中，该效果未能复现，从而确立了所研究的Verus/Rust工作流的一个经验边界。完整性审计与正确性修复具有相反的直接目标。在修复之前，应保留并认证已发现的失败。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20676 (HTTP 429)

Authors: Adarsh Agrawal

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20676.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20676

Published: 2026-10-18T01:31:39.835Z

6. Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models

中文摘要

摘要：基于表示的视觉-语言模型（VLM）安全防护通常学习将有害输入与无害输入区分开，但仅仅区分并不能确定风险分数的含义，也不能确定何时应当信任该分数。我们引入了反事实邻域风险场（Counterfactual Neighborhood Risk Fields, CNRF），这是一个以证据为基础的选择性VLM安全框架。CNRF 构建上下文匹配的无害-有害反事实对，利用它们的表示差异作为与能力相关的风险方向，并将邻域支持与风险单独估计。这种分离防止了不熟悉性与有害性混为一谈，并能够进行选择性干预，而不是全面拒绝。受害者自适应界面能够适应不同VLM架构的不同安全观察，并将选择的请求路由至相同受害者响应审核，该审核要么释放可接受候选项，要么生成具有降低有害能力的受限替代方案。在三种VLM和五类多模态越狱案例中，CNRF 达到 86.06%-89.30% 的宏观防护成功率，同时保留了大量无害任务的实用性。对照实验进一步表明，查询匹配的参考和保留的上下文-方向对应性显著提高了低误报率下的风险排序。因此，CNRF 将基于表示的VLM安全从学习有害性边界重新框定为构建适用于选择性风险决策的证据。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20679 (HTTP 429)

Authors: Tianshi Wang, Jingsong Wang, Fengling Li, Jingjing Li, Xin Li, Lei Zhu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20679.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20679

Published: 2026-10-18T01:31:39.835Z

7. IneqAgent: Agentic Inequality Proving in Lean with Symbolic Computation

中文摘要

摘要：形式不等式证明需要数学推理和精确计算，通常通过中间引理和目标重述相互联系。我们介绍了 IneqAgent，一种将大语言模型（LLM）推理与符号计算结合用于 Lean4 不等式证明的智能框架。引理级蒙特卡罗树搜索（MCTS）协调引理构建、目标重述和符号后端选择。互补的平方和、伯恩斯坦和连续差分代换后端为本地 Lean 证明生成提供精确证书。该智能体将这些证明与 LLM 生成的步骤集成，并利用 Lean 反馈构建经原始定理陈述检验的完整证明。在四个基准测试中，使用 DeepSeek-V4-Flash 的 IneqAgent 解决了 186 个问题中的 175 个（94.09%），在评估的方法中取得了最高的总体成功率。在四个基础模型上，它在低 LLM 推理成本阈值下的成功率高于使用相同基础模型的直接智能体，并且每种方法成功运行的平均推理成本更低。我们还在四维和五维中获得了对 Dittert 猜想的 Lean 验证加强结果，并且验证了 Holens—Djokovic $(4,4)$ 不等式，这意味着四维中的 Merris 猜想成立。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20681 (HTTP 429)

Authors: Gaolei He, Jinhui Li, Ruobing Zuo, Xia Zeng, Zhengfeng Yang

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20681.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20681

Published: 2026-10-18T01:31:39.835Z

8. L2G-SR: Learning to Guide LLM-based Symbolic Regression

中文摘要

摘要：符号回归用于寻找能够解释观测数据的方程。数值误差通常用于指导搜索，但仅依靠它可能会偏向选择一个准确的替代模型，而不是具有正确结构的候选模型。我们提出了L2G-SR，一种基于大语言模型（LLM）的符号回归框架，通过学习的结构验证器指导搜索。我们使用树编辑距离（TED）构建结构监督信号，同时考虑交换运算符和可选的表达形式。验证器首先将数值观测与公式对齐，然后学习为候选公式评分，以反映其与目标公式的结构相似性。在搜索阶段，目标公式被隐藏，验证器在父代选择中补充数值误差。分析者随后使用验证器反馈和诊断工具提出修订建议，生成器将其转化为精炼的表达式。在LLM-SRBench基准测试中，L2G-SR在所评估的LLM骨干模型和领域中实现了最先进的数值拟合、方程级准确性和TED表现。L2G-SR展示了基于学习的结构指导在LLM符号回归中的价值。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20685 (HTTP 429)

Authors: Letian Huang, Xiangyu Wang, Haowei Lin, Di He

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20685.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20685

Published: 2026-10-18T01:31:39.835Z

9. When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

中文摘要

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20764 (HTTP 429)

Authors: Ahsan Adeel, Talha Bin Riaz

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20764.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20764

Published: 2026-10-18T01:31:39.835Z

10. ARIA: Runtime Inspection and Amendment for Multi-Agent Systems

中文摘要

摘要：在基于大型语言模型（LLM）的多智能体系统（MAS）中，一个局部错误可能会随着其他智能体在其基础上操作而传播，将可纠正的错误变成失败的任务。诊断已完成的运行或反复重新执行它们以寻找修正方案，并不能提供在执行过程中干预的学习策略。我们提出了智能体运行时检查与修正（ARIA），这是一个学习何时以及如何修复正在进行的多智能体执行的框架。我们的核心直觉是将经过执行验证的修正转化为可重用的监督，将修复搜索转移到数据构建和训练中，从而使学习模型能够在运行时进行干预，而无需反复测试备选方案。首先，我们收集了来自四个多智能体框架、六个基准和八个宿主模型的超过24,000条成功和失败的轨迹。基于这些轨迹，我们构建了ARIA数据集，据我们所知，这是首个将失败的多智能体轨迹与执行验证修正配对的大规模数据集。它包含3,953对经过验证的修正，每对均指定了出错内容、干预位置及执行应如何继续。接着，我们开发了适用于MAS的ARIA框架，用于运行时检查和修正，设计上可以与任何暴露执行轨迹并支持继续替换的MAS集成。使用经过验证的修正作为训练示例，我们教会紧凑模型识别何时需要干预以及如何纠正正在进行的运行。其目标是学习适用于新配置中相关失败的修复策略，而不仅仅是重复单个修正。最后，经过训练的ARIA模型在事后和运行时的修复表现均表现出较强能力，并能推广到未见过的框架和宿主模型。我们的代码可在此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20780 (HTTP 429)

Authors: Bolin Shen, Yushun Dong

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2610.20780.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20780

Published: 2026-10-18T01:31:39.835Z

VLM Domain Papers

1. BD-HazardVLM: Probing Vision-Language Models for Latent Defensive-Driving Hazards in Bangladesh Road Scenes

Abstract:Vision-language models are increasingly used for driving-scene understanding, yet their defensive reasoning under weakly structured Global South traffic remains unclear. We introduce BD-HazardVLM, a diagnostic benchmark of 500 Bangladesh road-scene images, comprising 375 from RSUD20K and 125 from TFP-BD, annotated for hazard presence, primary hazard category, risk timing, severity, defensive actions, visible evidence, and hallucination- and Western-road-bias traps. We evaluate Qwen2.5-VL-7B, InternVL3-8B, and MiniCPM-V-4.6 using a shared zero-shot task definition and structured output schema. Binary hazard-presence accuracy ranges from 88.0 percent to 89.2 percent, essentially matching the 89.0 percent majority-class baseline. Fine-grained reasoning is substantially weaker: category accuracy remains below 40 percent, risk-timing accuracy ranges from 1.6 percent to 12.4 percent, and exact defensive-action matching remains below 2 percent. Although InternVL3-8B achieves the highest severity accuracy at 61.2 percent, it has zero recall on the 58 high-severity cases. Qwen exhibits severe category mode collapse, while all models show weak latent-hazard anticipation and near-zero self-reported trap recognition. For the evaluated models, these findings show that coarse hazard recognition does not imply reliable fine-grained defensive-driving reasoning and motivate geographically diverse safety evaluation.

中文摘要

摘要：视觉-语言模型越来越多地用于驾驶场景理解，但它们在弱结构的全球南方交通环境下的防御性推理仍不清楚。我们介绍了BD-HazardVLM，这是一个包含500张孟加拉道路场景图像的诊断基准，其中375张来自RSUD20K，125张来自TFP-BD，并对危险存在情况、主要危险类别、风险时机、严重程度、防御动作、可见证据，以及幻觉和西方道路偏见陷阱进行了标注。我们使用共享的零样本任务定义和结构化输出模式评估了Qwen2.5-VL-7B、InternVL3-8B和MiniCPM-V-4.6。二元危险存在准确率在88.0%到89.2%之间，基本上与89.0%的多数类基线相当。精细推理明显较弱：类别准确率仍低于40%，风险时机准确率在1.6%到12.4%之间，精确防御动作匹配率仍低于2%。尽管InternVL3-8B在严重程度准确率上达到最高的61.2%，但在58个高严重性案例中召回率为零。Qwen表现出严重的类别模式崩溃，而所有模型在潜在危险预测和自我报告的陷阱识别上几乎为零。对于被评估的模型，这些发现表明，粗略的危险识别并不意味着可靠的精细防御驾驶推理，也促使我们进行地理多样化的安全评估。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20627 (HTTP 429)

Authors: Abdullah Al Maruf, Md. Sajedul Islam, Tanmoy Mridha, Irfan Hossain Bhuiyan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20627.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20627

Published: 2026-10-18T01:31:59.728Z

2. Towards automatic digital garment assembly

Abstract:Creating digital garments from existing two-dimensional patterns remains a time-consuming process. Although patterns are widely available in digital form, their assembly in garment CAD software involves manual definition of sewing operations and arrangement of the pattern panels for drape simulation. We present two learning-based approaches that automate both tasks using the 2D vector pattern as their sole input. Our automatic sewing model operates at the segment level, leveraging a Transformer encoder with multiple prediction heads. Our novel architecture supports many-to-many, ordered segment correspondences, as well as hems, overlapping seams needed for multilayer garments, and construction properties such as seam allowances and stitch types, required for the finished virtual garment but neglected by previous methods. A complementary panel-level model predicts body-region assignments, layers, and placement coordinates to initialize the drape simulation. We evaluate both models on a curated dataset of 4,035 professionally assembled garment instances. The sewing model exactly recovers all seam and hem topologies of 63.3\% of test garments, while the arrangement model meets the specified placement criteria for all panels in 66.2\% of test garments. We also integrate both methods into garment CAD software, demonstrating automatic assembly of successfully predicted garments.

中文摘要

摘要：从现有的二维图案创建数字服装仍然是一个耗时的过程。尽管图案在数字形式上广泛可用，但在服装CAD软件中组装它们需要手动定义缝纫操作和排列图案面板以进行悬垂模拟。我们提出了两种基于学习的方法，仅使用二维矢量图案作为输入即可自动完成这两个任务。我们的自动缝纫模型在段级别上运行，利用具有多个预测头的Transformer编码器。我们新颖的架构支持多对多、有序的段对应关系，以及多层服装所需的折边、重叠缝以及完成虚拟服装所需的构造属性，如缝边余量和缝线类型，而这些在以往方法中被忽略了。一个补充的面板级模型预测身体区域分配、层次及放置坐标，以初始化悬垂模拟。我们在一个精选的数据集上评估了两个模型，该数据集包含4,035件专业组装的服装实例。缝纫模型能准确恢复63.3%的测试服装的所有缝和折边拓扑结构，而排列模型在66.2%的测试服装中满足所有面板的指定放置标准。我们还将这两种方法集成到服装CAD软件中，展示了成功预测服装的自动组装。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20651 (HTTP 429)

Authors: Alejandro Rodriguez

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20651.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20651

Published: 2026-10-18T01:31:59.728Z

3. Orbia: Do Generated Videos Form a Consistent 3D World?

Abstract:Video generators serve as interactive worlds for exploration and simulation, yet realistic and visually appealing frames do not necessarily depict a consistent 3D world. Existing benchmarks assess selected geometric properties or use vision-language models to judge memory and consistency, leaving systematic 3D evaluation underexplored. We introduce Orbia, the first benchmark dedicated to a systematic and comprehensive evaluation of 3D consistency in interactive world models. Through controlled exploration and revisit, we organize the evaluation into three dimensions: input preservation, generated-content persistence, and 3D self-consistency. For input preservation, registered RGB-D references and annotated anchors support appearance, geometry, and spatial stability measurements. For generated-content persistence, we compare revisits to regions absent from the input image with their first generated observations to test whether models preserve what they create. For 3D self-consistency, cross-view depth and feature correspondence, regional scale agreement, and held-out Gaussian rendering test whether generated views describe the same 3D scene. Minute-long exploration and revisits further test long-term consistency. Our construction and annotation pipeline brings together public datasets, self-captured scenes, and simulation, yielding 720 instances across indoor and outdoor environments and six exploration-and-revisit protocols. Evaluation spans 27 text-, action-, and camera-conditioned models through native-interface adapters. Our Orbia benchmark provides a systematic basis for diagnosing 3D inconsistency and developing more persistent video world models.

中文摘要

摘要：视频生成器作为互动世界用于探索和模拟，但逼真且视觉上吸引人的帧并不一定描绘一致的三维世界。现有基准测试评估选定的几何属性或使用视觉-语言模型判断记忆和一致性，系统的三维评估尚未充分探讨。我们引入 Orbia，这是第一个专注于互动世界模型中三维一致性系统且全面评估的基准。通过受控探索和重访，我们将评估组织为三个维度：输入保持、生成内容的持久性和三维自一致性。在输入保持方面，注册的 RGB-D 参考和标注的锚点支持外观、几何和空间稳定性测量。在生成内容的持久性方面，我们将重访输入图像中不存在的区域与首次生成的观察进行比较，以测试模型是否能保留其创建的内容。在三维自一致性方面，跨视图深度与特征对应、区域尺度一致性以及保留的高斯渲染测试生成的视图是否描述相同的三维场景。分钟级别的探索和重访进一步测试长期一致性。我们的构建和标注管线整合了公共数据集、自行采集的场景和模拟，产生720个实例，涵盖室内和室外环境以及六种探索-重访协议。评估涵盖27个文本、动作及摄像机条件下的模型，通过原生接口适配器进行。我们的 Orbia 基准为诊断三维不一致性和开发更持久的视频世界模型提供了系统基础。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20693 (HTTP 429)

Authors: Dongyue Lu, Guian Fang, Hur Lim, Yonggang Wu, Yanrong Wang, Hongshan Chen, Shengju Qian, Yue Liao, Wei Chow, Lingdong Kong, Tianxin Huang, Yu Yang, Hongji Yang, Junchao Huang, Ao Liang, Yihao Wang, Zihan Wang, Rong Li, Hanlin Chen, Xin Wang, Wei Tsang Ooi, Mike Zheng Shou, Shuicheng Yan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20693.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20693

Published: 2026-10-18T01:31:59.728Z

4. WorldCast: Exploring Intelligent Visual Generation in World State Prediction

Abstract:Humans interpret multimodal observations of the world and forecast how it will evolve. Recent multimodal generative systems have demonstrated similar capabilities: they can integrate multimodal context and synthesize visual outputs that depict changes in the world. To characterize this emerging trajectory, we organize model capabilities into a four-level hierarchy and discover that higher-level tasks remain relatively underexplored despite model progress. To bridge this gap, we explore model performance on multi-step world state prediction, a high-level task that requires models to forecast successive future world states from multimodal observations and diverse references. Such a task requires models to possess entangled understanding and generation capabilities, as well as extensive world knowledge to translate human action sequences, physical transformations, and abstract visual reasoning into coherent visual outputs. We introduce WorldCast, a benchmark comprising 320 manually designed cases across eight categories, and evaluate 12 representative models. The conducted experiments yield three key insights: (a) advances in frontier models are rapidly pushing the boundaries of intelligent world modeling, with the GPT-Image-2.5 System scoring 72.8 and demonstrating early-stage visual state prediction capabilities on real-world tasks; (b) WorldCast reveals substantial gaps between models: even Nano Banana Pro reaches only 42.8 and the best open-source model scores 20.1, with deficits in handling complex context, entangled references, and reasoning-heavy tasks; (c) strong generative models effectively draw on the capabilities of their underlying language models. These findings highlight the need for multimodal generative models that are capable of dynamic planning and reasoning while also being deeply unified to faithfully simulate real-world states.

中文摘要

摘要：人类能够解释对世界的多模态观察并预测其演变。近期的多模态生成系统展示了类似的能力：它们可以整合多模态上下文并生成描绘世界变化的视觉输出。为了刻画这一新兴趋势，我们将模型能力组织为四级层次，并发现尽管模型取得了进展，高级任务仍相对未被充分探索。为弥补这一空白，我们研究了模型在多步世界状态预测中的表现，这是一项高阶任务，要求模型根据多模态观察和多样化参照预测连续的未来世界状态。这类任务要求模型具备交织的理解与生成能力，以及将人类动作序列、物理变化和抽象视觉推理转化为连贯视觉输出的广泛世界知识。我们引入了WorldCast，一个包含八大类共320个手动设计案例的基准，并评估了12个代表性模型。所开展的实验得出了三个关键见解：(a)前沿模型的进展正在迅速推动智能世界建模的边界，GPT-Image-2.5系统得分为72.8，并展示了在真实世界任务中早期视觉状态预测的能力；(b)WorldCast揭示了模型之间存在显著差距：即使是Nano Banana Pro也仅达到42.8，最佳开源模型得分为20.1，在处理复杂上下文、交织参照和需要推理的任务上存在不足；(c)强大的生成模型能够有效利用其底层语言模型的能力。这些发现凸显了对能够进行动态规划与推理、并能深度统一以忠实模拟真实世界状态的多模态生成模型的需求。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20731 (HTTP 429)

Authors: Wenhao Yan, Haodong Li, Xiaotong Li, Yaxin Luo, Zhengrong Yue, Jialv Zou, Xu Huang, Haojin Yang, Nan Jia, Yan Feng, Peng Pei, Xunliang Cai

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20731.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20731

Published: 2026-10-18T01:31:59.728Z

5. Purify Before You Align: Improving Representation Alignment for Diffusion Models

Abstract:Representation alignment improves and accelerates diffusion training by encouraging intermediate features to match a pretrained visual encoder. However, standard alignment matches pretrained representations without distinguishing what information may be more useful for generation. We introduce local appearance purification (LAP), which improves generation quality and makes encoders such as MAE more effective alignment targets by removing locally predictable content and aligning to the residual. LAP modifies only the alignment target, and requires no changes to diffusion training or inference. Through controlled interventions within a fixed encoder, we show that effective alignment depends on what information the target emphasizes, not simply how much image information it contains. Our theory gives a variational interpretation of standard alignment and, for fixed local predictors, a sum of token-wise information bounds conditioned on local appearance. To understand why purification benefits some encoders more than others, we derive an exact constant-readout test that measures how well the target can be matched without using the diffusion model’s hidden state. LAP improves generation quality across five pretrained representations (MAE, AIMv2, CLIP, DINOv2, DINOv3), with the largest gain for MAE: on ImageNet-256 with SiT-B/2, it reduces FID from $53.1$ to $42.3$. Its gains persist with stronger alignment recipes and tokenizers. Computed before diffusion training, the constant-readout score predicts the benefit of purification (Spearman $\rho=0.94$ across 13 encoders).

中文摘要

摘要：表示对齐通过鼓励中间特征与预训练视觉编码器匹配，从而改进并加速扩散训练。然而，标准对齐在匹配预训练表示时，并未区分哪些信息对生成更有用。我们引入了局部外观净化（LAP），通过去除局部可预测内容并与残差对齐，提高了生成质量，并使 MAE 等编码器成为更有效的对齐目标。LAP 仅修改对齐目标，无需更改扩散训练或推理。在固定编码器内通过控制干预，我们展示了有效的对齐取决于目标强调了哪些信息，而不仅仅是它包含了多少图像信息。我们的理论为标准对齐提供了变分解释，并针对固定的局部预测器，给出基于局部外观条件的逐令牌信息上界之和。为了理解为何净化对某些编码器的收益更大，我们推导了一个精确的恒定读出测试，用于测量在不使用扩散模型隐藏状态的情况下目标能匹配得多好。LAP 在五种预训练表示（MAE、AIMv2、CLIP、DINOv2、DINOv3）上提高了生成质量，其中对 MAE 收益最大：在 ImageNet-256 上使用 SiT-B/2，将 FID 从 $53.1$ 降至 $42.3$。在更强的对齐方法和令牌化工具下，其收益依然保持。在扩散训练前计算的恒定读出分数可以预测净化的好处（在 13 个编码器中 Spearman $
ho=0.94$）。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20761 (HTTP 429)

Authors: Yingheng Wang, Yaoqiang Li, Yaqin Wu, Junwen Bai, Jiatao Gu, Christopher De Sa, Volodymyr Kuleshov

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20761.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20761

Published: 2026-10-18T01:31:59.728Z

6. ReasonUni: Reasoning-Augmented Reconstruction Advances Unified Multimodal Models

Abstract:Image-to-text (I2T) understanding and text-to-image (T2I) generation are dual tasks in unified multimodal models (UMMs). Reconstructive post-training couples these tasks, but existing reconstruction-based methods remain perception-centric and provide limited supervision for reasoning about structure, intent, and transformation. We propose ReasonUni, a reasoning-augmented reconstructive post-training framework that extends this coupling beyond perception. Given an original image and an editing instruction, the UMM first reasons about what and how to edit and describes the target state, then generates the corresponding target image conditioned on this understanding output. To jointly optimize both modules, we introduce TreeGRPO, a tree-structured reinforcement learning method that samples multiple reasoning paths and candidate images per path, then aggregates visual rewards to update both modules under a unified objective. Experiments across multiple benchmarks demonstrate consistent gains in both understanding and generation, showing that reasoning-augmented reconstruction yields genuine mutual gains for UMMs.

中文摘要

摘要：图像到文本（I2T）理解和文本到图像（T2I）生成是统一多模态模型（UMMs）中的双重任务。重建式后训练将这两种任务结合起来，但现有基于重建的方法仍以感知为中心，并且在关于结构、意图和转换的推理监督上有限。我们提出了ReasonUni，一种增强推理的重建式后训练框架，将这种结合扩展到感知之外。给定原始图像和编辑指令，UMM首先推理需要编辑的内容和方式，并描述目标状态，然后生成基于该理解输出的对应目标图像。为了联合优化两个模块，我们引入了TreeGRPO，一种树结构强化学习方法，它对每条推理路径抽样多个候选图像，然后汇总视觉奖励以在统一目标下更新两个模块。在多个基准上的实验表明，在理解和生成方面均取得了持续提升，显示增强推理的重建能够为UMMs带来真正的相互增益。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20781 (HTTP 429)

Authors: Feize Wu, Zhiyuan Yan, Yuhuan Hong, Yuwei Niu, Zongjian Li, Zheyuan Liu, Bin Lin, Jinbo Yan, Jie Qin, Xudong Mao, Limeng Qiao, Guanglu Wan, Li Yuan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20781.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20781

Published: 2026-10-18T01:31:59.728Z

7. Blame Errant Words, Not the Canvas: Defect-Aware Spatial Credit Assignment for Visual Text Generation

Abstract:Recent reinforcement learning approaches have improved visual text generation, yet generated images still suffer from incorrect wording and malformed glyphs. We identify two coupled limitations: recognition-based rewards often overlook visible glyph defects, while whole-image scalar feedback obscures the uneven quality of individual text regions. These limitations motivate our central principle: $\textit{Blame errant words, not the canvas}$, to effectively preserve local quality distinctions. First, we introduce $\mathbf{TextDART}$, a defect-aware region-targeted reward model that localizes individual text regions and independently evaluates their semantic correctness and glyph quality, providing fine-grained, region-precise feedback. Building on TextDART, we propose $\mathbf{SCANNER}$, which turns these regional judgments into spatially differentiated policy feedback. It normalizes rewards for each text target across sampled images and casts the resulting regional advantages onto the corresponding latent tokens. Extensive experiments on existing benchmarks and our newly established $\textbf{PolyText-Bench}$ demonstrate that our approach achieves state-of-the-art performance in text accuracy and glyph fidelity. Project page: this https URL

中文摘要

摘要：近期强化学习方法改进了视觉文本生成，但生成图像仍存在措辞错误和字形畸形的问题。我们识别出两个共同局限：基于识别的奖励常忽略可见的字形缺陷，而全图标量反馈则掩盖了单个文本区域质量的不均。这些限制促使我们的核心原则：$\textit{归咎于错误词汇，而非画布}$，以有效保持局部质量差异。首先，我们引入$\mathbf{TextDART}$，一种针对缺陷的区域奖励模型，定位单个文本区域并独立评估其语义正确性和字形质量，提供细粒度、区域精确的反馈。基于TextDART，我们提出了$\mathbf{SCANNER}$，将这些区域判断转化为空间差异化的政策反馈。它对采样图像中每个文本目标的奖励进行规范化，并将由此产生的区域优势投射到相应的潜在代币上。对现有基准测试和我们新建立的 $\textbf{PolyText-Bench}$ 的广泛实验表明，我们的方法在文本准确性和字形忠实度方面实现了最先进的性能。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20794 (HTTP 429)

Authors: Sujie Hu, Huaisong Zhang, Pujing Yang, Qian Wang, Xiaomin Li, Xinhang Leng, Chen Li, Jing Lyu, Xiu Li, Ling Pan

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20794.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20794

Published: 2026-10-18T01:31:59.728Z

8. RIGen: Beyond Action Following with Reciprocal Interaction in Generative Gameplay

Abstract:Generative gameplay requires more than immediate responses to player this http URL should have persistent consequences, while the generated world should act according to its own state and rules, shaping the player’s situation and subsequent choices. Video generation captures local dynamics, but limited history, partially observed game state, and the need for contextual behavior decisions make such interactions difficult to sustain through audiovisual prediction alone. We introduce \rig (Reciprocally Interactive Generation), a framework for reciprocal interaction in generative gameplay. \rig combines persistent state and configurable rules, contextual interaction reasoning, and action-conditioned audiovisual generation. Together, these components make interaction consequences and actor behavior jointly determine generated content while maintaining consistency between game state and visible outcomes. We construct a Xonotic gameplay dataset to train an audiovisual generator for learning dynamics and interactions. Further post-training enables \rigarena, an interactive generative first-person shooter (FPS) prototype. Experiments demonstrate more reliable combat outcomes and reciprocal interaction between the player and the generated world. Project page: this https URL.

中文摘要

摘要：生成性游戏玩法不仅需要对玩家的即时反应，这个 URL 应具有持久的后果，同时生成的世界应根据自身状态和规则行事，塑造玩家的处境及其后续选择。视频生成可以捕捉局部动态，但有限的历史、部分观察到的游戏状态以及需要上下文行为决策，使得单靠视听预测难以维持此类互动。我们引入了 \rig（Reciprocally Interactive Generation，互惠交互生成），这是一个用于生成性游戏玩法中互惠互动的框架。\rig 结合了持久状态与可配置规则、上下文交互推理以及动作条件视听生成。这些组件共同使交互的后果和行为者的行为共同决定生成内容，同时保持游戏状态与可见结果之间的一致性。我们构建了一个 Xonotic 游戏玩法数据集，以训练一个用于学习动态和交互的视听生成器。进一步的后训练使得 \rigarena 成为一个互动生成的第一人称射击（FPS）原型。实验表明玩家与生成世界之间的战斗结果更可靠，并且交互是互惠的。项目页面：这个 URL。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决生成式游戏玩法（generative gameplay）中\*\*双向交互（reciprocal interaction）\*\*的可持续实现问题。现有基于视频生成的世界模型虽能捕捉局部动态并响应玩家控制，但仅依靠视听预测难以支撑具有以下特征的复杂游戏交互： - \*\*动作需产生持久后果\*\*：玩家行为应改变世界中对象与角色的持久状态； - \*\*世界需依自身逻辑反作用于玩家\*\*：场景规则、角色目标与当前状态应自主决定世界行为，进而约束玩家后续选择与生存状态。具体而言，论文指出当前方法面临三项核心挑战： 1. \*\*协调双向交互（Coordinating reciprocal interaction）\*\* 响应玩家输入本身无法决定世界如何对玩家采取行动。角色必须依据当前情境与战略目标自主规划行为（例如低血量时撤退），且交互后果需实时更新玩家状态（如生命值、弹药量）并限制后续可执行动作。 2. \*\*有限历史（Limited history）\*\* 视频模型的上下文窗口有限，而超出窗口的早期事件仍可能对当前交互产生持久影响。例如，在持续战斗中，累积伤害必须决定下一次攻击是否致命，即使先前攻击已不在视听上下文中。 3. \*\*部分可观察状态（Partially observed state）\*\* 生命值、弹药量等关键游戏变量往往无法直接从可见场景中恢复，但这些变量决定了动作是否可执行及其应产生的结果。为应对上述挑战，论文提出 \*\*RIGen\*\*（Reciprocally Interactive Generation）框架，通过耦合以下三个层次形成闭环： - \*\*状态与规则层\*\*：维护持久游戏变量（如血量、弹药、策略模式）与可配置转移规则； - \*\*交互推理层\*\*：基于场景与玩家动作推断事件后果，并规划角色自适应行为； - \*\*音视频生成层\*\*：在玩家控制与交互指导下实现局部动态与视听反馈。由此，玩家动作改变持久世界状态，世界依据状态与规则自主决策并反向影响玩家，从而在生成式游戏中实现状态依赖的后果、角色行为与视听表现的一致性。 Q2: 有哪些相关研究？论文在第2节"Related Work"及相关段落中，将现有研究归纳为三个主要方向： ### 1. 视频生成与交互世界（Video Generation and Interactive Worlds）该方向关注从视频/视听基础模型到可玩游戏环境的演进： - \*\*基础模型\*\*：如 HunyuanVideo、Wan、MM-Diffusion、Movie Gen、LTX-2、OmniForcing 等，为外观与动态提供先验。 - \*\*可控视觉模拟到生成式游戏\*\*：早期 Playable Video Generation/Environments（Kim et al., 2020; Menapace et al., 2021, 2022）发展为生成式交互环境，包括 Genie（Bruce et al., 2024）、GameNGen（Valevski et al., 2025）、DIAMOND（Alonso et al., 2024）、Oasis（Decart et al., 2024）、WHAM/Muse（Kanervisto et al., 2025）、MineWorld（Guo et al., 2025）等。 - \*\*交互式内容创作\*\*：GameGen-X（Che et al., 2025）、GameFactory（Yu et al., 2025）、Hunyuan-GameCraft（Li et al., 2025b）等探索开放世界游戏视频生成。 - \*\*场景扩展与流式控制\*\*：SCOPE（Tong et al., 2026）、LingBot-World（Robbyant Team et al., 2026）、SANA-WM（Zhu et al., 2026a）、SolarWM（Huang et al., 2026a）等扩大场景覆盖并支持流式控制。 - \*\*多人/音视频交互\*\*：Multiplayer Interactive World Models（Hu et al., 2026）、EchoWM（Zhang et al., 2026）加入多人或全模态交互。 - \*\*长程一致性记忆\*\*：WorldMem（Xiao et al., 2025）、Infinite-World（Wu et al., 2026）、WorldPlay（Sun et al., 2025）、Matrix-Game 3.0（Wang et al., 2026b）、AlayaWorld（AlayaWorld Team et al., 2026）等通过记忆机制延长一致性。 \*\*与RIGen的区别\*\*：上述工作主要关注局部动态、导航控制或长程一致性，尚未充分解决"世界依自身状态与规则反作用于玩家"这一双向交互问题。 ### 2. 角色控制与语义交互（Actor Control and Semantic Interaction）该方向关注在生成环境中引入可控角色与世界事件： - \*\*反应式对手与语言引导控制\*\*：COMBAT（Agarwal et al., 2026）、ReactiveGWM（Wang et al., 2026a）、ShadowDancer（Cao et al., 2026）、HelloWorld（Ouyang et al., 2026）、Hunyuan-GameCraft-2（Tang et al., 2025）等扩展了玩家驱动的生成与社交互动角色。 - \*\*LingBot-World 2.0\*\*（Gao et al., 2026）：使用 pilot 与 director agents 进行角色控制和场景事件调度。 - \*\*Incantation\*\*（Zhu et al., 2026b）：在生成后追踪伤害，将命中/未命中与死亡响应留给视频模型处理，存在快节奏战斗中死亡响应延迟的风险。 - \*\*EchoWM\*\*（Zhang et al., 2026）：支持开放式全模态世界模型。 \*\*与RIGen的区别\*\*：这些系统提供了角色控制或语义事件指导，但缺乏与可执行游戏规则的紧密耦合——即行为规划、状态更新与视觉反馈的闭环 reconciliation。 ### 3. 显式状态与生成式渲染（Explicit State and Generative Rendering）该方向尝试将结构化状态或游戏逻辑与生成式渲染结合： - \*\*状态+生成渲染\*\*：Unbounded（Li et al., 2025a）、AnimeGamer（Cheng et al., 2025）、Model as a Game（Chen et al., 2025）、WildWorld（Li et al., 2026）、StatePlay（Lin et al., 2026b）、MASS（Cai et al., 2026）等将显式状态或逻辑嵌入生成流程。 - \*\*基于规划的视频生成\*\*：VideoDirectorGPT（Lin et al., 2024）、LLM-grounded Video Diffusion（Lian et al., 2024）在合成前组织内容。 - \*\*几何渲染接口\*\*：Generative World Renderer（Huang et al., 2026c; Lin et al., 2026a）、Marionette（Meng et al., 2026）提供显式空间控制。 - \*\*Programmable World Model\*\*（Huang et al., 2026b）：将状态增强的3D边界框编译为渲染控制。 - \*\*Code World Model\*\*（Chen et al., 2026）：将可执行状态编译为代理视频（proxy videos）。 - \*\*PixVerse Game Engine\*\*（PixVerse Research, 2026）：在概念层面描述了游戏机制、智能体编排与生成式表达的分离。 \*\*与RIGen的区别\*\*：这些系统或通过显式空间轨迹、或通过代理视频/3D表示来桥接状态与生成；而RIGen选择通过\*\*玩家动作\*\*与\*\*局部交互指导\*\*直接连接游戏状态与视听生成，无需构造显式空间轨迹，并强调交互后果、角色行为与视听反馈的实时闭环对齐。 Q3: 论文如何解决这个问题？论文通过 \*\*RIGen（Reciprocally Interactive Generation）\*\* 框架解决生成式游戏中的双向交互问题。该框架将持久状态管理、交互推理与动作条件化的音视频生成耦合为闭环系统，使玩家动作能够改变持久世界状态，同时世界依据自身逻辑与角色目标反向影响玩家。核心解决方案可分为以下层面： ### 1. 三层耦合架构 RIGen 由三个紧密协作的层次构成（图 2、图 3）： - \*\*状态与规则引擎（State and Rule Engine）\*\*：维护持久的游戏变量（玩家/敌人生命值、弹药量、生死状态、对手策略模式等），并基于可配置规则执行状态转移； - \*\*交互代理（Interaction Agent）\*\*：解析场景与玩家输入，推断动作后果，规划角色自适应行为，并对齐生成视频与状态； - \*\*音视频生成器（Audiovisual Generator）\*\*：在玩家控制与交互指导下建模局部视听动态，并将生成结果作为观测反馈给上层。 ### 2. 持久状态与可执行规则区别于纯视觉推理，RIGen 将游戏玩法显式建模为事件驱动的状态机。引擎维护数值化状态 s ，并根据交互事件记录 e 按规则计算后继状态：

s’ = Rules(s, e)
例如，射击需满足”玩家存活且弹药充足”的前提，命中后按配置伤害扣减目标生命值，生命值为零时触发死亡；若对手低血量幸存，规则可将其策略从”交战”切换为”撤退”，进而约束下一时刻的交互选择。 ### 3. 交互推理：先验后果预测与视觉校正在生成第 k 个音视频块 ok 之前，系统先执行**验证与状态校正（reconciliation）**，再**预测当前后果**，而非事后补救： 1. **后验校正**：基于上一块的采样验证帧 I(k-1) 、玩家控制 u(k-1) 与局部指导 p(k-1) ，验证实际生成的视觉结果，并修正计划状态：

f(k-1) = Verify(I(k-1), u(k-1), p(k-1)), quad sk = Correct(s_k^(plan), f(k-1))

**先验推理**：利用校正后的状态 sk 、当前玩家控制 u_k 与反馈 f(k-1) ，交互代理提出当前块的事件 ek 与行为 b_k ：
(e_k, b_k) = Agent(o(k-1), sk, u_k, f(k-1))
**规则预演**：引擎计算临时后继状态与局部指导，但不立即覆盖 sk ：
s(k+1)^(plan) = Rules(sk, e_k), quad p_k = Prompt(s(k+1)^(plan), ek, b_k)
生成完成后，系统再次核对 o_k 中的实际观测，将视觉证据优先于冲突预测，从而确定下一决策的真实状态 s(k+1) 。 ### 4. 动作条件化与块级指导的音视频生成生成器 G_θ 基于 LTX-2.3 构建，采用耦合的视频-音频 Transformer 流： - **动作条件**：连续移动/视角控制通过 FiLM 层调制视频特征；离散按钮（射击、跳跃等）通过因果交叉注意力注入； - **块级提示路由（Chunk-wise Prompt Routing）**：全局提示 g 描述场景与角色身份，局部指导 p_k 描述当前块的行为与可观测后果，二者组成文本条件 c_k = (g, p_k) 。每个生成块仅关注自身对应的局部指导，历史块保留其原始条件； - **自回归生成**：给定视听上下文 H_k （首帧锚点、角色参考、近期生成块）与玩家动作 u_k ，生成下一块：

ok sim Gθ(H_k, u_k, c_k)
上下文采用滑动窗口维护，保证持续生成长序列时历史有界。 ### 5. 面向交互的数据集与训练策略为支撑上述能力，论文构建了 **Xonotic Interaction Dataset**，包含三个互补子集： - **Basic Dynamics**：玩家控制与局部动态； - **Interaction**：受控的交火、命中/未命中/击杀结果与角色行为标注； - **Arena**：持续的一对一战斗，支持长期交互。训练分为阶段化适配： - **双向预训练**：先学习跟随玩家控制与块级语义指导； - **自回归适配**：在滑动窗口上进行因果下一块预测训练； - **蒸馏加速**：采用 Causal-rCM 两阶段蒸馏（一致性蒸馏 + 分布匹配），实现少步数生成； - **后训练**：在 Arena 数据上进一步微调，得到可交互原型 **RIGen-Arena**； - **视频细化**：训练域 LoRA 恢复高频动态细节，提升视觉保真度。 ### 6. 闭环的双向交互效果综合以上设计，RIGen 实现了以下双向因果链： - **玩家 to 世界**：玩家射击消耗弹药，命中依据规则扣减敌人生命，致死则改变敌人状态并终止其行动能力； - **世界 to 玩家**：敌人依据自身血量与策略模式（如低血量撤退）自主规划行为；敌人攻击命中依据规则扣减玩家生命，玩家生命归零则进入战败状态，丧失行动能力并触发相应的视听与游戏逻辑反馈。由此，交互后果与角色行为共同决定生成内容，且游戏状态与视觉结果保持显式一致。 Q4: 论文做了哪些实验？论文在第6节及附录中开展了**定量对比**、**消融分析**、**定性评估**与**系统原型验证**四类实验，全面检验交互结果可靠性、状态依赖行为与视听生成质量。 —- ### 1. 定量评估（Quantitative Evaluation） #### 实验设置 - **测试数据**：100个 Xonotic 战斗场景（50个要求敌人最终**存活**，50个要求最终**死亡**）。测试地图与敌人外观均排除在所有训练子集之外。 - **受控条件**：敌方运动由源标注预先指定，而非在线行为选择，从而将对比焦点置于“战斗结果实现”与“运动遵循度”上。 - **交互代理**：使用 InternVL3-8B 进行事件推理与视觉状态校正。 #### 对比基线与消融变体 | 类型 | 方法/变体 | 说明 | |:—-|:—-|:—-| | 外部基线 | SCOPE (Tong et al., 2026) | 可玩 FPS 世界模型 | | 外部基线 | LingBot-World 2.0 (Gao et al., 2026) | 支持语义交互的开放世界模型 | | 消融 | Motion guidance only | 仅保留玩家输入与源运动，移除交互指导与在线代理 | | 消融 | Semantic prompting | 代理以文本形式维护状态与规则，无可执行规则引擎，无独立验证校正 | | 消融 | Post-hoc event updates | 交互推理与状态更新移至生成**之后**，仅指导下一块 | | 消融 | Without reconciliation | 保留生成前预测与可执行状态更新，但禁用生成后的视觉校正 | | 参考对照 | RIGen (w/ Reference guidance) | 离线冻结基于源标注的参考事件指导，移除在线代理调用 | #### 评估指标 - **Enemy Behavior (EB)**：敌人在指定时间窗口内是否遵循预定方向运动（由 Qwen3.8-27B 离线评判）。 - **Final-state Agreement (FSA)**：最终可见敌人状态与预设目标（存活/死亡）的一致性。细分为： - FSA-S：50个生存目标中敌人最终可见存活的比率； - FSA-D：50个死亡目标中敌人最终可见死亡的比率。 - **视觉与动态指标**（VBench 维度）：Motion Smoothness (MS)、Aesthetic Quality (AQ)、Subject Consistency (SC)、Background Consistency (BC)、Dynamic Degree (DD)。 #### 主要结果 - **交互结果可靠性**：RIGen 的 FSA 达到 **81%**，显著高于 LingBot-World 2.0 的 29% 与 SCOPE 的 4%。 - **消融分析支撑设计选择**： - Motion guidance only：FSA 降至 39%，说明仅有运动指导无法保证战斗结果； - Semantic prompting：FSA 降至 35%，表明文本状态管理不如可执行规则引擎可靠； - Post-hoc event updates：FSA 降至 64%，验证了“当前块生成前即预测后果”的必要性； - Without reconciliation：FSA 降至 76%，说明视觉反馈校正状态对长期一致性仍有贡献； - RIGen (w/ Reference guidance)：作为特权离线控制，FSA 达到 89%，接近上限。 - **视觉质量**：各变体的 MS、SC、BC 均保持高位且差异很小，表明交互机制改进不损害视听保真度；AQ 略低于 LingBot-World 2.0，推测与训练数据规模较小有关。 —- ### 2. 定性评估（Qualitative Evaluation） #### (a) 战斗响应对比（图 6）在相同初始图像与射击请求下，对比 RIGen、SCOPE 与 LingBot-World 2.0 的可见战斗反馈： - **SCOPE 与 LingBot-World 2.0**：尽管接收了预设结果作为文本指导，敌人在连续射击后仍保持直立或活跃状态，未正确呈现受击、倒地与死亡。 - **RIGen**：依次生成受击反应（hit reaction）、倒地（falling）与持续倒地状态（sustained downed state），实现了与预设目标一致的战斗后果。 #### (b) 状态依赖交互分支（图 7）从同一起始场景出发，在相同玩家输入请求下，改变初始游戏状态，验证世界状态的因果影响： - **Reference**：敌人血量 200，弹药充足，策略为“固守”； - **Low Health**：敌人血量降至 50，射击后敌人直接倒地死亡； - **Low Ammo**：玩家弹药仅余 2 发，第三发射击被抑制（无射击动作）； - **Injured / Strategy Switch**：敌人受伤后策略由“固守”切换为“撤退”，表现为向左移动并在掩体后蹲下。这些分支直观展示了显式状态与策略规则如何塑造可见的游戏行为与生存结果。 —- ### 3. 交互原型验证：RIGen-Arena（图 5）论文构建了可交互的一对一 FPS 原型 **RIGen-Arena**，验证持续闭环游玩中的双向交互： - **对手被击败**：敌人生命值归零后进入死亡状态； - **重生与搜寻**：按规则重生后，敌人自主搜寻玩家； - **玩家被击败**：敌人攻击命中导致玩家生命归零，进入战败状态，HUD 同步更新。该原型将少步数音视频生成、状态与规则引擎、交互代理整合为完整系统，支持在持久游戏规则下的连续游玩。 —- ### 4. 附录中的补充实验细节附录进一步提供了支撑主实验的实现与评估细节： - **训练与蒸馏协议**：包括双向适配、自回归滑动窗口训练、Causal-rCM 两阶段蒸馏（一致性蒸馏 + 分布匹配）及视频细化器的训练目标； - **数据集构建**：Basic Dynamics、Interaction（短/长序列）、Arena 三个子集的采集路线、对齐方式、标注流程与质控标准； - **运行时性能**：在单张 NVIDIA GB300 上，RIGen（含细化）在线交互模式约为 3.93 FPS，离线重放模式约为 4.41 FPS（均低于实时播放目标 20 FPS，说明实时性仍是未来改进方向）。 Q5: 有什么可以进一步探索的点？基于论文第7节（Conclusion）中”Limitations and future work”的明确阐述，以及全文技术框架所隐含的扩展空间，可从以下几个方向进一步探索： ### 1. 实时推理与生成加速当前 RIGen-Arena 的在线交互模式在单张 NVIDIA GB300 上的生成吞吐量为 **3.93 FPS**（附录表 5），尚低于实时播放所需的 20 FPS。未来的关键工作包括： - 压缩交互代理（VLM）的推理延迟； - 进一步减少生成器去噪步数或采用更激进的蒸馏策略； - 优化滑动窗口历史缓存与键值复用机制，降低自回归生成的计算开销。 ### 2. 从单对手 FPS 扩展到多实体与复杂游戏类型现有原型仅支持**一对一**第一人称射击（FPS）场景。拓展空间包括： - **多对手协同与对抗**：引入多智能体交互，处理群体战术、仇恨值分配与团队行为； - **游戏类型泛化**：将状态-规则-推理三层架构迁移至动作角色扮演（ARPG）、生存建造、潜行或叙事驱动类游戏，支持更复杂的机制（如资源合成、任务状态机、对话分支）。 ### 3. 视觉基础能力与推理可靠性的提升当前系统依赖**VLM（InternVL3-8B）**进行事件推理、行为规划与视觉验证，存在感知错误与推理不稳定的风险。可探索： - 针对游戏交互的专用视觉基础模型，提升对血量变化、受击动画、遮挡与距离判定的细粒度识别； - 引入不确定性量化或置信度阈值，在视觉证据不足时回退到规则引擎的保守估计； - 结合显式追踪（如持久化角色重识别与空间定位）辅助 VLM，降低纯视觉推理的负担。 ### 4. 规则与状态表示的自动学习当前状态机与转移规则由人工设计与配置。长期可探索： - **从游戏日志与视频中自动抽取状态转移规则**，减少手工工程； - **可微分或神经符号状态机**：将规则引擎与生成器联合优化，使状态转移逻辑能够适应新游戏领域； - 学习隐式状态表示，作为显式数值状态的补充，以处理难以规则化的微妙交互（如士气、警觉度）。 ### 5. 更长程因果链与跨会话记忆论文指出视频模型的有限历史上下文会导致早期事件后果难以持续（第1节）。尽管已有滑动窗口，但以下问题仍需深化： - **跨小时级甚至跨会话的持久世界状态**：如角色关系演进、世界地形破坏、剧情标志位的长期保留； - 分层记忆架构：将近期感知细节与长期抽象知识分离存储，避免上下文膨胀。 ### 6. 动作空间与输入模态的扩展当前动作接口仅包含移动/视角控制与射击/跳跃/换弹。未来可支持： - 更丰富的离散与连续动作组合（如蹲伏、瞄准、投掷、载具驾驶）； - 自然语言指令作为玩家输入模态，与底层物理控制融合，实现高层策略与低层执行的统一生成。 ### 7. 多玩家与社交交互现有数据集与原型仅涉及单玩家与 bot 对手。引入真实多玩家或社交 NPC 将带来新的挑战： - 多视角一致性（multiplayer observations of shared state）； - 实时同步下的生成一致性，避免不同客户端间状态漂移； - 社交行为建模（如合作、交易、欺骗）与对应的多模态反馈（语音、文字、表情）。 ### 8. 自动化评估与基准建设当前离线评估依赖 Qwen3.8-27B 对生成视频进行事后判断，主观性较强。未来需要： - 针对生成式游戏交互的**细粒度、可复现的自动化基准**，涵盖规则遵循率、状态一致性、行为合理性等多维指标； - 建立长期可玩性（playability over extended sessions）的量化标准，超越单片段的 FSA 与 EB 指标。 Q6: 总结一下论文的主要内容这篇论文提出了 **RIGen（Reciprocally Interactive Generation）**，一个用于生成式游戏玩法中**双向交互（reciprocal interaction）**的框架，解决了现有视频生成模型仅被动响应玩家动作、难以维持持久游戏状态与自主世界行为的局限。 ### 核心问题生成式游戏不仅需要视听反馈跟随玩家控制，更要求： - 玩家动作对世界产生**持久后果**（如消耗弹药、扣减生命值）； - 世界依据自身状态与规则**反作用于玩家**（如敌人低血量时撤退、击败玩家后终止其行动）。现有基于纯视频预测的方法面临三大挑战：协调双向因果交互、历史上下文有限、关键游戏状态仅部分可观测。 ### 方法框架 RIGen 通过三个耦合层次形成闭环： 1. **状态与规则引擎（State and Rule Engine）** 以事件驱动状态机维护玩家/敌人生命值、弹药、策略模式等持久变量，并基于可配置规则执行确定性的状态转移。 2. **交互推理层（Interaction Agent）** 在生成每个音视频块**之前**，基于历史视频、玩家动作与当前状态，先验预测交互事件与角色行为；生成后，通过视觉验证校正状态，使后续决策基于真实观测而非仅依赖预测。 3. **音视频生成器（Audiovisual Generator）** 基于 LTX-2.3 构建，支持动作条件化（FiLM + 交叉注意力）与块级语义指导路由，将行为规划与战斗后果转化为连贯的视听输出。 ### 数据集与原型 - 构建了 **Xonotic Interaction Dataset**（含基础动态、受控交互与持续战斗子集），提供同步的音视频、玩家控制、姿态与交互标注。 - 经后训练得到交互原型 **RIGen-Arena**，支持在持久规则下的一对一 FPS 持续游玩（含死亡、重生、行为策略切换）。 ### 实验结果 - **定量对比**：在 100 个战斗场景测试中，RIGen 的最终状态一致率（FSA）达 **81%**，显著高于 SCOPE（4%）与 LingBot-World 2.0（29%）。 - **消融分析**：验证了“生成前预测后果”、“可执行规则引擎”与“生成后视觉校正”各组件对可靠实现战斗结果的必要性。 - **定性结果**：展示了状态依赖的分支行为（低血量死亡、弹药耗尽抑制射击、受伤后撤退）与正确的受击-倒地反馈。 ### 局限与未来方向当前系统尚未达到实时（~4 FPS，目标 20 FPS），仅支持单对手 FPS，且依赖 VLM 进行视觉推理。未来工作将聚焦生成与推理加速、多对手/多类型游戏泛化、视觉基础能力增强与长程跨会话记忆。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mengfei Li, Yi Zhang, Xingtong Ge, Lunjie Zhu, Fangyu Lin, Peng Li, Guanglu Song, Yu Liu, Wei Xue, Wenhan Luo, Yike Guo

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20811.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20811

Published: 2026-10-18T01:31:59.728Z

9. Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation

Abstract:Unified multimodal generation covers discrete, continuous, and hybrid paradigms. Discrete approaches with single-codebook visual tokenizers align naturally with text modeling but have limited representational capacity. Continuous and hybrid approaches retain richer visual representations, but they model text and images in heterogeneous spaces with different training objectives, potentially introducing optimization conflicts between modalities with misaligned representation spaces. These choices expose a central question: how to efficiently model high-capacity visual representations alongside textual content in a shared optimization space within a single backbone. We present Intern Lumina U2, to our knowledge the first diffusion language model to represent multi-codebook visual tokens in a fully discrete space. Each visual position is represented by a group of codes from complementary codebooks, increasing its representational capacity while preserving compatibility with discrete text modeling. At the input, the embeddings are concatenated at each position; at the output, a lightweight multi-codebook autoregressive head predicts the codes within each position sequentially, while the diffusion backbone processes all positions in parallel. Built on the unified 4D representation of AToken, Intern Lumina U2 supports image, video, and 3D inputs within a single backbone and achieves leading performance among unified models in visual understanding, image generation, and image editing. We further build a full-stack training, inference, and evaluation system on both Ascend and NVIDIA platforms to verify the cross-platform effectiveness of our model. We also improve the inference efficiency through a stability-aware sampling strategy, which combines confidence-plateau-guided unmasking approach with drift-triggered cache refreshing mechanisms, accelerating image generation by 4.45x.

中文摘要

摘要：统一的多模态生成涵盖离散、连续和混合范式。使用单码本视觉标记器的离散方法与文本建模自然对齐，但其表达能力有限。连续和混合方法保留了更丰富的视觉表示，但它们在异构空间中对文本和图像进行建模，并且训练目标不同，可能在表示空间不对齐的模态间引入优化冲突。这些选择引出了一个核心问题：如何在单一主干网络中高效地在共享优化空间内对高容量的视觉表示与文本内容进行建模。我们提出了 Intern Lumina U2，据我们所知，这是首个在完全离散空间中表示多码本视觉标记的扩散语言模型。每个视觉位置由来自互补码本的一组代码表示，增加了其表示能力，同时保持与离散文本建模的兼容性。在输入端，嵌入在每个位置进行拼接；在输出端，一个轻量级多码本自回归头按顺序预测每个位置内的代码，而扩散主干网络则并行处理所有位置。基于 AToken 的统一 4D 表示，Intern Lumina U2 支持在单一主干网络中输入图像、视频和 3D 内容，并在视觉理解、图像生成和图像编辑方面在统一模型中取得领先性能。我们进一步在 Ascend 和 NVIDIA 平台上构建了完整的训练、推理和评估系统，以验证模型的跨平台有效性。我们还通过稳定性感知采样策略提高了推理效率，该策略结合了基于置信度平台的解掩码方法和漂移触发的缓存刷新机制，使图像生成速度加快了 4.45 倍。

LLM Analysis

Q: 这篇论文试图解决什么问题？这篇论文旨在解决\*\*统一多模态理解与生成框架中视觉表征容量与优化空间对齐之间的根本矛盾\*\*，具体可概括为以下三个层面： ### 1. 核心问题：共享优化空间中的高容量视觉表征建模现有统一多模态模型在融合视觉理解与生成时，面临一个关键抉择： - \*\*离散范式\*\*（如 Chameleon、Emu3）：采用单码本视觉 tokenizer，将视觉信息压缩为单个离散代码，天然兼容文本的离散建模方式，但每个空间位置的表征容量严重不足，难以忠实重建图像或覆盖复杂视觉任务； - \*\*连续/混合范式\*\*（如 Transfusion、BAGEL、InternVL-U）：在主干网络或独立解码器中保留连续视觉状态，虽能获得更高的视觉保真度，但文本与图像在异构空间中被建模，且往往采用不同的训练目标（如文本的 next-token loss 与图像的 diffusion/flow matching loss），导致模态间的优化冲突和表征空间不对齐。由此，论文提出一个核心研究问题：\*\*如何在单一主干网络的共享优化空间内，以单一训练目标高效地建模高容量视觉表征与文本内容？\*\* ### 2. 现有离散统一模型的表征瓶颈现有基于离散掩码扩散的统一模型（如 MMaDA、Lumina-DiMOO、LLaDA2.0-Uni）受限于单码本 tokenization，将每个视觉位置的信息压缩为单个离散代码 c ∈ 1, dots, V 。这种紧凑表征对于以下两方面均显不足： - \*\*忠实重建\*\*：单一代码难以编码精细的低层视觉细节； - \*\*语义理解\*\*：高层语义信息与视觉生成所需的细节之间存在张力。论文指出，这种表征容量的局限是离散统一模型在视觉任务上性能受限的主要原因。 ### 3. 论文提出的解决方案为突破上述瓶颈，论文提出 \*\*Intern Lumina U2\*\*，其设计目标是在\*\*完全离散空间\*\*中实现高容量视觉表征与文本的统一建模： - \*\*多码本离散视觉表征\*\*：采用 AToken 将图像、视频、3D 资产编码到统一的 4D 潜在空间，每个视觉位置由 K=8 个互补码本的代码组 c = (c_1, dots, c_K) 表示，每个码本大小为 4096。这种表示在不增加空间网格长度的前提下，将视觉信息容量扩展了 K 倍。 - \*\*输入接口的兼容性保持\*\*：在输入端，每个码本拥有独立的嵌入表 E_k ，通过拼接与线性投影将 K 个代码嵌入合并为单一主干 token：

x = W(∈) · [E_1(c_1); E_2(c_2); dots; E_K(c_K)]
这使得序列长度与码本数量 K 解耦，同时避免了将视觉代码混入文本词表。 - **输出接口的依赖建模**：在输出端，轻量级的多码本自回归头（multi-codebook AR head）沿码本维度自回归地建模代码间的依赖关系：
p(c mid h) = prod(k=1)^(K) p(ck mid h, c(<k))
而扩散主干则并行处理所有空间位置，兼顾了视觉生成对双向上下文的需求与代码间的条件依赖。 - **统一训练目标**：所有模态（文本、图像、视频、3D）在统一的 packed-sequence 格式下，以单一的掩码扩散交叉熵目标进行联合训练，避免了异构优化目标带来的冲突。 ### 4. 延伸的系统与效率问题除表征与优化空间的统一外，论文还针对实际部署中的两个关键问题给出了解决方案： - **跨平台有效性**：在华为 Ascend 与 NVIDIA 双平台上完成了全栈训练、推理与评估系统的适配，验证了架构与训练 recipe 的跨平台一致性； - **推理加速**：针对视觉 token 置信度低、演化缓慢的特性，提出 **Plateau-Halton sampling with V-verify (PHV)** 策略，通过置信度 plateau 指导的解掩与隐藏状态漂移触发的缓存刷新，在保持生成质量的前提下将图像生成端到端延迟降低 **4.45×**。综上，Intern Lumina U2 试图在**不引入连续生成目标或独立视觉解码器**的前提下，首次实现基于多码本离散状态的全模态（图像/视频/3D）理解与图像生成、编辑的统一，推动离散扩散语言模型（diffusion LLM）向高容量视觉表征与 omni-visual 范式发展。 Q2: 有哪些相关研究？与 Intern Lumina U2 相关的研究可归纳为以下四条主线，涵盖从统一架构、扩散语言模型到多码本表征与推理加速的多个维度： —- ### 1. 统一多模态理解与生成模型（Unified Multimodal Understanding and Generation）这类研究致力于在单一模型内同时实现视觉感知与视觉合成，依据视觉表征的离散/连续属性可进一步分为三类： **（1）纯离散范式：视觉 token 与文本共享离散空间** - **自回归生成**：Chameleon 与 Emu3 采用共享词表，将图像与文本均视为 next-token 预测任务；Janus-Pro 则解耦理解编码器与生成 tokenizer，分别处理两类需求；VAR 与 OneCAT 提出由粗到细的 next-scale 预测，逐步提升分辨率。 - **掩码扩散生成**：MMaDA、Lumina-DiMOO 与 Show-o 将掩码扩散目标同时应用于文本与离散视觉 token，允许视觉内容在双向上下文下并行解码；Emu3.5 进一步将 next-token 图像解码转化为双向并行预测以加速推理。 **（2）连续/混合范式：保留连续视觉状态** - **主干内连续目标**：Transfusion 在统一 Transformer 内对文本使用 next-token loss、对图像使用扩散 loss；UniFluid 为每个空间位置配备独立的扩散头。 - **分离式连续解码器**：BAGEL、InternVL-U 采用 ViT 特征进行理解，再通过 VAE 空间的 flow matching 生成图像；SenseNova-U1 将 flow matching 直接置于像素空间。 - **语义-连续混合**：LLaDA2.0-Uni 在主干中对文本与视觉 token 使用共享掩码预测目标，但图像合成仍依赖一个额外的连续扩散解码器，以预测的离散视觉 token 为条件。 **与 Intern Lumina U2 的区别**：上述离散方法受限于单码本表征容量；连续/混合方法则引入与文本分类目标异构的连续生成目标，甚至需要独立的视觉解码器，导致优化空间不一致。Intern Lumina U2 首次在**完全离散空间**内对**多码本视觉状态**进行建模，无需连续生成器即可直接通过主干 token 解码图像。 —- ### 2. 扩散语言模型（Diffusion Language Models, dLLMs）该方向关注如何用扩散/掩码过程替代自回归进行语言与多模态建模： - **基础语言模型**：LLaDA 首次证明从零训练的掩码扩散语言模型可媲美强自回归基线；LLaDA2.0 将预训练的 AR MoE 模型转换为 blockwise 扩散 LM，在保留知识的同时实现并行解码。 - **向视觉的扩展**： - **理解**：LLaDA-V 将视觉编码器特征馈入扩散 LM 完成视觉问答。 - **生成**：LLaDA-o 对文本采用离散掩码扩散、对图像采用连续扩散，形成非统一的生成机制。 - **统一**：MMaDA 与 Lumina-DiMOO 将掩码预测扩展到文本与图像 token；LLaDA2.0-Uni 基于 LLaDA2.0 主干采用 block-wise 掩码预测。 **与 Intern Lumina U2 的区别**：现有扩散语言模型（包括统一版本）均采用单码本视觉表征或连续视觉分支。Intern Lumina U2 以 LLaDA2.0-mini 为起点，沿两个轴扩展：视觉状态升级为**多码本离散 token**，且同一模型覆盖图像、视频与 3D 三种视觉模态的理解。 —- ### 3. 多码本视觉表征与深度解码（Multi-Codebook Representations）为在不增加空间网格长度的前提下提升离散视觉表征容量，研究者探索了残差与因子化量化： - **RQ-Transformer**：使用“空间 + 深度”双层 Transformer 自回归地解码残差代码。 - **VILA-U**：将多码本深度解码引入自回归统一模型。 - **UniTok**：将 H × W × K 的视觉代码折叠为 H × W 个主干位置，但未显式建模同位置内多码本间的依赖。 - **TokenBridge**：记录了当单个位置的各码本代码被独立预测时所丢失的依赖关系。 - **AToken**：提供跨图像、视频、3D 的共享多码本表征，是 Intern Lumina U2 的视觉 tokenizer 基础。 **与 Intern Lumina U2 的区别**：上述工作均在**自回归系统**中建立多码本建模。Intern Lumina U2 首次将多码本视觉 token 作为**掩码扩散语言模型**的视觉状态：扩散主干并行细化所有空间位置，而多码本 AR head 仅在每个位置内部沿码本维度自回归建模依赖，从而将空间并行性与码本序列性解耦。 —- ### 4. 掩码扩散解码加速（Accelerating Masked-Diffusion Decoding）针对掩码生成模型迭代推理成本高的问题，现有加速方法分为两路： **（1）基于学习的方法** - 训练辅助模型或学习潜在受控动态（latent controlled dynamics），以少数大步长跳跃替代多步细化。 **（2）免训练的方法** - **固定/阈值调度**：MaskGIT 预设每轮解掩位置数量；Fast-dLLM 对概率超过绝对阈值的 token 立即提交。 - **揭示顺序优化**：低差异序列（如 Halton 序列）用于均匀分散剩余不确定性，改善空间覆盖。 - **缓存策略**：固定间隔刷新缓存以减少冗余主干计算；dLLM-Cache 提出基于 V-verify 分数的漂移检测，选择性刷新缓存位置。 **与 Intern Lumina U2 的关系**：该模型提出 **Plateau-Halton sampling with V-verify (PHV)**，属于免训练加速路线。由于视觉 token 置信度绝对值较低且演化缓慢，PHV 放弃固定阈值，转而利用置信度**时间 plateau** 作为稳定性信号进行早提交，并结合隐藏状态漂移触发缓存刷新，在 1024×1024 生成中实现 **4.45×** 端到端加速。 —- ### 总结如论文 Table 1 所示，在现有的代表性统一多模态模型中，Intern Lumina U2 是唯一同时满足以下五项能力的系统：图像理解、图像生成、视频理解、3D 理解、基于多码本离散状态的掩码扩散解码，且无需独立的连续生成器。这一定位使其与上述四条研究脉络中的既有工作形成明确区分。 Q3: 论文如何解决这个问题？论文通过 **Intern Lumina U2** 系统性地解决了统一多模态框架中视觉表征容量不足与优化空间异构的矛盾。其核心思路是：在完全离散空间内，以多码本视觉 token 扩展每个空间位置的表征容量，并通过掩码扩散语言模型（dLLM）以单一目标统一处理文本与视觉。具体解决方案涵盖架构设计、训练范式、数据工程与推理系统四个层面。 —- ### 1. 多码本离散视觉表征（Multi-Codebook Discrete Visual Tokens）为突破单码本离散表征的信息瓶颈，论文采用 **AToken** 作为冻结的视觉 tokenizer，将图像、视频与 3D 资产统一编码至共享的 4D 潜在空间。每个视觉位置由 K=8 个互补码本的代码共同表示：

c = (c_1, c_2, dots, c_K), quad c_k ∈ 1, dots, 4096
相比单码本，这种表示在不扩展空间网格长度的前提下，将视觉信息的编码容量提升了多个数量级，同时保持离散性以兼容文本的分类式训练目标。 —- ### 2. 统一的模型架构 #### 2.1 输入接口：码本独立嵌入与投影为避免视觉代码混入文本词表、同时保证主干序列长度与码本数量 K 解耦，论文为每个码本 k 配备独立的嵌入表 E_k 。对于视觉位置 c = (c_1, dots, c_K) ，输入向量通过拼接与线性投影得到：

x = W(∈) · [ E_1(c_1); E_2(c_2); dots; E_K(c_K) ], quad W(∈) ∈ R^(d × Kd)
其中 d=2048 为主干隐藏维度。该设计既保留了码本身份（codebook identity），又将多码本信息压缩为单个主干 token。 #### 2.2 输出接口：多码本自回归头（Multi-Codebook AR Head）在输出端，论文不假设各码本条件独立，而是通过轻量级的 6 层因果 Transformer 沿码本维度自回归建模依赖关系：

p(c mid h) = prod(k=1)^(K) p(c_k mid h, c(<k))
其中 h ∈ R^d 为扩散主干输出的位置隐藏状态。该头部在训练时采用 **teacher forcing**，一次性并行获得所有 K 个码本的 logits；在推理时，每个视觉位置内部的 K 个代码按序采样，不同空间位置则始终保持并行处理。这种“空间并行、码本串行”的因子化策略，既保留了视觉生成所需的双向上下文（通过扩散主干），又显式捕获了同位置多码本间的联合分布。 #### 2.3 任务感知注意力掩码（Task-Aware Attention Mask）由于模型需同时处理理解、生成、编辑等多类任务，论文设计了基于元数据的统一序列格式与动态注意力掩码： - **条件（conditions）** 对同轮及后续轮次可见； - **文本答案** 采用块级扩散（block diffusion）：块内双向、块间因果，并引入 clean copy 机制支持多轮上下文； - **视觉答案** 采用空间掩码扩散：在自身答案内全双向，可读取条件及前序文本答案的 clean copy，但无 clean copy 自身。通过将图像、视频、3D 与文本统一打包为 1D token 序列，所有任务共享同一套位置编码与掩码规则。 —- ### 3. 统一的训练目标所有模态在共享的离散空间中优化**同一个掩码扩散交叉熵目标**。 - **文本掩码调度**：按块独立采样掩码比例 rho = cos((π) / (2) u) ，其中 u sim U(0,1) ，以匹配推理时的块扩散行为。 - **视觉掩码调度**：所有空间位置共享同一掩码比例，同位置的 K 个代码全部被监督。位置 j 的损失为：

ell(vis)(j) = (1) / (K) ∑(k=1)^(K) -log p(ck^(gt) ,|, h, c( fp ，则该位置被视为已进入稳定 plateau，可提前提交。 - **Halton 揭示顺序**：未达 plateau 的位置按低差异 Halton 序列排序提交，使剩余不确定性均匀分散在画布上。 - **V-verify 缓存刷新**：通过监测隐藏状态归一化漂移 D_t 决定是否刷新主干缓存，避免过时表征的累积。配合 CFG 双分支批处理、AR Head KV 缓存与隐藏状态缓存复用，PHV 将端到端图像生成延迟从 159.9 秒降至 35.9 秒（**4.45× 加速**），同时提升生成质量。 —- ### 6. 跨平台全栈适配与验证论文在 **1,024 张华为 Ascend 910B NPU** 上完成主模型训练，并在 **NVIDIA GPU** 上以相同架构与训练 recipe 进行小规模交叉验证。通过重写融合 MoE 内核（基于 `npu_grouped_matmul`）、适配注意力掩码语义与内存管理策略，实现了从训练到推理的全栈国产化部署，证明了该方法在不同硬件平台上的有效性。 —- ### 总结 Intern Lumina U2 的解决方案可概括为：**以多码本离散 token 扩展视觉表征容量，以拼接-投影输入接口保持主干兼容性，以多码本 AR Head 捕获码本间依赖，以统一掩码扩散目标对齐文本与视觉的优化空间，以渐进课程训练稳定扩展至多模态，以稳定性感知采样突破推理效率瓶颈**。这一系列设计首次在完全离散空间内实现了图像、视频、3D 理解与图像生成、编辑的统一建模。 Q4: 论文做了哪些实验？论文在 **Intern Lumina U2** 上开展了覆盖 omni-visual 理解、图像生成与编辑、科学图表生成、推理加速及架构消融的系统性实验。所有实验均对比了 Ascend 平台训练的主模型与 NVIDIA 平台训练的参考模型，并在统一协议下与专用及统一基线进行比较。 —- ### 1. Omni-Visual 理解实验 #### 1.1 图像理解与推理在 10 个图像理解基准上评估，涵盖文档图表、感知幻觉与知识数学推理三类任务： - **文档与图表**：ChartQA、CharXiv（DQ） - **感知与幻觉**：HallusionBench、MME-C、RealWorldQA - **知识与数学推理**：MMMU、MMMU-Pro、MathVista、MathVision、DynaMath 与 Qwen2.5-VL（7B，理解专用）、LLaDA-V、BAGEL、InternVL-U、Lumina-DiMOO、LLaDA-o 及同骨干的 LLaDA2.0-Uni 对比。Ascend 模型在 6/10 项上取得最优，在 CharXiv、HallusionBench、MathVision、DynaMath 上领先明显；与同骨干 LLaDA2.0-Uni 相比，8/10 项提升，验证了多码本表征对细粒度视觉细节的增益。 #### 1.2 视频与 3D 理解 - **视频基准**：Video-MME（无字幕）、MLVU（m-avg）、MVBench - **3D 基准**：3D MM-Vet（Rec / Know / Gen / Spat / Emb / Total）对比 Video-LLaVA-7B、VideoLLaMA2-7B、LLaVA-Mini、LLaDA-V 等视频/3D 专用或理解模型。Ascend 模型在 Video-MME、MLVU、MVBench 三项视频基准上均取得最高得分；在 3D MM-Vet 上超过 ShapeLLM 与 PointLLM 等 3D 专用模型。 —- ### 2. 图像生成与编辑实验 #### 2.1 文本到图像生成在多个生成基准上评估整体与维度级性能： - **整体对齐**：GenEval、DPG-Bench、TIIF-Bench（长短提示分别评测）、WISE - **维度细分**：UniGenBench（Sty / Wor / Att / Act / Rel / Log / Gra / Com / Lay / Txt 十维度） - **综合能力**：OneIG-Bench（Alignment / Text / Reasoning / Style / Diversity）对比生成专用模型 FLUX.1、Qwen-Image，以及统一模型 Janus-Pro、Show-o2、BAGEL、OmniGen2、InternVL-U、MMaDA、Lumina-DiMOO、LLaDA-o、LLaDA2.0-Uni。Intern Lumina U2 在统一模型中取得 DPG-Bench、UniGenBench、TIIF-Bench 最优，GenEval 与 LLaDA2.0-Uni 持平；UniGenBench 中逻辑推理（Log）与语法（Gra）优势显著。 #### 2.2 图像编辑评测指令驱动的图像编辑： - **ImgEdit**：总体得分（1–5 分制） - **GEdit-Bench**：英文与中文提示的总体 GO 得分（0–10 分制）对比编辑专用 Step1X-Edit、Qwen-Image-Edit，以及统一模型 BAGEL、OmniGen2、InternVL-U、Lumina-DiMOO、LLaDA2.0-Uni。Ascend 模型在 ImgEdit 与 GEdit 英文基准上接近最优统一模型，优于 BAGEL 与 OmniGen2。 —- ### 3. 科学图表生成实验针对物理正确性，在两个专用基准上评估： - **GenExam Physics**：严格（strict）与宽松（relaxed）的 MLLM-judge 分数 - **VeriphyT2IBench**：局部属性库（Local）与全局整图库（Global）的问题级准确率，并进一步按电磁学（E&M）、力学（Mechanics）、光学（Optics）、量子力学、热力学、声学六领域及易/中/难三难度级细分对比生成专用模型（Seedream 4.0、FLUX.1、Gemini 2.5 Flash Image、GPT-Image-1、Qwen-Image 等）、统一模型（BAGEL、Lumina-DiMOO、Show-o2、SenseNova-U1 等）及物理专用变体（Princigram-DiMOO、Princigram-BAGEL）。Intern Lumina U2 在一般用途统一模型中 GenExam 宽松得分最高（44.8），VeriphyT2IBench 局部最优（76.58）、全局第二（81.22）；在难度最高的 E&M 提示上达 81.30。 —- ### 4. 推理加速与采样策略实验 #### 4.1 系统级加速消融（Table 4）在固定 1024 × 1024 文本到图像协议下，逐层叠加优化并测量端到端延迟与 GenEval： - **基础路径**：96 步，159.9 s - **+ CFG 双分支批处理**：117.2 s（1.36×） - **+ AR Head KV 缓存**：84.2 s（1.90×） - **+ 隐藏状态缓存**：64.1 s（2.49×，命中率 65%） - **+ Halton 揭示顺序（HVV）**：66.5 s（2.40×）进一步引入自适应步预算： - **HVV 固定 60 步**：42.6 s（3.75×） - **Plateau + V-verify**：34.8 s（4.59×） - **PHV（Plateau-Halton + V-verify）**：35.9 s（4.45×），GenEval 从 86.6 提升至 89.3 #### 4.2 采样参数网格搜索（Figure 11）对 PHV 的两个核心超参——plateau 变化阈值 δ_p 与置信度下限 f_p ——进行 6 × 6 网格消融（553 提示/格）。结果表明二者形成串行门控： δ_p 决定早期提交资格， f_p 限制实际提交数量。选定的质量优先配置 δ_p = 0.18, f_p = 0.005 位于速度-质量前沿，以 35.9 s/张达到 GenEval 89.3。 —- ### 5. 架构消融实验 #### 5.1 视觉输入接口消融（Table 15, Figure 10）比较三种输入设计（决定嵌入表组织与分类器宽度）： - **D1**：单一共享大词表（文本+视觉代码共用） - **D2**：单一视觉嵌入表，通过索引偏移区分码本 - **D3（本文）**：每码本独立嵌入表，拼接后投影在约 500 万监督代码的 held-out 集上，D3 的 next-code top-1 准确率显著高于 D1/D2（差距超过 10 个标准误），且随码本深度增加优势扩大；图像损失收敛曲线亦优于 D2。D3 的峰值内存与 D2 相当（18.62 GB vs 18.68 GB），远低于 D1（43.79 GB）。 #### 5.2 视觉输出头消融（Table 16）在 512 × 512 分辨率、相近 token 预算下对比三种输出头： - **Independent parallel**：假设码本条件独立，并行预测 - **Q-Former**：单轮学习查询预测所有代码 - **Multi-codebook AR（本文）**：沿码本维度自回归建模 p(c mid h) = prod(k=1)^(K) p(ck mid h, c(<k)) 多码本 AR Head 在 GenEval（82.78）、DPG-Bench（83.27）、TIIF（73.2）、UniGenBench（62.1）四项上全面最优。Parallel Head 在 DPG 上接近，但在 GenEval 落后 14 分，尤其在计数（counting）、位置（position）与属性绑定（attribute binding）上差距显著，验证了显式建模码本间依赖的必要性。Q-Former 未优于 Parallel Head，说明增益来源于依赖建模而非更复杂的条件化。 —- ### 6. 跨平台一致性验证论文在 Ascend 910B（1,024 NPUs，完整预算） Q5: 有什么可以进一步探索的点？基于论文结论与整体架构设计，以下方向值得进一步探索： —- ### 1. 向视频与 3D 生成的模态扩展当前 Intern Lumina U2 已统一了图像、视频、3D 的**理解**，但生成与编辑能力仍局限于图像。由于 AToken 已将三种模态编码至共享 4D 潜在空间，且视觉接口对模态差异透明，将多码本离散扩散框架扩展至**视频生成**（帧间时序一致性建模）与**3D 资产生成**（稀疏体素或点云的空间结构化生成）是自然的下一步。核心挑战在于设计适配时序与三维结构的任务感知掩码机制，以及处理视频/3D 场景下更长的视觉序列。 —- ### 2. 更紧密交织的多模态生成（Interleaved Multimodal Generation）现有工作主要处理“文本→图像”或“图像→文本”的单向转换，未来可探索**交错式多模态生成**，即模型在单一对话中交替输出文本推理与视觉内容（如生成带注释的科学图表、逐步绘制故事板）。这要求在 packed-sequence 格式中进一步细化文本块与视觉块间的动态依赖关系，并设计支持流式交错的推理调度策略。 —- ### 3. 强化学习后训练（RL Post-Training）论文目前依赖监督微调（SFT）对齐指令遵循行为。引入**基于人类反馈或模型反馈的强化学习**（如 RLHF、DPO、GRPO 等）有望显著提升生成图像的美学质量、提示遵循度以及物理正确性。特别是在科学图表生成（GenExam、VeriphyT2IBench）等需要精确结构化约束的任务上，强化学习可通过细粒度奖励信号优化离散视觉 token 的采样策略。 —- ### 4. 骨干网络规模的扩展（Backbone Scaling）当前模型基于 16B 总参数 / 1.4B 激活参数的 MoE 主干。论文指出未来计划**扩大骨干规模**。鉴于多码本视觉序列在 1024 × 1024 分辨率下已达 4,160 个位置，扩展专家数量、隐藏维度或 Transformer 层数，并配合更高效的 MoE 负载均衡策略，可能进一步缩小与专用大规模生成模型（如 Qwen-Image、Seedream）的保真度差距。 —- ### 5. 解码效率与长视觉序列优化多码本 AR Head 在每个视觉位置内部引入 K=8 步串行解码，高分辨率下视觉序列长度可达数千，造成显著推理开销。未来可从以下角度优化： - **子采样或渐进式码本解码**：是否所有位置都必须在每一步推断全部 K 个代码，或可采用早期退出（early exiting）机制？ - **更激进的缓存策略**：当前 V-verify 缓存刷新基于隐藏状态漂移 Dt ，可探索基于梯度或信息论的缓存更新准则，进一步减少主干网络前向传播次数。 —- ### 6. 多码本表征与依赖建模的深化论文验证了沿码本索引 k=1,dots,K 自回归建模 p(c_k mid h, c(<k)) 优于条件独立假设。但码本间的依赖结构可能存在更优的分解方式： - **可学习的码本解码顺序**：固定顺序 1 to K 未必最优，可引入排列自回归或图神经网络建模码本间依赖。 - **动态码本深度**：不同视觉复杂度区域可能需要不同数量的有效码本，可探索自适应深度选择（类似 RQ-Transformer 的提前停止）以降低平均解码成本。 —- ### 7. 跨模态编辑能力的统一扩展当前图像编辑数据涵盖十种编辑类型，但视频编辑与 3D 编辑尚未纳入。将编辑框架扩展至视频（时序一致性编辑）和 3D（部件级几何/材质编辑）需要解决源模态与目标模态在离散空间中**变化区域定位**与**未变化区域保持**的精细控制问题，可能需在注意力掩码中显式引入编辑掩码（edit mask）token。 —- ### 8. 物理 grounded 生成的细粒度提升尽管 Intern Lumina U2 在 VeriphyT2IBench 上表现优异，但在 GenExam 的 strict 评分（2.7）上仍有较大提升空间。未来可探索： - **显式物理约束注入**：将物理引擎或符号约束融入离散扩散采样过程，而非仅依赖数据驱动学习。 - **专用科学图表预训练**：构建更大规模的物理、化学、工程图表-文本对，并引入领域特定的结构验证器作为辅助监督。 —- ### 9. 数据构建与课程学习的改进论文采用五阶段渐进课程，但阶段间的数据混合比例（Table 2）主要基于经验设定。未来可研究： - **基于能力的自动课程（Automatic Curriculum Learning）**：根据模型在各能力维度的实时评估分数动态调整数据采样权重，而非固定比例。 - **合成数据的质量-多样性权衡**：当前使用 FLUX、Ideogram 等模型合成图像，如何抑制合成 artifacts 在多轮训练中的累积放大，是一个开放问题。 —- ### 10. 与连续表征范式的深度融合论文坚持完全离散空间以统一优化目标，但连续扩散在极高分辨率生成上仍具优势。未来可探索**混合目标训练**：在主干保持离散分类目标的同时，为视觉输出头引入连续辅助目标（如预测代码嵌入而非仅分类分布），或研究离散-连续双空间对齐的蒸馏框架，以兼顾优化一致性与生成保真度上限。 Q6: 总结一下论文的主要内容 **Intern Lumina U2** 提出了一种基于**多码本离散视觉 token**的统一扩散语言模型，旨在以单一训练目标和共享优化空间，同时实现高保真视觉生成与 omni-visual（图像/视频/3D）理解。以下从问题背景、核心方法、系统实现与实验验证四个层面进行总结。 —- ### 1. 研究背景与核心问题统一多模态模型需在单一框架内整合视觉理解与生成，但现有方案存在根本权衡： - **离散范式**（如 Chameleon、Emu3、LLaDA2.0-Uni）将视觉压缩为单码本离散 token，天然兼容文本建模，但每个空间位置的表征容量严重受限，难以支持精细重建与复杂视觉任务； - **连续/混合范式**（如 Transfusion、BAGEL、InternVL-U）保留连续视觉状态以获得高保真生成，但文本与图像在异构空间中被优化，往往依赖不同的训练目标（如 next-token loss vs. diffusion/flow matching），导致模态间优化冲突与表征空间不对齐。因此，论文瞄准的核心问题是：**如何在单一主干网络的共享离散优化空间内，高效建模高容量视觉表征与文本内容？** —- ### 2. 核心方法：完全离散空间中的多码本建模论文提出 **Intern Lumina U2**，以 AToken 为视觉 tokenizer、LLaDA2.0-mini 为扩散语言模型主干，实现了视觉与文本在完全离散空间中的统一。 #### 2.1 多码本视觉表征 - **统一 4D 代码空间**：AToken 将图像、视频、3D 资产编码为共享的离散潜在空间。每个视觉位置由 K=8 个互补码本的代码组表示：

c = (c_1, dots, c_K), quad c_k ∈ 1, dots, 4096
这种表示在不增加空间网格长度的前提下，将视觉信息容量扩展数倍。 #### 2.2 输入接口：码本身份保持 - 为每个码本配备独立的嵌入表 E_k ，通过拼接与线性投影将 K 个代码合并为单一主干 token：

x = W_(∈) · [E_1(c_1); dots; E_K(c_K)]
该设计保持序列长度与 K 无关，避免视觉代码混入文本词表。 #### 2.3 输出接口：多码本自回归头 - 轻量级的 6 层因果 Transformer（multi-codebook AR head）沿码本维度自回归建模依赖：

p(c mid h) = prod(k=1)^(K) p(c_k mid h, c(<k))

**训练**：采用 teacher forcing，单次前向传播并行获得所有 K 个 logits； - **推理**：每个位置内部 K 步顺序采样，不同空间位置始终并行处理。 - 扩散主干负责空间位置的全局双向并行细化，AR head 负责单点内部码本依赖，二者职责解耦。 #### 2.4 统一数据格式与任务感知注意力 - 所有任务（理解、生成、编辑、纯文本）被格式化为统一对话序列，并标注五类元数据（类型、轮次、噪声状态、块索引、位置 ID）。 - **任务感知注意力掩码**精确控制不同模态与任务间的信息流动： - 文本答案采用**块级扩散**（块内双向、块间因果，带 clean copy 机制）； - 视觉答案采用**空间掩码扩散**（答案内全双向，无前向 clean copy）。 #### 2.5 统一训练目标所有模态共享单一的掩码扩散交叉熵损失：

L = ∑(i ∈ T) ell(txt)(i) + ∑(j ∈ V) ell(vis)(j)|T| + |V| + 10^(-3) L_(balance)
其中视觉位置损失为 K 个码本交叉熵的均值。文本与视觉在相同归一化下联合优化，避免异构目标冲突。 —- ### 3. 训练与推理系统 #### 3.1 五阶段渐进训练 | 阶段 | 分辨率 | 关键内容 | |:—-|:—-|:—-| | Vision–Language Alignment | 256^2 | 视觉模块对齐与初步图文能力 | | Perception Pretraining | 512^2 | 细粒度感知（OCR、文档、图表） | | Omni-Visual Mid-Training I | 1024^2 | 隔离分辨率过渡，稳定现有能力 | | Omni-Visual Mid-Training II | 1024^2 | 引入编辑、视频理解、3D 理解 | | Instruction SFT | 1024^2 | 高质量指令微调，对齐任务遵循行为 | #### 3.2 跨平台全栈实现 - **主模型**：在 1,024 张华为 Ascend 910B NPU 上完成全栈训练、推理与评估； - **参考模型**：在 NVIDIA GPU 上以相同架构与优化 recipe 进行小规模交叉验证，验证跨平台有效性。 #### 3.3 稳定性感知推理加速（PHV）针对视觉 token 置信度绝对值低、演化缓慢的特点，提出 **Plateau-Halton sampling with V-verify (PHV)**： - **Plateau 检测**：通过置信度指数移动平均的连续低变化，识别已达稳定的 token 并提前提交； - **Halton 揭示顺序**：对未稳定位置按低差异序列均匀分散提交，优化空间覆盖； - **V-verify 缓存刷新**：基于隐藏状态归一化漂移 D_t 触发主干缓存刷新，避免过时表征累积。该策略将 1024 × 1024 图像生成的端到端延迟从 159.9 秒降至 **35.9 秒（4.45× 加速）**，同时提升生成质量。 —- ### 4. 实验验证与关键结论 #### 4.1 Omni-Visual 理解 - **图像理解**：在 10 项基准中 6 项最优，CharXiv、HallusionBench、MathVision、DynaMath 领先显著；较同骨干 LLaDA2.0-Uni（单码本）8/10 项提升。 - **视频理解**：Video-MME、MLVU、MVBench 三项均优于现有基线（包括专用视频模型）。 - **3D 理解**：3D MM-Vet 上超过 ShapeLLM、PointLLM 等 3D 专用模型。 #### 4.2 图像生成与编辑 - 在 DPG-Bench、UniGenBench、TIIF-Bench 上取得统一模型最优，GenEval 与最优持平； - UniGenBench 中逻辑推理（Log）与语法（Gra）维度优势突出； - 图像编辑（ImgEdit、GEdit-Bench）接近最优统一模型。 #### 4.3 科学图表生成 - GenExam Physics 宽松得分在通用统一模型中最高（44.8）； - VeriphyT2IBench 局部最优（76.58）、全局第二（81.22），在困难电磁学提示上达 81.30。 #### 4.4 消融实验 - **输入接口**：独立嵌入表设计（D3）在 next-code 准确率与收敛速度上显著优于共享大词表（D1）与偏移共享表（D2）； - **输出头**：显式建模码本依赖的多码本 AR Head，在 GenEval 上比条件独立并行头高 14 分，尤其在计数、位置与属性绑定任务上优势明显； - **采样策略**：PHV 超参 δ_p=0.18, f_p=0.005 位于速度-质量前沿。 —- ### 5. 总结 Intern Lumina U2 首次在完全离散空间内实现了基于多码本视觉状态的统一扩散语言建模，通过“空间并行、码本串行”的因子化设计，以单一训练目标兼容了高容量视觉表征与文本建模，并在一系列理解与生成任务中验证了该范式的有效性与广度。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qian Yu, Zongyang Qiu, Juncheng Yan, Hongliang Li, Qi Qin, Keqi Wang, Siqi Luo, Junkui Ju, Yapeng Mi, Tiantian Lu, Tian Liu, Pengyu Xie, Chenhao Ji, Minghui Zhang, Yiang Zhao, Siyu Yan, Haiying Xu, Yanbo Wang, Jianghan Shen, Yuandong Pu, Jiayi Lei, Borui Zhang, Jinxin Shi, Bo Zhang, Yuhang Zang, Shenglong Ye, Lixin Gu, Hongjie Zhang, Linghan Liu, Xinyuan Chen, Yuewen Cao, Lihe Zhang, Xiaohong Liu, Junjun He, Qiangwei Liu, Qi Zhang, Yu Cheng, Tianfan Xue, Hui Xiong, Chang Xu, Yu Qiao, Yihao Liu, Bin Fu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20818.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20818

Published: 2026-10-18T01:31:59.728Z

10. MARS - A foundational map auto-regressor

Abstract:Map generation tasks feature extensive non-structural vectorized data (e.g., points, polylines, and polygons) and thus pose significant challenges to common pixel-wise generative models. Conventional approaches use multiple stages, first segmenting these features at the pixel level and then performing vectorized post-processing, with errors and complexity compounding at each stage. Motivated by the recent success of auto-regressive language modeling, we propose the first map foundation model, named Map Auto-Regressor (MARS), that is capable of generating both multi-polyline road networks and polygon buildings in a unified manner. For training MARS, we collected to our knowledge the largest multi-class map extraction dataset totaling 3.4M examples, which we call MAP-3M. Across four road and building datasets, MARS outperforms or matches the performance of multistage baselines. Additionally, we develop a “Chat with MARS” capability that enables interactive human-in-the-loop map generation and correction, supported by the auto-regressive nature of our end-to-end approach. We release our MAP-3M dataset and project demo page at (1) this https URL and (2) this https URL, respectively.

中文摘要

摘要：地图生成任务具有大量非结构化矢量化数据（例如点、折线和多边形），因此对常规的按像素生成模型提出了重大挑战。传统方法采用多阶段处理，首先在像素级对这些特征进行分割，然后执行矢量化后处理，每个阶段的错误和复杂性都会累积。受到自回归语言建模最新成功的启发，我们提出了首个地图基础模型，命名为Map Auto-Regressor（MARS），能够以统一方式生成多折线路网和多边形建筑。为训练MARS，我们收集了据我们所知最大规模的多类别地图提取数据集，总计3.4百万个样本，我们称之为MAP-3M。在四个道路和建筑数据集上，MARS的表现优于或匹配多阶段基线方法的性能。此外，我们开发了“与MARS聊天”功能，使得支持由人类参与的交互式地图生成和修正成为可能，这得益于我们端到端方法的自回归特性。我们在以下网址发布了MAP-3M数据集和项目演示页面：（1）此 https URL，以及（2）此 https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.20843 (HTTP 429)

Authors: Qi Zhang, Suvam Bag, Rupanjali Kukal, Lucas Thai, Jacob Kovarskiy, Mike Bianco, Xiaojie Guo, Raphael Tang, Mikael Figueroa, Rishi Madhok, Nikolaos Karianakis, Fuxun Yu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2610.20843.pdf

CoolPaper URL: https://papers.cool/arxiv/2610.20843

Published: 2026-10-18T01:31:59.728Z