HuggingFace Papers 2026-10-12

数据来源：HuggingFace Papers

Latest Papers

1. SoloQ: Calibration-Free Quantization for Diffusion Language Models

Abstract:Diffusion large language models dLLMs) have emerged as a promising alternative to autoregressive language models through bidirectional diffusion-based token generation. However, their growing model sizes and high inference costs make efficient deployment challenging: full-sequence denoising repeatedly invokes compute-intensive forward passes, while block-diffusion models additionally introduce a memory-intensive KV-cache. Low-bit weight-activation quantization is therefore attractive, yet existing dLLM post-training quantization methods rely on calibration data despite activation distributions shifting across masking states and denoising steps. We present SoloQ, a calibration-free quantization framework that maps weights and activations into a normalized rotated basis with a predictable marginal distribution, enabling data-independent quantization. SoloQ combines a structured K-RPBH rotation with a lightweight rescaling correction for calibration-free quantization. Its predictable post-rotation distribution supports both distribution-matched codebooks and hardware-native NVFP4. For block-diffusion models, SoloQ further applies commit-time KV-cache quantization to compress persistent states without perturbing the actively denoised block. Across full-sequence dLLMs (LLaDA and Dream) and block-diffusion dLLMs(Fast-dLLM v2 and Nemotron-Labs-Diffusion), SoloQ retains accuracy under 4-bit quantization and outperforms calibration-based baselines on knowledge- and reasoning-intensive benchmarks. With NVFP4, SoloQ reduces peak memory by up to 2.61X and accelerates end-to-end inference by up to 2.24X.

中文摘要

摘要：扩散大语言模型（dLLMs）通过基于双向扩散的标记生成，已成为自回归语言模型的有前景替代方案。然而，它们不断增长的模型规模和高推理成本使得高效部署具有挑战性：全序列去噪需要反复调用计算密集的前向传播，而块扩散模型额外引入了内存密集型的KV缓存。因此，低位权重-激活量化具有吸引力，但现有的dLLM后训练量化方法依赖于校准数据，尽管激活分布会随着遮蔽状态和去噪步骤的变化而发生偏移。我们提出了SoloQ，这是一种无需校准的量化框架，将权重和激活映射到具有可预测边际分布的标准化旋转基上，实现数据独立的量化。SoloQ结合了结构化的K-RPBH旋转与轻量级的重新缩放校正，实现无需校准的量化。其可预测的旋转后分布支持分布匹配的码本以及硬件原生的NVFP4。对于块扩散模型，SoloQ进一步应用提交时KV缓存量化，以压缩持久状态而不干扰正在去噪的块。在全序列dLLMs（LLaDA和Dream）和块扩散dLLMs（Fast-dLLM v2和Nemotron-Labs-Diffusion）中，SoloQ在4位量化下保持精度，并在知识和推理密集型基准上优于基于校准的基线方法。使用NVFP4时，SoloQ将峰值内存减少最多达2.61倍，并将端到端推理加速最多提升至2.24倍。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07121 (HTTP 429)

Authors: Donghyun Lee,Arkapravo Ghosh,Varun Manjunath,Bumjoon Kyle Rhee,Hyunho Kook,Shiting Xiao,Youngeun Kim,Priyadarshini Panda

Categories:

PDF URL: https://arxiv.org/pdf/2610.07121.pdf

Arxiv URL: https://arxiv.org/abs/2610.07121

Arxiv ID: 2610.07121

CoolPaper URL: https://papers.cool/arxiv/2610.07121

Published: 2026-10-12T02:39:07.272Z

Updated: 2026-10-12T02:39:07.272Z

2. RSI-Anything: Unlocking Recursive Self-Improvement with World Models

Abstract:Recursive self-improvement (RSI) aims to transform interaction experience into persistent improvements, yet external feedback is costly and world-model predictions may become unreliable as policies evolve. We introduce RSI-Anything, a domain-general framework built on JEPA-Anything that uses predictive world models to guide action and learning-data selection. Observed feedback drives policy or workflow improvement and conditional world-model adaptation, while component and compatibility checks govern the retention of updated policy-model pairs. Across diverse computational and scientific domains, RSI-Anything demonstrates substantial gains. In code repair, with the coder fixed, success increases from 26.3% with a static verifier to 29.2% through predictive selection and 31.2% after world-model adaptation, at comparable test usage. Graphical user interface (GUI) evaluations showed higher task completion, while average actions decrease by 39.4%. Across five successive policy versions, laboratory-planning scores more than double from 21.80% to 46.01%. In reaction optimization, RSI-Anything achieves 96.15% mean best observed yield versus 82.16% for Bayesian optimization under the same 40-experiment budget. An end-to-end immune-science application further connects workflow evolution and predictive modeling with therapeutic hypothesis generation. These results demonstrate how predictive world models and retained system updates enable recursive improvement across diverse environments.

中文摘要

摘要：递归自我改进（RSI）旨在将交互体验转化为持续的改进，但外部反馈成本高昂，且随着策略演化，世界模型的预测可能变得不可靠。我们提出了RSI-Anything，这是一个基于JEPA-Anything构建的通用框架，使用预测性世界模型来指导行动和学习数据的选择。观测到的反馈推动策略或工作流改进以及条件性的世界模型适应，同时组件和兼容性检查管理更新后的策略-模型对的保留。在多种计算和科学领域，RSI-Anything展示了显著的收益。在代码修复中，当固定编码器时，通过静态验证器的成功率为26.3%，通过预测选择提高至29.2%，经过世界模型适应后提高至31.2%，在测试使用量相当的情况下。图形用户界面（GUI）评估显示任务完成率更高，而平均操作数减少了39.4%。在五个连续的策略版本中，实验室规划得分从21.80%翻倍到46.01%。在反应优化中，RSI-Anything在相同的40次实验预算下实现了96.15%的平均最佳观察产率，而贝叶斯优化为82.16%。一个端到端免疫科学应用进一步将工作流演化和预测建模与治疗假说生成相连接。这些结果表明，预测性世界模型和保留的系统更新如何在多样环境下实现递归改进。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13912

Authors: Taoyong Cui,Pinxian Zeng,Wanghan Xu,Hao Xiao,Shuhan Xue,Qiang Gao,Wanli Ouyang,Pheng Ann Heng,Zhenfei Yin,Yingcheng Wu,Ling Yang

Categories:

PDF URL: https://arxiv.org/pdf/2610.13912.pdf

Arxiv URL: https://arxiv.org/abs/2610.13912

Arxiv ID: 2610.13912

CoolPaper URL: https://papers.cool/arxiv/2610.13912

Published: 2026-10-12T02:39:07.250Z

Updated: 2026-10-12T02:39:07.250Z

3. PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence

Abstract:Optical Character Recognition (OCR) is evolving from plain-text transcription toward general visual intelligence, requiring models to recognize, localize, and reason over textual information in complex visual environments. However, existing OCR systems often excel at only some tasks and struggle to balance recognition, parsing, and reasoning across scenarios. In this report, we present PolyOCR, a family of unified OCR foundation models of varying scales. PolyOCR combines a shared instruction-following framework with a large-scale data engine that converts heterogeneous visual resources into quality-verified OCR supervision. We introduce Competence-Guided Policy Optimization, which combines verifier-based Group Relative Policy Optimization with on-policy distillation through sample-wise routing based on teacher reliability and the teacher—student competence gap. We also introduce OCRBench v2.1, our revision of OCRBench v2 with manually verified annotation corrections and task-aligned scoring metrics. Extensive experiments across OCRBench v2.1, CC-OCR, in-house KIE Benchmark, OmniDocBench v1.6 and MDPBench demonstrate that PolyOCR achieves state-of-the-art or highly competitive performance.

中文摘要

摘要：光学字符识别（OCR）正在从纯文本转录发展为通用视觉智能，这需要模型在复杂视觉环境中识别、定位并推理文本信息。然而，现有的OCR系统通常仅在某些任务上表现出色，并且在跨场景平衡识别、解析和推理方面存在困难。在本报告中，我们提出了PolyOCR，一系列不同规模的统一OCR基础模型。PolyOCR结合了共享的指令遵循框架与大规模数据引擎，该引擎将异构视觉资源转化为高质量验证的OCR监督。我们引入了能力指导策略优化（Competence-Guided Policy Optimization），该方法结合了基于验证器的群体相对策略优化（Group Relative Policy Optimization）以及通过基于教师可靠性和师生能力差距的样本路由进行的在策略蒸馏。我们还推出了OCRBench v2.1，这是对OCRBench v2的修订，包含了人工验证的注释修正和任务对齐的评分指标。在OCRBench v2.1、CC-OCR、内部KIE基准、OmniDocBench v1.6和MDPBench上的大量实验表明，PolyOCR实现了最先进或极具竞争力的性能。

LLM Analysis

Q: 这篇论文试图解决什么问题？该论文旨在解决**OCR（光学字符识别）从孤立文本转录向通用文本中心视觉智能演进过程中面临的核心挑战**，具体可归纳为以下三个层面： ### 1. 现有OCR系统的能力碎片化问题当前OCR研究主要遵循两种范式，但均存在明显局限： - **专用OCR系统**：针对特定领域（如场景文字识别、文档解析、表格理解、结构化信息提取等）优化，其任务定义、架构、监督方案和输出格式高度专门化，导致能力发展碎片化，难以跨异构OCR场景迁移知识。 - **通用多模态大语言模型（MLLMs）**：虽提供统一接口和语义推理能力，但其OCR能力通常是在大规模多模态预训练中**隐式获得**的，而非针对细粒度文本中心任务系统优化。因此，在精确字符识别、密集文本感知、精确定位、结构化内容提取和文档级推理等方面表现不均衡。 ### 2. 统一OCR基础模型的训练难题构建单一模型覆盖异构OCR能力面临严峻的训练挑战： - **任务异质性**：文本识别要求精确序列生成，定位需要空间 grounded 预测，结构化提取要求严格的格式一致性，OCR-centric 推理强调语义理解。这些任务在视觉复杂度、输出结构、监督粒度和优化目标上差异巨大。 - **学习动态失衡**：若采用固定采样策略或静态优化目标直接组合这些任务，容易导致主导任务（数据量大或优化难度低的任务）压制欠表示或难度较高的能力。 - **迁移与干扰并存**：多任务学习中，正迁移与任务干扰共存；而顺序适应则可能导致对已获得能力的**灾难性遗忘**。 ### 3. 数据覆盖不足与质量控制的挑战自然可用的OCR数据集通常为单一任务构建，导致： - 能力覆盖不均衡，如空间 grounded 双语翻译、模板化关键信息提取（KIE）、中文文档与表格解析、场景文字定位、OCR-centric 推理等长尾能力缺乏高质量监督。 - 异构数据源的标注质量、格式和语义一致性难以保证。 --- ### 论文提出的解决思路为应对上述问题，论文提出了 **PolyOCR**，一个统一OCR基础模型家族，核心贡献包括： - **统一生成框架**：将异构OCR任务（识别、定位、文档解析、信息提取、视觉文本理解、OCR推理）重新表述为共享的指令遵循与自回归生成框架，通过统一接口生成文本、坐标、结构化记录、公式、翻译等。 - **大规模OCR数据引擎**：通过全谱系数据收集与针对性的可控合成/模型辅助标注，填补长尾能力的数据缺口，并建立跨流程质量控制。 - **能力感知后训练（CGPO）**：提出 **Competence-Guided Policy Optimization**，结合基于验证器的 Group Relative Policy Optimization（GRPO）与基于能力差距的动态 on-policy 蒸馏，根据教师模型的可靠性和教师-学生能力边界自适应分配监督信号，以平衡异构任务学习并防止灾难性遗忘。 Q2: 有哪些相关研究？根据论文第2节，相关研究可从以下四个维度进行梳理： ### 2.1 专用OCR系统（Specialized OCR Systems）传统OCR长期沿任务特定的形式发展，主要包括： - **检测与识别流水线**：早期系统通常将文本定位、视觉识别和后处理独立优化，代表性工作包括场景文本检测器 **EAST**（Zhou et al., 2017）和识别网络 **CRNN**（Shi et al., 2016）。 - **基于Transformer的识别**：**TrOCR**（Li et al., 2023）与 **PARSeq**（Bautista and Atienza, 2022）通过大规模预训练与序列建模提升识别精度。 - **扩展任务**：涵盖手写识别、多语言文本理解、公式识别、文本发现（text spotting）及结构化信息提取等。这些系统虽然能在特定域内取得强劲性能，但其架构、监督格式、解码机制与评估协议高度专门化，导致知识难以在不同OCR任务间迁移。 ### 2.2 文档智能模型（Document Intelligence Models）文档智能将OCR从孤立识别推向页面级理解，研究脉络包括： - **多模态联合建模**：**LayoutLM** 与 **LayoutLMv3**（Xu et al., 2020; Huang et al., 2022）联合建模文本、视觉与空间信息。 - **OCR-free文档理解**：**Donut**（Kim et al., 2022）提出基于图像到序列生成的端到端框架；**Nougat**（Blecher et al., 2024）专注于将科学文档转换为结构化标记。 - **近期解析系统**：**MonkeyOCR**、**Dolphin**、**MinerU2.5** 与 **PaddleOCR-VL**（Cui et al., 2025a; Zhang et al., 2026b; Wang et al., 2026a）通过结构感知建模与大规模多模态训练提升全页理解。这类模型主要聚焦页面级场景，在自然场景文本感知、多语言识别、区域条件理解及跨异构视觉环境的OCR推理等方面仍缺乏统一能力。 ### 2.3 面向OCR的视觉-语言基础模型（OCR-oriented Vision-Language Foundation Models） - **通用多模态大模型**：**Gemini**、**Qwen3-VL**、**InternVL3.5**、**Ovis2.5** 等采用指令遵循作为统一接口，但OCR能力通常作为辅助能力隐式获得，在细粒度字符识别、密集文本感知、精确定位与结构化提取上表现不均衡。 - **OCR专用视觉语言模型**：近期研究开始显式优化文本中心理解，包括： - **TextMonkey**（Liu et al., 2026）：通过OCR导向的视觉建模提升高分辨率文本感知与定位。 - **GOTOCR2.0**（Wei et al., 2024）：将OCR扩展至公式、表格、图表及区域条件理解。 - **HunyuanOCR**（Team et al., 2025; Li et al., 2026a）：集成文本发现、文档解析、信息提取、翻译与OCR问答。 - **OCRVerse**（Zhong et al., 2026）与 **Qianfan-OCR**（Dong et al., 2026）：进一步扩展任务覆盖与结构化视觉-文本理解。这些模型代表了从孤立OCR模块向统一生成式系统的重要过渡，但在优化目标上仍存在分化，尚需在异构OCR能力、平衡监督与自适应优化策略方面进一步整合。 ### 2.4 OCR数据构建与能力感知后训练（OCR Data Construction and Capability-aware Post-training） - **数据来源与合成**：现有工作通常结合人工标注数据集、网络文档、扫描书籍、自然场景图像、合成文本、渲染表格/公式、自动解析文档及模型生成指令数据（Cui et al., 2025b; Wang et al., 2026a; Dong et al., 2026）。合成生成与模型辅助标注对扩展长尾场景与结构化输出格式至关重要。 - **多任务监督微调（SFT）**：广泛用于对齐预训练多模态模型与异构OCR任务。 - **知识蒸馏与强化学习**：被探索用于提升识别精度、结构有效性与指令遵循能力。 - **近期训练先例**： - **olmOCR 2**（Poznanski et al., 2025）：使用可验证单元测试通过率作为GRPO奖励。 - **InfinityParser2**（Huang et al., 2026）：对八个文档与多模态任务执行联合强化学习，使用文本、空间与结构准确性的任务特定奖励。 - **OvisOCR2**（Lu et al., 2026）：通过on-policy蒸馏将经RL增强的4B教师迁移至0.8B学生。 - **广义知识蒸馏**：**GKD**（Agarwal et al., 2024）将强化学习与on-policy教师监督结合；后续方法使监督以观测结果为条件，如 **SCOPE**（Zheng et al., 2026）与 **Reward-Gated OPD**（Akhondzadeh et al., 2026）。 - **多任务自适应优化**：**TwSG/TL-GRPO**（Jiang et al., 2026c）、**GradNorm**（Chen et al., 2018）、**PCGrad**（Yu et al., 2020）、**DoReMi**（Xie et al., 2023）与 **Skill-it!**（Chen et al., 2023）等关注任务平衡、数据分配或课程设计，但未显式建模OCR后训练过程中教师与学生模型间的演化能力关系。 Q3: 论文如何解决这个问题？论文通过提出 **PolyOCR** 模型家族，从**统一任务形式化**、**大规模数据引擎**、**课程化监督微调**与**能力感知后训练**四个层面系统性地解决了上述挑战。 ### 1. 统一的指令遵循生成框架 PolyOCR 将异构的 OCR 及 OCR-centric 理解任务重新纳入一个共享的**指令遵循与自回归生成框架**。在此框架下，文本转录、空间坐标、结构化记录（JSON/HTML）、Markdown 文档、LaTeX 公式、翻译结果与开放式答案等均通过同一接口生成。该统一形式化打破了传统专用系统在架构与输出格式上的壁垒，使知识能够在文本识别、定位、文档解析、信息提取、视觉文本理解与 OCR 推理之间共享。 ### 2. 大规模 OCR 数据引擎为弥补现有公开数据集在能力覆盖与分布均衡上的不足，论文构建了一套由**全谱系数据收集**与**针对性数据合成**组成的数据引擎，最终产出约 6000 万条经质量验证的多任务监督数据。 #### 2.1 全谱系 OCR 数据收集按六大基础能力维度组织训练语料： - **文本识别**：场景文字、手写体、多语言、全页转录等； - **文本定位**：检测、定位、指代表达定位、区域条件识别、端到端 spotting； - **文档解析**：布局分析、阅读顺序恢复、全页解析、表格重建、图表解析、公式识别； - **信息提取**：实体抽取、关键信息提取（KIE）、键值关联、表单理解； - **视觉文本理解**：文档 VQA、图表/表格理解、文档分类、翻译； - **OCR 推理**：计数、数值计算、空间推理、多步推理。 #### 2.2 针对性合成与模型辅助标注针对公开资源稀缺的能力，论文设计了三条互补的合成流水线： - **场景文本与翻译合成**：对含文本的自然图像，使用 PP-OCRv6 与 LocateAnything 独立标注并交叉验证，保留空间与转录一致的实例；对无文本图像，通过可控渲染生成合成文本，控制字体、尺寸、颜色、畸变、模糊等参数。基于验证后的文本实例，进一步构建空间感知的汉英/英汉翻译监督。 - **结构化 KIE、文档与表格合成**： - KIE：将文档重建为可编辑 HTML/CSS，由语言模型替换键值内容后重新渲染，保持字段语义与布局约束； - 文档解析：对 PDF 页面进行视觉聚类与复杂度分层采样，使用 PaddleOCR-VL 与 MinerU2.5-Pro 独立解析并以输出一致性作为质量代理，低一致性样本由 Qwen-3.5 结合原始图像修正； - 表格：检测并分类表格样式（全框/无框/部分框），双模型解析后通过 TEDS 评分筛选，并由 Qwen-3.5 refine，保留完整页面级表格定位与 HTML 结构。 - **推理导向标注合成**： - 字符/实例计数：基于验证后的 OCR 标注，使用确定性模板构建计数指令与思维链（CoT），确保答案精确； - OCR-VQA：使用 DeepSeek-V4-Pro 基于验证标注生成复杂推理问题、解释与答案，并通过任务一致性校验过滤错误样本。 #### 2.3 跨流水线质量控制采用三种互补验证机制： - **基于一致性**：多识别器/解析器的独立预测交叉验证； - **结构感知**：检查坐标、HTML、Markdown、公式、键值记录的合法性与图像一致性； - **源 grounded**：验证翻译、问题、推理链与答案是否忠实于源标注。 ### 3. 课程化监督微调（Curriculum SFT） SFT 阶段将约 6000 万条实例按能力划分为四组：**文本感知（TP）**、**文档结构理解（DS）**、**OCR 理解与推理（OR）**、**通用多模态对齐（GA）**，占比分别为 32.5%、30.0%、22.5% 与 15.0%。训练采用三阶段课程： - **早期阶段**（20M 样本）：提高 TP 与 DS 权重（40.0% / 35.0%），优先建立基础感知与结构能力； - **中期阶段**（20M 样本）：恢复标准配比； - **晚期阶段**（20M 样本）：提升 OR 至 35.0%，强化推理与语义理解；GA 全程保持 15.0%。该课程确保模型在获取广泛 OCR 能力的同时，避免简单任务过度主导优化动态。 ### 4. 能力感知策略优化（Competence-Guided Policy Optimization, CGPO） SFT 建立了广泛的 OCR 能力，但其模仿目标未直接优化验证器定义的任务结果。论文提出 CGPO，将**基于验证器的 GRPO** 与**自适应 on-policy 蒸馏（OPD）** 动态结合，核心思想是：仅在教师质量高且对学生具有可复现优势时，才启用 token 级蒸馏。 #### 4.1 动机：GRPO 与固定 OPD 的局限 - **GRPO 的等奖励退化**：在密集文本中，若 8 个学生生成仅在关键数字上存在微小差异，其页面级编辑相似度奖励可能几乎相同（如 1 - 1/1000 = 0.999 ），导致组内相对优势趋于零，无法定位并修正局部错误。 - **固定 OPD 的风险**：教师分布可能包含局部错误；若学生已超越教师，固定权重的蒸馏反而会阻碍验证器引导的正确更新。 #### 4.2 能力估计对每条样本 x ，使用任务特定验证器 $R_τ(x, y, y^star) ∈

0,1
评估生成质量： - 教师能力：在优化前离线采样 K$ 条教师生成，计算缓存的均值奖励：
cT(x) = (1) / (K)∑(k=1)^K r_(T,k)(x)

**学生能力**：在 CGPO 中在线采样 G 条学生生成，计算：
cS(x) = (1) / (G)∑(i=1)^G r_(S,i)(x)
**能力差距**：
Delta(x) = c_T(x) - c_S(x)
4.3 离线路由校准在固定的校准划分上，通过独立集合 A （模拟有限生成）与 B （提供目标）分离输入与监督信号： - 使用 A 集估计 c_T^A(x) 与 Delta^A(x) ； - 使用独立 B 集估计两个目标：教师质量 q_T^B(x) 与调整平局后的教师胜出概率：

p(win)^B(x) = (1) / (|B_T||B_S|)∑(k ∈ BT)∑(i ∈ BS)[I(r(T,k) > r(S,i)) + (1) / (2)I(r(T,k) = r(S,i))]
拟合两个单调一维 sigmoid 映射：
q_T^A(x) = σ(a_T c_T^A(x) + b_T), quad p(win)^A(x) = σ(aDelta Delta^A(x) + b_Delta)
通过任务平衡的软标签二元交叉熵损失进行校准，约束斜率为正。拟合参数在 CGPO 阶段冻结。 #### 4.4 联合优化目标在线优化时，评估冻结映射得到 q_T(x) 与 p(win)(x) ，定义样本级路由系数：

α(x) = sg[qT(x) · (2p(win)(x) - 1)+]
其中 (z)+ = max(z, 0) ， sg 为停梯度算子。该系数满足： - 当 p(win) ≤ 0.5 时， α(x) = 0 ，完全禁用 OPD； - 当教师质量高且胜出概率大时， α(x) 趋近于 1。 OPD 在 student-generated prefix 上计算 token 级的 reverse KL：
L(OPD)(x, yS) = (1) / (|y_S|)∑(t=1)^(|yS|) D(KL)(pθ(· mid h_t) ,|, p_T(· mid h_t))
最终 CGPO 目标为：
L(CGPO)(x) = L(GRPO)(x) + λ , α(x) , L(OPD)(x)
该设计实现了监督的自适应过渡：初期学生对教师差距 Q4: 论文做了哪些实验？论文在第 5 节开展了一系列系统性实验，覆盖文本感知、空间定位、结构化文档解析、信息提取及 OCR 推理等多个维度。具体实验内容如下： —- ### 1. 评估设置与基准实验围绕三个模型变体展开： - **PolyOCR-2B** 与 **PolyOCR-9B**：基于 Qwen3.5 视觉-语言主干，统一训练框架。 - **PolyOCR-2.7B**：专用多语言配置，采用 1.2B ViT 视觉编码器与 1.5B Qwen2.5 文本解码器。评估使用五个代表性基准： - **OCRBench v2.1**：论文修订的双语综合 OCR 基准，覆盖 13 个能力类别。 - **CC-OCR**：实用 OCR 评估，包括多场景 OCR、文档解析与关键信息提取（KIE）。 - **OmniDocBench v1.6**：页面级文档解析，涵盖布局、表格、公式与阅读顺序。 - **In-house KIE Benchmark**：内部字段级信息提取基准，覆盖证书、身份证、录取通知书与国际护照。 - **MDPBench**：多语言文档解析基准，覆盖 17 种语言/文字组，区分数字文档与拍摄文档。对比基线涵盖通用多模态大模型（如 Qwen3-VL、GLM-4.6V-Flash、GPT-5.6-Sol、Gemini 系列等）与 OCR 专用系统（如 HunyuanOCR、Qianfan-OCR、OvisOCRv2、PaddleOCR-VL 等）。 —- ### 2. 跨基准总体性能对比表 3 汇总了 PolyOCR 在多个基准上的总体表现： - **PolyOCR-9B** 在 OCRBench v2.1 英文/中文设置下分别达到 **80.42** 与 **78.37**。 - 在 CC-OCR 上取得 **82.43**，在 OmniDocBench v1.6 上达到 **91.57**。 - 结果表明模型在异构 OCR 场景中保持了广泛且均衡的能力。 —- ### 3. OCRBench v2.1 细粒度评估表 4 提供了 13 个语言能力维度的细粒度分数，涵盖： - 文本识别（TR）、文本检测（TD）、文本发现（TS） - 关系提取（RE）、元素解析（EP） - 数学计算（MC）、视觉文本理解（VTU）、知识推理（KR）主要发现： - PolyOCR-9B 在英文文本识别（82.99）、文本检测（70.84）、元素解析（89.70）与视觉文本理解（87.58）等类别中排名第一。 - 在中文元素解析（86.86）中同样排名第一，展示了在结构化解析上的优势。 —- ### 4. CC-OCR 评估表 5 报告了三个实用任务轨迹的表现： - **文档解析（Doc Parsing）** - **关键信息提取（KIE）** - **多场景 OCR（Multi-Scene OCR）** PolyOCR-9B 在整体得分 **82.43** 上表现最佳，其中： - 文档解析得分 **71.71**（最高） - KIE 得分 **94.02**（最高）验证了统一框架在结构化预测与视觉文本理解上的有效性。 —- ### 5. OmniDocBench v1.6 文档解析评估表 6 考察了复杂页面布局下的解析能力，采用两种测试模式： | 模式 | 说明 | 复合得分 | |—-|—-|—-| | **直接全页解析** | 模型直接处理整页图像 | **91.57** | | **布局引导流水线** | 先用 PP-DocLayoutV3 检测布局与阅读顺序，再对裁剪区域解析并组装为 Markdown | **95.52** | 在布局引导模式下，各项指标均有提升，尤其： - 公式识别 CDM 从 **91.71** 提升至 **96.30** - 表格解析 TEDS 从 **88.67** 提升至 **93.56** 这表明 PolyOCR 作为统一的文档组件解析器，可与布局分析模块协同实现领先的页面级解析性能。 —- ### 6. 内部 KIE 基准评估表 7 展示了在四种真实文档图像上的字段级 F1（%）： - 学信网证书（Xuexin） - 身份证（Identity Card） - 录取通知书（Admission Notice） - 国际护照（Passport） PolyOCR-9B 在整体 F1 上达到 **93.60%**，超越所有参评模型（包括 GPT-5.6-Sol 的 90.98% 与 Qwen3.6-35B-A3B 的 89.17%）。其中： - 录取通知书上取得 **88.35%**（最高） - 学信网证书上 **95.40%**，略低于 PolyOCR-2B（95.53%），但两者均领先其他基线 —- ### 7. MDPBench 多语言文档解析评估表 8 评估了多语言文档解析能力。PolyOCR-2.7B 在 17 个语言/文字组中的表现包括： - **总体得分**：**87.0%**，领先 GPT-5.6-Sol（86.6%）与 Gemini-3-Pro（86.4%）。 - **数字文档**：**91.0%** - **拍摄文档**：**85.6%** - **拉丁语系平均**：**88.8%** - **非拉丁语系平均**：**84.9%** 在个别语言上，PolyOCR-2.7B 在西班牙语、法语、荷兰语、越南语、日语与繁体中文等 6 个组别中取得最高分，并在 17 个组中的 12 个排名前两。 —- ### 8. CGPO 消融实验为验证 **Competence-Guided Policy Optimization** 的有效性，论文对比了五种后训练配置（表 9），所有变体从同一 SFT 检查点初始化： | 配置 | OCRBench v2.1 (en/zh) | CC-OCR | OmniDocBench | |—-|—-|—-|—-| | SFT 检查点 | 72.08 / 74.71 | 79.46 | 89.72 | | + GRPO | 74.63 / 76.24 | 81.72 | 90.54 | | + OPD | 73.84 / 75.77 | 80.91 | 90.69 | | + GRPO + OPD（固定权重） | 75.42 / 77.08 | 82.18 | 91.16 | | + GRPO + OPD（余弦衰减） | 78.23 / 76.31 | 82.32 | 90.12 | | **+ CGPO（本文）** | **80.42 / 78.37** | **82.43** | **91.57** | 关键结论： - 纯 GRPO 相比 SFT 有显著提升，说明基于验证器的策略优化有效。 - 固定权重 OPD 与 GRPO 结合进一步改善性能。 - **CGPO 在所有三个基准上均取得最高分**，相比固定权重 OPD 提升 OCRBench v2.1 英文/中文分别达 2.19 与 2.06 分，相比余弦衰减 OPD 也有明显优势。此外，图 5 分析了 CGPO 路由系数的动态行为： - 观察到的 α(x) 虽存在局部波动，但其指数移动平均在训练过程中逐渐下降。 - 训练后期，零权重决策（即 p_(win) ≤ 0.5 ）变得更加频繁，表明蒸馏权重随学生能力增长而自适应降低，验证了 CGPO 的路由机制符合设计预期。路由系数的解析面由以下公式刻画：

α(x) = sg[qT(x) · (2p(win)(x) - 1)+]
该表面显示：只有当教师质量 q_T(x) 与胜出概率 p(win)(x) 均较高时，OPD 才会获得显著权重；反之则被抑制。 Q5: 有什么可以进一步探索的点？基于论文的实验结果与讨论，以下几个方面可作为后续研究的重要探索方向： ### 1. 基础 OCR 能力的精细化增强论文结论明确指出，需进一步**强化细粒度文本感知、定位与识别**。尽管 PolyOCR-9B 在文本识别与检测上表现领先（OCRBench v2.1 英文 TR 82.99，TD 70.84），但在高分辨率密集场景、极端长宽比文本、极小字号或严重形变的自然场景文字上，仍存在优化空间。未来可探索： - 更高分辨率或自适应分辨率的视觉编码策略； - 针对字符级精细对齐的显式建模，而非仅依赖序列级生成。 ### 2. 复杂推理与深层语义理解从 OCRBench v2.1 细粒度结果看，PolyOCR-9B 在**数学计算（MC: 68.15）**与**中文视觉文本理解（VTU: 60.50）**上距离顶尖基线（如 Doubao-Seed-2.0-Lite 的 82.66 与 83.43）仍有显著差距。这暗示模型在“感知后推理”方面的不足。未来可探索： - 将 OCR-centric CoT（思维链）数据规模扩大并提升多样性； - 显式引入符号推理或程序执行机制（如调用外部计算工具），以弥合视觉文本读取与数值/逻辑推理之间的鸿沟。 ### 3. 真实世界环境的鲁棒性与泛化性论文提到，提升 OCR 基础模型在**多样化且复杂的真实环境**中的泛化性与鲁棒性仍是关键方向。具体包括： - **拍摄文档退化**：低光照、透视畸变、运动模糊、多语言混杂等场景下的稳定识别； - **开放域布局**：对训练时未见过的极端复杂或非标准版式（如手写批注重叠、印章遮挡、任意角度拍摄）的零样本泛化； - **领域自适应**：从合成/半合成数据向真实领域迁移时的鲁棒性，减少域差距（domain gap）。 ### 4. 低资源与复杂文字系统的多语言扩展 PolyOCR-2.7B 虽在 MDPBench 的 17 个语言/文字组中表现领先，但观察表 8 可见，在**阿拉伯语（AR: 84.5）**、**印地语（HI: 84.1）**等非拉丁文字上的得分仍明显低于拉丁语系平均（88.8）。未来工作可针对： - 低资源语言的监督数据获取与合成； - 从右至左、上下混排、字符粘连或带有丰富变音符号的文字系统（如阿拉伯语、泰语、印地语）的显式结构建模； - 跨文字系统的知识迁移机制。 ### 5. 蒸馏与策略优化的细粒度改进 CGPO 目前仅在**样本级别**进行能力差距估计与路由。论文也指出，局部教师错误仍可能隐藏于高聚合奖励的样本中。后续可探索： - **子任务或 token 级别的能力估计**：在解码序列内部区分“教师可靠片段”与“教师不确定片段”，实现更细粒度的蒸馏掩码； - **在线教师更新**：当前教师为冻结的离线大模型（Qwen3.5-122B-A10B），未来可研究轻量级“在线教师”或集成教师，使其随学生演进而动态调整； - **多教师路由**：针对不同 OCR 能力维度（如公式 vs. 表格）引入领域专家教师，通过任务感知的门控网络选择监督来源。 ### 6. 合成数据引擎的域迁移与质量控制论文中的合成流水线极大扩展了长尾数据覆盖，但渲染文档与真实拍摄文档之间仍存在视觉域差异。可进一步探索： - **物理感知渲染**：引入更逼真的纸张纹理、光照、镜头畸变与压缩伪影模拟，缩小合成-真实差距； - **闭环数据引擎**：将模型在真实场景中的错误案例自动回流至数据合成模块，迭代生成“hard negative”训练样本； - **自动质量验证的自动化程度提升**：减少对人类标注或强模型（如 GPT/DeepSeek）修正的依赖，建立可扩展的自举（bootstrapping）验证体系。 ### 7. 模型效率与边缘部署 PolyOCR-2B 与 PolyOCR-9B 在性能上存在明显差距（如 OCRBench v2.1 英文 72.33 vs. 80.42）。为了在资源受限场景（如移动设备、边缘服务器）部署，未来可研究： - 针对 OCR 任务的**模型架构搜索**或**神经架构压缩**（如视觉编码器轻量化、语言模型知识蒸馏至更小解码器）； - **稀疏激活**或**专家混合（MoE）**架构，在保持参数规模可控的同时提升能力密度。 ### 8. 垂直领域与跨模态扩展当前 PolyOCR 主要覆盖通用文档与自然场景。未来可向更专业的领域延伸： - **垂直领域适配**：古籍文献、医学影像报告、工业仪表盘、法律文书等具有特殊术语、版式与质量退化模式的场景； - **时序 OCR 与视频理解**：将静态图像 OCR 扩展至视频字幕、动态文本跟踪与跨帧时序推理； - **跨模态统一**：结合语音、触觉或结构化数据库，构建能够“阅读”并“理解”嵌入在多模态上下文中的文本的通用智能体。 Q6: 总结一下论文的主要内容该论文介绍了 **PolyOCR-Venus**，一个面向文本中心视觉智能的统一 OCR 基础模型家族。以下从研究背景、方法框架、关键技术与实验结论四个维度进行总结。 —- ### 1. 研究背景与核心问题 OCR 正从传统的纯文本转录向通用的文本中心视觉智能演进，要求模型在复杂视觉环境中实现识别、定位与推理。现有工作存在两大局限： - **专用系统碎片化**：场景文字识别、文档解析、表格理解、信息提取等任务各自采用专门的架构、监督格式与评估协议，难以跨场景迁移知识。 - **通用多模态模型不均衡**：通用视觉-语言大模型（MLLMs）的 OCR 能力通常通过大规模多模态预训练**隐式获得**，在细粒度字符识别、密集文本感知、精确定位、结构化提取与文档级推理上表现参差不齐。此外，异构 OCR 任务在视觉复杂度、输出结构、监督粒度与优化目标上差异巨大，固定采样或静态损失加权易导致学习动态失衡，并引发灾难性遗忘。 —- ### 2. 统一生成框架与模型家族论文提出 **PolyOCR**，将文本识别、文本定位、文档解析、信息提取、视觉文本理解与 OCR 推理统一在**共享的指令遵循与自回归生成框架**下。该框架通过统一接口生成文本转录、空间坐标、结构化记录（JSON/HTML）、Markdown、LaTeX 公式、翻译及开放式答案，实现跨任务知识共享。模型家族包括： - **PolyOCR-2B / 9B**：基于 Qwen3.5 视觉-语言主干，分别面向轻量化与高性能场景。 - **PolyOCR-2.7B**：专用多语言配置，采用 1.2B ViT 视觉编码器与 1.5B Qwen2.5 文本解码器，针对 21 种语言/文字组优化。 —- ### 3. 大规模 OCR 数据引擎为弥补现有数据集在能力覆盖与分布均衡上的不足，论文构建了包含约 **6000 万条**实例的数据引擎，由两部分组成： #### 3.1 全谱系数据收集按六大能力维度组织语料： - 文本识别、文本定位、文档解析、信息提取、视觉文本理解、OCR 推理。 #### 3.2 针对性合成与模型辅助标注针对公开资源稀缺的长尾能力，设计三条互补流水线： - **场景文本与翻译合成**：真实图像交叉验证 + 可控渲染合成，构建带空间感知的双语翻译监督。 - **结构化 KIE / 文档 / 表格合成**：基于 HTML/CSS 模板替换与渲染、PDF 页面双模型一致性解析（PaddleOCR-VL & MinerU2.5-Pro）、表格检测-分类-解析与 TEDS 质量筛选。 - **推理导向合成**：基于验证标注确定性生成计数 CoT 数据，利用 DeepSeek-V4-Pro 构建复杂 OCR-VQA 的问答与推理链。质量控制采用**一致性验证、结构感知验证与源 Grounded 验证**三重机制。 —- ### 4. 课程化监督微调（SFT）训练分为三阶段课程： - **早期**：侧重文本感知（TP）与文档结构理解（DS），占比分别为 40.0% 与 35.0%。 - **中期**：恢复标准配比（TP 32.5% / DS 30.0% / OR 22.5% / GA 15.0%）。 - **晚期**：提升 OCR 理解与推理（OR）至 35.0%，强化语义与推理能力。 —- ### 5. 能力感知策略优化（CGPO） SFT 之后，论文提出 **Competence-Guided Policy Optimization**，结合验证器驱动的 GRPO 与**自适应 On-Policy 蒸馏（OPD）**，核心机制如下： - **能力估计**：对每条样本 x ，离线缓存教师模型（Qwen3.5-122B-A10B）的 K 次生成奖励均值 c_T(x) ；在线估计学生 G 次生成的奖励均值 c_S(x) ，定义能力差距 Delta(x) = c_T(x) - c_S(x) 。 - **离线路由校准**：在固定校准集上，通过独立划分集合 A （模拟有限生成）与 B （提供目标），拟合两个单调 sigmoid 映射：

qT(x) = σ(a_T c_T(x) + b_T), quad p(win)(x) = σ(aDelta Delta(x) + b_Delta)
分别估计教师独立质量与教师相对学生的可复现胜出概率。 - **样本级路由系数**：
α(x) = sg[q_T(x) · (2p(win)(x) - 1)+]
当 p(win) ≤ 0.5 时完全禁用 OPD；否则按教师质量与优势幅度加权。 - **联合目标**：
L(CGPO)(x) = L(GRPO)(x) + λ , α(x) , L_(OPD)(x)
该机制使蒸馏权重随学生能力演进而自适应衰减，既保留验证器引导的探索，又避免固定蒸馏对超越教师能力的阻碍。 —- ### 6. 实验结果论文在 OCRBench v2.1（修订版）、CC-OCR、OmniDocBench v1.6、内部 KIE 基准与 MDPBench 上进行了全面评估： | 基准 | PolyOCR-9B 核心结果 | |—-|—-| | **OCRBench v2.1** | 英文 80.42 / 中文 78.37（综合第一梯队） | | **CC-OCR** | 82.43（文档解析 71.71，KIE 94.02，均为最高） | | **OmniDocBench v1.6** | 91.57（直接全页）；布局引导流水线达 **95.52** | | **内部 KIE** | 整体 F1 **93.60%**，超越 GPT-5.6-Sol 与 Qwen3.6-35B-A3B | | **MDPBench** | PolyOCR-2.7B 总体 **87.0%**，领先所有对比基线 | 消融实验（表 9）表明，CGPO 在所有基准上均优于纯 GRPO、纯 OPD、固定权重 GRPO+OPD 以及余弦衰减 OPD，验证了样本级能力路由的有效性。 —- ### 7. 主要贡献 - **统一 OCR 基础模型**：提出首个在单一生成框架内整合识别、定位、解析、提取、理解与推理的 OCR 基础模型家族，并发布专用多语言变体。 - **大规模数据基础设施**：构建覆盖全谱系能力的数据引擎，贡献 OCRBench v2.1、CC-OCR、内部 KIE、OmniDocBench v1.6 与 MDPBench 等经过修正与对齐的评估基准。 - **自适应后训练框架**：提出 CGPO，通过离线校准的样本级能力路由动态协调 GRPO 与 OPD，有效平衡异构任务学习并缓解灾难性遗忘。 Q7: 想要进一步了解论文以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击这里为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: GuangJian Team,Kaili Huang,Yongshuo Zhang,Bingtao Fu,Changjiang Jiang,Chenfan Qu,Chenfeng Zhang,Fangming Cui,Gaoyang Zhang,Jiangwei Xie,Jianshu Li,Jing Huang,Jingwen Bai,Mingqi Fang,Tao Fang,Weihong Zhang,Wenbo Du,Xiongfei Bai,Xuekang Zhu,Yinan Xia,Zhenming Wang,Jian Liu,Jingjing Liu,Xiang Qi,Weiqiang Wang

Categories:

PDF URL: https://arxiv.org/pdf/2609.37712.pdf

Arxiv URL: https://arxiv.org/abs/2609.37712

Arxiv ID: 2609.37712

CoolPaper URL: https://papers.cool/arxiv/2609.37712

Published: 2026-10-12T02:39:07.327Z

Updated: 2026-10-12T02:39:07.327Z

4. ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

Abstract:Coding agents are increasingly used to build programs from scratch as software engineers do rather than to resolve issues within a repository or to generate a repository from a given requirements document. However, scalable verifiable training environments that force agents to discover what is required and to decide how the system should be designed remain scarce. Moreover, existing agent workflows also cannot sustain long-horizon development in which the agent explores the reference program before implementation. To address these challenges, we introduce ProgramGym, a framework consisting of Program-Env and Program-Agent for scalable training environments of long-horizon program reproduction agents. Specifically, Program-Env constructs verifiable training environments from repositories through a feedback-driven loop that repairs runtime sandbox builds and the quality of black-box tests. Using this novel pipeline, we obtain 1,648 training environments spanning C, C++, Go, and Rust. Program-Agent combines a role-isolated workflow of analysis, implementation, and review with revision management for compilation checks and failure recovery. Experiments on ProgramBench show that both Program-Env and Program-Agent improve performance on program reproduction. Fine-tuning on trajectories with these constructed environments raises the performance of Qwen3.8-27B from 34.87% to 42.84%. Program-Agent further raises the base and SFT models to 55.71% and 56.25%, both exceeding some flagship models. We will release the ProgramGym to support further research on coding agents that build programs from scratch.

中文摘要

摘要：编码智能体越来越多地被用于像软件工程师那样从零构建程序，而不是解决代码库中的问题或从给定的需求文档生成代码库。然而，用于强制智能体发现所需内容并决定系统应如何设计的可扩展可验证训练环境仍然稀缺。此外，现有的智能体工作流程也无法支持长周期开发，在这种开发中，智能体需要在实现之前探索参考程序。为应对这些挑战，我们引入了 ProgramGym，一个由 Program-Env 和 Program-Agent 构成的框架，用于长周期程序复现智能体的可扩展训练环境。具体来说，Program-Env 通过反馈驱动的循环从代码库构建可验证的训练环境，该循环可修复运行时沙箱构建和黑箱测试的质量。利用这一新颖的流水线，我们获得了涵盖 C、C++、Go 和 Rust 的 1,648 个训练环境。Program-Agent 将分析、实现和复审的角色隔离工作流程与编译检查和故障恢复的修订管理相结合。在 ProgramBench 上的实验表明，Program-Env 和 Program-Agent 都提高了程序复现的性能。在这些构建环境的轨迹上进行微调，将 Qwen3.8-27B 的性能从 34.87% 提升至 42.84%。Program-Agent 进一步将基础模型和 SFT 模型提升到 55.71% 和 56.25%，均超过了一些旗舰模型。我们将发布 ProgramGym，以支持进一步研究从零构建程序的编码智能体。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13395

Authors: Chengyi Yang,Renxu Bao,Jue Hou,Zongpei Teng,Ziheng Wang,Yujie Lin,Chengsong Huang,Junnan Zhu,Delai Qiu,Yining Wang,Shengping Liu,Fei Long,Jinsong Su

Categories:

PDF URL: https://arxiv.org/pdf/2610.13395.pdf

Arxiv URL: https://arxiv.org/abs/2610.13395

Arxiv ID: 2610.13395

CoolPaper URL: https://papers.cool/arxiv/2610.13395

Published: 2026-10-12T02:39:07.305Z

Updated: 2026-10-12T02:39:07.305Z

5. Learning Representations to Guide Pixel Diffusion Transformers

Abstract:Visual representations are largely developed for understanding, yet what makes them useful for generation remains unclear. We study this question in pixel diffusion transformers and uncover two key insights. First, better representation quality does not necessarily translate into greater generative utility, as externally aligned semantics can be progressively lost during pixel synthesis. Second, architectural separation with specialized pixel decoders mainly redistributes semantic and spatial modeling, without necessarily yielding representations better suited to generation. These insights suggest that a useful generative representation must be both properly formed and actively exploited. Motivated by these insights, we introduce Representation Guidance (RG), which directly forms and exploits internal representations while retaining a plain Transformer architecture. A low-dimensional bottleneck forces generation-relevant information into a compact representation, which is then explicitly used to guide decoder generation by modifying the flow-matching target according to its induced prediction offset. RG learns clearer semantic and spatial structure while scaling efficiently in both parameters and computation. On ImageNet 256x256, RG-L/16 with only 459M parameters outperforms substantially larger pixel diffusion transformers, while RG-XL/16 achieves an FID of 1.55. RG further reaches an FID of 1.74 at 512x512 and extends to text-to-image generation, achieving 0.89 on GenEval and 87.1 on DPG-Bench.

中文摘要

摘要：视觉表示主要是为理解而开发的，但是什么使它们对生成有用仍不清楚。我们在像素扩散变换器中研究了这个问题，并发现了两个关键见解。首先，更好的表示质量不一定能转化为更高的生成效用，因为在像素合成过程中，外部对齐的语义可能会逐步丧失。其次，通过专用像素解码器进行的架构分离主要是重分配语义和空间建模，而不一定能产生更适合生成的表示。这些见解表明，有用的生成表示必须既正确形成，又被积极利用。受这些见解的启发，我们引入了表示引导（RG），它在保持普通变换器架构的同时，直接形成并利用内部表示。低维瓶颈迫使生成相关的信息进入紧凑表示，然后通过根据其引导的预测偏差修改流匹配目标来明确地指导解码器生成。RG 学习更清晰的语义和空间结构，同时在参数和计算上高效扩展。在 ImageNet 256x256 上，仅使用 4.59 亿参数的 RG-L/16 表现优于体积大得多的像素扩散变换器，而 RG-XL/16 达到 FID 为 1.55。RG 在 512x512 分辨率下进一步达到 FID 1.74，并扩展到文本到图像生成，在 GenEval 上达到 0.89，在 DPG-Bench 上达到 87.1。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.12978

Authors: Zihao Pan,Mengting Chen,Cheng Shi,Taihang Hu,Zhengrong Yue,Zikang Wang,Yuan Wang,Wei Li,Sibei Yang

Categories:

PDF URL: https://arxiv.org/pdf/2610.12978.pdf

Arxiv URL: https://arxiv.org/abs/2610.12978

Arxiv ID: 2610.12978

CoolPaper URL: https://papers.cool/arxiv/2610.12978

Published: 2026-10-12T02:39:07.318Z

Updated: 2026-10-12T02:39:07.318Z

6. Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

Abstract:Recent joint video-audio generation models have achieved strong semantic correspondence and temporal synchronization. However, applications such as AR/VR and interactive gaming further require stereo audio to provide an immersive sense, which remains largely overlooked. Effective stereo audio requires the perceived sound location to evolve consistently with the motion of its corresponding visual source. We refer to this property as Dynamic Spatial Correspondence and propose StereoBind, a framework that binds visual source motion to stereo sound generation. StereoBind uses motion tracks to coordinate visual motion and stereo audio through three complementary mechanisms. Visual Motion Binding establishes source-aware audiovisual correspondence, the Spatial Track Encoder captures absolute source positions, and Residual Track RoPE models relative motion. For supervision and evaluation, we construct StereoWorld-29K, a large-scale stereo audio-video dataset with paired motion tracks, and StereoWorldBench for measuring audiovisual spatial consistency. Experiments show that StereoBind substantially improves spatial alignment in stereo audio generation over existing models while preserving overall audiovisual quality.

中文摘要

摘要：近年来的联合视频-音频生成模型在语义对应和时间同步方面取得了较强的效果。然而，增强现实/虚拟现实（AR/VR）和互动游戏等应用进一步要求立体声以提供沉浸式体验，这在很大程度上仍被忽视。高效的立体声音频要求感知到的声音位置随其对应视觉源的运动而一致变化。我们将这一特性称为动态空间对应，并提出了StereoBind，一个将视觉源运动与立体声生成绑定的框架。StereoBind通过三种互补机制使用运动轨迹协调视觉运动和立体声音频。视觉运动绑定建立了源感知的视听对应，空间轨迹编码器捕获绝对源位置，残差轨迹RoPE建模相对运动。在监督和评估方面，我们构建了StereoWorld-29K，一个具有配对运动轨迹的大规模立体声视频数据集，以及用于衡量视听空间一致性的StereoWorldBench。实验表明，StereoBind在立体声生成中的空间对齐显著优于现有模型，同时保持整体视听质量。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.38748 (HTTP 429)

Authors: Hanmo Chen,Chengcheng Liu,Tianxiao Chen,Zheyu Zhang,Siming Zheng,Jinwei Chen,Xu Yang,Cheng Deng,Bo Li,Peng-tao Jiang

Categories:

PDF URL: https://arxiv.org/pdf/2609.38748.pdf

Arxiv URL: https://arxiv.org/abs/2609.38748

Arxiv ID: 2609.38748

CoolPaper URL: https://papers.cool/arxiv/2609.38748

Published: 2026-10-12T02:39:10.701Z

Updated: 2026-10-12T02:39:10.701Z

7. Rethinking Relative Policy Differences Transfer of On-Policy Distillation

Abstract:On-policy distillation (OPD) trains a target policy on its own rollouts using token-level supervision from a stronger teacher, but typically relies on the teacher being substantially more capable than the target. Recent work relaxes this requirement by transferring the relative policy difference between an expert and a reference policy rather than the expert’s absolute distribution. Yet it remains unclear which differences provide useful supervision and which targets can benefit from them. We develop a unified view in which the log-probability ratio between a proxy expert and a proxy reference defines an implicit reward for KL-regularized policy optimization. This formulation induces an on-policy update for the target, recovers conventional OPD as a special case, and enables any-to-any transfer across models that differ in scale, training stage or generation. Our systematic experiments yield three findings. First, a stronger expert is not necessarily a better source of supervision: differences induced by task-specific training, including reinforcement learning and supervised fine-tuning, transfer consistently, whereas those arising from model scale alone transfer weakly or not at all. Second, the expert and reference serve complementary roles: the expert provides the capability to be transferred, while the reference filters out shared behavior and isolates the relevant residual. Third, even a useful difference does not transfer to every target: success requires the induced update to move the target toward the expert and generalize beyond sampled rollouts. Raw policy distance does not predict transferability, whereas an appropriate reference can rescue otherwise unsuccessful transfer. These results characterize when relative policy differences provide effective supervision for OPD.

中文摘要

摘要：On-policy 蒸馏（OPD）使用来自更强教师的逐令牌监督，在自身的展开中训练目标策略，但通常依赖于教师明显比目标更强。近期的工作通过转移专家与参考策略之间的相对策略差异，而不是专家的绝对分布，来放宽这一要求。然而，哪些差异能提供有用的监督以及哪些目标可以从中受益仍不清楚。我们提出了一个统一的视角，其中代理专家与代理参考之间的对数概率比定义了 KL 正则化策略优化的隐式奖励。该公式引导目标进行 on-policy 更新，恢复传统 OPD 作为特例，并支持跨模型进行任意规模、训练阶段或生成模式的任意传递。我们的系统实验得出了三个发现。首先，更强的专家不一定是更好的监督来源：由任务特定训练引发的差异，包括强化学习和监督微调，一直可以转移，而仅由模型规模引起的差异转移能力弱甚至无法转移。其次，专家和参考起互补作用：专家提供可转移的能力，而参考过滤掉共享行为并隔离相关的残余。第三，即使是有用的差异也并非对每个目标都能转移成功：成功需要引导的更新使目标朝向专家并在采样展开之外实现泛化。原始策略距离不能预测可转移性，而适当的参考可以挽救原本不成功的转移。这些结果表明了相对策略差异何时可以为 OPD 提供有效监督。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13205

Authors: Rong Wu,Daocheng Fu,Yu Yang,Xuemeng Yang,Siqi Li,Shu Zou,Yao Zhu,Botian Shi,Bo Zhang,Cong Zhang,Pinlong Cai,Jianbiao Mei

Categories:

PDF URL: https://arxiv.org/pdf/2610.13205.pdf

Arxiv URL: https://arxiv.org/abs/2610.13205

Arxiv ID: 2610.13205

CoolPaper URL: https://papers.cool/arxiv/2610.13205

Published: 2026-10-12T02:39:16.926Z

Updated: 2026-10-12T02:39:16.926Z

8. EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents

Abstract:Continual learning requires models to accumulate past experience and transfer it to new tasks. Despite substantial research on continual learning, existing work remains largely confined to non-embodied settings, without extending to embodied environments. To address this gap, we introduce EmbodiedCLBench, the first benchmark in embodied simulation for evaluating the continual learning capability of self-evolving agents. With compositional generalization as the core evaluation principle, our benchmark evaluates whether agents can first learn from basic tasks and then recombine the acquired skills to solve complex, unseen advanced tasks. Based on EmbodiedCLBench, we conduct extensive experiments across multiple agent harnesses and learning methods, revealing consistent limitations and distinctive behaviors. Our results show that while advanced tasks can be hardly solved under zero-shot setting, the experience from basic tasks enables consistent improvement. Such benefit from the experience remains stable even if the task complexity increases. However, this improvement does not scale accordingly with the number of learning samples, and current agents cannot extract meaningful information from additional experience. Collectively, our findings highlight continual learning as a fundamental yet underexplored capability, and our benchmark offers valuable resources for designing effective self-evolving agents in embodied environments. Our code and dataset are available at this https URL.

中文摘要

摘要：持续学习要求模型积累过去的经验并将其转移到新任务中。尽管在持续学习方面已有大量研究，但现有工作仍主要局限于非具身环境，未扩展到具身环境。为了解决这一空白，我们引入了EmbodiedCLBench，这是第一个在具身模拟中用于评估自我进化智能体持续学习能力的基准。以组合泛化作为核心评估原则，我们的基准评估智能体是否能够先从基础任务中学习，然后将所获得的技能重新组合以解决复杂的、未见过的高级任务。基于EmbodiedCLBench，我们在多种智能体框架和学习方法上进行了广泛的实验，揭示了持续存在的局限性和独特行为。我们的结果表明，在零样本设置下，高级任务几乎无法解决，但基础任务的经验能够带来持续改进。这种经验带来的益处即使在任务复杂度增加时也保持稳定。然而，这种改进并未随着学习样本数量的增加而相应提升，当前的智能体无法从额外经验中提取有意义的信息。总体而言，我们的研究结果凸显了持续学习作为一种基本但尚未充分探索的能力，而我们的基准为在具身环境中设计高效自我进化智能体提供了宝贵资源。我们的代码和数据集可在此https链接获得。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13021

Authors: Jie Huang,Yanan Chen,Ruixun Liu,Kaichen He,Xinyi He,Rui Huang,Zilong Zheng,Zhenliang Zhang,Yiwu Zhong

Categories:

PDF URL: https://arxiv.org/pdf/2610.13021.pdf

Arxiv URL: https://arxiv.org/abs/2610.13021

Arxiv ID: 2610.13021

CoolPaper URL: https://papers.cool/arxiv/2610.13021

Published: 2026-10-12T02:39:18.418Z

Updated: 2026-10-12T02:39:18.418Z

9. Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression

Abstract:Reward modeling often requires jointly representing and reasoning over multiple evaluation criteria, yet verbalizing this process token by token can incur substantial inference cost. Recent work on latent reasoning suggests that continuous states may support this computation more compactly. We introduce LatentGRM, a latent evaluation framework built on semantic chunking, compression, and reconstruction. By using the structure of rubric-guided evaluations to guide compression, LatentGRM learns compact continuous trajectories that support autonomous pairwise judgments without generating textual assessments. A separate interpreter reconstructs evaluation text from these trajectories, providing an offline view of the information retained under compression. Under matched training data and backbones, LatentGRM achieves competitive aggregate preference accuracy relative to explicit Supervised Fine-Tuning (SFT) judges at both 4B and 8B scales. Across four benchmark domains, LatentGRM-8B compresses evaluation trajectories by 8.9—9.2x and reduces total judge inference time by 6.1—7.0x at vote@5. Controlled rubric interventions show that criterion-dependent preference information is carried through the latent sequence. Together, these results demonstrate that continuous latent evaluation can substantially reduce inference cost while preserving competitive judgment quality.

中文摘要

摘要：奖励建模通常需要对多个评估标准进行联合表示和推理，但逐个标记地将这一过程语言化可能会带来大量推理成本。最近关于潜在推理的研究表明，连续状态可能更紧凑地支持这种计算。我们引入了 LatentGRM，一种基于语义分块、压缩和重构的潜在评估框架。通过使用评分表指导的评估结构来引导压缩，LatentGRM 学习到紧凑的连续轨迹，支持自主的成对判断，而无需生成文本评估。一个独立的解释器从这些轨迹重构评估文本，从而提供压缩下所保留信息的离线视图。在匹配的训练数据和模型骨干下，LatentGRM 在 4B 和 8B 规模下相对于显式监督微调（SFT）评审，实现了具有竞争力的总体偏好准确率。在四个基准领域中，LatentGRM-8B 将评估轨迹压缩了 8.9–9.2 倍，并在 vote@5 下将评审总推理时间减少了 6.1–7.0 倍。受控的评分表干预显示，依赖于标准的偏好信息能够通过潜在序列传递。综上，这些结果表明，连续潜在评估可以在保持竞争力评判质量的同时，大幅降低推理成本。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.09788 (HTTP 429)

Authors: Mingqing Yuan,Xiaobo Liang,Junwei Yang,Ziwei Chen,Zeren Zhang,Hejin Wang,Yubin Wang,Juntao Li

Categories:

PDF URL: https://arxiv.org/pdf/2610.09788.pdf

Arxiv URL: https://arxiv.org/abs/2610.09788

Arxiv ID: 2610.09788

CoolPaper URL: https://papers.cool/arxiv/2610.09788

Published: 2026-10-12T02:39:18.442Z

Updated: 2026-10-12T02:39:18.442Z

10. AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

Abstract:Evaluating large language models (LLMs) on AMLworld’s smallest test splits is costly because each of over a million targets requires a separate graph prompt. Sampling reduces this cost, but small balanced subsets change unweighted precision and F1. We introduce AMLworld-Compact, an evaluation set that retains every illicit test transaction and samples benign transactions from supervised-score strata. Its HT-Coreset protocol reduces evaluation targets by 271x and 611x on HI-Small and LI-Small. Horvitz-Thompson weights give unbiased full-test confusion-count estimates for fixed predictions; recall is exact, while precision and F1 are ratio estimates. In a held-out study using Graph Feature Preprocessor (GFP) features, one boosted-tree family defines strata for evaluating the other over 500 draws per configuration. At the released sizes, F1 RMSE is 0.00-2.58 percentage points versus 4.44-7.41 for uniform sampling with HT weights; conservative intervals remain broad. Under the evaluated graph prompts, seven open-weight LLMs have weighted precision near the predict-all-illicit baseline. In an outcome-stratified audit of 1,000 HI-Small few-shot outputs from one run per model, lexical checks pass for 84.5% of correct and 56.2% of incorrect binary verdicts, so these markers do not establish correctness. We release the evaluation sets, construction code, and audit tools at this https URL and this https URL.

中文摘要

摘要：在 AMLworld 的最小测试拆分上评估大型语言模型 (LLMs) 成本高，因为每一个超过一百万的目标都需要单独的图提示。抽样可以降低这种成本，但小型平衡子集会改变未加权的精确度和 F1 值。我们提出了 AMLworld-Compact，一个评估集，它保留每个非法测试交易，并从有监督评分分层中抽取良性交易。其 HT-Coreset 协议在 HI-Small 和 LI-Small 上将评估目标减少了 271 倍和 611 倍。Horvitz-Thompson 权重为固定预测提供无偏的全测试混淆计数估计；召回率是准确的，而精确度和 F1 是比率估计。在使用图特征预处理器 (GFP) 特征的保留研究中，一个提升树族群定义分层结构，用于在每个配置的 500 次抽样中评估另一个族群。在发布的规模下，F1 均方根误差为 0.00-2.58 个百分点，而使用 HT 权重的均匀抽样为 4.44-7.41；保守区间仍然很宽。在评估的图提示下，七个开放权重 LLM 的加权精确度接近“预测所有非法”基线。在一项结果分层的审计中，对每个模型一次运行生成的 1,000 个 HI-Small 少样本输出进行检查，正确二元判决的词汇检查通过率为 84.5%，错误判决为 56.2%，因此这些标记不能确定正确性。我们在此 https URL 和此 https URL 发布了评估集、构建代码及审计工具。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.13627

Authors: Natapong Nitarach,Phume Ngampornsukswadi,Pittawat Taveekitworachai,Surapon Nonesung,Warit Sirichotedumrong,Kunat Pipatanakul

Categories:

PDF URL: https://arxiv.org/pdf/2610.13627.pdf

Arxiv URL: https://arxiv.org/abs/2610.13627

Arxiv ID: 2610.13627

CoolPaper URL: https://papers.cool/arxiv/2610.13627

Published: 2026-10-12T02:39:19.083Z

Updated: 2026-10-12T02:39:19.083Z

11. GraphDecisionBench: Benchmarking System One Models on Graph Tasks

Abstract:Large language models (LLMs) are increasingly explored for graph understanding and decision-making, while System One models such as Jev select directly from supplied options. However, the capabilities of System One models on graph-related tasks remain unclear. We introduce GraphDecide, a model-independent benchmark that combines structural task profiles, matched graph-text input contrasts and heuristic-proposal controls to diagnose graph decision performance. We evaluate Jev and related choice-based models alongside language-model baselines, covering fourteen model-interface configurations. Jev’s results illustrate the benchmark’s central distinctions: accurate adjacency recognition does not guarantee broader structural correctness, joint graph-text input does not consistently improve prediction, and feasible construction does not establish high solution quality. Its task contracts, candidate interfaces and scoring rules support comparison across native selectors and language-model adapters. Code and aggregate results are available at this https URL.

中文摘要

摘要：大型语言模型（LLM）在图理解和决策中应用越来越广泛，而System One模型（如Jev）则直接从提供的选项中进行选择。然而，System One模型在图相关任务上的能力仍不清楚。我们引入了GraphDecide，这是一种独立于模型的基准测试，它结合了结构任务特征、匹配的图文本输入对比和启发式提议控制，以诊断图决策性能。我们评估了Jev及相关基于选择的模型，并与语言模型基线进行了比较，涵盖了十四种模型界面配置。Jev的结果展示了基准测试的核心区别：准确的邻接识别并不保证更广泛的结构正确性，联合的图文本输入并不总是能提高预测准确性，可行的构建方案并不意味着高质量的解决方案。其任务约束、候选界面和评分规则支持在原生选择器和语言模型适配器之间进行比较。代码和汇总结果可通过此https URL获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.06354 (HTTP 429)

Authors: Xianliang Yang,Yapu Zhang,Li Zhao

Categories:

PDF URL: https://arxiv.org/pdf/2610.06354.pdf

Arxiv URL: https://arxiv.org/abs/2610.06354

Arxiv ID: 2610.06354

CoolPaper URL: https://papers.cool/arxiv/2610.06354

Published: 2026-10-12T02:39:20.315Z

Updated: 2026-10-12T02:39:20.315Z