数据来源：HuggingFace Papers

Latest Papers

1. Questioning the Questions: Sustaining Self-Evolution in Reasoning Models

Abstract:Self-evolving reasoning models learn from their own generated questions, yet repeated self-training can lead to performance collapse. In this paper, we investigate why performance deteriorates over successive rounds and how to sustain self-evolution. Our analysis identifies two recurring quality problems in self-generated questions: invalid questions and repeated variants of the same mathematical questions. First, invalid questions become more prevalent across rounds, and answer-consistency filtering further increases their proportion in training data. Second, existing question diversity controls based on lexical similarity can miss mathematically equivalent questions expressed in different ways, which leads to question diversity collapse in later training rounds. Building on these findings, we introduce R-Quest, which uses question validity and novelty feedback to guide self-evolution. We first train the solver to recognize and reject invalid questions, then use its judgments to guide questioner rewards and filter solver training data. To avoid question repetition, we use a frozen base model to compare sampled question pairs and provide novelty feedback. Empirically, our method consistently achieves the highest average performance on 12 benchmarks in mathematical reasoning, general-domain reasoning, and code generation across two model families. Additionally, R-Quest maintains stable performance gains over ten rounds of self-evolution, peaking in the final round and outperforming R-Zero by 17.32 points.

中文摘要

摘要：自我进化推理模型通过自身生成的问题进行学习，但反复自我训练可能导致性能崩溃。本文研究了为什么性能会在连续轮次中下降以及如何维持自我进化。我们的分析识别了自生成问题中两类反复出现的质量问题：无效问题和同一数学问题的重复变体。首先，无效问题在各轮次中变得更加普遍，并且答案一致性过滤进一步增加了其在训练数据中的比例。其次，现有基于词汇相似度的题目多样性控制可能遗漏用不同方式表达但数学等价的问题，这导致后续训练轮次中题目多样性崩溃。基于这些发现，我们提出了R-Quest，它利用问题有效性和新颖性反馈来引导自我进化。我们首先训练解题模型识别并拒绝无效问题，然后利用其判断来指导提问者奖励并过滤解题模型的训练数据。为避免问题重复，我们使用冻结的基础模型对抽样的问题对进行比较，并提供新颖性反馈。从实证结果来看，我们的方法在两类模型中在数学推理、通用领域推理和代码生成的12个基准上始终实现了最高平均性能。此外，R-Quest在十轮自我进化中保持了稳定的性能提升，在最后一轮达到顶峰，并比R-Zero高出17.32分。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.04299 (timeout of 15000ms exceeded)

Authors: Jinyuan Li,Chengsong Huang,Langlin Huang,Donghong Cai,Shiping Gao,Yuyi Yang,Jiaxin Huang

Categories:

PDF URL: https://arxiv.org/pdf/2610.04299.pdf

Arxiv URL: https://arxiv.org/abs/2610.04299

Arxiv ID: 2610.04299

CoolPaper URL: https://papers.cool/arxiv/2610.04299

Published: 2026-10-08T02:54:40.895Z

Updated: 2026-10-08T02:54:40.895Z

2. nanoMuse: An Open-Source Personal Agent for Every Device You Own

Abstract:Assistants from 2011 answered and waited, and agents from 2023 did a task and stopped. In September 2026 Meta’s Muse showed an agent for one person, with accounts, devices, memory and a conversation that lasts, closed, in a vendor’s cloud, in one country. Such an agent is expected to act on a person’s accounts and devices, remember them across weeks, speak first when it is worth it, and answer for what it did. It is a kind of software, not a model, and until now had no open counterpart. This report defines the personal agent in five questions and three horizons. It reads how Muse is built from Meta’s public record and a copy of its production prompt, each statement marked by its source. It then presents nanoMuse, the open-source counterpart under the GPL-3.0, one agent on every device a person owns, with hands on the phone’s screen and the computer’s. They share one conversation over a relay anyone can run; every action goes through a Sentinel, memory is files the person can read, and the model is their choice. Its size and cost are given as estimates. What is open, memory with provenance, an evaluation suite for the hands and an open model for them, is set out as a roadmap.

中文摘要

摘要：2011年的助手会回答并等待，而2023年的代理会完成任务后停止。2026年9月，Meta的Muse展示了一个针对个人的代理，拥有账户、设备、记忆和一次持续的对话，这些内容存储在供应商的云端，在一个国家内。这样的代理预计能够在一个人的账户和设备上执行操作，能够跨周记住信息，在合适的时候先开口，并为其行为负责。它是一种软件，而不是模型，到目前为止没有开放的对应物。本报告通过五个问题和三个视角定义了个人代理。它通过Meta的公开记录及其生产提示副本分析Muse的构建方式，每条陈述都标注来源。随后介绍了nanoMuse，这是基于GPL-3.0的开源对应物，每个人拥有的一台设备上都有一个代理，可以操作手机屏幕和电脑。他们通过任何人都可以运行的中继共享一次对话；每个操作都通过哨兵执行，记忆是用户可以读取的文件，模型由用户选择。报告提供了其规模和成本的估算。文中列出了开放性、有出处的记忆、用于操作的评估套件以及用于它们的开放模型，并将其作为路线图予以展示。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08699 (HTTP 429)

Authors: Guangyi Liu,Yong Liu,Jiangning Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.08699.pdf

Arxiv URL: https://arxiv.org/abs/2610.08699

Arxiv ID: 2610.08699

CoolPaper URL: https://papers.cool/arxiv/2610.08699

Published: 2026-10-08T02:54:40.852Z

Updated: 2026-10-08T02:54:40.852Z

3. GRACE: Generation-aware latent compression for efficient video generation

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10524

PDF URL: https://arxiv.org/pdf/2610.10524.pdf

Arxiv URL: https://arxiv.org/abs/2610.10524

Arxiv ID: 2610.10524

CoolPaper URL: https://papers.cool/arxiv/2610.10524

4. DecepEval: A Benchmark for Evaluating Deception in LLM Agents

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07967 (HTTP 429)

PDF URL: https://arxiv.org/pdf/2610.07967.pdf

Arxiv URL: https://arxiv.org/abs/2610.07967

Arxiv ID: 2610.07967

CoolPaper URL: https://papers.cool/arxiv/2610.07967

5. SGF+: Decoupling Gradient Flows for Autoregressive Video Generation

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10429

PDF URL: https://arxiv.org/pdf/2610.10429.pdf

Arxiv URL: https://arxiv.org/abs/2610.10429

Arxiv ID: 2610.10429

CoolPaper URL: https://papers.cool/arxiv/2610.10429

6. ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation

Abstract:Iterative self-distillation enables LLM agents to learn from successive deployments, offering a path toward recursive self-improvement (RSI). Yet our experiments with existing methods reveal a collapse in deployment performance across cycles, while task performance with privileged information (PI) also declines. We address this collapse by prioritizing informative interaction steps for distillation and preserving PI-conditioned behavior as the student becomes the next teacher. We introduce Retentive and Selective Augmentation for Iterative Self-Distillation (ReSAIL), a plug-in augmentation for iterative PI-based self-distillation. ReSAIL selects interaction steps where PI most strongly changes the teacher’s predictions and balances the resulting distillation losses across trajectories. It also regularizes the student’s PI-conditioned output distributions toward those of the frozen teacher at selected and unselected steps to preserve PI-conditioned behavior for supervision in the next cycle. On ALFWorld and TextCraft, ReSAIL sustains substantial gains across model scales over three cycles, with an average absolute gain of 22.5% in final-cycle success rates when added to self-distillation baselines. Sensitivity-guided selection of offline data also improves action prediction accuracy for multimodal GUI agents on AITZ. These findings provide the first evidence that a more robust learning mechanism can effectively mitigate performance collapse in iterative agent self-distillation over deployment trajectories.

中文摘要

摘要：迭代自蒸馏使大型语言模型（LLM）代理能够从连续部署中学习，为递归自我改进（RSI）提供了一条途径。然而，我们对现有方法的实验显示，跨周期的部署性能会出现崩溃，同时在拥有特权信息（PI）的任务上的性能也会下降。我们通过优先选择用于蒸馏的信息交互步骤，并在学生成为下一个教师时保留基于PI的行为来解决这种崩溃。我们提出了用于迭代自蒸馏的保留性与选择性增强（ReSAIL），这是一个适用于基于PI的迭代自蒸馏的插件增强。ReSAIL选择PI对教师预测影响最显著的交互步骤，并在轨迹中平衡由此产生的蒸馏损失。它还通过在选定和未选定步骤上将学生的PI条件输出分布正则化为冻结教师的输出分布，以保留PI条件行为，为下一轮循环的监督提供基础。在ALFWorld和TextCraft上，ReSAIL在三轮迭代中保持了模型规模上的显著提升，当与自蒸馏基线结合时，在最终循环成功率上平均绝对提升达22.5%。基于敏感性的离线数据选择也提高了AITZ上多模态GUI代理的动作预测准确性。这些发现首次提供了证据，表明更稳健的学习机制可以有效缓解迭代代理自蒸馏在部署轨迹中的性能崩溃。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2609.39306 (HTTP 429)

Authors: Shengjie Jin,Hengbo Xu,Zelong Sun,YuJie Guo,Zhiwu Lu

Categories:

PDF URL: https://arxiv.org/pdf/2609.39306.pdf

Arxiv URL: https://arxiv.org/abs/2609.39306

Arxiv ID: 2609.39306

CoolPaper URL: https://papers.cool/arxiv/2609.39306

Published: 2026-10-08T02:54:50.556Z

Updated: 2026-10-08T02:54:50.556Z

7. WorldSonus: Bringing Sound to Worlds

Abstract:Recent advances in world models have enabled increasingly realistic visual synthesis. However, these generated environments remain largely silent. Bringing sound to world models poses three core challenges: real-time generation to keep pace with interactive video streams, interactive control to respond to mid-stream sound instructions, and spatially aligned stereo to reflect scene geometry and camera motion. To address these demands, we introduce WorldSonus, an interactive video-to-audio framework designed for real-time spatial sound synthesis in world models. For real-time generation, WorldSonus employs a streaming causal autoregressive diffusion architecture that synthesizes audio chunks at a low real-time factor (RTF) of 0.41. For interactive control, we incorporate an audio-centric captioning pipeline with chunk-indexed prompt scheduling, enabling dynamic manipulation of sound events during generation. For spatial alignment, we leverage high-quality stereo supervision curated from diverse stereo and ambisonic data. Extensive experiments demonstrate that while tailored for world models, WorldSonus generalizes effectively to open-domain video-to-audio benchmarks, matching or outperforming state-of-the-art bidirectional models in both acoustic quality and spatial alignment. Project page: this https URL

中文摘要

摘要：近年来世界模型的进步使得视觉合成变得越来越逼真。然而，这些生成的环境在很大程度上仍然是无声的。为世界模型带来声音面临三个核心挑战：实时生成以跟上交互视频流、交互控制以响应流中途的声音指令以及空间对齐的立体声以反映场景几何和摄像机运动。为应对这些需求，我们引入了WorldSonus，这是一个为世界模型设计的交互式视频到音频框架，用于实时空间声音合成。为了实现实时生成，WorldSonus采用了流式因果自回归扩散架构，以低实时因子（RTF）0.41生成音频片段。为了实现交互控制，我们结合了面向音频的字幕管线，并配备了基于片段索引的提示调度，使得在生成过程中能够动态操控声音事件。为了实现空间对齐，我们利用了由多样立体声和全景声数据精心策划的高质量立体声监督。大量实验表明，尽管WorldSonus专为世界模型设计，但它能够有效泛化到开放域视频到音频的基准测试，在声学质量和空间对齐方面匹配或超越最先进的双向模型。项目页面：此 https URL

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08760 (HTTP 429)

Authors: Pengjun Fang,Jingyi Fa,Kam Man Wu,Jiaming Wang,Haoyuan Huang,Yaguang Wu,Xiangjun Huang,Ziyang Ma,Weijia Chen,Hongyu Liu,Zeyue Tian,Qifeng Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.08760.pdf

Arxiv URL: https://arxiv.org/abs/2610.08760

Arxiv ID: 2610.08760

CoolPaper URL: https://papers.cool/arxiv/2610.08760

Published: 2026-10-08T02:54:53.393Z

Updated: 2026-10-08T02:54:53.393Z

8. Long-WAM: Scaling the Context of World-Action Models

Abstract:Real-time robot control demands enough visual history to infer motion and task progress, but processing that history can delay action. We present Long-WAM, a model-system framework for scaling the context of causal world-action models under real-time control constraints. Our central finding is that access to history is not the same as using it: longer histories pay off far more when the video foundation is pretrained autoregressively (AR). We first learn causal prediction from robot and egocentric videos without action labels, then preserve this history-to-future structure during world-action adaptation. On RoboCasa GR-1, increasing context from 0.0 to 19.2 seconds raises success from 63.3% to 78.7%, whereas a bidirectionally pretrained initialization shows no net gain; robot-domain AR pretraining further raises peak success on GR-1 and LIBERO-Long. Long-WAM also achieves the best results among compared methods on LIBERO-Long, RoboTwin 2.0, and DOMINO. Streaming observation encoding, asynchronous execution, and hardware-specific acceleration enable deployment on RTX 5090, DGX Spark, and Jetson AGX Thor without dropping future prediction; on RTX 5090, each action chunk, including future-video latent prediction, takes 107.4 ms. Real-time deployment on Unitree G1 and YAM supports dynamic and long-horizon manipulation, including 95% success on dynamic cup stacking, where Pi0.5 and Fast-WAM succeed in none of 20 trials. As a memory-informed executor, Long-WAM also complements higher-level planning in composite tasks.

中文摘要

摘要：实时机器人控制需要足够的视觉历史以推断运动和任务进展，但处理这些历史可能会延迟动作。我们提出了 Long-WAM，这是一个模型-系统框架，用于在实时控制约束下扩展因果世界-动作模型的上下文。我们的核心发现是，获取历史与使用历史并不相同：在视频基础通过自回归（AR）预训练时，较长的历史更有价值。我们首先从机器人和自我中心视角的视频中学习因果预测，而无需动作标签，然后在世界-动作适应过程中保持这一历史到未来的结构。在 RoboCasa GR-1 上，将上下文从 0.0 秒增加到 19.2 秒会将成功率从 63.3% 提高到 78.7%，而双向预训练初始化则没有净收益；机器人领域的 AR 预训练进一步提升了 GR-1 和 LIBERO-Long 的峰值成功率。Long-WAM 在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上也达到了比较方法中的最佳结果。流式观察编码、异步执行以及特定硬件加速，使其能够在 RTX 5090、DGX Spark 和 Jetson AGX Thor 上部署，而不会降低未来预测精度；在 RTX 5090 上，每个动作片段（包括未来视频潜在预测）耗时 107.4 毫秒。在 Unitree G1 和 YAM 上的实时部署支持动态和长时域操作，包括动态杯叠放任务成功率达到 95%，而 Pi0.5 和 Fast-WAM 在 20 次试验中均未成功。作为一个记忆知情的执行器，Long-WAM 还可以在复合任务中补充更高层次的规划。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10528

Authors: Wei Huang,Bohan Zhang,Chenzhi Liu,Isabella Liu,Shuai Yang,Weian Mao,Luozhou Wang,Yicheng Xiao,Weifeng Lin,Qixin Hu,Bryan Chu,Sifei Liu,Linxi Fan,Xiaojuan Qi,Song Han,Yukang Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.10528.pdf

Arxiv URL: https://arxiv.org/abs/2610.10528

Arxiv ID: 2610.10528

CoolPaper URL: https://papers.cool/arxiv/2610.10528

Published: 2026-10-08T02:54:53.507Z

Updated: 2026-10-08T02:54:53.507Z

9. Recursive Game Creator: An Agentic Product-Level Experience-Oriented Game Harness

Abstract:Recent game design agents have made substantial progress in generating playable games. However, program correctness does not ensure an enjoyable experience for players. We present Recursive Game Creator, an experience-oriented harness to advance agentic game development from rough game prototypes into entertaining games. Recursive Game Creator organizes recursive development around four components: Designer, Builder, Player, and Reviewer. The Designer translates user instructions and Reviewer’s feedback into detailed plans. The Builder turns these plans into candidate games. The coding-native Player creates and executes reusable policies through programmatic interfaces to efficiently collect diverse gameplay trajectories, mitigating evaluation bias caused by slow GUI-based collection. The Reviewer uses carefully designed trajectory-based metrics to induce player preferences, integrating with visual evidence and explicit textual preferences to evaluate games against game-specific criteria. Finally, the Reviewer accepts the better version and provides improvement reviews for the next round, closing the recursive loop. Our method achieves state-of-the-art overall performance of 77.89 on GameCraft-Bench. On GameASG-Bench, it achieves a strict task success rate of 53.2%, a 34.1% improvement over the same-model baseline, and the highest mean runtime-check pass rate at 93.4% among compared methods. A user study shows longer playtime and higher ratings. Code is coming soon.

中文摘要

摘要：近期的游戏设计代理在生成可玩游戏方面取得了显著进展。然而，程序的正确性并不能保证玩家拥有愉快的体验。我们提出了递归游戏创建器（Recursive Game Creator），这是一个以体验为导向的工具，用于将代理游戏开发从粗略的游戏原型推进到有趣的游戏。递归游戏创建器围绕四个组件组织递归开发：设计师（Designer）、构建者（Builder）、玩家（Player）和评审者（Reviewer）。设计师将用户指令和评审者的反馈转化为详细的计划。构建者将这些计划转化为候选游戏。以编码为核心的玩家通过程序接口创建并执行可重用策略，以高效收集多样的游戏轨迹，减轻基于慢速GUI收集导致的评估偏差。评审者使用精心设计的基于轨迹的指标来引导玩家偏好，并结合视觉证据和明确的文字偏好，根据特定游戏标准评估游戏。最终，评审者接受更优秀的版本，并为下一轮提供改进反馈，从而闭合递归循环。我们的方法在GameCraft-Bench上实现了77.89的最先进总体性能。在GameASG-Bench上，它实现了53.2%的严格任务成功率，比相同模型的基线提高了34.1%，并且在比较方法中拥有最高的平均运行时检查通过率93.4%。用户研究显示，玩家的游戏时间更长，评分更高。代码即将发布。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08621 (HTTP 429)

Authors: Jiajun Chen,Haoyu Wu,Mingda Jia,Xihui Liu

Categories:

PDF URL: https://arxiv.org/pdf/2610.08621.pdf

Arxiv URL: https://arxiv.org/abs/2610.08621

Arxiv ID: 2610.08621

CoolPaper URL: https://papers.cool/arxiv/2610.08621

Published: 2026-10-08T02:54:55.250Z

Updated: 2026-10-08T02:54:55.250Z

10. Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

Abstract:The architectural design of Large Language Models (LLMs) is shifting from traditional full-attention-only models to hybrid models, which combine different attention modules to improve long-context efficiency and performance in length extrapolation and context extension. To explain why hybrid models work and how to design them better, we propose Mechanics of Long-Context Hybrid Models. As Part 1.1 of this series, we begin with hybrids of full attention and either sliding-window attention (SWA) or gated variants of linear attention (LA), represented by GLA and GDN. We first observe a Seesaw Effect in Context Extension: LA hybrids benefit more from long-context continual pretraining, whereas SWA hybrids perform better under length extrapolation. We attribute this behavior to differences in the positional inductive biases induced by these attention mechanisms. We find that SWA hybrids suffer from a Short-Context Learning Trap, Short-Window Weariness, and Long-Window Laziness, and require extended windows to enhance performance in continual long-context pretraining. For LA hybrids, we summarize the Matthew Effect of Hybrid Position Extrapolation and propose Sliding-Window Linear Attention, achieving 16$\times$ training-free length extrapolation while maintaining 100\% accuracy on NIAH-SK1 in 64k context length.

中文摘要

摘要：大型语言模型（LLMs）的架构设计正从传统的全注意力模型转向混合模型，这类模型结合了不同的注意力模块，以提高长上下文的效率并在长度外推和上下文扩展中提升性能。为了解释混合模型为何有效以及如何更好地设计它们，我们提出了《长上下文混合模型机制》。作为本系列的1.1部分，我们从全注意力与滑动窗口注意力（SWA）或线性注意力（LA）的门控变体（GLA和GDN）混合开始。我们首先观察到上下文扩展中的跷跷板效应：LA混合模型在长上下文持续预训练中受益更多，而SWA混合模型在长度外推中表现更佳。我们将这一行为归因于这些注意力机制所引起的位置归纳偏差的差异。我们发现SWA混合模型存在短上下文学习陷阱、短窗口疲劳和长窗口懒惰，需要延长窗口以在持续长上下文预训练中提升性能。对于LA混合模型，我们总结了混合位置外推的马太效应，并提出了滑动窗口线性注意力，实现了16倍无需训练的长度外推，同时在64k上下文长度下，在NIAH-SK1上保持100%的准确率。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10114

Authors: Xiaoran Liu,Ziwei He,Xipeng Qiu

Categories:

PDF URL: https://arxiv.org/pdf/2610.10114.pdf

Arxiv URL: https://arxiv.org/abs/2610.10114

Arxiv ID: 2610.10114

CoolPaper URL: https://papers.cool/arxiv/2610.10114

Published: 2026-10-08T02:54:59.771Z

Updated: 2026-10-08T02:54:59.771Z

11. Recurrent Looped Transformer

Abstract:State tracking requires an update at every input, but the depth a Transformer applies to each token is fixed regardless of sequence length. We introduce the Recurrent Looped Transformer (RLT), which splits its layers between a parallel causal encoder and a recurrent decoder. At each token, the decoder merges the encoder output with the previous token’s final decoder state, so the computation path grows with sequence length at a fixed per-token cost. On six algorithmic tasks, we compare five splits of eight layers with an eight-layer Transformer over three seeds. Trained on at most 40 bits, two RLT splits generalize parity to 256 bits with 100% accuracy in every seed, while the Transformer stays at chance. On swap-based $S_5$ permutation tracking at eight times the training length, RLT reaches 97% final-state accuracy versus under 1% for the Transformer, and accuracy increases with decoder depth. On modular arithmetic beyond the training lengths, RLT reaches up to 93% versus 33% for the Transformer. Ablations show that these gains depend on the feedback: removing it drops parity and swap-based $S_5$ to chance at every split. Updating the feedback once per four-token chunk lets known tokens in a chunk run in parallel and keeps 64-bit parity at 99%, while permutation tracking depends on per-token feedback: chunking lowers length-64 swap-based $S_5$ from 100% to 20%.

中文摘要

摘要：状态跟踪需要在每次输入时进行更新，但 Transformer 对每个 token 应用的深度是固定的，与序列长度无关。我们引入了循环循环 Transformer（RLT），它将层拆分为并行因果编码器和循环解码器。在每个 token 上，解码器将编码器输出与前一个 token 的最终解码器状态合并，因此计算路径随着序列长度增长，同时每个 token 的计算成本保持不变。在六个算法任务中，我们将八层的五种拆分与八层 Transformer 在三个随机种子上进行比较。在最多 40 位的训练下，两个 RLT 拆分能够将奇偶性泛化至 256 位，在每个种子上准确率均为 100%，而 Transformer 仅为随机水平。在基于交换的 $S_5$ 排列跟踪任务中，在训练长度的八倍时，RLT 达到 97% 的最终状态准确率，而 Transformer 不到 1%，且准确率随着解码器深度增加。在超出训练长度的模运算上，RLT 达到最高 93%，而 Transformer 仅为 33%。消融实验表明，这些提升依赖于反馈：去掉反馈会使每种拆分下的奇偶性和基于交换的 $S_5$ 回到随机水平。每四个 token 更新一次反馈可以使 chunk 中已知的 token 并行运行，并保持 64 位奇偶性在 99%，而排列跟踪依赖于每个 token 的反馈：分块会将长度为 64 的基于交换的 $S_5$ 准确率从 100% 降至 20%。

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*固定深度Transformer在算法状态跟踪任务上的根本性长度泛化局限\*\*。 具体而言，论文识别并试图克服以下核心矛盾： - \*\*状态跟踪需要随序列增长的计算路径\*\*：算法任务（如奇偶校验、模运算、排列组合）要求模型在接收每个新输入时更新内部状态。理想情况下，处理 t 个token后，模型应经历了与 t 成比例的计算深度，以逐步累积或组合状态信息。 - \*\*Transformer的深度与序列长度解耦\*\*：标准Transformer对每个token施加固定数量的层，无论序列多长，每个位置的计算路径长度不变。除非 TC^0 = NC^1 ，否则固定深度的Transformer理论上无法在任意长序列上跟踪如 S_5 排列组合这类需要迭代状态更新的计算。 为突破这一限制，论文提出 \*\*Recurrent Looped Transformer (RLT)\*\*，其核心设计思想包括： 1. \*\*编码器–解码器分层\*\*：将固定总数的层拆分为并行的因果编码器（causal encoder）和循环解码器（recurrent decoder）。 2. \*\*跨token状态反馈\*\*：在每个位置，解码器通过门控合并（gated merge）将当前编码器输出与\*\*前一个token的最终解码器隐状态\*\*结合，使解码器状态沿序列方向循环传递。 3. \*\*随长度增长的等效深度\*\*：虽然每个token只通过 L_E + L_D 层，但处理 t 个token后，解码器状态经历了 t · L_D 个块的循环路径，从而在不增加单token推理成本的前提下，使有效计算深度随序列长度线性增长。 实验表明，在奇偶校验、基于交换的 S_5 排列跟踪和模运算等任务上，RLT在远超训练长度的测试序列上仍保持高精度，而同等层数的decoder-only Transformer则迅速退化至随机水平。 Q2: 有哪些相关研究？ 与 Recurrent Looped Transformer (RLT) 相关的研究可按照技术路线分为以下几类，主要对应论文第4节（Related Work）及引言中的理论讨论： ### 1. 固定深度 Transformer 的理论局限 - \*\*Merrill et al. (2024)\*\* 证明了除非 TC^0 = NC^1 ，否则固定深度的 Transformer 无法在任意长序列上跟踪 S_5 排列的组合。这为 RLT 引入随序列长度增长的循环计算路径提供了理论动机。 - \*\*Grazzi et al. (2024)\*\* 研究了线性 RNN 中通过负特征值解锁状态跟踪能力，其 S_5 状态跟踪任务被 RLT 用作评估基准之一。 ### 2. Transformer–RNN 混合架构 - \*\*Chen et al. (2018)\*\* 将 Transformer 编码器与基于 LSTM 的 RNMT+ 解码器结合用于机器翻译。RLT 同样采用“并行编码 + 循环解码”的混合思路，但 RLT 的解码器由带交叉注意力和滑动窗口注意力（SWA）的 Transformer 块构成，并以因果语言模型方式同时处理 prompt 和 response。 ### 3. 编码器衍生记忆复用 - \*\*YOCO (Sun et al., 2024)\*\* 为上层交叉解码器构建可复用的 KV 缓存，并支持 prefill 阶段的提前退出。 - \*\*DeepSeek-V4.1-Flash (DeepSeek-AI, 2026)\*\* 从最终编码器状态投影全局解码器 KV，并维护独立的解码器 SWA。 - 与上述工作不同，RLT 的解码器\*\*必须按顺序处理每个 prompt token\*\*，因为其状态更新依赖于前一 token 的解码器输出，而非仅复用静态的编码器记忆。 ### 4. 跨 Token 的时序反馈机制 - \*\*Feedback Transformer (Fan et al., 2020)\*\* 在各层之间构建共享的反馈记忆，使后续 token 能在每层注意该记忆。RLT 则将前一 token 的最终解码器输出反馈到当前解码器输入的门控合并（gated merge）中，并辅以独立的编码器全局记忆与逐层 SWA 缓存。 - \*\*Recurrent Transformer (Oncescu et al., 2026)\*\* 在每一层维护持久的 KV 状态并提供精确的调度以优化显存搬运。RLT 的反馈跨越\*\*整个解码器深度\*\*，而 Recurrent Transformer 的反馈是逐层独立的。 ### 5. 隐态跨 Token 传递 - \*\*Full-bandwidth Transformer (Wang et al., 2026)\*\* 通过门控线性单元（GLU）将前一时刻顶层隐态与下一 token 嵌入结合，保留 Transformer 堆栈和 KV 缓存，并采用多轮训练实现并行教师强制。RLT 将反馈放置在编码器–解码器接口，并通过完整历史重放进行训练。 - \*\*T2MLR (Cai et al., 2026)\*\* 将前一刻的中间层表示缓存并注入当前位置的较早层，发现中间层循环可能优于全网络循环。RLT 选择通过\*\*整个解码器\*\*进行反馈，并采用完整 BPTT 训练。 - \*\*Latent Recurrent Transformer / LRT (Huang et al., 2026)\*\* 通过 KV 投影和残差注入复用前一 token 的高层状态，保持 decoder-only 骨架和单前向生成。RLT 则将编码器记忆与循环解码器解耦，并在策略梯度场景中要求完整历史重放以精确复现策略。 ### 6. 连续隐态推理 - \*\*Coconut (Hao et al., 2024)\*\* 在隐式推理阶段将最后一层隐态作为下一时刻的输入嵌入进行反馈。 - \*\*PonderLM-2 (Zeng et al., 2025)\*\* 在预训练中插入隐式步骤，并使用 Jacobi 迭代近似其循环依赖。 - 与上述增加隐式位置的方法不同，RLT 的隐态更新\*\*严格绑定于每个普通 token\*\*，不引入额外的潜在推理位置。 ### 7. 块级与段级循环 - \*\*Block-Recurrent Transformers (Hutchins et al., 2022)\*\* 使用注意力和门控更新持久状态向量，每个循环步骤并行处理一个 token 块。 - \*\*Recurrent Memory Transformer (Bulatov et al., 2022)\*\* 为每个段附加写记忆 token，并将其最终表示作为下一段的记忆输入，通过 BPTT 训练。 - \*\*RLT-2\*\* 与上述工作最接近：它在每 B 个 token 的块边界更新反馈状态，但不使用专用的记忆 token 或独立的状态向量组。\*\*RLT-1\*\*（ B=1 ）则进一步将反馈粒度推进到每个 token。 ### 8. 跨深度权重共享与循环 - \*\*Universal Transformers (Dehghani et al., 2018)\*\* 在深度方向共享权重，并可按位置自适应调整迭代步数。 - \*\*Saunshi et al. (2025)\*\* 与 \*\*Geiping et al. (2025)\*\* 研究了在推理时通过共享堆栈的多次应用增加有效深度（latent reasoning / recurrent depth）。 - \*\*DeepLoop (Li et al., 2026)\*\* 分析了权重绑定循环 Transformer 中的残差缩放问题。 - 上述模型在\*\*每个位置上沿深度方向循环\*\*；RLT 则\*\*跨 token 在序列方向循环\*\*，且编码器与解码器的权重共享是可选的。 Q3: 论文如何解决这个问题？ 论文通过引入 \*\*Recurrent Looped Transformer (RLT)\*\* 来解决固定深度 Transformer 无法随序列长度扩展计算路径的问题。该方法的核心在于将模型层拆分为\*\*并行编码\*\*与\*\*循环解码\*\*两部分，并通过跨 token 的隐态反馈使有效计算深度随序列长度线性增长，同时保持固定的单 token 推理成本。 具体解决方案可分为以下五个层面： --- ### 1. 架构拆分：编码器与解码器的深度分配 RLT 将总层数 L 拆分为 L_E 层因果编码器 E_θ 和 L_D 层循环解码器 D_φ 。 - \*\*因果编码器\*\*：对已知前缀 x_(1:t) 进行并行因果编码，输出位置表示 e_t ∈ R^d ，并构建全局键值记忆（encoder KV memory）：

M(le t)^g = (k_t^g, v_t^g)(j=1)^t
其中 g 为记忆组索引。编码器可在已知 token 上完全并行预填充。 - **循环解码器**：每个 token 依次处理。与标准 Transformer 不同，RLT 的解码器在每一步接收来自**前一个 token 的最终隐态**作为额外输入，形成跨时间步的循环连接。 —- ### 2. 门控合并：编码信息与历史状态的融合 对于每个位置 t ge 1 ，解码器输入 ut 通过门控机制合并当前编码器输出 e_t 与前一个解码器输出 s(t-1) ：

r(t-1) = RMSNorm_s(s(t-1))

gt = σ(W_g[e_t; r(t-1)] + b_g)

ut = e_t + α , g_t odot W_s r(t-1)
其中 Wg ∈ R^(d × 2d) ， W_s ∈ R^(d × d) ， α 为反馈缩放系数。该门控机制控制历史状态进入当前计算的强度。 —- ### 3. 解码器块：双层注意力与状态传递 从合并输入 z_t^0 = u_t 开始，每个解码器层 ell 依次执行： - **因果滑动窗口注意力（SWA）**：仅关注当前及最近 W-1 个解码器位置，形成局部 KV 缓存 C_t^(D,ell) ； - **编码器记忆交叉注意力**：通过查询 q_t^(M,ell) 读取编码器全局记忆 M(le t)^(g(ell)) ； - **前馈网络（FFN）** 与残差连接。 最终输出 s_t = z_t^(L_D) 同时作为： 1. 当前位置的下一个 token 预测输入； 2. 下一个时间步 t+1 的循环反馈状态。 完整的解码器状态为 H_t = (s_t, C_t^D) ，其中 C_t^D 为各层 SWA KV 缓存。 —- ### 4. 随序列增长的等效计算深度 这是 RLT 解决核心问题的关键机制： - **单 token 成本**：每个 token 仅通过 L_E + L_D 个块，计算量与标准 Transformer 同级； - **循环路径长度**：处理 t 个 token 后，隐态 s_t 经历了 t · L_D 个解码器块的连续变换：

Ht = F_t circ F(t-1) circ ·s circ F1(H_0)
其中 F_t(H) = Dφ(Merge(et, s); M(le t), C(t-1)^D) 。 因此，RLT 的**有效计算深度随序列长度线性增长**，突破了固定深度 Transformer 的理论限制，而每个 token 的推理延迟和层数保持不变。 —- ### 5. 反馈间隔的灵活设计：RLT-1、RLT-2 与 RLT-0 论文进一步将反馈频率作为可调设计轴，在并行度与状态跟踪精度之间进行权衡： | 变体 | 反馈间隔 B | 机制 | 特性 | |———|——————-|———|———| | **RLT-1** | B=1 | 每 token 更新反馈状态 | 顺序解码，状态跟踪最精确 | | **RLT-2** | B>1 | 每 B 个 token 的块边界更新一次反馈 | 块内可并行，速度更快；某些任务（如奇偶校验）仍保持高精度 | | **RLT-0** | B=∞ | 移除反馈， z_t^0 = e_t | 无循环，完全并行；作为对照验证反馈的必要性 | 实验表明，移除反馈（RLT-0）会使奇偶校验和 swap-based S_5 任务在长序列上退至随机水平，证明**反馈机制是长度泛化能力的关键来源**。 —- ### 6. 训练与推理的一致性 - **训练**：采用教师强制（teacher forcing）与完整时间反向传播（BPTT），梯度流经编码器记忆、循环隐态及 SWA 缓存； - **推理**：支持 prompt 的并行预填充（先编码器并行，再解码器顺序更新），以及生成阶段的增量解码； - **提示–响应一致性**：无论 prompt 在何处截断，只要从保存的完整状态 H_T 继续，条件分布 p_Theta(x(T+1) mid x(1:T)) 保持不变，确保训练与推理、多轮对话中的状态等价性。 通过上述设计，RLT 在固定参数量和单 token 计算开销的前提下，实现了随输入长度增长的表达能力，从而在奇偶校验、模运算和排列状态跟踪等算法任务上展现出远超标准 Transformer 的长度泛化性能。 Q4: 论文做了哪些实验？ 论文围绕 **Recurrent Looped Transformer (RLT)** 的架构设计空间与长度泛化能力，开展了一系列算法任务上的对比与消融实验。主要实验可归纳为以下几类： —- ### 1. 基础设置与对比基线 所有核心实验遵循统一的训练与评估协议： - **模型规模**：基础比较采用总层数为 8、残差宽度 512、FFN 宽度 1,365、4 头注意力的配置。 - **深度分配**：对 RLT-1 测试了五种编码器–解码器拆分—— 4+4 、 5+3 、 6+2 、 7+1 、 8+0 ，并与 8 层 decoder-only Transformer（记为 GPT-8）对照。 - **初始化与数据**：使用种子 42、43、44 进行独立重复实验，共享训练与测试数据流；全局批次大小 512，AdamW 优化器，余弦学习率调度。 - **任务**：在六项算法任务上评估—— 1. **Addition**：1–8 位十进制加法（逆序数字），测试教师强制的答案 token 准确率； 2. **Parity**：3–40 位二进制串的奇偶校验，测试最终答案准确率； 3. **Mod-5 (flat)**：无括号的三元模 5 运算（ +, -, × ，尊重乘法优先级），训练长度 3–39； 4. **Mod-5 (brackets)**：带括号的表达式树，训练长度 3–40； 5. **S5 (swaps)**：基于 S_5 群，仅使用恒等变换与 10 个单对换（swap），训练 32 个操作； 6. **S5 (standard)**：基于 S_5 群，使用全部 120 个置换，训练 32 个操作。 - **长度泛化**：在远超训练长度的测试集上评估（如 parity 测试至 256 位，S5 测试至 512 个操作），每个长度使用 1,024 条共享测试序列。 —- ### 2. 长度泛化与深度分配（核心实验） 该实验旨在验证 RLT 的计算路径随序列增长所带来的外推能力，并探索不同 L_E / L_D 拆分的任务偏好。 - **Parity**：训练至多 40 位。RLT-1 的 5+3 与 7+1 拆分在 256 位上达到 ** 100 ± 0% ** 准确率（所有种子），而 Transformer 仅 50.07 ± 1.63% （接近随机）。 6+2 与 4+4 则在更长序列上出现方差增大。 - **Swap-based S5**：训练 32 个操作，测试至 512 个操作。 4+4 拆分在 256 个操作时达到 ** 97.30 ± 2.76% ** 的最终状态准确率，而 Transformer 仅 0.85 ± 0.30% 。准确率随解码器深度 L_D 增加而单调上升； 7+1 与 8+0 已接近随机水平。 - **Mod-5 (flat)**：训练 5,000 步后， 6+2 在长度 63 的表达式上达到 ** 93.36 ± 5.69% **，对比 Transformer 的 33.20 ± 2.33% 。 - **Addition**：所有模型在训练宽度内均达到 100% 验证准确率，但长度泛化至 32 位时均迅速下降至约 15–17%，未显著优于基线。 —- ### 3. 反馈频率消融（Feedback Interval） 在固定拆分（主要为 4+4 ，并覆盖所有拆分）上，比较三种反馈间隔以量化状态更新的必要性： - **RLT-1 ( B=1 )**：每 token 更新反馈状态； - **RLT-2 chunk4 ( B=4 )**：每 4 个 token 更新一次反馈，块内可并行计算； - **RLT-0 ( B=∞ )**：完全移除反馈，解码器直接接收 z_t^0 = e_t 。 关键发现： - **Parity**：在 64 位上，RLT-1 为 100% ，chunk4 为 98.99 ± 1.66% ，RLT-0 退至 50.23 ± 3.80% （随机水平）。 - **Swap-based S5**：在 64 个操作上，RLT-1 为 100% ，chunk4 降至 19.60 ± 6.54% ，RLT-0 与 Transformer 接近 1/120 的随机基线。 - **结论**：移除反馈（RLT-0）几乎完全消除长度泛化优势；chunk 化对置换跟踪任务损伤远大于奇偶校验，说明**逐 token 反馈对状态组合类任务至关重要**。 —- ### 4. 扩展与补充实验 - **十六层 Parity**：在 seed-42 上测试 16 层总深度的 RLT-1 拆分（ 8+8 、 9+7 、 11+5 、 16+0 等）。 8+8 、 9+7 、 11+5 与 16+0 均在 256 位上保持 100% 准确率，而 16 层 Transformer 为 49.41% 。 - **Token 级准确率轨迹**：追踪训练过程中固定长度（如 32/33）验证集上的逐 token 或逐前缀准确率，揭示学习动态与临时退化现象（如 parity 中 5+3 在 step 600 的暂时回退）。 - **反馈缩放 α 消融**：在 Addition 任务上固定学习率调度，测试 α ∈ 0.01, 0.03, 0.1 。结果显示减小 α 并未系统性地改善加法长度泛化。 - **标准 S5**：作为负面对照，所有模型（包括 RLT-1）在标准 S5（120 类全部置换）上的最终状态准确率均接近 1/120 的随机水平，表明该任务对八层模型仍极具挑战性。 —- ### 5. 执行与存储成本分析（理论/实证） 论文在附录中通过表格与公式形式对比了 RLT-1、RLT-2、RLT-0 及 Transformer 在以下维度的成本： - 已知 token 的解码器批次大小与顺序阶段数； - 完整 BPTT 的反向依赖深度； - 推理时的持久化缓存（encoder KV、decoder SWA KV、反馈寄存器）； - 单序列生成步数与每消耗 token 的块数。 并在 seed-42 的 CPU 计时中发现：在 4+4 拆分上，RLT-2 (chunk4) 的训练步速约为 RLT-1 的 **2.27 倍**，RLT-0 约为 **4.17–4.30 倍**，量化了反馈频率与并行效率之间的权衡。 —- 综上，实验体系覆盖了**架构拆分**、**反馈频率**、**训练步数与初始化敏感性**、**多任务长度泛化**及**计算效率**五个维度，系统论证了 RLT 循环反馈机制在状态跟踪类任务中的必要性与优势。 Q5: 有什么可以进一步探索的点？ 基于论文的实验发现与架构设计，以下方向值得进一步探索： —- ### 1. 理论刻画与表达能力边界 - **循环深度与复杂度类的严格联系**：论文援引 Merrill 等人的结论指出固定深度 Transformer 无法跟踪任意长的 S_5 排列组合。可以建立 RLT 的循环路径长度 t · L_D 与电路复杂度类之间的精确对应关系，证明其突破 TC^0 限制的条件。 - **门控合并的代数性质**：分析 u_t = e_t + α g_t odot W_s r(t-1) 中门控信号 gt 在状态更新与遗忘中的动态行为，理解其为何优于简单的残差相加或线性反馈。 —- ### 2. 自然语言与真实世界长上下文任务 - **从算法任务迁移到语言建模**：当前实验局限于奇偶校验、模运算与置换跟踪。需要在真实预训练语料上评估语言建模困惑度，并测试长文档问答、长代码生成、多轮对话中的状态一致性。 - **多轮对话与工具调用**：论文附录讨论了多轮缓存复用与策略重放，但在真实工具使用场景（如需要跨轮跟踪中间计算结果）中的鲁棒性尚未验证。 —- ### 3. 自适应深度分配与动态计算 - **任务感知的编码器–解码器拆分**：实验表明 parity 在 L_D=1 或 3 时泛化最佳，而 swap-based S_5 随 L_D 增加而提升。可以设计**条件化或动态的层数分配**，例如根据输入序列特征或可学习的门控决定激活多少层 decoder。 - **可变反馈间隔的课程训练**：论文指出可以在预训练时使用较大的 B （高并行度），再在中期/后期训练中将 B 降至 1。这一课程策略的具体调度方案（如逐步减小 B 、基于验证指标调整）需要系统研究。 —- ### 4. 反馈机制的精细化设计 - **自适应反馈间隔**：除固定的 B=1, 4, ∞ 外，可探索基于内容或基于不确定性的动态反馈——仅在模型不确定或遇到关键 token 时更新隐态，以平衡并行效率与状态精度。 - **层级反馈与混合架构**：论文对比了 RLT 的 full-decoder 反馈与 Recurrent Transformer 的 layer-wise 反馈。可以探索中间层反馈、多尺度反馈（同时融合浅层与深层状态），或与状态空间模型（SSM）结合的线性反馈路径。 - **记忆组与投影策略**：当前实验使用 G=1 （所有 decoder 层共享同一组 encoder KV 投影）。增加 G 至 L_D 层分别投影的代价与收益在更大模型上的缩放规律尚不明确。 —- ### 5. 训练效率与长序列扩展 - **梯度截断与内存优化**：论文采用 TBPTT128 覆盖训练序列。对于更长序列（如 10^5 级别），需要研究更激进的截断策略、激活重计算（activation checkpointing）与状态检查点（state checkpointing）方案，以控制 O(T L_D) 的反向依赖深度。 - **分布式训练中的序列并行**：decoder 的 T 个顺序更新在预填充阶段形成流水线依赖。可以探索跨设备流水线、微批处理（micro-batching）独立序列的 decoder 更新（如图 9 所示）以提升硬件利用率。 —- ### 6. 推理优化与缓存压缩 - **编码器记忆的压缩与驱逐**：encoder KV 记忆 M(le t) 随上下文线性增长。可引入压缩注意力（如低秩近似、量化、或滑动窗口驱逐）以降低长上下文推理内存。 - **反馈状态的量化与低秩近似**：循环状态 st 和各层 SWA 缓存 C_t^D 是推理时的持久化开销。研究其 INT8/INT4 量化或低秩分解对长度泛化精度的影响。 - **与推测解码的兼容性**：RLT 的逐 token 循环结构可能与 speculative decoding、Medusa 等并行解码技术产生交互，需要验证其兼容性并设计相应的草稿模型（draft model）架构。 —- ### 7. 强化学习中的精确策略重放 - **高效的状态重放**：论文强调 RL 中必须基于当前参数完整重放历史以重建状态。可以研究近似重放（如缓存并复用历史 SWA KV，或在固定间隔内截断梯度）在策略梯度中的偏差–方差权衡。 - **多轮 RL 与状态漂移**：在多轮对话或工具学习 RL 中，验证保存的 decoder 状态 H_t 在参数更新后复用时的数值稳定性，以及对话模板修改导致的缓存失效恢复机制。 —- ### 8. 跨模态与更广泛的序列建模 - **视频与时序数据**：将 RLT 的循环反馈机制扩展到视觉 Transformer，用于长视频帧序列的时序状态跟踪，其中“时间”维度天然需要随帧数增长的计算路径。 - **语音与音乐生成**：在需要严格因果性和长程依赖保持的生成任务中，测试 encoder 并行预填充与 decoder 循环生成的协同效果。 —- ### 9. 权重共享与模型缩放 - **编码器–解码器权重绑定（weight tying）的缩放规律**：附录 A.1 讨论了 tied RLT，但实验主要使用 untied 版本。在更大规模（如 7B/70B 参数）下，共享注意力与 FFN 权重对样本效率与泛化的影响值得研究。 - **与现有高效架构的融合**：将 RLT 的循环 decoder 与 Mamba、Gated Linear Attention 等亚二次注意力机制结合，进一步降低长序列下的计算复杂度。 Q6: 总结一下论文的主要内容 这篇论文围绕**固定深度 Transformer 的长度泛化局限**展开，提出了一种将并行编码与跨 token 循环解码相结合的新架构，并在算法推理任务上验证了显著的外推能力。以下是主要内容的系统总结。 —- ### 1. 核心问题 算法状态跟踪（如奇偶校验、模运算、排列组合）要求模型在读取每个新输入时更新内部状态。然而，标准 Transformer 对每个 token 施加了**固定层数**的计算深度，其计算路径不随序列长度增长。理论结果表明，除非 TC^0 = NC^1 ，否则固定深度的 Transformer 无法在任意长序列上完成如 S_5 排列组合这类需要迭代状态累积的任务。这导致模型在训练长度之外几乎立即退化至随机水平。 —- ### 2. 方法：Recurrent Looped Transformer (RLT) 论文提出的 RLT 将总层数拆分为两个部分，并引入跨时间步的隐态反馈： - **因果编码器 (Causal Encoder, Eθ , LE 层)**：对已知前缀进行并行因果编码，输出位置表示 e_t 并构建全局键值记忆 M(le t) 。 - **循环解码器 (Recurrent Decoder, Dφ , L_D 层)**：逐个 token 顺序处理。在每一步，通过**门控合并 (gated merge)** 将当前编码器输出 e_t 与**前一个 token 的最终解码器隐态 s(t-1) ** 结合：

ut = e_t + α , g_t odot W_s , RMSNorm(s(t-1))
其中 $gt = σ(W_g
e_t; RMSNorm(s(t-1))

  • b_g) 为可学习门控。 解码器每层包含因果滑动窗口注意力 (SWA)、编码器记忆交叉注意力及 FFN。处理 t 个 token 后，隐态 s_t 经过了 t · L_D 个解码器块的变换，而每个 token 的前向成本仍固定为 L_E + L_D 层。这实现了计算路径随序列长度线性增长，同时控制单步推理开销。 —- ### 3. 反馈间隔的设计空间 论文将反馈频率作为显式设计轴，提出三个变体： - RLT-1：每 token 更新反馈 ( B=1 )，顺序依赖最深，状态跟踪最精确。 - RLT-2：每 B 个 token 的块边界更新一次反馈，块内可并行计算，以少量精度换取训练与预填充并行度。 - RLT-0：完全移除反馈 ( B=∞ )，解码器直接接收 z_t^0 = e_t ，作为验证反馈必要性的对照。 —- ### 4. 主要实验发现 在八层模型（宽度 512，5 种编码器–解码器拆分）与八层 decoder-only Transformer 的对比中，论文在六项算法任务上进行了系统评估： #### 4.1 长度泛化的显著提升 - 奇偶校验 (Parity)：训练最长 40 位。RLT-1 的 5+3 与 7+1 拆分在 256 位上达到 100±0% 准确率（全部种子），Transformer 仅 50.07±1.63% （接近随机）。 - Swap-based S_5 状态跟踪：训练 32 个操作，测试至 512 个操作。 4+4 拆分在 256 个操作（八倍训练长度）上达到 97.30±2.76% 最终状态准确率，Transformer 仅 0.85±0.30% ；且准确率随解码器深度 L_D 增加而上升。 - 模运算 (Mod-5)：在长度 63 的无括号表达式上， 6+2 达到 93.36±5.69% ，Transformer 仅 33.20±2.33% 。 #### 4.2 深度分配的任务依赖性 - 奇偶校验在 L_D=1 或 3 时泛化最佳； - Swap-based S_5 则随 L_D 增加而持续改善，表明最优拆分依赖于任务类型。 #### 4.3 反馈机制的必要性 - 移除反馈 (RLT-0)：奇偶校验与 swap-based S_5 在长序列上立即退至随机水平，证明循环反馈是长度泛化的关键。 - 块级反馈 (RLT-2, B=4 )：64 位奇偶校验仍保持 98.99% ，但 64 操作的 swap-based S_5 从 100% 骤降至 19.60%$。这表明状态组合类任务需要逐 token 的精细反馈，而逐位累积类任务可容忍适度 chunk 化。 —- ### 5. 主要贡献 - 架构层面：提出了结合并行编码器记忆复用与全解码器循环反馈的 RLT，将编码器–解码器深度分配和反馈间隔作为新的设计变量。 - 长度泛化层面：首次展示了八层模型在远超训练长度的算法状态跟踪任务上达到接近完美准确率，而同等规模 Transformer 完全失效。 - 机制洞察层面：通过 RLT-0 和 RLT-2 的消融，量化了反馈频率与任务性质之间的交互，揭示了不同算法任务对状态更新粒度的差异化需求。 - 执行与训练层面：给出了因果预填充、增量解码、多轮缓存复用及强化学习中精确策略重放的完整执行协议。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yifan Zhang,Jichen Feng,Shihan Qin

Categories:

PDF URL: https://arxiv.org/pdf/2610.07591.pdf

Arxiv URL: https://arxiv.org/abs/2610.07591

Arxiv ID: 2610.07591

CoolPaper URL: https://papers.cool/arxiv/2610.07591

Published: 2026-10-08T02:55:02.126Z

Updated: 2026-10-08T02:55:02.126Z

12. On KL-Regularized Policy Optimization

Abstract:Asynchronous reinforcement learning (RL) for large language model (LLM) agents trains one policy on trajectories generated by another: rollouts come from stale checkpoints, and the inference engine’s probabilities differ from the trainer’s even at identical parameters. Standard remedies either clip importance ratios, which biases the update, or, as in GRPO, sample a group of responses per prompt, which is costly when episodes are long. We propose KL-Regularized Policy Optimization (KLPO), a framework that anchors the KL regularizer at the sampler. The regularized improvement step then has a closed-form Gibbs solution, and KLPO fits its log-ratio optimality condition by least squares on the sampler’s own trajectories, so the sampler probability enters through a log-ratio and no importance weights are needed. Profiling out the regression intercept replaces the intractable log-partition function with the signal’s sampler mean plus a sampler-to-trainer KL divergence. For token-level policy mirror descent targets, we show that the resulting gradient can be computed from terminal returns without a critic, via sampler-centered scores or a single trajectory residual, even under stochastic tool outputs. We further prove that independent Monte Carlo estimates of the KL term keep these gradients unbiased, derive the exact KL gap of cheaper top-$K$ and binary approximations, and show that SPPO, GPO, REBEL, and BPO arise as special cases of KLPO. The result is a critic-free update that uses one rollout per prompt and requires neither a learned normalizer nor a group of responses.

中文摘要

摘要：用于大型语言模型（LLM）代理的异步强化学习（RL）在一个策略上训练，而其轨迹由另一个策略生成：回滚来自过时的检查点，即使参数相同，推理引擎的概率也与训练器不同。标准解决方法要么剪切重要性比率，从而导致更新偏差，要么像 GRPO 那样对每个提示采样一组响应，当回合较长时成本很高。我们提出了 KL 正则化策略优化（KLPO），这是一个将 KL 正则器锚定在采样器上的框架。正则化的改进步骤因此具有闭式 Gibbs 解，KLPO 通过对采样器自身的轨迹进行最小二乘拟合其对数比率最优条件，因此采样器概率通过对数比率进入，不需要重要性权重。对回归截距进行剔除，将不可解的对数配分函数替换为信号的采样器均值加上采样器到训练器的 KL 散度。对于令牌级策略镜像下降目标，我们展示了即使在工具输出随机的情况下，所得梯度也可以通过终端回报无需评论员（critic）地计算，方法是通过以采样器为中心的评分或单条轨迹残差。我们进一步证明 KL 项的独立蒙特卡洛估计保持这些梯度无偏，推导了较便宜的 top-$K$ 和二值近似的精确 KL 差距，并证明 SPPO、GPO、REBEL 和 BPO 都可以看作是 KLPO 的特例。最终的结果是一个无需评论员的更新，每个提示只使用一次回滚，不需要学习正规化器或一组响应。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.08963

Authors: Yifan Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.08963.pdf

Arxiv URL: https://arxiv.org/abs/2610.08963

Arxiv ID: 2610.08963

CoolPaper URL: https://papers.cool/arxiv/2610.08963

Published: 2026-10-08T02:55:04.218Z

Updated: 2026-10-08T02:55:04.218Z

13. VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations

Abstract:Existing synthetic image evaluators typically provide only a scalar quality score and do not identify the image regions that support it. We introduce VIEScore2, a unified evaluator for image generation and editing tasks with optional conditioning images. VIEScore2 represents an image as an N x N grid and jointly predicts quality scores and defect locations in a single model pass. Its text-native grid representation provides a common interface for heterogeneous spatial supervision and enables directly verifiable post-training objectives. We train on 38K examples spanning score-only, localization-only, and joint supervision across generation and editing tasks. Starting from supervised fine-tuning, we further apply GRPO to improve defect localization using rewards that combine cell-level Dice overlap, score accuracy, and output-format validity. A parameter-free parser converts the structured predictions into readable explanations. On the primary suite, VIEScore2 achieves an overall-score SRCC of 0.601, compared with 0.491 for Gemini-3-Flash, the strongest zero-shot general-purpose VLM baseline under matched inputs. For defect localization, VIEScore2 outperforms both general-purpose VLMs and specialized spatial evaluators on three of six benchmarks in per-image grid IoU and ranks among the top three on five, including datasets beyond its training sources.

中文摘要

摘要：现有的合成图像评估器通常仅提供一个标量质量分数，并且无法识别支持该分数的图像区域。我们提出了 VIEScore2，这是一个用于图像生成和编辑任务的统一评估器，并可选择性使用条件图像。VIEScore2 将图像表示为 N x N 网格，并在单次模型推理中联合预测质量分数和缺陷位置。其文本原生网格表示提供了异构空间监督的通用接口，并使训练后目标可直接验证。我们在 38K 个示例上进行训练，这些示例覆盖了仅评分、仅定位以及生成和编辑任务的联合监督。从监督微调开始，我们进一步应用 GRPO，通过结合单元格级 Dice 重叠、分数准确性和输出格式有效性的奖励来提高缺陷定位能力。一个无参数解析器将结构化预测转换为可读解释。在主要评测套件上，VIEScore2 实现了总体分数 SRCC 为 0.601，而 Gemini-3-Flash（在匹配输入下最强的零样本通用 VLM 基线）为 0.491。在缺陷定位方面，VIEScore2 在六个基准中的三个基准上，在每图网格 IoU 上优于通用 VLM 和专用空间评估器，并在五个基准上排名前三，其中包括其训练数据源之外的数据集。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.00994 (timeout of 15000ms exceeded)

Authors: Xianda Du,Max Ku,Weiming Ren,Zhi Rui Tam,Chunlin Ren,Ping Nie,Min-Hung Chen,Wenhu Chen

Categories:

PDF URL: https://arxiv.org/pdf/2610.00994.pdf

Arxiv URL: https://arxiv.org/abs/2610.00994

Arxiv ID: 2610.00994

CoolPaper URL: https://papers.cool/arxiv/2610.00994

Published: 2026-10-08T02:55:05.934Z

Updated: 2026-10-08T02:55:05.934Z

14. Inverting Multi-Vector Visual Document Indices

Abstract:Prevailing multi-vector visual document retrievers store each page as about a thousand patch vectors, often in vector databases run by a third party. Since no one can read a page from its vectors, this index is easily treated as less sensitive than the page. However, because the index keeps one vector per patch in raster order, and each vector is computed by a vision-language model pre-trained to read documents, we hypothesize that whoever runs or breaches the store can reproduce a page from its index alone. We frame inversion as conditional document image generation and infer from the vectors what the attack needs: the encoder, the page shape and, for shuffled vectors, their order. On the ViDoRe v3 benchmark, pages inverted from raw indices recover 47% of the words and 45% of the sensitive tokens. Used as queries against the stored indices, they rank their source page first 98.4% of the time. We test two cheap protections, token pooling and shuffling, which both cut word recall to about 8%. A model that restores the order of a shuffled index raises the share of source pages ranked first from 3.8% to 93.5%, while inverting a pooled index remains open. To test generalisation, we apply the same attack unchanged to another multi-vector retriever: its inverted pages still rank their source page first 70.2% of the time, though its word recall stays below a nearest-neighbour baseline. Multi-vector visual document retrievers are therefore vulnerable to inversion through their stored index, which should be protected like the documents it encodes.

中文摘要

摘要：现有的多向量视觉文档检索器将每一页存储为大约一千个补丁向量，这些向量通常保存在第三方运行的向量数据库中。由于没有人可以直接从向量中读取页面内容，因此这种索引通常被认为不如页面本身敏感。然而，由于索引按光栅顺序为每个补丁保留一个向量，且每个向量都是由预先训练的视觉-语言模型（用于读取文档）计算得出，我们假设，无论是运行该存储系统的人还是入侵该存储的人，仅凭索引就可以重建页面。我们将反演问题框定为条件文档图像生成，并从向量中推断攻击所需的信息：编码器、页面形状以及对于打乱的向量，它们的顺序。在 ViDoRe v3 基准测试中，从原始索引反演的页面能够恢复 47% 的单词和 45% 的敏感标记。将这些页面作为查询对存储的索引进行检索时，有 98.4% 的情况下会将其源页面排在首位。我们测试了两种廉价的防护方法——标记池化和打乱，这两种方法都将单词召回率降低至约 8%。一个能够恢复打乱索引顺序的模型会将源页面首位排名的比例从 3.8% 提升至 93.5%，而反演池化索引仍然是一个开放问题。为了测试泛化能力，我们将同样的攻击方法直接应用于另一种多向量检索器：其反演页面仍有 70.2% 的概率将源页面排在首位，尽管其单词召回率仍低于最近邻基线。因此，多向量视觉文档检索器容易通过其存储的索引被反演，这些索引应当像其编码的文档一样加以保护。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.09920

Authors: Zhuchenyang Liu,Yao Zhang,Yu Xiao

Categories:

PDF URL: https://arxiv.org/pdf/2610.09920.pdf

Arxiv URL: https://arxiv.org/abs/2610.09920

Arxiv ID: 2610.09920

CoolPaper URL: https://papers.cool/arxiv/2610.09920

Published: 2026-10-08T02:55:09.905Z

Updated: 2026-10-08T02:55:09.905Z

15. Semifactual Credit-Augmented Policy Optimization

Abstract:Reinforcement learning with verifiable rewards (RLVR) has improved the reasoning capabilities of large language models (LLMs), yet their predictions remain sensitive to task-irrelevant prompt features. We investigate this sensitivity through semifactual prompt interventions that preserve the underlying problem and its answer. Our analysis reveals substantial variation in token-level sensitivity and shows that suppressing high-drift token candidates during decoding improves reasoning accuracy without updating model weights. These findings highlight a limitation of Group Relative Policy Optimization (GRPO), which assigns the same outcome-derived advantage to every response token and may reinforce potential spurious dependence alongside useful reasoning. Motivated by this observation, we introduce Semifactual Credit-Augmented Policy Optimization (SCAPO), a causally inspired variant of GRPO that incorporates semifactual stability into token-level credit assignment. SCAPO measures token probability drift for fixed responses under semifactual interventions and uses normalized stability scores to reduce advantages for relatively unstable tokens during early training, while granting no additional credit for stability alone. On Qwen3-4B-Base and Qwen3-1.7B-Base, SCAPO improves AIME 2024-2026 accuracy over GRPO by 5.63 and 4.17 percentage points, respectively. At both model scales, SCAPO achieves the best results on most evaluated mathematics benchmarks and all evaluated out-of-distribution benchmarks among the compared methods. These results suggest that semifactual stability provides an effective training signal for improving reasoning and generalization through finer-grained credit assignment in RLVR. The code is available at this https URL.

中文摘要

摘要：具有可验证奖励的强化学习（RLVR）提高了大型语言模型（LLMs）的推理能力，但它们的预测仍然对与任务无关的提示特征敏感。我们通过保持基础问题及其答案的半事实提示干预来研究这种敏感性。我们的分析显示了令牌级敏感性的显著变化，并表明在解码过程中抑制高漂移令牌候选可以在不更新模型权重的情况下提高推理准确性。这些发现突出了群体相对策略优化（GRPO）的一个局限性，即它对每个响应令牌分配相同的结果导出优势，可能会在有用推理的同时强化潜在的虚假依赖。受此观察启发，我们提出了半事实信用增强策略优化（SCAPO），这是GRPO的一种因果启发变体，将半事实稳定性纳入令牌级信用分配。SCAPO在半事实干预下测量固定响应的令牌概率漂移，并使用归一化稳定性得分在训练早期降低相对不稳定令牌的优势，同时单凭稳定性不授予额外信用。在Qwen3-4B-Base和Qwen3-1.7B-Base上，SCAPO在AIME 2024-2026准确率上分别比GRPO提高了5.63和4.17个百分点。在这两种模型规模上，SCAPO在大多数评估的数学基准以及所有评估的分布外基准中在比较方法中取得了最佳结果。这些结果表明，半事实稳定性通过在RLVR中进行更细粒度的信用分配，为提高推理和泛化提供了有效的训练信号。代码可在此https URL获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*强化学习 with 可验证奖励（RLVR）中大语言模型（LLM）推理过程对任务无关提示特征的敏感性问题\*\*，并针对现有方法在信用分配粒度上的不足提出改进。 具体而言，论文试图解决以下核心问题： - \*\*Token级别的虚假依赖问题\*\*：LLM在推理时，其预测概率对任务无关的提示变化（如措辞、无关上下文等）表现出显著的token级别敏感性。某些token（如反思标记和话语连接词）对这类干扰特别敏感，而数学符号和数字则相对稳定。这种敏感性反映了模型可能依赖虚假的提示特征而非纯粹的数学推理。 - \*\*GRPO信用分配过于粗糙的问题\*\*：标准的Group Relative Policy Optimization（GRPO）为同一响应中的所有token分配相同的基于结果的advantage，无法区分不同token对任务无关特征的依赖程度。这导致正向的结果奖励可能同时强化了正确的推理路径和对虚假相关性的依赖。 - \*\*训练信号与推理鲁棒性对齐的问题\*\*：论文探索如何利用半事实（semifactual）干预——即在不改变底层数学问题及其答案的前提下修改提示——来探测token级别的稳定性，并将这种稳定性转化为细粒度的信用分配信号，从而在RLVR训练过程中抑制对不稳定、虚假特征的依赖，提升模型的推理准确率和分布外泛化能力。 为此，论文提出了\*\*Semifactual Credit-Augmented Policy Optimization (SCAPO)\*\*，通过在GRPO的token-level advantage中引入基于半事实稳定性的负向修正（仅降低不稳定token的信用，而不因稳定性本身给予额外奖励），实现对细粒度信用的分配，进而提升数学推理基准测试的表现和鲁棒性。 Q2: 有哪些相关研究？ 论文涉及的相关研究主要围绕以下三个层面展开： ### 1. 可验证奖励强化学习（RLVR） 该领域通过优化自动可验证的结果奖励来提升大语言模型的数学推理能力，无需人工过程监督。 - \*\*基础框架\*\*：Group Relative Policy Optimization（GRPO）作为代表性方法，通过组内结果奖励的相对优势实现免评论家（critic-free）训练。后续工作如 DeepSeek-R1（Guo et al., 2025）和 OpenAI o1（OpenAI, 2024）进一步验证了 RLVR 在复杂推理任务中的有效性。 - \*\*训练稳定性与采样改进\*\*：DAPO（Yu et al., 2025）改进了奖励归一化和采样策略；Liu et al. (2025) 对类 R1-Zero 训练提供了批判性分析；Yue et al. (2025) 区分了采样效率与推理路径覆盖的扩展。 - \*\*策略更新与探索机制\*\*：GSPO（Zheng et al., 2025）采用序列级重要性比率与裁剪；SAPO（Gao et al., 2025b）以平滑的优势门控替代硬裁剪；Cui et al. (2025) 和 Yan et al. (2025) 分别通过熵控制与离策略指导促进探索。 \*\*与本文的关系\*\*：上述方法均依赖响应级（response-level）结果优势，无法区分单个推理 token 对任务无关特征的敏感差异。SCAPO 在保留结果奖励优化的同时，引入 token 级半事实稳定性信号以细化信用分配。 ### 2. 推理任务的细粒度信用分配 该方向旨在超越最终答案奖励，为中间推理 token 提供更精细的学习信号。 - \*\*过程级监督与隐式奖励\*\*：Lightman et al. (2024) 和 Wang et al. (2024) 利用过程注释或结果标签训练验证器；Cui et al. (2026) 提出通过隐式奖励进行过程强化。 - \*\*基于 Rollout 的信用估计\*\*：VinePPO（Kazemnejad et al., 2025）通过蒙特卡洛 rollout 细化信用分配。 - \*\*基于 Token 统计量的加权\*\*：Wang et al. (2025b) 发现高熵少数 token 驱动有效强化学习；Xie et al. (2026) 利用不确定性感知优势塑造；Mou et al. (2026) 提出选择性资格迹；FIPO（Ma et al., 2026）通过未来 KL 散度重加权 token 优势。 - \*\*基于归因与反事实干预的方法\*\*：Ruan et al. (2025) 采用梯度归因选择关键 token 进行微调；CF-GRPO（Khandoga et al., 2026）通过反事实掩码推理跨度估计 token 级信用；Li et al. (2026) 基于结果 grounding 进行优势重塑。 \*\*与本文的关系\*\*：SCAPO 同样关注 token 级信用分配，但其独特之处在于利用\*\*半事实（semifactual）提示干预\*\*下固定响应的 token 概率漂移，提取稳定性信号；与基于输出侧归因（如跨度掩码或续写再生）的方法不同，SCAPO 通过 teacher forcing 探测概率变化，并仅施加\*\*负向修正\*\*（降低不稳定 token 的信用），而非将稳定性本身作为正确性标签。 ### 3. 因果推断、半事实干预与推理鲁棒性 - \*\*因果不变性与反事实分析\*\*：Peters et al. (2016) 和 Arjovsky et al. (2019) 的不变风险最小化为从因果角度理解模型依赖提供了理论基础。 - \*\*半事实干预的理论与构造\*\*：Goodman (1947) 奠定了反事实条件句的分析框架；Kenny & Keane (2021) 和 Lu et al. (2022) 探讨了半事实解释在深度学习中的生成与应用。 - \*\*LLM 推理鲁棒性评估\*\*：Mirzadeh et al. (2025) 与 Huang et al. (2025) 揭示了模型对输入扰动的敏感性；Wang et al. (2022) 和 Fu et al. (2026) 分析了模型对虚假相关性的依赖。 \*\*与本文的关系\*\*：SCAPO 将半事实干预从\*\*诊断工具\*\*（用于探测 token 级虚假依赖）转化为\*\*训练信号\*\*，通过回答保持（answer-preserving）的提示扰动量化 token 稳定性，并据此在 RLVR 中实现因果启发的信用修正。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*Semifactual Credit-Augmented Policy Optimization (SCAPO)\*\* 解决该问题。该方法的核心在于：利用\*\*半事实（semifactual）提示干预\*\*探测 token 级别的潜在虚假依赖，将 token 的稳定性转化为细粒度信用信号，并仅在早期训练阶段对 GRPO 的轨迹级优势进行负向修正，从而抑制对不稳定 token 的强化。具体解决路径可分为以下四个环节： --- ### 1. 半事实提示干预与固定响应探测 为暴露哪些 token 的概率过度依赖任务无关的提示特征，SCAPO 在保持原始数学问题及其答案不变的前提下，构造四类半事实扰动（改写、轻微拼写错误、无关场景包裹、附加无关上下文）。对于每个原始提示 x^((0)) 及其扰动 x^((1)), dots, x^((K)) ，SCAPO 固定从原始提示采样的响应 y_i ，通过 \*\*teacher forcing\*\* 在每个扰动提示下重新计算该响应中各 token 的概率 p^((k))_(i,t) ：

p^((k))(i,t) = π(old)(y(i,t) mid x^((k)), y(i,<t))

2. Token 级概率漂移量化 为衡量每个 token 对提示扰动的敏感程度，SCAPO 采用**有界对称距离**（bounded-symmetric distance）计算漂移：

d^((k))(i,t) = |p^((0))(i,t) - p^((k))(i,t)|(p^((0))(i,t) + p^((k))_(i,t))/2
该度量通过局部平均概率进行归一化，避免低概率 token 的尺度偏差，并将极端比率的影响限制在 $
0, 2
$ 范围内，确保数值鲁棒性。 ### 3. 组内相对稳定性估计 SCAPO 将原始漂移转化为**相对稳定性信号**，以适配组内优化的上下文。具体地，对每个扰动类型分别进行组内标准化（z-score），取负后再次聚合标准化：

u = zscorex( (1) / (K)∑(k=1)^(K) zscorex(-d^((k))) )
得到的标准化分数 u(i,t) 反映该 token 在组内的相对稳定性。由于**稳定性本身不蕴含正确性**，SCAPO 仅保留信号的**负向部分**：
u^(-)(i,t) = min(u(i,t), 0)
负值标识相对不稳定的 token，而正值或零不带来额外奖励。 ### 4. 策略优化中的半事实信用增强 SCAPO 将上述稳定性信号以**停止梯度（stop-gradient）**方式附加到标准 GRPO 的 token 级优势上：

A(i,t) = A_i + λ · sg(u^(-)(i,t))
其中 Ai = (R_i - μ_R) / (σ_R + ε_A) 为 GRPO 的组相对优势。此构造保证 A(i,t) ≤ Ai ： - 当 A_i > 0 时，不稳定 token 的正向强化信号被削弱； - 当 A_i < 0 时，不稳定 token 的负向学习信号被增强。 最终策略目标为：
J(SCAPO)(θ) = E[ (1) / (G)∑(i=1)^(G) (1) / (T_i)∑(t=1)^(Ti) min(r(i,t)A(i,t), r(i,t)A_(i,t)) ]
SCAPO 保留了 GRPO 的重要性比率、裁剪机制和损失归约方式，仅修改了优势函数。 —- ### 5. 分阶段应用与训练效率 为避免在整个训练过程中持续干预导致过度约束，SCAPO 将信用增强限制在**早期阶段**：

λ = λ_0, & 1 ≤ n ≤ N_0 0, & n > N_0
在初始 N_0 步内，模型借助半事实稳定性信号筛选并抑制虚假依赖；此后切换为标准 GRPO 继续优化。此外，半事实探测通过复用已采样的响应进行 teacher forcing，避免了针对每个扰动重新生成响应的开销，其计算开销仅占训练总时间的约 1.8%。 —- ### 总结 SCAPO 通过**探测—量化—修正**的流水线，将原本仅用于诊断的半事实敏感性转化为训练时可操作的信用信号。其关键创新在于：以**负向、无梯度、相对化**的方式修正 token 级优势，从而在无需过程监督或外部奖励模型的情况下，实现对虚假依赖的精细化抑制与推理能力的提升。 Q4: 论文做了哪些实验？ 论文的实验围绕 **SCAPO 的有效性验证**、**组件消融**、**token 级敏感性诊断** 以及 **计算开销分析** 展开，具体包括以下内容： —- ### 1. 训练与评估设置 实验在 **Qwen3-4B-Base** 与 **Qwen3-1.7B-Base** 上进行，训练数据为 **DAPO-Math-17K**（约 17,000 道竞赛级数学题）。对比基线涵盖： - **GRPO**（Shao et al., 2024） - **GSPO**（Zheng et al., 2025） - **SAPO**（Gao et al., 2025b） - **CF-GRPO**（Khandoga et al., 2026） - **FIPO**（Ma et al., 2026） SCAPO 的训练分为两阶段：前 N_0 步（4B 模型 120 步，1.7B 模型 200 步）施加半事实信用增强，后续切换为标准 GRPO。 —- ### 2. 主实验：数学推理与分布外泛化 #### (1) 分布内竞赛级数学推理 在 8 个数学基准上评估，包括 AIME 2024–2026、AMC 2023–2025、HMMT 2025–2026、BRUMO 2025、SMT 2025、Omni-Math、Minerva 与 OlympiadBench。 - **Qwen3-4B-Base**：SCAPO 在 8/8 的指标上优于 GRPO，AIME 提升 **5.63 个百分点**（22.08% → 27.71%），并在 6/8 的基准上取得对比方法中的最高准确率。 - **Qwen3-1.7B-Base**：SCAPO 在 8/8 的指标上优于 GRPO，AIME 提升 **4.17 个百分点**（7.71% → 11.88%），且在所有 8 个基准上均为对比方法最优。 #### (2) 分布外（OOD）泛化与鲁棒性 评估三种 OOD 场景： - **NoOp-AIME**：在 AIME 问题末尾附加无意义干扰上下文； - **ThinkBench-AIME**：对 AIME 进行动态输入扰动； - **GPQA-Diamond**：研究生级科学问答（跨领域迁移）。 SCAPO 在两个模型尺度上的全部三项 OOD 基准均取得最高准确率。例如，在 4B 模型上，GPQA-Diamond 从 GRPO 的 36.26% 提升至 **42.45%**（+6.19 pp）。 —- ### 3. 消融实验（基于 Qwen3-1.7B-Base） 为验证信用信号设计的必要性，论文在 5 个竞赛级基准上进行了消融： #### (1) 信用信号来源 - **Random shuffle**：将半事实修正值在响应内随机打乱，破坏 token 对齐。AIME 24–26 准确率为 **8.33%**，低于 SCAPO 的 **11.88%**。 - **Counterfactual**（反事实扰动）：使用改变答案的扰动替代保持答案的半事实扰动。AIME 准确率为 **6.32%**。 结果表明，**与半事实敏感性精确对齐**的信用分配至关重要；反事实扰动下的漂移反映的是合法预测变化，而非虚假依赖。 #### (2) 修正符号 - **Negative-only**（SCAPO）：仅保留负向稳定性分数，降低不稳定 token 信用。平均准确率最高（**17.65%**）。 - **All-sign**：保留全部稳定性分数。 - **Positive-only**：仅奖励稳定 token。 消融支持**仅作负向修正**的设计选择：降低不稳定 token 的信用有效，但直接奖励稳定性本身无助于提升性能。 —- ### 4. Token 级半事实敏感性诊断（训练前分析） 在**冻结的 Qwen3-4B-Base** 上，对 1,000 道数学题进行系统性诊断，以揭示虚假依赖的 token 级特征： #### (1) 概率漂移异质性 通过 teacher forcing 固定响应，测量 4 种半事实扰动下的 token 概率漂移：

d^((k))t = |p^((0))_t - p^((k))_t|(p^((0))_t + p^((k))_t)/2
发现： - 漂移幅度跨越多个数量级，12.82% 的 token 位置无变化，其余呈现显著异质性； - **Reflection markers**（如 *wait*, *check*）与 **discourse connectives**（如 *however*, *thus*）的平均漂移分别为总体均值的 **2.74×** 与 **2.32×**； - **Math symbols** 与 **numbers** 的漂移仅为总体均值的 **0.47×** 与 **0.37×**。 #### (2) d-filtered 解码实验 在不更新模型权重的前提下，于解码阶段**在线抑制高漂移候选 token**（按漂移排序，屏蔽累计概率质量不超过 0.8 的高漂移前缀，保留 EOS 并重归一化）。 结果：在相同的 1,000 题面板上，准确率从基线采样的 **15.8%** 提升至 **30.0%**（+14.2 个百分点）。该实验证明半事实敏感性信号本身即可在解码阶段显著改善推理，从而 motivate 将其引入训练阶段。 —- ### 5. 计算效率分析 对 Qwen3-4B-Base 的训练时间进行分解： - **半事实探测与信用构建**：仅占 **1.8%**； - **自回归 Rollout**：**52.7%**； - **策略更新**：**18.7%**； - **其他开销**：**26.7%**。 由于 SCAPO 复用已采样的响应进行 teacher forcing，无需针对扰动提示重新生成，且探测仅限于早期增强阶段，因此额外计算开销极小。 —- ### 6. 补充实验 #### (1) Pass@k 曲线 在 AIME 2024–2026 与 AMC 2023–2025 上估计 Pass@k（从 128 个响应中至少得到一个正确答案的概率）。SCAPO 在两个模型尺度上的 **Pass@128** 均为对比方法中最高。 #### (2) 逐年细分结果 附录提供了 AIME、AMC、HMMT 等基准按年份的详细准确率（如 AIME 2024/2025/2026 分别报告），显示 SCAPO 的优势跨年度一致。 #### (3) 优化理论分析 在附录 D 中，论文基于随机梯度模型证明了有限时长增强（finite-duration augmentation）的收敛性质，表明当增强阶段结束（ n > N_0 ）后，额外引入的梯度偏差项随训练步数以 N_0/T 的速度衰减。 Q5: 有什么可以进一步探索的点？ 基于论文内容、局限性讨论与方法特征，以下方向值得进一步探索： —- ### 1. 更大规模与更多架构上的验证 论文的训练实验限于 **1.7B 与 4B 参数的密集 Qwen3 模型** 以及单一数学数据集（DAPO-Math-17K）。未来可在 **7B、14B 乃至更大基座模型** 上检验 SCAPO 的扩展性，并验证其在 **混合专家（MoE）架构** 或 **混合深度/广度模型** 中的有效性，以确认半事实稳定性信号在不同参数量与激活模式下的适用边界。 —- ### 2. 跨领域与多模态推理的迁移 当前研究聚焦于数学推理，虽然 GPQA-Diamond 提供了向科学问答迁移的初步证据，但 SCAPO 在 **代码生成、逻辑推理、视觉数学推理（VQA）及多语言场景** 中的表现尚不明确。可探索将半事实干预扩展到 **图像-文本联合提示**（如改变无关视觉风格而保留核心数学内容）或 **代码问题描述的表面重构**，检验 token 级稳定性信号是否仍能捕捉跨模态的虚假依赖。 —- ### 3. 自适应或学习的半事实扰动生成 论文采用四种手工设计的扰动类型（改写、拼写错误、场景包裹、无关上下文），并通过 GPT-5.5 生成。未来可研究： - **自动化扰动生成**：训练一个轻量级生成器或利用对抗学习，自动发现对当前策略最具信息量的半事实干预； - **扰动难度的课程学习**：从简单扰动逐步过渡到复杂、语义级干扰，动态调整探测强度； - **任务自适应选择**：针对不同学科（代数、几何、组合）学习最优的扰动分布。 —- ### 4. 信用增强调度策略的精细化 SCAPO 目前采用简单的分段常数调度（前 N_0 步启用，之后关闭， λ_0 固定）。可进一步探索： - **自适应退火**：根据训练过程中模型整体稳定性（如组内平均漂移）动态调整 λ 或提前终止增强； - **基于验证集触发**：在保留的验证集上监测 OOD 或半事实稳定性指标，当漂移不再显著下降时自动切换至标准 GRPO； - **非线性修正映射**：当前仅保留 u^-(i,t) = min(u(i,t), 0) ，可尝试基于温度参数的平滑门控或基于分位数的截断，以保留更多梯度信息。 —- ### 5. 与过程监督及其他细粒度信用方法的深度融合 SCAPO 仅依赖结果奖励与半事实稳定性，未引入显式的过程监督。未来可探索： - **与过程奖励模型（PRM）的协同**：将半事实稳定性作为 PRM 评分的辅助正则，或在 PRM 标注稀疏时填补信用分配空白； - **与 CF-GRPO / FIPO 等方法结合**：将反事实跨度掩码或未来 KL 影响权重与半事实漂移进行联合建模，构建多源 token 级信用框架； - **显式不变性约束**：借鉴不变风险最小化（IRM）思想，在半事实扰动上施加显式的表示不变性损失，而不仅限于优势修正。 —- ### 6. 半事实稳定性与因果推断的理论深化 论文从因果角度启发，但方法层面以启发式优势修正为主。未来可在理论上进一步建立： - **token 级因果效应形式化**：将半事实漂移定义为提示特征对 token 选择的平均因果效应（ACE），并分析其与后门准则或前门准则的关系； - **稳定性-泛化界的推导**：在 PAC-Bayes 或分布鲁棒优化（DRO）框架下，证明在半事实分布族上稳定的策略具备更强的泛化界； - **与稀疏虚假相关性的联系**：量化分析在 SCAPO 训练下，模型对特定虚假特征（如题目人名、场景描述）的依赖度衰减曲线。 —- ### 7. 解码阶段与训练阶段的联合优化 论文显示，在冻结模型上通过 **d-filtered 解码** 即可显著提升准确率（+14.2 pp）。未来可研究： - **训练-解码一致性**：在 SCAPO 训练后的策略上，测试 d-filtered 或与之相关的对比解码策略是否仍能叠加增益； - **自一致性（Self-consistency）的稳定性加权**：在多数投票时，以 token 级半事实稳定性作为响应权重，优先选择整体漂移更低的推理链； - **实时探测开销的极致压缩**：将漂移计算从完整 teacher forcing 简化为基于注意力图或隐藏状态差分的近似估计，实现近零开销的在线干预。 —- ### 8. 更广泛的鲁棒性与安全性评估 除当前考虑的 NoOp 与 ThinkBench 扰动外，可系统评估 SCAPO 对以下场景的鲁棒性： - **对抗性提示注入**：在问题中嵌入针对答案格式的对抗扰动； - **分布偏移下的长程推理**：测试在训练集之外的新颖数学竞赛（如 Putnam、IMO Shortlist）上的零样本迁移； - **奖励劫持（reward hacking）抗性**：观察半事实稳定性信号是否能抑制模型针对验证规则走捷径（如重复尝试答案格式）的行为。 Q6: 总结一下论文的主要内容 该论文研究了基于可验证奖励的强化学习（RLVR）中大语言模型推理的 **token 级虚假依赖问题**，并提出了 **Semifactual Credit-Augmented Policy Optimization (SCAPO)** 来改进策略优化中的细粒度信用分配。 ### 研究动机与核心问题 - RLVR（如 GRPO）通过结果奖励显著提升了 LLM 的数学推理能力，但模型预测仍对任务无关的提示特征敏感。 - **GRPO 的局限性**：其为同一响应内的所有 token 分配相同的轨迹级优势（advantage），无法区分不同 token 对无关特征的依赖程度，导致正向奖励可能同时强化了正确的推理路径和对虚假相关性的依赖。 ### 关键发现：Token 级半事实敏感性 - 论文通过**半事实干预**（如改写措辞、插入无关上下文、轻微拼写错误等，保持底层数学问题及答案不变）探测模型的 token 级稳定性。 - 在冻结的 Qwen3-4B-Base 上的诊断表明： - 不同 token 对干预的敏感性差异巨大：**反思标记（reflection markers）和话语连接词**的漂移高达总体均值的 2–3 倍，而**数学符号和数字**的漂移不足总体均值的一半。 - 在解码阶段仅通过抑制高漂移 token 候选（d-filtered 解码），即可在不更新模型权重的情况下将准确率从 **15.8% 提升至 30.0%**，验证了该信号的有效性。 ### 方法：SCAPO SCAPO 是一种受因果推断启发的 GRPO 变体，核心是将半事实稳定性转化为 token 级信用修正： 1. **固定响应探测**：对原始提示和 K 个半事实扰动提示，用 rollout 策略对同一采样响应进行 teacher forcing，计算每个 token 的条件概率。 2. **漂移度量**：采用有界对称距离量化 token 概率在扰动下的漂移。 3. **相对稳定性估计**：在 prompt 组内进行标准化，得到相对稳定性分数 u(i,t) 。 4. **负向-only 修正**：仅保留负向部分 u^-(i,t) = min(u(i,t), 0) ，构造增强优势：

A(i,t) = A_i + λ · sg(u^-(i,t))
其中 sg 表示停止梯度。该设计**仅降低相对不稳定 token 的信用**，而不因稳定性本身给予额外奖励（因为稳定不等于正确）。 5. **分阶段应用**：仅在训练早期的 N_0 步施加该信用增强，后续恢复标准 GRPO，以引导轨迹选择而不造成持续约束。 ### 实验结果 在 Qwen3-4B-Base 和 Qwen3-1.7B-Base 上，以 DAPO-Math-17K 训练，与 GRPO、GSPO、SAPO、CF-GRPO、FIPO 进行对比： - **分布内数学推理**： - Qwen3-4B-Base 上 AIME 2024–2026 准确率较 GRPO 提升 **5.63 个百分点**（22.08% → 27.71%），在 8 项数学基准中有 6 项取得最高。 - Qwen3-1.7B-Base 上 AIME 提升 **4.17 个百分点**（7.71% → 11.88%），8 项数学基准全部最优。 - **分布外泛化**： - 在 NoOp-AIME、ThinkBench-AIME（输入扰动鲁棒性）以及 GPQA-Diamond（跨领域科学问答）上，SCAPO 在两个模型尺度上均取得最高准确率。例如 4B 模型的 GPQA-Diamond 从 36.26% 提升至 42.45%。 - **消融实验**（1.7B 模型）： - 将半事实修正随机打乱或改用反事实（改答案）扰动，性能显著下降，验证了**与真实半事实敏感性对齐**的必要性。 - 对比全符号、仅正向、仅负向修正，**仅负向修正**平均准确率最高，支持“只惩罚不稳定 token，不奖励稳定”的设计。 - **计算效率**： - 半事实探测与信用构建仅占训练总时间的 **1.8%**，因复用已采样响应进行 teacher forcing，避免了额外的自回归生成。 ### 结论 论文表明，半事实干预不仅能诊断模型推理的脆弱性，更可作为一种有效的训练信号。SCAPO 通过将半事实稳定性以负向、无梯度、相对化的方式注入 token 级信用分配，在不依赖过程监督或外部奖励模型的情况下，提升了 RLVR 的推理准确率与分布外泛化能力。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Junshu Pan,Zhizhang Fu,Shulin Huang,Yiran Ding,Zifan Cheng,Wenqi Shao,Qiaosheng Zhang,Yue Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2609.40360.pdf

Arxiv URL: https://arxiv.org/abs/2609.40360

Arxiv ID: 2609.40360

CoolPaper URL: https://papers.cool/arxiv/2609.40360

Published: 2026-10-08T02:55:11.700Z

Updated: 2026-10-08T02:55:11.700Z

16. Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads

Abstract:Evaluation budgets in agentic retrieval-augmented generation span questions, search trajectories, and repeated answers. We measure allocation precision, reading efficiency, and cost boundaries using a retrieval-feedback comparison on HotpotQA and MuSiQue. At 34.14—34.39M model tokens, broader question coverage lowers standard error by 33\% versus five reads and 12.6\% versus three trajectories. Archived nested and Q-only forecasts predict these allocations within 4.0\% and 3.5\%, respectively. Depth subsets establish no clear forecasting advantage beyond the two-trajectory audit. One-read variance penalties relative to the fitted optimum at the same token budget are 0—9.9\%, with substantial Pro uncertainty. Under recorded model fees, more questions beat more trajectories at search prices of $0—1 per 1,000 requests; question-versus-read fee rankings remain unresolved. Temperature zero cuts answer disagreement from 14.3\% to 3.4\% while comparison precision stays similar. \par\medskip\noindent\textbf{Keywords:} Agentic RAG; Evaluation budget; Generalizability theory; Repeated sampling.

中文摘要

摘要：代理检索增强生成中的评估预算涵盖问题、搜索轨迹和重复答案。我们通过HotpotQA和MuSiQu的检索反馈比较，衡量分配精度、读取效率和成本边界。在3414万至3439万模型代币中，更广泛的问题覆盖使标准误比五次读取降低33%，三次轨迹降低12.6%。存档嵌套预测和仅Q预测分别在4.0%和3.5%范围内预测这些分配。深度子集在两轨迹审计之外没有明确的预测优势。在同一令牌预算下，单次读取相较拟合最优解的方差惩罚为0—9.9%，且Pro不确定性较大。在记录模型费用下，更多问题跑赢更多轨迹，搜索价格为每1000个请求$0—1;问题与阅读费用排名仍未解决。温度零将答案分歧从14.3%降至3.4%，而比较精度保持相似。\par\medskip\noindent\textbf{关键词：}能动RAG;评估预算;泛化理论;重复抽样。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.05034 (HTTP 429)

Authors: Jingjie Ning,Xueqi Li,Yibo Kong

Categories:

PDF URL: https://arxiv.org/pdf/2610.05034.pdf

Arxiv URL: https://arxiv.org/abs/2610.05034

Arxiv ID: 2610.05034

CoolPaper URL: https://papers.cool/arxiv/2610.05034

Published: 2026-10-08T02:55:15.360Z

Updated: 2026-10-08T02:55:15.360Z

17. Mobile-4DGS: Unified Static-Dynamic Real-time Mobile Gaussian Splatting

Abstract:Recent advances in 3D Gaussian Splatting (3DGS) have achieved remarkable performance in novel view synthesis, yet deploying both static and dynamic Gaussian representations on resource-constrained mobile devices remains challenging due to heavy storage, redundant primitives, and costly per-frame computation. We present Mobile-4DGS, a unified lightweight framework for high-fidelity real-time static and dynamic Gaussian rendering on mobile platforms. For compact appearance modeling, we introduce a Monte Carlo Specular Energy Aggregator that compresses high-order radiance residuals into the first-order Spherical Harmonics (SH), together with an Attribute-Conditioned SH Enhancement module whose predicted offsets are pre-baked before inference. We further propose a Multi-View Alpha-Based Densification and Pruning strategy to suppress redundant primitives while maintaining multi-view consistency. For dynamic scenes, we develop a compact explicit 4D representation by constructing second-order Gaussian motion, learnable temporal support, and a binary static-dynamic partition, enabling continuous-time modeling without runtime deformation networks. Based on this partition, a Depth-Order Certificate selectively reuses previously committed depth orders to reduce re-projection, sorting, merging, and index-buffer updates during playback. Extensive experiments on static and dynamic scenes demonstrate that Mobile-4DGS substantially reduces storage and rendering overhead while maintaining competitive visual quality, enabling real-time 3D and 4D Gaussian Splatting on mobile devices. \textcolor{magenta}{\href{this https URL}{Code has been released: this https URL}}.

中文摘要

摘要：3D高斯喷溅（3DGS）的最新进展在新颖视图合成方面取得了显著性能，但由于存储量大、冗余原语和每帧计算成本高昂，在资源受限的移动设备上同时部署静态和动态高斯表示仍具挑战性。我们提出了Mobile-4DGS，一个统一的轻量级框架，用于移动平台上高保真实时静态和动态高斯渲染。为了实现紧凑外观建模，我们引入了蒙特卡洛镜面能量聚合器，将高阶辐射残差压缩到一阶球谐波（SH）中，并结合一个属性条件高频增强模块，其预测偏移量在推理前已预烘焙。我们还提出了一种多视角基于Alpha的密度化和剪枝策略，以抑制冗余基元，同时保持多视角一致性。对于动态场景，我们通过构建二阶高斯运动、可学习的时间支持和二进制静态动态划分，开发了紧凑的显式四维表示，实现了无需运行时变形网络的连续时间建模。基于该划分，深度顺序证书选择性地重用先前提交的深度顺序，以减少播放时的重新投影、排序、合并和索引缓冲区更新。对静态和动态场景的广泛实验表明，Mobile-4DGS在保持竞争性视觉质量的同时大幅减少存储和渲染开销，使移动设备实现实时3D和4D高斯喷涂。\textcolor{magenta}{\href{this https URL}{代码已发布：this https URL}}。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.05289 (HTTP 429)

Authors: Xiaobiao Du,Beixi Hao,Zhen Fang,Tianqing Zhu,Richard Hartley,Xin Yu

Categories:

PDF URL: https://arxiv.org/pdf/2610.05289.pdf

Arxiv URL: https://arxiv.org/abs/2610.05289

Arxiv ID: 2610.05289

CoolPaper URL: https://papers.cool/arxiv/2610.05289

Published: 2026-10-08T02:55:17.046Z

Updated: 2026-10-08T02:55:17.046Z

18. Minimal Witness Reinforcement Learning

Abstract:``What are the irreducible conditions that are sufficient to produce an outcome?’’ is one of the most common questions that recur across computation and science. Its answers, the minimal sufficient witnesses, are what we mean by explanations, mechanisms and reasons. These problems usually ask for multiple minimal witnesses, yet standard RL methods may reveal only one solution or redundant ones. We formalize this problem as minimal-witness identification and introduce Minimal-Witness Reinforcement Learning (MWRL). MWRL takes the union of the sets certified by successful proposals sampled from the policy and credits each proposal for the coverage the group union would lose without that proposal. This credit assignment, derived directly from the problem definition, unifies the demands for minimality and recovery of alternatives from a single black-box verifier bit. Under this principle, we derive a value iteration planner that recovers the entire family of witnesses and a policy gradient method that can scale to large language models. Across different experimental settings, MWRL recovers most minimal witnesses, while other methods return redundant supersets or a single witness. By making witness families learnable from verifier feedback, MWRL expands the scope of reinforcement learning beyond single-solution optimization. Our code is available at this https URL.

中文摘要

摘要：“哪些不可约条件足以产生一个结果？”是计算和科学中最常见的问题之一。它的答案，即最小充分证据，就是我们所说的解释、机制和原因。这些问题通常要求多个最小证据，但标准的强化学习方法可能只会揭示一个解决方案或冗余的解决方案。我们将此问题形式化为最小证据识别，并提出最小证据强化学习（MWRL）。MWRL 从策略抽样的成功提议中获得经认证的集合的并集，并为每个提议分配覆盖的信用，这些覆盖如果没有该提议将会丢失。这种直接源于问题定义的信用分配统一了最小性和从单一黑盒验证器位恢复替代方案的需求。在这一原则下，我们推导出一个值迭代规划器，能够恢复整个证据族，并提出一个策略梯度方法，可扩展到大型语言模型。在不同的实验设置下，MWRL 恢复了大多数最小证据，而其他方法则返回冗余的超集或单一证据。通过使证据族可从验证器反馈中学习，MWRL 将强化学习的范围扩展到单解优化之外。我们的代码可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.07226 (HTTP 429)

Authors: T. Y. Tsui,Zihao Ye,Pengxiang Cai,Yanchao Li,Yuqiang Li,Zhehong Ai

Categories:

PDF URL: https://arxiv.org/pdf/2610.07226.pdf

Arxiv URL: https://arxiv.org/abs/2610.07226

Arxiv ID: 2610.07226

CoolPaper URL: https://papers.cool/arxiv/2610.07226

Published: 2026-10-08T02:55:21.723Z

Updated: 2026-10-08T02:55:21.723Z

19. AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation

Abstract:Product-centric advertisement video generation aims to create promotional videos that preserve fine-grained product identity while presenting selling points through coherent multi-shot narratives. However, this emerging task remains underexplored due to the lack of large-scale advertisement-specific datasets and comprehensive evaluation frameworks. To address this gap, we introduce \textbf{AdSpark}, a large-scale dataset and benchmark for product-centric advertisement video generation, based on data from a major e-commerce platform. \textit{AdSpark-300K} contains approximately 300K reference image—prompt—video triplets, comprising a real-world subset and a synthetic subset. Each sample provides structured advertisement annotations, including product identity annotations, selling-point descriptions, creative plans, and aligned audio scripts, enabling models to learn product preservation and advertisement-oriented visual storytelling. We further propose \textit{AdSpark-Bench}, a diagnostic benchmark that evaluates generated advertisements across six dimensions, including visual quality, product fidelity, instruction adherence, temporal coherence, audio alignment, and advertisement effectiveness. Based on AdSpark-Bench, we evaluate representative models, revealing key challenges in product preservation, multi-shot storytelling, and selling-point visualization. Experiments with AdSpark-300K-finetuned models further validate the effectiveness of our dataset. AdSpark provides a unified dataset and benchmark for future research, and we will release the dataset upon acceptance.

中文摘要

摘要：以产品为中心的广告视频生成旨在创建能够在呈现卖点的同时保持产品细致特征的推广视频，通过连贯的多镜头叙事实现。然而，由于缺乏大规模针对广告的专用数据集和全面的评估框架，这一新兴任务仍未得到充分研究。为填补这一空白，我们推出了\textbf{AdSpark}，这是一个基于主要电商平台数据的产品中心广告视频生成的大规模数据集和基准。\textit{AdSpark-300K}包含约30万个参考图像-提示-视频三元组，包括真实世界子集和合成子集。每个样本提供结构化的广告注释，包括产品身份注释、卖点描述、创意方案以及对齐的音频脚本，使模型能够学习产品保真与面向广告的视觉叙事。我们进一步提出了\textit{AdSpark-Bench}，这是一个诊断性基准，用于在视觉质量、产品忠实度、指令遵守、时间一致性、音频对齐和广告效果六个维度上评估生成的广告。基于AdSpark-Bench，我们评估了代表性模型，揭示了在产品保持、多镜头叙事和卖点可视化方面的关键挑战。通过使用AdSpark-300K微调的模型实验进一步验证了我们数据集的有效性。AdSpark为未来的研究提供了统一的数据集和基准，我们将在论文接受后公开数据集。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.10047

Authors: Zhifei Yang,Zhao Jiang,Keyang Lu,Honghe Zhu,Zheng Zhang,Jingjing Lv,Changping Peng,Ching Law,Zhen Xiao

Categories:

PDF URL: https://arxiv.org/pdf/2610.10047.pdf

Arxiv URL: https://arxiv.org/abs/2610.10047

Arxiv ID: 2610.10047

CoolPaper URL: https://papers.cool/arxiv/2610.10047

Published: 2026-10-08T02:55:25.272Z

Updated: 2026-10-08T02:55:25.272Z

20. WebFovea: When the Model Is Right but the Click Is Wrong — Reliable Round Trips for Vision-Based Web Agents on Live Websites

Abstract:We present WebFovea, a vision-based web agent that placed 2nd in the WebRetriever Challenge 2026 with a final score of 57.0 out of 100. The challenge evaluates agents end to end on Protocol III of the WebRetriever benchmark (arXiv:2607.06118): starting from an entry URL on a live website, the agent must operate the site’s own interface and return a verifiable answer. A capable multimodal large language model (LLM) is necessary for this, but not sufficient. The model’s decisions reach the browser through the harness, the code between the model and the page. At every step, four things must go right: the model’s reply must be parsed into the intended action, the action must take effect on the page, the result must be reported back accurately, and the model must be shown the information it needs. On real websites, many of the failures we observed occurred at one of these four stages rather than in the model’s reasoning. A coordinate-space mismatch placed every click at 3/4 of its intended coordinates; actions on native dropdowns, inside iframes, and in text boxes failed silently; and self-generated chat-template tokens contaminated 4.9% of task episodes. WebFovea hardens each stage and surrounds the loop with guardrails that keep the agent within the rules and its budget. The four-stage view does not depend on the model, although some individual fixes do. Because we used the same model in all four submissions, the rise of our official hidden-set score from 31.0 to 57.0 reflects changes to the harness, up to run-to-run variance on live sites. We describe the design, the evidence for each component (including negative results), a failure analysis, the limitations, and a roadmap that includes routing different steps to different models. Code is available at this https URL.

中文摘要

摘要：我们介绍了 WebFovea，一种基于视觉的网络代理，在 2026 年 WebRetriever 挑战赛中获得第二名，最终得分为 57.0（满分 100）。该挑战赛在 WebRetriever 基准的协议 III（arXiv:2607.06118）上对代理进行端到端评估：从一个实时网站的入口 URL 开始，代理必须操作网站自身的界面并返回可验证的答案。一个有能力的多模态大型语言模型（LLM）是必要条件，但不足以完成任务。模型的决策通过 harness（模型与页面之间的代码）传达到浏览器。在每一步中，有四件事必须正确进行：模型的回复必须被解析为预期的操作、操作必须在页面上生效、结果必须准确地报告回模型、并且模型必须获得它所需的信息。在真实网站上，我们观察到的许多失败都发生在这四个阶段之一，而不是模型推理本身。坐标空间不匹配使每次点击偏移到了目标坐标的 3/4；对原生下拉菜单、iframe 内部和文本框的操作未能生效而没有报错；自生成的聊天模板标记污染了 4.9% 的任务实例。WebFovea 加固了每个阶段，并在循环周围设置了护栏，以确保代理在规则和预算范围内运行。这个四阶段视角不依赖于模型，尽管某些具体修复措施确实依赖模型。由于我们在四个提交中使用了相同的模型，我们官方隐藏集分数从 31.0 提升到 57.0 的变化反映了 harness 的改动，以及在实时网站运行中产生的波动。本文描述了系统设计、各组件的证据（包括负面结果）、失败分析、局限性以及一个包含将不同步骤路由到不同模型的路线图。代码可在此 https URL 获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2610.03036 (HTTP 429)

Authors: Jiangang Han

Categories:

PDF URL: https://arxiv.org/pdf/2610.03036.pdf

Arxiv URL: https://arxiv.org/abs/2610.03036

Arxiv ID: 2610.03036

CoolPaper URL: https://papers.cool/arxiv/2610.03036

Published: 2026-10-08T02:55:26.895Z

Updated: 2026-10-08T02:55:26.895Z