HuggingFace Papers 2025-08-06

数据来源：HuggingFace Papers

Latest Papers

1. Qwen-Image Technical Report

We present Qwen-Image, an image generation foundation model in the Qwen series that achieves significant advances in complex text rendering and precise image editing. To address the challenges of complex text rendering, we design a comprehensive data pipeline that includes large-scale data collection, filtering, annotation, synthesis, and balancing. Moreover, we adopt a progressive training strategy that starts with non-text-to-text rendering, evolves from simple to complex textual inputs, and gradually scales up to paragraph-level descriptions. This curriculum learning approach substantially enhances the model’s native text rendering capabilities. As a result, Qwen-Image not only performs exceptionally well in alphabetic languages such as English, but also achieves remarkable progress on more challenging logographic languages like Chinese. To enhance image editing consistency, we introduce an improved multi-task training paradigm that incorporates not only traditional text-to-image (T2I) and text-image-to-image (TI2I) tasks but also image-to-image (I2I) reconstruction, effectively aligning the latent representations between Qwen2.5-VL and MMDiT. Furthermore, we separately feed the original image into Qwen2.5-VL and the VAE encoder to obtain semantic and reconstructive representations, respectively. This dual-encoding mechanism enables the editing module to strike a balance between preserving semantic consistency and maintaining visual fidelity. Qwen-Image achieves state-of-the-art performance, demonstrating its strong capabilities in both image generation and editing across multiple benchmarks.

中文摘要

我们介绍了Qwen-Image，这是Qwen系列中的图像生成基础模型，在复杂文本渲染和精确图像编辑方面取得了重大进展。为了应对复杂文本渲染的挑战，我们设计了一个全面的数据管道，包括大规模数据收集、过滤、注释、合成和平衡。此外，我们采用渐进式训练策略，从非文本到文本渲染开始，从简单到复杂的文本输入，逐渐扩展到段落级描述。这种课程学习方法极大地增强了模型的原生文本渲染能力。因此，Qwen-Image不仅在英语等字母语言中表现出色，而且在中文等更具挑战性的表意语言上也取得了显著的进步。为了增强图像编辑的一致性，我们引入了一种改进的多任务训练范式，不仅结合了传统的文本到图像（T2I）和文本-图像到图像（TI2I）任务，还结合了图像到图像（I2I）重建，有效地对齐了Qwen2.5-VL和MMDiT之间的潜在表示。此外，我们将原始图像分别输入Qwen2.5-VL和VAE编码器，分别获得语义和重建表示。这种双编码机制使编辑模块能够在保持语义一致性和保持视觉保真度之间取得平衡。Qwen-Image 实现了最先进的性能，展示了其在多个基准测试中的图像生成和编辑方面的强大能力。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文介绍了 Qwen-Image，这是一个在图像生成领域具有重大进步的模型，主要致力于解决以下两个关键问题：

1. 复杂文本渲染的挑战：

   • 在文本到图像（T2I）生成任务中，如何使模型输出与复杂、多面的文本提示精确对齐是一个重大挑战。即使是最先进的商业模型，如 GPT Image 1 和 Seedream 3.0，在面对多行文本渲染、非字母语言（如中文）渲染、局部文本插入或文本与视觉元素的无缝整合等任务时也会遇到困难。
   • Qwen-Image 通过构建一个全面的数据管道来解决这一挑战，该管道包括大规模数据收集、过滤、注释、合成和平衡。此外，模型采用了渐进式训练策略，从简单的文本渲染任务开始，逐步过渡到段落级和布局敏感的描述，显著增强了模型对复杂文本的处理能力。

2. 图像编辑中的一致性挑战：

   • 在图像编辑任务中，如何在编辑过程中保持视觉一致性和语义连贯性是一个双重挑战。具体来说，目标是在修改目标区域的同时保留所有其他视觉细节（例如，改变头发颜色而不改变面部细节），并且在结构变化时保持全局语义不变（例如，修改人物姿势时保持身份和场景连贯性）。
   • Qwen-Image 提出了一种改进的多任务训练范式，将传统的 T2I、TI2I（文本-图像到图像）任务以及 I2I（图像到图像）重建任务整合到一个共享的潜在空间中。通过分别将原始图像输入到 Qwen2.5-VL 和 VAE 编码器中，分别获得语义和重建表示，模型能够在编辑过程中平衡语义一致性和视觉保真度。

总的来说，Qwen-Image 通过这些创新方法，在复杂文本渲染和精确图像编辑方面取得了显著进展，展示了其在图像生成和编辑任务中的强大能力。

Q: 有哪些相关研究？

A: Qwen-Image 的研究建立在多个相关领域的基础之上，涵盖了图像生成、文本到图像合成、图像编辑以及多模态学习等方面。以下是一些与 Qwen-Image 直接相关的研究工作：

图像生成基础模型

• Diffusion Models：扩散模型是 Qwen-Image 的核心架构之一。相关工作包括 Ho et al. (2020) 提出的 Denoising Diffusion Probabilistic Models，以及 Liu et al. (2022) 的 Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow。
• Transformer-based Models：Qwen-Image 采用了基于 Transformer 的架构来建模文本和图像的复杂联合分布。相关工作包括 Esser et al. (2024) 的 Scaling Rectified Flow Transformers for High-Resolution Image Synthesis。

文本到图像合成（T2I）

• Imagen：Google 的 Imagen 系列模型（如 Imagen 3）在文本到图像合成方面取得了显著进展，特别是在高分辨率图像生成和语义对齐方面。
• DALL·E：OpenAI 的 DALL·E 系列模型，特别是 DALL·E 3，展示了强大的文本到图像生成能力，尤其是在理解和渲染复杂文本提示方面。
• Seedream：Seedream 3.0 是一个高性能的图像生成模型，特别在多语言文本渲染和图像编辑方面表现出色。

图像编辑（TI2I）

• InstructPix2Pix：Brooks et al. (2023) 提出的 InstructPix2Pix 是一个基于指令的图像编辑模型，能够根据文本指令对图像进行编辑。
• MagicBrush：Zhang et al. (2023) 提出的 MagicBrush 是一个用于指令引导图像编辑的标注数据集和模型。
• FLUX：BlackForest Labs 的 FLUX 系列模型，特别是 FLUX.1 Kontext [Pro]，在上下文图像生成和编辑方面表现出色。

多模态学习

• Qwen2.5-VL：Qwen2.5-VL 是 Qwen 系列中的一个模型，专注于视觉语言理解和生成，为 Qwen-Image 提供了强大的多模态基础。
• BLIP：Salesforce 的 BLIP 系列模型，如 BLIP3-o，展示了在多模态任务中的强大性能，特别是在视觉问答和图像字幕生成方面。
• Janus：Janus 系列模型，如 Janus-Pro，通过数据和模型扩展展示了在多模态任务中的统一理解和生成能力。

数据处理与合成

• Data Augmentation：相关工作包括通过合成数据增强模型对罕见字符和复杂文本布局的学习能力，例如通过程序化编辑预定义模板来生成包含文本的图像。
• Annotation：高质量的数据注释对于训练强大的图像生成模型至关重要。相关工作包括开发高效的注释框架，能够同时生成详细的图像描述和结构化元数据。

性能优化

• Distributed Training：为了在大规模 GPU 集群上高效训练，Qwen-Image 采用了多种分布式训练策略，如 Megatron-LM 和 FSDP。
• Efficient Optimization：相关工作包括通过混合并行策略和优化器改进来提高训练效率和稳定性。

这些相关研究为 Qwen-Image 的开发提供了理论基础和技术支持，使其能够在复杂的文本渲染和精确的图像编辑任务中取得显著进展。

Q: 论文如何解决这个问题？

A: Qwen-Image 通过以下创新方法解决了复杂文本渲染和精确图像编辑的挑战：

复杂文本渲染

1. 全面的数据管道：

   • 大规模数据收集：从多个领域（如自然、设计、人物和合成数据）收集数十亿图像-文本对。
   • 多阶段数据过滤：通过七阶段过滤流程逐步提高数据质量，包括去除低质量图像、过滤不匹配的图像-文本对、平衡数据分布等。
   • 数据合成：针对文本渲染任务，设计了纯渲染、组合渲染和复杂渲染三种策略，生成包含文本的图像数据，以增强模型对稀有字符和复杂布局的学习能力。

2. 渐进式训练策略：

   • 从非文本到文本的渲染任务逐步过渡，从简单的文本输入到段落级描述，逐步提高模型对复杂文本的处理能力。
   • 通过这种课程学习方法，模型能够更好地理解和生成复杂的文本内容，特别是在处理多行文本和非字母语言（如中文）时表现出色。

精确图像编辑

1. 改进的多任务训练范式：

   • 将传统的 T2I、TI2I 和 I2I 重建任务整合到一个共享的潜在空间中，使模型能够同时学习文本到图像的生成和图像到图像的编辑。
   • 通过分别将原始图像输入到 Qwen2.5-VL 和 VAE 编码器中，分别提取语义特征和重建特征，模型能够在编辑过程中平衡语义一致性和视觉保真度。

2. 双编码机制：

   • 通过 Qwen2.5-VL 提取语义特征，捕捉图像的高级场景理解和上下文意义。
   • 通过 VAE 编码器提取重建特征，保留图像的低级视觉细节。
   • 这种双编码机制使模型在编辑时能够同时保持语义连贯性和视觉一致性。

模型架构

1. 多模态大型语言模型（MLLM）：

   • 使用 Qwen2.5-VL 作为文本输入的特征提取模块，因为它已经对齐了语言和视觉空间，适合文本到图像的任务。
   • Qwen2.5-VL 保留了强大的语言建模能力，同时支持多模态输入，使 Qwen-Image 能够解锁更广泛的功能，如图像编辑。

2. 变分自编码器（VAE）：

   • 采用单编码器、双解码器架构，共享编码器兼容图像和视频，而解码器针对每种模态进行优化。
   • 通过在高质量文本丰富的图像数据集上微调解码器，提高了小文本和细节的重建质量。

3. 多模态扩散 Transformer（MMDiT）：

   • 采用 MMDiT 作为骨干扩散模型，有效建模噪声和图像潜在表示之间的复杂联合分布。
   • 引入了新的位置编码方法 MSRoPE（Multimodal Scalable RoPE），联合编码图像和文本的位置信息，提高了模型对图像分辨率的适应能力和文本-图像对齐能力。

训练策略

1. 生产者-消费者框架：

   • 采用 Ray 启发的生产者-消费者框架，将数据预处理与模型训练解耦，提高大规模 GPU 集群上的训练效率和稳定性。
   • 生产者负责数据预处理和缓存，消费者专注于模型训练，两者通过 HTTP 传输层异步通信。

2. 分布式训练优化：

   • 采用混合并行策略（数据并行和张量并行），利用 Transformer-Engine 库实现无缝切换。
   • 使用分布式优化器和激活检查点，减少 GPU 内存压力，提高训练效率。

3. 多阶段预训练策略：

   • 从低分辨率到高分辨率逐步提高输入图像的分辨率，使模型能够捕捉更丰富的细节。
   • 从非文本到文本逐步引入文本渲染任务，提高模型对复杂文本的处理能力。
   • 从大规模数据到高质量数据逐步提高数据质量，确保训练效率和模型性能。
   • 从不平衡到平衡逐步平衡数据分布，避免模型对特定领域或分辨率的过拟合。
   • 从真实世界数据到合成数据逐步引入合成数据，丰富数据覆盖范围，提高模型的泛化能力。

后训练优化

1. 监督微调（SFT）：

   • 构建层次化的语义类别数据集，通过精细的人工标注解决模型的特定不足，引导模型生成更逼真、细节更丰富的图像。

2. 强化学习（RL）：

   • 采用 Direct Preference Optimization (DPO) 和 Group Relative Policy Optimization (GRPO) 两种策略，通过在线偏好建模和奖励模型评估，进一步优化模型的生成质量。

通过这些创新方法，Qwen-Image 在复杂文本渲染和精确图像编辑方面取得了显著进展，展示了其在图像生成和编辑任务中的强大能力。

Q: 论文做了哪些实验？

A: 论文中进行了广泛的实验，以评估 Qwen-Image 在图像生成和编辑任务中的性能。这些实验涵盖了多个公共基准测试，包括文本到图像（T2I）生成、图像编辑（TI2I）以及特定的文本渲染任务。以下是一些关键的实验和结果：

1. 人类评估（Human Evaluation）

• AI Arena 平台：开发了一个基于 Elo 评级系统的开放基准测试平台 AI Arena，用于比较 Qwen-Image 与其他最先进的封闭源 API 的性能。在超过 10,000 次成对比较中，Qwen-Image 在全球排名中位列第三，仅次于 Imagen 4 Ultra Preview 0606 和 GPT Image 1 [High]。

2. 量化结果（Quantitative Results）

VAE 重建性能

• 在 ImageNet-1k 验证集上评估了多个最先进的图像编码器的重建性能，Qwen-Image 的 VAE 在 PSNR 和 SSIM 指标上均取得了最佳性能。

文本到图像（T2I）生成

• DPG 基准测试：Qwen-Image 在全局、实体、属性、关系和其他类别上均取得了最高分数，显示出其在遵循复杂提示方面的卓越能力。
• GenEval 基准测试：Qwen-Image 在单对象、双对象和属性绑定任务上均取得了高分，特别是在强化学习（RL）微调后，其整体得分达到了 0.91。
• OneIG-Bench 基准测试：Qwen-Image 在中文和英文轨道上均取得了最高综合得分，显示出其在对齐和文本类别上的强大能力。
• TIIF 基准测试：Qwen-Image 在解释和遵循复杂文本指令方面表现出色，仅次于 GPT Image 1。

文本渲染能力

• CVTG-2K 基准测试：Qwen-Image 在英语文本渲染方面取得了与最先进模型相当的性能。
• ChineseWord 基准测试：Qwen-Image 在中文字符渲染方面取得了最高准确率，显著优于其他模型。
• LongText-Bench 基准测试：Qwen-Image 在长中文文本渲染方面取得了最高准确率，在长英文文本渲染方面排名第二。

3. 图像编辑（TI2I）性能

• GEdit 基准测试：Qwen-Image 在英语和中文编辑任务中均取得了最高分数，显示出其在语义一致性和感知质量方面的强大能力。
• ImgEdit 基准测试：Qwen-Image 在多个编辑任务中取得了最高分数，包括添加、调整、提取、替换和删除对象。
• 新颖视图合成：Qwen-Image 在 GSO 数据集上取得了与专门模型相媲美的性能，显示出其在空间推理和新颖视图合成方面的强大能力。
• 深度估计：Qwen-Image 在多个深度估计基准测试中取得了与专门模型相媲美的性能，显示出其在经典视觉任务中的泛化能力。

4. 定性结果（Qualitative Results）

• VAE 重建：Qwen-Image 在重建包含小文本的图像方面表现出色，与其他模型相比，能够更清晰地重建文本。
• 文本到图像生成：Qwen-Image 在英语和中文文本渲染、多对象生成和空间关系生成方面均表现出色，能够准确地遵循复杂提示并生成高质量图像。
• 图像编辑：Qwen-Image 在文本和材质编辑、对象添加/删除/替换、姿态操作、链式编辑和新颖视图合成方面均表现出色，能够准确地遵循编辑指令并保持图像的一致性。

这些实验结果表明，Qwen-Image 在图像生成和编辑任务中均表现出色，特别是在复杂文本渲染和精确图像编辑方面，显著优于现有的最先进模型。

Q: 有什么可以进一步探索的点？

A: 尽管 Qwen-Image 在图像生成和编辑方面取得了显著进展，但仍有一些潜在的改进方向和未来研究领域可以进一步探索：

1. 多模态融合的进一步优化

• 更深入的语义理解：尽管 Qwen-Image 已经在文本到图像的对齐方面表现出色，但进一步提高模型对复杂语义的理解能力仍然是一个重要的研究方向。例如，通过引入更高级的语义解析技术，使模型能够更好地理解文本中的隐喻、比喻和抽象概念。
• 多模态交互的动态调整：当前的双编码机制在语义和视觉特征的融合上已经取得了良好的效果，但如何根据不同的任务动态调整这两种特征的权重，以实现更灵活的多模态交互，是一个值得探索的问题。

2. 模型架构的改进

• 更高效的架构设计：尽管 Qwen-Image 采用了先进的 MMDiT 架构，但进一步优化模型架构以提高计算效率和内存使用仍然是一个重要的研究方向。例如，探索更轻量级的 Transformer 变体或新型的神经网络架构。
• 自适应分辨率处理：当前模型通过多阶段预训练逐步提高图像分辨率，但如何使模型能够自适应地处理不同分辨率的输入，而无需逐步训练，是一个值得研究的问题。

3. 数据增强和合成

• 更复杂的数据合成策略：虽然 Qwen-Image 已经采用了多种数据合成策略，但进一步探索更复杂的数据合成方法，如结合生成对抗网络（GAN）生成高质量的合成数据，可能会进一步提升模型的性能。
• 多语言和多文化数据的丰富：尽管 Qwen-Image 在中文文本渲染方面表现出色，但进一步丰富多语言和多文化的数据集，以提高模型在不同语言和文化背景下的泛化能力，是一个重要的方向。

4. 强化学习的应用

• 更复杂的奖励模型：当前的强化学习策略已经取得了良好的效果，但进一步开发更复杂的奖励模型，以更好地评估生成图像的质量和语义对齐程度，可能会进一步提升模型的性能。
• 在线强化学习：探索在线强化学习方法，使模型能够在实时反馈中不断优化生成策略，是一个值得研究的方向。

5. 跨模态任务的扩展

• 视频生成和编辑：Qwen-Image 的架构和训练策略为视频生成和编辑任务提供了基础，但进一步探索如何将这些技术扩展到视频领域，以生成高质量的视频内容，是一个重要的研究方向。
• 3D 图形生成：虽然 Qwen-Image 在新颖视图合成方面表现出色，但进一步探索如何将这些技术扩展到 3D 图形生成和编辑任务中，可能会开辟新的应用领域。

6. 用户交互和应用

• 交互式生成：开发更自然的用户交互界面，使用户能够通过自然语言指令或图形化界面与模型进行交互，实时调整生成内容，是一个重要的应用方向。
• 特定领域的应用：探索 Qwen-Image 在特定领域的应用，如医疗图像生成、建筑设计、艺术创作等，可能会带来新的突破和应用价值。

7. 伦理和社会影响

• 偏见和公平性：研究如何减少模型生成内容中的偏见和不公平现象，确保生成的图像和文本符合社会伦理标准，是一个重要的伦理问题。
• 版权和知识产权：随着生成内容的广泛应用，如何保护版权和知识产权，避免未经授权的使用和滥用，是一个需要解决的社会问题。

这些方向不仅有助于进一步提升 Qwen-Image 的性能和应用范围，也为未来多模态人工智能的研究提供了新的思路和挑战。

Q: 总结一下论文的主要内容

A: 本文介绍了 Qwen-Image，这是一个在图像生成和编辑领域取得重大进展的模型。Qwen-Image 通过全面的数据工程、渐进式学习策略、增强的多任务训练范式和可扩展的基础设施优化，解决了复杂文本渲染和精确图像编辑的挑战。以下是论文的主要内容总结：

背景知识

• 图像生成模型：近年来，图像生成模型（包括文本到图像生成和图像编辑）取得了显著进展，尤其是在扩散模型的推动下。然而，复杂文本渲染和图像编辑的一致性仍然是两个关键挑战。
• 复杂文本渲染：即使是最先进的模型，在处理多行文本、非字母语言（如中文）、局部文本插入或文本与视觉元素的无缝整合时也会遇到困难。
• 图像编辑一致性：在图像编辑中，如何在修改目标区域的同时保持视觉一致性和语义连贯性是一个双重挑战。

研究方法

数据工程

• 大规模数据收集：从自然、设计、人物和合成数据四个领域收集数十亿图像-文本对。
• 多阶段数据过滤：通过七阶段过滤流程逐步提高数据质量，包括去除低质量图像、过滤不匹配的图像-文本对、平衡数据分布等。
• 数据合成：针对文本渲染任务，设计了纯渲染、组合渲染和复杂渲染三种策略，生成包含文本的图像数据，以增强模型对稀有字符和复杂布局的学习能力。

渐进式训练策略

• 从非文本到文本的渲染任务逐步过渡，从简单的文本输入到段落级描述，逐步提高模型对复杂文本的处理能力。
• 通过课程学习方法，模型能够更好地理解和生成复杂的文本内容，特别是在处理多行文本和非字母语言（如中文）时表现出色。

多任务训练范式

• 将传统的 T2I、TI2I 和 I2I 重建任务整合到一个共享的潜在空间中，使模型能够同时学习文本到图像的生成和图像到图像的编辑。
• 通过分别将原始图像输入到 Qwen2.5-VL 和 VAE 编码器中，分别提取语义特征和重建特征，模型能够在编辑过程中平衡语义一致性和视觉保真度。

模型架构

• 多模态大型语言模型（MLLM）：使用 Qwen2.5-VL 作为文本输入的特征提取模块，因为它已经对齐了语言和视觉空间，适合文本到图像的任务。
• 变分自编码器（VAE）：采用单编码器、双解码器架构，共享编码器兼容图像和视频，而解码器针对每种模态进行优化。
• 多模态扩散 Transformer（MMDiT）：采用 MMDiT 作为骨干扩散模型，有效建模噪声和图像潜在表示之间的复杂联合分布。引入了新的位置编码方法 MSRoPE，联合编码图像和文本的位置信息，提高了模型对图像分辨率的适应能力和文本-图像对齐能力。

训练策略

• 生产者-消费者框架：将数据预处理与模型训练解耦，提高大规模 GPU 集群上的训练效率和稳定性。
• 分布式训练优化：采用混合并行策略（数据并行和张量并行），利用 Transformer-Engine 库实现无缝切换。
• 多阶段预训练策略：从低分辨率到高分辨率逐步提高输入图像的分辨率，从非文本到文本逐步引入文本渲染任务，从大规模数据到高质量数据逐步提高数据质量，从不平衡到平衡逐步平衡数据分布，从真实世界数据到合成数据逐步引入合成数据。

实验

人类评估

• AI Arena 平台：开发了一个基于 Elo 评级系统的开放基准测试平台 AI Arena，用于比较 Qwen-Image 与其他最先进的封闭源 API 的性能。在超过 10,000 次成对比较中，Qwen-Image 在全球排名中位列第三，仅次于 Imagen 4 Ultra Preview 0606 和 GPT Image 1 [High]。

量化结果

• VAE 重建性能：在 ImageNet-1k 验证集上评估了多个最先进的图像编码器的重建性能，Qwen-Image 的 VAE 在 PSNR 和 SSIM 指标上均取得了最佳性能。
• 文本到图像（T2I）生成：
  • DPG 基准测试：Qwen-Image 在全局、实体、属性、关系和其他类别上均取得了最高分数，显示出其在遵循复杂提示方面的卓越能力。
  • GenEval 基准测试：Qwen-Image 在单对象、双对象和属性绑定任务上均取得了高分，特别是在强化学习（RL）微调后，其整体得分达到了 0.91。
  • OneIG-Bench 基准测试：Qwen-Image 在中文和英文轨道上均取得了最高综合得分，显示出其在对齐和文本类别上的强大能力。
  • TIIF 基准测试：Qwen-Image 在解释和遵循复杂文本指令方面表现出色，仅次于 GPT Image 1。
• 文本渲染能力：
  • CVTG-2K 基准测试：Qwen-Image 在英语文本渲染方面取得了与最先进模型相当的性能。
  • ChineseWord 基准测试：Qwen-Image 在中文字符渲染方面取得了最高准确率，显著优于其他模型。
  • LongText-Bench 基准测试：Qwen-Image 在长中文文本渲染方面取得了最高准确率，在长英文文本渲染方面排名第二。

图像编辑（TI2I）性能

• GEdit 基准测试：Qwen-Image 在英语和中文编辑任务中均取得了最高分数，显示出其在语义一致性和感知质量方面的强大能力。
• ImgEdit 基准测试：Qwen-Image 在多个编辑任务中取得了最高分数，包括添加、调整、提取、替换和删除对象。
• 新颖视图合成：Qwen-Image 在 GSO 数据集上取得了与专门模型相媲美的性能，显示出其在空间推理和新颖视图合成方面的强大能力。
• 深度估计：Qwen-Image 在多个深度估计基准测试中取得了与专门模型相媲美的性能，显示出其在经典视觉任务中的泛化能力。

定性结果

• VAE 重建：Qwen-Image 在重建包含小文本的图像方面表现出色，与其他模型相比，能够更清晰地重建文本。
• 文本到图像生成：Qwen-Image 在英语和中文文本渲染、多对象生成和空间关系生成方面均表现出色，能够准确地遵循复杂提示并生成高质量图像。
• 图像编辑：Qwen-Image 在文本和材质编辑、对象添加/删除/替换、姿态操作、链式编辑和新颖视图合成方面均表现出色，能够准确地遵循编辑指令并保持图像的一致性。

关键结论

Qwen-Image 在复杂文本渲染和精确图像编辑方面取得了显著进展，展示了其在图像生成和编辑任务中的强大能力。通过全面的数据工程、渐进式训练策略、增强的多任务训练范式和可扩展的基础设施优化，Qwen-Image 不仅在多个公共基准测试中取得了最先进的性能，还在实际应用中展示了广泛的适用性。未来的研究方向包括进一步优化多模态融合、改进模型架构、丰富数据增强和合成策略、应用强化学习、扩展跨模态任务、开发用户交互界面以及探讨伦理和社会影响。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Chenfei Wu,Jiahao Li,Jingren Zhou,Junyang Lin,Kaiyuan Gao,Kun Yan,Sheng-ming Yin,Shuai Bai,Xiao Xu,Yilei Chen,Yuxiang Chen,Zecheng Tang,Zekai Zhang,Zhengyi Wang,An Yang,Bowen Yu,Chen Cheng,Dayiheng Liu,Deqing Li,Hang Zhang,Hao Meng,Hu Wei,Jingyuan Ni,Kai Chen,Kuan Cao,Liang Peng,Lin Qu,Minggang Wu,Peng Wang,Shuting Yu,Tingkun Wen,Wensen Feng,Xiaoxiao Xu,Yi Wang,Yichang Zhang,Yongqiang Zhu,Yujia Wu,Yuxuan Cai,Zenan Liu

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2508.02324.pdf

Arxiv URL: https://arxiv.org/abs/2508.02324

Arxiv ID: 2508.02324

CoolPaper URL: https://papers.cool/arxiv/2508.02324

Published: 2025-08-04T11:49:20Z

Updated: 2025-08-04T11:49:20.000Z

---

2. SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension

Retrieval-augmented generation (RAG) over long documents typically involves splitting the text into smaller chunks, which serve as the basic units for retrieval. However, due to dependencies across the original document, contextual information is often essential for accurately interpreting each chunk. To address this, prior work has explored encoding longer context windows to produce embeddings for longer chunks. Despite these efforts, gains in retrieval and downstream tasks remain limited. This is because (1) longer chunks strain the capacity of embedding models due to the increased amount of information they must encode, and (2) many real-world applications still require returning localized evidence due to constraints on model or human bandwidth. We propose an alternative approach to this challenge by representing short chunks in a way that is conditioned on a broader context window to enhance retrieval performance — i.e., situating a chunk’s meaning within its context. We further show that existing embedding models are not well-equipped to encode such situated context effectively, and thus introduce a new training paradigm and develop the situated embedding models (SitEmb). To evaluate our method, we curate a book-plot retrieval dataset specifically designed to assess situated retrieval capabilities. On this benchmark, our SitEmb-v1 model based on BGE-M3 substantially outperforms state-of-the-art embedding models, including several with up to 7-8B parameters, with only 1B parameters. Our 8B SitEmb-v1.5 model further improves performance by over 10% and shows strong results across different languages and several downstream applications.

中文摘要

检索增强生成（RAG）在长文档上的应用通常涉及将文本拆分为更小的块，这些块作为检索的基本单元。然而，由于原始文档之间存在依赖关系，上下文信息通常对于准确理解每个块是至关重要的。为了解决这个问题，以前的研究探讨了编码更长的上下文窗口以为更长的块生成嵌入。尽管做出了这些努力，但在检索和下游任务中的提升仍然有限。这是因为（1）更长的块由于需要编码的信息增多而对嵌入模型的容量造成了压力，(2) 许多实际应用仍然需要返回局部证据，因为模型或人脑带宽的限制。我们提出了一种替代的方法，通过以更广泛的上下文窗口为条件来表示短块，以增强检索性能——即将块的意义置于其上下文中。我们进一步展示了现有嵌入模型未能有效地编码这种情境上下文，因此引入了一种新的训练范式，并开发了情境嵌入模型（SitEmb）。为了评估我们的方法，我们策划了一种专门设计用于评估情境检索能力的书籍情节检索数据集。在这个基准测试中，我们基于BGE-M3的SitEmb-v1模型明显超过了包括多个参数高达7-8B的业界先进嵌入模型，而只拥有1B参数。我们的8B SitEmb-v1.5模型进一步提高了超过10%的性能，并在不同语言和多个下游应用中表现强劲。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决在长文档检索增强生成（Retrieval-Augmented Generation, RAG）任务中，如何有效地利用上下文信息来提升短文本片段（chunks）的语义表示和检索性能的问题。

在长文档处理中，文档通常被分割成较小的片段以便于检索和处理。然而，由于文档内部存在叙事或逻辑上的连贯性，每个片段的含义往往依赖于其周围的上下文。现有的方法尝试通过增加片段的长度来包含更多的上下文信息，但这会导致模型需要处理的信息量增加，从而可能在压缩信息到单一向量时丢失关键信息。此外，许多实际应用仍然需要返回局部证据，因为模型或人类的处理能力有限。

为了解决这些问题，论文提出了一种新的方法，即“情境嵌入”（Situated Embedding）。这种方法通过将短片段的含义置于更广泛的上下文中来增强检索性能，而不是简单地增加片段长度。具体来说，该方法将短片段的嵌入表示与其周围的上下文信息结合起来，从而在不增加片段长度的情况下，使模型能够更好地理解和表示片段的上下文含义。

Q: 有哪些相关研究？

A: 论文中提到了以下与情境嵌入（Situated Embedding）相关的研究工作：

情境嵌入的动机与背景

• 文本嵌入模型：文本嵌入模型（如BGE-M3、Jina-v3、E5-Mistral等）能够将文本输入编码到向量空间中，从而实现高效的语义表示和匹配。这些模型是许多涉及检索增强生成（RAG）任务的基础，如代码生成、参考生成和个人AI助手等。
• 长文本处理：为了处理长文本，一些研究工作致力于支持长输入序列的嵌入模型，例如通过设计高效的双向模型或利用强大的单向预训练语言模型（LLM）作为嵌入生成器。这些模型可以处理长达8,192个标记或更多的序列。
• 上下文感知检索：一些研究探索了通过增加上下文窗口来编码更长的上下文，以生成更长片段的嵌入。然而，这些方法在实际应用中并未显著提升检索和下游任务的性能，因为嵌入模型在处理长输入时面临容量限制。

情境嵌入的具体方法

• 用户标注的书评数据：利用用户在阅读平台上（如豆瓣）对书籍片段的标注和评论，构建查询-候选对，用于训练上下文感知的嵌入模型。这些用户评论通常反映了对周围上下文的理解，因此对上下文感知嵌入有益。
• 残差学习：通过残差学习框架，训练一个情境嵌入模型来解决基线片段嵌入模型的残差。这种方法鼓励模型关注额外的上下文信息，从而提高对上下文的理解。
• 图神经网络：Xu et al. (2024a) 的工作展示了如何通过图神经网络来表示书籍的上下文，以改善局部片段检索。这表明情节检索任务本质上需要情境理解和检索能力。

评估与实验

• 书评检索数据集：Xu et al. (2024a) 重新利用了PlotRetrieval数据集，将其转换为片段级检索任务，并扩展了评估书籍的数量。这个数据集被用来评估模型的情境检索能力。
• 长故事理解任务：包括NarrativeQA、∞Bench、DetectiveQA、NoCha和LongStoryQA-large等任务，这些任务涵盖了不同的体裁、语言和任务类型，用于评估模型在长故事理解方面的性能。

其他相关工作

• LoRA（Low-Rank Adaptation）：用于对大型语言模型进行微调的技术，通过添加低秩适配器来适应特定任务，同时保持模型的大部分参数不变。
• 多阶段对比学习：通过多阶段的对比学习来训练文本嵌入模型，以提高其在不同任务中的性能。
• 长文本评估基准：如CLongEval和∞Bench等基准测试，用于评估长文本语言模型的性能。

这些相关研究为情境嵌入模型的提出提供了理论基础和实践指导，特别是在如何更好地利用上下文信息来提升文本嵌入和检索性能方面。

Q: 论文如何解决这个问题？

A: 为了解决长文档检索增强生成（Retrieval-Augmented Generation, RAG）任务中如何有效利用上下文信息来提升短文本片段（chunks）的语义表示和检索性能的问题，论文提出了“情境嵌入”（Situated Embedding）的方法，并开发了相应的模型（SitEmb）。以下是论文解决该问题的具体方法和步骤：

1. 情境嵌入（Situated Embedding）的概念

情境嵌入的核心思想是将短文本片段的含义置于其更广泛的上下文中进行表示。具体来说，对于每个短片段，模型不仅考虑片段本身的内容，还考虑其周围的上下文信息。这样，模型能够更好地理解片段在原始文档中的位置和作用，从而生成更准确的语义表示。

2. 训练数据的构建

为了训练能够生成情境嵌入的模型，论文构建了两组训练数据，分别用于故事理解和语义关联任务：

• 故事理解数据：基于NarrativeQA数据集，构建了查询-候选对，用于训练模型理解故事中的上下文信息。
• 语义关联数据：利用豆瓣平台上的用户书评和标注的书段，构建了约160万对查询-候选对。用户书评通常反映了对周围上下文的理解，因此这些数据对训练上下文感知嵌入非常有益。

3. 残差学习（Residual Learning）

为了促使模型充分利用上下文信息，论文采用了残差学习框架。具体步骤如下：

• 基线模型（Baseline Model）：首先训练一个只考虑片段本身的嵌入模型（Θb），使其熟悉基于用户书评检索书段的任务。
• 情境模型（Situated Model）：然后训练一个情境嵌入模型（Θs），该模型在基线模型的基础上，通过残差学习来解决基线模型的不足。具体来说，模型的目标是通过上下文信息来改进基线模型的嵌入结果。

4. 模型训练

• 模型初始化：基线模型（Θb）和情境模型（Θs）都初始化自同一个预训练的嵌入模型（如BGE-M3）。基线模型首先单独训练，以熟悉任务。
• 损失函数：使用基于边界的损失函数（margin-based loss）来训练模型，确保模型能够区分正样本（目标片段）和负样本（其他片段）。
• 训练配置：对于不同的模型（如SitEmb-v1-M3和SitEmb-v1.5-Qwen3），论文详细描述了学习率、权重衰减、批量大小、输入长度限制等训练参数的设置。

5. 评估与实验

• 书评检索任务（Book Plot Retrieval Task）：论文构建了一个包含7本书的书评检索数据集，用于评估模型的情境检索能力。实验结果表明，情境嵌入模型（SitEmb）在召回率（Recall）上显著优于现有的嵌入模型，包括一些参数量更大的模型。
• 下游任务：论文还评估了情境嵌入模型在其他下游任务中的表现，如Recap Snippet Identification任务和长故事理解任务（如NarrativeQA、DetectiveQA等）。结果表明，情境嵌入模型在这些任务中也表现出色，尤其是在需要较强语义关联能力的任务中。

6. 实验结果

• 书评检索任务：情境嵌入模型（如SitEmb-v1.5-Qwen3）在Recall@10、Recall@20和Recall@50等指标上均显著优于现有的嵌入模型，包括一些参数量更大的模型。
• 下游任务：在Recap Snippet Identification任务中，情境嵌入模型（如SitEmb-v1.5-Qwen3 (QA+SA)）在F1分数上优于其他模型。在长故事理解任务中，情境嵌入模型在多个任务中也表现出色，特别是在需要较强语义关联能力的任务中。

7. 局限性与未来工作

尽管情境嵌入模型在多个任务中表现出色，但论文也指出了其局限性：

• 语义关联能力的平衡：在不同的下游任务中，语义关联能力的需求不同。当前的模型在某些任务中表现较好，但在其他任务中可能需要进一步调整。
• 模型的泛化能力：当前的模型主要针对叙事数据进行了优化，未来需要构建更广泛领域的训练数据，以提高模型的泛化能力。

通过上述方法，论文成功地提出了一种新的情境嵌入模型，能够有效利用上下文信息来提升短文本片段的语义表示和检索性能，为长文档处理和理解提供了一种新的解决方案。

Q: 论文做了哪些实验？

A: 论文中进行了以下几类实验来验证所提出的“情境嵌入”（Situated Embedding）模型（SitEmb）的有效性和性能：

1. 现有模型生成情境嵌入的能力分析（Study I）

• 目的：验证现有的长文本嵌入模型是否能够零样本（zero-shot）生成有效的情境嵌入。
• 设置：使用NDP-v1书作为评估对象，构造每个片段的上下文环境，并比较不同模型在有无上下文情况下的性能。
• 模型：比较了多种模型，包括长文本BERT模型（如BGE-M3、Jina-v3）、基于LLM的嵌入模型（如E5-Mistral、GTE-Qwen2、NV-Embed-v2、Qwen3-Embedding），以及作者提出的SitEmb模型。
• 结果：发现现有模型在加入上下文后性能显著下降，而SitEmb模型能够有效利用上下文信息，显著超越了其他模型。

2. 模型的泛化能力和对上下文长度的鲁棒性分析（Study II）

• 训练-测试书籍重叠的影响：
  • 目的：验证模型是否依赖于训练集和测试集之间的书籍重叠来获得性能提升。
  • 设置：使用NarrativeQA数据集，分别在包含和不包含测试书籍的训练数据上训练模型，并评估其在NDP-v1任务上的性能。
  • 结果：发现即使在训练数据中包含测试书籍，模型的性能也没有显著提升，表明模型的性能不是由于记忆化训练数据获得的。
• 对上下文长度变化的鲁棒性：
  • 目的：评估模型在不同上下文长度下的性能稳定性。
  • 设置：在NDP-v1任务上，改变每个片段的上下文长度，测量不同长度下的召回率（Recall）。
  • 结果：SitEmb模型在不同上下文长度下均能保持稳定的性能，证明了其对上下文长度变化的鲁棒性。

3. 完整书评检索任务上的情境检索效果（Study III）

• 目的：评估情境嵌入模型在完整书评检索任务上的性能，特别是在增强上下文检索方面。
• 设置：使用包含7本书的完整书评检索数据集，比较了基于QA数据和书评数据（语义关联）训练的模型。
• 结果：情境嵌入模型（如SitEmb-v1.5-Qwen3）在Recall@10、Recall@20和Recall@50等指标上显著优于仅基于片段的基线模型，且超过了现有的商业模型（如voyage-context-3）。

4. 下游语义关联任务——Recap识别（Study IV）

• 目的：评估情境嵌入模型在非检索任务上的泛化能力，特别是需要语义关联的任务。
• 设置：使用Recap Snippet Identification任务，该任务要求识别给定段落的总结段落。
• 结果：情境嵌入模型（如SitEmb-v1.5-Qwen3 (QA+SA)）在Recall、Precision和F1等指标上优于其他模型，表明其在语义关联任务上的优势。

5. 下游长故事理解任务（Study V）

• 目的：评估情境嵌入模型在需要处理长文本输入的下游任务中的性能。
• 设置：在多个长故事理解任务上进行评估，包括NarrativeQA、∞Bench、DetectiveQA、NoCha和LongStoryQA-large等。
• 结果：情境嵌入模型（如SitEmb-v1.5-Qwen3 (QA)）在多个任务上优于其无上下文的变体，且在某些任务上超过了原始的Qwen3模型。特别是在需要较强语义关联能力的任务（如DetectiveQA）上，情境嵌入模型表现出了显著的优势。

6. 细粒度检索结果评估（Study V的细粒度分析）

• 目的：在DetectiveQA数据集上，通过细粒度的证据标注来评估模型的检索结果。
• 设置：使用DetectiveQA数据集，该数据集提供了两种类型的证据标注：直接答案证据和线索证据。
• 结果：情境嵌入模型（如SitEmb-v1.5-Qwen3 (QA)）在直接答案证据的召回率上显著优于其他模型，而SitEmb-v1.5-Qwen3 (QA+SA)模型在线索证据的召回率上表现出色，表明其在语义关联能力上的优势。

通过这些实验，论文全面验证了情境嵌入模型在不同任务和设置下的性能，证明了其在长文本处理和语义关联任务中的有效性和优势。

Q: 有什么可以进一步探索的点？

A: 论文在情境嵌入（Situated Embedding）方面取得了显著成果，但仍有一些可以进一步探索的方向。以下是一些潜在的研究点：

1. 多语言和跨语言情境嵌入

• 研究方向：目前的实验主要集中在英文和中文数据上。可以进一步探索多语言情境嵌入，评估模型在其他语言上的表现，以及跨语言情境嵌入的可行性。
• 具体方法：构建多语言的书评检索数据集，训练和评估多语言情境嵌入模型。此外，可以探索如何利用跨语言数据来提高模型的泛化能力。

2. 语义关联能力的可调性

• 研究方向：当前的模型在不同任务中表现出不同的语义关联能力需求。可以探索如何使模型能够自适应地调整其语义关联的强度。
• 具体方法：开发新的训练目标和方法，使模型能够根据任务需求动态调整其语义关联能力。例如，通过引入指令学习（instruction learning）来控制模型的关联强度。

3. 模型的泛化能力

• 研究方向：当前的模型主要针对叙事数据进行了优化。可以探索如何提高模型在更广泛领域的泛化能力。
• 具体方法：构建涵盖多种领域（如新闻、学术论文、技术文档等）的训练数据集，训练模型以适应不同类型的文本。此外，可以探索如何通过迁移学习或元学习来提高模型的泛化能力。

4. 上下文长度的动态调整

• 研究方向：虽然模型在不同上下文长度下表现出一定的鲁棒性，但可以进一步探索如何动态调整上下文长度以优化性能。
• 具体方法：开发自适应上下文长度调整机制，使模型能够根据任务需求和输入文本的特性动态选择最优的上下文长度。

5. 与生成模型的结合

• 研究方向：目前的情境嵌入模型主要用于检索任务。可以探索如何将情境嵌入与生成模型（如大型语言模型）结合，以提高生成任务的性能。
• 具体方法：将情境嵌入作为生成模型的输入特征，或者在生成过程中动态利用情境嵌入来提高生成内容的相关性和连贯性。

6. 多模态情境嵌入

• 研究方向：随着多模态学习的发展，可以探索如何将文本情境嵌入扩展到多模态场景，例如结合图像、音频等其他模态信息。
• 具体方法：构建多模态数据集，训练模型以同时考虑文本和非文本模态的上下文信息。例如，在图像描述生成任务中，利用图像内容来增强文本片段的情境嵌入。

7. 实时上下文更新

• 研究方向：在动态环境中，文档的上下文可能会随时间变化。可以探索如何实时更新情境嵌入以适应这些变化。
• 具体方法：开发增量学习或在线学习机制，使模型能够实时更新其对上下文的理解，从而提高在动态环境中的性能。

8. 解释性和可解释性

• 研究方向：提高情境嵌入模型的解释性，使其能够提供关于如何利用上下文信息的直观解释。
• 具体方法：开发可视化工具和解释性方法，帮助用户理解模型是如何利用上下文信息来生成情境嵌入的。例如，通过注意力机制可视化上下文中的关键信息。

9. 对抗攻击和鲁棒性

• 研究方向：评估情境嵌入模型在对抗攻击下的鲁棒性，并开发相应的防御机制。
• 具体方法：设计对抗攻击方法来测试模型的鲁棒性，并开发对抗训练或其他防御技术来提高模型在面对恶意攻击时的稳定性。

10. 用户交互和反馈

• 研究方向：探索如何将用户交互和反馈纳入情境嵌入模型的训练和优化过程中。
• 具体方法：开发交互式学习框架，使模型能够根据用户的实时反馈动态调整其嵌入策略，从而更好地满足用户需求。

这些方向不仅能够进一步提升情境嵌入模型的性能和泛化能力，还能为长文本处理和语义关联任务带来新的视角和方法。

Q: 总结一下论文的主要内容

A: 本文介绍了一种名为“情境嵌入”（Situated Embedding，简称SitEmb）的模型，旨在提高长文档检索增强生成（Retrieval-Augmented Generation, RAG）任务中的上下文感知能力。该模型通过将短文本片段的含义置于其更广泛的上下文中进行表示，从而生成更准确的语义嵌入。以下是论文的主要内容总结：

研究背景

• 在长文档处理中，文档通常被分割成较短的片段以便于检索和处理。然而，由于文档内部存在叙事或逻辑上的连贯性，每个片段的含义往往依赖于其周围的上下文。
• 现有的方法尝试通过增加片段的长度来包含更多的上下文信息，但这会导致模型需要处理的信息量增加，从而可能在压缩信息到单一向量时丢失关键信息。
• 此外，许多实际应用仍然需要返回局部证据，因为模型或人类的处理能力有限。

情境嵌入（Situated Embedding）

• 核心思想：将短文本片段的含义置于其更广泛的上下文中进行表示，从而生成更准确的语义嵌入。
• 训练数据：利用用户在阅读平台上（如豆瓣）对书籍片段的标注和评论，构建查询-候选对，用于训练上下文感知的嵌入模型。
• 残差学习：通过残差学习框架，训练一个情境嵌入模型来解决基线片段嵌入模型的残差，促使模型充分利用上下文信息。

模型训练

• 模型初始化：基线模型（Θb）和情境模型（Θs）都初始化自同一个预训练的嵌入模型（如BGE-M3）。基线模型首先单独训练，以熟悉任务。
• 损失函数：使用基于边界的损失函数（margin-based loss）来训练模型，确保模型能够区分正样本（目标片段）和负样本（其他片段）。
• 训练配置：详细描述了学习率、权重衰减、批量大小、输入长度限制等训练参数的设置。

实验与评估

• 现有模型生成情境嵌入的能力分析：验证现有的长文本嵌入模型是否能够零样本（zero-shot）生成有效的情境嵌入。结果表明，现有模型在加入上下文后性能显著下降，而SitEmb模型能够有效利用上下文信息。
• 模型的泛化能力和对上下文长度的鲁棒性分析：验证模型是否依赖于训练集和测试集之间的书籍重叠来获得性能提升，并评估模型在不同上下文长度下的性能稳定性。结果表明，SitEmb模型在不同上下文长度下均能保持稳定的性能。
• 完整书评检索任务上的情境检索效果：评估情境嵌入模型在完整书评检索任务上的性能，特别是在增强上下文检索方面。结果表明，情境嵌入模型在Recall@10、Recall@20和Recall@50等指标上显著优于仅基于片段的基线模型。
• 下游语义关联任务——Recap识别：评估情境嵌入模型在非检索任务上的泛化能力，特别是需要语义关联的任务。结果表明，情境嵌入模型在Recall、Precision和F1等指标上优于其他模型。
• 下游长故事理解任务：评估情境嵌入模型在需要处理长文本输入的下游任务中的性能。结果表明，情境嵌入模型在多个任务上优于其无上下文的变体，且在某些任务上超过了原始的Qwen3模型。

关键结论

• 情境嵌入模型（SitEmb）能够有效利用上下文信息，生成更准确的语义嵌入，从而在长文档处理和语义关联任务中表现出色。
• 通过残差学习框架，模型能够更好地关注上下文信息，提高对上下文的理解。
• 模型在不同上下文长度下表现出良好的鲁棒性，并且在多个下游任务中展现出强大的泛化能力。

局限性与未来工作

• 语义关联能力的平衡：在不同的下游任务中，语义关联能力的需求不同。当前的模型在某些任务中表现较好，但在其他任务中可能需要进一步调整。
• 模型的泛化能力：当前的模型主要针对叙事数据进行了优化，未来需要构建更广泛领域的训练数据，以提高模型的泛化能力。
• 多语言和跨语言情境嵌入：目前的实验主要集中在英文和中文数据上，未来可以探索多语言情境嵌入，评估模型在其他语言上的表现。
• 与生成模型的结合：可以探索如何将情境嵌入与生成模型（如大型语言模型）结合，以提高生成任务的性能。

通过这些研究和实验，论文展示了情境嵌入模型在长文档处理和语义关联任务中的有效性和潜力，并指出了未来研究的方向。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Junjie Wu,Jiangnan Li,Yuqing Li,Lemao Liu,Liyan Xu,Jiwei Li,Dit-Yan Yeung,Jie Zhou,Mo Yu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2508.01959.pdf

Arxiv URL: https://arxiv.org/abs/2508.01959

Arxiv ID: 2508.01959

CoolPaper URL: https://papers.cool/arxiv/2508.01959

Published: 2025-08-03T23:59:31Z

Updated: 2025-08-03T23:59:31.000Z

---

3. CellForge: Agentic Design of Virtual Cell Models

Virtual cell modeling represents an emerging frontier at the intersection of artificial intelligence and biology, aiming to predict quantities such as responses to diverse perturbations quantitatively. However, autonomously building computational models for virtual cells is challenging due to the complexity of biological systems, the heterogeneity of data modalities, and the need for domain-specific expertise across multiple disciplines. Here, we introduce CellForge, an agentic system that leverages a multi-agent framework that transforms presented biological datasets and research objectives directly into optimized computational models for virtual cells. More specifically, given only raw single-cell multi-omics data and task descriptions as input, CellForge outputs both an optimized model architecture and executable code for training virtual cell models and inference. The framework integrates three core modules: Task Analysis for presented dataset characterization and relevant literature retrieval, Method Design, where specialized agents collaboratively develop optimized modeling strategies, and Experiment Execution for automated generation of code. The agents in the Design module are separated into experts with differing perspectives and a central moderator, and have to collaboratively exchange solutions until they achieve a reasonable consensus. We demonstrate CellForge’s capabilities in single-cell perturbation prediction, using six diverse datasets that encompass gene knockouts, drug treatments, and cytokine stimulations across multiple modalities. CellForge consistently outperforms task-specific state-of-the-art methods. Overall, CellForge demonstrates how iterative interaction between LLM agents with differing perspectives provides better solutions than directly addressing a modeling challenge. Our code is publicly available at https://github.com/gersteinlab/CellForge.

中文摘要

虚拟细胞建模代表了人工智能与生物学交汇处的新兴前沿，旨在定量预测如对各种扰动的反应等数量。然而，由于生物系统的复杂性、数据模态的异质性以及跨多个学科的领域特定专业知识的需求，自动构建虚拟细胞的计算模型具有挑战性。在这里，我们介绍了 CellForge，一个代理系统，利用多代理框架将呈现的生物数据集和研究目标直接转化为优化的虚拟细胞计算模型。更具体地说，仅根据原始单细胞多组学数据和任务描述作为输入，CellForge 输出优化的模型架构和可执行代码，用于训练虚拟细胞模型和推断。该框架集成了三个核心模块：任务分析，负责呈现数据集特征及相关文献检索；方法设计，专门代理协作开发优化建模策略；实验执行，自动生成代码。设计模块中的代理被分为具有不同视角的专家和中央协调者，并必须合作交流解决方案，直到达成合理共识。我们展示了 CellForge 在单细胞扰动预测方面的能力，使用六个涵盖基因敲除、药物治疗和多种模态细胞因子刺激的多样数据集。CellForge 始终优于特定任务的最新方法。总体而言，CellForge 展示了具有不同观点的 LLM 代理之间的迭代互动如何提供比直接解决建模挑战更好的解决方案。我们的代码在 https://github.com/gersteinlab/CellForge 上公开可用。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文介绍了一个名为CellForge的系统，旨在解决虚拟细胞建模中的挑战。具体来说，它试图解决以下几个关键问题：

1. 自动构建计算模型

• 问题描述：在生物学中，构建能够预测细胞对各种扰动（如基因编辑、化学处理、环境变化等）响应的计算模型是一项复杂的任务。传统的建模方法需要大量的手动工作，包括数据预处理、模型设计、训练和验证等步骤。这些步骤不仅耗时，而且需要跨学科的专业知识。
• 解决方案：CellForge通过一个多智能体框架，将输入的单细胞多组学数据和任务描述直接转化为优化后的计算模型。该系统能够自动分析数据、设计模型架构，并生成可执行的代码，从而实现从数据到模型的端到端自动化。

2. 处理数据模态的异构性和复杂性

• 问题描述：单细胞数据通常具有高维度、稀疏性和噪声等特点，不同模态（如RNA-seq、ATAC-seq、CITE-seq等）的数据也各有其特点。这些数据模态的异构性使得建模更加复杂。
• 解决方案：CellForge通过其设计模块中的专家系统，针对不同模态的数据选择合适的模型组件。例如，对于基因表达数据，可能会选择变分自编码器（VAE）和图神经网络（GNN）；对于稀疏的ATAC-seq数据，则可能采用特定的稀疏处理方法和模型架构。

3. 跨模态预测

• 问题描述：在单细胞研究中，经常需要从一种模态的数据预测另一种模态的响应。例如，从基因表达数据预测染色质可及性变化，或者从蛋白质表达数据预测基因表达变化。
• 解决方案：CellForge通过整合多模态数据和跨模态预测方法，能够处理不同模态之间的复杂关系。例如，它可以通过Transformer架构捕捉长距离依赖关系，通过GNN建模基因调控网络，从而实现跨模态预测。

4. 模型的泛化能力

• 问题描述：在实际应用中，模型需要能够泛化到未见过的扰动类型和细胞状态。例如，对于新的基因敲除组合或新的细胞系，模型应该能够准确预测其响应。
• 解决方案：CellForge通过其多智能体讨论机制，确保模型设计能够适应不同的数据特性和任务需求。通过迭代优化和专家评审，生成的模型不仅在训练数据上表现良好，还能在未见过的数据上保持较高的预测精度。

5. 生物可解释性

• 问题描述：在生物学研究中，模型的预测结果需要具有生物学意义，能够解释细胞响应的机制。
• 解决方案：CellForge通过其设计模块中的生物专家系统，确保模型设计不仅在技术上可行，而且在生物学上合理。例如，通过引入基因调控网络和路径分析，模型能够提供关于基因相互作用和调控机制的见解。

6. 自动化和可扩展性

• 问题描述：传统的建模方法需要大量的人力和时间，难以扩展到大规模的数据集和复杂的任务。
• 解决方案：CellForge通过其多智能体框架和自动化流程，实现了从数据到模型的端到端自动化。它不仅能够处理大规模的数据集，还能在不同的任务和数据模态上进行扩展，从而提高了研究的效率和可重复性。

总结来说，CellForge通过其多智能体框架和自动化流程，解决了虚拟细胞建模中的多个关键问题，包括自动构建计算模型、处理数据模态的异构性、跨模态预测、模型泛化能力以及生物可解释性。这些创新使得CellForge成为一个强大的工具，能够加速单细胞生物学研究和药物发现。

Q: 有哪些相关研究？

A: CellForge的相关研究涵盖了多个领域，包括人工智能在生物学中的应用、多智能体系统、单细胞数据分析以及虚拟细胞建模。以下是一些与CellForge密切相关的研究方向和具体工作：

1. 人工智能在生物学中的应用

• AI科学家：Chris Lu等人提出了一种名为AI Scientist的框架，旨在通过自动化实验设计和数据分析来加速科学发现。CellForge可以被视为这一领域的具体实现，专注于虚拟细胞建模。
  • 引用：[1] Chris Lu, Cong Lu, Robert Tj Lange, Jakob Foerster, Jeff Clune, and David Ha. The AI scientist: Towards fully automated open-ended scientific discovery, 09 2024.
• BioDiscoveryAgent：Yusuf H. Roohani等人开发了BioDiscoveryAgent，这是一个用于设计遗传扰动实验的AI代理。CellForge在虚拟细胞建模方面进一步扩展了这一方向。
  • 引用：[14] Yusuf H. Roohani, Tony J. Hua, Po-Yuan Tung, Lexi R. Bounds, Feiqiao B. Yu, Alexander Dobin, Noam Teyssier, Abhinav Adduri, Alden Woodrow, Brian S. Plosky, Reshma Mehta, Benjamin Hsu, Jeremy Sullivan, Chiara Ricci-Tam, Nianzhen Li, Julia Kazaks, Luke A. Gilbert, Silvana Konermann, Patrick D. Hsu, Hani Goodarzi, and Dave P. Burke. BioDiscoveryAgent: An ai agent for designing genetic perturbation experiments. In ICLR 2024 Workshop on Machine Learning for Genomics Explorations, 2024.

2. 多智能体系统

• Agent Systems for Scientific Discovery：Alireza Ghafarollahi和Markus J Buehler提出了一种多智能体系统，用于蛋白质设计。CellForge借鉴了这种多智能体协作的思想，通过不同角色的智能体共同设计虚拟细胞模型。
  • 引用：[29] Alireza Ghafarollahi and Markus J Buehler. Sparks: Multi-agent artificial intelligence model discovers protein design principles. arXiv preprint arXiv:2504.19017, 2025.
• Agent Laboratory：Samuel Schmidgall等人提出了Agent Laboratory，这是一个使用LLM代理作为研究助手的框架。CellForge在自动化科学发现方面与之有相似之处，但专注于单细胞数据分析。
  • 引用：[101] Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, and Emad Barsoum. Agent laboratory: Using llm agents as research assistants. arXiv preprint arXiv:2501.04227, 2025.

3. 单细胞数据分析

• scGPT：Haotian Cui等人开发了scGPT，这是一个用于单细胞多组学的生成式AI基础模型。CellForge在模型设计中借鉴了scGPT的架构和方法，用于处理单细胞RNA-seq数据。
  • 引用：[18] Haotian Cui, Chloe Wang, Hassaan Maan, Kuan Pang, Fengning Luo, Nan Duan, and Bo Wang. scGPT: toward building a foundation model for single-cell multi-omics using generative ai. Nature Methods, 21(8):1470–1480, 08 2024.
• GEARS：Yusuf Roohani等人提出了GEARS，这是一个用于预测多基因扰动转录结果的模型。CellForge在设计模块中参考了GEARS的架构，用于处理基因调控网络。
  • 引用：[64] Yusuf Roohani, Kexin Huang, and Jure Leskovec. Predicting transcriptional outcomes of novel multigene perturbations with GEARS. Nature Biotechnology, 42(6):927–935, 2024.

4. 虚拟细胞建模

• Virtual Cell Challenge：Yusuf H. Roohani等人提出了虚拟细胞挑战，旨在通过多模态基础模型构建虚拟细胞。CellForge在这一方向上进一步发展，通过多智能体系统实现了虚拟细胞模型的自动化设计。
  • 引用：[16] Yusuf H. Roohani, Tony J. Hua, Po-Yuan Tung, Lexi R. Bounds, Feiqiao B. Yu, Alexander Dobin, Noam Teyssier, Abhinav Adduri, Alden Woodrow, Brian S. Plosky, Reshma Mehta, Benjamin Hsu, Jeremy Sullivan, Chiara Ricci-Tam, Nianzhen Li, Julia Kazaks, Luke A. Gilbert, Silvana Konermann, Patrick D. Hsu, Hani Goodarzi, and Dave P. Burke. Virtual cell challenge: Toward a turing test for the virtual cell. Cell, 188(13):3370–3374, 2025.
• scPerturb：Stefan Peidli等人提出了scPerturb，这是一个用于单细胞扰动数据的基准数据集。CellForge在实验中使用了scPerturb数据集来评估模型性能。
  • 引用：[24] Stefan Peidli, Tessa D Green, Ciyue Shen, Torsten Gross, Joseph Min, Samuele Garda, Bo Yuan, Linus J Schumacher, Jake P Taylor-King, Debora S Marks, et al. scPerturb: harmonized single-cell perturbation data. Nature Methods, 21(3):531–540, 2024.

5. 其他相关研究

• DeepResearch：OpenAI的DeepResearch是一个端到端的科学发现系统，提供了从文献分析到实验设计的自动化流程。CellForge在某些方面与之相似，但更专注于单细胞数据分析和虚拟细胞建模。
  • 引用：[93] OpenAI. Introducing deep research. https://openai.com/index/deep-research/ , 2025. Accessed: 2025-05-08.
• BioReason：Adibvafa Fallahpour等人提出了BioReason，这是一个用于多模态生物推理的DNA-LLM模型。CellForge在生物推理方面借鉴了BioReason的思想。
  • 引用：[54] Adibvafa Fallahpour, Andrew Magnuson, Purav Gupta, Shihao Ma, Jack Naimer, Arnav Shah, Haonan Duan, Omar Ibrahim, Hani Goodarzi, Chris J Maddison, et al. Bioreason: Incentivizing multimodal biological reasoning within a dna-llm model. arXiv preprint arXiv:2505.23579, 2025.

这些相关研究为CellForge提供了理论基础和技术支持，使其能够在虚拟细胞建模领域取得显著进展。

Q: 论文如何解决这个问题？

A: CellForge通过一个多智能体框架来解决虚拟细胞建模中的挑战，其核心思想是将复杂的建模任务分解为多个子任务，并由不同领域的专家智能体协作完成。以下是CellForge解决这些问题的具体方法：

1. 多智能体框架

CellForge采用了一个多智能体框架，将整个研究流程分为三个核心模块：任务分析（Task Analysis）、方法设计（Method Design）和实验执行（Experiment Execution）。每个模块由多个专家智能体组成，这些智能体通过协作和讨论来完成各自的任务。

1.1 任务分析模块

• 数据解析：解析单细胞数据集的元数据，提取关键信息，如实验设计、数据模态、扰动类型等。
• 文献检索：结合静态知识库和动态搜索能力，从PubMed等数据库中检索相关文献，提取设计原则和现有方法。
• 问题定义：基于数据特征和文献信息，定义具体的生物学问题和预测任务，选择合适的评估指标。

1.2 方法设计模块

• 多专家讨论：不同领域的专家智能体（如数据专家、模型架构专家、生物专家等）通过图结构的讨论，提出、批评和融合候选架构，直到达成共识。
• 架构设计：设计出的模型架构包括数据预处理、模型组件选择和训练策略等，确保模型能够处理高维度、稀疏性和噪声等问题。
• 生物可解释性：确保模型设计不仅在技术上可行，而且在生物学上合理，能够解释细胞响应的机制。

1.3 实验执行模块

• 代码生成：将设计好的模型架构转化为可执行的代码，包括数据预处理、模型训练和预测等步骤。
• 自动调试：在代码执行过程中，自动检测和修复错误，确保代码能够成功运行。
• 性能验证：通过多种评估指标（如MSE、PCC、R²等）验证模型的预测性能，确保模型的准确性和泛化能力。

2. 处理数据模态的异构性和复杂性

CellForge通过其设计模块中的专家系统，针对不同模态的数据选择合适的模型组件。例如：

• RNA-seq数据：使用变分自编码器（VAE）和图神经网络（GNN）来处理高维度和稀疏性。
• ATAC-seq数据：采用特定的稀疏处理方法和模型架构，如XGBoost，以处理极端稀疏的数据。
• CITE-seq数据：结合Transformer架构来整合RNA和蛋白质测量数据，处理多模态数据的复杂性。

3. 跨模态预测

CellForge通过整合多模态数据和跨模态预测方法，能够处理不同模态之间的复杂关系。例如：

• Transformer架构：捕捉长距离依赖关系，适用于处理多模态数据。
• GNN：建模基因调控网络，捕捉基因之间的相互作用，适用于跨模态预测。

4. 模型的泛化能力

CellForge通过其多智能体讨论机制，确保模型设计能够适应不同的数据特性和任务需求。具体方法包括：

• 迭代优化：通过多轮讨论和迭代优化，生成的模型不仅在训练数据上表现良好，还能在未见过的数据上保持较高的预测精度。
• 数据增强：通过数据增强技术（如添加噪声、随机掩码等）提高模型的鲁棒性和泛化能力。

5. 生物可解释性

CellForge通过其设计模块中的生物专家系统，确保模型设计不仅在技术上可行，而且在生物学上合理。具体方法包括：

• 基因调控网络：通过GNN建模基因调控网络，提供关于基因相互作用和调控机制的见解。
• 注意力机制：通过Transformer的自注意力机制，突出重要的基因相互作用，提供生物可解释性。

6. 自动化和可扩展性

CellForge通过其多智能体框架和自动化流程，实现了从数据到模型的端到端自动化。具体方法包括：

• 自动化流程：从数据解析、模型设计到代码生成和性能验证，整个流程完全自动化，减少了人工干预。
• 可扩展性：通过多智能体协作，CellForge能够处理大规模的数据集，并在不同的任务和数据模态上进行扩展。

实验验证

为了验证CellForge的有效性，作者在多个单细胞扰动数据集上进行了实验，包括基因敲除、药物处理和细胞因子刺激等不同类型的扰动。实验结果表明，CellForge在预测细胞响应方面显著优于现有的方法，例如在药物扰动任务中，CellForge将Pearson相关性提高了20%，在稀疏的ATAC-seq数据集上，CellForge在差异表达基因上的Pearson相关性比基线模型提高了约16倍。

通过这些方法，CellForge不仅能够自动化虚拟细胞模型的构建，还能处理数据模态的异构性、实现跨模态预测、提高模型的泛化能力，并确保模型的生物可解释性。这些创新使得CellForge成为一个强大的工具，能够加速单细胞生物学研究和药物发现。

Q: 论文做了哪些实验？

A: 论文中进行了多个实验来验证CellForge的性能和有效性。这些实验涵盖了不同的单细胞扰动数据集、多种扰动类型（如基因敲除、药物处理、细胞因子刺激等）以及不同的数据模态（如scRNA-seq、scATAC-seq、CITE-seq等）。以下是具体的实验设置和结果：

实验设置

• 数据集：作者使用了六个公开的单细胞扰动数据集，这些数据集涵盖了不同的扰动类型和数据模态。具体数据集包括：
  • Adamson et al. [71]（基因敲除，scRNA-seq）
  • Norman et al. [75]（基因敲除，scRNA-seq）
  • Liscovitch et al. [80]（基因敲除，scATAC-seq）
  • Papalexi et al. [79]（基因敲除，CITE-seq）
  • Srivatsan et al. [76]（药物处理，scRNA-seq）
  • Schiebinger et al. [78]（细胞因子刺激，scRNA-seq）
• 评估指标：使用了多种评估指标来衡量模型的预测性能，包括：
  • 均方误差（MSE）：衡量预测值与真实值之间的平均平方差。
  • 皮尔逊相关系数（PCC）：量化预测表达模式与真实模式之间的线性关联强度。
  • 决定系数（R²）：衡量模型解释真实基因表达数据方差的比例。
  • 针对差异表达（DE）基因的指标：MSE_DE、PCC_DE、R²_DE，这些指标专注于评估模型在关键调控基因上的表现。

实验结果

• 性能提升：CellForge在所有测试数据集上均显著优于现有的基线方法。例如，在基因敲除任务中，与scGPT相比，CellForge在Adamson数据集上将预测误差降低了49%，在Norman数据集上降低了34%。在药物扰动任务中，CellForge将Pearson相关性提高了20%，在Srivatsan数据集上，CellForge的MSE为0.0053，而ChemCPA的MSE为0.0847。
• 跨模态预测：CellForge在处理不同模态的数据时表现出色。例如，在Papalexi数据集（CITE-seq）上，CellForge能够准确预测蛋白质表达的变化，其PCC为0.7495，远高于随机森林的0.2704。在Liscovitch数据集（scATAC-seq）上，CellForge在差异表达基因上的PCC为0.6991，而线性回归模型仅为0.0509。
• 泛化能力：CellForge在未见过的扰动类型和细胞状态上表现出良好的泛化能力。例如，在Srivatsan数据集上，CellForge能够准确预测药物处理的响应，即使在训练时未见过某些药物或细胞状态。
• 生物可解释性：CellForge生成的模型不仅在技术上表现良好，而且在生物学上也具有可解释性。例如，通过Transformer的自注意力机制，CellForge能够突出重要的基因相互作用，为理解细胞响应的机制提供了见解。

实验结论

这些实验结果表明，CellForge通过其多智能体协作和自动化流程，能够有效地处理单细胞扰动数据的复杂性，生成高质量的虚拟细胞模型，并在多种任务和数据模态上表现出色。CellForge的性能提升、跨模态预测能力、泛化能力和生物可解释性使其成为一个强大的工具，能够加速单细胞生物学研究和药物发现。

Q: 有什么可以进一步探索的点？

A: 尽管CellForge在单细胞扰动预测方面取得了显著进展，但仍有一些可以进一步探索和改进的方向。以下是一些潜在的研究点：

1. 模型架构的进一步优化

• 更复杂的模型架构：虽然CellForge已经展示了多种模型组件（如VAE、GNN、Transformer）的结合，但可以进一步探索更复杂的架构，例如结合生成对抗网络（GAN）或强化学习（RL）来提高模型的鲁棒性和泛化能力。
• 多任务学习：探索多任务学习框架，同时预测多个相关任务（如基因表达、蛋白质表达、细胞状态分类等），以充分利用数据中的多种信息。
• 动态模型：开发动态模型来捕捉细胞状态随时间的变化，这对于理解细胞分化和疾病进展等过程至关重要。

2. 数据模态的进一步整合

• 多模态数据融合：进一步整合更多模态的数据，如表观遗传学数据（如DNA甲基化）、蛋白质相互作用网络、代谢组学数据等，以更全面地理解细胞状态。
• 跨模态预测的改进：虽然CellForge在跨模态预测方面表现出色，但可以进一步探索更高效的方法来处理模态之间的复杂关系，例如通过开发新的跨模态学习算法。

3. 生物可解释性的增强

• 因果推断：开发因果推断方法，不仅预测细胞响应，还能解释因果关系，例如通过因果图模型或因果推断算法。
• 生物标志物发现：利用模型输出来发现新的生物标志物，这些标志物可以用于疾病诊断、治疗响应预测等。
• 可视化工具：开发更强大的可视化工具，帮助研究人员更好地理解和解释模型的预测结果。

4. 计算效率和可扩展性

• 高效计算：优化模型的计算效率，特别是在处理大规模数据集时。可以探索分布式计算、模型压缩和量化等技术。
• 实时预测：开发实时预测系统，使研究人员能够在实验过程中即时获得预测结果，从而指导实验设计和决策。

5. 实验验证和应用

• 湿实验验证：虽然CellForge的预测在计算上得到了验证，但需要更多的湿实验来验证其预测的生物学意义。可以与实验生物学家合作，进行实验验证。
• 临床应用：探索CellForge在临床应用中的潜力，例如在个性化医疗、药物开发和疾病诊断中的应用。
• 跨物种预测：研究模型在不同物种之间的泛化能力，例如从模式生物（如小鼠）到人类的预测。

6. 伦理和法律问题

• 数据隐私和安全：随着单细胞数据的广泛应用，数据隐私和安全问题日益重要。需要开发安全的数据共享和处理方法。
• 伦理审查：在自动化科学发现中，伦理审查至关重要。需要确保模型的使用符合伦理标准，避免潜在的滥用。

7. 用户友好性和教育

• 用户界面：开发更友好的用户界面，使非技术背景的生物学家也能轻松使用CellForge。
• 教育材料：提供详细的教程和教育资源，帮助研究人员更好地理解和使用CellForge。
• 社区参与：建立一个活跃的社区，促进用户之间的交流和合作，共同推动CellForge的发展。

通过这些进一步的探索和改进，CellForge有望在单细胞生物学研究和相关领域发挥更大的作用，为科学发现和临床应用提供更强大的工具。

Q: 总结一下论文的主要内容

A: 这篇论文介绍了一个名为CellForge的系统，它是一个自动化的多智能体框架，用于设计和实现单细胞扰动预测的虚拟细胞模型。CellForge通过整合单细胞多组学数据和任务描述，自动生成优化的计算模型，无需人工干预。以下是论文的主要内容总结：

背景知识

• 虚拟细胞建模：虚拟细胞建模旨在通过计算模型预测细胞对各种扰动（如基因编辑、化学处理、环境变化等）的响应。这一领域面临数据模态异构性、高维度、稀疏性和跨学科知识需求等挑战。
• 现有方法的局限性：现有的虚拟细胞建模方法通常依赖于大规模预训练的基础模型，这些模型在处理特定数据集时存在局限性，难以捕捉数据集特定的扰动模式和实验细节。

研究方法

• 多智能体框架：CellForge通过一个多智能体框架，将整个研究流程分为三个核心模块：任务分析（Task Analysis）、方法设计（Method Design）和实验执行（Experiment Execution）。每个模块由多个专家智能体组成，这些智能体通过协作和讨论来完成各自的任务。
  • 任务分析模块：解析数据集的元数据，提取关键信息，如实验设计、数据模态、扰动类型等，并从文献中检索相关设计原则。
  • 方法设计模块：不同领域的专家智能体通过图结构的讨论，提出、批评和融合候选架构，直到达成共识。设计出的模型架构包括数据预处理、模型组件选择和训练策略等。
  • 实验执行模块：将设计好的模型架构转化为可执行的代码，包括数据预处理、模型训练和预测等步骤，并自动检测和修复错误，验证模型的预测性能。

实验

• 数据集：使用了六个公开的单细胞扰动数据集，涵盖基因敲除、药物处理和细胞因子刺激等不同类型的扰动，以及scRNA-seq、scATAC-seq、CITE-seq等不同模态的数据。
• 评估指标：使用均方误差（MSE）、皮尔逊相关系数（PCC）、决定系数（R²）等指标来衡量模型的预测性能，同时针对差异表达（DE）基因计算了MSE_DE、PCC_DE、R²_DE等指标。
• 结果：CellForge在所有测试数据集上均显著优于现有的基线方法。例如，在基因敲除任务中，与scGPT相比，CellForge在Adamson数据集上将预测误差降低了49%，在Norman数据集上降低了34%。在药物扰动任务中，CellForge将Pearson相关性提高了20%。在稀疏的ATAC-seq数据集上，CellForge在差异表达基因上的PCC为0.6991，而线性回归模型仅为0.0509。

关键结论

• 性能提升：CellForge通过其多智能体协作和自动化流程，能够有效地处理单细胞扰动数据的复杂性，生成高质量的虚拟细胞模型，并在多种任务和数据模态上表现出色。
• 跨模态预测能力：CellForge在处理不同模态的数据时表现出色，能够准确预测蛋白质表达的变化和染色质可及性变化。
• 泛化能力：CellForge在未见过的扰动类型和细胞状态上表现出良好的泛化能力。
• 生物可解释性：CellForge生成的模型不仅在技术上表现良好，而且在生物学上也具有可解释性，能够提供关于基因相互作用和调控机制的见解。

进一步探索的方向

• 模型架构的进一步优化：探索更复杂的模型架构，如GAN和RL，以及多任务学习和动态模型。
• 数据模态的进一步整合：整合更多模态的数据，如表观遗传学数据和代谢组学数据，以更全面地理解细胞状态。
• 生物可解释性的增强：开发因果推断方法，发现新的生物标志物，并提供更强大的可视化工具。
• 计算效率和可扩展性：优化模型的计算效率，开发实时预测系统。
• 实验验证和应用：进行湿实验验证，探索临床应用，研究跨物种预测。
• 伦理和法律问题：关注数据隐私和安全，进行伦理审查。
• 用户友好性和教育：开发友好的用户界面，提供教育资源，建立活跃的社区。

CellForge通过其创新的多智能体框架和自动化流程，为虚拟细胞建模领域提供了一个强大的工具，能够加速单细胞生物学研究和药物发现。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Xiangru Tang,Zhuoyun Yu,Jiapeng Chen,Yan Cui,Daniel Shao,Weixu Wang,Fang Wu,Yuchen Zhuang,Wenqi Shi,Zhi Huang,Arman Cohan,Xihong Lin,Fabian Theis,Smita Krishnaswamy,Mark Gerstein

Categories: cs.LG,cs.AI,cs.CL,q-bio.QM

PDF URL: https://arxiv.org/pdf/2508.02276.pdf

Arxiv URL: https://arxiv.org/abs/2508.02276

Arxiv ID: 2508.02276

CoolPaper URL: https://papers.cool/arxiv/2508.02276

Published: 2025-08-04T10:43:31Z

Updated: 2025-08-04T10:43:31.000Z

---

4. Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models’ Instruction Following

Reasoning models excel in complex problem solving but exhibit a concerning trade off between reasoning capabilities and instruction following abilities. Existing approaches for improving instruction following rely on stronger external models, creating methodological bottlenecks and practical limitations including increased costs and accessibility constraints. We propose a self-supervised RL framework that leverages reasoning models’ own internal signals to improve instruction following capabilities without external supervision. Extensive experiments demonstrate that our framework significantly improves instruction following capabilities while maintaining reasoning performance, offering a scalable and cost-effective approach to enhance instruction following in reasoning models. The data and code are publicly available at https://github.com/Rainier-rq/verl-if.

中文摘要

推理模型在复杂问题解决方面表现出色，但在推理能力与遵循指令的能力之间存在令人担忧的权衡。现有的提高遵循指令能力的方法依赖于更强大的外部模型，从而造成了方法论瓶颈和实际限制，包括成本增加和可访问性约束。我们提出了一种自我监督的强化学习框架，利用推理模型自身的内部信号来提高遵循指令的能力，而无需外部监督。大量实验表明，我们的框架显著提高了遵循指令的能力，同时保持了推理性能，提供了一种可扩展且具有成本效益的方法来增强推理模型中的遵循指令能力。数据和代码公开可用，地址为 https://github.com/Rainier-rq/verl-if.

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决推理模型（reasoning models）在指令遵循（instruction following）能力上存在的问题，具体来说，是推理模型在推理能力和指令遵循能力之间存在的权衡（trade-off）问题。

问题背景

推理模型在解决复杂问题上表现出色，但在遵循指令的能力上存在不足。在现实世界的应用中，指令往往包含多个约束条件，推理模型需要能够同时遵循这些约束。然而，现有的推理模型在增强指令遵循能力时，往往会牺牲其推理能力，反之亦然。这种权衡限制了推理模型在需要同时具备这两种能力的场景中的应用。

现有方法的局限性

现有的提升指令遵循能力的方法主要依赖于更强的外部模型，例如通过监督式微调（supervised fine-tuning）从更强的模型中蒸馏数据，或者通过强化学习（reinforcement learning, RL）使用更强的模型作为奖励模型。这些方法存在以下问题：

• 方法论瓶颈：依赖于更强的外部模型限制了模型的潜在提升空间。
• 实际限制：更强的模型往往是专有的或计算成本高昂，导致可访问性受限。

论文提出的方法

为了解决上述问题，论文提出了一种自监督的强化学习（self-supervised reinforcement learning, RL）框架，该框架仅依赖于推理模型自身的内部信号来提升指令遵循能力，而无需外部监督。具体来说，该框架通过以下三个主要阶段来实现：

1. 数据集构建：通过合成多约束指令和整合数学、科学领域的推理数据，构建训练数据集。
2. 奖励建模：设计针对硬约束（hard constraints）和软约束（soft constraints）的不同奖励机制，通过自监督数据训练约束级别的奖励模型。
3. 强化学习训练：使用GRPO算法（Shao et al., 2024）结合上述奖励信号优化策略模型。

论文的贡献

• 提出了一种自监督的RL框架，仅使用模型内部信号提升指令遵循能力，消除了对外部更强模型的依赖。
• 设计了一种高效的奖励建模方法，能够处理复杂指令中的软约束，通过约束级别的二元分类实现。
• 通过广泛的实验验证了该框架在提升指令遵循能力的同时，保持了推理性能，提供了一种可扩展且成本效益高的方法。

Q: 有哪些相关研究？

A: 论文中提到了多个与复杂指令遵循（complex instruction following）和强化学习（reinforcement learning, RL）相关的研究工作，这些研究为本文提出的方法提供了背景和参考。以下是相关研究的分类和详细信息：

复杂指令遵循改进

• 通过监督式微调提升指令遵循能力：
  • Sun et al., 2024：通过从更强的模型中蒸馏数据进行监督式微调，提升模型的指令遵循能力。
  • Qin et al., 2025：采用类似的方法，通过收集成对偏好数据进行直接偏好优化。
• 自玩（self-play）方法：
  • Dong et al., 2024：通过代码生成验证提升模型的指令遵循能力。
  • Cheng et al., 2024：通过训练额外的细化模型（refiner models）来增强模型能力。
• 其他方法：
  • He et al., 2024：通过收集成对偏好数据进行直接偏好优化。
  • Qi et al., 2024：采用类似的方法，通过自玩提升模型的指令遵循能力。

强化学习用于复杂指令遵循

• 基于规则的奖励方法：
  • Lambert et al., 2024：使用基于规则的奖励来处理硬约束。
  • Pyatkin et al., 2025：同样采用基于规则的奖励方法，但这些方法无法推广到软约束。
• 使用更强模型作为奖励模型：
  • Peng et al., 2025：使用更强的推理模型作为奖励模型。
  • Liu et al., 2025：使用闭源模型作为奖励模型，但这些方法依赖于更强的模型来提供奖励信号。
• 其他强化学习方法：
  • Shao et al., 2024：提出GRPO算法，用于高效地进行强化学习训练。
  • Schulman et al., 2017：提出近端策略优化（Proximal Policy Optimization, PPO）算法，为强化学习提供了基础。

其他相关工作

• 多约束指令基准：
  • Jiang et al., 2023：提出了FollowBench，一个多层级细粒度约束遵循基准。
  • Wen et al., 2024：提出了WritingBench，一个综合性的生成写作基准。
  • Zhang et al., 2024：提出了CFBench，一个全面的约束遵循基准。
• 推理模型：
  • Guo et al., 2025：提出了DeepSeek-R1，通过强化学习激励推理能力。
  • Seed et al., 2025：提出了Seed1.5，通过强化学习提升推理模型。
  • Qwen Team, 2024：提出了Qwen2，一个技术报告，详细介绍了模型的训练和优化。

这些相关研究为本文提出的方法提供了理论基础和实践参考。本文通过自监督的强化学习框架，解决了现有方法依赖于更强外部模型的问题，提供了一种可扩展且成本效益高的解决方案。

Q: 论文如何解决这个问题？

A: 论文提出了一种自监督的强化学习（Reinforcement Learning, RL）框架，通过利用推理模型自身的内部信号来提升其指令遵循能力，而无需依赖外部更强的模型。具体来说，该框架通过以下三个主要阶段来解决推理模型在指令遵循能力上的不足：

1. 数据集构建（Dataset Construction）

为了提供丰富的训练信号，论文构建了一个包含多约束指令的数据集，并将其分解为逐步增加约束数量的课程（curriculum），以解决复杂指令带来的稀疏奖励信号问题。

• 复杂指令合成（Complex Instruction Synthesis）：

  • 收集了3000个种子指令，然后系统地为这些种子指令添加多种约束，生成全面的多约束指令数据集。
  • 包括23种硬约束（如JSON格式、全大写字母的频率等）和25种软约束（如基于角色的约束、模仿特定作者的风格等）。

• 一般推理数据整合（General Reasoning Data Integration）：

  • 为了保持模型的整体能力，整合了数学和科学领域的推理任务数据，包括4501个数学问题和1929个科学问题。

• 逐步约束课程（Incremental Constraint Curriculum）：

  • 将复杂的多约束指令分解为逐步增加约束数量的课程级别，从单个约束（L1）到完整的多约束指令（Ln），以提供密集的训练信号。

2. 奖励建模（Reward Modeling）

为了建模约束满足情况，论文设计了针对硬约束和软约束的不同奖励机制，以产生约束级别的奖励。

• 硬约束建模（Hard Constraint Modeling）：

  • 对于可以通过明确规则直接验证的硬约束，采用程序化验证。定义了一个二元约束级别奖励函数 ( R_h(o, c) )，如果输出 ( o ) 满足约束 ( c )，则奖励为1，否则为0。

• 软约束建模（Soft Constraint Modeling）：

  • 对于无法通过规则验证的软约束，通过自监督数据训练一个二元分类奖励模型。利用约束分解过程中自然产生的正负样本对，训练模型估计响应 ( o ) 满足约束 ( c ) 的概率 ( f(o, c) )。

3. 强化学习训练（RL Training）

利用上述奖励信号，通过强化学习优化策略模型，以提升指令遵循能力。

• 奖励模型使用（Reward Model Usage During Training）：

  • 对于软约束，训练好的奖励模型 ( f(o, c) ) 会输出一个概率值，表示响应 ( o ) 满足约束 ( c ) 的概率。
  • 对于硬约束，直接使用 ( R_h(o, c) )。

• 样本级别奖励预测（Sample-Level Reward Prediction）：

  • 将约束级别的奖励聚合为样本级别的奖励 ( R_f )，用于GRPO优化。对于推理任务，正确答案的奖励为1，错误答案的奖励为0。

• GRPO算法（GRPO Algorithm）：

  • 使用GRPO算法进行强化学习训练，优化策略模型，以提升模型在复杂指令遵循任务中的表现。

总结

通过上述三个阶段，论文提出的自监督强化学习框架能够有效提升推理模型的指令遵循能力，同时保持其推理性能。该方法不依赖于外部更强的模型，具有可扩展性和成本效益高的特点。实验结果表明，该框架在多个基准测试中显著提升了模型的指令遵循能力，同时保持了推理性能。

Q: 论文做了哪些实验？

A: 论文进行了广泛的实验来验证所提出的自监督强化学习（RL）框架在提升推理模型指令遵循能力方面的有效性。以下是实验的详细设置和结果：

实验设置

• 模型选择：

  • 使用了从R1蒸馏得到的推理模型，包括R1-Distill-Qwen-1.5B、R1-Distill-Qwen-7B和R1-0528Qwen3-8B。
  • 为了研究在推理模型训练的冷启动阶段引入指令遵循推理数据的效果，还训练了一个基于Qwen2.5-7B-Instruct的检查点Qwen2.5-7B-Instruct-R。
  • 使用IF表示使用本文方法训练的模型。

• 评估基准：

  • 指令遵循能力：使用多约束基准测试，包括IFEval、CFBench、FollowBench、ComplexBench、WritingBench和Collie。
  • 一般能力：使用科学和数学推理基准测试，包括GPQA Diamond、BBEH、AIME2024、AIME2025、FOLIO和MMLU-Pro。

实验结果

• 整体性能（Overall Performance）：

  • 表3展示了模型在指令遵循和一般能力基准测试上的整体性能。结果显示，使用本文方法训练的模型在指令遵循任务上的表现显著优于基线模型，同时在推理任务上保持了良好的性能。
  • 例如，Qwen2.5-7B-Instruct-IF在IFEval上的表现从73.9提升到83.9，在CFBench上的表现从72.0提升到76.0。

• 泛化能力（Generalizability）：

  • 领域外泛化（Out-of-Domain Generalization）：
    • 选择了包含与训练数据完全不同的约束的额外基准测试，以评估模型在领域外任务上的泛化能力。结果显示，本文方法能够有效提升模型在领域外任务上的指令遵循能力。
    • 例如，R1-Distill-Qwen-7B-IF在ComplexBench上的表现从52.0提升到59.0。
  • 一般能力（General Abilities）：
    • 表4展示了模型在一般能力基准测试上的性能。结果显示，本文方法在提升指令遵循能力的同时，也保持了模型的一般能力，并在某些基准测试上提升了性能。
    • 例如，Qwen2.5-7B-Instruct-IF在FOLIO上的表现从49.9提升到52.7，在MMLU-Pro上的表现从32.8提升到35.3。

• 消融研究（Ablation Studies）：

  • 奖励建模（Reward Modeling）：
    • 无基于规则的奖励（w/o rule_based reward）：仅使用奖励模型提供奖励，不使用基于规则的奖励。
    • 无概率奖励（w/o probability reward）：直接使用二元奖励（0表示不遵循约束，1表示遵循约束），而不是使用概率值。
    • 无增量约束课程（w/o incremental constraint curriculum）：不逐步分解多约束指令，直接在多约束指令上进行训练。
    • 表5显示，这些消融设置均导致模型性能下降，表明结合基于规则的奖励模型、概率奖励以及增量约束课程对于提升模型性能是必要的。
  • 奖励建模方法比较：
    • 表6比较了三种奖励建模方法：直接使用强模型作为判断器（LLM-as-a-judge）、使用Bradley-Terry（BT）损失训练的奖励模型，以及本文提出的奖励模型。结果显示，本文的奖励模型与人类标注的一致性更高，并且推理速度更快。

• 训练动态（Training Dynamics）：

  • 图3展示了在不同任务类别下，Qwen2.5-7B-R和R1-Distill-Qwen-7B在训练过程中的奖励和响应长度的变化。
  • 图4比较了使用和不使用增量约束课程时的奖励动态。结果显示，使用增量约束课程的模型在训练过程中获得了更密集的奖励信号，有助于模型学习遵循多约束指令。

结论

通过这些实验，论文验证了所提出的自监督强化学习框架在提升推理模型指令遵循能力方面的有效性。该方法不仅显著提升了模型在多约束指令任务上的表现，同时保持了模型的推理性能，并且具有良好的泛化能力。此外，消融研究和训练动态分析进一步揭示了框架中各个组件的重要性。

Q: 有什么可以进一步探索的点？

A: 尽管论文提出的方法在提升推理模型的指令遵循能力方面取得了显著的成果，但仍有几个方向可以进一步探索和改进：

1. 更大规模模型的验证

• 研究问题：论文中提到，由于计算资源的限制，尚未在更大规模的模型（例如32B参数）上验证该方法的有效性。
• 探索方向：在更大规模的模型上应用和验证该方法，以评估其在更复杂的推理任务和更广泛的指令类型上的表现。这可能需要更多的计算资源和优化技术，但有助于进一步提升模型的性能。

2. 多约束数据集的扩展

• 研究问题：当前的多约束数据集在多样性方面存在一定的局限性，主要集中在特定的约束类型和领域。
• 探索方向：构建更广泛、更复杂的多约束数据集，涵盖更多领域和约束类型。例如，可以包括更多的软约束类型，如情感分析、风格转换等，以及更复杂的硬约束，如多语言格式、特定领域的格式要求等。这将有助于模型在更多实际应用场景中表现出色。

3. 奖励建模的改进

• 研究问题：虽然论文中提出的奖励建模方法已经取得了良好的效果，但仍有改进的空间。
• 探索方向：
  • 多模态奖励建模：结合文本、图像、音频等多种模态的奖励信号，以更全面地评估模型的输出。
  • 动态奖励建模：根据训练过程中的表现动态调整奖励函数，以更好地适应模型的学习进度。
  • 人类反馈集成：在奖励建模中集成人类反馈，以进一步提高模型输出与人类期望的一致性。

4. 强化学习算法的优化

• 研究问题：现有的强化学习算法（如GRPO）在训练效率和稳定性方面仍有提升空间。
• 探索方向：
  • 算法改进：研究和开发更高效、更稳定的强化学习算法，以减少训练时间和提高模型的收敛速度。
  • 多智能体强化学习：探索多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）在指令遵循任务中的应用，以模拟更复杂的交互场景。

5. 模型的可解释性和透明度

• 研究问题：提升模型在指令遵循任务中的可解释性和透明度，使其决策过程更容易被理解和验证。
• 探索方向：
  • 注意力机制：引入注意力机制，分析模型在处理多约束指令时的关注点，以提高其可解释性。
  • 中间表示分析：研究模型的中间表示，了解其如何逐步处理和满足指令中的约束条件。
  • 可视化工具：开发可视化工具，展示模型在训练和推理过程中的行为，帮助研究人员和实践者更好地理解和优化模型。

6. 跨领域和跨语言的泛化能力

• 研究问题：评估模型在跨领域和跨语言任务中的泛化能力，以验证其在不同环境下的适用性。
• 探索方向：
  • 跨领域测试：在更多不同领域的数据集上测试模型的性能，评估其在新领域中的指令遵循能力。
  • 跨语言测试：将模型应用于多种语言的数据集，评估其在不同语言环境下的表现，以验证其跨语言泛化能力。

7. 与其他技术的结合

• 研究问题：探索将自监督强化学习框架与其他先进技术（如迁移学习、元学习等）结合的可能性。
• 探索方向：
  • 迁移学习：将预训练模型的知识迁移到特定的指令遵循任务中，以进一步提升模型的性能。
  • 元学习：开发能够快速适应新任务和新约束的元学习方法，以提高模型的适应性和灵活性。

通过这些方向的进一步探索，可以进一步提升推理模型在复杂指令遵循任务中的表现，使其在更多的实际应用场景中发挥更大的作用。

Q: 总结一下论文的主要内容

A: 本文提出了一种自监督强化学习（Reinforcement Learning, RL）框架，旨在提升推理模型的指令遵循能力，同时保持其推理性能。该框架通过利用模型自身的内部信号进行训练，消除了对外部更强模型的依赖，具有可扩展性和成本效益高的特点。以下是论文的主要内容总结：

研究背景

推理模型在解决复杂问题上表现出色，但在遵循指令的能力上存在不足，尤其是在处理多约束指令时。现有的提升指令遵循能力的方法主要依赖于更强的外部模型，这不仅限制了模型的潜在提升空间，还带来了实际应用中的可访问性和成本问题。因此，本文提出了一种自监督的强化学习框架，仅依赖于模型自身的内部信号来提升指令遵循能力。

研究方法

1. 数据集构建

为了提供丰富的训练信号，论文构建了一个包含多约束指令的数据集，并将其分解为逐步增加约束数量的课程（curriculum）。具体步骤如下：

• 复杂指令合成：从3000个种子指令出发，系统地添加多种硬约束（如JSON格式、全大写字母的频率等）和软约束（如基于角色的约束、模仿特定作者的风格等）。
• 一般推理数据整合：整合了数学和科学领域的推理任务数据，包括4501个数学问题和1929个科学问题。
• 逐步约束课程：将复杂的多约束指令分解为逐步增加约束数量的课程级别，从单个约束（L1）到完整的多约束指令（Ln），以提供密集的训练信号。

2. 奖励建模

为了建模约束满足情况，论文设计了针对硬约束和软约束的不同奖励机制：

• 硬约束建模：对于可以通过明确规则直接验证的硬约束，采用程序化验证，定义了一个二元约束级别奖励函数 ( R_h(o, c) )。
• 软约束建模：对于无法通过规则验证的软约束，通过自监督数据训练一个二元分类奖励模型，利用约束分解过程中自然产生的正负样本对，训练模型估计响应 ( o ) 满足约束 ( c ) 的概率 ( f(o, c) )。

3. 强化学习训练

利用上述奖励信号，通过强化学习优化策略模型，以提升指令遵循能力：

• 奖励模型使用：对于软约束，训练好的奖励模型 ( f(o, c) ) 会输出一个概率值，表示响应 ( o ) 满足约束 ( c ) 的概率。对于硬约束，直接使用 ( R_h(o, c) )。
• 样本级别奖励预测：将约束级别的奖励聚合为样本级别的奖励 ( R_f )，用于GRPO优化。对于推理任务，正确答案的奖励为1，错误答案的奖励为0。
• GRPO算法：使用GRPO算法进行强化学习训练，优化策略模型，以提升模型在复杂指令遵循任务中的表现。

实验

1. 实验设置

• 模型选择：使用了从R1蒸馏得到的推理模型，包括R1-Distill-Qwen-1.5B、R1-Distill-Qwen-7B和R1-0528Qwen3-8B。还训练了一个基于Qwen2.5-7B-Instruct的检查点Qwen2.5-7B-Instruct-R。
• 评估基准：使用多约束基准测试（如IFEval、CFBench等）评估指令遵循能力，使用科学和数学推理基准测试（如GPQA Diamond、AIME2024等）评估一般能力。

2. 实验结果

• 整体性能：使用本文方法训练的模型在指令遵循任务上的表现显著优于基线模型，同时在推理任务上保持了良好的性能。例如，Qwen2.5-7B-Instruct-IF在IFEval上的表现从73.9提升到83.9，在CFBench上的表现从72.0提升到76.0。
• 泛化能力：在领域外任务和一般能力基准测试上，本文方法也表现出良好的泛化能力。例如，R1-Distill-Qwen-7B-IF在ComplexBench上的表现从52.0提升到59.0。
• 消融研究：消融研究表明，结合基于规则的奖励模型、概率奖励以及增量约束课程对于提升模型性能是必要的。例如，不使用增量约束课程的模型在训练过程中获得的奖励信号更稀疏，导致性能下降。
• 训练动态：训练动态分析显示，使用增量约束课程的模型在训练过程中获得了更密集的奖励信号，有助于模型学习遵循多约束指令。

结论

本文提出的自监督强化学习框架在提升推理模型的指令遵循能力方面取得了显著的成果，同时保持了模型的推理性能。该方法不依赖于外部更强的模型，具有可扩展性和成本效益高的特点。实验结果验证了框架的有效性，表明其在多约束指令任务和一般推理任务上均表现出色。未来的工作可以进一步探索更大规模模型的验证、多约束数据集的扩展、奖励建模的改进、强化学习算法的优化、模型的可解释性和透明度、跨领域和跨语言的泛化能力，以及与其他技术的结合。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qingyu Ren,Qianyu He,Bowei Zhang,Jie Zeng,Jiaqing Liang,Yanghua Xiao,Weikang Zhou,Zeye Sun,Fei Yu

Categories: cs.AI

PDF URL: https://arxiv.org/pdf/2508.02150.pdf

Arxiv URL: https://arxiv.org/abs/2508.02150

Arxiv ID: 2508.02150

CoolPaper URL: https://papers.cool/arxiv/2508.02150

Published: 2025-08-04T07:48:59Z

Updated: 2025-08-04T07:48:59.000Z

---

5. Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

中文摘要

大语言模型 (LLMs) 在许多领域显示出卓越的成功，但由于缺乏通用的网络安全数据、表征的复杂性以及安全和监管方面的担忧，它们在网络安全应用中的集成仍然有限。为了填补这一空白，我们之前介绍了 Foundation-Sec-8B，这是一个适合在下游任务上进行微调的网络安全专注 LLM。然而，该模型并不是为聊天风格的交互或遵循指令而设计的。在本报告中，我们发布了 Foundation-Sec-8B-Instruct：一个专门为通用网络安全对话训练的模型。它建立在 Foundation-Sec-8B 的基础上，结合了特定领域的知识、遵循指令的能力、对话能力以及与人类偏好的对齐，以产生高质量、相关的响应。全面评估显示，Foundation-Sec-8B-Instruct 在一系列网络安全任务上超过了 Llama 3.1-8B-Instruct，同时在遵循指令的表现上与其相匹配。在网络威胁情报和遵循指令的任务上，它也与 GPT-4o-mini 具备竞争力。我们设想 Foundation-Sec-8B-Instruct 成为网络安全专业人员日常工作流程中不可或缺的助手。我们在 https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct 上公开发布该模型。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决如何将大型语言模型（LLMs）更好地集成到网络安全应用中的问题。尽管大型语言模型在许多领域取得了显著的成功，但在网络安全领域的应用仍然有限，主要由于以下几个原因：

1. 缺乏通用的网络安全数据：高质量的公共网络安全数据集稀缺，这限制了模型在网络安全任务上的表现。
2. 表示复杂性：网络安全领域的复杂性使得模型难以理解和处理相关任务。
3. 安全和监管问题：商业模型通常会施加严格的安全限制，这限制了它们在安全应用中的实际效用。

为了解决这些问题，论文介绍了Foundation-Sec-8B-Instruct，这是一个专门针对网络安全对话而训练的模型。它基于之前的Foundation-Sec-8B模型，结合了特定领域的知识、遵循指令的能力、对话能力，并与人类偏好对齐，以产生高质量、相关性强的响应。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

指令调整的网络安全LLMs

• DeepHat-v1：基于Llama 3.1和Qwen2.5的指令调整网络安全模型家族。DeepHat故意不进行审查，专为攻击性安全应用（如红队和漏洞开发）而优化。
• Primus：基于Llama 3.1-8B的指令调整网络安全LLM，使用从MITRE ATT&CK、维基百科、供应商报告、威胁情报源和手动收集的CTI数据中提取的20亿标记语料库进行训练。
• LilyCybersecurity：基于Mistral-7B的网络安全助手，使用22,000个手工制作的与网络安全和黑客相关的对话进行监督微调。

后训练方法

• Tülu 3、Tülu 2、Alpaca、Open Platypus、WizardLM Evol Instruct、OpenOrca、Llama-Nemotron 后训练数据集：这些是用于后训练的数据集，其中一些包含一定比例的网络安全数据。
• Direct Preference Optimization (DPO)：一种后训练方法，用于改进模型在推理、数学、编码和工具使用方面的能力，同时使下一个标记预测更好地遵循用户指令。
• Proximal Policy Optimization (PPO)：一种复杂的多阶段强化学习算法，用于后训练，但最近被更简单的方法（如DPO）所取代。

安全性对齐

• HarmBench：一个用于自动化红队测试LLMs的基准框架，用于评估模型对恶意提示的脆弱性。
• LlamaGuard：一个基于LLM的输入输出过滤系统，用于保护人类-AI对话的安全性。

Q: 论文如何解决这个问题？

A: 为了解决将大型语言模型（LLMs）更好地集成到网络安全应用中的问题，论文提出了Foundation-Sec-8B-Instruct模型。该模型基于之前的Foundation-Sec-8B，通过以下方法解决上述问题：

1. 结合特定领域的知识与指令跟随能力

• Foundation-Sec-8B：通过在大量网络安全语料库上进行持续预训练，该模型获得了深厚的网络安全领域知识，为一般网络安全任务提供了基础。
• 指令跟随能力：在此基础上，Foundation-Sec-8B-Instruct通过指令调整（instruction-tuning）和偏好对齐（preference alignment），使模型能够直接与用户交互，遵循自然语言指令，并根据人类偏好调整响应。

2. 提供高质量、相关性强的响应

• 高质量响应：通过结合领域专业知识和指令调整，模型能够生成高质量、相关性强的响应，使其适用于各种网络安全任务。
• 对话能力：该模型不仅能够提供知识性的回答，还能进行对话式的交互，使用户可以直接查询模型并进行互动，无需任何预设的上下文设置。

3. 全面评估模型性能

• 网络安全基准测试：使用多种网络安全特定的基准测试（如CTIBench、CyberMetric、SecBench等）来评估模型在网络安全知识方面的表现。
• 通用后训练基准测试：使用通用的后训练基准测试（如MMLU、IFEval、GSM8K等）来评估模型在指令跟随、编码、数学和推理能力方面的表现。
• 与人类偏好对齐：通过AlpacaEval 2等基准测试，评估模型的响应与人类偏好的对齐程度，确保模型在实际应用中的适用性。

4. 数据分析与后训练数据集研究

• 后训练数据集分析：研究了常见开源后训练数据集中网络安全数据的分布情况，发现一些数据集（如WizardLM Evol Instruct、Nemotron SFT Chat和Tülu数据集）可能包含相当比例的网络安全数据。
• 数据污染检测：通过实施分层框架，检测后训练数据集中是否存在与基准测试内容的重叠，以避免数据污染对模型性能评估的影响。

5. 安全性对齐

• 基本安全性调整：尽管模型未经过专门的安全性对齐程序，但遵循了标准实践，提供了一定程度的对齐。
• HarmBench评估：使用HarmBench框架评估模型对恶意提示的脆弱性，发现模型在拒绝或安全响应恶意示例方面表现良好。
• LlamaGuard集成：推荐将模型与LlamaGuard结合使用，以进一步提高安全性，几乎可以拒绝所有恶意测试案例。

通过这些方法，Foundation-Sec-8B-Instruct模型不仅在网络安全知识方面表现出色，还在指令跟随和与人类偏好对齐方面具有竞争力，使其成为网络安全专业人员日常工作中不可或缺的助手。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验和评估：

1. 网络安全基准测试（Security Benchmarks）

• CTIBench：评估模型在网络安全威胁情报（CTI）任务中的表现，包括多个子任务：
  • CTIBench-MCQA：2500个多项选择问题，涉及CTI框架、法规和分类法。
  • CTIBench-RCM：评估模型识别漏洞根本原因的能力，通过将CVE记录和漏洞报告映射到CWE条目。
  • CTIBench-VSP：要求模型通过将漏洞描述映射到CVSS向量字符串来确定漏洞的严重性。
• CyberMetric：一个基于检索增强生成（RAG）的MCQA格式数据集，包含500个样本，用于评估模型的网络安全知识。
• SecBench：包含MCQA和简答题（SAQ）问题的数据集，用于评估网络安全知识和逻辑推理能力。
• SecEval：一个包含2000多个样本的MCQA数据集，涵盖9个网络安全领域。
• MMLU-Computer Security：MMLU基准测试的计算机安全子集，包含116个问题，涵盖密码学、恶意软件和模糊测试等主题。

2. 通用后训练基准测试（General Post-Training Benchmarks）

• MMLU：一个涵盖57个主题的多样化MCQA基准测试，用于评估模型在广泛领域的知识保留情况。
• HumanEval：通过带有文档字符串的提示来衡量Python编程能力，这对于网络安全领域至关重要。
• BigBenchHard：一个具有挑战性的BIG-bench子集，用于评估模型在算术、逻辑、几何、空间和时间任务以及一般和语义知识方面的推理能力。
• IFEval：测试模型遵循可验证指令的能力（例如，“以JSON对象的形式输出”），包含大约500个提示和25种指令类型。
• AlpacaEval 2：一个自动评估指标，根据与人类偏好的对齐程度对模型的聊天响应进行评分，是一个无参考的评估指标。
• GSM8K：一个包含高质量小学数学问题的数据集，用于评估模型在适度难度和初等代数方面的能力。
• MATH：一个包含12,500个数学竞赛问题的集合，需要高级推理能力，用于评估模型的结构化、逐步推理能力。

3. 数据污染检测（Data Contamination Detection）

• 方法：使用分层框架检测后训练数据集中的数据污染，包括三个阶段：
  • n-gram匹配：检测完全相同的文本片段。
  • 嵌入相似性过滤：使用嵌入向量的余弦相似度来识别语义相似的短语。
  • LLM-as-a-Judge：使用LLM作为判断器来提高对释义的检测能力。
• 结果：对多个常用的后训练数据集进行了污染检测，并在表3中总结了它们与安全基准测试的重叠情况。

4. 模型训练和微调（Training and Fine-Tuning）

• 监督微调（Supervised Fine-Tuning, SFT）：用于提高模型的核心指令跟随能力。
• 直接偏好优化（Direct Preference Optimization, DPO）：用于改进指令跟随和与人类偏好的对齐。
• 数据多样性：通过增加后训练数据集的多样性和平衡性，减轻了知识遗忘的问题。

5. 角色适应性评估（Persona Adaptation）

• PersonaGym：一个标准化的基准测试，用于评估LLM在多轮、角色驱动的对话中的表现。评估了模型在50个不同角色下的表现，包括行动理由、预期行动、语言习惯、角色一致性和毒性控制等方面。

6. 安全性评估（Safety Alignment）

• HarmBench：使用HarmBench框架评估模型对恶意提示的脆弱性，发现模型能够拒绝或安全响应92%的恶意示例。
• LlamaGuard集成：将模型与LlamaGuard结合使用，几乎可以拒绝所有恶意测试案例，提高了模型的安全性。

7. 与基础模型的比较（Comparison to Foundation-Sec-8B）

• 知识保留：通过在多个网络安全基准测试上的表现，比较了Foundation-Sec-8B-Instruct和Foundation-Sec-8B，以评估指令调整对网络安全知识保留的影响。

这些实验和评估全面地展示了Foundation-Sec-8B-Instruct模型在网络安全任务中的表现，以及其在指令跟随和与人类偏好对齐方面的优势。

Q: 有什么可以进一步探索的点？

A: 尽管Foundation-Sec-8B-Instruct模型在网络安全对话和指令跟随方面取得了显著进展，但仍有一些可以进一步探索的点，以进一步提升模型的性能和实用性。以下是一些潜在的研究方向：

1. 数据集扩展和质量提升

• 更多高质量数据：尽管模型已经在大量网络安全语料库上进行了预训练，但网络安全领域的数据仍然稀缺。进一步扩展和丰富预训练数据集，特别是包含更多实际场景和复杂任务的数据，可以进一步提升模型的性能。
• 数据标注和验证：提高数据标注的质量和准确性，确保训练数据的可靠性和一致性。这可以通过引入专家标注和多轮验证来实现。

2. 模型架构和训练方法改进

• 混合专家模型（Mixture of Experts, MoE）：探索使用混合专家模型来处理网络安全任务的多样性和复杂性。MoE模型可以在不同的任务和领域之间动态分配计算资源，提高模型的效率和性能。
• 多任务学习（Multi-Task Learning, MTL）：结合多任务学习方法，使模型能够同时学习多个相关的网络安全任务，从而提高模型的泛化能力和知识迁移能力。
• 持续学习（Continual Learning）：研究如何使模型能够持续学习新的网络安全知识和技能，而不会遗忘已有的知识。这可以通过引入记忆机制和增量学习算法来实现。

3. 安全性增强

• 对抗性训练（Adversarial Training）：通过引入对抗性训练，使模型能够更好地应对恶意提示和攻击。对抗性训练可以帮助模型学习如何识别和拒绝潜在的有害输入。
• 安全策略集成：将安全策略和规则直接集成到模型中，确保模型在生成响应时始终遵循这些策略。这可以通过在训练过程中引入安全约束来实现。
• 动态安全监控：开发动态安全监控机制，实时检测和响应模型生成的潜在有害内容。这可以通过引入实时内容过滤和安全审计工具来实现。

4. 性能优化

• 推理加速：优化模型的推理速度，使其能够更快地生成响应。这可以通过模型压缩、量化和硬件加速等技术来实现。
• 资源效率：提高模型的资源效率，使其能够在有限的计算资源下运行。这可以通过引入轻量级模型架构和高效的训练算法来实现。

5. 多模态学习

• 结合视觉和文本信息：探索将视觉信息（如恶意软件的可视化表示、网络拓扑图等）与文本信息相结合，使模型能够更全面地理解和分析网络安全问题。
• 多模态数据集：开发和利用多模态网络安全数据集，为模型提供更丰富的训练数据。

6. 跨领域应用

• 与其他领域的结合：研究如何将网络安全模型与其他领域（如医疗、金融、法律等）的模型相结合，以解决跨领域的复杂问题。这可以通过开发跨领域数据集和模型架构来实现。
• 领域适应性：提高模型在不同领域的适应性，使其能够更好地处理特定领域的任务和需求。这可以通过领域适应性训练和微调来实现。

7. 用户交互和反馈机制

• 用户反馈集成：开发机制，使用户能够直接向模型提供反馈，模型可以根据这些反馈进行实时调整和优化。
• 交互式学习：探索交互式学习方法，使模型能够在与用户的互动中不断学习和改进。这可以通过引入强化学习和在线学习算法来实现。

8. 模型解释性和可解释性

• 解释性研究：提高模型的解释性，使用户能够理解模型的决策过程。这可以通过引入解释性工具和技术（如注意力机制、特征重要性分析等）来实现。
• 可解释性基准测试：开发和利用可解释性基准测试，评估模型在解释性方面的表现。这可以帮助研究人员更好地理解和改进模型的解释性。

通过进一步探索这些方向，可以进一步提升Foundation-Sec-8B-Instruct模型的性能和实用性，使其在网络安全领域发挥更大的作用。

Q: 总结一下论文的主要内容

A: 这篇论文介绍了一个名为Foundation-Sec-8B-Instruct的大型语言模型（LLM），它专门针对网络安全对话进行了训练。该模型基于之前的Foundation-Sec-8B模型，通过结合特定领域的知识、指令跟随能力、对话能力和与人类偏好的对齐，能够生成高质量、相关性强的响应。以下是论文的主要内容总结：

背景知识

• 大型语言模型（LLMs）在许多领域取得了显著成功，但在网络安全领域的应用仍然有限，主要由于缺乏通用的网络安全数据、表示复杂性以及安全和监管问题。
• 为了解决这些问题，作者之前介绍了Foundation-Sec-8B，这是一个基于Llama 3.1-8B的网络安全专用LLM，通过在大量网络安全语料库上进行持续预训练，获得了深厚的网络安全领域知识。
• 然而，Foundation-Sec-8B并未设计用于聊天式交互或遵循指令，因此作者进一步开发了Foundation-Sec-8B-Instruct，使其具备了指令跟随和对话能力。

研究方法

• 模型构建：Foundation-Sec-8B-Instruct在Foundation-Sec-8B的基础上，通过指令调整（instruction-tuning）和偏好对齐（preference alignment）进行训练，使其能够直接与用户交互，遵循自然语言指令，并根据人类偏好调整响应。
• 数据集分析：作者分析了常见开源后训练数据集中网络安全数据的分布情况，并研究了这些数据集在后训练中的作用。
• 数据污染检测：为了评估后训练数据集的质量，作者实施了一个分层框架，检测数据集中是否存在与基准测试内容的重叠，以避免数据污染对模型性能评估的影响。
• 安全性评估：尽管模型未经过专门的安全性对齐程序，但作者使用了HarmBench框架评估模型对恶意提示的脆弱性，并推荐将模型与LlamaGuard结合使用，以提高安全性。

实验

• 网络安全基准测试：使用多个网络安全特定的基准测试（如CTIBench、CyberMetric、SecBench等）评估模型在网络安全知识方面的表现。
• 通用后训练基准测试：使用通用的后训练基准测试（如MMLU、IFEval、GSM8K等）评估模型在指令跟随、编码、数学和推理能力方面的表现。
• 角色适应性评估：使用PersonaGym评估模型在多轮、角色驱动的对话中的表现，包括行动理由、预期行动、语言习惯、角色一致性和毒性控制等方面。
• 与基础模型的比较：通过在多个网络安全基准测试上的表现，比较了Foundation-Sec-8B-Instruct和Foundation-Sec-8B，以评估指令调整对网络安全知识保留的影响。

关键结论

• 性能提升：Foundation-Sec-8B-Instruct在多个网络安全基准测试中表现优于Llama 3.1-8B-Instruct，并在指令跟随和与人类偏好对齐方面表现出色。
• 知识保留：尽管进行了指令调整，模型在网络安全知识任务上仅表现出轻微的性能下降，表明模型在保留预训练知识方面表现良好。
• 安全性：模型在HarmBench评估中表现良好，能够拒绝或安全响应92%的恶意示例。与LlamaGuard结合使用时，几乎可以拒绝所有恶意测试案例。
• 实用性：Foundation-Sec-8B-Instruct能够适应不同的网络安全角色，并在多轮对话中保持一致性和相关性，使其成为网络安全专业人员日常工作中不可或缺的助手。

总结

Foundation-Sec-8B-Instruct模型通过结合网络安全领域的专业知识和指令调整能力，显著提升了在网络安全对话和任务中的表现。该模型不仅在网络安全知识方面表现出色，还在指令跟随和与人类偏好对齐方面具有竞争力，使其成为网络安全领域中一个实用且强大的工具。作者还提供了模型的公开访问链接，以便其他研究人员和实践者能够使用和进一步研究该模型。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Sajana Weerawardhena,Paul Kassianik,Blaine Nelson,Baturay Saglam,Anu Vellore,Aman Priyanshu,Supriti Vijay,Massimo Aufiero,Arthur Goldblatt,Fraser Burch,Ed Li,Jianliang He,Dhruv Kedia,Kojin Oshiba,Zhouran Yang,Yaron Singer,Amin Karbasi

Categories: cs.CR,cs.AI

PDF URL: https://arxiv.org/pdf/2508.01059.pdf

Arxiv URL: https://arxiv.org/abs/2508.01059

Arxiv ID: 2508.01059

CoolPaper URL: https://papers.cool/arxiv/2508.01059

Published: 2025-08-01T20:25:57Z

Updated: 2025-08-01T20:25:57.000Z

---

6. VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

Recent advances in large language models (LLMs) have driven impressive progress in omni-modal understanding and generation. However, training omni-modal LLMs remains a significant challenge due to the heterogeneous model architectures required to process diverse modalities, necessitating sophisticated system design for efficient large-scale training. Existing frameworks typically entangle model definition with parallel logic, incurring limited scalability and substantial engineering overhead for end-to-end omni-modal training. We present VeOmni, a modular and efficient training framework to accelerate the development of omni-modal LLMs. VeOmni introduces model-centric distributed recipes that decouples communication from computation, enabling efficient 3D parallelism on omni-modal LLMs. VeOmni also features a flexible configuration interface supporting seamless integration of new modalities with minimal code change. Using VeOmni, a omni-modal mixture-of-experts (MoE) model with 30B parameters can be trained with over 2,800 tokens/sec/GPU throughput and scale to 160K context lengths via 3D parallelism on 128 GPUs, showcasing its superior efficiency and scalability for training large omni-modal LLMs.

中文摘要

近年来，大型语言模型（LLMs）的进展推动了全模态理解和生成的显著进步。然而，由于处理多样化模态所需的异构模型架构，训练全模态LLMs仍然是一个重大挑战，这需要复杂的系统设计来实现高效的大规模训练。现有框架通常将模型定义与并行逻辑纠缠在一起，导致可扩展性有限并为端到端的全模态训练带来巨大的工程负担。我们提出了VeOmni，这是一个模块化和高效的训练框架，旨在加速全模态LLMs的发展。VeOmni引入了以模型为中心的分布式方案，将通信与计算解耦，使全模态LLMs能够实现高效的三维并行。VeOmni还具有一个灵活的配置接口，支持新模态的无缝集成，只需最小的代码更改。使用VeOmni，一个具有300亿参数的全模态专家混合（MoE）模型可以以每个GPU超过2800个token/秒的吞吐量训练，并通过在128个GPU上的三维并行扩展到160K的上下文长度，展示了其在训练大型全模态LLMs方面的优越效率和可扩展性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文介绍了 VeOmni，这是一个用于训练全模态（omni-modal）大型语言模型（LLMs）的模块化和高效的训练框架。它旨在解决以下问题：

1. 全模态 LLMs 的训练挑战：随着 LLMs 从单模态向全模态理解与生成发展，处理多种模态（如文本、图像、视频、音频等）所需的异构模型架构使得训练变得复杂。现有的训练框架通常将模型定义与并行逻辑紧密耦合，导致可扩展性有限，并且在端到端全模态训练方面存在显著的工程开销。

2. 现有框架的局限性：尽管存在许多成熟的用于训练文本到文本任务的 LLM 的系统，但很少有框架专门设计用于支持任何到文本（any-to-text）任务，更不用说全面的全模态（任何到任何，any-to-any）训练场景了。现有的多模态训练框架在扩展到全模态 LLMs 时面临负载不平衡和可扩展性差的问题，因为它们紧密耦合了通信和计算。

3. 高效分布式训练的需求：为了高效地训练大型全模态 LLMs，需要一种能够解耦模型定义与并行逻辑的框架，以支持灵活的并行策略组合，并且能够轻松集成新的模态特定模块，同时保持高效的计算和内存使用。

总结来说，VeOmni 旨在提供一个可扩展、模块化且高效的训练框架，以支持全模态 LLMs 的开发和训练，填补现有框架在全模态训练支持方面的空白。

Q: 有哪些相关研究？

A: 论文中提到了与VeOmni相关的多个研究方向，主要包括以下几个方面：

多模态和全模态LLMs

• 多模态理解与生成：通过将模态特定的编码器集成到LLMs的输入空间中，以实现多模态理解。例如，一些研究采用了视觉编码器来处理图像输入，音频编码器来处理音频输入等，使模型能够理解不同模态的信息。
• 多模态生成：通过在LLMs的输出空间附加生成解码器，实现多模态生成任务，如可控图像生成、视频生成等。
• 全模态统一框架：一些研究致力于开发能够统一处理多种模态的LLMs，目标是在共享的潜在空间中对齐任意模态的特征与语言。这些模型在自回归建模多模态嵌入的基础上，探索了不同的编码和解码方式，例如基于离散标记生成的VQ-VAE系列、基于连续标记生成的潜在扩散模型等。

LLM训练框架

• 纯文本训练框架：针对纯文本训练，已经有许多成熟的框架，如Megatron-LM、Colossal-AI、NeMo等。这些框架通过优化Transformer块和采用先进的并行化策略（如张量并行和流水线并行）来提高训练效率。
• 多模态训练框架：在多模态领域，也出现了一些专门的框架，如DistMM、DistTrain、Align Anything等，它们针对多模态LLMs训练中的独特挑战进行了优化，但主要集中在文本到文本或任意到文本的场景，缺乏对全模态训练（任意到任意）场景的支持。
• PyTorch原生框架：新一代的PyTorch原生框架，如TorchTitan和veScale，强调自动并行化和简化的编程模型，但同样在多模态训练支持方面存在不足。

分布式训练技术

• 数据并行：包括完全分片数据并行（FSDP）和混合分片数据并行（HSDP），这些技术通过在多个设备上分片模型的参数、梯度和优化器状态，显著减少了每个GPU在训练过程中所需的内存。
• 序列并行：如DeepSpeed Ulysses，针对长序列训练进行了优化，通过在序列维度分割激活并在注意力计算期间进行全通信，有效解决了长序列训练中的计算和内存挑战。
• 专家并行：针对混合专家（MoE）模型的训练，通过在设备间分片专家，提高了训练效率并降低了计算成本。

其他相关研究

• 动态批处理：通过动态地将样本打包到接近目标序列长度，减少填充开销，提高训练效率。
• 高效内核：开发了一系列针对LLMs训练的高效操作内核，如RMSNorm、LayerNorm、RoPE、SwiGLU等，以提高训练吞吐量。
• 内存优化：采用层间重计算、激活卸载和优化器状态卸载等技术，减少训练过程中的内存消耗，从而支持更大的微批次大小。
• 分布式检查点：实现高效的检查点保存和恢复，支持在不同分布式配置下的弹性训练。
• 元设备初始化：支持在元设备上初始化大型模型，避免在定义阶段分配物理内存，加速模型的初始化和加载过程。

这些相关研究为VeOmni的设计和实现提供了理论基础和技术支持，使其能够有效地解决全模态LLMs训练中的挑战。

Q: 论文如何解决这个问题？

A: VeOmni 通过以下方式解决全模态大型语言模型（LLMs）训练中的挑战：

模型中心分布式配方

• 解耦通信与计算：VeOmni 引入了模型中心分布式配方，将模型定义与并行逻辑解耦。这意味着用户可以灵活地组合不同的并行策略（如 FSDP、SP、EP），而无需修改模型代码。
• 支持 n 维并行：VeOmni 支持灵活的并行策略组合，例如 FSDP+SP 用于 2D 并行，FSDP+SP+EP 用于 3D 并行。这使得用户可以根据模型架构和模态特定需求定制训练配方。

轻量级配置接口

• 易于定制的全模态 LLMs：VeOmni 提供了一个轻量级的配置接口，允许用户轻松地添加或移除模态特定的编码器和解码器。这种模块化设计使得新模态的集成变得简单，无需大量的代码更改。

分布式训练技术

• 完全分片数据并行（FSDP）：通过在所有可用设备上分片模型的参数、梯度和优化器状态，显著减少了每个 GPU 在训练过程中所需的内存。VeOmni 集成了 FSDP1 和 FSDP2，并提供统一的 API 以便于配置。
• 混合分片数据并行（HSDP）：作为 FSDP 的扩展，HSDP 利用 2D 设备网格，在“分片组”内使用 FSDP，在“复制组”间使用分布式数据并行（DDP），从而大幅减少了节点间通信，提高了可扩展性。
• 序列并行（SP）：针对长序列训练，VeOmni 采用了 DeepSpeed Ulysses 技术，通过在序列维度分割激活并在注意力计算期间进行全通信，确保了通信量在序列长度和设备数量按比例扩展时保持不变。此外，VeOmni 还引入了 Async-Ulysses，通过重叠通信和计算来优化训练吞吐量。
• 专家并行（EP）：对于混合专家（MoE）模型，VeOmni 提供了用户友好的接口，允许用户轻松地在设备间分片专家，而无需手动配置。此外，VeOmni 还集成了细粒度的通信-计算重叠技术，通过在本地专家计算期间调度集体操作，隐藏通信延迟，从而提高了大规模 MoE 训练的效率。

其他系统优化策略

• 动态批处理：通过动态地将样本打包到接近目标序列长度，减少填充开销，提高训练效率。
• 高效内核：集成了多种高效的运算内核，如 RMSNorm、LayerNorm、RoPE、SwiGLU 等，以提高训练吞吐量。
• 内存优化：采用层间重计算、激活卸载和优化器状态卸载等技术，减少训练过程中的内存消耗，从而支持更大的微批次大小。
• 分布式检查点：实现高效的检查点保存和恢复，支持在不同分布式配置下的弹性训练。
• 元设备初始化：支持在元设备上初始化大型模型，避免在定义阶段分配物理内存，加速模型的初始化和加载过程。

实验验证

• 效率和可扩展性：通过在 8 到 128 个 GPU 上进行的实验，VeOmni 展示了其在处理从 7B 到 72B 参数的模型时的高效性和可扩展性。实验结果表明，VeOmni 能够在长序列和 MoE 模型训练中实现高吞吐量和内存效率。
• 收敛性研究：通过在多种全模态 LLMs 上的实验，验证了 VeOmni 在多模态理解和生成任务上的稳定收敛行为，证明了其训练稳定性和有效性。

总结来说，VeOmni 通过解耦模型定义与并行逻辑、提供灵活的并行策略组合、以及一系列系统优化技术，有效地解决了全模态 LLMs 训练中的挑战，提高了训练效率和可扩展性。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来验证 VeOmni 的性能和可扩展性：

1. 不同场景下的训练配方实验

• 实验设置：

  • 环境：在 8 到 128 个 GPU 的大规模 GPU 集群上进行实验。
  • 模型和数据集：评估了多种模型架构，包括 Qwen2-VL 7B 和 72B 的密集模型，以及基于 Qwen3-MoE 的 30B 参数的混合专家（MoE）全模态 LLM。使用了针对不同模态（文本、图像、视频、音频）的特定数据集。
  • 工作负载和指标：通过逐步增加输入上下文长度（从 8K 到 256K tokens），评估了 VeOmni 在不同模型大小和 GPU 数量下的训练吞吐量（每秒处理的 tokens 数）和内存足迹利用率（MFU）。

• 实验结果：

  • 2D 并行（FSDP + SP）：
    • 在 8 个 GPU 上训练 Qwen2-VL 7B 模型时，通过增加序列并行度，支持的上下文长度从 8K 增加到 192K tokens，同时保持了较高的 MFU（61.5%）。
    • 在 128 个 GPU 上训练 Qwen2-VL 72B 模型时，支持的上下文长度从 8K 增加到 96K tokens，MFU 为 54.82%。
  • 3D 并行（FSDP + SP + EP）：
    • 在 128 个 GPU 上训练 30B 参数的 Qwen3-MoE 基础全模态 LLM 时，通过适度的 SP 和 EP 组合，支持的上下文长度达到 160K tokens，同时保持了竞争力的吞吐量。

2. 全模态 LLMs 的收敛性研究

• 实验设置：

  • 模型：评估了三种不同的全模态 LLMs，包括 Janus、LLaMA#Omni 和 Qwen3-Moe#Omni。这些模型在架构上有所不同，但都支持多模态理解和生成任务。
  • 任务：评估了这些模型在多模态理解（文本、图像、视频、音频）和生成（文本和图像合成）任务上的表现。
  • 指标：主要关注模型的收敛行为，通过观察训练过程中的损失值来评估模型的稳定性和有效性。

• 实验结果：

  • 所有模型在多模态理解和生成任务上都表现出稳定的收敛行为。这表明 VeOmni 能够高效且稳健地训练大型全模态 LLMs。

3. 与 TorchTitan 的性能对比

• 实验设置：

  • 环境：在 128 个 GPU 上进行实验。
  • 模型：使用 Qwen2-7B、Qwen2.5-32B 和 Qwen2-72B 模型。
  • 指标：比较了 VeOmni 和 TorchTitan 在不同序列长度下的内存使用、吞吐量和 MFU。

• 实验结果：

  • VeOmni 在所有模型大小和序列长度下均实现了更高的吞吐量和内存效率。
  • 特别是在长序列和 MoE 模型训练中，VeOmni 支持的模型规模和序列长度超出了 TorchTitan 的能力限制。

4. Qwen3-MoE-30B 模型的性能测试

• 实验设置：

  • 环境：在 128 个 GPU 上进行实验。
  • 模型：使用 Qwen3-MoE-30B 模型。
  • 指标：测试了不同并行策略（FSDP + SP + EP）下的内存使用、吞吐量和 MFU。

• 实验结果：

  • 在 8K 到 128K 的上下文长度下，VeOmni 能够有效地支持训练，展示了其在处理大规模 MoE 模型时的高效性和可扩展性。

总结

这些实验结果表明，VeOmni 在处理长序列和大规模 MoE 模型时具有显著的效率和可扩展性优势。通过灵活的并行策略组合和系统优化，VeOmni 能够在大规模 GPU 集群上高效地训练全模态 LLMs，同时保持模型的稳定收敛。

Q: 有什么可以进一步探索的点？

A: 尽管 VeOmni 在全模态大型语言模型（LLMs）的训练中展示了显著的效率和可扩展性，但仍有一些可以进一步探索的方向，以进一步提升其性能和适用性：

1. 非侵入式流水线并行

• 当前状态：VeOmni 已经支持多种并行策略，但流水线并行（Pipeline Parallelism, PP）尚未完全集成。流水线并行可以进一步解耦模型定义和并行执行，提高训练效率。
• 探索方向：
  • 自动流水线划分：开发自动流水线划分工具，能够根据模型结构和硬件配置自动划分模型层，减少人工干预。
  • 动态流水线调度：实现动态流水线调度机制，根据训练过程中的负载情况动态调整流水线的执行顺序和资源分配，以提高资源利用率和训练效率。

2. 模态感知的数据平衡策略

• 当前状态：VeOmni 在序列并行（SP）中已经展示了高效的数据处理能力，但在多模态训练中，不同模态的数据分布和计算需求可能存在显著差异。
• 探索方向：
  • 模态感知的数据采样：开发模态感知的数据采样策略，根据模态的复杂度和数据量动态调整不同模态的采样比例，以平衡计算负载。
  • 自适应数据批处理：实现自适应数据批处理机制，根据当前批次的模态分布自动调整批处理大小和计算资源分配，以提高训练效率和模型性能。

3. 异构硬件支持

• 当前状态：VeOmni 主要针对 GPU 集群进行了优化，但随着异构计算硬件（如 CPU、FPGA、ASIC）的发展，支持这些硬件可以进一步提升训练效率。
• 探索方向：
  • 异构硬件并行：扩展 VeOmni 的并行策略，使其能够支持 CPU、FPGA、ASIC 等异构硬件的混合使用，以充分利用不同硬件的优势。
  • 硬件感知的优化：开发硬件感知的优化技术，根据硬件特性自动选择最优的并行策略和计算内核，以提高整体训练效率。

4. 模型压缩与量化

• 当前状态：VeOmni 在内存优化方面已经采取了一些措施，如激活卸载和优化器状态卸载，但在模型压缩和量化方面仍有提升空间。
• 探索方向：
  • 动态量化：实现动态量化技术，根据训练过程中的数据分布动态调整量化精度，以减少内存占用和计算开销，同时保持模型性能。
  • 模型压缩：开发高效的模型压缩技术，如剪枝和知识蒸馏，以进一步减少模型大小和计算复杂度，提高训练和推理效率。

5. 多任务学习与迁移学习

• 当前状态：VeOmni 主要关注全模态 LLMs 的训练，但在多任务学习和迁移学习方面尚未进行深入探索。
• 探索方向：
  • 多任务学习：扩展 VeOmni 的功能，支持多任务学习场景，使模型能够同时学习多个相关任务，提高模型的泛化能力和效率。
  • 迁移学习：开发迁移学习工具，使预训练的全模态 LLMs 能够更高效地适应特定领域的下游任务，减少训练时间和资源消耗。

6. 自动超参数优化

• 当前状态：VeOmni 提供了灵活的配置接口，但超参数的选择仍然需要用户手动调整。
• 探索方向：
  • 自动超参数优化：集成自动超参数优化工具，如贝叶斯优化和遗传算法，自动搜索最优的超参数组合，提高模型性能和训练效率。
  • 超参数调整的可视化：提供超参数调整的可视化工具，帮助用户更好地理解超参数对模型性能的影响，从而更有效地进行调整。

7. 分布式训练的容错性

• 当前状态：VeOmni 已经支持分布式检查点，但容错机制在大规模分布式训练中仍有提升空间。
• 探索方向：
  • 弹性训练：进一步增强分布式训练的弹性，使系统能够在部分节点故障时自动恢复，减少训练中断的影响。
  • 容错策略：开发更先进的容错策略，如冗余计算和数据备份，以提高系统的可靠性和稳定性。

8. 跨模态评估与基准测试

• 当前状态：VeOmni 在多模态理解和生成任务上展示了良好的性能，但缺乏统一的跨模态评估标准和基准测试。
• 探索方向：
  • 跨模态评估标准：制定统一的跨模态评估标准，涵盖多模态理解、生成、推理等多个方面，以更全面地评估模型的性能。
  • 基准测试数据集：开发更丰富、更具挑战性的基准测试数据集，涵盖多种模态和任务类型，以推动全模态 LLMs 的研究和应用。

通过这些进一步的探索和改进，VeOmni 可以在全模态 LLMs 的训练中实现更高的效率、更好的可扩展性和更强的适应性，从而推动全模态人工智能的发展。

Q: 总结一下论文的主要内容

A: VeOmni 是一个专为全模态（omni-modal）大型语言模型（LLMs）训练设计的高效、可扩展的分布式训练框架。它通过引入模型中心分布式配方（model-centric distributed recipes），将模型定义与并行逻辑解耦，支持灵活的 n 维并行策略组合，从而显著提高了训练效率和可扩展性。VeOmni 的核心贡献包括：

1. 模型中心分布式配方：通过解耦通信与计算，VeOmni 支持灵活的并行策略组合，如 FSDP（完全分片数据并行）、SP（序列并行）和 EP（专家并行），以适应不同模型架构和模态特定需求。

2. 轻量级配置接口：VeOmni 提供了一个易于使用的配置接口，允许用户轻松地添加或移除模态特定的编码器和解码器，极大地简化了全模态 LLMs 的定制过程。

3. 分布式训练技术：VeOmni 集成了多种先进的分布式训练技术，包括 FSDP、HSDP（混合分片数据并行）、DeepSpeed Ulysses（序列并行）和专家并行，以支持长序列训练和大规模 MoE 模型的高效训练。

4. 系统优化策略：VeOmni 还集成了动态批处理、高效运算内核、内存优化、分布式检查点和元设备初始化等系统优化技术，进一步提高了训练效率和资源利用率。

5. 实验验证：通过在 8 到 128 个 GPU 上进行的实验，VeOmni 展示了其在处理从 7B 到 72B 参数的模型时的高效性和可扩展性。实验结果表明，VeOmni 能够在长序列和 MoE 模型训练中实现高吞吐量和内存效率。此外，VeOmni 在多模态理解和生成任务上也表现出稳定的收敛行为，证明了其训练稳定性和有效性。

6. 性能对比：与 TorchTitan 等现有框架相比，VeOmni 在多种模型大小和序列长度下均实现了更高的吞吐量和内存效率，特别是在长序列和 MoE 模型训练中，VeOmni 支持的模型规模和序列长度超出了 TorchTitan 的能力限制。

VeOmni 的设计和实现为全模态 LLMs 的训练提供了一个高效、可扩展且易于使用的解决方案，推动了全模态人工智能的发展。未来工作将集中在进一步扩展 VeOmni 的功能，如支持非侵入式流水线并行、模态感知的数据平衡策略、异构硬件支持、模型压缩与量化、多任务学习与迁移学习、自动超参数优化、分布式训练的容错性以及跨模态评估与基准测试等方向。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Qianli Ma,Yaowei Zheng,Zhelun Shi,Zhongkai Zhao,Bin Jia,Ziyue Huang,Zhiqi Lin,Youjie Li,Jiacheng Yang,Yanghua Peng,Zhi Zhang,Xin Liu

Categories: cs.CL,cs.AI,cs.DC

PDF URL: https://arxiv.org/pdf/2508.02317.pdf

Arxiv URL: https://arxiv.org/abs/2508.02317

Arxiv ID: 2508.02317

CoolPaper URL: https://papers.cool/arxiv/2508.02317

Published: 2025-08-04T11:33:04Z

Updated: 2025-08-04T11:33:04.000Z

---

7. Fitness aligned structural modeling enables scalable virtual screening with AuroBind

Most human proteins remain undrugged, over 96% of human proteins remain unexploited by approved therapeutics. While structure-based virtual screening promises to expand the druggable proteome, existing methods lack atomic-level precision and fail to predict binding fitness, limiting translational impact. We present AuroBind, a scalable virtual screening framework that fine-tunes a custom atomic-level structural model on million-scale chemogenomic data. AuroBind integrates direct preference optimization, self-distillation from high-confidence complexes, and a teacher-student acceleration strategy to jointly predict ligand-bound structures and binding fitness. The proposed models outperform state-of-the-art models on structural and functional benchmarks while enabling 100,000-fold faster screening across ultra-large compound libraries. In a prospective screen across ten disease-relevant targets, AuroBind achieved experimental hit rates of 7-69%, with top compounds reaching sub-nanomolar to picomolar potency. For the orphan GPCRs GPR151 and GPR160, AuroBind identified both agonists and antagonists with success rates of 16-30%, and functional assays confirmed GPR160 modulation in liver and prostate cancer models. AuroBind offers a generalizable framework for structure-function learning and high-throughput molecular screening, bridging the gap between structure prediction and therapeutic discovery.

中文摘要

大多数人类蛋白质尚未被药物化，超过96%的人类蛋白质仍未被已批准的治疗药物开发。虽然基于结构的虚拟筛选有望扩展可药用的蛋白组，但现有方法缺乏原子级精度，无法预测结合适配性，限制了其转化影响。我们提出了AuroBind，这是一种可扩展的虚拟筛选框架，可以在百万规模的化学基因组数据上微调自定义的原子级结构模型。AuroBind集成了直接偏好优化、高置信度复合体的自蒸馏以及师生加速策略，以共同预测配体结合结构和结合适配性。所提出的模型在结构和功能基准测试中超过了最先进的模型，同时在超大化合物库中实现了100,000倍的筛选加速。在针对十个与疾病相关的靶标进行的前瞻性筛选中，AuroBind的实验命中率达到了7-69%，其中顶级化合物的效力达到了亚纳摩尔到皮摩尔。在孤儿GPCR GPR151和GPR160中，AuroBind成功识别了激动剂和拮抗剂，成功率达到了16-30%，功能测定也确认了在肝脏和前列腺癌模型中的GPR160调节。AuroBind提供了一种可推广的框架，用于结构-功能学习和高通量分子筛选，弥合了结构预测与治疗发现之间的差距。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何开发一种能够高效且准确地进行虚拟筛选的计算框架，以加速药物发现过程并扩大可成药蛋白组的范围。尽管结构基础的虚拟筛选方法有潜力扩展可成药蛋白组，但现有的方法存在以下局限性：

1. 缺乏原子级精度：现有的虚拟筛选方法在预测蛋白质与配体结合的结构时，往往无法达到原子级别的精确度，这限制了对结合位点和相互作用细节的理解。
2. 无法预测结合亲和力：大多数现有方法无法准确预测蛋白质与配体之间的结合亲和力（fitness），这使得在大规模化合物库中筛选出真正有效的配体变得困难。
3. 计算效率问题：一些高精度的结构预测模型（如AlphaFold 3）虽然能够提供高质量的结构预测，但在大规模化合物库筛选时计算效率低下，无法在合理的时间内处理数百万级别的化合物。
4. 对未被充分研究的靶点的适用性有限：许多人类蛋白尚未被药物所利用，对于这些未被充分研究的靶点，尤其是那些缺乏已知配体或共晶结构的靶点，现有方法往往难以应用。

为了解决这些问题，作者提出了AuroBind，这是一个可扩展的虚拟筛选框架，它通过在百万级别的化学基因组数据上微调定制的原子级结构模型，整合了直接偏好优化、自蒸馏和教师-学生加速策略，以联合预测配体结合结构和结合亲和力。

Q: 有哪些相关研究？

A: 在这篇论文中，作者提到了多个与AuroBind相关的研究，这些研究主要集中在以下几个领域：

结构基础的虚拟筛选方法

• 基于物理的方法：如Glide和AutoDock Vina，这些方法在早期的命中发现中发挥了重要作用，但在处理凸形或高极性结合位点时性能下降，通常产生弱结合剂，并且在难以处理的目标上失败。此外，它们依赖于高分辨率的结合态（holo）结构和预定义的结合位点，限制了其在隐秘口袋中的应用。
• 基于深度学习的预测器：近年来，基于深度学习的蛋白质-配体复合物结构和亲和力预测模型开始出现，但这些尝试的准确性参差不齐，通常不如基于物理的方法。这些模型包括DiffDock、Tankbind、Uni-mol、State-specific protein–ligand complex structure prediction、DynamicBind、SurfDock等。

生成性基础模型

• RoseTTAFold AllAtom和AlphaFold 3：这些模型为生物分子相互作用

Authors: Zhongyue Zhang,Jiahua Rao,Jie Zhong,Weiqiang Bai,Dongxue Wang,Shaobo Ning,Lifeng Qiao,Sheng Xu,Runze Ma,Will Hua,Jack Xiaoyu Chen,Odin Zhang,Wei Lu,Hanyi Feng,He Yang,Xinchao Shi,Rui Li,Wanli Ouyang,Xinzhu Ma,Jiahao Wang,Jixian Zhang,Jia Duan,Siqi Sun,Jian Zhang,Shuangjia Zheng

Categories: cs.LG,cs.AI

PDF URL: https://arxiv.org/pdf/2508.02137.pdf

Arxiv URL: https://arxiv.org/abs/2508.02137

Arxiv ID: 2508.02137

CoolPaper URL: https://papers.cool/arxiv/2508.02137

Published: 2025-08-04T07:34:48Z

Updated: 2025-08-04T07:34:48.000Z

---

8. InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

To operate effectively in the real world, robots must integrate multimodal reasoning with precise action generation. However, existing vision-language-action (VLA) models often sacrifice one for the other, narrow their abilities to task-specific manipulation data, and suffer catastrophic forgetting of pre-trained vision-language capabilities. To bridge this gap, we introduce InstructVLA, an end-to-end VLA model that preserves the flexible reasoning of large vision-language models (VLMs) while delivering leading manipulation performance. InstructVLA introduces a novel training paradigm, Vision-Language-Action Instruction Tuning (VLA-IT), which employs multimodal training with mixture-of-experts adaptation to jointly optimize textual reasoning and action generation on both standard VLM corpora and a curated 650K-sample VLA-IT dataset. On in-domain SimplerEnv tasks, InstructVLA achieves 30.5% improvement over SpatialVLA. To evaluate generalization, we introduce SimplerEnv-Instruct, an 80-task benchmark requiring closed-loop control and high-level instruction understanding, where it outperforms a fine-tuned OpenVLA by 92% and an action expert aided by GPT-4o by 29%. Additionally, InstructVLA surpasses baseline VLMs on multimodal tasks and exhibits inference-time scaling by leveraging textual reasoning to boost manipulation performance in both simulated and real-world settings. These results demonstrate InstructVLA’s potential for bridging intuitive and steerable human-robot interaction with efficient policy learning.

中文摘要

为了在现实世界中有效运作，机器人必须将多模态推理与精确的动作生成相结合。然而，现有的视觉-语言-动作（VLA）模型往往在二者之间进行取舍，限制了它们的能力到特定任务的操作数据，并且在预训练的视觉-语言能力上遭受灾难性的遗忘。为了弥补这一差距，我们引入了InstructVLA，这是一个端到端的VLA模型，保留了大型视觉-语言模型（VLM）灵活的推理能力，同时提供了领先的操作性能。InstructVLA引入了一种新颖的训练范式，即视觉-语言-动作指令调整（VLA-IT），它采用多模态训练与专家混合适应，以联动优化文本推理和动作生成，在标准VLM语料库和一个精心策划的65万样本VLA-IT数据集上共同进行。 在领域内的简化环境任务中，InstructVLA比SpatialVLA提高了30.5%的性能。为了评估泛化能力，我们引入了SimplerEnv-Instruct，这是一个需要闭环控制和高级指令理解的80任务基准，在这里它比微调的OpenVLA提高了92%，比一个由GPT-4o辅助的动作专家提高了29%。此外，InstructVLA在多模态任务上超越了基线VLM，并通过利用文本推理提升模拟和现实世界设置中的操作性能，展示了推理时的扩展能力。这些结果表明，InstructVLA在桥接直观且可控的人机交互与高效政策学习方面的潜力。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决机器人在现实世界中有效操作时面临的挑战，即如何将多模态推理（视觉和语言）与精确的动作生成相结合。现有的视觉-语言-动作（Vision-Language-Action, VLA）模型通常在多模态推理和动作生成之间存在权衡，要么牺牲一方以优化另一方，要么将能力限制在特定任务的操纵数据上，导致预训练的视觉-语言能力出现灾难性遗忘（catastrophic forgetting）。为了弥合这一差距，论文提出了InstructVLA模型，旨在保留大型视觉-语言模型（Vision-Language Models, VLMs）的灵活推理能力，同时提供领先的操纵性能。

Q: 有哪些相关研究？

A: 论文中提到了多个与视觉-语言-动作（VLA）模型相关的研究领域，包括：

1. 大规模预训练模型：在计算机视觉（CV）和自然语言处理（NLP）领域，大规模预训练模型已经取得了显著的成果。这些模型通过在大规模数据上进行预训练，能够学习到通用的视觉和语言表示，从而在多种下游任务中表现出色。例如，CLIP [3]、DALL·E [4]、SAM [5] 等模型在视觉领域，以及 BERT [7]、T5 [8]、GPT-4 [9] 等模型在语言领域都取得了突破。

2. VLA模型的预训练和微调：最近的研究开始将预训练的视觉-语言模型（VLMs）应用于机器人操纵任务，通过在大规模的机器人数据上进行微调来增强模型在机器人操纵中的泛化能力。例如，RT-2 [13]、OpenVLA [12]、SpatialVLA [15] 等模型展示了在机器人操纵任务中的强大性能，但这些模型在微调过程中容易出现灾难性遗忘，逐渐失去其预训练的多模态推理能力。

3. 灾难性遗忘的缓解策略：为了缓解灾难性遗忘，一些研究尝试通过联合训练视觉-语言和操纵数据来保留多模态能力，同时学习多样化的操纵技能。例如，ChatVLA [30] 和 Magma [31] 通过联合训练视觉-语言和操纵数据来实现这一点。另一些方法则专注于将体感推理紧密集成到操纵数据集中，以转移VLM的能力，如ECoT [14] 和 Emma-X [32]。

4. 多模态学习和机器人政策学习：研究还探讨了如何通过大规模数据训练机器人政策，以提高机器人在复杂环境中的决策和规划能力。例如，RT1 [34] 和 RT-2 [13] 通过在大规模真实世界演示数据上训练，实现了强大的领域内准确性和零样本迁移能力。其他方法如 LAPA [42]、Seer [43] 和 Moto [44] 则通过视频生成和逆动力学学习可扩展的运动表示。

5. VLA模型的架构和训练方法：VLA模型通常基于两种主要架构：自回归模型和基于流的模型。自回归模型将动作视为离散标记，如 RT-2 [13] 和 OpenVLA [12]，而基于流的模型则避免离散化，如 π0 [47] 和 GR00T [48]。此外，还有一些混合方法，如 RoboDual [52]，结合了通用动作模型和专家动作专家。

这些相关研究为InstructVLA的提出提供了理论基础和技术支持，InstructVLA通过创新的训练范式和数据集设计，旨在解决现有VLA模型在多模态推理和动作生成之间的权衡问题。

Q: 论文如何解决这个问题？

A: 论文通过提出InstructVLA模型来解决如何将多模态推理与动作生成相结合的问题，具体方法如下：

提出InstructVLA模型

InstructVLA是一个端到端的VLA模型，它在保留大型视觉-语言模型（VLMs）的灵活推理能力的同时，提供了领先的操纵性能。该模型通过一种新颖的训练范式——视觉-语言-动作指令调优（Vision-Language-Action Instruction Tuning，简称VLA-IT）来实现这一目标。VLA-IT采用多模态训练，并结合了混合专家（Mixture-of-Experts，MoE）适应策略，以联合优化文本推理和动作生成。该模型在标准VLM语料库和一个精心策划的包含650K样本的VLA-IT数据集上进行训练。

两阶段训练范式

InstructVLA的训练过程遵循两阶段范式：

1. 动作预训练（Action Pretraining）：在这个阶段，模型通过从语言基础的运动描述中提取的潜在动作表示来训练一个由VLM驱动的动作专家。此阶段仅微调输入和输出嵌入以及动作查询的动作LoRA适配器，总共约650M参数。此阶段训练的模型被称为“专家”（Expert）。
2. 视觉-语言-动作指令调优（Vision-Language-Action Instruction Tuning）：在这一阶段，通过在VLA-IT数据集上进一步训练，使模型能够处理更复杂的指令并生成适当的响应。在此阶段，动作专家保持冻结状态，添加新的语言LoRA适配器和MoE适应的尺度头，MoE模块是唯一可训练的部分，包含220M参数。此阶段训练的模型被称为“通用主义者”（Generalist）。

VLA-IT数据集

为了支持VLA-IT训练，作者策划了一个包含650K人类-机器人交互的数据集，这些交互被标注了多样化的指令、场景描述和基于高质量操纵任务的问题-答案对。这些数据集包括：

• 语言运动预训练数据：提供基本末端执行器运动的直观语言描述，这些描述可以被提炼成潜在动作，为VLM提供监督。
• 视觉-语言-动作指令调优数据：包括场景描述、指令重写、上下文创建和问答对，旨在提高模型对场景的理解和指令遵循能力。

模型架构

InstructVLA模型架构包括以下几个关键部分：

• 基于VLM的文本和潜在动作生成：模型使用一个VLM（如Eagle2-2B）来同时进行多模态推理和语言引导的潜在动作规划。通过引入可学习的动作查询，模型能够从VLM的隐藏状态中提取与任务相关的潜在动作。
• 混合专家（MoE）适应：为了使模型能够在推理和操纵之间无缝切换，采用了MoE设计。通过LoRA模块作为专家，并使用尺度头预测每个专家的门控系数，模型能够自适应地融合不同专家的输出。
• 基于流的动作专家：动作专家负责从图像观察中生成动作，条件是VLM衍生的意图。它采用简单的Transformer架构，并使用特征-wise线性调制（FiLM）来增强视觉特征的方向性。

实验验证

为了验证InstructVLA的性能，作者设计了SimplerEnv-Instruct基准测试，这是一个包含80个零样本操纵任务的评估套件，涵盖了闭环操纵任务和高级指令推理。实验结果表明，InstructVLA在指令遵循和任务分解方面优于微调的OpenVLA基线模型92%，并且在SimplerEnv-Instruct上比由GPT-4o辅助的动作专家模型高出29%。此外，InstructVLA还在多模态基准测试和现实世界部署中超越了基线VLMs，并在闭环操纵方面比Magma高出27%。

通过上述方法，InstructVLA有效地解决了如何将多模态推理与动作生成相结合的问题，为实现直观且可控的机器人操纵提供了一种新的解决方案。

Q: 论文做了哪些实验？

A: 论文中进行了多种实验，以验证InstructVLA模型在不同场景下的性能和泛化能力。以下是主要的实验内容：

1. 多模态理解基准测试

为了评估InstructVLA在多模态理解方面的性能，作者使用了多个自动化的多模态基准测试，包括：

• MMMU(Val) [66]
• MMStar [67]
• MME [68]
• OCRBench [69]
• HallB(Avg) [70]
• MMB(Dev En V1.1) [71]
• TextVQA [72]
• DoCVQA [73]
• InfoVQA [74]
• AI2D [75]
• ChartQA [76]
• RWQA [77]

这些基准测试涵盖了视觉问答、文档理解、信息图表理解、OCR推理和幻觉鲁棒性等多个方面。实验结果显示，InstructVLA在多个多模态基准测试中优于或接近其他多模态VLMs，如LLaVA-OV [78]、Bunny [36]、Eagle2 [59] 和 Qwen2-VL [79]。

2. SimplerEnv基准测试

SimplerEnv是一个用于评估机器人操纵策略的平台，支持从真实世界到模拟环境的评估。作者在SimplerEnv上进行了以下实验：

• 原子指令任务：评估模型在标准原子指令上的性能，如“打开抽屉”、“将物体放入抽屉”等。
• SimplerEnv-Instruct：这是一个扩展的基准测试，包含80个零样本操纵任务，涵盖指令聚合和情境推理两个层次，总共1.1K次试验。这些任务设计用于评估模型在新场景中的指令遵循和推理能力。

实验结果显示，InstructVLA在SimplerEnv-Instruct基准测试中表现出色，特别是在情境推理任务上，显著优于其他基线模型，如OpenVLA和Magma。

3. 真实世界实验

为了评估InstructVLA在真实世界场景中的性能，作者在WidowX250机械臂上进行了零样本实验，并在Franka Research 3机器人上进行了少样本实验。实验设置包括：

• 零样本任务：在厨房环境中进行的零样本任务，评估模型对新指令和新对象的泛化能力。
• 少样本任务：在Franka Research 3机器人上进行的少样本任务，涉及从架子上抓取物体和清理桌面。

实验结果显示，InstructVLA在真实世界场景中表现出色，特别是在需要情境推理的任务上，显著优于OpenVLA。

4. 消融研究

为了深入分析InstructVLA的设计和训练策略对性能的影响，作者进行了以下消融研究：

• 语言运动数据对预训练的影响：通过引入“语言运动”数据，评估其对模型将视觉线索与操纵原语关联能力的影响。
• 潜在动作查询的数量：通过调整潜在动作查询的数量，评估其对模型行为多样性和训练效率的影响。
• 动作专家设计的影响：通过移除或增强动作专家中的DINOv2视觉编码器，评估其对模型性能的影响。
• 完全微调VLA的影响：通过完全微调VLM骨干网络，评估其对模型性能的影响。
• VL到动作学习的影响：通过冻结或联合微调动作专家，评估其对模型适应复杂文本输入能力的影响。
• 指令数据规模的影响：通过调整VLA-IT数据集的规模，评估其对模型指令遵循能力的影响。

这些消融研究结果表明，InstructVLA的设计和训练策略在多模态理解和动作生成方面都起到了关键作用。

5. 语言能力评估

为了进一步评估InstructVLA在语言生成方面的性能，作者在VLA-IT数据集上进行了以下评估：

• 场景描述（Scenario Captioning）
• 问题回答（Question Answering）
• 指令响应（Instruction Response）

实验结果显示，InstructVLA在这些任务上表现出色，特别是在生成清晰、准确的响应方面，优于其他基线模型。

6. 跨体现理解评估

为了评估InstructVLA在不同环境中的泛化能力，作者在SimplerEnv-Instruct基准测试中进行了跨体现理解评估。实验结果显示，InstructVLA在不同环境中的表现具有良好的泛化能力。

7. 双频推理评估

为了分析潜在动作生成与最终解码动作之间的关系，作者进行了双频推理评估。实验结果显示，在1:2的VLM与专家模型执行频率比下，性能保持稳定，但更高的比例会导致性能下降。

8. 推理时思考的作用

为了评估推理时思考（test-time thinking）对性能的影响，作者在SimplerEnv-Instruct基准测试中进行了实验。实验结果显示，推理时思考显著提高了模型在情境推理任务上的性能。

这些实验全面评估了InstructVLA在多模态理解、机器人操纵和真实世界部署中的性能，验证了其在多种场景下的有效性和泛化能力。

Q: 有什么可以进一步探索的点？

A: 论文中提出了InstructVLA模型，并在多个基准测试和真实世界场景中验证了其性能。尽管取得了显著的成果，但仍有一些可以进一步探索的方向：

1. 多模态数据的进一步整合

• 多模态数据的多样性：尽管InstructVLA已经在多模态数据上进行了训练，但可以进一步探索更多样化的多模态数据，包括不同类型的视觉数据（如深度图像、点云）、不同语言风格的指令（如诗歌、古文）以及多语言支持。
• 跨模态数据的对齐：研究如何更好地对齐不同模态的数据，以提高模型在跨模态任务中的性能。例如，如何将视觉特征与语言描述更紧密地结合，以提高模型对复杂场景的理解能力。

2. 模型架构的改进

• 更高效的混合专家（MoE）设计：当前的MoE设计已经证明了其有效性，但可以进一步探索更高效的MoE架构，以减少计算成本并提高模型的可扩展性。
• 多任务学习：研究如何将多任务学习更好地集成到VLA模型中，以同时优化多个相关任务，如视觉问答、动作生成和语言生成。
• 模型压缩和优化：探索模型压缩技术，如知识蒸馏、参数共享等，以减少模型的大小和计算需求，使其更适合在资源受限的设备上部署。

3. 训练策略的优化

• 动态数据采样：研究动态数据采样策略，以更好地平衡多模态数据和操纵数据的训练，避免模型对某一类数据过度拟合。
• 自适应学习率：探索自适应学习率策略，以提高模型在不同训练阶段的收敛速度和稳定性。
• 强化学习：结合强化学习方法，使模型能够通过与环境的交互来学习更优的策略，特别是在复杂任务和长期规划中。

4. 真实世界部署的挑战

• 安全性和可靠性：在真实世界部署中，确保模型的安全性和可靠性至关重要。研究如何通过模拟和真实世界测试来验证模型在各种极端条件下的性能。
• 实时性能：进一步优化模型的推理速度，以满足实时应用的需求。例如，通过模型量化、硬件加速等技术提高模型的实时性能。
• 人机交互：探索如何改进人机交互界面，使机器人能够更自然地与人类用户进行交互，理解自然语言指令并提供反馈。

5. 泛化能力的提升

• 零样本和少样本学习：进一步研究零样本和少样本学习方法，以提高模型在新任务和新环境中的泛化能力。例如，通过元学习方法使模型能够快速适应新任务。
• 跨领域泛化：研究如何使模型在不同领域（如家庭、工业、医疗）之间更好地泛化，以适应多样化的应用场景。

6. 多语言和跨文化适应性

• 多语言支持：扩展模型对多语言的支持，使其能够理解和生成多种语言的指令，以适应不同语言环境下的应用。
• 跨文化适应性：研究如何使模型更好地适应不同文化背景下的任务和指令，考虑到不同文化中对任务的理解和执行方式的差异。

7. 长期规划和复杂任务

• 长期规划能力：研究如何提高模型在长期任务中的规划能力，使其能够分解复杂任务并逐步执行。
• 多步推理：探索多步推理方法，使模型能够通过逐步推理来解决复杂的任务，特别是在需要多步操作和长期规划的场景中。

8. 与其他技术的结合

• 数字孪生和仿真技术：结合数字孪生和仿真技术，通过大规模合成数据来减少对真实世界数据的依赖，提高模型的训练效率和泛化能力。
• 多智能体系统：研究如何将VLA模型与其他智能体（如其他机器人或人类用户）结合，以实现更复杂的协作任务。

这些方向不仅有助于进一步提升InstructVLA模型的性能和泛化能力，还为未来的研究提供了广阔的空间，推动机器人技术在更多领域的应用和发展。

Q: 总结一下论文的主要内容

A: 本文提出了InstructVLA，这是一个端到端的视觉-语言-动作（VLA）模型，旨在将大型视觉-语言模型（VLMs）的灵活推理能力与精确的动作生成相结合，以解决机器人在现实世界中有效操作的挑战。该模型通过一种新颖的训练范式——视觉-语言-动作指令调优（VLA-IT）来实现这一目标，该范式采用多模态训练，并结合混合专家（MoE）适应策略，以联合优化文本推理和动作生成。InstructVLA在标准VLM语料库和一个精心策划的包含650K样本的VLA-IT数据集上进行训练。

背景知识

• 大规模预训练模型：在计算机视觉（CV）和自然语言处理（NLP）领域，大规模预训练模型已经取得了显著的成果。这些模型通过在大规模数据上进行预训练，能够学习到通用的视觉和语言表示，从而在多种下游任务中表现出色。
• VLA模型的预训练和微调：最近的研究开始将预训练的视觉-语言模型（VLMs）应用于机器人操纵任务，通过在大规模的机器人数据上进行微调来增强模型在机器人操纵中的泛化能力。然而，这些模型在微调过程中容易出现灾难性遗忘，逐渐失去其预训练的多模态推理能力。
• 灾难性遗忘的缓解策略：为了缓解灾难性遗忘，一些研究尝试通过联合训练视觉-语言和操纵数据来保留多模态能力，同时学习多样化的操纵技能。

研究方法

InstructVLA模型架构

• 基于VLM的文本和潜在动作生成：InstructVLA使用一个VLM（如Eagle2-2B）来同时进行多模态推理和语言引导的潜在动作规划。通过引入可学习的动作查询，模型能够从VLM的隐藏状态中提取与任务相关的潜在动作。
• 混合专家（MoE）适应：为了使模型能够在推理和操纵之间无缝切换，采用了MoE设计。通过LoRA模块作为专家，并使用尺度头预测每个专家的门控系数，模型能够自适应地融合不同专家的输出。
• 基于流的动作专家：动作专家负责从图像观察中生成动作，条件是VLM衍生的意图。它采用简单的Transformer架构，并使用特征-wise线性调制（FiLM）来增强视觉特征的方向性。

两阶段训练范式

1. 动作预训练（Action Pretraining）：在这个阶段，模型通过从语言基础的运动描述中提取的潜在动作表示来训练一个由VLM驱动的动作专家。此阶段仅微调输入和输出嵌入以及动作查询的动作LoRA适配器，总共约650M参数。此阶段训练的模型被称为“专家”（Expert）。
2. 视觉-语言-动作指令调优（Vision-Language-Action Instruction Tuning）：在这一阶段，通过在VLA-IT数据集上进一步训练，使模型能够处理更复杂的指令并生成适当的响应。在此阶段，动作专家保持冻结状态，添加新的语言LoRA适配器和MoE适应的尺度头，MoE模块是唯一可训练的部分，包含220M参数。此阶段训练的模型被称为“通用主义者”（Generalist）。

VLA-IT数据集

• 语言运动预训练数据：提供基本末端执行器运动的直观语言描述，这些描述可以被提炼成潜在动作，为VLM提供监督。
• 视觉-语言-动作指令调优数据：包括场景描述、指令重写、上下文创建和问答对，旨在提高模型对场景的理解和指令遵循能力。

实验

多模态理解基准测试

InstructVLA在多个多模态基准测试中表现出色，包括MMMU(Val) [66]、MMStar [67]、MME [68]、OCRBench [69]、HallB(Avg) [70]、MMB(Dev En V1.1) [71]、TextVQA [72]、DoCVQA [73]、InfoVQA [74]、AI2D [75]、ChartQA [76] 和 RWQA [77]。

SimplerEnv基准测试

• 原子指令任务：评估模型在标准原子指令上的性能，如“打开抽屉”、“将物体放入抽屉”等。
• SimplerEnv-Instruct：这是一个扩展的基准测试，包含80个零样本操纵任务，涵盖指令聚合和情境推理两个层次，总共1.1K次试验。这些任务设计用于评估模型在新场景中的指令遵循和推理能力。

真实世界实验

• 零样本任务：在厨房环境中进行的零样本任务，评估模型对新指令和新对象的泛化能力。
• 少样本任务：在Franka Research 3机器人上进行的少样本任务，涉及从架子上抓取物体和清理桌面。

关键结论

• InstructVLA在多模态理解、机器人操纵和真实世界部署中表现出色，特别是在需要情境推理的任务上，显著优于其他基线模型。
• 通过两阶段训练范式和VLA-IT数据集，InstructVLA有效地解决了如何将多模态推理与动作生成相结合的问题，为实现直观且可控的机器人操纵提供了一种新的解决方案。
• InstructVLA的设计和训练策略在多模态理解和动作生成方面都起到了关键作用，为未来的研究提供了新的方向。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Shuai Yang,Hao Li,Yilun Chen,Bin Wang,Yang Tian,Tai Wang,Hanqing Wang,Feng Zhao,Yiyi Liao,Jiangmiao Pang

Categories: cs.RO,cs.CV

PDF URL: https://arxiv.org/pdf/2507.17520.pdf

Arxiv URL: https://arxiv.org/abs/2507.17520

Arxiv ID: 2507.17520

CoolPaper URL: https://papers.cool/arxiv/2507.17520

Published: 2025-07-23T13:57:06Z

Updated: 2025-07-23T13:57:06.000Z

---

9. Dynaword: From One-shot to Continuously Developed Datasets

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.

中文摘要

大规模的数据集是自然语言处理研究和开发的基础。然而，当前的方法面临三个关键挑战：(1) 依赖于模糊许可来源，限制了使用、共享和衍生作品；(2) 静态数据集发布防止了社区贡献，减少了数据集的使用寿命；(3) 质量保证流程仅限于发布团队，而没有利用社区的专业知识。为了解决这些局限性，我们提出了两个贡献：Dynaword 方法和丹麦 Dynaword。Dynaword 方法是一个创建大规模、开放数据集的框架，可以通过社区合作进行持续更新。丹麦 Dynaword 是一个具体实现，验证了该方法并展示了其潜力。丹麦 Dynaword 的标记数是可比发布的四倍以上，采用开放许可，并且获得了来自工业和研究界的多个贡献。该库包括轻量级测试，以确保数据格式、质量和文档，从而建立一个可持续的框架，以便进行持续的社区贡献和数据集演变。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决自然语言处理领域中大规模数据集面临的三个关键挑战：

1. 依赖于许可模糊的数据源：这限制了数据的使用、共享和衍生作品的创作。例如，一些数据集可能包含受版权保护的内容，这可能导致法律问题，甚至使项目无法使用或被迫移除。
2. 静态的数据集发布：这种发布方式阻止了社区的贡献，并减少了数据集的长期可用性。一旦发布，这些数据集通常不会再更新，无法适应领域和技术生态系统的发展。
3. 质量保证过程受限于发布团队：没有充分利用社区的专业知识来进行质量保证，这可能限制了数据集的改进和扩展。

为了解决这些问题，论文提出了Dynaword方法和具体的Danish Dynaword数据集。Dynaword方法是一个框架，用于创建可以通过社区协作持续更新的大型开放数据集。Danish Dynaword是这一方法的具体实现，它验证了这种方法的可行性，并展示了其潜力。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

持续发布的预训练数据

• OSCAR (Abadji et al., 2022)：一个持续迭代发布的数据集，主要基于Common Crawl内容，对提取、清理和收集过程进行了改进。
• HPLT (Aulamo et al., 2023; Arefyev et al., 2024)：同样主要基于Common Crawl，对数据进行了高质量的清理和优化。
• fineweb (Penedo et al., 2024)：也是基于Common Crawl的持续发布数据集，专注于提供高质量的网络文本数据。 这些数据集虽然在提取和清理方面有所改进，但它们通常基于Common Crawl内容，其底层数据的许可仍然模糊不清，引发了一系列伦理和法律问题（Baack et al., 2025）。

开放许可的数据

• YouTube Commons (Langlais, 2024)：一个包含300亿标记的英语（70%）字幕的CC-BY许可的YouTube内容数据集。
• Common Corpus (Langlais et al., 2025)：一个包含5000亿标记的开放许可语料库，包括数字化报纸和OCR化的公共领域书籍。
• Gigaword项目 (Graff and Cieri, 2003; Derczynski et al., 2021; Adewumi et al., 2020)：这些项目提供了10亿标记的数据集，可在许可下使用。 这些数据集虽然在开放许可方面取得了进展，但仍存在一些问题，如OCR质量通常不可靠，缺乏公开的处理流程，使得这些数据集难以复制、验证和改进。

数据集许可和质量控制

• Baack et al. (2025)：定义了数据集开放性的三个层次：可复制性（replicable）、开放获取（open access）和开放许可（openly licensed）。这些定义帮助区分了不同数据集的开放程度。
• Gebru et al. (2021)：提出了数据表（datasheets）的概念，用于记录数据集的描述和许可信息，以提高数据集的透明度和可追溯性。

这些相关研究为Dynaword方法的提出提供了背景和基础，Dynaword方法旨在通过开放许可、可追溯性、可复制性和文档化来解决现有数据集的局限性。

Q: 论文如何解决这个问题？

A: 论文通过提出Dynaword方法和具体的Danish Dynaword数据集来解决上述问题。以下是具体的解决方法：

Dynaword方法

Dynaword方法是一个框架，用于创建可以通过社区协作持续更新的大型开放数据集。该方法基于以下四个关键原则：

1. 可追溯和开放许可（Traceable and open licensing）：
   • 所有数据集必须是开放许可的，并且保持可追溯的许可。这意味着数据集的许可必须明确且可验证，例如，不仅要声明“爱丽丝梦游仙境”是公有领域的，还要记录作者的去世年份（1898年），从而使其处于公有领域。
2. 可复制性（Reproducibility）：
   • 应该能够推导出一个实质上相似的数据集。这意味着数据收集过程应该是可重现的，包括数据来源、收集方法和处理步骤。
3. 文档化（Documented）：
   • 数据集应该按照领域内的最佳实践进行良好文档化。这包括数据集的描述、许可信息、数据来源和处理方法等。
4. 可扩展性（Extensible）：
   • 应该能够扩展和改进语料库，并且有文档说明如何做到这一点。这包括添加新的数据源、改进数据质量等。

Danish Dynaword数据集

Danish Dynaword是Dynaword方法的具体实现，它验证了这些原则的可行性。以下是具体的实施步骤和特点：

1. 数据收集：
   • 排除不合适的来源：Danish Dynaword排除了来自Twitter的社交媒体数据（3200万标记）、OpenSubtitles的受版权保护样本（不到100万标记）和Common Crawl段落（1亿标记），因为这些数据不符合可追溯和开放许可的原则。
   • 数据来源：数据主要来自公共领域，如丹麦法律文件、议会记录、新闻文章、维基百科等。每个数据源都进行了详细的许可审查和质量检查。
   • 质量检查：对数据进行基本的质量检查，包括验证文本是否为丹麦语、是否连贯和可读。对于OCR化的文档，还进行了额外的质量检查。
2. 数据更新和贡献：
   • 社区协作：Danish Dynaword鼓励社区贡献，提供了一个框架，使得个人和组织可以贡献数据。例如，已经有多家公司、政府机构和个人为该数据集做出了贡献。
   • 持续更新：数据集不是一次性的发布，而是可以持续更新。通过版本控制和变更日志，数据集的更新过程是透明的。
3. 文档和测试：
   • 详细文档：每个数据源都有详细的数据表，记录了数据的来源、许可信息和处理方法。
   • 轻量级测试：为了确保数据格式、质量和文档的一致性，Danish Dynaword提供了一套轻量级的测试工具。

实验和评估

为了验证Danish Dynaword的相对质量，论文还进行了一系列的训练实验：

1. 语言模型性能评估：
   • 使用Gemma-1B模型在Danish Dynaword和Danish Gigaword上进行持续预训练和从头开始训练。
   • 在多个数据集上评估模型的困惑度（perplexity），结果显示Danish Dynaword在持续预训练和从头开始训练的情况下，都比Danish Gigaword有显著的性能提升。
2. 下游任务评估：
   • 在EuroEval基准测试的丹麦部分上评估了持续预训练模型的性能，结果显示在7个任务中的9个任务上，使用Danish Dynaword预训练的模型优于使用Danish Gigaword预训练的模型。

通过这些方法，论文不仅提出了一个可持续发展的数据集框架，还通过Danish Dynaword展示了该框架的实际应用和有效性。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来评估 Danish Dynaword 数据集的相对质量和性能：

1. 语言模型预训练实验

实验设置

• 模型选择：使用了 Gemma-1B 模型进行实验。
• 训练方式：
  • 持续预训练（Continual Pre-training）：从预训练的 Gemma-3-1b-pt 检查点开始，分别在 Danish Dynaword 和 Danish Gigaword 上继续预训练。
  • 从头开始训练（Training from Scratch）：从随机初始化开始，在 Danish Dynaword 和 Danish Gigaword 上进行预训练。
• 数据集匹配：为了公平比较，训练了两个版本的 Dynaword 模型，一个与 Danish Gigaword 的大小匹配，另一个使用完整的 Dynaword 数据集。
• 评估数据集：选择了四个来自 Dynaword 的数据集（DDT、JVJ、Synnejysk.dk 和 Nordjyllands News）作为验证集，这些数据集在训练过程中被排除。此外，还测试了两个当代数据源：DR 新闻文章和2025年1月1日之后发布的丹麦维基百科文章。
• 训练参数：
  • 最大序列长度：6144 个标记
  • 有效批量大小：32（通过梯度累积实现）
  • 初始学习率：对于预训练模型为 (10^{-5})，对于从头开始训练的模型为 (10^{-3})
  • 学习率调度器：余弦学习率调度器

实验结果

• 困惑度（Perplexity）：表2展示了在六个验证数据集上的困惑度结果。与 Danish Gigaword 相比，Danish Dynaword 在持续预训练和从头开始训练的情况下都显示出显著的性能提升。
  • 持续预训练：
    • 平均相对改进：5.9%（与 Gemma-3-1b-pt 相比）
    • 在大小匹配的情况下，改进为 2.6%
  • 从头开始训练：
    • 平均相对改进：26%（与 Gemma-3-1b 相比）
    • 在大小匹配的情况下，改进为 18%

2. 下游任务评估

实验设置

• 模型选择：使用了在 Danish Dynaword 和 Danish Gigaword 上持续预训练的 Gemma-3-1b 模型。
• 评估任务：选择了 EuroEval 基准测试的丹麦部分，包括以下任务：
  • 自然语言理解（NLU）任务：
    • 情感分析（Sentiment Analysis）
    • 命名实体识别（NER）
    • 阅读理解（Reading Comprehension）
    • 知识问答（Knowledge）
  • 自然语言生成（NLG）任务：
    • 文本摘要（Summarization）
    • 常识问答（Common Sense）
    • 语言可接受性（Linguistic Acceptability）

实验结果

• 自然语言理解任务：
  • 在7个任务中的9个任务上，使用 Danish Dynaword 预训练的模型优于使用 Danish Gigaword 预训练的模型。具体结果如下表所示：
    • 情感分析（Sentiment Analysis）：38.80 ± 1.84（Dynaword，匹配大小）和 38.80 ± 1.92（Dynaword，完整数据集）
    • 命名实体识别（NER）：17.97 ± 1.79（Dynaword，匹配大小）和 16.30 ± 2.43（Dynaword，完整数据集）
    • 阅读理解（Reading Comprehension）：50.04 ± 3.33（Dynaword，匹配大小）和 49.07 ± 3.43（Dynaword，完整数据集）
    • 知识问答（Knowledge）：35.31 ± 5.41（Dynaword，匹配大小）和 32.19 ± 4.04（Dynaword，完整数据集）
• 自然语言生成任务：
  • 在3个任务中的4个任务上，使用 Danish Dynaword 预训练的模型优于使用 Danish Gigaword 预训练的模型。具体结果如下表所示：
    • 文本摘要（Summarization）：46.40 ± 3.00（Dynaword，匹配大小）和 47.06 ± 2.86（Dynaword，完整数据集）
    • 常识问答（Common Sense）：7.59 ± 0.74（Dynaword，匹配大小）和 7.84 ± 0.69（Dynaword，完整数据集）
    • 语言可接受性（Linguistic Acceptability）：26.84 ± 2.23（Dynaword，匹配大小）和 24.92 ± 2.28（Dynaword，完整数据集）

结论

这些实验结果表明，Danish Dynaword 在语言模型预训练和下游任务评估中都优于 Danish Gigaword。这验证了 Dynaword 方法的有效性，证明了通过社区协作持续更新的数据集可以显著提高模型的性能。

Q: 有什么可以进一步探索的点？

A: 论文中提到的Dynaword方法和Danish Dynaword数据集为自然语言处理领域提供了一个可持续发展的数据集框架，但仍有一些可以进一步探索的点：

1. 数据集规模和多样性

• 规模扩展：尽管Danish Dynaword已经显著增加了可用的开放许可数据量，但与其他非开放许可的数据集（如Common Crawl）相比，其规模仍然较小。可以探索如何进一步扩大数据集的规模，例如通过多语言或跨模态数据的整合。
• 领域多样性：Danish Dynaword目前在某些领域（如法律文件）的数据较多，而在其他领域（如社交媒体）的数据较少。可以探索如何增加数据集在不同领域的覆盖，以提高模型在各种应用场景中的泛化能力。

2. 数据质量提升

• 自动化质量控制：目前的数据质量检查主要依赖于人工审核和基本的自动化检查。可以开发更先进的自动化工具来检测和过滤低质量数据，例如通过自然语言处理技术来评估文本的连贯性和一致性。
• 数据清洗和增强：探索更有效的数据清洗和增强方法，例如通过去重、纠正拼写错误、补充缺失信息等，以进一步提高数据质量。

3. 社区贡献和协作

• 简化贡献流程：目前贡献数据的过程可能对一些潜在的贡献者来说较为复杂。可以开发更友好的用户界面和工具，简化数据贡献和审核流程，以鼓励更多社区成员参与。
• 激励机制：研究如何通过激励机制（如奖励、认可等）来鼓励更多的社区贡献，特别是在数据标注和质量控制方面。

4. 模型评估和优化

• 更全面的评估指标：除了困惑度和下游任务的性能评估，可以探索更多评估指标，如模型的可解释性、公平性和安全性，以更全面地评估模型的性能。
• 模型优化：研究如何针对特定领域或任务优化模型，例如通过领域适应、迁移学习等技术，以提高模型在特定应用场景中的性能。

5. 法律和伦理问题

• 持续的法律审查：尽管Danish Dynaword在数据许可方面做出了努力，但随着法律环境的变化，需要持续进行法律审查，以确保数据集的合法性和合规性。
• 伦理考量：进一步探讨数据集开发中的伦理问题，如数据的隐私保护、数据的代表性等，以确保数据集的开发和使用符合伦理标准。

6. 多语言和跨文化扩展

• 其他语言的Dynaword：Danish Dynaword为丹麦语提供了一个成功的案例，可以探索如何将这种方法扩展到其他语言，特别是资源较少的语言，以促进全球自然语言处理的发展。
• 跨文化适应：研究如何使数据集适应不同文化背景，以提高模型在跨文化场景中的适用性。

7. 技术基础设施

• 数据存储和管理：随着数据集规模的扩大，需要更高效的数据存储和管理技术，以确保数据的可访问性和可维护性。
• 计算资源：预训练大型语言模型需要大量的计算资源，可以探索如何优化计算资源的使用，例如通过分布式计算、云计算等技术。

这些进一步探索的点不仅可以帮助改进Dynaword方法和Danish Dynaword数据集，还可以为自然语言处理领域的可持续发展提供更广泛的视角和解决方案。

Q: 总结一下论文的主要内容

A: 本文提出了Dynaword方法，旨在创建可以通过社区协作持续更新的大型开放数据集，并以Danish Dynaword数据集作为具体实现。Dynaword方法基于四个关键原则：可追溯和开放许可、可复制性、文档化和可扩展性。Danish Dynaword数据集通过排除不合适的来源、进行详细的数据审查和质量检查，以及鼓励社区贡献，验证了Dynaword方法的可行性。实验结果表明，Danish Dynaword在语言模型预训练和下游任务评估中都优于现有的Danish Gigaword数据集，证明了其在提高模型性能方面的有效性。论文还讨论了进一步扩展和改进数据集的潜在方向，包括增加数据集的规模和多样性、提升数据质量、简化社区贡献流程、优化模型评估和训练，以及解决法律和伦理问题等。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Kenneth Enevoldsen,Kristian Nørgaard Jensen,Jan Kostkan,Balázs Szabó,Márton Kardos,Kirten Vad,Johan Heinsen,Andrea Blasi Núñez,Gianluca Barmina,Jacob Nielsen,Rasmus Larsen,Peter Vahlstrup,Per Møldrup Dalum,Desmond Elliott,Lukas Galke,Peter Schneider-Kamp,Kristoffer Nielbo

Categories: cs.CL,cs.AI

PDF URL: https://arxiv.org/pdf/2508.02271.pdf

Arxiv URL: https://arxiv.org/abs/2508.02271

Arxiv ID: 2508.02271

CoolPaper URL: https://papers.cool/arxiv/2508.02271

Published: 2025-08-04T10:30:42Z

Updated: 2025-08-04T10:30:42.000Z

---

10. A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models

Visual token compression is critical for Large Vision-Language Models (LVLMs) to efficiently process high-resolution inputs. Existing methods that typically adopt fixed compression ratios cannot adapt to scenes of varying complexity, often causing imprecise pruning that discards informative visual tokens and results in degraded model performance. To address this issue, we introduce a dynamic pruning framework, GlimpsePrune, inspired by human cognition. It takes a data-driven ‘’glimpse’’ and prunes irrelevant visual tokens in a single forward pass before answer generation. This approach prunes 92.6% of visual tokens while on average fully retaining the baseline performance on free-form VQA tasks. The reduced computational cost also enables more effective fine-tuning: an enhanced GlimpsePrune+ achieves 110% of the baseline performance while maintaining a similarly high pruning rate. Our work paves a new way for building more powerful and efficient LVLMs.

中文摘要

视觉令牌压缩对大型视觉语言模型（LVLMs）在高分辨率输入下高效处理至关重要。现有方法通常采用固定压缩比，无法适应复杂性差异的场景，常导致不精确的剪枝，丢弃有用的视觉令牌，从而导致模型性能下降。为了解决这个问题，我们引入了一种动态剪枝框架GlancePrune，灵感来源于人类认知。它采用数据驱动的“瞥见”，在生成答案之前，在单次前向传递中剪除不相关的视觉令牌。这种方法剪除了92.6%的视觉令牌，同时在自由形式的VQA任务上平均完全保留基线性能。降低的计算成本还使得更有效的微调成为可能：增强版的GlimpsePrune+在保持类似的高剪枝率的同时，达到了基线性能的110%。我们的工作为构建更强大且高效的LVLMs开辟了新道路。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决大型视觉语言模型（LVLMs）在处理高分辨率输入时面临的视觉令牌（visual tokens）压缩问题。具体来说，现有的方法通常采用固定的压缩比例，无法适应不同复杂度的场景，这往往会导致不精确的剪枝，从而丢弃了包含重要信息的视觉令牌，并最终导致模型性能下降。为了解决这一问题，论文提出了一种动态剪枝框架，名为GlimpsePrune，其灵感来源于人类的认知过程，能够在单次前向传播中剪枝掉不相关的视觉令牌，同时在生成答案之前保留关键信息。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

大型视觉语言模型（LVLMs）

• BLIP-2 [8]：结合了视觉编码器、投影器和大型语言模型（LLM），以实现视觉理解。
• LLaVA [9]：同样结合了视觉编码器和LLM，支持动态、高分辨率输入。
• InternVL [10, 11, 12, 13, 14]：一系列支持动态、高分辨率输入的LVLMs。
• Qwen-VL [15, 16, 17]：支持动态、高分辨率输入的LVLMs。

视觉令牌压缩

• 固定压缩比的方法：
  • Efficient Large Multi-Modal Models via Visual Context Compression [1]：通过固定压缩比来减少视觉令牌数量。
  • LLama-VID [2]：通过固定压缩比来减少视觉令牌数量。
• 基于重要性的方法：
  • An Image is Worth 1/2 Tokens After Layer 2 [3]：通过计算从全局查询表示到所有视觉令牌的交叉注意力来评估视觉令牌的重要性。
  • VisionZip [4]：通过计算从指令令牌到所有视觉令牌的交叉注意力来评估视觉令牌的重要性。
  • VScan [5]：通过计算从指令令牌到所有视觉令牌的交叉注意力来评估视觉令牌的重要性。
• 基于相似性的方法：
  • DivPrune [23]：通过计算视觉特征之间的相似性来剪枝和合并视觉令牌。
  • Beyond Attention or Similarity [20]：通过计算视觉特征之间的相似性来剪枝和合并视觉令牌。
  • TopV [24]：通过计算视觉特征之间的相似性来剪枝和合并视觉令牌。
  • LLaVAscissor [25]：通过计算视觉特征之间的相似性来剪枝和合并视觉令牌。

动态令牌压缩

• Chat-UniVI [28]：通过动态视觉表示来提高LVLMs的效率。
• Dynamic-LLaVA [29]：通过动态视觉语言上下文稀疏化来提高LVLMs的效率。
• DyCoke [30]：通过动态压缩令牌来提高视频LLMs的效率。
• Dynamic Token Reduction During Generation [31]：在生成过程中动态减少令牌数量。

这些相关研究为GlimpsePrune的提出提供了背景和基础，GlimpsePrune通过引入数据驱动的动态剪枝策略，解决了现有方法在处理高分辨率输入时的不足。

Q: 论文如何解决这个问题？

A: 论文通过提出一个名为 GlimpsePrune 的动态视觉令牌剪枝框架来解决这个问题。GlimpsePrune 的核心思想是模拟人类认知过程，在生成答案之前先“瞥一眼”（glimpse）相关的视觉区域，从而动态地剪枝掉不相关的视觉令牌。以下是 GlimpsePrune 的主要步骤和机制：

1. 动态剪枝框架概述

• 预填充阶段（Prefilling Stage）：在 LLM 解码器的前 K 层中，通过一个可学习的“glimpse token”来提取视觉令牌的重要性分数。这些分数用于评估每个视觉令牌与用户指令的相关性。
• 剪枝操作（Pruning Operation）：基于提取的重要性分数，一次性剪枝掉不重要的视觉令牌及其对应的键值（KV）缓存条目。这一操作减少了后续预填充阶段和整个解码阶段的计算和内存负担。
• 解码阶段（Decoding Stage）：在剪枝后的稀疏视觉上下文中生成答案，节省了内存和 I/O 带宽。

2. 层次化视觉特征和“瞥一眼”注意力提取

• 层次化视觉特征：从视觉编码器的中间层提取多尺度视觉特征，这些特征为后续的视觉令牌重要性预测提供了丰富的先验信息。
• 可学习的“瞥一眼”令牌：在输入序列的末尾插入一个可学习的“瞥一眼”令牌，该令牌通过 LLM 解码器的因果注意力机制与所有视觉和文本令牌充分交互，从而捕获与用户指令相关的视觉令牌的重要性信息。
• 提取“瞥一眼”注意力：在解码器的第 K 层，提取“瞥一眼”令牌与所有视觉令牌之间的交叉注意力分数，这些分数用于评估每个视觉令牌的重要性。

3. 视觉重要性预测和一次性剪枝

• 视觉重要性预测器（VIP）：将提取的“瞥一眼”注意力分数和多尺度视觉特征输入到一个轻量级的预测器中，该预测器由多个自注意力块组成，每个块都配备了二维旋转位置嵌入（2D RoPE）。VIP 的输出是一个重要性图，该图动态地、精确地识别与用户指令相关的视觉令牌。
• 一次性剪枝：基于重要性图，一次性剪枝掉不重要的视觉令牌及其对应的 KV 缓存条目。这一操作减少了后续计算的序列长度，从而提高了效率。

4. 数据驱动的重要性度量学习

• 训练“瞥一眼”令牌和 VIP：使用少量的 Grounded Question Answering (GQA) 数据来训练“瞥一眼”令牌和 VIP。训练目标包括语言建模损失和定位损失，其中定位损失是 DiceLoss 和二元交叉熵（BCE）损失的加权和。这种训练方法使得 GlimpsePrune 能够学习到数据驱动的剪枝度量，从而动态调整剪枝比例。
• 强化学习微调（RL Fine-tuning）：在 GlimpsePrune 的基础上，进一步通过强化学习（RL）微调 LLM 解码器，以进一步提高模型性能。微调过程中，使用 Group-wise Ranking Policy Optimization (GRPO) 框架来优化模型的生成能力。

5. 实验验证

• 实验设置：在多个基准数据集上评估 GlimpsePrune 的性能，包括自由形式的视觉问答（VQA）任务和简短形式的 VQA 任务。
• 主要结果：GlimpsePrune 在自由形式的 VQA 任务中，平均视觉令牌剪枝率达到 92.6%，同时完全保留了基线模型的性能。在强化学习微调后，GlimpsePrune+ 的性能进一步提升至基线模型的 110%，同时保持了较高的剪枝率。
• 消融研究：通过消融研究验证了“瞥一眼”令牌、视觉条件和剪枝层选择的重要性。
• 效率分析：GlimpsePrune 显著提高了推理效率，减少了预填充阶段的计算量和解码阶段的内存使用量。在强化学习微调过程中，GlimpsePrune 也显著降低了训练成本。

通过上述方法，GlimpsePrune 有效地解决了现有方法在处理高分辨率输入时的不足，提供了一种动态、高效且数据驱动的视觉令牌剪枝策略。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来验证 GlimpsePrune 的性能和效率：

1. 实验设置

1.1 模型架构

• 主要实验：使用 Qwen2.5-VL-7B 模型，支持动态高分辨率输入（4 到 16,384 个视觉令牌）。
• 泛化性验证：在 LLaVA-1.5-7B 模型上进行实验，该模型设计用于固定分辨率输入（576 个视觉令牌）。

1.2 训练设置

• GlimpsePrune 训练：使用 20,000 个随机采样的 GQA 数据集样本进行训练，仅训练一个 epoch，大约需要 0.5 小时在单个 NVIDIA A100 GPU 上完成。
• 强化学习微调：使用 240,000 个样本从 VisCoT 数据集中随机选择，用于 GlimpsePrune+ 的训练。

1.3 评估设置

• 自由形式 VQA 任务：使用 VisCoT 基准测试，包含 12 个不同领域的 VQA 数据集。
• 简短形式 VQA 任务：选择 10 个广泛使用的 VQA 基准测试，使用 LMMs-Eval 框架进行评估。

2. 主要结果

2.1 自由形式 VQA 任务

• 不同保留率约束：在 11.1%、22.2% 和 33.3% 的平均保留率约束下，GlimpsePrune 的性能如下表所示：
  • 在 11.1% 的保留率下，GlimpsePrune 的平均准确率为 0.761，完全保留了基线模型的性能。
  • 在 22.2% 的保留率下，GlimpsePrune 的平均准确率为 0.764。
  • 在 33.3% 的保留率下，GlimpsePrune 的平均准确率为 0.765。
• 无约束情况：在无保留率约束的情况下，GlimpsePrune 的平均准确率为 0.764，平均保留率为 17.9%。
• GlimpsePrune+：通过强化学习微调后，GlimpsePrune+ 的平均准确率提升至 0.838，平均保留率为 20.1%。

2.2 简短形式 VQA 任务

• 11.1% 的保留率：GlimpsePrune 的平均准确率为 70.0%，为基线模型性能的 99.6%。

2.3 其他架构

• LLaVA-1.5-7B：在 11.1% 的保留率下，GlimpsePrune 的平均准确率为 0.490，为基线模型性能的 97.6%。

3. 消融研究

• “瞥一眼”令牌的重要性：
  • 仅使用第 K 层生成的第一个令牌的注意力权重作为剪枝度量，平均准确率为 0.546。
  • 添加“瞥一眼”令牌后，平均准确率提升至 0.684。
  • 添加语言和定位损失后，平均准确率进一步提升至 0.702。
• 视觉条件的重要性：
  • 仅使用 4 层自注意力 VIP，平均准确率为 0.716。
  • 添加视觉条件后，平均准确率提升至 0.736。
• 剪枝层的选择：
  • 在不同的剪枝层 K 下，性能和效率的权衡如下表所示：
    • K = 18：平均准确率 0.690，预填充 FLOPs 17.4T。
    • K = 24：平均准确率 0.736，预填充 FLOPs 23.1T。
    • K = 30：平均准确率 0.739，预填充 FLOPs 28.5T。
    • K = 36：平均准确率 0.556，预填充 FLOPs 34.1T。

4. 效率分析

• 高效推理：
  • 在 Qwen2.5-VL-7B 模型上，GlimpsePrune 将预填充阶段的计算量减少到基线的 69.1%。
  • 在解码阶段，GlimpsePrune 将 KV 缓存的长度从 5,073.9 个令牌减少到 202.5 个令牌，显著降低了内存使用量。
  • 峰值内存使用量从 33.5GB 降低到 24.4GB。
• 高效的强化学习微调：
  • GlimpsePrune 使得在 6000 个令牌长度下进行训练成为可能，而基线方法在 3000 个令牌长度时就会出现内存不足错误。
  • 平均迭代时间减少到 81%，GPU 内存使用量减少到 70%，性能几乎不受影响（0.835 vs. 0.841）。

5. 案例研究

• 成功案例：
  • 案例 1：GlimpsePrune 通过保留与问题相关的视觉令牌，更准确地回答了问题。
  • 案例 2：GlimpsePrune 通过保留正确的视觉令牌，准确地回答了与图表相关的问题。
• 失败案例：
  • 案例 1：保留的视觉令牌不足以正确回答问题。
  • 案例 2：保留的视觉令牌足够，但模型仍然回答错误。

这些实验结果表明，GlimpsePrune 在动态视觉令牌剪枝方面具有显著的性能和效率优势，能够有效地提高 LVLMs 的效率和性能。

Q: 有什么可以进一步探索的点？

A: 论文中提出的 GlimpsePrune 方法在动态视觉令牌剪枝方面取得了显著的成果，但仍有一些可以进一步探索的方向：

1. 跨模态交互的进一步优化

• 多模态融合：虽然 GlimpsePrune 已经在视觉和文本模态之间实现了有效的交互，但可以进一步探索如何更好地融合其他模态（如音频、视频等），以提高模型在多模态任务中的性能。
• 动态交互机制：研究如何在不同模态之间动态调整交互强度，以适应不同任务的需求。例如，在某些任务中，视觉信息可能比文本信息更重要，而在其他任务中则相反。

2. 剪枝策略的改进

• 自适应剪枝比例：目前 GlimpsePrune 通过数据驱动的方式动态调整剪枝比例，但可以进一步研究如何根据任务的复杂度和模型的当前状态自适应地调整剪枝比例。
• 多阶段剪枝：探索在不同阶段（如预填充阶段和解码阶段）分别进行剪枝的策略，以进一步提高效率和性能。

3. 模型压缩和优化

• 参数共享：研究如何在 GlimpsePrune 的框架下实现参数共享，以减少模型的参数量和内存占用。
• 量化和稀疏化：结合量化和稀疏化技术，进一步优化模型的推理效率和内存使用。

4. 强化学习微调的改进

• 奖励函数设计：目前 GlimpsePrune 使用的奖励函数是基于预定义的指标，可以进一步研究如何设计更复杂的奖励函数，以更好地反映模型的生成质量和任务需求。
• 多目标优化：在强化学习微调过程中，探索如何同时优化多个目标（如准确率、效率、多样性等），以实现更好的综合性能。

5. 跨领域和跨语言的泛化能力

• 跨领域泛化：研究 GlimpsePrune 在不同领域的泛化能力，特别是在那些与训练数据分布差异较大的领域中的表现。
• 跨语言泛化：探索 GlimpsePrune 在多语言环境中的应用，研究如何处理不同语言的视觉问答任务。

6. 可解释性和透明度

• 可视化和解释：开发更有效的可视化工具，以帮助研究人员和实践者更好地理解 GlimpsePrune 的剪枝机制和模型的决策过程。
• 可解释性评估：研究如何评估和提高 GlimpsePrune 的可解释性，使其在实际应用中更具可信度。

7. 实时性和交互性

• 实时应用：研究如何将 GlimpsePrune 应用于实时系统，如自动驾驶、智能监控等，以满足实时性要求。
• 交互式学习：探索在交互式环境中使用 GlimpsePrune，例如通过用户反馈来动态调整剪枝策略和模型行为。

8. 与其他技术的结合

• 与生成式对抗网络（GANs）结合：研究如何将 GlimpsePrune 与 GANs 结合，以提高生成任务的质量和效率。
• 与知识图谱结合：探索如何将 GlimpsePrune 与知识图谱结合，以增强模型的知识表示和推理能力。

这些方向不仅可以进一步提升 GlimpsePrune 的性能和效率，还可以拓展其在不同应用场景中的适用性和灵活性。

Q: 总结一下论文的主要内容

A: 本文介绍了一种名为 GlimpsePrune 的动态视觉令牌剪枝框架，旨在提高大型视觉语言模型（LVLMs）处理高分辨率输入的效率。GlimpsePrune 通过模拟人类认知过程，在生成答案之前先“瞥一眼”相关的视觉区域，从而动态地剪枝掉不相关的视觉令牌。以下是论文的主要内容总结：

研究背景

• LVLMs 的发展：随着大型语言模型（LLMs）的发展，LVLMs 逐渐成为研究热点。这些模型将视觉输入编码为令牌，然后与文本指令结合，由 LLM 处理。然而，高分辨率输入会产生大量视觉令牌，导致计算和内存负担沉重。
• 现有方法的局限性：现有的视觉令牌压缩方法通常采用固定的压缩比例，无法适应不同复杂度的场景，导致不精确的剪枝和模型性能下降。

研究方法

• GlimpsePrune 框架：

  • 预填充阶段：在 LLM 解码器的前 K 层中，通过一个可学习的“glimpse token”提取视觉令牌的重要性分数。
  • 剪枝操作：基于提取的重要性分数，一次性剪枝掉不重要的视觉令牌及其对应的键值（KV）缓存条目，减少后续计算和内存负担。
  • 解码阶段：在剪枝后的稀疏视觉上下文中生成答案，节省内存和 I/O 带宽。

• 层次化视觉特征和“瞥一眼”注意力提取：

  • 层次化视觉特征：从视觉编码器的中间层提取多尺度视觉特征，为后续的视觉令牌重要性预测提供丰富的先验信息。
  • “瞥一眼”令牌：在输入序列的末尾插入一个可学习的“瞥一眼”令牌，通过 LLM 解码器的因果注意力机制与所有视觉和文本令牌充分交互，捕获与用户指令相关的视觉令牌的重要性信息。
  • 提取“瞥一眼”注意力：在解码器的第 K 层，提取“瞥一眼”令牌与所有视觉令牌之间的交叉注意力分数，用于评估每个视觉令牌的重要性。

• 视觉重要性预测和一次性剪枝：

  • 视觉重要性预测器（VIP）：将提取的“瞥一眼”注意力分数和多尺度视觉特征输入到一个轻量级的预测器中，该预测器由多个自注意力块组成，每个块都配备了二维旋转位置嵌入（2D RoPE）。VIP 的输出是一个重要性图，动态地、精确地识别与用户指令相关的视觉令牌。
  • 一次性剪枝：基于重要性图，一次性剪枝掉不重要的视觉令牌及其对应的 KV 缓存条目，减少后续计算的序列长度，提高效率。

• 数据驱动的重要性度量学习：

  • 训练“瞥一眼”令牌和 VIP：使用少量的 Grounded Question Answering (GQA) 数据训练“瞥一眼”令牌和 VIP，训练目标包括语言建模损失和定位损失，其中定位损失是 DiceLoss 和二元交叉熵（BCE）损失的加权和。
  • 强化学习微调：在 GlimpsePrune 的基础上，通过强化学习（RL）微调 LLM 解码器，使用 Group-wise Ranking Policy Optimization (GRPO) 框架优化模型的生成能力。

实验

• 实验设置：

  • 模型架构：主要实验使用 Qwen2.5-VL-7B 模型，支持动态高分辨率输入。同时在 LLaVA-1.5-7B 模型上验证泛化性。
  • 训练设置：使用 20,000 个 GQA 数据集样本训练 GlimpsePrune，仅训练一个 epoch。强化学习微调使用 240,000 个 VisCoT 数据集样本。
  • 评估设置：自由形式 VQA 任务使用 VisCoT 基准测试，包含 12 个不同领域的 VQA 数据集。简短形式 VQA 任务选择 10 个广泛使用的 VQA 基准测试。

• 主要结果：

  • 自由形式 VQA 任务：
    • 在 11.1% 的保留率下，GlimpsePrune 的平均准确率为 0.761，完全保留了基线模型的性能。
    • 在 22.2% 的保留率下，GlimpsePrune 的平均准确率为 0.764。
    • 在 33.3% 的保留率下，GlimpsePrune 的平均准确率为 0.765。
    • 无保留率约束时，GlimpsePrune 的平均准确率为 0.764，平均保留率为 17.9%。
    • GlimpsePrune+ 通过强化学习微调后，平均准确率提升至 0.838，平均保留率为 20.1%。
  • 简短形式 VQA 任务：在 11.1% 的保留率下，GlimpsePrune 的平均准确率为 70.0%，为基线模型性能的 99.6%。
  • 其他架构：在 LLaVA-1.5-7B 模型上，11.1% 的保留率下，GlimpsePrune 的平均准确率为 0.490，为基线模型性能的 97.6%。

• 消融研究：

  • “瞥一眼”令牌的重要性：仅使用第 K 层生成的第一个令牌的注意力权重作为剪枝度量，平均准确率为 0.546。添加“瞥一眼”令牌后，平均准确率提升至 0.684。添加语言和定位损失后，平均准确率进一步提升至 0.702。
  • 视觉条件的重要性：仅使用 4 层自注意力 VIP，平均准确率为 0.716。添加视觉条件后，平均准确率提升至 0.736。
  • 剪枝层的选择：在不同的剪枝层 K 下，性能和效率的权衡如下表所示：
    • K = 18：平均准确率 0.690，预填充 FLOPs 17.4T。
    • K = 24：平均准确率 0.736，预填充 FLOPs 23.1T。
    • K = 30：平均准确率 0.739，预填充 FLOPs 28.5T。
    • K = 36：平均准确率 0.556，预填充 FLOPs 34.1T。

• 效率分析：

  • 高效推理：在 Qwen2.5-VL-7B 模型上，GlimpsePrune 将预填充阶段的计算量减少到基线的 69.1%。在解码阶段，GlimpsePrune 将 KV 缓存的长度从 5,073.9 个令牌减少到 202.5 个令牌，显著降低了内存使用量。峰值内存使用量从 33.5GB 降低到 24.4GB。
  • 高效的强化学习微调：GlimpsePrune 使得在 6000 个令牌长度下进行训练成为可能，而基线方法在 3000 个令牌长度时就会出现内存不足错误。平均迭代时间减少到 81%，GPU 内存使用量减少到 70%，性能几乎不受影响（0.835 vs. 0.841）。

结论

GlimpsePrune 通过动态视觉令牌剪枝显著提高了 LVLMs 的效率和性能。通过数据驱动的剪枝度量和强化学习微调，GlimpsePrune 在保持高效的同时，进一步提升了模型的性能。未来的研究可以进一步探索跨模态交互、剪枝策略的改进、模型压缩和优化、强化学习微调的改进、跨领域和跨语言的泛化能力、可解释性和透明度、实时性和交互性，以及与其他技术的结合。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Quan-Sheng Zeng,Yunheng Li,Qilong Wang,Peng-Tao Jiang,Zuxuan Wu,Ming-Ming Cheng,Qibin Hou

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2508.01548.pdf

Arxiv URL: https://arxiv.org/abs/2508.01548

Arxiv ID: 2508.01548

CoolPaper URL: https://papers.cool/arxiv/2508.01548

Published: 2025-08-03T02:15:43Z

Updated: 2025-08-03T02:15:43.000Z

---

11. Voxlect: A Speech Foundation Model Benchmark for Modeling Dialects and Regional Languages Around the Globe

We present Voxlect, a novel benchmark for modeling dialects and regional languages worldwide using speech foundation models. Specifically, we report comprehensive benchmark evaluations on dialects and regional language varieties in English, Arabic, Mandarin and Cantonese, Tibetan, Indic languages, Thai, Spanish, French, German, Brazilian Portuguese, and Italian. Our study used over 2 million training utterances from 30 publicly available speech corpora that are provided with dialectal information. We evaluate the performance of several widely used speech foundation models in classifying speech dialects. We assess the robustness of the dialectal models under noisy conditions and present an error analysis that highlights modeling results aligned with geographic continuity. In addition to benchmarking dialect classification, we demonstrate several downstream applications enabled by Voxlect. Specifically, we show that Voxlect can be applied to augment existing speech recognition datasets with dialect information, enabling a more detailed analysis of ASR performance across dialectal variations. Voxlect is also used as a tool to evaluate the performance of speech generation systems. Voxlect is publicly available with the license of the RAIL family at: https://github.com/tiantiaf0627/voxlect.

中文摘要

我们提出了Voxlect，这是一个新颖的基准，用于利用语音基础模型对全球方言和区域语言进行建模。具体来说，我们报告了对英语、阿拉伯语、普通话和粤语、西藏语、印度语言、泰语、西班牙语、法语、德语、巴西葡萄牙语和意大利语等语言的方言和区域语言变体的综合基准评估。我们的研究使用了来自30个公开语音语料库的超过200万条训练语音，这些语料库提供了方言信息。我们评估了几种广泛使用的语音基础模型在分类语音方言方面的表现。我们评估了方言模型在嘈杂条件下的稳健性，并呈现了一项错误分析，突出显示了与地理连续性相一致的建模结果。除了方言分类基准评估外，我们还展示了Voxlect支持的几种下游应用。具体而言，我们展示了Voxlect可以用于增强现有语音识别数据集的方言信息，从而能够对不同方言变体的自动语音识别（ASR）性能进行更详细的分析。Voxlect还被用作评估语音生成系统性能的工具。Voxlect在RAIL家族的许可下公开可用，网址为：https://github.com/tiantiaf0627/voxlect。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文提出了一个名为 Voxlect 的基准测试，旨在使用语音基础模型（speech foundation models）对全球范围内的方言和地方语言进行建模和分类。具体而言，它试图解决以下几个问题：

1. 方言和地方语言的分类：方言和地方语言在发音、语法和词汇上与标准语言存在差异，这对自动语音识别（ASR）系统等语音技术提出了挑战。论文通过构建一个涵盖多种语言（包括英语、阿拉伯语、普通话、粤语、藏语、印度次大陆语言、泰语、西班牙语、法语、德语、巴西葡萄牙语和意大利语）的方言和地方语言分类基准，来评估语音基础模型在方言分类任务上的性能。

2. 现有研究的局限性：以往的研究大多集中在英语方言的建模上，而对于非英语方言的研究相对较少。此外，现有研究在方言标签的使用上存在不一致性，这限制了跨语料库的分析。Voxlect 通过整合多个数据集，并将方言标签映射到统一的分类体系中，解决了这些问题。

3. 方言分类的实际应用：论文展示了 Voxlect 在两个下游应用中的潜力：增强现有的语音识别数据集以包含方言信息，从而更详细地分析 ASR 在不同方言变体上的表现；以及作为评估语音生成系统性能的工具。

4. 模型的鲁棒性：论文还评估了方言模型在噪声条件下的鲁棒性，并通过错误分析揭示了与地理连续性一致的建模结果。

总的来说，Voxlect 基准旨在推动语音技术的发展，使其能够更好地适应多样化的语言环境，并为方言和地方语言的建模提供一个全面的评估框架。

Q: 有哪些相关研究？

A: 论文中提到了多个与方言和地方语言建模相关的研究，这些研究主要集中在英语方言的建模以及少数非英语语言的方言建模。以下是相关研究的分类和总结：

英语方言建模

• CommonAccent [9]：使用 CommonVoice-en 数据集进行英语口音分类，报告了使用 wav2vec-xlsr 模型在识别美国、加拿大和英国英语等口音上的强性能。
• GLOBE [10]：利用 HuBERT 预训练模型在 CommonVoice-en 上开发分类器，预测类似的方言标签。
• ParaSpeechCaps [11]：使用语言模型处理维基百科页面，为每位名人说话者增加国家级别的方言信息。
• Vox-Profile [12]：通过统一来自十多个数据集的英语方言标签，提供高性能的英语方言分类模型，使用 Whisper Families [7] 和 WavLM [15] 实现了稳健的英语方言识别。
• Edinburgh International Accents of English Corpus (EdAcc) [4]：包含具有多种第一语言（L1）背景的参与者说的英语语音，例如 L1-印度语言。
• British Isles Speaker Corpus [5]：提供来自英国群岛（如苏格兰、威尔士、北爱尔兰和爱尔兰）的英语话语的高质量音频记录。

非英语方言建模

• AIShell-3 [13]：提供超过 80 小时的多说话者普通话语音，标注有地区口音。
• KeSpeech [3]：介绍了涵盖八种主要普通话次方言的大规模数据集，包含来自 27,237 名说话者的语音记录，总时长为 1,542 小时。
• ADI [14]：对阿拉伯语方言分类进行了实验，探索了模型在五个主要方言组和更细致的 17 个具体方言标签上的性能。

多语言方言建模

• CommonVoice [8]：一个大规模的多语言语音数据集，包含自我报告的说话者方言标签。
• CommonAccent [9]：除了英语外，还报告了在德语、西班牙语和意大利语上的说话者方言分类实验。

这些相关研究为 Voxlect 基准的开发提供了基础和参考，Voxlect 在这些工作的基础上，扩展了方言和地方语言的覆盖范围，并提出了一个更全面的多语言方言分类基准。

Q: 论文如何解决这个问题？

A: 论文通过构建一个名为 Voxlect 的基准测试来解决方言和地方语言分类的问题，具体方法如下：

1. 数据集整合与标准化

• 多语言覆盖：Voxlect 整合了来自 30 个公开数据集的超过 200 万条训练话语，涵盖了 11 种语言组，包括英语、阿拉伯语、普通话和粤语、藏语、印度次大陆语言、泰语、西班牙语、法语、德语、巴西葡萄牙语和意大利语。
• 方言标签标准化：为了解决不同数据集中方言标签不一致的问题，Voxlect 将方言标签映射到统一的分类体系中。例如，对于英语，论文采用了之前 Vox-Profile 基准中提出的方言分类体系，将英语方言分为北美、英国群岛等主要区域，并进一步细分。

2. 语音基础模型评估

• 模型选择：论文评估了几种广泛使用的语音基础模型，包括 Massively Multilingual Speech (MMS) [6]、WavLM [36] 和 Whisper [7] 家族。这些模型在大规模跨语言数据集上进行了预训练，具有良好的泛化能力。
• 模型架构：论文提出了一个基于语音基础模型的方言分类架构（见图 2）。具体来说，首先计算所有编码器层（包括卷积层和 Transformer 层）的隐藏状态的加权平均值，然后通过一维逐点卷积层处理聚合输出，最后通过全连接层进行分类。为了进一步提高分类性能，论文在所有微调实验中集成了 LoRa [38]。

3. 实验设计

• 数据预处理：所有用于方言分类实验的数据集都被重新采样到 16 kHz，以匹配语音基础模型的采样率。排除了短于 3 秒的音频剪辑，并将所有样本截断到最大持续时间 15 秒。
• 数据增强：在训练过程中，对输入波形应用了多种数据增强技术，包括高斯噪声添加、时间掩蔽、时间拉伸和极性反转，以提高模型的鲁棒性。
• 训练细节：使用固定随机种子进行训练，以确保可重复性。学习率范围为 [0.0001, 0.0005]，训练周期为 15 个 epoch。对于泰语和阿拉伯语方言分类，由于收敛速度更快，训练了 5 个 epoch。

4. 性能评估与分析

• 方言分类结果：论文比较了不同语音基础模型在 11 种语言组上的方言分类性能（见表 3）。结果显示，多语言预训练模型（如 Whisper-Large 和 MMS-LID-256）在大多数实验中表现最佳，而仅用英语数据预训练的模型（如 WavLM+）在跨语言方言预测上表现较差。
• 地理邻近性与分类错误：论文通过混淆矩阵和地理可视化分析了方言分类错误模式（见图 3）。结果表明，地理上邻近的方言更容易被混淆，这与语言的地理分布和历史演变一致。
• 鲁棒性测试：论文还评估了方言分类模型在不同噪声水平和话语长度下的鲁棒性。结果显示，Whisper-Large 和 MMS-LID-256 在中等噪声水平下表现出相似的鲁棒性，但在高噪声水平下，MMS-LID-256 的性能下降更为显著。

5. 下游应用

• 语音识别性能分析：论文展示了如何利用 Voxlect 预测的方言标签来分析 ASR 模型的性能（见图 5）。结果表明，使用预测标签的 ASR 性能趋势与使用真实标签的趋势一致，证明了 Voxlect 在识别 ASR 模型局限性方面的可靠性。
• 语音生成系统评估：论文通过生成特定方言的语音样本，并比较人类评估和 Voxlect 评估的结果，展示了 Voxlect 在评估语音生成系统性能方面的应用（见表 5）。结果表明，人类评估和 Voxlect 评估的结果高度一致。

通过上述方法，Voxlect 基准不仅提供了一个全面的方言和地方语言分类工具，还展示了其在实际语音技术应用中的潜力。

Q: 论文做了哪些实验？

A: 论文中进行了以下几类实验：

方言分类性能实验

• 数据集划分与预处理：从 30 个公开数据源中采样，得到超过 200 万条语音样本，涵盖 11 种语言组。所有数据集的音频被重新采样到 16kHz，排除短于 3 秒的音频剪辑，并将所有样本截断到最大持续时间 15 秒。
• 模型训练与评估：使用多种语音基础模型（如 WavLM+、MMS-300M、MMS-LID-256、Whisper Tiny、Whisper Small 和 Whisper Large）进行方言分类任务的训练和评估。在训练过程中，对输入波形应用了高斯噪声添加、时间掩蔽、时间拉伸和极性反转等数据增强技术。使用固定随机种子进行训练，以确保可重复性。学习率范围为 [0.0001, 0.0005]，训练周期为 15 个 epoch。对于泰语和阿拉伯语方言分类，训练了 5 个 epoch。
• 性能比较：比较不同语音基础模型在 11 种语言组上的方言分类性能，使用准确率（Accuracy）和宏 F1 分数（Macro-F1）作为评估指标。结果显示，多语言预训练模型（如 Whisper-Large 和 MMS-LID-256）在大多数实验中表现最佳，而仅用英语数据预训练的模型（如 WavLM+）在跨语言方言预测上表现较差。

地理邻近性与分类错误分析实验

• 混淆矩阵分析：以 Whisper-Large 分类结果为基础，绘制了西班牙语和普通话方言分类的混淆矩阵，并进行了地理可视化。结果表明，地理上邻近的方言更容易被混淆，例如普通话中中原官话和冀鲁官话之间的混淆，以及西班牙语中加勒比和安第斯-太平洋方言之间的混淆。
• 地理可视化：通过地图展示了主要方言群体的地区，并用箭头和百分比表示在评估集上最常见的误分类情况，揭示了地理邻近性对方言分类错误的影响。

鲁棒性实验

• 噪声鲁棒性测试：在不同信噪比（SNR）水平（25dB、15dB 和 5dB）下引入高斯噪声，比较 Whisper-Large 和 MMS-LID-256 两种模型在噪声条件下的方言预测性能变化。结果显示，在中等噪声水平下，两种模型表现出相似的鲁棒性，但在高噪声水平下，MMS-LID-256 的性能下降更为显著。
• 话语长度鲁棒性测试：比较短话语（≤6 秒）和长话语（>6 秒）的方言分类性能。结果表明，在大多数情况下，长话语的分类性能优于短话语，特别是在印度次大陆语言分类中，长话语的性能提升了 0.3 F1。

下游应用实验

• 语音识别性能分析：使用 Voxlect 预测的方言标签来分析自动语音识别（ASR）模型的性能。以普通话和德语的测试集为例，使用微调后的 Whisper-Large 模型预测方言标签，并使用 MMS 进行 ASR。结果表明，使用预测标签的 ASR 性能趋势与使用真实标签的趋势一致，证明了 Voxlect 在识别 ASR 模型局限性方面的可靠性。
• 语音生成系统评估：生成特定方言的语音样本，并比较人类评估和 Voxlect 评估的结果。以普通话为例，使用 CosyVoice-2 生成五种不同方言（粤语、四川话、天津话、郑州话和上海话）的语音样本，并邀请具有相应方言背景的同事对生成语音的方言特征进行评分。结果表明，人类评分与 Voxlect 的预测结果高度一致。

Q: 有什么可以进一步探索的点？

A: 尽管 Voxlect 基准在方言和地方语言分类方面取得了显著成果，但仍有一些可以进一步探索的方向：

1. 数据集扩展与精细化

• 增加更多语言和方言：目前 Voxlect 虽然涵盖了多种语言和方言，但仍有许多语言和方言未被包含，如韩国方言、东欧语言和非洲语言等。扩展数据集以涵盖更多语言和方言可以进一步提升模型的泛化能力。
• 精细化方言标签：在某些语言中，现有的方言标签可能不够精细。例如，法国的方言标签可以进一步细化到具体地区，如巴黎、马赛等。更精细的标签有助于更准确地建模方言差异。
• 多模态数据融合：除了语音数据，还可以考虑加入文本、地理信息等多模态数据，以更全面地理解和建模方言特征。

2. 模型改进与优化

• 多语言模型的进一步优化：虽然多语言模型在方言分类中表现良好，但仍有改进空间。例如，可以探索更高效的多语言预训练策略，或者在微调阶段引入更复杂的正则化技术以提高模型的鲁棒性。
• 跨语言迁移学习：研究如何利用在一种语言上训练的方言分类模型来帮助另一种语言的方言分类任务，特别是在数据稀缺的情况下。
• 模型解释性增强：开发更强大的模型解释工具，以更好地理解模型是如何学习和区分不同方言的。这有助于发现模型的潜在偏差，并改进模型设计。

3. 应用拓展

• 语音识别系统的改进：利用 Voxlect 的方言分类能力，开发更智能的语音识别系统，能够根据说话者的方言自动调整识别策略，从而提高识别准确率。
• 语音合成系统的改进：在语音合成中，利用 Voxlect 的方言分类能力，生成更自然、更符合特定方言特征的语音，提升用户体验。
• 社会语言学研究：将 Voxlect 应用于社会语言学研究，分析方言的地理分布、社会因素对语言演变的影响等，为语言学研究提供新的视角和工具。

4. 鲁棒性与泛化能力

• 跨领域泛化：评估 Voxlect 模型在不同领域（如广播、会议、自然对话等）的泛化能力，特别是在训练和测试数据来自不同领域时。
• 跨信噪比泛化：进一步研究模型在更复杂的噪声环境下的表现，包括不同类型的噪声（如交通噪声、背景音乐等）和不同的信噪比。
• 跨说话者特征泛化：研究模型在不同说话者特征（如性别、年龄、情感状态等）下的表现，以确保模型对各种说话者特征具有鲁棒性。

5. 隐私与伦理问题

• 隐私保护机制：开发更强大的隐私保护机制，确保在方言分类过程中不会泄露说话者的个人隐私信息。
• 伦理审查与合规性：进行更全面的伦理审查，确保 Voxlect 的使用符合相关法律法规，并在可能涉及隐私和伦理问题的应用中采取适当的措施。

6. 社区参与与合作

• 与语言学家合作：与语言学家合作，进一步验证和改进 Voxlect 的方言分类体系，确保其科学性和准确性。
• 开源社区建设：鼓励开源社区的参与，通过众包的方式收集更多方言数据，改进模型，并开发新的应用。

这些方向不仅可以进一步提升 Voxlect 的性能和应用范围，还可以为语音技术和语言学研究带来新的突破。

Q: 总结一下论文的主要内容

A: 本文提出了 Voxlect，这是一个用于建模全球方言和地方语言的语音基础模型基准测试。Voxlect 通过整合来自 30 个公开数据集的超过 200 万条训练话语，涵盖了 11 种语言组，包括英语、阿拉伯语、普通话和粤语、藏语、印度次大陆语言、泰语、西班牙语、法语、德语、巴西葡萄牙语和意大利语。研究评估了几种广泛使用的语音基础模型在方言分类任务上的性能，并展示了 Voxlect 在自动语音识别（ASR）性能分析和语音生成系统评估中的应用。

背景知识

方言被定义为特定区域和/或社会群体使用的语言变体，与标准语言在发音、语法和词汇上存在差异。自动语音识别（ASR）系统在不同方言变体上的表现往往存在显著差异，这限制了系统的可靠性和可用性。因此，对方言进行建模和识别对于构建能够适应多样化语言环境的稳健语音技术至关重要。

研究方法

1. 数据集整合与标准化：Voxlect 将来自多个数据集的方言标签映射到统一的分类体系中，解决了不同数据集中方言标签不一致的问题。例如，对于英语，研究者采用了之前 Vox-Profile 基准中提出的方言分类体系，将英语方言分为北美、英国群岛等主要区域，并进一步细分。
2. 语音基础模型评估：研究评估了几种语音基础模型，包括 Massively Multilingual Speech (MMS)、WavLM 和 Whisper 家族。这些模型在大规模跨语言数据集上进行了预训练，具有良好的泛化能力。研究提出了一个基于语音基础模型的方言分类架构，通过计算所有编码器层的隐藏状态的加权平均值，然后通过一维逐点卷积层处理聚合输出，最后通过全连接层进行分类。为了进一步提高分类性能，研究在所有微调实验中集成了 LoRa。
3. 实验设计：所有用于方言分类实验的数据集都被重新采样到 16kHz，排除了短于 3 秒的音频剪辑，并将所有样本截断到最大持续时间 15 秒。在训练过程中，对输入波形应用了高斯噪声添加、时间掩蔽、时间拉伸和极性反转等数据增强技术，以提高模型的鲁棒性。使用固定随机种子进行训练，以确保可重复性。学习率范围为 [0.0001, 0.0005]，训练周期为 15 个 epoch。对于泰语和阿拉伯语方言分类，训练了 5 个 epoch。

实验结果

1. 方言分类性能：多语言预训练模型（如 Whisper-Large 和 MMS-LID-256）在大多数实验中表现最佳，而仅用英语数据预训练的模型（如 WavLM+）在跨语言方言预测上表现较差。例如，Whisper-Large 在阿拉伯语、普通话和粤语、泰语等方言分类任务上取得了最高的准确率和宏 F1 分数。
2. 地理邻近性与分类错误：地理上邻近的方言更容易被混淆。例如，在普通话方言分类中，中原官话和冀鲁官话之间的混淆最高；在西班牙语方言分类中，加勒比和安第斯-太平洋方言之间的混淆较为常见。
3. 鲁棒性测试：在中等噪声水平下，Whisper-Large 和 MMS-LID-256 表现出相似的鲁棒性，但在高噪声水平下，MMS-LID-256 的性能下降更为显著。此外，长话语的分类性能通常优于短话语，特别是在印度次大陆语言分类中，长话语的性能提升了 0.3 F1。

下游应用

1. 语音识别性能分析：利用 Voxlect 预测的方言标签来分析 ASR 模型的性能。结果表明，使用预测标签的 ASR 性能趋势与使用真实标签的趋势一致，证明了 Voxlect 在识别 ASR 模型局限性方面的可靠性。
2. 语音生成系统评估：生成特定方言的语音样本，并比较人类评估和 Voxlect 评估的结果。结果表明，人类评分与 Voxlect 的预测结果高度一致，表明 Voxlect 可以作为评估语音生成系统性能的有效工具。

结论

Voxlect 基准为方言和地方语言的分类提供了一个全面的评估框架，并展示了其在实际语音技术应用中的潜力。未来的工作将包括扩展基准以涵盖更多语言和方言，以及将基准模型应用于丰富现有语音数据集以支持下游应用的开发。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tiantian Feng,Kevin Huang,Anfeng Xu,Xuan Shi,Thanathai Lertpetchpun,Jihwan Lee,Yoonjeong Lee,Dani Byrd,Shrikanth Narayanan

Categories: cs.SD,cs.CL,eess.AS

PDF URL: https://arxiv.org/pdf/2508.01691.pdf

Arxiv URL: https://arxiv.org/abs/2508.01691

Arxiv ID: 2508.01691

CoolPaper URL: https://papers.cool/arxiv/2508.01691

Published: 2025-08-03T09:51:28Z

Updated: 2025-08-03T09:51:28.000Z

---

12. Personalized Safety Alignment for Text-to-Image Diffusion Models

Text-to-image diffusion models have revolutionized visual content generation, but current safety mechanisms apply uniform standards that often fail to account for individual user preferences. These models overlook the diverse safety boundaries shaped by factors like age, mental health, and personal beliefs. To address this, we propose Personalized Safety Alignment (PSA), a framework that allows user-specific control over safety behaviors in generative models. PSA integrates personalized user profiles into the diffusion process, adjusting the model’s behavior to match individual safety preferences while preserving image quality. We introduce a new dataset, Sage, which captures user-specific safety preferences and incorporates these profiles through a cross-attention mechanism. Experiments show that PSA outperforms existing methods in harmful content suppression and aligns generated content better with user constraints, achieving higher Win Rate and Pass Rate scores. Our code, data, and models are publicly available at https://torpedo2648.github.io/PSAlign/.

中文摘要

文本到图像的扩散模型彻底改变了视觉内容生成，但当前的安全机制应用统一标准，往往无法考虑到个人用户的偏好。这些模型忽略了诸如年龄、心理健康和个人信仰等因素所塑造的多样化安全边界。为了解决这个问题，我们提出了个性化安全对齐(PSA)，这是一个允许用户对生成模型中的安全行为进行特定控制的框架。PSA将个性化用户档案整合到扩散过程中，调整模型的行为以匹配个人的安全偏好，同时保留图像质量。我们介绍了一个新的数据集Sage，该数据集捕捉用户特定的安全偏好，并通过交叉注意机制纳入这些档案。实验表明，PSA在有害内容抑制方面优于现有方法，并且更好地与用户约束对齐生成内容，达到了更高的胜率和通过率评分。我们的代码、数据和模型可在https://torpedo2648.github.io/PSAlign/获取。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文旨在解决文本到图像扩散模型（text-to-image diffusion models）在内容生成时的安全性问题，特别是针对不同用户具有多样化安全偏好的情况。具体来说，它试图解决以下几个关键问题：

1. 统一安全标准的局限性：

   • 当前的文本到图像生成模型通常采用统一的安全标准来过滤有害内容，如暴力、色情、仇恨言论等。然而，这种一刀切的方法无法考虑到不同用户的个性化需求。例如，不同年龄、文化背景、宗教信仰和心理健康状况的用户对有害内容的容忍度可能有很大差异。

2. 个性化安全控制的需求：

   • 为了更好地适应不同用户的安全偏好，需要一种能够根据用户特定需求调整生成内容安全性的方法。这不仅有助于提高用户体验，还能更好地保护那些对某些内容特别敏感的用户群体。

3. 现有数据集的不足：

   • 现有的数据集在支持个性化安全训练方面存在不足。它们通常缺乏对用户安全偏好的详细描述，无法为模型提供足够的信息来学习如何根据用户特征调整生成内容。

4. 模型生成质量与安全性的平衡：

   • 在确保生成内容安全的同时，还需要保持图像质量和与文本提示的一致性。现有的安全机制在过滤有害内容时可能会导致生成质量下降，因此需要一种既能有效过滤有害内容又能保持生成质量的方法。

Q: 有哪些相关研究？

A: 论文中提到了多个与文本到图像扩散模型安全性相关的研究，这些研究可以分为以下几个主要类别：

安全对齐（Safety Alignment）

• 概念擦除方法（Concept Erasure Methods）：
  • SLD（Safe Latent Diffusion）：通过实时检测和抑制扩散过程中的有害内容来确保安全生成，无需重新训练模型。
  • AC（Ablating Concepts）：通过识别可解释的方向来控制内容。
  • ConceptPrune：通过有技巧的神经元修剪来编辑扩散模型中的概念。
  • 其他方法：通过修改注意力层、神经元激活或文本编码器来抑制有害内容。
• 基于偏好的优化方法（Preference-based Optimization）：
  • DPO（Direct Preference Optimization）：通过对比学习优化模型，使其输出与人类或代理偏好一致。
  • DiffusionDPO：将DPO应用于扩散模型，通过对比损失函数优化模型。
  • SafetyDPO：扩展DPO思想，使用特别构建的数据集来移除有害概念。
• 公平性感知生成方法（Fairness-aware Generation）：
  • Linguistic-aligned Attention Guidance：通过识别与偏见相关的区域并强制公平生成来减少社会偏见。
  • Adjusted Fine-tuning with Distributional Alignment：通过调整微调来减少职业提示中的人口统计偏见。

个性化生成（Personalized Generation）

• ControlNet和T2I-Adapter：通过注入结构线索（如深度或姿势）来适应特定主题、风格或用户约束。
• IP-Adapter：通过图像嵌入的交叉注意力实现身份保持。
• LoRA（Low-Rank Adaptation）和直接偏好调整：通过低秩适应或直接偏好调整提高个性化效率。
• PALP（Prompt Aligned Personalization）：通过分数蒸馏进一步增强单主体个性化中的提示-图像对齐。

这些研究为文本到图像扩散模型的安全性和个性化生成提供了不同的方法和思路，但大多数方法侧重于全局安全标准或外观保真度，而没有充分考虑用户特定的安全偏好。

Q: 论文如何解决这个问题？

A: 为了解决文本到图像扩散模型在内容生成时的安全性问题，同时满足不同用户的个性化安全偏好，论文提出了个性化安全对齐（Personalized Safety Alignment, PSA）框架，并构建了相应的Sage数据集。以下是详细的解决方案：

1. 提出个性化安全对齐（PSA）框架

PSA框架的核心思想是将用户的个性化安全偏好整合到扩散模型的生成过程中，使模型能够根据用户的特定需求调整生成内容的安全性，同时保持图像质量和与文本提示的一致性。

1.1 用户安全偏好建模

• 用户画像：通过模拟生成1000个虚拟用户，每个用户由年龄、性别、宗教信仰、身体状况和心理状况等属性定义。利用强大的语言模型（LLM）推断每个用户对安全概念的态度，并从最后隐藏状态中提取用户嵌入向量 ( u \in U )。
• 用户偏好表示：对于每个用户 ( u )，定义两个概念集合：
  • ( C_{\text{rm}}(u) )：用户希望移除的概念集合。
  • ( C_{\text{rt}}(u) )：用户可以容忍的概念集合。

1.2 数据集构建

• Sage数据集：为了支持个性化安全训练，构建了Sage数据集，包含10个安全敏感类别（如仇恨、骚扰、暴力等）和800多个有害概念。每个概念都配有高质量的图像和相应的提示。
• 数据生成流程：
  • 使用LLM为每个有害概念生成安全和不安全的提示对 ( (p_s, p_h) )。
  • 使用目标文本到图像模型为这些提示对生成对应的图像 ( (x_s^0, x_h^0) )。
  • 构建用户特定的训练对 ( (x_+^0, x_-^0, p, u) )，其中 ( x_+^0 ) 和 ( x_-^0 ) 根据用户偏好和提示类型确定。

2. PSA训练方法

PSA框架采用个性化扩散DPO（Personalized Diffusion DPO）损失函数 ( L_{\text{PPD}} ) 进行训练，该损失函数能够捕捉用户对不同敏感概念的偏好方向，并确保在语义相似的提示下生成一致的结果。

2.1 损失函数定义

PSA的损失函数 ( L_{\text{PSA}} ) 定义如下： [ L_{\text{PSA}}(\epsilon_\theta, x_+^0, x_-^0, p, u) = L_{\text{PPD}}(\epsilon_\theta, x_+^0, x_-^0, p, u) ] 其中，( \epsilon_\theta ) 是去噪网络，( x_+^0 ) 和 ( x_-^0 ) 是用户偏好的图像对，( p ) 是文本提示，( u ) 是用户嵌入。

2.2 交叉注意力适配器

为了将用户特定的安全偏好整合到生成过程中，PSA采用交叉注意力适配器架构。用户嵌入被投影到扩散U-Net的注意力层中，从而实现动态控制生成过程，同时保留预训练的全局安全知识。

3. 实验验证

通过一系列实验，验证了PSA框架在有害内容抑制和个性化安全对齐方面的优越性能。

3.1 有害内容抑制

• 量化评估：在多个安全基准数据集（如Sage、CoProV2、I2P、UD）上评估PSA的有害内容抑制能力。结果显示，PSA在所有数据集上均实现了最低的不适当概率（IP）分数，显著优于现有的安全对齐方法（如SafetyDPO、UCE、ESD-u）。
• 定性评估：通过可视化比较，展示了PSA在不同安全级别（L1-L5）下对有害内容的逐步抑制效果。与基线方法相比，PSA能够更有效地过滤有害内容，同时保持场景的组成和提示语义。

3.2 个性化安全对齐

• 量化评估：使用Win Rate和Pass Rate两个指标评估PSA在个性化安全对齐方面的表现。Win Rate表示在成对比较中，哪个图像更符合用户的特定安全边界；Pass Rate反映图像是否符合用户的偏好。结果显示，PSA在Win Rate和Pass Rate上均优于基线方法。
• 定性评估：通过可视化比较，展示了PSA在不同用户安全偏好下的生成结果。PSA能够根据用户的安全级别，逐步调整生成内容的安全性，同时保持图像的视觉一致性和语义相关性。

4. 结论

PSA框架通过将用户特定的安全偏好整合到文本到图像生成模型中，实现了对生成内容的动态安全调整。Sage数据集为个性化安全训练提供了丰富的支持。实验结果表明，PSA在有害内容抑制和个性化安全对齐方面均优于现有方法，展示了个性化安全控制在文本到图像生成中的潜力。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来验证提出的个性化安全对齐（PSA）框架的有效性：

1. 有害内容抑制实验

1.1 实验设置

• 基线方法：与PSA进行比较的基线方法包括：
  • SD v1.5 base：原始的Stable Diffusion v1.5模型。
  • SDXL base：原始的Stable Diffusion XL模型。
  • SLD：Safe Latent Diffusion，实时检测和抑制有害内容的方法。
  • ESD-u：Erasing Concepts from Diffusion Models，通过微调移除特定有害概念的方法。
  • UCE：Unified Concept Editing in Diffusion Models，提供统一概念编辑的方法。
  • SafetyDPO：通过偏好优化增强移除有害概念能力的方法。
• 数据集：使用Sage、CoProV2、I2P、UD和COCO数据集来评估模型在有害内容抑制方面的表现。Sage数据集是为个性化安全训练构建的，包含44,100个文本-图像对，涵盖10个安全敏感类别和800多个细粒度概念。其他数据集用于评估模型在不同类型的有害内容上的表现。
• 指标：
  • Inappropriate Probability (IP)：使用Q16和NudeNet分类器结合计算，衡量生成内容中不适当内容的概率。
  • FID (Fréchet Inception Distance)：衡量生成图像质量的指标，值越低表示质量越好。
  • CLIPScore：评估提示与生成图像之间的一致性。

1.2 实验结果

• 量化评估：
  • 在SD v1.5上，PSA在所有安全基准数据集上均实现了最低的IP分数，与SafetyDPO相比，在I2P数据集上IP降低了0.21，在UD数据集上降低了0.20。同时，PSA在FID和CLIPScore上也保持了较好的表现，表明在提高安全性的同时，图像质量和语义一致性得到了较好的保持。
  • 在SDXL上，PSA进一步强化了有害内容的抑制效果，例如在I2P数据集上，PSA-L5的IP分数降低到了0.05，在UD数据集上降低到了0.09。尽管在较高的安全级别下FID有所增加，但CLIPScore仍然保持较高，说明提示与图像之间的对齐得到了较好的维持。
• 定性评估：通过可视化比较，展示了PSA在不同安全级别（L1-L5）下对有害内容的逐步抑制效果。与基线方法相比，PSA能够更有效地过滤有害内容，同时保持场景的组成和提示语义。例如，在“暴力”类别下，PSA在较高安全级别下能够去除血腥和武器等元素，同时保留场景的整体结构和语义。

2. 个性化安全对齐实验

2.1 实验设置

• 基线方法：与PSA进行比较的基线方法包括SD v1.5 base、SDXL base和SafetyDPO。
• 数据集：使用Sage数据集来评估模型在个性化安全对齐方面的表现。
• 指标：
  • Win Rate：通过比较两个模型生成的图像，评估哪个图像更符合特定用户的个性化安全边界。
  • Pass Rate：评估生成的图像是否符合用户的所有约束条件，包括完全避免禁止的内容并适当保留允许的内容。

2.2 实验结果

• 量化评估：
  • 在SD v1.5上，PSA在Win Rate上分别达到了80.3%（已见用户）和77.4%（未见用户），与SafetyDPO相比，分别提高了4.64%和1.02%。在Pass Rate上，PSA在已见用户上达到了51.91%，在未见用户上达到了57.71%，均略高于SafetyDPO。
  • 在SDXL上，PSA在Win Rate上的优势更为明显，分别达到了86.2%（已见用户）和80.7%（未见用户），与SafetyDPO相比，分别提高了49.57%和14.41%。在Pass Rate上，PSA在已见用户上达到了58.76%，在未见用户上达到了64.29%，均优于SafetyDPO。
• 定性评估：通过可视化比较，展示了PSA在不同用户安全偏好下的生成结果。PSA能够根据用户的安全级别，逐步调整生成内容的安全性，同时保持图像的视觉一致性和语义相关性。例如，对于一个禁止“暴力”和“自我伤害”内容的用户，PSA能够生成符合用户偏好的安全图像，而基线方法可能无法达到如此精细的个性化控制。

3. 讨论与局限性

论文还讨论了PSA框架的局限性，例如依赖于通过LLM生成的合成用户画像，可能无法完全捕捉现实世界用户输入的复杂性，从而限制了研究结果的普适性。此外，PSA假设用户偏好是明确定义的，而在实际中这可能并不总是准确的。

Q: 有什么可以进一步探索的点？

A: 论文中提出的个性化安全对齐（PSA）框架为文本到图像扩散模型的安全性研究开辟了新的方向，但仍有一些可以进一步探索的点：

1. 真实用户数据的使用

• 研究方向：目前PSA框架依赖于通过LLM合成的用户画像，未来可以探索使用真实用户数据来训练和验证模型。这将需要解决隐私保护和数据收集的挑战，但能够更准确地反映用户的实际偏好。
• 潜在方法：与用户进行交互式反馈，收集用户对生成内容的评价和偏好，以此来优化模型的个性化安全控制。

2. 动态偏好学习

• 研究方向：假设用户偏好是固定不变的可能不完全符合实际情况。用户的安全偏好可能会随着时间和环境的变化而改变，因此可以研究如何让模型动态地学习和适应用户的偏好变化。
• 潜在方法：引入在线学习或增量学习机制，使模型能够根据用户的实时反馈动态调整安全控制策略。

3. 跨文化与跨年龄研究

• 研究方向：不同文化背景和年龄群体对安全内容的定义和接受程度存在差异。可以进一步研究如何针对不同文化、年龄和背景的用户群体进行个性化安全对齐。
• 潜在方法：收集和分析不同文化背景和年龄群体的用户数据，构建更具代表性的用户画像，并设计相应的安全对齐策略。

4. 多模态安全对齐

• 研究方向：目前的研究主要集中在文本到图像的生成上，未来可以探索多模态内容生成（如文本到视频、文本到音频）的安全对齐问题。
• 潜在方法：开发适用于多模态内容的安全对齐框架，考虑不同模态之间的交互和一致性，确保生成的多模态内容符合用户的安全偏好。

5. 安全性与生成质量的权衡

• 研究方向：虽然PSA在有害内容抑制和个性化安全对齐方面取得了显著进展，但在某些情况下可能会对生成质量产生一定影响。可以进一步研究如何更好地平衡安全性和生成质量。
• 潜在方法：探索新的损失函数或优化策略，以在保证安全性的同时最小化对生成质量的影响。例如，引入质量感知的偏好优化方法。

6. 模型解释性增强

• 研究方向：提高模型在安全决策过程中的可解释性，使用户能够更好地理解模型是如何根据其偏好进行内容过滤的。
• 潜在方法：开发模型解释性工具，如可视化技术或特征重要性分析，帮助用户理解模型的安全决策依据。

7. 社会和伦理影响评估

• 研究方向：评估个性化安全对齐技术在实际应用中的社会和伦理影响，确保其符合社会价值观和伦理标准。
• 潜在方法：开展社会实验和伦理审查，收集用户和社会各界的反馈，以指导技术的合理应用和发展。

8. 鲁棒性和泛化能力提升

• 研究方向：提高模型在面对复杂和多样化的安全场景时的鲁棒性和泛化能力，确保其在不同情境下都能稳定地进行个性化安全对齐。
• 潜在方法：引入更多的安全场景和概念进行训练，采用数据增强和正则化技术来提高模型的泛化能力。

Q: 总结一下论文的主要内容

A: 本文提出了**个性化安全对齐（Personalized Safety Alignment, PSA）**框架，旨在解决文本到图像扩散模型在内容生成时的安全性问题，同时满足不同用户的个性化安全偏好。PSA框架通过将用户的个性化安全偏好整合到扩散模型的生成过程中，使模型能够根据用户的特定需求调整生成内容的安全性，同时保持图像质量和与文本提示的一致性。

研究背景与动机

文本到图像扩散模型在内容生成方面取得了显著进展，但存在生成不适当内容的风险，如暴力、色情、仇恨言论等。现有的安全机制通常采用统一标准，无法适应不同用户的多样化安全偏好。这些偏好受到年龄、文化背景、宗教信仰、身体和心理健康等多种因素的影响，因此需要一种更个性化的安全控制方法。

个性化安全对齐（PSA）框架

PSA框架的核心在于将用户画像整合到扩散模型的生成过程中，根据用户的特定属性（如年龄、性别、宗教等）调整生成内容的安全性。为此，作者构建了一个名为Sage的新数据集，包含10个安全敏感类别和800多个有害概念，每个概念都配有高质量的图像和相应的提示。Sage数据集通过模拟生成1000个虚拟用户，并为每个用户定义了允许和禁止的概念集合，从而为个性化安全训练提供了丰富的支持。

方法细节

PSA框架采用个性化扩散DPO（Personalized Diffusion DPO）损失函数进行训练，该损失函数能够捕捉用户对不同敏感概念的偏好方向，并确保在语义相似的提示下生成一致的结果。具体来说，PSA的损失函数定义如下： [ L_{\text{PSA}}(\epsilon_\theta, x_+^0, x_-^0, p, u) = L_{\text{PPD}}(\epsilon_\theta, x_+^0, x_-^0, p, u) ] 其中，( \epsilon_\theta ) 是去噪网络，( x_+^0 ) 和 ( x_-^0 ) 是用户偏好的图像对，( p ) 是文本提示，( u ) 是用户嵌入。

为了将用户特定的安全偏好整合到生成过程中，PSA采用交叉注意力适配器架构。用户嵌入被投影到扩散U-Net的注意力层中，从而实现动态控制生成过程，同时保留预训练的全局安全知识。

实验验证

通过一系列实验，验证了PSA框架在有害内容抑制和个性化安全对齐方面的优越性能。

有害内容抑制

• 量化评估：在多个安全基准数据集（如Sage、CoProV2、I2P、UD）上评估PSA的有害内容抑制能力。结果显示，PSA在所有数据集上均实现了最低的不适当概率（IP）分数，显著优于现有的安全对齐方法（如SafetyDPO、UCE、ESD-u）。例如，在SD v1.5上，PSA-L5在I2P数据集上的IP分数为0.12，在UD数据集上的IP分数为0.09，与SafetyDPO相比分别降低了0.21和0.20。在SDXL上，PSA-L5在I2P数据集上的IP分数为0.05，在UD数据集上的IP分数为0.09。
• 定性评估：通过可视化比较，展示了PSA在不同安全级别（L1-L5）下对有害内容的逐步抑制效果。与基线方法相比，PSA能够更有效地过滤有害内容，同时保持场景的组成和提示语义。

个性化安全对齐

• 量化评估：使用Win Rate和Pass Rate两个指标评估PSA在个性化安全对齐方面的表现。Win Rate表示在成对比较中，哪个图像更符合用户的特定安全边界；Pass Rate反映图像是否符合用户的偏好。结果显示，PSA在Win Rate和Pass Rate上均优于基线方法。例如，在SD v1.5上，PSA在Win Rate上分别达到了80.3%（已见用户）和77.4%（未见用户），在Pass Rate上分别达到了51.91%（已见用户）和57.71%（未见用户）。在SDXL上，PSA在Win Rate上分别达到了86.2%（已见用户）和80.7%（未见用户），在Pass Rate上分别达到了58.76%（已见用户）和64.29%（未见用户）。
• 定性评估：通过可视化比较，展示了PSA在不同用户安全偏好下的生成结果。PSA能够根据用户的安全级别，逐步调整生成内容的安全性，同时保持图像的视觉一致性和语义相关性。

结论

PSA框架通过将用户特定的安全偏好整合到文本到图像生成模型中，实现了对生成内容的动态安全调整。Sage数据集为个性化安全训练提供了丰富的支持。实验结果表明，PSA在有害内容抑制和个性化安全对齐方面均优于现有方法，展示了个性化安全控制在文本到图像生成中的潜力。未来的工作可以探索真实用户数据的使用、动态偏好学习、跨文化与跨年龄研究、多模态安全对齐、安全性与生成质量的权衡、模型解释性增强、社会和伦理影响评估以及鲁棒性和泛化能力提升等方向。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yu Lei,Jinbin Bai,Qingyu Shi,Aosong Feng,Kaidong Yu

Categories: cs.CV,cs.AI

PDF URL: https://arxiv.org/pdf/2508.01151.pdf

Arxiv URL: https://arxiv.org/abs/2508.01151

Arxiv ID: 2508.01151

CoolPaper URL: https://papers.cool/arxiv/2508.01151

Published: 2025-08-02T02:23:20Z

Updated: 2025-08-02T02:23:20.000Z

---

13. Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction

Diffusion Large Language Models (dLLMs) enable breakthroughs in reasoning and parallel decoding but suffer from prohibitive quadratic computational complexity and memory overhead during inference. Current caching techniques accelerate decoding by storing full-layer states, yet impose substantial memory usage that limit long-context applications. Our analysis of attention patterns in dLLMs reveals persistent cross-layer sparsity, with pivotal tokens remaining salient across decoding steps and low-relevance tokens staying unimportant, motivating selective cache eviction. We propose Sparse-dLLM, the first training-free framework integrating dynamic cache eviction with sparse attention via delayed bidirectional sparse caching. By leveraging the stability of token saliency over steps, it retains critical tokens and dynamically evicts unimportant prefix/suffix entries using an attention-guided strategy. Extensive experiments on LLaDA and Dream series demonstrate Sparse-dLLM achieves up to 10$\times$ higher throughput than vanilla dLLMs, with comparable performance and similar peak memory costs, outperforming previous methods in efficiency and effectiveness.

中文摘要

扩散大型语言模型（dLLMs）在推理和并行解码中实现了突破，但在推理过程中遭遇了过高的二次计算复杂性和内存开销。目前的缓存技术通过存储完整层状态来加速解码，但却造成了显著的内存使用，限制了长上下文的应用。我们对dLLMs中的注意力模式分析揭示了持续的跨层稀疏性，关键代币在解码步骤中保持显著，而低相关代币则保持不重要，从而激励选择性缓存驱逐。我们提出了Sparse-dLLM，这是第一个无训练框架，通过延迟双向稀疏缓存将动态缓存驱逐与稀疏注意力相结合。通过利用代币显著性在步骤中的稳定性，它保留关键代币，并使用注意力引导策略动态驱逐不重要的前缀/后缀条目。对LLaDA和Dream系列的广泛实验证明，Sparse-dLLM的吞吐量比普通dLLMs高出最多10倍，同时性能可与之媲美，峰值内存成本相似，在效率和效果上超越了之前的方法。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决扩散型大语言模型（Diffusion Large Language Models, dLLMs）在推理过程中面临的计算复杂度和内存开销过高的问题。

具体来说，dLLMs在推理时需要重新计算整个序列（包括输入提示、已生成的标记和掩码标记）的QKV状态，这导致了其计算复杂度高达O(L²)，其中L表示提示长度。这种高复杂度使得dLLMs的实际速度远远落后于传统的自回归大语言模型（auto-regressive LLMs）。此外，现有的缓存技术虽然通过存储完整的层状态来加速解码，但这些技术需要大量的内存，限制了dLLMs在长文本上下文场景中的应用。

为了解决这些问题，论文提出了Sparse-dLLM框架，旨在通过动态缓存驱逐和稀疏注意力机制来加速dLLMs的推理过程，同时减少内存使用，使其更适合实际应用。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

KV缓存优化

• 自回归LLMs的KV缓存优化：自回归LLMs利用因果注意力机制，可以缓存输入和已生成标记的KV状态，从而在解码时通过内存换取计算。然而，随着输入长度的增加，缓存大小也会增加，限制了长文本上下文的应用。因此，研究人员提出了基于固定规则、过去注意力分数或部分先前标记的过滤方法来管理已生成标记的KV缓存，例如SnapKV。
• dLLMs的KV缓存优化：与自回归LLMs不同，dLLMs可以查看整个序列。最近的研究利用dLLMs在连续解码步骤中KV状态往往几乎相同的观察结果，将自回归LLMs的KV缓存机制引入dLLMs，加速解码而不降低输出质量。例如，dLLM-Cache设置了不同的提示缓存和响应缓存刷新间隔，并使用特征相似性来部分更新响应；dKV-Cache实现了单步延迟缓存，结合了刷新机制；FreeCache基于掩码标记对早期未掩码标记的贡献迅速减少，缓存提示标记的KV状态；Fast-dLLM缓存了除当前解码块之外的所有KV状态。然而，这些方法只是在dLLMs中引入了KV缓存，没有进一步稀疏化缓存。

dLLMs的推理优化

• 稀疏注意力模式分析：论文通过分析dLLMs的注意力模式，发现dLLMs表现出显著的稀疏性，类似于自回归LLMs，具有局部注意力和垂直注意力模式。这些模式在所有层和解码步骤中都保持一致，表明某些关键标记在整个解码过程中始终显著，而低相关性标记在早期步骤中被识别后在整个解码过程中始终不重要。这些观察结果为选择性缓存驱逐策略提供了动机。
• 动态缓存驱逐策略：Sparse-dLLM是第一个为dLLMs引入动态缓存驱逐与稀疏注意力相结合的训练无关框架。它利用标记显著性的稳定性，通过注意力引导的策略动态驱逐不重要的前缀/后缀条目，同时保留关键标记。这种方法显著提高了dLLMs的计算效率，同时引入了最小的额外内存开销，并且没有降低下游性能。

实验验证

• 实验设置：论文在LLaDA和Dream系列模型上进行了广泛的实验，使用了多种基准测试，包括MMLU、ARC-challenge、PIQA、GPQA、GSM8k、Math和HumanEval。实验结果表明，Sparse-dLLM在保持与原始dLLMs相当的性能的同时，实现了高达10倍的吞吐量提升，并且与原始dLLMs相比，内存成本几乎相同，超过了以前方法的效率和有效性。
• 长文本上下文效率：在长文本上下文的测试中，Sparse-dLLM表现出显著的优势。与其他方法相比，Sparse-dLLM在处理长文本时不仅保持了较高的吞吐量，而且内存消耗增长缓慢，避免了在长文本处理时出现内存不足（OOM）的问题。这表明Sparse-dLLM是一个高效且可扩展的长文本处理解决方案。

综上所述，Sparse-dLLM通过结合动态缓存驱逐和稀疏注意力，为dLLMs的推理优化提供了一种新的方法，显著提高了计算效率和内存使用效率，为dLLMs在实际应用中的部署提供了可能。

Q: 论文如何解决这个问题？

A: 论文通过提出 Sparse-dLLM 框架来解决扩散型大语言模型（dLLMs）在推理过程中面临的计算复杂度和内存开销过高的问题。Sparse-dLLM 的核心思想是利用 dLLMs 中注意力模式的稀疏性和稳定性，通过动态缓存驱逐和稀疏注意力机制来加速推理过程，同时减少内存使用。具体方法如下：

1. 动态双向缓存驱逐

Sparse-dLLM 通过动态双向缓存驱逐策略，选择性地驱逐不重要的缓存条目，只保留关键的缓存条目。这种方法利用了 dLLMs 中标记显著性在解码步骤中的稳定性，通过注意力引导的稀疏模式来识别和保留重要的标记。

• 缓存条目选择：Sparse-dLLM 首先提取当前解码块之外的 KV 状态，然后计算这些状态与当前块查询状态的注意力分数。通过最大池化操作和预定义的保留比例，选择重要的标记并更新缓存。
• 双向缓存驱逐：与自回归 LLMs 只稀疏化前缀标记不同，Sparse-dLLM 同时考虑了前缀和后缀标记，这使得缓存优化更加全面。

2. 延迟缓存更新

Sparse-dLLM 通过延迟缓存更新来提高缓存的稳定性。具体来说，缓存更新被延迟一步，以确保在解码块的早期步骤中缓存的 KV 状态已经稳定。这种延迟更新策略可以避免在解码块的早期步骤中由于 KV 状态不稳定而导致的性能下降。

3. 稀疏注意力机制

Sparse-dLLM 利用了 dLLMs 中的稀疏注意力模式，即在每个解码步骤中，只有少数关键标记会受到显著的注意力。通过识别这些关键标记并只保留它们的缓存条目，Sparse-dLLM 能够显著减少缓存的大小，从而减少内存使用。

4. 实验验证

论文通过在 LLaDA 和 Dream 系列模型上进行广泛的实验，验证了 Sparse-dLLM 的有效性。实验结果表明，Sparse-dLLM 在保持与原始 dLLMs 相当的性能的同时，实现了高达 10 倍的吞吐量提升，并且与原始 dLLMs 相比，内存成本几乎相同。

5. 长文本上下文效率

Sparse-dLLM 在处理长文本上下文时表现出显著的优势。与其他方法相比，Sparse-dLLM 在处理长文本时不仅保持了较高的吞吐量，而且内存消耗增长缓慢，避免了在长文本处理时出现内存不足（OOM）的问题。这表明 Sparse-dLLM 是一个高效且可扩展的长文本处理解决方案。

总结

Sparse-dLLM 通过动态双向缓存驱逐和稀疏注意力机制，显著提高了 dLLMs 的推理效率，同时减少了内存使用。这种方法不仅在性能上与原始 dLLMs 相当，而且在吞吐量和内存效率上都取得了显著的改进，使其更适合实际应用中的长文本处理场景。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验：

1. 性能和效率评估

• 实验设置：
  • 模型：使用了LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Base和Dream-v0-7B-Instruct等现有的dLLMs。
  • 基准测试：涵盖了多种任务，包括一般任务、科学、数学和代码，具体包括MMLU（5-shot）、ARC-challenge（0-shot）、PIQA（0-shot）、GPQA（5-shot）、GSM8k（4-shot）、Math（4-shot）和HumanEval（0-shot）。
  • 评估指标：使用准确率（accuracy）评估模型性能，使用吞吐量（以每秒处理的标记数TPS衡量）评估解码效率，使用峰值内存消耗（以GB为单位）评估内存使用情况。
  • 硬件：所有实验均在NVIDIA 4090（48GB）GPU上进行。
• 实验结果：
  • 性能：Sparse-dLLM在大多数基准测试中保持了与原始dLLMs相当的性能，甚至在某些任务上略有提升。
  • 吞吐量：Sparse-dLLM显著提高了吞吐量，与原始dLLMs相比，最高可达10倍的提升。
  • 内存消耗：Sparse-dLLM的峰值内存消耗与原始dLLMs几乎相同，明显优于其他缓存优化方法。

2. 长文本上下文效率测试

• 实验设置：
  • 模型：使用LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Base和Dream-v0-7B-Instruct。
  • 基准测试：使用LongBench基准测试，输入长度截断为4k标记，块长度为32，解码步数和生成长度均设置为512。
• 实验结果：
  • 吞吐量和内存消耗：Sparse-dLLM在长文本上下文处理中表现出色，不仅保持了较高的吞吐量，而且内存消耗增长缓慢，避免了在长文本处理时出现内存不足（OOM）的问题。

3. 超参数分析

• 延迟步数（Delay Step）：
  • 实验设置：在LLaDA-8B-Instruct上，测试了0到5步的延迟对性能和效率的影响。
  • 实验结果：发现1步延迟是最佳设置，能够在保持接近最大吞吐量的同时，达到较高的准确率。
• 保留比例（Retention Ratio）和核大小（Kernel Size）：
  • 实验设置：在GSM8K（4-shot）基准测试上，测试了不同的保留比例（0.1到0.9）和核大小（1到9）对性能和内存消耗的影响。
  • 实验结果：发现保留比例为0.5和核大小为3时，模型在性能和效率之间达到了最佳平衡。

4. 稀疏策略对比

• 实验设置：对比了Sparse-dLLM的双向稀疏策略和单向前缀稀疏策略。
• 实验结果：Sparse-dLLM的双向稀疏策略在性能上优于单向前缀稀疏策略，尤其是在处理具有挑战性的任务（如Math数据集）时。

这些实验全面评估了Sparse-dLLM在不同场景下的性能、效率和内存使用情况，验证了其作为一种高效且可扩展的dLLMs推理优化方法的有效性。

Q: 有什么可以进一步探索的点？

A: 尽管 Sparse-dLLM 在加速扩散型大语言模型（dLLMs）方面取得了显著成果，但仍有一些可以进一步探索的方向：

1. 更复杂的稀疏策略

• 自适应稀疏策略：当前的稀疏策略基于固定的保留比例和核大小。可以探索基于动态内容的自适应稀疏策略，例如根据当前解码步骤的上下文动态调整保留比例。
• 多级稀疏策略：除了简单的保留和驱逐，可以考虑多级稀疏策略，例如根据标记的重要性将其分为多个等级，并为不同等级的标记分配不同的缓存策略。

2. 缓存更新机制的优化

• 智能缓存更新：当前的延迟缓存更新策略是固定的一步延迟。可以研究更智能的缓存更新机制，例如基于当前解码步骤的上下文相似性或标记的重要性来决定是否更新缓存。
• 缓存预热：在解码块的开始阶段，可以探索缓存预热机制，通过提前计算和缓存可能重要的标记来进一步提高效率。

3. 与其他优化技术的结合

• 模型压缩：将稀疏缓存策略与模型压缩技术（如量化、剪枝）结合，进一步减少模型的内存占用和计算复杂度。
• 并行解码：结合并行解码技术，探索如何在稀疏缓存框架下实现更高效的并行解码，以进一步提高吞吐量。

4. 跨领域应用

• 多模态应用：将稀疏缓存策略应用于多模态 dLLMs，探索在处理图像、视频等多模态数据时的优化效果。
• 跨语言应用：研究稀疏缓存策略在跨语言 dLLMs 中的应用，特别是在处理多语言上下文时的性能和效率提升。

5. 长文本上下文的进一步优化

• 动态块长度调整：在处理长文本时，可以动态调整块长度，以适应不同上下文的复杂度和长度。
• 分层缓存：对于非常长的文本，可以引入分层缓存机制，将缓存分为多个层次，每个层次对应不同范围的上下文，以进一步优化内存使用和解码效率。

6. 理论分析和模型解释性

• 理论分析：对稀疏缓存策略的理论性能进行更深入的分析，例如在不同类型的 dLLMs 和上下文中的理论最优保留比例。
• 模型解释性：研究稀疏缓存策略对模型解释性的影响，例如通过可视化稀疏缓存后的注意力模式，探索模型在不同解码步骤中的决策过程。

7. 硬件加速

• 专用硬件支持：探索如何在专用硬件（如GPU、TPU）上实现稀疏缓存策略的加速，特别是在大规模并行计算环境中的优化。
• 硬件感知优化：根据硬件特性（如内存带宽、计算单元数量）对稀疏缓存策略进行优化，以实现更高的硬件利用率。

这些方向不仅可以进一步提升 Sparse-dLLM 的性能和效率，还可以为 dLLMs 的研究和应用提供更广泛的视角和可能性。

Q: 总结一下论文的主要内容

A: 本文提出了 Sparse-dLLM，这是一个针对扩散型大语言模型（dLLMs）的训练无关框架，旨在通过动态缓存驱逐和稀疏注意力机制来加速推理过程，同时减少内存使用。以下是论文的主要内容总结：

研究背景

• dLLMs的挑战：dLLMs在推理时需要重新计算整个序列的QKV状态，导致计算复杂度高达O(L²)，其中L是提示长度。这使得dLLMs的实际速度远远落后于传统的自回归大语言模型（auto-regressive LLMs）。现有的缓存技术虽然通过存储完整的层状态来加速解码，但这些技术需要大量的内存，限制了dLLMs在长文本上下文场景中的应用。

研究方法

• Sparse-dLLM框架：Sparse-dLLM通过利用dLLMs中注意力模式的稀疏性和稳定性，选择性地驱逐不重要的缓存条目，只保留关键的缓存条目。具体方法包括：
  • 动态双向缓存驱逐：通过注意力引导的稀疏模式，动态驱逐前缀和后缀标记的不重要缓存条目。
  • 延迟缓存更新：延迟缓存更新一步，以确保在解码块的早期步骤中缓存的KV状态已经稳定。
  • 稀疏注意力机制：利用dLLMs中的稀疏注意力模式，只保留关键标记的缓存条目，显著减少缓存大小。

实验

• 实验设置：在LLaDA和Dream系列模型上进行实验，使用了多种基准测试，包括MMLU、ARC-challenge、PIQA、GPQA、GSM8k、Math和HumanEval。评估指标包括准确率、吞吐量（TPS）和峰值内存消耗（GB）。
• 主要结果：
  • 性能：Sparse-dLLM在大多数基准测试中保持了与原始dLLMs相当的性能，甚至在某些任务上略有提升。
  • 吞吐量：Sparse-dLLM显著提高了吞吐量，与原始dLLMs相比，最高可达10倍的提升。
  • 内存消耗：Sparse-dLLM的峰值内存消耗与原始dLLMs几乎相同，明显优于其他缓存优化方法。
• 长文本上下文效率：在长文本上下文处理中，Sparse-dLLM表现出色，不仅保持了较高的吞吐量，而且内存消耗增长缓慢，避免了在长文本处理时出现内存不足（OOM）的问题。
• 超参数分析：通过实验确定了最佳的延迟步数（1步）、保留比例（0.5）和核大小（3）。
• 稀疏策略对比：Sparse-dLLM的双向稀疏策略在性能上优于单向前缀稀疏策略，尤其是在处理具有挑战性的任务（如Math数据集）时。

结论

Sparse-dLLM通过动态双向缓存驱逐和稀疏注意力机制，显著提高了dLLMs的推理效率，同时减少了内存使用。该方法不仅在性能上与原始dLLMs相当，而且在吞吐量和内存效率上都取得了显著的改进，使其更适合实际应用中的长文本处理场景。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Yuerong Song,Xiaoran Liu,Ruixiao Li,Zhigeng Liu,Zengfeng Huang,Qipeng Guo,Ziwei He,Xipeng Qiu

Categories: cs.CL

PDF URL: https://arxiv.org/pdf/2508.02558.pdf

Arxiv URL: https://arxiv.org/abs/2508.02558

Arxiv ID: 2508.02558

CoolPaper URL: https://papers.cool/arxiv/2508.02558

Published: 2025-08-04T16:14:03Z

Updated: 2025-08-04T16:14:03.000Z

---

14. RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems

We present RoboMemory, a brain-inspired multi-memory framework for lifelong learning in physical embodied systems, addressing critical challenges in real-world environments: continuous learning, multi-module memory latency, task correlation capture, and infinite-loop mitigation in closed-loop planning. Grounded in cognitive neuroscience, it integrates four core modules: the Information Preprocessor (thalamus-like), the Lifelong Embodied Memory System (hippocampus-like), the Closed-Loop Planning Module (prefrontal lobe-like), and the Low-Level Executer (cerebellum-like) to enable long-term planning and cumulative learning. The Lifelong Embodied Memory System, central to the framework, alleviates inference speed issues in complex memory frameworks via parallelized updates/retrieval across Spatial, Temporal, Episodic, and Semantic submodules. It incorporates a dynamic Knowledge Graph (KG) and consistent architectural design to enhance memory consistency and scalability. Evaluations on EmbodiedBench show RoboMemory outperforms the open-source baseline (Qwen2.5-VL-72B-Ins) by 25% in average success rate and surpasses the closed-source State-of-the-Art (SOTA) (Claude3.5-Sonnet) by 5%, establishing new SOTA. Ablation studies validate key components (critic, spatial memory, long-term memory), while real-world deployment confirms its lifelong learning capability with significantly improved success rates across repeated tasks. RoboMemory alleviates high latency challenges with scalability, serving as a foundational reference for integrating multi-modal memory systems in physical robots.

中文摘要

我们提出了RoboMemory，一个受大脑启发的多记忆框架，用于物理具身系统的终身学习，解决现实环境中的关键挑战：持续学习、多模块记忆延迟、任务相关性捕捉，以及闭环规划中的无限循环缓解。该框架基于认知神经科学，集成了四个核心模块：信息预处理器（类似于丘脑）、终身具身记忆系统（类似于海马体）、闭环规划模块（类似于前额叶）和低级执行器（类似于小脑），以支持长期规划和累积学习。终身具身记忆系统是框架的核心，缓解了复杂记忆框架中的推理速度问题，通过在空间、时间、情节和语义子模块之间进行并行更新/检索。它结合了动态知识图谱（KG）和一致的架构设计，以增强记忆的一致性和可扩展性。在EmbodiedBench上的评估显示，RoboMemory在平均成功率上比开源基线（Qwen2.5-VL-72B-Ins）高出25%，并且超过了封闭源的最新技术（SOTA）（Claude3.5-Sonnet）5%，确立了新的SOTA。消融研究验证了关键组件（评论者、空间记忆、长期记忆），而实际部署确认了其终身学习能力，在反复任务中显著提高了成功率。RoboMemory通过可扩展性缓解了高延迟挑战，作为在物理机器人中整合多模态记忆系统的基础参考。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决物理实体系统（如机器人）在真实世界环境中进行终身学习（lifelong learning）时面临的关键挑战，具体包括以下几个方面：

1. 连续学习（Continuous learning）：真实世界的机器人需要在其整个生命周期内处理一系列连续的任务，而以往的研究主要集中在虚拟模拟器或受控真实世界设置中的单一任务优化，缺乏对任务间相互依赖关系的建模机制。
2. 多模块记忆延迟（Multi-module memory latency）：复杂的记忆框架可能会导致过高的延迟，使得在真实世界中的实时应用变得困难。
3. 任务相关性捕捉（Task correlation capture）：机器人需要能够捕捉不同任务之间的相关性，以便利用先验经验来提高后续任务的性能，而不是孤立地执行每个任务。
4. 闭环规划中的无限循环缓解（Infinite-loop mitigation in closed-loop planning）：在动态环境中进行闭环规划时，可能会出现无限循环的问题，需要有效的机制来避免这种情况。

Q: 有哪些相关研究？

A: 以下是与该论文相关的研究领域和具体工作：

VLM/LLM-based Agentic Frameworks in Embodied Tasks

• SwiftSage [22]：提出了一个具有快速和慢速思维的生成型代理，用于复杂交互任务。
• LLM-Planner [31]：利用大型语言模型进行少样本的基于视觉的规划，以指导实体代理的行为。
• Reflexion [30]：引入了简单的长期记忆和自我反思模块，通过自我反思模块总结经验作为长期记忆，增强模型能力。
• Voyager [36]：使用技能库作为其程序性记忆，在虚拟环境中进行长期规划。
• Cradle [33]：提出了一个通用的代理框架，包含情节记忆和程序性记忆，在多种多模态代理任务中表现出色。

Vision Language Action Model

• π0 [7]：提出了一个基于视觉-语言-行动流模型的通用机器人控制方法。
• OpenVLA [20]：提出了一个开源的视觉-语言-行动模型，用于机器人控制。

Memory Frameworks

• Hippo Retrieval Augmented Generation (RAG) [16]：模仿海马体，引入知识图谱作为长期记忆索引，增强检索能力。
• CoELA [43]：包含程序性、语义和情节记忆，并使用任务特定的2D地图。
• MSI-Agent [13]：利用洞察力作为长期记忆，用于任务内学习。

Q: 论文如何解决这个问题？

A: 为了解决物理实体系统在真实世界环境中进行终身学习所面临的挑战，论文提出了RoboMemory，这是一个受大脑启发的多记忆框架。以下是其具体的设计和解决方案：

总体框架设计

• 受大脑启发的架构：RoboMemory借鉴了认知神经科学，将生物神经系统的组件映射到框架中，包括信息预处理器（类似丘脑）、终身实体记忆系统（类似海马体）、闭环规划模块（类似前额叶）和低级执行器（类似小脑）。这种架构使得代理能够与多样化的真实世界环境（如现实世界场景、Habitat、ALFRED）和机器人硬件进行交互，实现长期规划和终身学习。
• 双层架构：为了在真实世界中进行鲁棒部署，RoboMemory采用了双层架构。上层的实体代理输出抽象的高级动作，而下层的视觉-语言-行动（VLA）模型结合同时定位与地图构建（SLAM）系统将这些高级动作转换为机器人可执行的低级命令。

核心模块设计

• 信息预处理器（Information Preprocessor）：
  • 负责将多模态输入（如视觉观察）转换为可索引和搜索的文本。
  • 包含两个轻量级模块：步摘要器（Step summarizer）和查询生成器（Query generator），分别用于生成对刚执行动作的简洁文本描述和用于探测长期记忆中相关片段的查询。
• 终身实体记忆系统（Lifelong Embodied Memory System）：
  • 包含四个模块：空间记忆（Spatial）、时间记忆（Temporal）、情节记忆（Episodic）和语义记忆（Semantic），以支持动态真实世界环境中的持续学习。
  • 采用统一的更新和检索范式，通过并行化实现跨模块的信息更新和检索，避免了因多个记忆组件而导致的延迟累积。
  • 空间-时间记忆系统（Spatial-Temporal Memory System）：
    • 空间记忆基于动态更新的知识图谱（KG），通过两阶段方法（快速响应阶段和局部整合阶段）来解决LLMs在隐式提取空间信息方面的局限性。
    • 时间记忆是一个先进先出（FIFO）缓冲区，用于存储短期记忆，并在缓冲区满时通过LLM将短期记忆总结为单个实体并插入缓冲区。
  • 终身学习系统（Lifelong Learning System）：
    • 情节记忆记录代理与环境交互的历史，考虑同一环境中连续任务之间的时序依赖关系。
    • 语义记忆积累基于调用动作及其结果的逐步动作使用经验，以支持长期任务推理。
• 闭环规划模块（Closed-Loop Planning Module）：
  • 结合空间-时间记忆、语义和情节记忆以及当前观察信息进行动作规划。
  • 采用规划者-批评者（Planner-Critic）机制，规划者生成长期计划，批评者在执行每一步之前评估计划动作是否仍然适合当前环境，如果需要，则重新规划。
  • 修改了原始的规划者-批评者机制，避免了可能导致无限循环的问题，确保即使批评者持续要求重新规划，RoboMemory仍会执行动作。
• 低级执行器（Low-level Executer）：
  • 负责在真实环境中执行上层规划的动作。
  • 使用π0模型作为动作执行器，并应用LoRA微调以优化真实世界机器人任务的性能。

实验验证

• 基准测试：
  • 在EmbodiedBench的EB-ALFRED基准环境中进行了评估，选择了Base和Long子集来测试代理的规划能力。
  • 与多种单VLM代理和VLM代理框架进行了比较，包括先进的闭源和开源模型，结果表明RoboMemory在平均成功率和目标条件成功率上均取得了显著提升，超越了现有的开源基线和闭源SOTA模型。
  • 还在EB-Habitat基准环境中进行了评估，同样取得了显著的性能提升。
• 消融研究：
  • 通过在EB-ALFRED的Base和Long子集上系统地移除各个组件并观察性能变化，验证了关键组件（如批评者模块、空间记忆和长期记忆）对RoboMemory性能的贡献。
• 真实世界部署：
  • 在一个模拟厨房的真实世界环境中测试了RoboMemory的终身学习能力，设置了15个不同任务，并让代理在不清除长期记忆的情况下重复执行这些任务。
  • 结果显示，在第二次执行时，成功率显著提高，证明了RoboMemory的长期记忆能够有效地指导后续任务，实现了真实世界中的终身学习。

总结

RoboMemory通过其受大脑启发的多记忆框架，有效地解决了真实世界实体系统在终身学习中面临的连续学习、记忆延迟、任务相关性捕捉和闭环规划无限循环等问题。实验结果表明，该框架在多个基准测试中优于现有的SOTA模型，并在真实世界环境中展示了终身学习的能力，为物理机器人中的多模态记忆系统集成提供了基础参考。

Q: 论文做了哪些实验？

A: 论文中进行了以下几类实验：

基准测试实验

• 实验环境：在EmbodiedBench的EB-ALFRED基准环境中进行了评估，选择了Base和Long子集来测试代理的规划能力。
• 基线设置：与多种单VLM代理和VLM代理框架进行了比较，包括先进的闭源和开源模型。
• 评估指标：定义了两个评估指标：成功率（Success Rate, SR）和目标条件成功率（Goal Condition Success Rate, GC）。
• 实验结果：
  • RoboMemory在平均成功率和目标条件成功率上均取得了显著提升，超越了现有的开源基线和闭源SOTA模型。
  • 与SOTA单VLM代理模型Claude3.5-Sonnet相比，RoboMemory平均成功率提高了5%，目标条件成功率提高了15%。
  • 与其他VLM代理框架相比，RoboMemory也显示出显著的性能提升，证明了其优越性。

消融研究实验

• 实验目的：验证RoboMemory中各个关键组件对性能的贡献。
• 实验方法：在EB-ALFRED的Base和Long子集上系统地移除各个组件（如批评者模块、空间记忆和长期记忆），并观察性能变化。
• 实验结果：
  • 移除长期记忆后，成功率显著下降，表明长期记忆对于连续学习和任务完成至关重要。
  • 移除空间记忆后，成功率也有所下降，说明空间记忆在处理部分可观测实体设置中的重要性。
  • 移除批评者模块后，成功率降低，突显了批评者在闭环规划中适应动态环境的作用。

真实世界部署实验

• 实验环境：构建了一个模拟厨房的真实世界环境，包含多个导航点和交互对象。
• 实验方法：设计了15个不同任务，并让代理在不清除长期记忆的情况下重复执行这些任务两次。
• 实验结果：
  • 第二次执行时，成功率显著提高，证明了RoboMemory的长期记忆能够有效地指导后续任务，实现了真实世界中的终身学习。
  • 观察到代理在第二次尝试中能够利用第一次尝试的经验，避免重复错误，成功完成任务。

附加实验

• EB-Habitat基准测试：
  • 在EB-Habitat基准环境中进行了评估，同样取得了显著的性能提升，平均成功率提高了24%，目标条件成功率提高了12%。
  • 这些结果表明RoboMemory能够适应不同的环境，并在各种设置中表现出色。

错误分析

• 错误分类：将RoboMemory的错误分为三类：规划错误、推理错误和感知错误。
• 分析方法：通过分析失败任务的轨迹，识别错误类型，并计算每种错误类型的出现概率。
• 分析结果：发现规划错误是最常见的错误类型，表明即使记忆模块能够提供全面的信息，规划模块可能仍然无法提供良好的行动计划。

Q: 有什么可以进一步探索的点？

A: 尽管RoboMemory在终身学习和长期规划方面取得了显著的成果，但仍有一些可以进一步探索和改进的点：

1. 推理和规划能力的提升

• 问题：尽管RoboMemory在记忆和学习方面表现出色，但在规划和推理方面仍存在局限性。例如，在某些任务中，规划器可能会忽略记忆模块提供的信息，导致规划错误。
• 探索方向：
  • 改进规划算法：研究更先进的规划算法，使其能够更好地利用记忆模块提供的信息，提高规划的准确性和效率。
  • 增强推理能力：探索如何结合符号推理和神经网络推理，以提高代理在复杂任务中的推理能力。
  • 多模态融合：进一步优化多模态信息的融合方式，使规划器能够更全面地理解环境和任务需求。

2. 低级执行器的改进

• 问题：在真实世界部署中，低级执行器（如VLA模型）的表现不够理想，尤其是在执行复杂动作时。
• 探索方向：
  • 改进VLA模型：研究更先进的VLA模型，提高其在动态环境中的适应能力和可靠性。
  • 多模态指令：探索如何将视觉、语言等多种模态信息更有效地结合，以指导低级执行器的行动。
  • 强化学习：利用强化学习方法对低级执行器进行微调，使其能够更好地适应真实世界中的复杂任务。

3. 记忆系统的优化

• 问题：尽管RoboMemory的记忆系统在并行更新和检索方面表现出色，但在处理大规模数据时仍可能面临挑战。
• 探索方向：
  • 分布式记忆系统：研究如何将记忆系统分布式部署，以进一步提高其可扩展性和效率。
  • 记忆压缩和优化：探索记忆压缩技术，减少存储需求，同时保持记忆的完整性和准确性。
  • 动态记忆更新：进一步优化动态记忆更新算法，使其能够更高效地处理动态环境中的信息变化。

4. 多代理协作

• 问题：当前的RoboMemory框架主要关注单个代理的终身学习和规划，但在实际应用中，多代理协作是一个重要的研究方向。
• 探索方向：
  • 多代理记忆共享：研究如何在多个代理之间共享和同步记忆，以实现更高效的协作。
  • 分布式规划：探索分布式规划方法，使多个代理能够协同完成复杂任务。
  • 通信机制：设计有效的通信机制，使代理之间能够实时交流信息，提高协作效率。

5. 真实世界环境的适应性

• 问题：虽然RoboMemory在模拟环境和真实世界环境中都进行了测试，但在真实世界中的适应性仍需进一步验证。
• 探索方向：
  • 环境多样性：在更多样化的环境中测试RoboMemory，包括不同的场景、任务和硬件平台。
  • 鲁棒性测试：进行更严格的鲁棒性测试，包括在嘈杂环境、低光照条件和动态障碍物等复杂情况下评估代理的性能。
  • 长期部署：进行长期部署实验，观察代理在长时间运行中的表现和适应能力。

6. 交互和反馈机制

• 问题：当前的RoboMemory框架主要依赖于预定义的任务和环境，缺乏与环境和用户的实时交互和反馈机制。
• 探索方向：
  • 用户反馈：研究如何将用户反馈纳入学习和规划过程，使代理能够更好地适应用户需求。
  • 环境反馈：探索如何利用环境反馈来优化代理的行为和决策。
  • 自适应学习：设计自适应学习机制，使代理能够根据实时反馈动态调整其行为和策略。

7. 理论和模型的进一步研究

• 问题：尽管RoboMemory在实践中表现出色，但其理论基础和模型的可解释性仍有待进一步研究。
• 探索方向：
  • 理论分析：进行更深入的理论分析，以更好地理解RoboMemory的工作原理和性能极限。
  • 模型可解释性：研究如何提高模型的可解释性，使其决策过程更加透明和易于理解。
  • 跨领域应用：探索RoboMemory在其他领域的应用，如医疗、教育和工业自动化，以验证其通用性和适应性。

通过这些进一步的探索和改进，RoboMemory有望在真实世界中的复杂任务中实现更高效、更可靠的终身学习和长期规划。

Q: 总结一下论文的主要内容

A: 本文提出了RoboMemory，这是一个受大脑启发的多记忆框架，旨在解决物理实体系统在真实世界环境中进行终身学习时所面临的关键挑战，包括连续学习、多模块记忆延迟、任务相关性捕捉和闭环规划中的无限循环问题。该框架借鉴了认知神经科学，集成了四个核心模块：信息预处理器（类似丘脑）、终身实体记忆系统（类似海马体）、闭环规划模块（类似前额叶）和低级执行器（类似小脑），以实现长期规划和累积学习。

研究背景与动机

随着视觉-语言模型（VLMs）的快速发展，基于VLM的代理在实体任务中的部署越来越广泛。然而，当前的研究主要集中在虚拟模拟器或受控真实世界设置中的单一任务优化，缺乏对任务间相互依赖关系的建模机制。真实世界的实体代理需要在其整个生命周期内处理一系列连续的任务，这要求长期记忆系统不仅能够保留经验，还要能够捕捉跨任务的影响，实现累积改进。

研究方法

RoboMemory框架的核心是终身实体记忆系统，它通过并行化的更新和检索机制，缓解了复杂记忆框架中的推理速度问题。该系统包含空间、时间、情节和语义四个子模块，通过动态知识图谱（KG）和一致的架构设计，增强了记忆的一致性和可扩展性。

• 信息预处理器：将多模态输入转换为可索引和搜索的文本，包括步摘要器和查询生成器。
• 终身实体记忆系统：包含空间记忆（基于动态KG）、时间记忆（FIFO缓冲区）、情节记忆（记录任务级交互）和语义记忆（总结经验教训）。
• 闭环规划模块：采用规划者-批评者机制，结合当前任务信息、长期记忆和当前观察进行动作规划。
• 低级执行器：将高级动作转换为机器人可执行的低级命令。

实验

作者在EmbodiedBench的EB-ALFRED基准环境中对RoboMemory进行了评估，并与多种单VLM代理和VLM代理框架进行了比较。结果表明，RoboMemory在平均成功率和目标条件成功率上均取得了显著提升，超越了现有的开源基线和闭源SOTA模型。此外，作者还进行了消融研究，验证了关键组件（如批评者模块、空间记忆和长期记忆）对性能的贡献。在真实世界环境中，RoboMemory在重复执行任务时表现出了终身学习的能力，第二次执行的成功率显著提高。

关键结论

RoboMemory通过其受大脑启发的多记忆框架，有效地解决了真实世界实体系统在终身学习中面临的挑战。实验结果表明，该框架在多个基准测试中优于现有的SOTA模型，并在真实世界环境中展示了终身学习的能力，为物理机器人中的多模态记忆系统集成提供了基础参考。尽管如此，RoboMemory在推理和执行方面仍存在局限性，未来的工作将集中在改进推理能力、增强执行器的鲁棒性以及进一步优化记忆系统。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Mingcong Lei,Honghao Cai,Zezhou Cui,Liangchen Tan,Junkun Hong,Gehan Hu,Shuangyu Zhu,Yimou Wu,Shaohan Jiang,Ge Wang,Zhen Li,Shuguang Cui,Yiming Zhao,Yatong Han

Categories: cs.RO,cs.AI

PDF URL: https://arxiv.org/pdf/2508.01415.pdf

Arxiv URL: https://arxiv.org/abs/2508.01415

Arxiv ID: 2508.01415

CoolPaper URL: https://papers.cool/arxiv/2508.01415

Published: 2025-08-02T15:39:42Z

Updated: 2025-08-02T15:39:42.000Z

---

15. Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.

中文摘要

艺术作品的归属问题，一般来说，以及特别是绘画艺术，一直是艺术界的一个问题。强大的人工智能模型的出现，可以生成和分析图像，这为绘画归属带来了新的挑战。一方面，AI模型能够创建模仿画家风格的图像，这可能会被其他AI模型错误归属。另一方面，AI模型可能无法正确识别真实绘画的艺术家，从而诱导用户错误地归属绘画。在本文中，使用最先进的图像生成和分析AI模型，在一个包含来自128位艺术家的近40,000幅画作的大型数据集上实验研究了这两个问题。结果显示，视觉语言模型在以下方面的能力有限：1）进行画布归属；2）识别AI生成的图像。随着用户越来越依赖向AI模型查询以获取信息，这些结果表明，需要提高VLM在可靠地进行艺术家归属和识别AI生成图像方面的能力，以防止错误信息的传播。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败: Waiting failed: 30000ms exceeded

Authors: Tarian Fu,Javier Conde,Gonzalo Martínez,Pedro Reviriego,Elena Merino-Gómez,Fernando Moral

Categories: cs.CY

PDF URL: https://arxiv.org/pdf/2508.01408.pdf

Arxiv URL: https://arxiv.org/abs/2508.01408

Arxiv ID: 2508.01408

CoolPaper URL: https://papers.cool/arxiv/2508.01408

Published: 2025-08-02T15:27:31Z

Updated: 2025-08-02T15:27:31.000Z

---

16. Exploitation Is All You Need… for Exploration

Ensuring sufficient exploration is a central challenge when training meta-reinforcement learning (meta-RL) agents to solve novel environments. Conventional solutions to the exploration-exploitation dilemma inject explicit incentives such as randomization, uncertainty bonuses, or intrinsic rewards to encourage exploration. In this work, we hypothesize that an agent trained solely to maximize a greedy (exploitation-only) objective can nonetheless exhibit emergent exploratory behavior, provided three conditions are met: (1) Recurring Environmental Structure, where the environment features repeatable regularities that allow past experience to inform future choices; (2) Agent Memory, enabling the agent to retain and utilize historical interaction data; and (3) Long-Horizon Credit Assignment, where learning propagates returns over a time frame sufficient for the delayed benefits of exploration to inform current decisions. Through experiments in stochastic multi-armed bandits and temporally extended gridworlds, we observe that, when both structure and memory are present, a policy trained on a strictly greedy objective exhibits information-seeking exploratory behavior. We further demonstrate, through controlled ablations, that emergent exploration vanishes if either environmental structure or agent memory is absent (Conditions 1 & 2). Surprisingly, removing long-horizon credit assignment (Condition 3) does not always prevent emergent exploration-a result we attribute to the pseudo-Thompson Sampling effect. These findings suggest that, under the right prerequisites, exploration and exploitation need not be treated as orthogonal objectives but can emerge from a unified reward-maximization process.

中文摘要

在训练元强化学习 (meta-RL) 代理以解决新环境时，确保足够的探索是一个核心挑战。传统的探索-利用困境解决方案通过引入显式激励，如随机化、不确定性奖励或内在奖励，来鼓励探索。在这项工作中，我们假设一个仅被训练以最大化贪婪（仅利用）目标的代理仍然可以表现出自发的探索行为，前提是满足三个条件：（1）重复的环境结构，其中环境具有可重复的规律性，可以使过去的经验为未来的选择提供信息；（2）代理记忆，使代理能够保留和利用历史交互数据；（3）长时间范围的奖励分配，学习在足够的时间范围内传播收益，使得探索的延迟收益可以影响当前决策。通过在随机多臂老虎机和时间扩展网格世界中的实验，我们观察到，当结构和记忆同时存在时，基于严格贪婪目标训练的策略表现出寻求信息的探索行为。我们进一步通过控制消融实验展示，如果缺少环境结构或代理记忆（条件 1 和 2），自发探索将消失。令人惊讶的是，移除长时间范围的奖励分配（条件 3）并不总是会阻止自发探索——我们将这一结果归因于伪汤普森采样效应。这些发现表明，在正确的前提下，探索和利用不必被视为正交目标，而可以从统一的奖励最大化过程中出现。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决在元强化学习（meta-reinforcement learning, meta-RL）中，如何使智能体在没有明确探索激励的情况下自然地产生探索行为的问题。

传统上，强化学习（RL）中的探索-利用困境（exploration-exploitation dilemma）通常通过引入明确的探索激励机制来解决，例如随机化技术（如ϵ-greedy采样）、不确定性奖励（如Upper Confidence Bound, UCB算法）或内在动机机制（如好奇心驱动的探索）。然而，这些方法都将探索和利用视为两个正交的目标。

论文的核心问题可以概括为：是否可以通过纯粹的贪婪（exploitation-only）目标来训练智能体，使其自然地展现出探索行为，而无需明确的探索激励？作者提出了一个假设，即在满足以下三个条件下，这种探索行为可以自然涌现：

1. 环境的重复结构（Recurring Environmental Structure）：环境中存在可重复的规律性，使得早期获得的信息在后续决策中仍然有价值。
2. 智能体的记忆（Agent Memory）：智能体能够保留并利用过去的交互数据。
3. 长期的信用分配（Long-Horizon Credit Assignment）：学习过程能够将信息收集与长期回报联系起来。

通过在随机多臂老虎机（stochastic multi-armed bandits）和时间扩展的网格世界（temporally extended gridworlds）中的实验，作者试图验证这一假设，并探讨在何种条件下探索行为能够自然涌现。

Q: 有哪些相关研究？

A: 论文中提到了多个与探索-利用困境（exploration-exploitation dilemma）相关的研究领域和方法。以下是一些主要的相关研究：

早期探索方法

• 随机化技术：如ϵ-greedy采样和softmax动作选择，通过引入随机性来鼓励探索未知动作。
• 置信区间方法：如Upper Confidence Bound (UCB) 算法，通过计算动作的置信区间来平衡探索和利用。
• Thompson Sampling：一种贝叶斯方法，通过采样动作的价值分布来选择动作，既考虑了探索也考虑了利用。

高维环境中的探索

• 密度建模和伪计数方法：如Bellemare等人提出的基于计数的探索方法，通过估计状态或动作的访问频率来提供探索激励。
• 基于哈希的方法：如Tang等人提出的哈希技术，通过将状态映射到低维空间来鼓励探索。
• 后继表示方法：如Machado等人提出的后继表示方法，通过学习状态之间的转移关系来提供内在奖励。

内在动机机制

• 好奇心驱动的探索：如Pathak等人提出的基于预测误差的内在奖励机制，鼓励智能体探索新颖或不可预测的状态。
• 随机网络蒸馏（RND）：如Burda等人提出的RND方法，在稀疏奖励的Atari游戏中提供内在奖励，鼓励智能体探索未知状态。

元强化学习（Meta-RL）

• 快速适应方法：如Duan等人提出的RL²方法，通过在多个相关任务上学习，使智能体能够快速适应新任务。
• 记忆丰富的架构：如Hausknecht和Stone提出的深度循环Q学习，以及Chen等人提出的基于Transformer的架构，这些方法通过记忆机制使智能体能够内部化探索策略。
• 贝叶斯方法：如Zintgraf等人提出的VariBAD方法，通过贝叶斯原理指导隐式探索，尽管它仍然显式地建模不确定性。

神经科学视角

• 元学习机制：如Botvinick等人提出的大脑通过重复任务、记忆和奖励驱动的学习过程来平衡探索和利用。

这些相关研究为本文提供了背景和对比，展示了在不同环境和条件下解决探索-利用困境的多种方法。本文的核心贡献在于提出了一种新的视角，即在特定条件下，探索行为可以自然地从纯粹的利用目标中涌现，而无需显式的探索激励。

Q: 论文如何解决这个问题？

A: 论文通过以下方法来解决如何在没有明确探索激励的情况下使智能体自然产生探索行为的问题：

1. 提出假设

论文提出了一个假设：在满足以下三个条件下，即使智能体仅被训练为最大化贪婪（exploitation-only）目标，它也能展现出探索行为：

• 环境的重复结构（Recurring Environmental Structure）：环境中存在可重复的规律性，使得早期获得的信息在后续决策中仍然有价值。
• 智能体的记忆（Agent Memory）：智能体能够保留并利用过去的交互数据。
• 长期的信用分配（Long-Horizon Credit Assignment）：学习过程能够将信息收集与长期回报联系起来。

2. 实验设计

为了验证这一假设，论文设计了一系列控制性消融研究（controlled ablation studies），在两种不同的环境中进行实验：随机多臂老虎机（stochastic multi-armed bandits）和时间扩展的网格世界（temporally extended gridworlds）。

2.1 环境设置

• 多臂老虎机：每个臂的奖励来自一个固定的分布（在实验中为伯努利分布）。智能体在多个episode中选择臂，每个任务块（task block）内奖励参数固定。通过改变任务块的平均长度 ( n )，控制环境的重复结构。
• 网格世界：智能体需要从起始状态导航到目标状态，只有成功到达目标时才会获得奖励。环境在每个任务块内保持固定，通过改变任务块的平均长度 ( n )，控制环境的重复结构。

2.2 智能体架构

智能体使用基于Transformer的价值函数，能够处理最近的 ( X ) 个token（由动作、观察和奖励组成），从而控制记忆容量。通过改变 ( X ) 的值，可以控制智能体的记忆能力。

2.3 训练过程

智能体使用Deep Q-Network（DQN）算法进行训练，通过调整折扣因子 ( \gamma_{\text{episode}} ) 来控制时间范围内的信用分配。训练目标是最大化每个任务块内的总期望折扣奖励。

3. 实验结果

通过实验，论文验证了以下几点：

• 环境重复结构和智能体记忆的必要性：当环境具有重复结构且智能体具备足够的记忆时，即使没有显式的探索激励，智能体也能展现出探索行为。
• 长期信用分配的作用：在多臂老虎机任务中，即使没有长期信用分配（即 ( \gamma_{\text{episode}} = 0 )），智能体仍然展现出探索行为。这被归因于Transformer架构能够产生伪Thompson Sampling（pseudo-Thompson Sampling）效果。然而，在更复杂的网格世界任务中，适当的折扣因子（即非零的 ( \gamma_{\text{episode}} )）对于支持有效的探索仍然是必要的。

4. 关键结论

• 探索行为的自然涌现：在满足环境重复结构和智能体记忆的条件下，探索行为可以从纯粹的利用目标中自然涌现。
• 长期信用分配的可选性：在某些情况下，长期信用分配不是必需的，因为Transformer架构能够通过伪Thompson Sampling效果来近似有效的探索策略。但在更复杂的任务中，长期信用分配仍然是重要的。

通过这些实验和分析，论文提供了有力的证据，表明在适当的条件下，探索和利用不需要被视为正交目标，而是可以从统一的奖励最大化过程中自然涌现。

Q: 论文做了哪些实验？

A: 论文设计了两组实验，分别在随机多臂老虎机（stochastic multi-armed bandits）和时间扩展的网格世界（temporally extended gridworlds）中进行。这些实验旨在验证在特定条件下，仅通过最大化贪婪目标训练的智能体是否能够自然地展现出探索行为。以下是实验的详细设置和结果：

1. 多臂老虎机实验

1.1 环境设置

• 任务块（Task Blocks）：每个任务块包含多个episode，任务块的平均长度 ( n ) 可以控制环境的重复结构。在每个任务块内，每个臂的奖励分布保持不变。
• 奖励分布：每个臂的奖励来自一个固定的伯努利分布。
• 任务块的结束：每个episode结束后，以概率 ( 1/n ) 结束当前任务块并开始一个新的任务块，新任务块中每个臂的奖励分布重新采样。

1.2 智能体架构

• Transformer架构：智能体使用基于Transformer的价值函数，能够处理最近的 ( X ) 个token（由动作、观察和奖励组成），从而控制记忆容量。
• 记忆容量：通过改变 ( X ) 的值来控制智能体的记忆能力。

1.3 训练过程

• DQN算法：使用Deep Q-Network（DQN）算法进行训练，通过调整折扣因子 ( \gamma_{\text{episode}} ) 来控制时间范围内的信用分配。
• 目标：最大化每个任务块内的总期望折扣奖励。

1.4 测试过程

• 测试环境：在测试时，智能体在固定的任务块内运行多个episode，记录其行为和奖励。
• 性能评估：通过比较智能体在不同条件下的累积奖励来评估其探索行为。

1.5 实验结果

• 环境重复结构的影响：当任务块的平均长度 ( n ) 增大时，智能体的累积奖励增加，表明环境的重复结构有助于探索行为的涌现。
• 记忆容量的影响：当智能体的记忆容量 ( X ) 增大时，累积奖励增加，表明足够的记忆容量是探索行为涌现的必要条件。
• 长期信用分配的影响：即使在 ( \gamma_{\text{episode}} = 0 ) 的情况下，智能体仍然展现出探索行为，这归因于Transformer架构能够产生伪Thompson Sampling效果。

2. 网格世界实验

2.1 环境设置

• 任务块（Task Blocks）：每个任务块包含多个episode，任务块的平均长度 ( n ) 可以控制环境的重复结构。在每个任务块内，网格世界的布局保持不变。
• 奖励设置：智能体只有在成功到达目标时才会获得奖励，奖励值为 ( 1/t )，其中 ( t ) 是到达目标所需的步数。
• 任务块的结束：每个episode结束后，以概率 ( 1/n ) 结束当前任务块并开始一个新的任务块，新任务块中网格世界的布局重新生成。

2.2 智能体架构

• Transformer架构：智能体使用基于Transformer的价值函数，能够处理最近的 ( X ) 个token（由动作、观察和奖励组成），从而控制记忆容量。
• 记忆容量：通过改变 ( X ) 的值来控制智能体的记忆能力。

2.3 训练过程

• DQN算法：使用Deep Q-Network（DQN）算法进行训练，通过调整折扣因子 ( \gamma_{\text{episode}} ) 来控制时间范围内的信用分配。
• 目标：最大化每个任务块内的总期望折扣奖励。

2.4 测试过程

• 测试环境：在测试时，智能体在固定的任务块内运行多个episode，记录其行为和奖励。
• 性能评估：通过比较智能体在不同条件下的累积奖励和状态访问分布来评估其探索行为。

2.5 实验结果

• 环境重复结构的影响：当任务块的平均长度 ( n ) 增大时，智能体的累积奖励增加，表明环境的重复结构有助于探索行为的涌现。
• 记忆容量的影响：当智能体的记忆容量 ( X ) 增大时，累积奖励增加，表明足够的记忆容量是探索行为涌现的必要条件。
• 长期信用分配的影响：在 ( \gamma_{\text{episode}} = 0 ) 的情况下，智能体的累积奖励较低，表明在更复杂的任务中，适当的折扣因子对于支持有效的探索仍然是必要的。

3. 关键结论

• 探索行为的自然涌现：在满足环境重复结构和智能体记忆的条件下，探索行为可以从纯粹的利用目标中自然涌现。
• 长期信用分配的可选性：在某些情况下，长期信用分配不是必需的，因为Transformer架构能够通过伪Thompson Sampling效果来近似有效的探索策略。但在更复杂的任务中，长期信用分配仍然是重要的。

通过这些实验，论文验证了在适当的条件下，探索和利用不需要被视为正交目标，而是可以从统一的奖励最大化过程中自然涌现。

Q: 有什么可以进一步探索的点？

A: 论文提出了探索行为可以从纯粹的利用目标中自然涌现的观点，并通过实验验证了这一观点。然而，论文也指出了其研究的局限性，并提出了未来研究可以进一步探索的方向。以下是一些可以进一步探索的点：

1. 复杂环境中的探索行为

• 高维环境：当前的研究主要集中在相对简单的多臂老虎机和网格世界环境中。未来的研究可以扩展到更复杂、高维的环境中，例如在Atari游戏或其他现实世界的应用场景中验证探索行为的涌现。
• 动态环境：在动态变化的环境中，环境的结构和奖励分布可能会随时间变化。研究在这些动态环境中，智能体如何通过记忆和重复结构来适应变化并进行有效的探索。

2. 长期信用分配的机制

• 理论基础：虽然论文提出了伪Thompson Sampling（pseudo-Thompson Sampling）作为长期信用分配的一种替代机制，但这一机制的理论基础尚未完全建立。未来的研究可以深入探讨这一机制的数学基础，以及在何种条件下它能够有效替代长期信用分配。
• 不同架构的比较：研究不同类型的神经网络架构（如循环神经网络、Transformer等）在长期信用分配中的表现，以及它们在不同任务中的适用性。

3. 记忆容量和环境结构的交互

• 记忆容量的优化：研究如何优化智能体的记忆容量，以更好地利用环境的重复结构。例如，是否可以通过动态调整记忆容量来适应不同的环境复杂度？
• 环境结构的多样性：研究不同类型的环境结构（如周期性结构、层次结构等）对探索行为的影响，以及智能体如何通过记忆来识别和利用这些结构。

4. 伪Thompson Sampling的适用性

• 适用范围：研究伪Thompson Sampling在不同类型的任务中的适用性，特别是在更复杂的多步任务中。例如，在哪些任务中伪Thompson Sampling能够有效替代长期信用分配，而在哪些任务中它可能失效？
• 改进方法：探索如何改进伪Thompson Sampling，使其在更广泛的任务中更加有效。例如，是否可以通过引入额外的机制（如不确定性估计）来增强伪Thompson Sampling的效果？

5. 多智能体环境中的探索

• 合作与竞争：研究在多智能体环境中，智能体如何通过合作或竞争来实现有效的探索。例如，智能体之间是否可以通过共享信息来加速探索过程？
• 社会学习：研究智能体如何通过观察其他智能体的行为来学习探索策略，以及这种社会学习机制如何与个体学习相结合。

6. 长期信用分配的替代机制

• 其他替代机制：研究是否存在其他机制可以替代长期信用分配，例如通过引入内在奖励或其他激励机制来促进探索。
• 结合多种机制：研究如何结合长期信用分配和伪Thompson Sampling等机制，以实现更有效的探索和利用平衡。

7. 神经科学的启示

• 生物机制：进一步研究神经科学中的元学习机制，探索这些机制如何为强化学习中的探索-利用平衡提供新的启示。
• 跨学科研究：结合神经科学和机器学习的方法，研究如何设计更接近生物学习机制的强化学习算法。

8. 实际应用中的验证

• 现实世界任务：在现实世界的应用场景中验证论文中的发现，例如在机器人导航、自动驾驶、医疗诊断等领域。
• 工业级应用：研究如何将这些发现应用于工业级的强化学习系统，以提高系统的性能和适应性。

通过这些进一步的研究，可以更全面地理解探索行为的涌现机制，并为设计更高效、更适应复杂环境的强化学习算法提供理论和实践基础。

Q: 总结一下论文的主要内容

A: 论文《Exploitation Is All You Need… for Exploration》由Micah Rentschler和Jesse Roberts撰写，探讨了在元强化学习（meta-reinforcement learning, meta-RL）中，智能体是否可以在没有明确探索激励的情况下自然地产生探索行为。论文的核心观点是，在满足特定条件下，探索行为可以从纯粹的利用目标中自然涌现。以下是论文的主要内容总结：

研究背景

• 探索与利用的困境：在强化学习中，智能体需要在探索未知动作（可能带来未来收益）和利用已知奖励之间找到平衡。传统方法通过引入明确的探索激励（如ϵ-greedy、UCB、内在奖励等）来解决这一问题。
• 元强化学习（Meta-RL）：Meta-RL旨在训练能够在新任务中快速适应的智能体。通过在多个相关任务上学习，智能体能够利用过去的经验来快速适应新任务。

研究假设

论文提出了一个假设：即使智能体仅被训练为最大化贪婪（exploitation-only）目标，它也能展现出探索行为，前提是满足以下三个条件：

1. 环境的重复结构（Recurring Environmental Structure）：环境中存在可重复的规律性，使得早期获得的信息在后续决策中仍然有价值。
2. 智能体的记忆（Agent Memory）：智能体能够保留并利用过去的交互数据。
3. 长期的信用分配（Long-Horizon Credit Assignment）：学习过程能够将信息收集与长期回报联系起来。

实验设计

为了验证这一假设，论文设计了两组实验，分别在随机多臂老虎机（stochastic multi-armed bandits）和时间扩展的网格世界（temporally extended gridworlds）中进行。

多臂老虎机实验

• 环境设置：每个任务块包含多个episode，任务块的平均长度 ( n ) 控制环境的重复结构。每个臂的奖励来自一个固定的伯努利分布。
• 智能体架构：使用基于Transformer的价值函数，能够处理最近的 ( X ) 个token（由动作、观察和奖励组成），从而控制记忆容量。
• 训练过程：使用Deep Q-Network（DQN）算法进行训练，通过调整折扣因子 ( \gamma_{\text{episode}} ) 来控制时间范围内的信用分配。
• 实验结果：
  • 环境重复结构的影响：任务块的平均长度 ( n ) 增大时，智能体的累积奖励增加。
  • 记忆容量的影响：智能体的记忆容量 ( X ) 增大时，累积奖励增加。
  • 长期信用分配的影响：即使在 ( \gamma_{\text{episode}} = 0 ) 的情况下，智能体仍然展现出探索行为，归因于Transformer架构能够产生伪Thompson Sampling效果。

网格世界实验

• 环境设置：每个任务块包含多个episode，任务块的平均长度 ( n ) 控制环境的重复结构。智能体需要从起始状态导航到目标状态，只有成功到达目标时才会获得奖励。
• 智能体架构：使用基于Transformer的价值函数，能够处理最近的 ( X ) 个token（由动作、观察和奖励组成），从而控制记忆容量。
• 训练过程：使用Deep Q-Network（DQN）算法进行训练，通过调整折扣因子 ( \gamma_{\text{episode}} ) 来控制时间范围内的信用分配。
• 实验结果：
  • 环境重复结构的影响：任务块的平均长度 ( n ) 增大时，智能体的累积奖励增加。
  • 记忆容量的影响：智能体的记忆容量 ( X ) 增大时，累积奖励增加。
  • 长期信用分配的影响：在 ( \gamma_{\text{episode}} = 0 ) 的情况下，智能体的累积奖励较低，表明在更复杂的任务中，适当的折扣因子对于支持有效的探索仍然是必要的。

关键结论

• 探索行为的自然涌现：在满足环境重复结构和智能体记忆的条件下，探索行为可以从纯粹的利用目标中自然涌现。
• 长期信用分配的可选性：在某些情况下，长期信用分配不是必需的，因为Transformer架构能够通过伪Thompson Sampling效果来近似有效的探索策略。但在更复杂的任务中，长期信用分配仍然是重要的。

未来研究方向

• 复杂环境中的探索行为：扩展到更复杂、高维的环境中，验证探索行为的涌现。
• 长期信用分配的机制：深入研究伪Thompson Sampling的理论基础，探索不同架构在长期信用分配中的表现。
• 记忆容量和环境结构的交互：研究如何优化智能体的记忆容量，以及不同类型的环境结构对探索行为的影响。
• 伪Thompson Sampling的适用性：研究伪Thompson Sampling在不同类型任务中的适用性，并探索改进方法。
• 多智能体环境中的探索：研究在多智能体环境中，智能体如何通过合作或竞争来实现有效的探索。
• 实际应用中的验证：在现实世界的应用场景中验证论文中的发现，例如在机器人导航、自动驾驶、医疗诊断等领域。

通过这些实验和分析，论文提供了有力的证据，表明在适当的条件下，探索和利用不需要被视为正交目标，而是可以从统一的奖励最大化过程中自然涌现。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Micah Rentschler,Jesse Roberts

Categories: cs.LG,cs.AI

PDF URL: https://arxiv.org/pdf/2508.01287.pdf

Arxiv URL: https://arxiv.org/abs/2508.01287

Arxiv ID: 2508.01287

CoolPaper URL: https://papers.cool/arxiv/2508.01287

Published: 2025-08-02T09:42:59Z

Updated: 2025-08-02T09:42:59.000Z

---

17. Cyber-Zero: Training Cybersecurity Agents without Runtime

Large Language Models (LLMs) have achieved remarkable success in software engineering tasks when trained with executable runtime environments, particularly in resolving GitHub issues. However, such runtime environments are often unavailable in other domains, especially cybersecurity, where challenge configurations and execution contexts are ephemeral or restricted. We present Cyber-Zero, the first runtime-free framework for synthesizing high-quality agent trajectories to train cybersecurity LLMs. Cyber-Zero leverages publicly available CTF writeups and employs persona-driven LLM simulation to reverse-engineer runtime behaviors and generate realistic, long-horizon interaction sequences without actual environments. Using trajectories synthesized by Cyber-Zero, we train LLM-based agents that achieve up to 13.1% absolute performance gains over baseline models on three prominent CTF benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best model, Cyber-Zero-32B, establishes new state-of-the-art performance among open-weight models, matching the capabilities of proprietary systems like DeepSeek-V3-0324 and Claude-3.5-Sonnet while offering superior cost-effectiveness, and demonstrating that runtime-free trajectory synthesis can effectively democratize the development of state-of-the-art cybersecurity agents.

中文摘要

大型语言模型（LLMs）在软件工程任务中取得了显著成功，尤其是在具有可执行运行环境的情况下，特别是在解决GitHub问题方面。然而，这种运行环境在其他领域常常不可用，尤其是在网络安全领域，其中挑战配置和执行上下文是短暂或受限的。我们提出了Cyber-Zero，这是第一个无运行时框架，用于合成高质量的代理轨迹以训练网络安全LLMs。Cyber-Zero利用公开可用的CTF报告，并采用基于角色的LLM模拟来逆向工程运行时行为，生成具有现实感的长效交互序列，而无需实际环境。利用Cyber-Zero合成的轨迹，我们培训的基于LLM的代理在三个重要的CTF基准测试上实现了高达13.1%的绝对性能提升：InterCode-CTF、NYU CTF Bench和Cybench。我们的最佳模型Cyber-Zero-32B在开放权重模型中建立了新的行业领先性能，匹配了DeepSeek-V3-0324和Claude-3.5-Sonnet等专有系统的能力，同时提供了更优的成本效益，证明了无运行时轨迹合成可以有效地促进先进网络安全代理的开发。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败: Waiting failed: 30000ms exceeded

Authors: Terry Yue Zhuo,Dingmin Wang,Hantian Ding,Varun Kumar,Zijian Wang

Categories: cs.CR,cs.CL,cs.LG

PDF URL: https://arxiv.org/pdf/2508.00910.pdf

Arxiv URL: https://arxiv.org/abs/2508.00910

Arxiv ID: 2508.00910

CoolPaper URL: https://papers.cool/arxiv/2508.00910

Published: 2025-07-29T18:10:37Z

Updated: 2025-07-29T18:10:37.000Z

---

18. Embedding-Aware Quantum-Classical SVMs for Scalable Quantum Machine Learning

Quantum Support Vector Machines face scalability challenges due to high-dimensional quantum states and hardware limitations. We propose an embedding-aware quantum-classical pipeline combining class-balanced k-means distillation with pretrained Vision Transformer embeddings. Our key finding: ViT embeddings uniquely enable quantum advantage, achieving up to 8.02% accuracy improvements over classical SVMs on Fashion-MNIST and 4.42% on MNIST, while CNN features show performance degradation. Using 16-qubit tensor network simulation via cuTensorNet, we provide the first systematic evidence that quantum kernel advantage depends critically on embedding choice, revealing fundamental synergy between transformer attention and quantum feature spaces. This provides a practical pathway for scalable quantum machine learning that leverages modern neural architectures.

中文摘要

量子支持向量机由于高维量子态和硬件限制面临可扩展性挑战。我们提出了一种嵌入感知的量子-经典管道，结合了类平衡的k均值蒸馏和预训练的视觉变换器嵌入。我们的主要发现是：ViT嵌入独特地实现了量子优势，在Fashion-MNIST上相对于经典SVM提高了高达8.02%的准确率，而在MNIST上提高了4.42%，而CNN特征的性能却有所下降。通过使用16量子比特的张量网络模拟，我们提供了首个系统证据，表明量子核优势关键依赖于嵌入选择，揭示了变换器注意力与量子特征空间之间的基本协同。这为可扩展的量子机器学习提供了一条实际途径，利用现代神经架构。

LLM Analysis

LLM Analysis Failed: Error: 抓取失败: Waiting failed: 30000ms exceeded

Authors: Sebastián Andrés Cajas Ordóñez,Luis Fernando Torres Torres,Mario Bifulco,Carlos Andrés Durán,Cristian Bosch,Ricardo Simón Carbajo

Categories: quant-ph,cs.AI,cs.LG

PDF URL: https://arxiv.org/pdf/2508.00024.pdf

Arxiv URL: https://arxiv.org/abs/2508.00024

Arxiv ID: 2508.00024

CoolPaper URL: https://papers.cool/arxiv/2508.00024

Published: 2025-07-28T21:23:51Z

Updated: 2025-07-28T21:23:51.000Z

---

19. AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.

中文摘要

测试时缩放（TTS）通过在推理期间分配额外的计算资源来提升大型语言模型（LLM）的性能。然而，现有研究主要集中在单阶段任务中的TTS，而许多现实世界的问题是由一系列异质子任务组成的多阶段复杂任务，每个子任务需要特定能力的LLM。因此，我们研究了一个新问题：在多阶段复杂任务中的测试时计算最优缩放，旨在为每个子任务选择合适的模型并分配预算，以最大化整体性能。多阶段任务中的TTS带来了两个基本挑战：（i）模型和预算分配的组合搜索空间，加上推理的高成本，使得暴力搜索不切实际。（ii）跨子任务的最佳模型和预算分配是相互依赖的，增加了计算最优搜索的复杂性。为了解决这一问题，我们在六个数据集上的四个任务中进行了广泛的初步实验，获得了三个经验洞察，表征了LLMs在多阶段复杂任务中的行为。在这些洞察的启发下，我们提出了AgentTTS，一个基于LLM代理的框架，通过与执行环境的迭代反馈驱动交互，自动搜索计算最优分配。实验结果表明，AgentTTS在搜索效率上显著优于传统和其他基于LLM的基准，并且对不同训练集大小表现出更强的鲁棒性和更好的可解释性。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文研究了一个新颖的问题：在多阶段复杂任务中，如何在测试时（test-time）实现计算资源的最优分配，以最大化整体任务性能。具体来说，它关注于如何在多阶段任务的各个子任务之间分配计算预算，选择合适的模型，并确定每个子任务的计算资源分配，从而在给定的总计算预算下达到最佳性能。

多阶段复杂任务由一系列异构子任务组成，每个子任务都需要具备特定能力的模型来完成。例如，在一个检索-生成问答系统中，检索阶段可能需要一个能够理解长文本上下文的大模型，而生成阶段则可以通过重复采样的小模型来实现较好的性能。因此，这种任务需要针对每个子任务选择不同类型的模型，并且在总计算预算有限的情况下，合理分配计算资源给每个子任务。

然而，现有的研究主要集中在单阶段任务的测试时扩展（Test-time Scaling, TTS），而对于多阶段复杂任务中的计算资源分配问题，尤其是如何在子任务之间进行最优分配，仍然是一个未被充分探索的领域。

Q: 有哪些相关研究？

A: 论文中提到了两个与该问题密切相关的研究领域：

测试时扩展（Test-time Scaling）和计算最优策略（Compute-optimal Strategy）

• 测试时扩展（Test-time Scaling）：这一领域研究如何在推理阶段分配额外的计算资源以提升大型语言模型（LLMs）的性能。现有的方法主要分为两类：顺序扩展（sequential scaling）和并行扩展（parallel scaling）。顺序扩展通过迭代地细化输出来提升性能，但依赖于良好的初始响应；并行扩展则通过生成多个输出并使用基于奖励的聚合方法来选择最佳预测。并行扩展更适合复杂任务，因为它具有更好的可扩展性和更广泛的解覆盖范围。
• 计算最优策略（Compute-optimal Strategy）：这一领域研究如何在训练扩展和测试时扩展之间进行选择，以及如何选择不同的测试时扩展技术以优化性能。研究表明，在某些情况下，小模型在相同的计算预算下可以超越大模型。例如，通过任务难度预测器来动态指导扩展决策，或者使用线性模型来拟合影响策略选择的关键因素。

基于LLM的超参数优化（LLMs for Hyperparameter Optimization）

• 基于LLM的超参数优化：LLMs已被证明是超参数优化（HPO）的强大工具，能够超越传统的AutoML技术，如贝叶斯优化（Bayesian Optimization, BO）。LLMs通过利用上下文推理和先验知识来优化超参数。相关研究主要分为两个方向：一是减少传统方法的搜索空间，二是直接生成超参数配置。例如，GPT-NAS结合GPT模型和进化算法来快速修剪低质量架构，而AgentHPO则通过LLM自主处理任务描述、进行实验，并基于累积的试验迭代改进超参数搜索。

这些相关研究为本文提出的AgentTTS框架提供了理论基础和技术支持。AgentTTS通过整合测试时扩展的实证洞察，利用LLM的规划和推理能力，高效地搜索多阶段任务中的计算最优配置。

Q: 论文如何解决这个问题？

A: 为了解决多阶段复杂任务中测试时计算最优分配的问题，论文首先通过广泛的初步实验，得出了三个关键的实证洞察（insights），这些洞察揭示了在多阶段任务中进行测试时扩展（TTS）的基本规律。基于这些洞察，论文提出了AgentTTS框架，这是一个基于LLM代理的框架，能够通过与执行环境的迭代反馈驱动交互，自主地搜索计算最优分配。以下是具体的解决方法：

实证洞察（Insights）

1. 不同子任务对模型大小的偏好不同：某些子任务更适合使用大型模型，而其他子任务则可以通过小型模型和更多的采样来实现更好的性能。例如，在检索-生成问答系统中，检索阶段通常需要大型模型来理解长文本上下文，而生成阶段则可以通过小型模型和多次采样来实现较好的性能。
2. 测试时计算的增加最初会提升性能，但超过一定点后会带来边际收益递减或无增益：对于每个子任务，增加测试时计算（如采样次数）最初会提高性能，但当达到某个最优预算后，进一步增加计算资源可能不会带来性能提升，甚至可能导致性能下降。
3. 早期子任务的计算分配会影响下游子任务的扩展动态和计算需求：一个子任务的性能和计算需求会影响后续子任务的性能和预算要求。例如，高质量的检索可以显著减少下游生成子任务所需的计算量，以达到最佳性能；相反，检索质量差则需要下游任务增加计算量来补偿。

AgentTTS框架

AgentTTS框架由三个核心组件构成：Agent（代理）、Archive（档案）和Environment（环境）。以下是框架的工作流程和各组件的作用：

Agent（代理）

• 初始化阶段：Agent根据第一个洞察（Insight 1）生成初始的一组试验（trials），这些试验基于每个子任务对模型大小的偏好。Agent会为每个子任务选择一个模型，并分配预算，同时固定其他子任务使用最大的可用模型进行单次采样。
• 后续阶段：在收到Environment返回的性能反馈后，Agent根据这些反馈和前两个洞察（Insight 1和Insight 2）生成新的试验。Agent会根据性能比较生成初始的指导方针（guidelines），这些方针建议后续试验是否应该优先选择小型或大型模型。Agent还会根据第三个洞察（Insight 3）生成新的试验，考虑子任务之间的相互依赖性，并探索不同子任务之间的预算分配权衡。

Archive（档案）

• 存储历史信息：Archive存储Agent生成的所有试验、指导方针以及相应的性能反馈。这些信息被记录在实验日志中，以便Agent在后续迭代中参考。

Environment（环境）

• 执行和评估试验：Environment负责执行Archive中的试验，并在实际的任务平台上评估它们的性能。Environment将试验转换为可执行脚本，并在小训练集上执行这些脚本。执行完成后，Environment将性能反馈返回给Agent。

迭代过程

AgentTTS通过Agent、Archive和Environment之间的迭代交互来搜索计算最优分配。Agent根据Archive中的历史信息和Environment返回的性能反馈，不断生成新的试验和指导方针。这个过程一直持续到满足预定义的停止条件为止。最终，Archive输出在搜索过程中发现的最佳试验。

总结

AgentTTS框架通过整合实证洞察，利用LLM的规划和推理能力，有效地搜索多阶段任务中的计算最优配置。这种方法不仅提高了搜索效率，还增强了结果的可解释性，并且在非平滑的搜索空间中表现出更强的鲁棒性。

Q: 论文做了哪些实验？

A: 论文中进行了以下几类实验：

1. 验证AgentTTS框架在多阶段复杂任务中的性能

• 实验设置：在六个数据集上进行实验，这些数据集涵盖了四种不同的任务类型，包括检索增强型问答（Retrieval-based Question Answering）、知识图谱问答（Knowledge Graph Question Answering）、任务自动化（Task Automation）和自动化软件开发（Automated Software Development）。使用了多种模型，模型大小从3B到72B不等。所有方法都在包含50个样本的训练集上执行50次迭代的搜索，并在包含500个样本的测试集上进行评估。
• 主要结果：AgentTTS在搜索效率和测试集性能方面均优于传统方法（如贝叶斯优化和随机搜索）以及其他基于LLM的方法（如AgentHPO、MLCopilot和LLM_ZS）。例如，在2WikiMultiHopQA数据集上，AgentTTS在测试集上比次优方法高出2%。此外，AgentTTS在搜索时间上也显著减少，例如在2WikiMultiHopQA上，AgentTTS仅需2.5小时，而其他方法如LLM_ZS需要12.5小时。
• 消融研究：通过比较AgentTTS与去除某个洞察（Insight）的变体，验证了每个洞察对AgentTTS性能的贡献。结果表明，去除任何一个洞察都会导致AgentTTS的性能下降，证明了这些洞察在指导搜索过程中的重要性。

2. 研究训练集大小对搜索方法鲁棒性的影响

• 实验设置：在2WikiMultiHopQA数据集上，将训练集大小分别设置为50、75和100个样本，评估不同搜索方法在不同训练集大小下的搜索效率。
• 主要结果：随着训练集大小的减小，基于LLM的基线方法和贝叶斯优化的搜索效率下降，而AgentTTS能够保持较高的搜索效率，这表明AgentTTS对非平滑搜索空间具有更强的鲁棒性。

3. 探索不同预算设置下的搜索效率

• 实验设置：在2WikiMultiHopQA数据集上，设置两种不同的预算：低预算（500，只有一个子任务可以达到其最优配置）和高预算（2000，所有子任务都可以达到其最优配置，但搜索空间更大）。
• 主要结果：AgentTTS在低预算设置下能够找到最优配置，证明了其在处理子任务间依赖关系和权衡预算分配方面的优势。在从低预算到高预算的设置中，AgentTTS始终优于基线方法，显示出其在不同预算规模下的鲁棒性。

4. 验证AgentTTS的可解释性

• 实验设置：通过三个案例研究，展示了AgentTTS如何通过整合实证洞察来生成新的试验，并解释决策理由。
• 主要结果：AgentTTS能够根据每个子任务的特点选择合适的模型，并确定每个子任务的最优采样范围。例如，在2WikiMultiHopQA案例中，AgentTTS根据第一个洞察（Insight 1）为检索子任务选择了大型模型，为问答子任务选择了小型模型；根据第二个洞察（Insight 2）确定了问答子任务的最优采样范围；根据第三个洞察（Insight 3）平衡了两个子任务之间的预算分配。这些案例证明了AgentTTS在生成新的试验时具有明确的可解释性。

5. 验证AgentTTS在不同成本度量下的性能

• 实验设置：除了使用推理FLOPs作为主要成本度量外，还引入了API价格作为替代成本度量，并在2WikiMultiHopQA数据集上重新绘制了测试时扩展曲线和AgentTTS搜索轨迹。
• 主要结果：在API价格成本度量下，AgentTTS依然能够有效地搜索到最优配置，这表明AgentTTS在不同的成本度量下具有良好的泛化能力。

Q: 有什么可以进一步探索的点？

A: 论文中提出的方法和实验虽然已经取得了显著的成果，但仍有一些可以进一步探索的方向：

1. 动态多阶段任务

• 问题描述：当前的研究集中在具有固定子任务的多阶段任务上，但在现实世界中，许多任务是动态的，其子任务可能会根据输入条件或用户交互而变化。例如，语音助手可能会根据用户的查询动态决定是否进行文档检索、澄清或后续问题生成。
• 研究方向：开发能够处理动态多阶段任务的框架，这些框架需要能够实时调整子任务和相应的预算分配。可以探索如何利用LLM的动态规划能力来适应这种动态变化。

2. 多目标优化

• 问题描述：当前的研究主要关注单一性能指标的优化，但在实际应用中，可能需要同时优化多个目标，如性能、成本和响应时间。
• 研究方向：扩展AgentTTS框架以支持多目标优化。可以探索如何在多目标之间进行权衡，并生成 Pareto 最优解。例如，可以引入多目标优化的算法，如NSGA-II，结合LLM的推理能力来生成多目标优化的候选解。

3. 模型选择的多样性

• 问题描述：当前的研究主要集中在选择不同大小的模型，但实际中可能存在多种类型的模型（如不同的架构或预训练方法），这些模型可能在不同的子任务中表现更好。
• 研究方向：探索如何在更广泛的模型选择中进行优化，包括不同架构和预训练方法的模型。可以研究如何利用LLM的泛化能力来评估和选择最适合每个子任务的模型。

4. 跨领域任务的泛化能力

• 问题描述：当前的研究主要集中在特定的多阶段任务上，但这些任务的解决方案可能不适用于其他领域或任务。
• 研究方向：研究如何提高AgentTTS框架的泛化能力，使其能够适应不同领域和任务。可以探索如何利用迁移学习或元学习的方法，使AgentTTS能够快速适应新的任务和领域。

5. 实时反馈和在线学习

• 问题描述：当前的研究主要集中在离线优化，但在实际应用中，模型可能需要根据实时反馈进行在线调整。
• 研究方向：开发能够实时接收反馈并动态调整预算分配的在线学习算法。可以探索如何结合强化学习和LLM的推理能力，使AgentTTS能够在实时环境中进行有效的优化。

6. 安全性和可靠性

• 问题描述：LLM在推理过程中可能会产生幻觉或错误，这些错误在测试时扩展中可能会被放大，从而影响系统的安全性和可靠性。
• 研究方向：研究如何提高LLM在测试时扩展中的安全性和可靠性。可以探索如何结合验证机制或对抗训练来减少幻觉和错误的传播。

7. 计算资源的动态调整

• 问题描述：在实际应用中，计算资源可能不是固定的，而是可以根据需要动态调整的。
• 研究方向：研究如何在动态计算资源环境中进行优化，使AgentTTS能够根据可用资源动态调整预算分配。可以探索如何结合资源管理算法和LLM的推理能力，实现高效的资源利用。

这些方向不仅可以进一步提升AgentTTS框架的性能和适用性，还可以为多阶段复杂任务的优化提供更广泛的解决方案。

Q: 总结一下论文的主要内容

A: 本文提出了一种名为AgentTTS的框架，旨在解决多阶段复杂任务中测试时（test-time）计算资源的最优分配问题。多阶段任务由一系列异构子任务组成，每个子任务需要具备特定能力的模型来完成。AgentTTS通过整合实证洞察，利用LLM的规划和推理能力，高效地搜索计算最优配置。以下是论文的主要内容：

研究背景与问题

• 测试时扩展（Test-time Scaling, TTS）通过在推理阶段分配额外的计算资源来提升大型语言模型（LLMs）的性能。然而，现有的研究主要集中在单阶段任务上，而现实世界中的许多任务是多阶段的，涉及多个异构子任务。
• 多阶段任务中的计算资源分配问题具有两个主要挑战：一是搜索空间大，二是子任务之间的依赖关系增加了搜索的复杂性。

实证洞察（Insights）

通过初步实验，论文得出了三个关键的实证洞察：

1. 不同子任务对模型大小的偏好不同：某些子任务更适合使用大型模型，而其他子任务则可以通过小型模型和更多的采样来实现更好的性能。
2. 测试时计算的增加最初会提升性能，但超过一定点后会带来边际收益递减或无增益：对于每个子任务，增加测试时计算（如采样次数）最初会提高性能，但当达到某个最优预算后，进一步增加计算资源可能不会带来性能提升，甚至可能导致性能下降。
3. 早期子任务的计算分配会影响下游子任务的扩展动态和计算需求：一个子任务的性能和计算需求会影响后续子任务的性能和预算要求。

AgentTTS框架

AgentTTS框架由三个核心组件构成：Agent（代理）、Archive（档案）和Environment（环境）。

• Agent：负责生成测试时预算分配的候选试验和指导方针。Agent在初始化阶段根据第一个洞察生成初始试验，并在后续阶段根据所有洞察生成新的试验。
• Archive：存储生成的指导方针和候选试验，以及相应的性能反馈。
• Environment：执行和评估试验，并将性能反馈返回给Agent。

实验

• 实验设置：在六个数据集上进行实验，涵盖四种不同的任务类型。使用多种模型，模型大小从3B到72B不等。所有方法都在包含50个样本的训练集上执行50次迭代的搜索，并在包含500个样本的测试集上进行评估。
• 主要结果：AgentTTS在搜索效率和测试集性能方面均优于传统方法和其他基于LLM的方法。例如，在2WikiMultiHopQA数据集上，AgentTTS在测试集上比次优方法高出2%。此外，AgentTTS在搜索时间上也显著减少。
• 消融研究：通过比较AgentTTS与去除某个洞察的变体，验证了每个洞察对AgentTTS性能的贡献。结果表明，去除任何一个洞察都会导致AgentTTS的性能下降。
• 鲁棒性研究：在不同训练集大小下评估搜索方法的鲁棒性。结果表明，AgentTTS在小训练集上仍能保持较高的搜索效率。
• 预算设置研究：在不同预算设置下评估搜索效率。AgentTTS在低预算和高预算设置下均优于基线方法。
• 可解释性研究：通过案例研究展示了AgentTTS如何通过整合实证洞察来生成新的试验，并解释决策理由。

结论

AgentTTS通过整合实证洞察，利用LLM的规划和推理能力，有效地搜索多阶段任务中的计算最优配置。该方法不仅提高了搜索效率，还增强了结果的可解释性，并且在非平滑的搜索空间中表现出更强的鲁棒性。未来的工作可以探索动态多阶段任务、多目标优化、模型选择的多样性、跨领域任务的泛化能力、实时反馈和在线学习、安全性和可靠性以及计算资源的动态调整等方向。

Q: 想要进一步了解论文

A: 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Fali Wang,Hui Liu,Zhenwei Dai,Jingying Zeng,Zhiwei Zhang,Zongyu Wu,Chen Luo,Zhen Li,Xianfeng Tang,Qi He,Suhang Wang

Categories: cs.AI,cs.CL,cs.LG,I.2.7

PDF URL: https://arxiv.org/pdf/2508.00890.pdf

Arxiv URL: https://arxiv.org/abs/2508.00890

Arxiv ID: 2508.00890

CoolPaper URL: https://papers.cool/arxiv/2508.00890

Published: 2025-07-26T19:21:18Z

Updated: 2025-07-26T19:21:18.000Z

---

20. ReMoMask: Retrieval-Augmented Masked Motion Generation

Text-to-Motion (T2M) generation aims to synthesize realistic and semantically aligned human motion sequences from natural language descriptions. However, current approaches face dual challenges: Generative models (e.g., diffusion models) suffer from limited diversity, error accumulation, and physical implausibility, while Retrieval-Augmented Generation (RAG) methods exhibit diffusion inertia, partial-mode collapse, and asynchronous artifacts. To address these limitations, we propose ReMoMask, a unified framework integrating three key innovations: 1) A Bidirectional Momentum Text-Motion Model decouples negative sample scale from batch size via momentum queues, substantially improving cross-modal retrieval precision; 2) A Semantic Spatio-temporal Attention mechanism enforces biomechanical constraints during part-level fusion to eliminate asynchronous artifacts; 3) RAG-Classier-Free Guidance incorporates minor unconditional generation to enhance generalization. Built upon MoMask’s RVQ-VAE, ReMoMask efficiently generates temporally coherent motions in minimal steps. Extensive experiments on standard benchmarks demonstrate the state-of-the-art performance of ReMoMask, achieving a 3.88% and 10.97% improvement in FID scores on HumanML3D and KIT-ML, respectively, compared to the previous SOTA method RAG-T2M. Code: https://github.com/AIGeeksGroup/ReMoMask. Website: https://aigeeksgroup.github.io/ReMoMask.

中文摘要

文本到动作（T2M）生成旨在根据自然语言描述合成真实且语义对齐的人类运动序列。然而，当前的方法面临双重挑战：生成模型（例如扩散模型）在多样性有限、错误累积和物理不合理性方面存在问题，而检索增强生成（RAG）方法则表现出扩散惯性、部分模式崩溃和异步伪影。为了解决这些局限性，我们提出了ReMoMask，一个整合三项关键创新的统一框架：1）双向动量文本-动作模型通过动量队列将负样本规模与批大小解耦，从而显著提高跨模态检索精度；2）语义时空注意机制在部分级融合过程中强制执行生物力学约束，以消除异步伪影；3）RAG-分类器无引导结合了小幅无条件生成，以增强泛化能力。建立在MoMask的RVQ-VAE之上，ReMoMask能够在最少的步骤中高效生成时间一致的运动。大量标准基准上的实验表明，ReMoMask的性能达到了最先进的水平，在HumanML3D和KIT-ML上相较于之前的最先进方法RAG-T2M分别提高了3.88%和10.97%的FID分数。代码： https://github.com/AIGeeksGroup/ReMoMask。官方网站： https://aigeeksgroup.github.io/ReMoMask。

LLM Analysis

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决文本到动作（Text-to-Motion，T2M）生成任务中的两个关键问题：

1. 生成模型的局限性：现有的生成模型（如扩散模型）在生成动作序列时面临多样性和物理合理性方面的挑战，例如生成的动作可能缺乏多样性、存在误差累积以及不符合物理规律。而检索增强生成（Retrieval-Augmented Generation，RAG）方法虽然在处理不常见的文本输入时表现出色，但也存在扩散惯性、部分模式坍塌和异步伪影等问题。

2. 检索增强生成中的检索器训练和信息融合问题：

   • 检索器训练问题：现有的检索器在训练时受限于小批量（mini-batch）训练方式，导致负样本数量有限，从而限制了跨模态对比学习中鲁棒表示的学习能力。
   • 信息融合问题：简单地将文本条件与一维动作标记拼接在一起，不足以建模文本条件、动作时空信息和检索到的知识之间的关系。

为了解决这些问题，论文提出了一个统一的框架ReMoMask，通过三个关键创新来提升文本到动作生成的效果。

Q: 有哪些相关研究？

A: 论文中提到了以下相关研究：

文本到动作（Text-to-Motion, T2M）生成

• Text2Motion：开创性地建立了文本和动作之间的映射关系，通过对抗学习实现。
• TM2T：首次引入了矢量量化（Vector Quantization, VQ），为后续研究奠定了基础。
• T2M-GPT：采用自回归变换器（Autoregressive Transformers）进行语义控制，但在单向解码过程中存在误差累积问题。
• MoMask：提出了层次残差量化框架，将动作分解为基础标记和残差标记，并结合双向掩码变换器进行并行解码，在HumanML3D数据集上取得了显著成果。
• MotionCLIP：通过CLIP实现无监督的跨模态对齐，但受限于连续表示。
• 扩散模型（Diffusion Models）：如MotionGPT，将动作离散化并利用自回归变换器统一生成任务，缓解了误差累积问题；去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）通过非自回归范式实现高质量的并行生成。
• ParCo：在细粒度部分级控制方面取得了突破，将全身动作分解为六个部分动作（肢体、脊柱、根节点），使用轻量级VQ-VAE建立部分先验。

检索增强生成

Authors: Zhengdao Li,Siheng Wang,Zeyu Zhang,Hao Tang

Categories: cs.CV

PDF URL: https://arxiv.org/pdf/2508.02605.pdf

Arxiv URL: https://arxiv.org/abs/2508.02605

Arxiv ID: 2508.02605

CoolPaper URL: https://papers.cool/arxiv/2508.02605

Published: 2025-08-04T16:56:35Z

Updated: 2025-08-04T16:56:35.000Z

---