HuggingFace Papers 2026-10-29

数据来源：HuggingFace Papers

Latest Papers

1. DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models

Abstract:Diffusion language models (DLMs) generate text through iterative denoising, enabling bidirectional context modeling and parallel token refinement. Recent studies have applied reinforcement learning (RL) to DLMs and improved their reasoning performance. However, the iterative denoising process makes credit assignment more challenging, as final outcome rewards provide limited information about how different tokens contribute to the final output. In this paper, we propose Denoising Token Credit Assignment (DTCA), a framework for token-level credit assignment in reinforcement learning for diffusion language models. DTCA estimates token contributions by measuring the improvement in prediction confidence of remaining masked positions after token commitment and groups these signals according to part-of-speech (POS) categories. These contribution weights are used to select informative denoising timesteps and assign token-level learning signals during RL training. DTCA further calibrates these learning signals according to token-level entropy changes induced by policy updates. Experiments on LLaDA-8B-Instruct show that DTCA consistently improves mathematical reasoning performance across different generation budgets, with gains of up to 9.0 points on MATH500 and 5.3 points on GSM8K over the base model.

中文摘要

摘要：扩散语言模型（DLMs）通过迭代去噪生成文本，从而实现双向上下文建模和并行令牌优化。近期研究已将强化学习（RL）应用于DLMs，并提升了其推理性能。然而，迭代去噪过程使得信用分配更加具有挑战性，因为最终结果奖励提供的关于不同令牌对最终输出贡献的信息有限。在本文中，我们提出了去噪令牌信用分配（DTCA），这是一个用于扩散语言模型强化学习的令牌级信用分配框架。DTCA通过测量令牌确定后剩余掩码位置预测置信度的提升来估计令牌贡献，并根据词性（POS）类别对这些信号进行分组。这些贡献权重用于选择信息丰富的去噪时间步，并在RL训练中分配令牌级学习信号。DTCA进一步根据策略更新引起的令牌级熵变化校准这些学习信号。在LLaDA-8B-Instruct上的实验表明，DTCA在不同生成预算下均能持续提升数学推理性能，相较基础模型在MATH500上的增益可达9.0分，在GSM8K上的增益可达5.3分。

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文试图解决\*\*扩散语言模型（Diffusion Language Models, DLMs）在强化学习（RL）中的细粒度信用分配（credit assignment）问题\*\*。 具体而言，核心问题可概括为以下几个方面： - \*\*结果奖励的信号稀疏性\*\*：在 DLMs 的迭代去噪生成过程中，通常只能获得序列级别的最终结果奖励（如答案正确与否），该奖励无法揭示不同去噪步骤或不同 token 对最终输出的具体贡献。 - \*\*Token 贡献难以隔离\*\*：在去噪过程中，多个 token 可能在同一步被提交，且它们通过共享的去噪过程相互作用，导致难以单独评估某个 token 的提交对后续剩余掩码位置细化所产生的影响。 - \*\*估计方差大\*\*：即使尝试度量单个 token 的置信度提升，其估计值在不同 rollout 样本间波动剧烈，难以直接作为稳定的训练信号使用。 为应对上述挑战，论文提出了 \*\*Denoising Token Credit Assignment (DTCA)\*\* 框架，其核心思路包括： 1. \*\*度量 Token 贡献\*\*：通过衡量某个 token 被提交后，模型对\*\*剩余掩码位置\*\*的预测置信度提升，来量化该 token 的去噪贡献：

Delta P_i = max0,; F(x_t^((i)); M) - F(x_t; M)

1. **按词性聚合**：利用词性（Part-of-Speech, POS）类别对 token 贡献进行分组聚合，从而获得更稳定、可解释的贡献权重。实验发现不同 POS 类别（如 VERB、NOUN、DET 等）在去噪过程中呈现出截然不同的提交轨迹和置信度增益。 3. **指导 RL 训练**：将估计出的 POS 级别贡献权重用于： - **信息丰富的去噪时间步选择**：优先选择包含高贡献且低置信度 token 的时间步； - **Token 级信用分配**：为不同 POS 类别的 token 分配差异化的学习信号，替代原有的统一序列级优势。 4. **熵校准**：进一步根据策略更新引起的 token 级熵变化，对学习信号进行校准，以平衡熵增与熵减更新，稳定训练过程。 简言之，论文旨在将扩散语言模型中稀疏的序列级结果奖励，解构为细粒度的、与去噪动态耦合的 token 级学习信号，从而提升 RL 训练的样本效率与最终推理性能。 Q2: 有哪些相关研究？ 根据论文的 Related Work 与实验对比，相关研究主要分布于以下三个方向： ### 1. 扩散语言模型（Diffusion Language Models, DLMs） 该方向关注基于迭代去噪范式的语言生成模型，与自回归模型形成对比。 - **基础去噪框架**：包括连续扩散在离散数据上的应用（Hoogeboom et al., 2021; Dieleman et al., 2022; Gulrajani and Hashimoto, 2023）以及离散状态空间的结构化去噪扩散模型（Austin et al., 2021）。 - **掩码扩散语言模型**：Sahoo et al. (2024) 与 Shi et al. (2024) 探索了掩码生成目标与迭代细化；Nie et al. (2025) 提出的 **LLaDA** 将这一范式扩展至大规模语言模型。 - **后续改进**：涵盖生成策略优化（Wu et al., 2026a; Xie et al., 2025）、规模扩展与训练目标改进（Ye et al., 2025b; Gong et al., 2026; Wu et al., 2026b）、以及数据受限场景下的学习效率（Prabhudesai et al., 2025; Ni et al., 2025; Gao et al., 2025）。 ### 2. 扩散语言模型的强化学习（RL for DLMs） 该方向致力于将 RL 目标与扩散模型的迭代生成特性相结合。 - **策略优化基础**：包括 PPO（Schulman et al., 2017）、GRPO（Shao et al., 2024）以及针对扩散模型的策略梯度变体（Zekri and Boulle, 2025; Ni et al., 2026）。 - **利用去噪轨迹与中间状态**： - **d1** / diffu-GRPO（Zhao et al., 2025）：通过 RL 扩展扩散大语言模型的推理能力。 - **Coupled-GRPO**（Gong et al., 2026）：利用互补掩码降低似然估计方差。 - **ESPO**（Ou et al., 2026）：以证据下界（ELBO）作为序列似然的代理进行优化。 - **TraceRL**（Wang et al., 2025b）、**RLDF**（He et al., 2026）、**DiSPO**（Oba et al., 2026）：分别利用去噪轨迹或去噪反馈构建学习信号。 - **SPG**（Wang et al., 2026）：针对掩码扩散语言模型的三明治策略梯度。 - **优化稳定性**：Zhong et al. (2026) 与 Jiang et al. (2026) 关注稳定扩散语言模型的 RL 训练。 ### 3. 细粒度信用分配（Fine-grained Credit Assignment） 该方向旨在将稀疏的序列级奖励分解为更细粒度的 token 或步骤级信号，以改善 RL 训练。 - **过程监督与步骤级反馈**：Uesato et al. (2022) 与 Lightman et al. (2024) 探索了基于过程和结果的数学推理反馈。 - **Token 级奖励重分配与重要性估计**： - **RED**（Li et al., 2025）：从整体反馈中释放 token 级奖励。 - **VinePPO**（Kazemnejad et al., 2025）：精炼 LLM RL 训练中的信用分配。 - **GTPO / GRPO-S**（Tan et al., 2026）：在 token 和序列级别进行奖励塑形。 - **Δ-Token**（Zhang et al., 2026）：判别式 token 信用分配。 - **OPEFO**（Xu et al., 2026）：通过熵流优化防止 RLVR 中的熵崩溃（DTCA 的熵校准模块即受此启发）。 - 其他包括基于隐式奖励的过程强化（Cui et al., 2025）、高熵少数 token 驱动有效 RL（Wang et al., 2025a）以及探索熵视角的推理方法（Cheng et al., 2026）。 - **专门针对 DLMs 的 Token 信用分配**： - **DACA-GRPO**（Monsefi et al., 2026）：根据去噪进度和剩余掩码位置概率变化对提交 token 进行加权，是 DTCA 最直接的相关工作之一。DTCA 与之不同在于通过 POS 类别聚合基于置信度提升的贡献估计，并进一步引入熵校准。 Q3: 论文如何解决这个问题？ 论文提出 **Denoising Token Credit Assignment (DTCA)** 框架，将稀疏的序列级结果奖励解构为与去噪动态耦合的 token 级学习信号。该方法通过四个核心模块逐步解决信用分配问题： —- ### 1. Token 贡献估计：以置信度提升衡量去噪影响 DTCA 的核心假设是：**一个 token 的提交若显著提高了模型对剩余掩码位置的预测置信度，则该 token 对后续去噪具有更大的贡献**。 - **聚合置信度函数**：对于去噪状态 x 和剩余掩码位置集合 M ，定义这些位置的聚合预测置信度为：

F(x; M) = ∑(j ∈ M) max(v ∈ V) p_(θ,j)(v mid q, x)

• **单个 token 贡献**：当位置 i 的 token vi 被提交后，其贡献通过提交前后聚合置信度的变化来度量：
  Delta P_i = max 0,; F(x_t^((i)); M) - F(x_t; M)
  其中 x_t^((i)) 表示仅提交 token v_i 后的状态，负值被截断为零。 - **按词性（POS）聚合**：由于单条 rollout 中 token 级估计方差大，DTCA 在离线阶段收集去噪轨迹，将 Delta P_i 按词性类别 c 聚合并归一化，得到稳定的贡献权重：
  m_c = (1) / (N_c) ∑(i: c_i = c) Delta P_i

wc = 0.8 + 0.4 · m_c - min(j ∈ C) mjmax(j ∈ C) mj - min(j ∈ C) m_j
权重 $w_c ∈
0.8, 1.2
，既保留了原始 RL 目标的尺度，又体现了不同词性在去噪中的差异化作用。 —- ### 2. 基于贡献的去噪时间步选择 并非所有去噪步骤都同等重要。DTCA 利用 POS 贡献权重来识别信息丰富的时间步。 - 时间步重要性得分：对于第 t 步提交的 token 集合 A_t$，计算：

qt = ∑(i ∈ At) w(ci) (1 - p_i)
其中 1-p_i 偏爱低置信度提交， w(c_i) 引入词性级别的贡献先验。 - **自适应选择**：按 q_t 对所有时间步排序，选取最小的时间步子集，使其累积得分达到总得分的预设比例 μ （同时限制选取数量在 2 到 32 之间）。这使得计算资源集中于高不确定性且高贡献潜力的去噪阶段。 —- ### 3. 基于贡献的 Token 级信用分配 在选定的时间步内，DTCA 将步骤级优势 A_t 进一步细分为 token 级学习信号。 - **信用归一化权重**：对于优化目标位置集合 B_t （包括该步提交的 token 以及保留的掩码位置），token i 的信用权重为：

a(t,i) = w(ci)(1) / (|B_t|) ∑(k ∈ Bt) w(ck)
该归一化保证每个时间步内的平均信用为 1，不改变步骤级优势的整体尺度。 - **Token 级学习信号**：
A(t,i) = a_(t,i) · A_t
高贡献词性（如 VERB、NOUN）的 token 获得更强的强化信号，而低贡献词性（如 DET、ADP）的信号被适度抑制，从而实现更精细的梯度更新。 —- ### 4. 基于熵的信用校准 为防止策略更新导致某些 token 的分布熵崩溃或过度膨胀，DTCA 引入了熵流校准机制（受 OPEFO 启发）。 - **熵变估计**：对于响应 b 、选定时间步 t 和目标位置 i ，估计策略更新引起的熵变：

Delta H(t,i)^((b)) = -eta A(t,i)^((b)) (1 - p_i^((b)))^2 (log p_i^((b)) + H_i^((b)))

• 分组与再缩放：按 Delta H 的符号将更新分为熵增集合 Sb^+ 和熵减集合 S_b^- ，计算平衡系数 $λ_b ∈
  -0.95, 0.95
  $：
  λ_b = clip( ∑(S)b^- |Delta H| - ∑(S)b^+ Delta H∑(S)b^- |Delta H| + ∑(S)_b^+ Delta H,; -0.95,; 0.95 )
  • **校准后的信用**：
    A(t,i)^((b)) = (1 + λ_b) A(t,i)^((b)), & Delta H(t,i)^((b)) > 0 6pt A(t,i)^((b)), & Delta H(t,i)^((b)) ≤ 0
    最终通过响应级归一化恢复总信用规模。该校准平衡了探索与利用，稳定了后期训练。 —- ### 总结 通过上述设计，DTCA 将扩散语言模型中**难以直接追溯的序列级结果奖励**，转化为**基于去噪细化动态的 token 级学习信号**：先利用 POS 类别聚合获得稳定的贡献权重，再指导时间步选择与信用分配，最后通过熵校准维持策略更新的稳定性。实验表明，这一流程在 LLaDA-8B-Instruct 上显著提升了数学推理性能。 Q4: 论文做了哪些实验？ 论文围绕数学推理任务开展了一系列实验，涵盖主性能对比、模块消融、训练动态与去噪行为分析等方面。以下按实验类别梳理： —- ### 1. 实验设置 - **模型与数据**：以 **LLaDA-8B-Instruct** 为初始策略与冻结参考模型，直接使用强化学习训练，不经过中间 SFT。RL 训练数据采用 MATH 训练集（经 RLDF 相同流程处理）；离线 POS 贡献表通过 MATH 与 GSM8K 训练集的去噪 rollout 构建，不更新模型参数。 - **训练配置**：全参数 bfloat16 训练，AdamW 优化器，固定学习率 10^(-6) ，权重衰减为 0。每条 prompt 采样 4 条 response，组内标准化奖励得到 response 级优势。采用 k3 KL 估计器，KL 系数 β(KL) = 0.01 。 - **评估协议**：在 **MATH500** 与 **GSM8K** 测试集上评估最终答案准确率。分别在最大生成长度（去噪步数）为 **128、256、512** 三种预算下测试。 - **对比基线**：包括原始模型 LLaDA-8B-Instruct、Uniform SFT、LLaDA-1.5，以及扩散语言模型 RL 方法 **d1、ESPO、TraceRL、Coupled-GRPO、RLDF**。 —- ### 2. 主实验：数学推理性能 论文在表 1 中报告了各模型在不同生成预算下的准确率。核心发现包括： - **DTCA 在各预算下均一致优于基座模型**。在 MATH500 上，分别取得 **+9.0**（128 步）、**+6.8**（256 步）、**+4.8**（512 步）的绝对提升；在 GSM8K 上，对应提升为 **+5.3**、**+2.1**、**+2.5**。 - 提升幅度在最小预算（128 步）时最大，表明该方法在有限去噪计算条件下收益尤为显著。 - 与现有扩散模型 RL 方法相比，DTCA 在多数设定下取得更优或具有竞争力的结果。 —- ### 3. 消融实验 为验证各模块有效性，论文在相同设定下训练了两个消融变体，结果一并列入表 1： - **DTCA w/o Contribution Credit**：移除基于贡献的 token 信用分配，改为均匀信用，但保留基于贡献的时间步选择策略。 - **DTCA w/o Entropy Calibration**：保留贡献估计、时间步选择与信用分配，但移除基于熵的信用校准模块。 结果显示，移除任一模块均导致性能下降。例如，在 256 预算的 MATH500 上，移除 Contribution Credit 下降 3.8 点，移除 Entropy Calibration 下降 1.4 点；在 512 预算下，移除 Entropy Calibration 分别造成 MATH500 与 GSM8K 上 4.2 与 3.5 点的下降。 —- ### 4. 优化动态分析 论文追踪了训练过程中的三类指标，并在图 3 中对比 DTCA 与两个消融变体： - **Response Reward**：三种设定均呈现相似的奖励增长趋势。 - **Gradient Norm**：移除 Contribution Credit 的变体在全程保持显著更大的梯度范数，说明基于贡献的信用分配改变了 token 级梯度结构，使优化以更平稳的动态进行，而非仅影响最终奖励。 - **Mean KL Divergence**：移除 Entropy Calibration 的变体在后期 KL 散度上升更快，对应奖励增长放缓。这表明熵校准有助于约束策略偏离参考模型的程度，稳定后期训练。 —- ### 5. Token 提交动态分析 为检验 RL 训练后去噪行为是否发生结构性变化，论文在图 4 中对比了 DTCA 与基座模型在 MATH500 上的 token 提交模式，按去噪阶段（Early / Middle / Late）与 POS 类别展示三项差异指标： - **提交比例差异**：DTCA 并非统一地加速或延迟所有 token，而是呈现类别特异性变化。例如，NUM 的提交比例在三个阶段均被降低，而 PUNCT 的提交比例则被提高。 - **提交时置信度差异**：VERB 的提交比例变化有限，但提交时的置信度显著提升。 - **提交时熵差异**：VERB 在提交时的预测熵明显下降。 这些观察表明，DTCA 不仅改变了“哪些 token 被提交”，还改变了“模型在何种状态下提交它们”，与利用去噪细化信号进行信用分配的设计一致。 —- ### 6. 熵校准机制分析 论文在图 5 中展示了不同 POS 类别在训练过程中的目标位置熵变曲线，对比 DTCA 与无熵校准版本： - 两版在训练早期趋势相近，后期逐渐分离。 - 多数高频类别（如 NUM）在无校准情况下熵持续升高，而 DTCA 将其压制在接近或低于早期基线的水平。 - 不同 POS 类别的熵变方向并不一致（如 SYM 熵下降，AUX 后期熵上升），说明熵校准并非简单地全局抑制或提升熵，而是根据各自动态进行响应级再平衡。 —- ### 7. 附录补充实验 附录 D 进一步提供了多组分析： - **基于贡献的时间步选择策略对比**（表 2）：在相同选中时间步比例下，DTCA 相较于 RLDF 的采样或 top-k 选择，覆盖了更多的低置信度 token 与更高的熵覆盖，验证了 qt = ∑(i ∈ At) w(ci)(1-p_i) 作为选择标准的有效性。 - **与 RLDF 的训练动态对比**（图 7 下）：在 500 步训练中，DTCA 与 RLDF 前期奖励相近，但后期 DTCA 平均奖励更高（0.537 vs. 0.482），同时保持更高的策略熵（2.00 vs. 1.78 nats）与更低的 KL 散度（0.36 vs. 0.89）。 - **全 POS 类别熵变轨迹**（图 8 与图 9）：将图 5 的分析扩展至全部 18 个 POS 类别，显示不同类别的熵变趋势具有高度异质性。 - **预测熵流分解**（图 10）：将策略更新诱导的熵变分解为熵增与熵减两部分。DTCA 使二者幅度更接近，净预测熵变在训练前后窗口均接近零（ -0.033 × 10^(-7) 与 -0.081 × 10^(-7) nats），而无校准版本的净熵变更负，表明 DTCA 有效平衡了熵流。 Q5: 有什么可以进一步探索的点？ 基于论文内容，特别是 Limitations 章节及方法论设计，以下几个方面值得进一步探索： —- ### 1. 更精细的 Token 分组与标注策略 论文采用词性（POS）类别聚合 token 贡献，以降低估计方差。然而，这种设计依赖外部标注工具（如 spaCy）的质量，且词性标签未必总是与去噪语义贡献完美对齐。 - **可探索方向**：探索基于句法依赖角色、语义角色标注（SRL）、或**可学习的软分组**（如通过聚类或门控机制动态划分 token 类别）来替代硬 POS 分组。 - **潜在收益**：可能捕获比词性更细粒度的功能差异（例如，数学推理中作为运算符的 NUM 与作为计数单位的 NUM），从而提升贡献估计的准确性。 —- ### 2. 在线或动态的贡献估计机制 当前 DTCA 在 RL 训练前构建**固定的** POS 贡献表，并在整个训练过程中保持不变。这意味着策略更新后，token 的去噪行为可能已发生变化，但贡献权重仍沿用离线估计。 - **可探索方向**：设计轻量化的**在线更新机制**，例如在 RL 训练期间定期从当前策略采样少量 rollout，动态刷新贡献权重；或采用指数移动平均逐步修正 m_c 与 w_c 。 - **潜在收益**：使信用分配适应策略的演进，避免训练后期因分布偏移导致的学习信号失配。 —- ### 3. 更理论化的贡献度量框架 论文将 token 贡献定义为提交后对剩余掩码位置**预测置信度的提升**（ Delta P_i ），这一定义虽直观，但缺乏更严格的理论推导。 - **可探索方向**：从**信息论**（如互信息 I(v_i; x(M)^((i)) mid x_M) ）或**因果推断**（如 do-calculus 下移除某 token 提交对最终分布的干预效应）角度，建立更形式化的贡献度量。 - **潜在收益**：为 DTCA 的启发式设计提供理论保证，并可能导出更优的信用分配公式。 —- ### 4. 长程依赖与多步贡献传播 现有方法主要衡量**单步提交**对紧邻后续状态的细化影响，忽略了去噪过程中可能存在的**长程交互**（例如早期提交的 token 如何通过多步传播影响晚期决策）。 - **可探索方向**：引入**多步置信度增益**或基于 credit propagation 的轨迹级贡献回溯（类似 RUDDER 或 reward redistribution 思想），建模 token 提交在整条去噪轨迹上的累积效应。 - **潜在收益**：更准确地为早期时间步分配信用，解决深层去噪中的延迟奖励问题。 —- ### 5. 向其他任务与模型架构的迁移 实验目前集中于 **LLaDA-8B-Instruct** 的数学推理。不同任务（如代码生成、长文本摘要）具有截然不同的 token 分布与推理模式。 - **可探索方向**： - 在**代码生成**任务上验证 DTCA，此时词性概念可能弱化，需探索基于抽象语法树（AST）节点类型或代码 token 类型的分组策略。 - 在**非掩码扩散架构**（如基于插入/替换的扩散语言模型）或**连续扩散语言模型**上检验方法的通用性。 - **潜在收益**：验证去噪信用分配框架的普适边界，并发展任务自适应的分组机制。 —- ### 6. 与更广泛的 RL 目标结合 DTCA 基于 GRPO/RLDF 框架构建，其核心思想（基于贡献权重的 timestep 选择与 token 级信用）具有一定的目标无关性。 - **可探索方向**：将贡献估计与**PPO**、**DPO**、**KTO** 或其他离线/在线 RL 算法结合，检验其在不同优化目标下的兼容性；或引入**过程奖励模型（PRM）**与 DTCA 的 token 信用相结合，实现更细粒度的过程监督。 - **潜在收益**：分离“信用分配机制”与“策略优化目标”，使 DTCA 成为可插拔的模块服务于更广泛的扩散模型 RL 训练流程。 —- ### 7. 计算效率与工程优化 离线估计 token 贡献需要额外的前向传播（单独提交每个 token 以评估 F(x_t^((i)); M) ），这在训练前构成不可忽视的开销。 - **可探索方向**：开发**免重算**的近似估计方法，例如利用注意力图或梯度显著性（saliency）快速代理置信度变化；或设计更高效的并行评估策略。 - **潜在收益**：降低 DTCA 的落地门槛，使其适用于更大规模的模型与更长的序列。 Q6: 总结一下论文的主要内容 本文针对**扩散语言模型（Diffusion Language Models, DLMs）在强化学习（RL）中的信用分配难题**，提出了 **DTCA（Denoising Token Credit Assignment）** 框架。DLMs 通过迭代去噪生成文本，最终仅能获得序列级的结果奖励，难以揭示不同去噪步骤或单个 token 对最终输出的具体贡献；且同一去噪步骤中多个 token 同时提交并相互作用，进一步加剧了个体贡献的隔离难度。 ### 核心方法 DTCA 通过度量去噪细化动态来估计 token 贡献，并据此实现细粒度的信用分配，主要包含以下四个模块： **1. Token 贡献估计与 POS 聚合** 论文将单个 token 的贡献定义为：该 token 被提交后，模型对**剩余掩码位置**的预测置信度提升量。具体地，对于提交位置 i 的 token v_i ，其贡献估计为：

Delta Pi = max 0,; F(x_t^((i)); M) - F(x_t; M)
其中 F(x; M) = ∑(j ∈ M) max(v ∈ V) p(θ,j)(v mid q, x) 表示状态 x 下掩码集合 M 的聚合置信度。 由于单条 rollout 中直接估计的 Delta Pi 方差较大，DTCA 在离线阶段收集去噪轨迹，按**词性（POS）类别**聚合贡献，并通过 min-max 归一化得到有界贡献权重：
w_c = 0.8 + 0.4 · m_c - min(j ∈ C) mjmax(j ∈ C) mj - min(j ∈ C) mj ∈ [0.8, 1.2]
**2. 基于贡献的去噪时间步选择** DTCA 利用 POS 权重识别信息丰富的去噪时间步。对于第 t 步，其重要性得分为：
q_t = ∑(i ∈ At) w(ci)(1 - p_i)
其中 1-p_i 反映提交时的不确定性。按 q_t 排序后，选取累积得分达总得分 μ 比例的最小时间步子集（数量限制在 2 至 32 之间），优先覆盖高不确定性且高贡献潜力的阶段。 **3. Token 级信用分配** 在选定时间步 t 内，将步骤级优势 A_t 分解为 token 级学习信号。Token i 的信用权重基于其 POS 贡献权重归一化得到：
a(t,i) = w(c_i)(1) / (|B_t|) ∑(k ∈ Bt) w(ck), quad A(t,i) = a(t,i) A_t
这使得高贡献词性（如 VERB、NOUN）获得更强的学习信号，而低贡献词性（如 DET、ADP）的信号被适度抑制，实现了从序列级反馈到 token 级优化的转化。 **4. 熵校准** 为稳定策略更新，DTCA 引入基于熵变的信用校准。估计策略更新在 token 级别引起的熵变：
Delta H(t,i)^((b)) = -eta A_(t,i)^((b)) (1 - p_i^((b)))^2 (log p_i^((b)) + H_i^((b)))
根据熵增/熵减分别聚合，计算平衡系数 $λ_b ∈
-0.95, 0.95
，并对对应 token 的学习信号按 (1+λ_b) 或 (1-λ_b)$ 缩放，以平衡熵流并防止熵崩溃。 ### 实验验证 在 LLaDA-8B-Instruct 上，以 MATH 训练集进行 RL 训练，并在 MATH500 与 GSM8K 上评估数学推理准确率，测试了 128、256、512 三种生成预算： - 主结果：DTCA 在各预算下均一致优于基座模型。在 MATH500 上分别提升 9.0、6.8、4.8 个百分点；在 GSM8K 上分别提升 5.3、2.1、2.5 个百分点。尤其在有限去噪预算（128 步）下增益最为显著。 - 消融实验：移除贡献信用模块或熵校准模块均导致性能下降，验证了各组件的有效性。 - 训练动态分析：基于贡献的信用分配降低了梯度范数，使优化更平稳；熵校准有效控制了后期 KL 散度的过快增长。 - 去噪行为分析：DTCA 改变了不同 POS 类别的 token 提交时机与提交时的模型置信度/熵，表明其确实学习到了结构化的去噪策略。 ### 主要结论 DTCA 通过利用扩散模型特有的去噪细化动态，将稀疏的序列级结果奖励解构为与词性耦合的 token 级学习信号，并辅以熵流校准，有效解决了 DLMs 在 RL 中的信用分配难题。实验表明，该方法能显著提升扩散语言模型的数学推理能力，且在计算预算受限时优势尤为突出。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Hongze Chen,Miao Pan,Lizhou Liang,Qinfeng Li,Xinyin Ma,Yongliang Shen,Weishi Wang,Daniel Dahlmeier,Xuhong Zhang,Wenqi Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2610.35201.pdf

Arxiv URL: https://arxiv.org/abs/2610.35201

Arxiv ID: 2610.35201

CoolPaper URL: https://papers.cool/arxiv/2610.35201

Published: 2026-10-29T02:50:41.161Z

Updated: 2026-10-29T02:50:41.161Z

---