HuggingFace Papers 2026-11-06

数据来源：HuggingFace Papers

Latest Papers

1. Towards Foundation Decision Models: Drex

Abstract:Autoregressive approaches with large language models, such as long chain-of-thought reasoning, have become the default for new AI applications because they reach higher accuracy on a wide range of tasks. In production, however, they give inconsistent answers, require parsing of outputs, and add cost and latency. Decision models address this: given a question and a set of options supplied by the user, they return a probability distribution over the options without autoregressive decoding. We present Drex, a family of four open decision models with 8B (DLM), 9B (v1.5), 35B with 3B active (v2.0), and 27B (Max) parameters. Each request consists of a state (a document, record, or agent context, optionally with images) and questions about it, each asking for a choice among options, a yes/no judgment, or a score on an ordered scale. Training combines supervised fine-tuning with reinforcement learning from adjusted feedback (RLAF), plus vision tuning for Max. Ablations show that RLAF improves accuracy and that consistency losses improve robustness to option order. On Decision Index 0.4.1, Max sets a new state of the art among the decision models we compare (67.52 on the public suite vs. 60.70 for Jev 1.14.0). On Decision Bench v4, it is statistically tied with d3-turbo and GPT-6 Sol and trails Claude Opus 5.5 by 1.6 points, and it has the highest accuracy among decision models on DecideBench. Max answers a typical request in 183 ms, against about 2.0 s for GPT-6 Sol and 3.5 s for Claude Opus 5.5, and its outputs are stable under option reordering. All four models are open source: this https URL

中文摘要

摘要：使用大语言模型的自回归方法，例如长链思维推理，已成为新型人工智能应用的默认方法，因为它们在广泛任务上达到更高的准确性。然而，在生产环境中，这些方法会给出不一致的答案，需要解析输出，并增加成本和延迟。决策模型可以解决这个问题：给定用户提供的问题和一组选项，它们返回选项的概率分布，而无需自回归解码。我们提出了Drex，这是一个包含四个开放决策模型的系列，参数分别为8B（DLM）、9B（v1.5）、35B（其中3B为活跃参数，v2.0）和27B（Max）。每个请求由一个状态（文档、记录或代理上下文，可选包含图像）以及关于它的问题组成，每个问题要求在选项中进行选择、做出是/否判断或在有序量表上给出评分。训练结合了监督微调和调整反馈的强化学习（RLAF），Max模型还进行了视觉调优。消融实验显示，RLAF提高了准确性，而一致性损失提高了对选项顺序的鲁棒性。在Decision Index 0.4.1上，Max在我们比较的决策模型中创下了新纪录（公共套件为67.52，而Jev 1.14.0为60.70）。在Decision Bench v4上，它与d3-turbo和GPT-6 Sol统计上持平，落后于Claude Opus 5.5 1.6分，并且在DecideBench上在决策模型中准确率最高。Max响应一个典型请求的时间为183毫秒，而GPT-6 Sol约为2.0秒，Claude Opus 5.5约为3.5秒，其输出在选项重新排序下保持稳定。所有四个模型都是开源的：https URL

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文试图解决\*\*如何构建高效、校准且鲁棒的基础决策模型（foundation decision models）\*\*这一问题，以在生产环境中替代高成本、高延迟且输出不一致的自回归大语言模型（如长链式思考模型）。 具体而言，论文聚焦于以下几个核心子问题： 1. \*\*任意选项集的判别式推理\*\* 自回归语言模型的原生输出是逐token生成的文本，而许多实际任务（分类、打分、嵌入）并不需要生成文本，只需在\*\*用户动态提供的选项集\*\*上输出概率分布。论文试图解决如何设计一种“读取头”（readout head），使模型能够针对每次请求中任意变化的选项集合，直接输出校准的概率分布，而无需固定标签集或逐token解码。 2. \*\*生产级效率与稳定性\*\* 论文试图在保持与前沿LLM相当精度的同时，显著降低延迟和成本。例如，Drex Max的典型请求延迟为183 ms，而GPT-6 Sol约为2.0 s、Claude Opus 5.5约为3.5 s。此外，模型需要对\*\*选项顺序的重排\*\*具有鲁棒性，避免因选项排列变化而导致预测翻转。 3. \*\*训练pipeline的优化\*\* 论文探讨了如何通过监督微调（SFT）、强化学习来自调整反馈（RLAF）以及视觉微调等阶段，提升决策模型的准确性、校准性（calibration）和顺序鲁棒性。例如，RLAF在SFT基础上将Decision Index分数提升2.0点；一致性损失项（permutation consistency）将选项翻转率从6.3%降至4.2%。 4. \*\*多模态与架构权衡\*\* 论文试图回答：使用密集多模态骨干网络+双向全注意力（如Drex Max）相比共享状态的指针模型（pointer models），在精度、成本和延迟上的具体权衡是什么？特别是在处理图像输入时，如何确保模型真正利用视觉信息而非仅依赖文本描述。 简言之，论文的核心目标是验证并构建\*\*Drex\*\*这一决策模型家族，证明单一模型可以在“用户自定义选项”的设置下，同时满足\*\*高准确率、良好校准、选项顺序稳定、低延迟、多模态支持\*\*等生产环境所需的性质。 Q2: 有哪些相关研究？ 相关研究可归纳为以下几个主要方向： \*\*1. 判别式评分与多选提示\*\* - \*\*似然评分\*\*：利用语言模型评估每个候选选项的似然度是多项选择任务的标准方法，但存在长度偏见且每个选项需单独前向传播。 - \*\*多选提示\*\*：将所有选项一次性呈现并标记符号（A, B, ...），模型对符号token进行评分，但前提是模型能正确将符号与对应选项关联。 - \*\*交叉编码器\*\*：通过分类头对(query, candidate)对进行评分，但候选数量增加时成本线性增长。 - \*\*指针网络\*\*：输出对输入位置的分布概率，可处理不同大小的候选集。Drex指针模型结合了交叉编码器（选项与问题共同编码）和指针网络（单前向传播选择选项）的思想。 \*\*2. 选项顺序敏感性\*\* - 研究表明，语言模型在回答多选题时倾向于特定位置或符号，导致选项排列顺序改变时答案发生变化。 - 现有缓解方法包括对所有排列的预测取平均，但这会成倍增加推理成本。Drex通过架构设计（如选项隔离注意力掩码）和训练一致性损失来增强顺序鲁棒性。 \*\*3. 校准与适当评分规则\*\* - 现代神经网络常存在过度自信问题。\*\*温度缩放\*\*（Temperature scaling）是一种简单有效的后处理方法，通过单一温度参数调整对数几率。 - \*\*适当评分规则\*\*（Proper scoring rules）：包括Log score、Spherical score、Brier score，以及针对整数尺度输出的\*\*平方Cramér距离\*\*。这些规则在真实分布下的期望值由预测等于真实分布时最大化，因此被用作训练目标和评估指标。 - 预期校准误差（Expected Calibration Error, ECE）和选择性准确率（Selective accuracy）是评估校准性的核心指标。 \*\*4. 模型架构与注意力模式\*\* - \*\*扩散语言模型\*\*（Diffusion Language Models, DLM）：如Efficient-DLM，采用块内双向注意力。 - \*\*混合线性注意力模型\*\*：如Gated DeltaNet，结合线性注意力层与全局注意力层。 - \*\*稀疏混合专家模型\*\*（Sparse Mixture-of-Experts, MoE）：如Qwen3.6-35B-A3B，通过路由将token分配给不同专家。 - \*\*前缀语言模型\*\*（Prefix LM）：类似于T5，在解码器中使用非因果注意力处理前缀/上下文。Drex Max在全局注意力层中移除了因果掩码，使早期token能双向关注后续选项和指令。 \*\*5. 从反馈学习与KL正则化\*\* - \*\*RLHF\*\*（基于人类反馈的强化学习）和\*\*DPO\*\*（直接偏好优化）等KL正则化学习方法为Drex的RLAF（Reinforcement Learning from Adjusted Feedback）提供了方法论基础。RLAF通过结合验证结果和评判模型（judge model）的分布，在KL散度约束下优化策略。 \*\*6. 决策基准与接口\*\* - \*\*Jev/System One\*\*：由TypeSafe AI提出，定义了决策模型的标准API接口（状态+问题→选项概率分布）。Drex遵循此接口，并基于开源的\*\*Kev\*\*代码库构建指针模型。 - \*\*Decision Index\*\*：涵盖知识、语言、检索、工具、艺术等多领域的决策模型排行榜，采用机会校正技能分（chance-corrected skill）。 - \*\*Decision Bench\*\*：基于真实记录和公开数据集构建的决策基准，包含文本、文本+图像和纯图像决策任务。 \*\*7. 视觉-语言模型\*\* - 标准架构采用视觉Transformer（ViT）将图像编码为token嵌入，再输入语言模型（如LLaVA系列）。Drex Max继承了这一范式，通过图像编码器和投影层处理多模态输入。 Q3: 论文如何解决这个问题？ 论文通过提出 \*\*Drex\*\* 这一决策模型家族，从接口定义、架构设计、训练配方和推理优化四个层面系统性地解决了上述问题。具体方法如下： ### 1. 定义统一的决策接口（System One） 论文将决策任务形式化为一个统一的请求结构，避免了自回归生成带来的解析开销。一个请求包含： - \*\*状态\*\* S （文档、记录或代理上下文，可选含图像） - \*\*问题集\*\* q_k_(k=1)^Q ，每个问题 q_k = (τ_k, u_k, O_k) 包含类型 τ_k （选择/是非/打分）、指令 u_k 和用户自定义的\*\*有序选项列表\*\* O_k = (o_(k,1), dots, o_(k,K_k)) ，其中 K_k ≤ 255 模型直接返回每个问题在选项集上的概率分布 p_k ∈ Delta^(K_k-1) ，无需文本生成或约束解码。 --- ### 2. 两种互补的架构设计 论文根据应用场景的延迟-精度权衡，设计了两种输出头： #### 2.1 指针模型（Pointer Models：DLM、v1.5、v2.0） 针对“多问题共享长上下文”的场景，采用\*\*指针头（Pointer Head）\*\*： - 将请求打包为单一序列：状态段 S 后接多个问题块 b_k ，每个选项由特殊标签 \`\` 和 \`\` 包围，以 \`\` 结尾。 - 在注意力层使用\*\*块因果掩码（block-causal mask）\*\*：问题块内的token可 attend 到状态及同一块内先前token，但不可 attend 到其他问题块。这保证了： - \*\*问题独立性\*\*： p_k 仅依赖于 S 和第 k 个问题； - \*\*状态可缓存\*\*：状态编码一次，被所有问题复用。 - 指针头计算查询向量 q = W_q h_(decide) 和每个选项的键向量 k_j = W_k h_(opt)_j ，通过缩放点积得到logit：

z(k,j) = (1) / (√d_p) (W_k h(ok,j))^top (W_q h(d_k)), quad p_k = softmax(z_k / T)
该设计对每个选项使用其完整文本的隐藏状态进行表示，且选项集大小可动态变化。 #### 2.2 Drex Max：密集多模态读取头模型 针对更高精度和多模态需求，采用**读取头（Readout Head）**： - **骨干网络**：基于 Qwen3.8-27B（64层，48层 Gated DeltaNet + 16层 full-attention）。 - **双向注意力**：在全局注意力层中**移除因果掩码**，使状态、指令和选项列表可双向交互：

M^((ell))_(ij) = 1 & ell ∈ F (非因果) 1[j ≤ i] & ell ∉ F (DeltaNet 递归)

• **读取头**：将每个选项前置于单token代码（A, B, …），最终隐藏状态 hk 经无偏置线性层 W_r ∈ R^(255 × d) 映射为255维logit向量，再对实际提供的 K_k 个选项做softmax：
  z_k = W_r h_k, quad p(k,j) = exp(z(k,j)/T)∑(i=1)^(Kk) exp(z(k,i)/T)
• **多模态**：保留 ViT 图像编码器，图像token置于文本序列之前，使每个问题都能完整 attend 到所有图像。 —- ### 3. 三阶段训练配方 所有模型共享基础训练数据（115万条跨11个领域的验证决策记录），并采用以下递进训练： #### 3.1 阶段一：监督微调（SFT） 优化目标为：

L(SFT) = E[ ell(sup) + λπ ellπ + λs ell_s ]
其中： - **监督损失** ell(sup) ：负对数似然加上针对打分问题的**平方Cramér距离** D^2C(p, e_y) ，惩罚预测累积分布与真实级别的偏差； - **排列一致性损失** ellπ ：对选项随机置换后，要求输出分布的置换不变性（通过KL散度约束）； - **状态打乱一致性损失** ells ：对状态句子或字段随机打乱后，约束输出分布稳定。 此外，训练中以一定概率插入“NONE”或干扰选项，防止模型在无语义匹配时强行选择。 #### 3.2 阶段二：强化学习来自调整反馈（RLAF） 为解决one-hot标签导致的过度自信问题，RLAF 使用**调整后的软目标** q 代替硬标签： - **指针模型**：将教师模型分布 q(teacher) 与验证结果 y^star （金标/执行结果/引擎输出）结合，构造调整目标 q 。优化适当评分规则（proper scoring rule）的期望：

R(p, q) = ∑j q_j log p_j + w(sph) tildeq^top p|p|^2 - w(cr) 1[τ=score] D^2_C(p, q)
该奖励在 p = q 时最大化，同时激励准确性与校准性。 - **Drex Max**：采用 **KL正则化** 的RLAF。奖励函数结合验证结果与评判模型（judge，即同基座的高推理强度生成模型）的输出分布 q_J ：
r(a) = rho · 1[a = y^star] + eta log q_J^a
优化目标为：
J(θ) = E_x[ ∑(a ∈ O) πθ(a|x) r(a) - β ,KL(πθ(·|x) | π0(·|x)) - λπ E[ellπ] - λ_s E[ell_s] ]
其中 π_0 为冻结的SFT模型，防止RLAF偏离太远。 #### 3.3 阶段三：视觉微调（仅 Drex Max） 在文本训练完成后，单独对图像编码器及其向语言模型的投影层进行SFT，使模型学会基于图像内容做决策。实验表明，该阶段不会降低文本输入上的准确率。 —- ### 4. 推理与部署优化 针对决策模型“无解码循环、单次前向传播”的特性，论文实施了多项生产级优化： - **共享预填充（Shared Prefill）**：指针模型将状态编码一次，所有问题复用KV缓存和递归状态，长文档多问题的成本接近单问题； - **CUDA Graphs**：对短序列将内核启动开销降低约三分之二； - **运行时内核优化**：如变量长度FlashAttention、FP8矩阵乘法、跳过最后一层对状态token的无用计算等； - **精度守卫**：每项优化后对比真实问题的输出，仅在概率偏移容忍度内且不改变top-1选项时采纳。 —- ### 5. 校准与后处理 - **温度缩放**：在推理时对logits除以温度 T 。Drex Max的部署温度 T(dep) = 1.009 通过在留存数据上最小化负对数似然得到：

T = argmin(T>0) ∑((z,y) ∈ D) -log softmax(z/T)_y

• **动态阈值路由**：建议在实际部署中，根据具体业务数据重新拟合温度，并利用模型置信度进行选择性决策（selective accuracy），将低置信度决策路由至人工审核。 通过上述架构与训练设计，Drex Max 在 Decision Index 0.4.1 上达到公开榜67.52分（全榜66.60分），在 Decision Bench v4 上达到94.0%准确率，同时保持约183 ms的延迟和较低的校准误差。 Q4: 论文做了哪些实验？ 论文围绕**准确性、校准性、顺序鲁棒性、多模态能力及训练贡献**五个维度展开系统性实验，具体如下： —- ### 1. 主流通用决策基准评测 在多个公开及私有基准上，将 Drex 系列（Max、v2.0、v1.5、DLM）与前沿决策模型（Jev 1.14、d3-turbo、GPT-6 Luna Decisions）和自回归大模型（GPT-6 Sol、Claude Opus 5.5）进行对比： - **Decision Index 0.4.1**：在约14万条公开请求上评估 chance-corrected skill 分数，并在私有子集（同技能域 + 新领域）上提交全量评分。Drex Max 公开子集达到 67.52，显著领先 Jev 1.14.0（60.70）和 Drex v2.0（61.25）。 - **Decision Bench v4**：在 1,071 条真实记录（949 文本、62 文本+图像、60 图像）上测试准确率、ECE 与延迟。Drex Max（图像编码器输入）达到 94.0% 准确率，与 d3-turbo 和 GPT-6 Sol 无显著差异，但响应中位延迟仅 0.66 s，远低于 GPT-6 Sol（~2.0 s）和 Claude Opus 5.5（~4.3 s）。 - **Artificial Analysis Decision Index**：独立第三方榜单，Drex Max 得分 63.7，仅次于三个领先模型（65.3/65.0/64.7），但在 WildGuardTest 上取得最高 F1（95.5）。 - **JevBench-231**：Drex Max 准确率为 91.8%，显著优于 v2.0（86.1%）和 v1.5（84.8%）。 - **DecideBench v1.1**：400 条最小对（minimal pairs）决策，Max 的 item 准确率为 98.5%，pair 准确率为 97.0%，ECE 仅 1.1%。 - **OpenSpiel 游戏竞技场**：在 8 种对抗 Jev 1.13/1.14 的棋盘游戏中，Max 的胜率达到 64.0%，在决策模型中最高。 - **OSWorld 评判探测**：根据计算机使用轨迹预测任务是否成功，Max 的 AUROC 为 0.780，Brier score 为 0.114，优于其他决策模型和“短轨迹即成功”启发式规则。 —- ### 2. 校准性实验（RQ1） 在 Decision Index 0.4.1 的约 23 万条有金标的选择决策上，系统测量模型的概率校准程度： - **整体 ECE**：Drex v2.0 部署温度下 ECE 为 1.37%，为 Drex 家族最优；Drex Max 为 3.61%；GPT-6 Luna Decisions 为 4.87%。 - **温度缩放效应**：在留存数据上拟合单一温度 T^star （Max: 1.35, v2.0: 0.91, v1.5: 1.48, Luna: 1.91）后，ECE 分别降至 1.35%、0.79%、1.17% 和 6.57%。 - **分领域校准**：Max 在 Language 域几乎完美（ECE 0.5%），但在 Knowledge、Retrieval、Tools、Arts 域 ECE 达 7.2%–9.2%；v2.0 各领域 ECE 为 2.8%–5.0%，且不同方向的偏差在全局聚合时部分抵消。 - **分选项数校准**：Max 在 6–20 个选项的问题上过度自信最明显（ECE 8.4%，准确率 71.7%），而 v2.0 在该区间保持良好（ECE 2.0%）。 - **选择性准确率（Selective Accuracy）**：Max 在置信度最高的 80% 决策上准确率达 96.1%，前 50% 达 99.3%。 —- ### 3. 选项顺序鲁棒性实验（RQ2） 从 Decision Index 0.4.1 中分层抽样 1,175 个请求（最终有效 1,591 条决策），在每个问题上施加三种选项顺序：原始顺序、完全逆序、随机排列： - **翻转率（Flip Rate）**：随机排列下，Max 为 4.3%，v2.0 为 5.9%，v1.5 为 5.3%，Jev 1.14 为 4.3%；逆序的翻转率更高（5.7%–8.4%）。 - **准确率稳定性**：三种顺序下的准确率差异不超过 1.2 个百分点。 - **不稳定性与置信度关联**：在三种顺序下 top-1 选项均不一致的决策（“不稳定”），Max 的准确率仅 37.6%，而稳定决策达 87.2%。用“不稳定”作为拒绝规则，与直接拒绝最低置信度决策的效果几乎相同（非弃权准确率差异 ≤ 0.4%）。 - **顺序集成**：对三种顺序输出的概率分布取平均，可降低 log loss（Max 降低 0.014 nats），但对准确率提升有限。 —- ### 4. 多模态与视觉实验（RQ4） - **Decision Bench v4 图像输入**：Drex Max 使用图像编码器时，60 道纯图像题准确率从文本渲染的 63.3% 跃升至 98.3%；在 DESIGN 类别（图像为主）从 26.7%（文本渲染）提升至 96.7%。 - **Decision Index 视觉套件**：在 11 个公开视觉基准（共 12,210 项）上，Max 在文档类任务表现突出（InfographicVQA 98.8%，KIE 95.5%），但在需要多步推理或文化语境的任务上较弱（MMMU-Pro 53.6%，R-Bench-M 48.9%）。在与 GPT-6 Luna Decisions 的 80 项/基准对比样本中，Max 在全部 11 个基准上均更优。 - **视觉微调阶段影响**：对比实验表明，加入视觉 SFT 后，Max 在文本输入上的 Decision Index 分数（66.8 vs 66.9）和准确率（87.9% vs 88.0%）无显著下降，证明视觉阶段未损害文本能力。 —- ### 5. 训练阶段贡献分析（RQ3） - **Drex v2.0 七检查点纵向分析**：在 SFT（Stage 1）、Specialist（Stage 2）、RLAF（Stage 3）三个阶段的七个中间检查点上评估 Decision Index 0.2.1、JevBench 和游戏竞技场。结果显示： - SFT 阶段带来主要提升（Decision Index skill 从 58.27 升至 60.02）； - Specialist 阶段主要提升 Retrieval 域（+1.8 skill）和 JevBench（+3.0%）； - RLAF 阶段进一步提升 Tools 和 Arts 域（各 +0.5 skill），并将 ECE 优化至家族最低水平。 - **Drex Max 受控消融**：在相同骨干与数据上对比四种变体： 1. 仅 SFT； 2. SFT → RLAF（无一致性损失 ellπ, ell_s ）； 3. SFT → RLAF（有一致性损失，视觉阶段前）； 4. 完整模型（SFT → RLAF → 视觉 SFT）。 结果表明： - RLAF 相对仅 SFT 提升 Decision Index 分数 **+2.0**，准确率 **+1.5%**，ECE 降低 **0.9%**； - 一致性损失项将随机排列翻转率从 **6.3% 降至 4.2%**（在 K ≥ 6 时从 17.8% 降至 13.0%），但对准确率无显著影响； - 视觉 SFT 阶段对文本决策性能无负面影响。 —- ### 6. 推理优化与成本实验 - **延迟测量**：在 B200/H100 GPU 上测量中位端到端延迟。指针模型通过共享状态缓存，使 114k–117k token 长上下文的新增问题延迟低至 21.6 ms；Drex Max 因每问重编码状态，单请求中位延迟为 183 ms。 - **精度-速度权衡验证**：对 FP8 量化、CUDA Graphs、内核融合、共享预填充等优化进行**答案变更检查**。绝大多数优化在 95% 配对 bootstrap 区间内准确率损失低于阈值（如 FP8 与 bf16 相比变化 0.00%，Graph padding 变化 -0.34%），仅当损失超出预设标准时才予以拒绝或人工复核。 - **硬件差异**：Drex Max 在 B300 上较 B200 单客户端延迟降低 17%–32%，并发客户端下优势缩小。 —- ### 7. 特定能力探测实验 - **闭卷知识探测**：在 HLE、GPQA Diamond 等前沿样本（各 100 题）上，Max 准确率（HLE 21%、GPQA 55%）仍显著低于 GPT-6 Sol 和 Claude Opus 5.5，表明输出头架构在极端闭卷推理上仍存在瓶颈。 - **文档搜索应用（附录 M）**：在内部企业文档检索框架中部署 Max，评估四种决策类型（查询路由、文件相关性、表格相关性、段落充分性）。在 662 条标注查询上，自动路由准确率达 93.8%（AUROC 0.966）；在 4,826 条文件筛选决策上，正确保留 99.1% 含答案文件并滤除 12% 无关文件。 Q5: 有什么可以进一步探索的点？ 基于论文第10节（Discussion and limitations）及各章节的实验分析，以下几个方向值得进一步探索： —- ### 1. 架构组件的严格消融实验 论文指出，Drex Max 与指针模型在**骨干网络规模、注意力掩码、输出头类型、训练数据**四个方面同时存在差异，因此其精度优势无法归因于单一因素。未来需在**同一 Qwen3.8-27B 骨干**上系统对比： - **指针头 vs. 读取头**：训练相同容量的两种输出头（如 256 维指针头与 255 路读取头），控制训练数据与注意力模式不变，以隔离输出头对精度和顺序鲁棒性的独立贡献。 - **因果 vs. 非因果注意力**：在读取头设置下，对比保留全局因果掩码与在 full-attention 层移除因果掩码的效果，验证双向交互对知识密集型任务的增益是否大于其增加的状态重编码成本。 —- ### 2. 闭卷知识瓶颈的缓解策略 所有 Drex 模型在 HLE、GPQA Diamond 等闭卷知识基准上仍显著落后 GPT-6 Sol 和 Claude Opus 5.5。未来可探索： - **工具使用与链式思考的融合**：在决策前允许模型生成一段 chain-of-thought 或调用外部检索工具，再经由输出头对选项进行评分，验证“生成+判别”混合模式能否缩小知识差距，同时保持低延迟优势。 - **动态路由机制**：训练一个轻量级路由器，将知识密集型查询自动分发给自回归大模型或搜索引擎，而将结构化决策保留在 Drex 体系内，以优化整体成本-精度帕累托前沿。 —- ### 3. 校准的精细化与自适应温度 实验表明，单一全局温度无法在所有领域和选项数量上实现良好校准： - **细粒度温度缩放**：研究按领域、按选项数 K 、甚至按输入特征动态调整温度的方法，而非依赖一个拟合值 T^star 。 - **事后校准方法**：探索 Platt scaling、isotonic regression 或基于小样本自适应的温度调整，以在部署后根据实际业务分布持续修正置信度。 - **RLAF 中 judge 对校准的影响**：论文假设 judge 模型的分布 q_J 可能引入过度自信（第6.5节），需量化 judge 与验证答案冲突的频率，并设计防止 judge 覆盖金标的正则化机制（如增大 rho 或平滑 q_J ）。 —- ### 4. 选项顺序鲁棒性的深层机制 - **符号绑定鲁棒性**：Drex Max 的读取头依赖选项代码（A, B, C…）与选项文本的绑定。需测试将代码替换为其他单字 token（如 1, 2, 3 或 α, β, γ ）是否会改变翻转率，以区分“顺序效应”与“符号先验效应”。 - **大样本顺序稳定性**：当前顺序鲁棒性实验基于 1,591 条决策，且排除了结构化对象选项。需在更大规模、包含复杂结构化选项的真实工作负载上验证“低置信度即高翻转风险”这一经验规律的普适性。 - **选项隔离掩码在混合架构中的实现**：Gated DeltaNet 等线性注意力层难以应用任意掩码，但可探索近似方案（如局部注意力窗或状态压缩），在保持指针模型状态可缓存优势的同时，实现排列等变性。 —- ### 5. 视觉与多模态决策的扩展 - **视觉-文本同题对比**：当前图像与文本基准不同，无法直接量化“同一问题用图像 vs. 用文本描述”的精度差异。需构建成对基准，测量 Max 在视觉推理（如 MMMU-Pro、R-Bench-M）上的真实模态增益。 - **时序视觉输入**：论文将视频处理为采样帧的静态图像集合，缺乏帧间时序建模。引入轻量级时序编码器或帧间位置编码，可能提升对视频内容的决策能力。 - **对抗性图像鲁棒性**：由于图像输入可能包含对抗性文本渲染（如图片内嵌恶意提示），需评估模型对视觉对抗样本和排版扰动的鲁棒性。 —- ### 6. 训练配方的改进 - **RLAF 的替代优化目标**：论文尝试了直接微分和 REINFORCE 梯度估计，发现前者更优，但未深入探索 PPO、DPO 或 IPO 等变体在决策模型上的适用性。 - **Specialist 阶段的系统化应用**：Drex v2.0 的 specialist 阶段在 Retrieval 域和 JevBench 上带来显著提升，但 Max 未使用该阶段。需验证在 Max 的密集骨干上叠加任务特定 specialist 是否能进一步突破特定领域天花板。 - **数据去污染与蒸馏边界**：论文承认训练数据可能包含教师模型从基准中蒸馏的知识。需开发更严格的语义去污染方法，并量化蒸馏数据对排行榜分数的膨胀效应。 —- ### 7. 推理效率与长上下文 - **指针模型的极限延迟**：Drex v1.5 在 131,072 token 的冷启动状态下延迟约 2.7 s，超过 2 s 目标。需探索状态压缩、稀疏注意力或层级缓存机制，在不破坏问题独立性的前提下降低长状态预填充成本。 - **Drex Max 的状态复用**：理论上 Max 的前几个 DeltaNet 层可共享状态缓存（Remark 2），但实际实现中完全重编码。需验证部分缓存（如共享前 3 层状态）是否能在微小精度损失下显著降低多问题场景成本。 —- ### 8. 决策模型的安全与责任部署 - **置信度阈值的可迁移性**：附录 M 显示不同模型的最优业务阈值差异显著（如查询路由阈值：Max 0.80 vs. v2.0 0.51）。需研究阈值自适应算法，减少模型版本升级时的人工重标定成本。 - **低置信度决策的可解释性**：当模型在选项间概率接近均匀分布时，除了拒绝回答，是否可通过输出头注意力权重或梯度归因，向用户提供“为何不确定”的可解释信号，尚待探索。 Q6: 总结一下论文的主要内容 这篇技术报告介绍了 **Drex**，一个开源的决策模型（decision model）家族，旨在为生产环境提供一种比自回归大语言模型（LLM）更快速、更稳定且成本更低的判别式推理方案。 ### 1. 研究背景与问题 当前，许多 AI 应用依赖自回归 LLM（如长链式思考模型）进行决策，但这类方法在生产中存在输出不一致、需要复杂解析、延迟高和成本高等问题。决策模型（decision model）提供了一种替代方案：给定一个状态（state）和一组用户自定义的选项，模型直接返回选项上的概率分布，无需自回归解码。论文的核心问题是：**能否构建一个单一模型，使其支持任意动态选项集、输出校准的概率、对选项重排保持稳定，并在生产延迟内完成推理？** ### 2. Drex 模型家族 论文提出了四个共享同一接口（System One）的模型： | 模型 | 骨干架构 | 参数量 | 特点 | |———|————-|————|———| | **Drex DLM** | Efficient-DLM-8B（扩散语言模型） | 8B | 状态内双向注意力 | | **Drex v1.5** | MiMo-V2.6-Distill-Qwen-9B（混合 DeltaNet） | 9B | 状态可缓存共享 | | **Drex v2.0** | Qwen3.6-35B-A3B（混合 DeltaNet + MoE） | 3B active / 35B total | 含专项训练阶段 | | **Drex Max** | Qwen3.8-27B（密集多模态） | 27B | 非因果注意力 + 读取头 + 图像输入 | ### 3. 核心架构 **指针模型（DLM, v1.5, v2.0）** 采用指针头（pointer head）。请求被序列化为状态段后接多个问题块，每个问题块的选项由特殊标签 ``/`` 包围，以 `` 结尾。模型利用块因果掩码（block-causal mask）编码，使状态只需编码一次并可被所有问题共享。指针头通过查询向量 q = W_q h(decide) 与选项键向量 kj = W_k h(opt)_j 的缩放点积计算概率：

z(k,j) = (1) / (√d_p) (W_k h(ok,j))^top (W_q h(dk)), quad p_k = softmax(z_k / T)
**Drex Max** 采用读取头（readout head）。它在每第四层移除因果掩码，实现双向全注意力：
M^((ell))(ij) = 1 & ell ∈ F 1[j ≤ i] & ell ∉ F
每个选项前置于单 token 代码（A, B, …），最终隐藏状态经无偏置线性层 Wr 映射为 255 维 logits，再对实际选项子集做 softmax：
z_k = W_r h_k, quad p(k,j) = exp(z(k,j)/T)∑(i=1)^(Kk) exp(z(k,i)/T)

4. 训练配方 三阶段训练流程： - **监督微调（SFT）**：优化负对数似然 + 针对打分问题的平方 Cramér 距离 D^2C(p, e_y) ，并加入两项一致性正则项： - ellπ ：惩罚选项排列导致的分布变化； - ell_s ：惩罚状态字段打乱导致的分布变化。 - **强化学习来自调整反馈（RLAF）**：用软目标 q 替代 one-hot 标签。指针模型直接优化适当评分规则（proper scoring rule）的期望；Drex Max 则采用 KL 正则化目标，融合验证结果与评判模型（judge）的分布：

J(θ) = Ex[ ∑(a) πθ(a|x) r(a) - β ,KL(πθ | π0) - λπ E[ell_π] - λ_s E[ell_s] ]

• **视觉微调（仅 Max）**：在文本训练后微调图像编码器及投影层，使模型支持基于图像的决策，且不损害文本性能。 ### 5. 主要实验结果 **准确性**：在 Decision Index 0.4.1 上，Drex Max 公开子集达到 **67.52**，领先 Jev 1.14.0（60.70）和 Drex v2.0（61.25）。在 Decision Bench v4 上，Max（图像输入）准确率为 **94.0%**，与 GPT-6 Sol 和 d3-turbo 无显著差异，仅落后 Claude Opus 5.5 1.6 个百分点。 **延迟与成本**：Drex Max 中位延迟 **183 ms**，远低于 GPT-6 Sol（~2.0 s）和 Claude Opus 5.5（~3.5 s）。 **校准性**：在约 23 万条 Decision Index 决策上，Drex v2.0 的 ECE 为 **1.37%**，经温度缩放后降至 **0.79%**；Drex Max 部署温度下 ECE 为 3.61%，经任务特定温度拟合后降至 **1.35%**。 **顺序鲁棒性**：在 1,591 条决策上，随机重排选项导致 Drex Max 的 top-1 翻转率仅为 **4.3%**，且翻转主要集中在低置信度决策上。 **多模态**：在 Decision Bench v4 的 60 道纯图像题上，Drex Max 使用图像编码器的准确率从文本渲染的 63.3% 提升至 **98.3%**。 **训练贡献消融**：在 Drex Max 上，RLAF 相较仅 SFT 提升 Decision Index 分数 **+2.0**，一致性损失项将选项翻转率从 **6.3% 降至 4.2%**。 ### 6. 结论 Drex 家族展示了决策模型在生产环境中的可行性：通过专用的输出头（指针头或读取头）、非自回归的判别式推理、以及结合一致性正则和 RLAF 的训练流程，模型能够在准确率上匹配前沿 LLM，同时实现低延迟、低成本、良好校准和对选项顺序的稳定性。Drex Max 尤其证明了密集多模态骨干配合双向注意力在复杂决策任务上的优势，而指针模型则在长文档多问题的场景下保持成本优势。论文同时指出，所有 Drex 模型在极端闭卷知识任务上仍落后于前沿对话模型，且需要针对具体工作负载监控和调整置信度阈值。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Nischay Dhankhar,Alisher Amantay,Zhanibek Datbayev,Darkhan Akhmetov,Yash Shah,Nurmukhamed Ubaidullayev,Raman Saparkhan,Dos Baha,Abulhair Saparov

Categories:

PDF URL: https://arxiv.org/pdf/2611.07854.pdf

Arxiv URL: https://arxiv.org/abs/2611.07854

Arxiv ID: 2611.07854

CoolPaper URL: https://papers.cool/arxiv/2611.07854

Published: 2026-11-06T03:39:32.343Z

Updated: 2026-11-06T03:39:32.343Z

---

2. Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand

Abstract:Benchmark compression reduces the often prohibitive time and cost of model evaluation by evaluating models on a small benchmark subset that closely matches full-benchmark results. To quantify estimation error, we derive an accurate analytical approximation to the error distribution when estimating full-benchmark scores from a subset, showing that most subsets yield small errors, while a few produce much larger errors, resulting in a long-tailed distribution. This means random sampling alone can achieve surprisingly strong performance with high probability, but remains unstable due to rare large errors. We further show that this instability is inherent to modern foundation models and persists even as more models are evaluated. Based on these findings, we introduce BestRand, a stable and low-cost benchmark compression method that preserves the efficiency of random sampling while substantially reducing its high-error tail. We validate BestRand on 70+ text, multimodal, and agent benchmarks, and further extend it to VLA evaluation. Compared with competitive methods, BestRand reduces high-error risk by 50.2% and estimation error by 16.4% on average, while requiring only 51.3% of the construction cost. It further reduces OOD estimation error by 21.8% on average across score-range, model-family, and temporal shifts. Together, our theory provides practical guidance for understanding and predicting the accuracy and reliability of benchmark compression, while BestRand enables stable and accurate compression at low cost. The code and data are publicly available onhttps://github.com/George-Ling3/BestRand.

中文摘要

摘要：基准压缩通过在与完整基准结果高度匹配的小型基准子集上评估模型，从而减少模型评估中通常过高的时间和成本。为了量化估计误差，我们推导了从子集估计完整基准分数时误差分布的精确解析近似，显示大多数子集产生的误差较小，而少数子集产生的误差则大得多，导致长尾分布。这意味着仅凭随机采样就可以以高概率实现令人惊讶的强性能，但由于罕见的大误差，仍然不稳定。我们进一步表明，这种不稳定性是现代基础模型的固有特性，即使评估更多模型也依然存在。基于这些发现，我们提出了 BestRand，一种稳定且低成本的基准压缩方法，它保留了随机采样的效率，同时大幅降低了其高误差尾部。我们在 70 多个文本、多模态和代理基准上验证了 BestRand，并进一步将其扩展到 VLA 评估。与竞争方法相比，BestRand 平均减少了 50.2% 的高误差风险和 16.4% 的估计误差，同时仅需要 51.3% 的构建成本。它还平均在分数范围、模型系列和时间变化下减少了 21.8% 的 OOD 估计误差。总之，我们的理论为理解和预测基准压缩的准确性和可靠性提供了实际指导，而 BestRand 则实现了低成本下的稳定且准确的压缩。代码和数据可在 https://github.com/George-Ling3/BestRand 公开获取。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.00883 (HTTP 429)

Authors: George Ling,Shanshan Zhong,Lijin Yang,Hao Yang,Nanxiang Li,Zhongzhan Huang

Categories:

PDF URL: https://arxiv.org/pdf/2611.00883.pdf

Arxiv URL: https://arxiv.org/abs/2611.00883

Arxiv ID: 2611.00883

CoolPaper URL: https://papers.cool/arxiv/2611.00883

Published: 2026-11-06T03:39:32.329Z

Updated: 2026-11-06T03:39:32.329Z

---