数据来源：HuggingFace Papers

Latest Papers

1. RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

Abstract:General-purpose robot policies must work across robots, tasks, and environments, yet the variation that makes physical trials informative also makes them difficult to reproduce. We introduce RoboColosseum, a distributed evaluation framework that combines unified policy serving and standardized protocols across a network of locally operated robots in diverse environments. Our initial study evaluates five vision-language-action (VLA) policies and three frontier AI agents across four embodiments (SO-101, Franka, Bimanual-YAM, and G1 Humanoid). The Open Track compares models without task-specific adaptation in blinded, pairwise trials under matched local conditions. The Fine-tune Track measures how well VLA policies adapt to 20 tasks across all four embodiments when each policy receives the same 100 demonstrations per task. Across 5,699 pairwise Open Track comparisons at 124 sites, frontier agents rival specialized VLA policies, while all systems struggle to complete open-world tasks reliably. After fine-tuning, GR00T N1.7 leads on SO-101 and pi0.5 leads on Franka and Bimanual-YAM. Policy rankings show weak agreement across embodiment-specific task suites (Kendall W = 0.24). Open Track rankings poorly predict relative performance after fine-tuning, with substantial rank reversals on all three embodiments shared between tracks. Measuring partial progress reveals differences that task success alone misses. On the G1 Humanoid, no policy completes any of the five tasks, yet average progress ranges from 13.3% to 23.2% across policies. Open Track rankings stabilize as trials accumulate, and active matchmaking achieves comparable ranking agreement with substantially fewer physical trials than uniform sampling. These results show how distributed physical evaluation can reveal where robot policies generalize, how well they adapt to new tasks, and how far they progress on tasks they fail to complete.

中文摘要

摘要：通用机器人策略必须适用于不同的机器人、任务和环境，但正是这种使物理试验具有信息价值的多样性也使其难以复现。我们引入了RoboColosseum，一种分布式评估框架，它在不同环境中的本地操作机器人网络上结合了统一的策略服务和标准化协议。我们的初步研究评估了五种视觉-语言-动作（VLA）策略和三种前沿AI代理在四种实例化机器人（SO-101、Franka、Bimanual-YAM和G1人形机器人）上的表现。开放赛道在匹配的本地条件下，通过盲法成对试验比较模型在未进行任务特定适配时的表现。微调赛道则评估VLA策略在每个策略每个任务获得相同的100个示范时，如何适应所有四种实例化机器人的20个任务。在124个站点进行的5699次开放赛道成对比较中，前沿代理与专用VLA策略相当，而所有系统都难以可靠地完成开放世界任务。微调后，GR00T N1.7在SO-101上表现领先，pi0.5在Franka和Bimanual-YAM上表现领先。策略排名在不同机器人任务套件之间一致性较弱（Kendall W = 0.24）。开放赛道排名对微调后的相对表现预测能力有限，三个实例化机器人在赛道之间的排名均出现了显著逆转。测量部分进展揭示了仅凭任务成功无法捕捉的差异。在G1人形机器人上，没有任何策略完成五个任务中的任何一个，但各策略的平均进展范围为13.3%至23.2%。随着试验的累积，开放赛道排名逐渐稳定，主动匹配实现了与均匀抽样相当的排名一致性，但所需物理试验显著减少。这些结果显示了分布式物理评估如何揭示机器人策略的泛化能力、适应新任务的能力以及在未完成任务时的进展程度。

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文试图解决\*\*通用机器人策略在真实物理世界中难以进行大规模、可复现、跨平台评估\*\*的核心问题。具体而言，其针对的关键挑战包括： - \*\*物理评估的规模化困境\*\*：与语言或视觉模型不同，机器人策略需要通过闭环物理交互进行评估，而真实世界的试验涉及重置、硬件维护和安全风险，导致难以像仿真那样快速迭代和扩展。 - \*\*环境异构性带来的比较困难\*\*：不同实验室或场地的机器人配置、相机标定、光照、物体摆放和物理属性存在差异，使得跨站点或跨模型的公平比较难以实现。 - \*\*评估维度不全面\*\*：现有基准往往只关注最终任务成功率，忽略了策略在失败前取得的部分进展（partial progress），且难以同时衡量模型的零样本泛化（generalization）和少量样本适应（adaptation）能力。 - \*\*分布式评估的可持续性\*\*：此前依赖学生或志愿者的分布式测试难以长期维持，缺乏专职人员和标准化协议来保障数据质量与操作一致性。 为应对上述问题，论文提出了 \*\*RoboColosseum\*\*——一个面向“在野外”（in-the-wild）的分布式真实世界基准框架，通过统一策略服务基础设施、标准化硬件与评估协议，以及专职操作员网络，系统性地评估通用机器人策略在以下方面的表现： 1. \*\*开放世界泛化\*\*：在无任务特定适应（zero-shot）条件下，策略在多样化真实环境中的执行能力； 2. \*\*任务适应能力\*\*：在固定少量演示（如每项任务100条）条件下，策略学习新技能的效果； 3. \*\*跨平台一致性\*\*：策略表现是否能在不同机器人形态（SO-101、Franka、双臂YAM、G1人形机器人）之间稳定迁移； 4. \*\*评估的统计可靠性\*\*：通过成对比较（pairwise comparison）与基于Rasch模型的难度校准排名，降低环境随机性对排名的干扰，并验证排名随数据规模增长的稳定性。 简言之，该研究旨在建立一套\*\*可扩展、可持续、统计严谨\*\*的分布式物理评估体系，以揭示当前机器人基础模型在真实复杂环境中的能力边界与失效模式。 Q2: 有哪些相关研究？ 该论文在第2节（Related Work）中系统梳理了三个方向的相关研究，现归纳如下： --- ### 1. 仿真与真实世界基准测试（Simulated and Real-World Benchmarking） | 研究 | 核心贡献 | 与本文关系 | |------|---------|-----------| | \*\*FurnitureBench\*\* (Heo et al., 2025) | 通过规定统一的机器人平台、工作空间、物体与任务协议，提升真实世界评估的可比性 | 为标准化硬件与任务定义提供先例 | | \*\*SceneReplica\*\* (Khargonkar et al., 2024) | 利用参考图像与标定设置重建物理场景，研究实验可复现性 | 强调场景一致性对评估可靠性的影响 | | \*\*TOTO\*\* (Zhou et al., 2023) 与 \*\*Real Robot Challenge\*\* (Bauer et al., 2022) | 采用远程测试平台模式，集中管理物理硬件，研究者提交策略后在共享机器人上执行 | 减少因独立搭建环境导致的差异 | | \*\*RoboDojo\*\* (Chen et al., 2026) | 在三种双臂机器人平台上评估18项真实任务，使用标准化工作空间、重置程序与子步骤评分 | 展示多具身、细粒度评分的可行性 | | \*\*VLA-REPLICA\*\* (Huang et al., 2026) | 提供低成本的SO-101硬件配置，支持在不同地点复现 | 为低成本、跨站点复现提供参考 | RoboColosseum在此基础上，进一步将覆盖范围扩展到\*\*多具身、多站点、在野环境\*\*，并通过统一协议实现跨平台公平比较。 --- ### 2. 通用机器人策略（Generalist Robot Policies） #### 视觉-语言-动作（VLA）策略 - \*\*RT-X\*\* (O'Neill et al., 2024)：汇集不同机器人的演示数据，验证跨平台迁移可提升性能。 - \*\*Octo\*\* (Team et al., 2024)：提供可适应新观察空间与动作空间的预训练策略。 - \*\*OpenVLA\*\* (Kim et al., 2024)：将预训练视觉-语言表示与机器人演示结合，支持在目标场景上微调。 - \*\*π0.5\*\* (Black et al., 2025)：融合多机器人数据、互联网数据与语义监督，实现对未见家庭环境的操作泛化。 - \*\*GR00T\*\* (Bjorck et al., 2025)：结合视觉-语言处理与专用动作生成模块。 - \*\*MolmoAct2\*\* (Fang et al., 2026)：将面向具身推理的主干网络与连续动作专家（continuous-action expert）连接。 #### 基于大语言模型的决策与代码生成 - \*\*SayCan\*\* (Ahn et al., 2022)：利用语言模型预测与执行成功率的估计，选择已学习的机器人技能。 - \*\*Code as Policies\*\* (Liang et al., 2022)：生成处理感知输出并调用机器人控制API的程序。 RoboColosseum同时评估了上述\*\*VLA策略\*\*与\*\*前沿AI智能体（frontier agents）\*\*，以比较专业化策略与通用语言模型在物理闭环控制中的表现。 --- ### 3. 分布式机器人评估（Distributed Robotics Evaluation） | 研究 | 核心方法 | 与本文关系 | |------|---------|-----------| | \*\*RB2\*\* (Dasari et al., 2021) | 跨多个实验室分布操作评估，控制任务定义，聚合各站点排名而非直接比较原始分数 | 分布式评估的早期实践 | | \*\*RoboArena\*\* (Atreya et al., 2025) | 去中心化评估网络，覆盖七个学术机构；评估者在本地以背靠背方式对两个匿名策略进行成对比较 | 验证了分布式成对比较与匹配本地条件的有效性，但仅限单一Franka具身 | | \*\*Chatbot Arena\*\* (Chiang et al., 2024b) | 基于Bradley–Terry模型，从人类成对偏好中对匿名模型进行排名 | 为Open Track的成对比较与排名聚合提供方法论基础 | | \*\*主动排名方法\*\* (Heckel et al., 2018) | 将比较分配聚焦于信息量更大的模型对，而非均匀采样 | 为RoboColosseum的主动匹配（active matchmaking）策略提供理论支持 | --- ### 4. 补充背景：跨领域大规模评估的启发 除机器人领域的专门工作外，论文引言还提及语言与视觉社区的大型基准，以说明真实世界、人类偏好驱动评估对推动领域进步的作用： - \*\*Chatbot Arena / LMSYS\*\* (Zheng et al., 2023; Chiang et al., 2024a)：基于人类偏好评估大语言模型。 - \*\*VBench\*\* (Huang et al., 2024)：视频生成模型的综合基准。 这些工作共同构成了RoboColosseum在\*\*标准化协议、分布式部署、成对比较排名与主动采样\*\*方面的理论与技术基础。 Q3: 论文如何解决这个问题？ 论文通过构建 \*\*RoboColosseum\*\* 这一分布式、多具身的真实世界基准框架，从基础设施、评估协议、统计方法与运营机制四个层面系统性地解决了通用机器人策略的大规模物理评估难题。具体解决方案如下： --- ### 1. 构建分布式物理基础设施与统一服务层 针对单一实验室评估难以扩展、环境覆盖不足的问题，论文建立了一个跨地域的机器人评估网络： - \*\*多具身标准化硬件\*\*：支持四种形态差异显著的机器人平台——低成本单臂 SO-101、双臂 Bimanual-YAM、研究级 Franka（DROID 配置）以及人形机器人 Unitree G1。每种具身均定义了固定的观察空间与动作空间规格（如关节维度、相机配置），确保跨站点的策略兼容性。 - \*\*统一策略服务基础设施\*\*：通过共享的机器人接口与策略服务层（policy-serving infrastructure），将地理分布的评估站点（覆盖美国、英国、新加坡、马来西亚、中国等地共 124 个站点）连接为统一网络。策略推理可在本地（RTX 5090）或远程服务器执行，由中央路由服务器统一管理，保障低延迟执行与接口一致性。 - \*\*专职化运营\*\*：雇佣全职机器人操作员执行评估协议、重置环境与评分，而非依赖不可持续的志愿者模式；同时建立隐私保护的数据处理流程（如人脸模糊化），支撑长期、大规模的物理试验。 --- ### 2. 设计互补的双轨评估体系 为同时衡量“零样本泛化”与“少量样本适应”两种核心能力，论文设计了两个互补的评估轨道： #### Open Track（开放轨道）——评估零样本泛化 - \*\*盲化成对比较\*\*：在同一本地条件下，对两个匿名模型（A/B）背靠背执行同一任务，由操作员记录偏好、进度评分与难度评级。任务与环境在不同比较间可以变化，但在同一比较内保持完全一致。 - \*\*无任务特定适应\*\*：模型不得使用任务特定的微调或提示工程，仅依靠预训练知识或通用接口执行指令。 #### Fine-tune Track（微调轨道）——评估任务适应能力 - \*\*固定数据预算\*\*：每项任务仅提供 \*\*100 条\*\* 人工遥操作演示，所有策略必须从相同数据出发进行微调。 - \*\*统一评估协议\*\*：任务定义、成功标准、进度标准与评估流程完全固定，仅允许各模型使用其官方推荐的训练配方（recipe）与优化器设置。这遵循 DataComp 式的“控制数据、放开训练”原则，公平比较不同架构的实用适应能力。 --- ### 3. 引入细粒度与统计鲁棒的评估指标 针对“仅凭最终成功率难以区分策略差异”的问题，论文提出多层次指标： - \*\*部分进度指标（Progress Score, PS）\*\*：将任务分解为 K 个中间标准（progress criteria），归一化计算满足标准的比例：

PS = (1) / (N) ∑_(n=1)^(N) (s_n) / (K)
其中 s_n 为第 n 次 rollout 满足的标准数。该指标能在策略均未成功时（如 G1 人形机器人上所有策略成功率为 0），仍揭示其执行能力的差异（平均进度 13.3% 至 23.2%）。 - **成功率（Success Rate, SR）**：严格衡量任务完全达成的比例，与 PS 形成互补。 —- ### 4. 建立难度感知的全局排名模型 针对“不同任务难度差异大、跨环境比较不公平”的问题，Open Track 采用 **Difficulty-Calibrated Rasch (DCR)** 模型： - **联合估计策略能力与任务难度**：设策略 p 的能力为 θ_p ，任务 t 的难度为 β_t ，成功概率建模为：

q_(p,t) = σ(θ_p - β_t)
其中 σ(·) 为 logistic 函数。 - **融入人类难度先验**：利用操作员给出的 1–10 难度评级 d_t 作为任务难度的先验分布约束：
β_t mid d_t = k sim N(μ_k, τ^2)
使任务难度既受人类经验引导，又由物理执行结果修正。 - Elo 尺度转换：为便于解读，将后验能力均值 $s_p = E
θ_p mid D
$ 线性映射为 Elo 风格评分：
R_p = 1500 + (400) / (ln 10) s_p
实现跨任务、跨环境的公平排名。 —- ### 5. 通过主动匹配提升评估效率 针对物理试验成本高昂的问题，论文采用 **主动匹配（active matchmaking）** 策略优化成对比较的采样： - **不确定性优先采样**：优先选择方差大、历史比较次数少的模型对，最大化每次物理试验对全局排名的信息增益：

Pt(a) propto √Sigma(t,a,a) / (n_a + 1)

  • **显著减少试验需求**：实验表明，主动匹配仅需 **400–500 次** 物理比较即可达到与全量数据约 90% 的排名一致，而均匀随机采样需要约 **1000 次**，将所需物理试验量减少一半以上。 —- ### 6. 规模化验证排名的统计稳定性 论文通过子采样分析证明，随着物理评估规模扩大，排名稳定性持续提升： - 平均而言，约 **1,123 次** 比较可达 90% 的全量排名一致； - 约 **4,755 次** 比较可达 95% 一致； - 不同独立站点子集产生的排名具有高度一致性（DROID/Franka 与 Bimanual-YAM 的 Spearman rho ≈ 0.82 ），证明分布式评估的统计可靠性。 —- ### 总结 RoboColosseum 的解决方案可概括为：**以统一接口和标准化硬件连接分布式站点，以双轨制分别度量泛化与适应，以部分进度指标捕捉失败中的差异，以难度校准模型实现跨环境公平比较，并以主动匹配降低物理试验成本**。这一体系使大规模、在野的机器人策略评估从“不可行”转变为“可持续且统计可靠”。 Q4: 论文做了哪些实验？ 论文在第4节（Experiments）中系统开展了一系列大规模物理实验，围绕五个研究问题（RQ1–RQ5）展开。实验历时41天（2026年9月17日至10月28日），涉及8个模型（5个VLA策略与3个前沿AI智能体）、4种机器人具身、124个评估站点及5,699对Open Track比较。具体实验内容如下： —- ### 4.1 实验设置（Experimental Setup） - **评估模型**： - **VLA策略**：GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2 - **前沿AI智能体**：GPT-6 Astra、Claude Opus 5.5、Grok 4.7（仅参与Open Track） - **机器人具身**：SO-101（低成本单臂）、Franka（DROID配置）、Bimanual-YAM（双臂）、Unitree G1（人形机器人） - **评估轨道**： - **Fine-tune Track**：20项任务（每具身5项），每项100条演示，每模型–任务对评估25次 - **Open Track**：5,699项成对比较（pairwise comparisons），覆盖5,699个不同任务，124个站点 - **指标**：成功率（SR）、归一化进度分数（PS）、基于Difficulty-Calibrated Rasch（DCR）的Elo式评分、Bradley–Terry–Davidson（BTD）模型排名、Spearman秩相关与Kendall协调系数 —- ### 4.2 开放世界能力评估（RQ1: Open-World Capabilities） #### 实验1：前沿AI智能体与VLA策略的零样本对比 - **内容**：在901对匹配比较中，让前沿AI智能体与VLA策略在相同任务、相同本地条件下背靠背执行，记录归一化任务进度。 - **发现**： - 智能体在394次比较中进度更高，VLA在265次更高，242次持平，平均智能体优势为5.3个百分点。 - 但存在显著差异：Claude Opus 5.5（+12.1 pp）与GPT-6 Astra（+11.0 pp）领先，而Grok 4.7（−7.5 pp）落后于VLA。 - 在DROID/Franka上GPT-6 Astra DCR评分最高，在SO-101与Bimanual-YAM上Claude Opus 5.5领先。 #### 实验2：按操作类别分解性能 - **内容**：使用LLM分类器将Open Track任务划分为6类（Pick/Place、Stack/Arrange、Open/Close、Reorient、Deformable、Tool/Interaction），在每类内拟合基于进度的BTD模型，计算期望比较得分与绝对成功率。 - **发现**： - MolmoAct2在全部6个类别中均为VLA策略中排名第一（期望得分58%–77%）。 - 然而，**没有任何系统在任何类别中的成功率超过13%**，表明当前策略在开放世界中的可靠任务完成仍然极其困难。 #### 实验3：人类评分任务难度与策略表现的关系 - **内容**：将5,699次执行按人类评定的1–10难度分组，分析成功率与未成功执行中的平均进度。 - **发现**： - 成功率随难度急剧下降：难度1–4时为30.7%，难度9–10时仅为0.4%。 - 未成功执行的平均进度同样从56.6%降至3.5%，说明策略不仅在困难任务上失败，而且在失败前也难以取得有意义的进展。 —- ### 4.3 任务适应能力评估（RQ2: Task Adaptation） #### 实验4：固定演示预算下的微调性能（Fine-tune Track） - **内容**：对5个VLA模型，在4个具身上各5项任务（共20项）进行微调，每项任务使用完全相同的100条演示，评估25次 rollout。 - **发现**： - **任务特异性**：同一模型在不同任务上表现差异巨大。例如，LingBot-VLA v2在Franka上`open_drawer`成功率100%，但`marker_in_holder`为0%；MolmoAct2则相反（0% vs 88%）。 - **广泛适应性**：π0.5在Bimanual-YAM上5项任务中有4项达到96–100%成功率，展现较强的跨任务一致性；而G0.5仅在部分任务上表现突出（drawer与microwave 100%），但在`stack_cups`上仅20%。 #### 实验5：任务进度可达性（Progress Reachability） - **内容**：计算每项具身上各策略满足至少某比例任务标准的试验百分比，绘制从0%到100%的累积曲线。 - **发现**： - 在DROID/Franka上，G0.5几乎全部试验满足至少25%标准，但仅约20%满足75%；π0.5则在所有阈值上保持高位，成功率达84%。 - 在Unitree G1上，**没有任何策略完成任何任务**，但平均进度在13.3%（G0.5）到23.2%（LingBot-VLA v2）之间，证明部分进度指标能揭示二进制成功率所掩盖的差异。 #### 实验6：失败阶段分析 - **内容**：对两项代表性任务（SO-101 `cube_drawer`与DROID/Franka `close_laptop`），按最早未满足的标准对失败试验进行分层。 - **发现**： - 策略既存在**共性瓶颈**（如SO-101上所有策略在“抓取并提起”阶段均有12–48%失败率），也存在**特异性瓶颈**（如G0.5在`close_laptop`上能完成初始接触与下放，但几乎无法完成半合；而MolmoAct2与π0.5则能接近完全闭合，却在最终闭合条件上失败）。 —- ### 4.4 性能一致性评估（RQ3: Performance Consistency） #### 实验7：跨轨道排名一致性 - **内容**：比较同一具身上5个VLA模型在Open Track（DCR评分）与Fine-tune Track（平均PS）中的相对排名。 - **发现**： - 排名一致性极低：Spearman相关系数在SO-101为−0.20，DROID/Franka为−0.40，Bimanual-YAM为+0.20。 - 出现显著**排名反转**：π0.5在DROID/Franka与Bimanual-YAM的Open Track中分别排第5与第4，但在Fine-tune Track中均升至第1；G0.5在DROID/Franka的Open Track中排第2，微调后跌至第5。 #### 实验8：跨具身排名一致性 - **内容**：计算Fine-tune Track上4个具身的Kendall协调系数W，检验同一策略是否在不同具身上保持相对优势。 - **发现**： - Kendall’s W = 0.24，表明**跨具身排名几乎不存在一致共识**。例如，π0.5在DROID/Franka与Bimanual-YAM上领先，但在Unitree G1上仅排第4；GR00T N1.7在SO-101上领先，但在其他具身上表现平平。 —- ### 4.5 排名可靠性与效率评估（RQ4: Evaluation Reliability and Efficiency） #### 实验9：跨站点子集排名一致性 - **内容**：将124个评估站点随机划分为两个不相交子集，在每个子集上独立拟合DCR模型，比较模型对的相对排序一致性。 - **发现**： - DROID/Franka与Bimanual-YAM的平均两两排序一致性约85%，平均Spearman ρ ≈ 0.82，表明分布式评估具有较好的可复现性。 - SO-101的一致性仅59%（ρ = 0.30），说明该具身的排名对站点选择更敏感，可能与该平台上各策略性能接近、证据量不足有关。 #### 实验10：主动匹配（Active Matchmaking）的采样效率 - **内容**：对比两种采样策略——基于DCR不确定性的主动匹配与均匀随机采样——在有限评估预算下与全量数据排名的吻合程度。 - **发现**： - 主动匹配在**400–500次**比较后即可达到约90%的全量排名一致。 - 均匀采样需要约**1,000次**比较才能达到同等水平，证明主动匹配可将所需物理试验量减少约50%以上。 —- ### 4.6 评估规模效应（RQ5: Effect of Scaling Evaluation） #### 实验11：Open Track排名稳定性随样本量变化 - **内容**：从5,699次比较中随机抽取不同规模的子集，拟合DCR并与全量排名比较，重复200次以计算均值与置信区间。 - **发现**： - 平均排名一致性随规模稳步提升：约**1,123次**比较达90%，约**4,755次**达95%。 - 但不同子集间的2.5th–97.5th百分位区间始终较宽，表明虽然平均趋势较早收敛，但要获得**高置信度的稳定排名**仍需大量物理评估。 —- ### 实验总结 | 研究问题 | 核心实验 | 关键数据规模 | |————-|————-|——————| | RQ1 开放世界能力 | 智能体 vs VLA对比；6类操作分解；难度-性能曲线 | 5,699对比较；901对智能体-VLA匹配比较 | | RQ2 任务适应 | 20任务×25试验微调；进度可达性曲线；失败阶段分析 | 20任务，100演示/任务，25 rollout/模型-任务对 | | RQ3 性能一致性 | 跨轨道Spearman相关；跨具身Kendall W | 3共享具身，5 VLA模型 | | RQ4 可靠性与效率 | 站点子集分割；主动匹配 vs 均匀采样 | 124站点；200次重复子采样 | | RQ5 规模效应 | 子集排名稳定性 | 5,699总比较，200次重复 | Q5: 有什么可以进一步探索的点？ 基于论文的实验发现与局限性，以下几个方面值得在后续研究中深入探索： —- ### 1. 评估覆盖的广度与深度扩展 当前研究仅为初始快照，覆盖 8 个模型、4 种具身与 20 项微调任务。未来的探索可沿以下维度展开： - **模型族扩展**：纳入更多开源与闭源 VLA 模型（如基于扩散策略或流匹配的架构）、专用机器人小模型，以及多模态大模型的不同版本，检验排名是否随模型迭代呈现系统性迁移。 - **具身多样化**：除现有固定基座臂与人形机器人外，可引入轮式移动操作、四足臂系统、柔性驱动器等，检验策略能力在更高自由度或更低刚度系统中的边界。 - **任务时长与复杂度**：当前任务以单步或短序列操作为主，可设计多阶段长程任务（如“准备一顿简餐”），以暴露策略在错误累积与长时间闭环中的失效模式。 —- ### 2. 训练配方的受控消融与架构归因 Fine-tune Track 允许各模型使用其官方适配配方（recipe），这使得当前比较更贴近实际应用，但也混淆了**数据效率**与**架构归纳偏置**的贡献。未来可设计： - **统一优化器与训练计划**：在固定数据外，进一步固定优化器、学习率调度与训练步数，从而隔离模型架构本身对适应速度的影响。 - **模块化微调协议**：明确区分“冻结视觉-语言主干仅训练动作头”与“端到端全模型微调”的性能差异，为社区提供更具指导意义的架构选择依据。 —- ### 3. 人形机器人（G1）上的零成功根因分析 实验显示在 Unitree G1 上所有策略的**成功率为 0**，但部分进度（PS）存在显著差异（13.3% 至 23.2%）。这一极端结果提示： - **操作与运动的耦合机制**：G1 任务涉及行走、蹲起、换手等全身协调，现有 VLA 策略的静态或准静态假设可能完全不适用。需要研究显式的 loco-manipulation 解耦或全身控制先验。 - **人形特有的观察-动作不对齐**：第一视角或固定外部视角是否足以支撑双足动态平衡下的精细操作？探索 egocentric 视觉流与本体感知的融合方式可能是突破关键。 —- ### 4. 评估方法论本身的精细化 论文提出的部分进度（PS）与 Difficulty-Calibrated Rasch（DCR）模型为社区提供了新工具，但仍可深化： - **自动化进度标准生成**：当前 K 项标准为人工定义，成本高昂且可能带有主观性。可探索利用大型语言模型自动从任务指令与视频中提取可验证的中间里程碑，并校准其人与机器判定的一致性。 - **多维能力模型**：现有 DCR 将策略能力压缩为一维标量 θ_p ，但实验表明某些策略在“抓取”上强而在“抽屉开合”上弱。引入多维项目反应理论（MIRT）模型，分别估计策略的**抓取、定位、施力、双协调**等独立能力维度，可提供更精细的诊断信息。 - **主动匹配的动态任务分配**：当前主动匹配仅基于模型对的不确定性，未显式考虑**任务难度分布**或**具身特性**。设计同时优化 (模型对, 任务, 环境) 三元组的信息增益函数，可进一步提升物理试验的采样效率。 —- ### 5. 泛化与适应能力的解耦机制 论文发现 Open Track 与 Fine-tune Track 的排名存在显著反转（如 Spearman rho = -0.40 ），且 Kendall’s W = 0.24 表明跨具身一致性极弱。这引出一个基础科学问题： - **预训练先验与微调可塑性的权衡**：某些策略在零样本下表现优异，可能因其预训练分布覆盖了更多家庭环境，但微调时陷入局部最优；而另一些策略预训练分布较窄，却能在固定 100 条演示上快速收敛。通过分析各策略在微调过程中的学习曲线（loss landscape 或验证进度曲线的动态），可量化“泛化能力”与“适应能力”的权衡关系。 - **跨具身迁移的瓶颈定位**：排名不一致是否源于视觉编码器、动作解码器，还是数据分布差异？通过跨具身的表征对齐分析（如 probing visual features 对物体姿态的敏感性），可定位迁移失败的具体模块。 —- ### 6. 前沿 LLM 智能体的效率-能力权衡 前沿 AI 智能体（Claude Opus 5.5、GPT-6 Astra）在 Open Track 中展现出与 VLA 相当的物理操作能力，但其决策依赖 API 往返，每次试验限制为 30 次 LLM 调用，控制频率远低于 VLA 的本地推理。值得探索： - **推理预算与物理性能的帕累托前沿**：在固定试验步数（800 步）下，系统性地变化 LLM 调用频次与每次调用的推理深度（如 reasoning effort），量化“思考时间”对操作精度的边际收益。 - **分层控制架构**：将 LLM 用于高层子目标规划（如“先靠近，再对准，最后抓取”），而由轻量级策略执行底层闭环，检验是否能兼顾智能体的语义推理优势与 VLA 的低延迟特性。 —- ### 7. 长期与持续适应评估 当前 Fine-tune Track 仅评估了**单次离线微调**后的性能，未涉及： - **增量学习与灾难性遗忘**：当策略在序列任务上依次微调时（而非独立微调 20 个任务），其先前任务性能如何衰减？这对于通用机器人策略的终身学习至关重要。 - **样本效率的极限**：固定 100 条演示是一个实用预算，但探索 10、25、50、200 条演示下的性能曲线，可更精确地刻画各策略的 scaling law，并为数据采集成本提供决策依据。 —- ### 8. 安全性与鲁棒性的量化集成 当前评估中，安全停止（safety stop）仅导致 rollout 被记为零分。未来可建立更细粒度的安全指标： - **危险行为分类**：将碰撞、过度施力、超出工作空间等行为分类编码，作为策略排名的独立约束维度（类似多目标优化中的帕累托支配），而非仅作为二进制惩罚。 - **对抗性环境扰动**：在 Open Track 中引入照明变化、桌面材质更换、不可见干扰物等受控扰动，评估策略排名的鲁棒性，而非仅在自然变化中被动观察。 Q6: 总结一下论文的主要内容 这篇论文介绍了 **RoboColosseum**，一个用于大规模、分布式、在野（in-the-wild）评估通用机器人策略的基准框架，并通过对五种视觉-语言-动作（VLA）策略与三种前沿AI智能体的系统实验，揭示了当前物理智能的边界与评估中的关键科学问题。 —- ### 1. 研究动机与核心问题 通用机器人策略必须跨机器人、跨任务、跨环境执行，但物理世界的评估面临根本性张力： - **可复现性要求**（控制硬件、初始条件、场景）与**泛化性要求**（多样化环境、光照、布局）相互矛盾； - 仿真与真实之间存在感知与动力学差异，而集中式真实世界评估难以规模化； - 现有基准往往样本量小、环境单一，且仅关注最终成功率，忽略了失败中的部分进展。 论文旨在解决：**如何构建可持续、可扩展且统计严谨的分布式真实世界评估体系，以公平衡量机器人策略的零样本泛化与少量样本适应能力？** —- ### 2. RoboColosseum 框架 论文提出的核心基础设施与协议包括： - **分布式物理网络**：覆盖美国、英国、新加坡、马来西亚、中国等地的 **124 个评估站点**，由全职操作员运维，支持 **SO-101**（低成本单臂）、**Franka**（DROID配置）、**Bimanual-YAM**（双臂）与 **Unitree G1**（人形机器人）四种具身。 - **统一策略服务**：通过标准化观察/动作接口与远程路由服务器，实现跨站点的策略兼容与低延迟推理。 - **互补双轨评估**： - **Open Track**：评估零样本泛化。模型在盲化、成对（A/B）试验中背靠背执行，任务与环境在不同比较间变化，但在同一比较内本地条件完全匹配。 - **Fine-tune Track**：评估任务适应。所有VLA模型从各自预训练检查点出发，在完全相同的 **100 条** 人工演示上微调，在 20 项预定义任务上各评估 25 次 rollout。 - **细粒度指标**：除二进制**成功率（SR）**外，引入归一化**进度分数（PS）**，按任务分解的 K 个中间标准计算 s_n/K ，捕捉失败前的部分完成程度。 - **难度校准排名**：Open Track 采用 **Difficulty-Calibrated Rasch（DCR）** 模型，联合估计策略能力 θ_p 与任务难度 β_t ，并融入人类难度评级先验，实现跨任务公平比较。 - **主动匹配（Active Matchmaking）**：优先对不确定性高的模型对进行物理比较，提升采样效率。 —- ### 3. 主要实验发现 论文基于 **5,699 次** Open Track 成对比较与 Fine-tune Track 上的大规模微调实验，回答了五个研究问题： #### 开放世界能力（RQ1） - **前沿AI智能体可与专门VLA策略竞争**：在零样本条件下，Claude Opus 5.5 与 GPT-6 Astra 在部分具身上的操作进度甚至超过VLA策略，平均分别领先 12.1 与 11.0 个百分点。 - **但可靠完成率极低**：没有任何系统在任何操作类别（Pick/Place、Stack/Arrange、Open/Close等）中的成功率超过 **13%**；随着人类评定任务难度从1–4级升至9–10级，成功率从 30.7% 暴跌至 0.4%，未成功执行的平均进度也从 56.6% 降至 3.5%。 #### 任务适应（RQ2） - **适应表现高度任务依赖**：在固定 100 条演示预算下，同一模型在不同任务上可能表现迥异（如LingBot-VLA v2在Franka上`open_drawer`成功率100%而`marker_in_holder`为0%）。 - **π0.5展现广泛适应性**：在Bimanual-YAM上四项任务达到96–100%成功率。 - **人形机器人上的能力差距**：在Unitree G1上**所有策略成功率为0**，但平均进度存在显著差异（13.3% 至 23.2%），证明部分进度指标能揭示二进制指标所掩盖的行为差异。 #### 性能一致性（RQ3） - **跨轨道排名弱相关**：Open Track 排名无法可靠预测 Fine-tune Track 排名。在三种共享具身上，Spearman 相关系数分别为 −0.20、−0.40 与 +0.20，出现显著排名反转（如π0.5在DROID/Franka的Open Track中排第5，微调后升至第1）。 - **跨具身排名几乎无共识**：Fine-tune Track 上四种具身的 Kendall 协调系数 **W = 0.24**，表明没有单一策略能在所有平台上保持优势。 #### 可靠性与效率（RQ4） - **分布式排名可复现**：DROID/Franka 与 Bimanual-YAM 的独立站点子集产生约 **85%** 的排序一致性与 Spearman rho ≈ 0.82 。 - **主动匹配显著提效**：仅需 **400–500 次** 物理比较即可达到与全量数据约 90% 的排名一致，而均匀采样需约 **1,000 次**，物理试验成本降低过半。 #### 规模效应（RQ5） - Open Track leaderboard 随评估规模扩大逐步稳定：平均而言约 **1,123 次** 比较达 90% 一致，约 **4,755 次** 达 95%。但要获得高置信度的稳定排名，仍需大规模物理评估。 —- ### 4. 结论与贡献 RoboColosseum 的核心贡献在于证明：**评估物理智能本身需要同样严谨的基础设施与方法论**。关键结论包括： - **单一评估不足以刻画模型能力**：零样本泛化与少量样本适应是两种可分离的能力，且跨具身表现高度不一致。 - **部分进度评估至关重要**：在任务成功率极低的人形机器人等场景下，进度分数仍能区分策略的执行深度。 - **大规模分布式评估是可行且必要的**：通过标准化协议、成对比较、难度校准模型与主动匹配，真实世界物理评估可以既统计可靠又样本高效。 论文承诺向学术社区提供 **10,000 小时** 的免费评估资源，并持续扩展模型、任务、具身与站点覆盖，以推动通用机器人策略的科学发展。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Tan Sang Nguyen,Yi Ru Wang,Shailesh Shailesh,Gang Yang,Jiamo Hu,Jianuo Jiang,Haoquan Fang,Zhongzheng Ren,Zhongyi Luo,Ian Chong,Aaron Tung,Santiago Pravisani,Minghui Lin,Yao Mo,Ishneet Singh,Benjamin Tee,Harold Soh,Siddhartha Srinivasa,Dieter Fox,David Hsu,Haoming Song,Maxime Ellerbach,Thomas Wolf,Pepijn Kooijmans,Ruijie He,Michael Cho,Jiafei Duan

Categories:

PDF URL: https://arxiv.org/pdf/2611.02497.pdf

Arxiv URL: https://arxiv.org/abs/2611.02497

Arxiv ID: 2611.02497

CoolPaper URL: https://papers.cool/arxiv/2611.02497

Published: 2026-11-04T03:14:03.515Z

Updated: 2026-11-04T03:14:03.515Z

2. MoviEdit: Long-form Multi-Shot Video Editing Made Easy

Abstract:Long-form multi-shot video editing requires an intended edit to remain coherent across abrupt changes in scene, viewpoint, and subject appearance, while processing substantially longer visual context than conventional single-shot editors. We introduce MoviEdit, an end-to-end framework for scalable long-form multi-shot video editing that jointly addresses the challenges of data, modeling, and evaluation. To provide cross-shot supervision data at scale, we develop automatic data-generation pipelines spanning synchronized multi-view footage, real-world multi-shot videos, and generated multi-shot content, yielding 87K paired editing videos without manual annotation. Architecturally, MoviEdit employs a cascaded bidirectional-autoregressive design: a lightweight bidirectional stage first establishes a globally coherent editing draft over a spatiotemporally compressed representation, which is then autoregressively propagated and refined over the full video. We further introduce MoviEdit-Bench, a dedicated benchmark for systematic evaluation of long-form multi-shot video editing. Extensive experiments show that MoviEdit substantially outperforms existing open-source models and performs on par with industry frontier models across text-guided and image-guided editing. Visit our project page for complete results and to access the benchmark: this https URL

中文摘要

摘要：长篇多镜头视频编辑需要在场景、视角和主体外观发生突然变化时保持预期编辑的一致性，同时处理比传统单镜头编辑器更长的视觉上下文。我们提出了MoviEdit，这是一个端到端的可扩展长篇多镜头视频编辑框架，能够联合解决数据、建模和评估的挑战。为了大规模提供跨镜头监督数据，我们开发了自动数据生成管道，涵盖同步多视角素材、真实世界多镜头视频和生成的多镜头内容，产生了87K对配对编辑视频，无需人工标注。在架构上，MoviEdit采用级联双向自回归设计：一个轻量级双向阶段首先在时空压缩表示上建立全局一致的编辑草稿，然后在完整视频上自回归传播并进行精细化处理。我们进一步引入了MoviEdit-Bench，这是一个专门用于系统评估长篇多镜头视频编辑的基准。大量实验表明，MoviEdit在文本引导和图像引导编辑中，显著超越现有开源模型，并与行业前沿模型表现相当。访问我们的项目页面以查看完整结果并获取基准测试：https URL

LLM Analysis

Q: 这篇论文试图解决什么问题？ 这篇论文旨在解决\*\*长形式多镜头视频编辑（long-form multi-shot video editing）\*\*中的核心挑战。不同于现有方法主要聚焦于仅持续数秒的短单镜头视频，长形式多镜头编辑要求编辑意图在跨越镜头切换时仍保持连贯一致，同时必须处理显著更长的视觉上下文，以及场景、视角、运动、主题外观和周围环境的突变。论文明确指出，该领域的发展受限于三个紧密耦合的瓶颈： - \*\*数据瓶颈\*\* 缺乏可扩展的跨镜头成对监督数据。要实现跨镜头一致的编辑，需要源视频与目标视频对之间具备显式的跨镜头主题对应关系，而现实世界中不存在此类数据，现有合成管道也难以在所需规模和质量下生成。 - \*\*建模瓶颈\*\* 长形式编辑在计算上是一个内存与效率问题。现有基于 token 拼接的设计在处理完整源视频与目标视频序列时，全局自注意力的二次复杂度会随着视频时长增加而迅速变得不可承受；而若对每个镜头独立进行编辑，又会丢弃维持跨镜头一致性所必需的依赖关系。 - \*\*评估瓶颈\*\* 缺乏专门用于评估长形式多镜头编辑能力的基准协议。现有视频编辑基准主要聚焦于短单镜头片段，无法系统性地评估跨镜头主题定位、跨镜头编辑一致性等关键能力——例如编辑是否在镜头切换后仍能正确定位同一主题，以及该主题在不同镜头重现时外观是否保持一致。 为应对上述挑战，论文提出了 \*\*MoviEdit\*\*，一个端到端的框架，其贡献涵盖： - 可扩展的成对数据生成管道（结合同步多机位 footage、真实世界多镜头视频与生成式多镜头内容）； - 级联双向–自回归（cascaded bidirectional–autoregressive）扩散架构，以轻量双向全局草稿引导高效的自回归渲染； - 专用基准测试 \*\*MoviEdit-Bench\*\*，用于系统性评估长形式多镜头视频编辑在多种难度下的表现。 Q2: 有哪些相关研究？ 该论文在第2节中系统回顾了与长形式多镜头视频编辑相关的两大研究脉络，具体如下。 --- ### 1. 基于扩散的视频编辑（Diffusion-based Video Editing） #### 1.1 早期推理时适应方法 早期工作主要将预训练生成模型作为编辑先验，在推理阶段进行适配，典型策略包括： - \*\*反演（inversion）\*\*：如 Qi et al. (2023)、Wang et al. (2023)； - \*\*注意力或特征操纵（attention/feature manipulation）\*\*：如 Qi et al. (2023)、Liu et al. (2024)、Geyer et al. (2024)、Ceylan et al. (2023)、Jeong et al. (2024a)； - \*\*辅助视觉条件（auxiliary visual conditioning）\*\*：如 Zhang et al. (2023)、Jeong & Ye (2023)； - \*\*逐视频优化（per-video optimization）\*\*：如 Wu et al. (2023)、Jeong et al. (2024b, 2025)。 这些方法无需大规模成对训练数据，但主要依赖对预训练生成先验的推理时操纵，存在鲁棒性、可扩展性与编辑灵活性受限的问题，并带来显著的推理开销。 #### 1.2 数据驱动范式 近期研究转向从成对源–目标视频中学习编辑行为，通常基于预训练视频生成器，差异主要体现在源视频信息的融入方式： - \*\*通道级拼接\*\*（channel-level concatenation），如 DecartAI Team (2025)； - \*\*Token 级拼接\*\*（token-level concatenation），如 Ju et al. (2026)、Lee et al. (2026)； - \*\*适配器式加性条件\*\*（adapter-based additive conditioning），如 Jiang et al. (2025)。 在编辑指定方式上，GenProp (Liu et al., 2025) 通过条件化于编辑后的参考帧，将对应变换传播至整个视频。与上述数据驱动方法类似，MoviEdit 亦采用 token 级源条件化，但分别针对文本引导和图像引导编辑进行训练。 #### 1.3 参考图像/帧引导编辑 现有参考图像引导方法（如 Ouyang et al., 2024; Ku et al., 2024; Liu et al., 2025）通常仅条件化于\*\*首帧\*\*编辑结果。与之不同，MoviEdit 的图像引导模型支持来自\*\*任意帧\*\*的编辑参考帧。 #### 1.4 显式推理与智能体控制 另一类互补方法在编辑过程中引入显式推理或智能体控制： - 在潜在空间中对编辑区域进行推理（Yang et al., 2026b）； - 由 LLM/VLM 驱动的镜头级规划以实现多镜头编辑（Wu et al., 2026）。 --- ### 2. 长形式与多镜头视频合成（Long-Form and Multi-Shot Video Synthesis） #### 2.1 长视频生成 为解决长视频生成的可扩展性问题，研究者在自回归生成与高效长上下文建模方面取得进展： - \*\*分块自回归生成\*\*：CausVid (Yin et al., 2025) 与 Self-Forcing (Huang et al., 2025a) 将视频划分为固定长度块，通过窗口注意力或滚动 KV 缓存约束长程上下文与计算成本； - \*\*线性注意力替代\*\*：SANA-Video (Chen et al., 2026) 与 SANA-Streaming (Zhao et al., 2026b) 以线性注意力替换传统 softmax 注意力，实现常数内存、常数计算的流式生成； - \*\*少步扩散蒸馏\*\*：包括基于 DMD/一致性的方法（Huang et al., 2025a; Zhao et al., 2026a）以及速度矩匹配 VMM (Zhou et al., 2026)，以降低自回归采样延迟。 #### 2.2 多镜头视频生成 近期工作通过两项关键修改将传统短形式视频模型扩展至多镜头生成： - 训练于多镜头视频数据； - 引入\*\*镜头感知稀疏注意力\*\*以实现高效跨镜头上下文建模。 代表性工作包括： - \*\*HoloCine\*\* (Meng et al., 2026)：采用密集镜头内注意力，并以每镜头首帧 token 作为紧凑摘要 token 完成跨镜头信息交换； - \*\*Mixture-of-Contexts\*\* (Cai et al., 2026)：提出内容自适应稀疏注意力，动态为每个查询检索少量相关历史块； - \*\*ContextMaster\*\* (Guo et al., 2026)：采用固定预算上下文路由，结合强制性任务特定上下文与动态选择的历史信息； - \*\*MSEditor\*\* (Feng et al., 2026)：利用同步多视角数据，将首帧条件化视频模型适配用于跨镜头一致外观传播。 上述多镜头生成方法的共同特点是通过限制视频间的密集全局交互来提升可扩展性，但也因此难以在长时跨度上维持一致的外观。这凸显了在建模策略上平衡\*\*自回归生成效率\*\*与\*\*双向全局上下文\*\*的必要性。 Q3: 论文如何解决这个问题？ 论文通过\*\*MoviEdit\*\*框架从数据、模型架构与评估三个维度联合解决长形式多镜头视频编辑问题，具体方案如下。 --- ### 1. 可扩展的成对数据生成管道 为克服跨镜头监督数据缺失的瓶颈，论文构建了三种无需人工标注的自动化数据生成管道，共产出 \*\*87K 对\*\*多镜头编辑视频： - \*\*Pixel-aligned Editing（像素级对齐编辑）\*\* 将多镜头编辑解耦为两个阶段： 1. \*\*跨镜头空间编辑\*\*：将所有镜头的首帧拼接为一张图像网格，利用现成的文本引导图像编辑模型 g_φ 进行联合编辑，确保跨镜头一致性：

y1^(1:S) = [y_1^1; dots; y_1^S] = gφ([y_1^1; dots; y_1^S], e)

  1. **镜头内时序传播**：利用首帧条件化的单镜头视频编辑模型 hpsi 将每帧编辑结果独立传播至对应镜头：
    x^s = h_psi(y_1^s, y^s, e), quad s=1,dots,S
    该管道覆盖添加、移除、替换、外观改变、风格化与环境改变等任务，并通过两阶段质量过滤（首帧 QA + 传播 QA）剔除不一致样本。 - **Subject Localization（主题定位）** 针对高亮、描边、颜色填充等任务，利用视频分割模型在跨镜头跟踪查询主题，生成稠密掩码后施加视觉效果。VLM 过滤确保主题定位与效果施加的正确性。 - **Semi-pixel-aligned Editing（半像素级对齐编辑）** 针对结构变化较大的编辑（如环境改变、媒介改变、角色外观改变），使用预训练多镜头文本到视频扩散模型进行**耦合生成**：源视频与目标视频共享每镜头描述与初始噪声，但使用不同的全局描述。通过共享去噪轨迹（在分叉时间步 t    (fork) 前平均速度与目标条件预测）或 ControlNet（HED/深度图）约束结构一致性，再通过 VLM 过滤保证质量。 —- ### 2. 级联双向–自回归架构 为在有限计算资源下处理长视频并维持跨镜头一致性，论文提出**级联扩散架构**，包含共享权重但注意力模式与时空分辨率不同的两个阶段： #### 2.1 Draft Editor（草稿编辑器） 首先对源视频进行固定时空子采样 y(1:M)^↓ = ↓(y(1:N)) （其中 M ll N ，实践中取 M = N/2 ），并在完整子采样序列上执行**双向扩散**（无因果掩码）：

x(1:M)^↓ = S(fθ)(x(1:M)^T; y(1:M)^↓, e; M(bi)), quad x_(1:M)^T sim N(0, I)
该阶段生成全局一致的编辑草稿，建立长程外观锚点与跨镜头一致性，避免逐块自回归带来的累积漂移（见图 4）。 #### 2.2 Render Editor（渲染编辑器） 以草稿为条件，对全分辨率视频进行**分块因果自回归扩散**。将目标视频划分为 C 个固定长度块，每块 c 在自身及前 K 个已生成块的上下文上，条件化于全局草稿与对应源视频块 y^c ：

x^c = S(fθ)([x^(c-K:c-1); x^(c,T)]; x(1:M)^↓, y^c, e; M(causal)), quad x^(c,T) sim N(0, I)
其中 M(causal) 为因果自注意力掩码。该设计将双向全局上下文与因果传播解耦，避免了完整源–目标视频联合处理的二次内存开销。 训练目标上，Draft Editor 使用标准流匹配目标，Render Editor 使用因果扩散强制（CDF）目标：
L(CDF)(θ) = E(x,t,ε)[∑(c=1)^C | fθ(x(1:C)^t; M(causal))_c - v_c^(t_c) |_2^2], quad t_c i.i.d.sim p(t)
—- ### 3. 推理效率优化 为降低长视频推理延迟，论文引入两项互补技术： - **非对称步数蒸馏（Unified Distillation with Asymmetric Step Schedules）** 基于速度矩匹配（VMM）对 Draft Editor 与 Render Editor 进行联合蒸馏，但分配不同步数：Draft Editor 蒸馏至 **12 步**，计算代价更高的 Render Editor 蒸馏至 **4 步**。该非对称配置在保持全局一致性的同时大幅削减渲染开销。 - **KV 缓存** Render Editor 的因果自回归形式天然支持 KV 缓存。文本、编辑草稿、源视频及已生成块对应的 key-value 状态可被复用，避免重复计算。 综合上述优化，系统在 540p、361 帧视频上的去噪延迟从完整注意力基线的 **364.1 秒** 降至 **11.8 秒**，实现 **30.9×** 加速，低于输入视频时长（15 秒）。 —- ### 4. 专用评估基准 MoviEdit-Bench 为填补长形式多镜头编辑评估的空白，论文构建并开源 **MoviEdit-Bench**，包含： - **64 段**生成的多镜头源视频，涵盖从单人到多人/人兽交互、非真实感媒介、场景级全局编辑等 **8 个类别**，难度逐层递增； - **128 个**编辑场景，覆盖文本引导（V2V）与任意帧编辑引导（IV2V）两种设置，包括首帧与非首帧参考； - **七维评估体系**：非主题保留、编辑定位、主题保留、跨镜头编辑一致性、编辑提示对齐、视频质量、编辑帧保真度（IV2V）； - **自动化指标**：结合像素级指标（LPIPS、MFS）、嵌入相似度（CLIP、ViCLIP、DINOv2）与 VLM 二元判断，特别设计了跨镜头一致性评估协议（VLM 联合检查所有相关镜头的编辑帧）。 —- ### 总结 通过上述方案，MoviEdit 在数据层面以自动化管道提供跨镜头监督信号；在建模层面以“全局双向草稿 + 局部因果渲染”的级联架构平衡长程一致性与计算可扩展性；在评估层面以专门基准系统衡量跨镜头定位与一致性。实验表明，该方法在文本引导与图像引导的多镜头长视频编辑任务上显著优于现有开源模型，并与行业前沿专有系统性能相当。 Q4: 论文做了哪些实验？ 论文在第4节及补充材料中开展了系统的实验验证，涵盖基准对比、扩展性与效率分析、数据消融、应用拓展与失败案例分析等方面。 —- ### 1. 实验设置 **训练配置。** 利用所述三种数据生成管道构建 **87K** 对多镜头编辑视频（ 540p, 15s, 24,fps ），并辅以专有的短单镜头视频编辑对。模型基于 DiT 的混合专家（MoE）骨干，采用冻结的多模态文本编码器与视频 VAE。训练分为两阶段：先训练视频到视频（V2V）模型 **17K** 步，再针对编辑帧引导（IV2V）任务 specialization **8K** 步。 **评估基准。** - **MoviEdit-Bench**：在 15 秒多镜头视频上评估文本引导（V2V）与编辑帧引导（IV2V，含首帧与任意帧条件）。 - **外部短形式基准**：FiVE-Bench 与 VPBench（补充材料 Table 9），用于验证模型在传统单镜头场景下的能力。 **对比基线。** - 开源模型：SDEdit (HoloCine)、Memory-V2V、Lucy Edit、SANA-Streaming、Wan-Edit、GenProp。 - 专有/私有模型：Gemini Omni Flash、HappyHorse-1.0、Aleph 2.0。 —- ### 2. 主要基准对比结果 #### 2.1 文本引导视频编辑（V2V） 在 MoviEdit-Bench 上的定量结果（Table 1）显示，MoviEdit 在 **Overall Edit Success** 指标上超越所有对比模型（包括 Runway Aleph 2.0），且在非主题保留（LPIPS）、编辑定位（Precision/Recall）、主题运动保留（MFS）、跨镜头编辑一致性、提示对齐（CLIP/ViCLIP）及视频质量等多项指标上取得最优或次优表现。 #### 2.2 编辑帧引导传播（IV2V） 在 IV2V 设置下（Table 2），无论是**首帧**还是**任意帧**条件，MoviEdit 均在 Overall Edit Success 上达到最高（或与 Aleph 2.0 相当），在编辑定位精度（Precision）、跨镜头一致性、编辑帧保真度等维度表现优异。雷达图（Fig. 8）进一步展示了 MoviEdit 在各评估维度上的均衡性能。 #### 2.3 外部基准验证 在短形式单镜头基准 FiVE-Bench 与 VPBench 上（补充材料 Table 9），MoviEdit 同样展现出与专有模型相竞争的性能，证明其在传统单镜头编辑任务上的有效性未因聚焦多镜头而退化。 #### 2.4 定性比较 Fig. 7 提供了 V2V 与 IV2V 的定性对比。开源基线普遍存在跨镜头伪影传播、错误定位、编辑失败或源内容破坏等问题；HappyHorse 与 Gemini Omni 虽能执行编辑但系统性偏离源视频（破坏镜头切换与运动）；Aleph 2.0 提供最强基线，而 MoviEdit 在源内容保留、编辑定位与提示对齐上更优。Fig. 14 进一步按 Overall Edit Success 分数递进展示了从失败到成功的典型样例。 —- ### 3. 扩展性与效率分析 #### 3.1 规模扩展研究（Fig. 10） 通过分别变化训练步数（ 0%, 20%, 40%, 80%, 100% 的 17K 步）与数据集规模（ 0%, 33%, 100% 的 87K 对），观察到： - 增加训练步数或数据量均**单调提升** Overall Edit Success、编辑定位、跨镜头一致性与提示对齐等指标； - 结果表明继续扩大规模有望带来进一步收益。 #### 3.2 推理效率消融（Table 4） 在 540p 、361 帧、8 张 H100 GPU 上逐步叠加优化： | 配置 | Draft Editor | Render Editor | 总计 | 相对加速 | |———|——————-|———————-|———|—————| | 全时间注意力 | 25.1 s | 339.0 s | **364.1 s** | × 1.0 | | + 滑动窗口注意力 | — | 233.8 s | **258.9 s** | × 1.4 | | + KV 缓存 | — | 141.7 s | **166.8 s** | × 2.2 | | + 少步蒸馏 (VMM) | 3.6 s | 8.2 s | **11.8 s** | × 30.9 | 最终系统将去噪延迟降至 **11.8 秒**，低于 15 秒的输入视频时长，显著提升了长形式多镜头编辑的实用性。 —- ### 4. 数据配方消融（Fig. 11） 为验证三种监督管道的贡献，通过小规模消融训练分别移除特定数据： - **半像素级对齐数据（Semi-pixel-aligned）**：增加此类数据可改善对**结构或形状变化较大**编辑的泛化（如全局风格化、媒介改变），弥补了纯像素级对齐管道在大形变编辑对构建上的困难。 - **主题定位数据（Subject Localization）**：增加此类数据可提升模型对**编辑目标识别与定位**的能力，减少编辑错误施加到非目标主题或镜头的情况。 —- ### 5. 应用拓展 论文进一步验证了训练外推能力： - **多参考帧编辑**：尽管训练时仅使用单帧参考，推理时可条件化于**多帧编辑参考**，实现对不同主题的联合编辑与一致传播（Fig. 1(b)）。 - **视频集到集编辑（Video Set-to-Set Editing）**：将多个源视频拼接为单一多镜头序列进行联合编辑，实现跨视频外观变化与背景差异下的一致性变换（Fig. 9）。 - **超出训练时长的编辑**：模型训练于最长 15 秒视频，但可泛化至 **25 秒**输入，包括包含 **17 个镜头**的多镜头序列以及**长镜头单镜头**视频（Fig. 1(c) 与 Fig. 15），展示了在时长与镜头数量上均超越训练分布的能力。 —- ### 6. 局限性与失败案例分析（Fig. 12） 论文坦诚分析了两种典型失败模式： - **主体间身份歧义（Inter-Subject Identity Ambiguity）**：当多个视觉相似主体共存时，模型可能将编辑错误施加到非指定目标。 - **部分观察歧义（Partial-Observation Ambiguity）**：当目标仅部分可见（如仅显示肢体片段）时，跨镜头关联困难，导致编辑不完整或错误。 Q5: 有什么可以进一步探索的点？ 基于论文结论、局限性及方法设计，以下几个方向值得进一步探索： —- ### 1. 智能体化编辑工作流（Agentic Editing Workflows） 论文指出，当前模型对整个视频进行端到端处理，计算开销较大。未来可引入**选择性处理机制**：通过智能体规划仅对需要编辑的特定镜头或主体进行编辑，而非全序列处理。这既能提升计算效率，也能在复杂场景中通过显式推理减少误编辑风险。 ### 2. 可控渲染引擎作为监督来源（Controllable Rendering Engines） 现有数据管道依赖真实多机位拍摄、电影片段和生成模型。未来可探索利用**Unreal Engine 等可控渲染引擎**合成大规模、带精确跨镜头标注的编辑训练数据。这类数据具备完美像素对齐和无限多样化场景潜力，可进一步降低对真实世界采集的依赖。 ### 3. 从对应保留编辑到自由形式变换（Free-form Motion & Narrative Editing） MoviEdit 目前聚焦于**保持源视频运动与叙事结构的对应保留编辑**（correspondence-preserving edits）。将能力边界拓展至**自由形式运动与叙事结构转换**——例如改变角色的动作轨迹、重新编排镜头叙事顺序或生成新的交互行为——是更具挑战性但价值更高的方向。 ### 4. 目标定位歧义性的消解机制 论文在失败案例分析中揭示了两种定位瓶颈： - **身份歧义**：多个视觉相似主体共存时的错误定位； - **部分观察歧义**：目标仅部分可见时的跨镜头关联困难。 未来可引入**显式的跨镜头跟踪与推理模块**（如结合更强的视频分割、目标重识别或 LLM/VLM 驱动的指代消解），在编辑前建立更鲁棒的跨镜头主体对应关系。 ### 5. 超长视频与动态镜头数的可扩展性 虽然 MoviEdit 已展示对 25 秒、17 镜头视频的泛化能力，但面对**数分钟甚至更长的影视内容**，级联架构中草稿编辑器的全局上下文容量与渲染编辑器的误差累积仍需更深入的扩展性研究。探索分层注意力、内存机制或流式处理以支持更长的时域范围具有实际意义。 ### 6. 多模态条件编辑的拓展 当前工作主要支持文本与单帧图像引导。未来可探索**多模态编辑条件**，例如： - 音频节奏或语音内容驱动的编辑； - 3D 场景图或相机轨迹作为结构约束； - 用户涂鸦、掩码或关键帧序列作为细粒度控制信号。 ### 7. 与视频生成模型的深度融合 目前 MoviEdit 定位为“编辑器”，严格依赖源视频内容。未来可探索**编辑与生成的一体化框架**：在保持源视频核心叙事的同时，允许模型生成全新的背景、角色或镜头过渡，实现从“编辑现实”到“重塑现实”的跨越。 Q6: 总结一下论文的主要内容 这篇论文提出了 **MoviEdit**，一个面向长形式多镜头视频编辑的端到端框架，系统性地解决了该领域在数据、模型架构与评估三个层面的核心瓶颈。 —- ### 1. 研究背景与挑战 现有视频编辑方法主要针对持续数秒的**单镜头短视频**。长形式多镜头视频编辑要求编辑意图在跨越镜头切换（cut）时仍保持连贯，且需处理场景、视角、运动与主题外观的突变。该任务面临三个耦合瓶颈： - **数据瓶颈**：缺乏显式跨镜头主题对应的大规模成对监督数据； - **建模瓶颈**：联合处理完整源视频与目标视频导致全局自注意力的二次复杂度在长时序列下不可承受； - **评估瓶颈**：现有基准均为短单镜头设计，无法衡量跨镜头定位与一致性等关键能力。 —- ### 2. 核心方法 #### 2.1 可扩展的成对数据生成 论文构建了三种自动化、无需人工标注的数据生成管道，共产出 **87K** 对多镜头编辑视频： - **Pixel-aligned Editing**：将多镜头编辑解耦为**跨镜头空间编辑**（把所有镜头首帧拼接为图像网格，联合编辑以保证跨镜头一致）与**镜头内时序传播**（利用首帧条件化的单镜头视频编辑模型逐镜头传播）。 - **Subject Localization**：利用视频分割模型跨镜头跟踪查询主题，生成稠密掩码后施加高亮、描边、颜色填充等视觉效果。 - **Semi-pixel-aligned Editing**：针对结构变化较大的编辑（如环境改变、媒介改变），采用预训练多镜头视频生成器进行**耦合生成**——通过共享去噪轨迹至分叉时间步 t(fork) ：

v(zt, t) = vω(zt, e(src), t) + vω(z_t, e(tgt), t)2
或在环境/媒介改变中引入 ControlNet（HED/深度）约束结构一致性。 #### 2.2 级联双向–自回归架构 为兼顾全局上下文与计算效率，模型采用共享权重的两阶段级联设计： - **Draft Editor（草稿编辑器）**：对时空子采样后的完整序列执行**双向扩散**（无因果掩码），生成全局一致的低分辨率编辑草稿：

x(1:M)^(↓) = S(fθ)(x(1:M)^T; y(1:M)^(↓), e; M(bi))
该草稿作为长程外观锚点，抑制自回归漂移并建立跨镜头一致性。 - **Render Editor（渲染编辑器）**：以草稿为条件，对全分辨率视频执行**分块因果自回归扩散**：
x^c = S(fθ)([x^(c-K:c-1); x^(c,T)]; x(1:M)^(↓), y^c, e; M(causal))
每块仅依赖自身、前 K 块上下文、全局草稿及对应源视频块，避免了全序列联合处理的二次内存开销。 #### 2.3 推理效率优化 - **非对称少步蒸馏**：基于速度矩匹配（VMM），将 Draft Editor 蒸馏至 **12 步**，Render Editor 蒸馏至 **4 步**； - **KV 缓存**：复用文本、草稿、源视频及已生成块的 key-value 状态。 综合优化下， 540p 、361 帧视频的推理延迟从 **364.1 秒**降至 **11.8 秒**，实现 **30.9×** 加速。 —- ### 3. 评估基准：MoviEdit-Bench 论文构建了专用基准 **MoviEdit-Bench**，包含： - **64 段**多镜头源视频（4–6 镜头，约 15 秒），按跨镜头定位难度分为 8 个类别（从单人到多人/人兽交互、非真实感媒介、场景级全局编辑）； - **128 个**编辑场景，覆盖文本引导（V2V）与编辑帧引导（IV2V，含首帧与任意帧参考）； - **七维评估体系**：非主题保留、编辑定位（Precision/Recall）、主题保留、跨镜头编辑一致性、编辑-提示对齐、视频质量、编辑帧保真度（IV2V）。指标融合像素级相似度（LPIPS、MFS）、嵌入相似度（CLIP、ViCLIP、DINOv2）与 VLM 二元判断。 —- ### 4. 实验结果 - **MoviEdit-Bench**：在文本引导（V2V）任务上，MoviEdit 的 Overall Edit Success 超越所有对比模型（包括 Runway Aleph 2.0）；在编辑帧引导（IV2V）任务上，达到最优或与 Aleph 2.0 相当的综合性能，且在源内容保留、编辑定位与提示对齐方面表现均衡。 - **外部基准**：在短形式单镜头基准 FiVE-Bench 与 VPBench 上，MoviEdit 展现出与前沿专有模型相竞争的性能。 - **扩展性分析**：增加训练数据量或训练步数均单调提升各项性能，表明继续扩大规模仍有收益。 - **数据消融**：Semi-pixel-aligned 数据改善大结构变化编辑的泛化；Subject Localization 数据提升目标定位准确性。 - **泛化能力**：模型支持多参考帧联合编辑、视频集到集编辑，并能泛化至训练时长之外（如 25 秒、17 镜头的多镜头序列及长镜头单镜头视频）。 —- ### 5. 结论与展望 MoviEdit 通过数据生成管道、级联双向–自回归架构与专用评估基准的联合设计，为长形式多镜头视频编辑提供了可扩展的解决方案。当前局限在于**身份歧义**（多个相似主体）与**部分可见性**导致的定位失败。未来方向包括：引入智能体化编辑工作流以提升效率与精度、利用可控渲染引擎扩展监督来源、以及将能力从对应保留编辑拓展至自由形式的运动与叙事结构变换。 Q7: 想要进一步了解论文 以上只是了解一篇论文的几个基本FAQ。如果你还想与Kimi进一步讨论该论文，请点击 这里 为你跳转Kimi AI网页版，并启动一个与该论文相关的新会话。

Authors: Suhyeon Lee,Zhengang Li,Soo Ye Kim,Peihao Zhu,Jong Chul Ye,Chun-Hao Paul Huang,Duygu Ceylan,Yan Kang,Hyeonho Jeong

Categories:

PDF URL: https://arxiv.org/pdf/2611.02737.pdf

Arxiv URL: https://arxiv.org/abs/2611.02737

Arxiv ID: 2611.02737

CoolPaper URL: https://papers.cool/arxiv/2611.02737

Published: 2026-11-04T03:14:03.540Z

Updated: 2026-11-04T03:14:03.539Z

3. SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding

Abstract:Speculative decoding accelerates memory-bound LLM decoding with a lightweight drafter, and parallel drafters extend this speedup by drafting a whole block in one forward pass. However, it remains unclear whether their released systems (stock) attain the full speedup that parallel drafting permits. We identify three challenges. First, with one request, each step accepts few tokens but reads every target weight. Second, with batching, per-request verification work roughly halves the speedup over autoregressive (AR) decoding. Third, speculative decoding is deployment-specific, and no universal optimization fits every serving regime, drafter, target model and GPU. To address these challenges, we present SpecPilot, an autonomous agentic loop that discovers algorithms and systems optimizations for each deployment. In each round, a cost model locates the largest gaps between the current system and its ceiling. Parallel agents explore directions and integrate the successful ones. Token forcing checks every output token against stock to detect reward hacking. A structured memory carries validated mechanisms to new rounds and deployments. SpecPilot discovered a general lossless 12-bit weight format, tree verification for hybrid recurrent targets, two-level verification and three batching mechanisms. We evaluate it across four target models, three drafters, two GPU platforms and five benchmarks. Without training or quality loss, it raises the speedup over AR from stock’s 4.46$\times$ to 10.87$\times$ with one request, and from 1.94$\times$ to 3.93$\times$ with batching.

中文摘要

摘要：推测解码通过轻量级草稿器加速了受内存限制的LLM解码，并且并行草稿器通过在一次前向传递中草拟整块内容进一步提升了这种加速。然而，目前尚不清楚它们发布的系统（stock）是否达到了并行草稿所允许的全部加速。我们识别了三个挑战。首先，对于一次请求，每一步接受的token数量很少，但需要读取每个目标权重。其次，在批处理情况下，每个请求的验证工作大约将相对于自回归（AR）解码的加速减半。第三，推测解码是部署特定的，没有通用优化适合每种服务模式、草稿器、目标模型和GPU。为了解决这些挑战，我们提出了SpecPilot，一个自主的智能循环，用于发现每次部署的算法和系统优化。在每一轮中，成本模型定位当前系统与其上限之间的最大差距。并行代理探索方向并整合成功的方法。Token强制检查每个输出token与stock进行对比，以检测奖励作弊。结构化内存将验证过的机制带到新的轮次和部署中。SpecPilot发现了一种通用的无损12位权重格式，混合递归目标的树验证，两级验证以及三种批处理机制。我们在四个目标模型、三种草稿器、两个GPU平台和五个基准上对其进行了评估。在没有训练或质量损失的情况下，它将相对于AR的加速从stock的4.46$ imes$提升到一次请求的10.87$ imes$，并将批处理加速从1.94$ imes$提升到3.93$ imes$。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.02501 (HTTP 429)

Authors: Kunjun Li,Wenhao Chai,Yihao Liang,Yuezhou Hu,Shuyao Xu,Yi Pan,William X. Zheng,Kannan Ramchandran,Kurt Keutzer,Jiantao Jiao

Categories:

PDF URL: https://arxiv.org/pdf/2611.02501.pdf

Arxiv URL: https://arxiv.org/abs/2611.02501

Arxiv ID: 2611.02501

CoolPaper URL: https://papers.cool/arxiv/2611.02501

Published: 2026-11-04T03:14:03.553Z

Updated: 2026-11-04T03:14:03.553Z

4. ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost

Abstract:Harness optimization can substantially improve LLM agents without modifying model weights, but existing methods primarily optimize response quality. Extending them to joint quality—cost optimization introduces a challenge: applying the deployment preference during intermediate updates can prematurely reject candidates that are valuable for later improvements. We introduce ParetoSaddler, which addresses this mismatch by separating intermediate candidate promotion from final deployment selection. At each iteration, an optimizer updates a parent harness to produce a candidate, and then compares the two over repeated executions and uses Bayesian bootstrap Pareto support to promote candidates showing credible progress in either quality or cost. Promoted candidates receive broader development evaluation and remain available as parents for later optimization steps. We evaluate ParetoSaddler on ClawMark and GAIA2 using domain-disjoint splits. On ClawMark, ParetoSaddler improves quality from 70.86\% to 81.35\% while reducing cost from $1.17 to $1.01 per task; on GAIA2, it improves quality from 56.22\% to 62.89\% while reducing cost from $0.78 to $0.45 per task. The Pareto-selected harnesses also achieve higher quality at lower cost than quality-only harness optimization. Analysis shows that Pareto-aware optimization retains intermediate candidates that would be discarded by deployment preference but can support later improvements, while Bayesian bootstrap screening filters out candidates whose gains are weakly supported across runs.

中文摘要

摘要：利用优化可以在不修改模型权重的情况下显著提升LLM代理，但现有方法主要优化响应质量。将其扩展到联合质量-成本优化则带来了挑战：在中间更新时应用部署偏好可能会过早拒绝对后续改进有价值的候选对象。我们引入了ParetoSaddler，通过将中间候选升级与最终部署选择分离来解决这一不匹配。每次迭代时，优化器更新父框架生成候选人，然后通过重复执行比较两者，并利用贝叶斯自助帕累托支持促进在质量或成本方面有可信进展的候选。被提升的候选对象获得更广泛的开发评估，并作为后续优化步骤的父级可用。我们利用域-不相交的拆分在ClawMark和GAIA2上评估ParetoSaddler。在ClawMark上，ParetoSaddler将质量从70.86%提升到81.35%，同时将成本从每任务的1.17美元降至1.01美元;在GAIA2上，它将质量从56.22%提升到62.89%，同时将成本从每项任务的0.78美元降至0.45美元。帕累托选择的线束还以更低的成本实现了比仅质量线束优化更高的质量。分析显示，帕累托感知优化保留了因部署偏好而被淘汰但可以支持后续改进的中间候选者，而贝叶斯自助筛查则过滤掉那些在各次运行中收益支持较弱的候选人。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.02079 (HTTP 429)

Authors: Xingzhi Qian,Sungho Park,Rongyuan Tan,Jianbo Yu,Jue Zhang,Lorenzo Cavallaro,Menglin Xia,Yanzhi Chen,Xinnuo Xu,Yu Kang,Xinran Zheng,Gagan Somashekar,Xuchao Zhang,Chetan Bansal,Qingwei Lin,Victor Rühle

Categories:

PDF URL: https://arxiv.org/pdf/2611.02079.pdf

Arxiv URL: https://arxiv.org/abs/2611.02079

Arxiv ID: 2611.02079

CoolPaper URL: https://papers.cool/arxiv/2611.02079

Published: 2026-11-04T03:14:03.532Z

Updated: 2026-11-04T03:14:03.532Z

5. SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling

Abstract:3D generation, editing, and completion are typically treated as regenerating the complete 3D asset under task-specific constraints, even when only a local region needs modification. This leads to task isolation, inconsistency in content that should remain unchanged, and dependence on task-specific paired data. We address these issues with a key observation: the three tasks all synthesize a designated region while keeping the rest intact—-the full region for generation, the target region for editing, and the missing region for completion. We term this paradigm Selective Modeling and build SeMo3D upon it; it naturally unifies the three tasks, preserves unchanged content by construction, and enables training without paired editing or completion data, since any 3D asset can be partitioned into a selected region and its context. For training, we propose region-selective denoising, which randomly selects regions of varying sizes on standard 3D assets and applies noise and loss only to them, jointly learning all three tasks. For architecture, we propose Omni3DiT, a multi-condition 3D diffusion transformer that distinguishes regions to create from those to retain and fuses image, text, and point guidance for fine-grained control. Experiments across three benchmarks show SeMo3D surpasses state-of-the-art methods on all tasks, delivering multimodal controllability in generation and strong consistency and accuracy in editing and completion. SeMo3D further serves as a unified modeling tool for agents, enabling efficient 3D creation through natural-language interaction. Project page: this https URL.

中文摘要

摘要：3D生成、编辑和补全通常被视为在特定任务约束下重新生成完整的3D资产，即使只需要修改局部区域。这导致了任务孤立、应保持不变内容的不一致性以及对特定任务成对数据的依赖。我们通过一个关键观察解决了这些问题：这三项任务都在保持其他部分不变的情况下合成指定区域——生成任务是完整区域，编辑任务是目标区域，补全任务是缺失区域。我们称这种范式为选择性建模，并基于此构建SeMo3D；它自然地统一了三项任务，通过构建确保内容不变，并且无需成对的编辑或补全数据进行训练，因为任何3D资产都可以划分为选定区域及其上下文。对于训练，我们提出区域选择性去噪方法，该方法在标准3D资产上随机选择不同大小的区域，并仅对这些区域应用噪声和损失，从而联合学习所有三项任务。在架构方面，我们提出Omni3DiT，一种多条件3D扩散变换器，它区分需要生成的区域和需要保留的区域，并融合图像、文本及点云引导以实现精细控制。跨三个基准的实验表明，SeMo3D在所有任务上均优于最先进方法，在生成任务中实现多模态可控性，在编辑和补全任务中实现强一致性和高精度。SeMo3D进一步作为统一建模工具为智能体提供支持，通过自然语言交互实现高效3D创造。项目页面：此https URL。

LLM Analysis

LLM Analysis Failed: Error: Kimi内容未就绪或抓取失败: 2611.02568 (HTTP 429)

Authors: Xiaokun Sun,Jian Yang,Zhenyu Zhang

Categories:

PDF URL: https://arxiv.org/pdf/2611.02568.pdf

Arxiv URL: https://arxiv.org/abs/2611.02568

Arxiv ID: 2611.02568

CoolPaper URL: https://papers.cool/arxiv/2611.02568

Published: 2026-11-04T03:14:03.547Z

Updated: 2026-11-04T03:14:03.546Z