拒绝视频生成,深度跃迁提出具身基座模型全新路线

来源:机器之心 · 2026-09-04 · 原文链接 一句话概括 用 DINO-v3 编码的未来观测 latent 作训练期联合目标、推理时整支移除,640 次真机实验成功率 62.5%(最强基线 30%,2.1×) 核心要点 核心主张:视频生成对机器人控制是负担,不是资产。 视频式 WAM 同时预测动作和未来视觉轨迹,但"世界模型的目的并不是复现真实世界在每一个中间时刻的视觉信息,而是预测动作执行后达到的世界表征"。中间帧只描述物理状态之间的视觉过渡,占用大量模型容量与算力,且无法直接刻画物理结果。开门任务中机器人需要的是"抓住把手→旋转→推门→门保持指定角度",不是机械臂每一帧的外观变化。 三条路线的预测目标对比: VLA:从当前条件预测动作(动作会给环境带来什么,隐含编码在参数里) 视频式 WAM:联合预测动作 + 完整未来视觉轨迹 DELE-w0.5:联合预测动作 + 动作结束后的未来世界表征(更紧凑、更贴近控制目标) 架构:双流 Transformer。语言用 Qwen3 编码,视觉用 DINO-v3 编码(1 个头部视角 + 2 个腕部视角)。动作侧一次预测长度 60 的动作序列;Astribot S1 双臂机器人每时间步 14 维动作(两臂位置变化、姿态变化、夹爪状态)。 条件流 + 噪声流:条件流处理语言与当前视觉并融合为统一条件表征;噪声流处理加噪的动作序列与未来世界表征,用 Flow Matching 同时学习动作去噪和未来状态去噪。 未来世界表征不是生成的图片,而是 DINO-v3 对未来观察的编码,用来表征物体位置、机械臂状态、空间关系。模型只在 latent 空间学状态变化,无需还原完整视觉画面,也无需生成中间视频帧——这是与视频式 WAM 最本质的区别。 非对称注意力(关键设计): 动作 token 可读语言、当前观察、动作序列内部,但读不到未来状态目标——防止动作预测提前看到答案; 未来世界表征 token 可读语言、当前观察和动作,学的是"执行这组动作后环境会进入什么状态"; 未来表征的损失通过共享参数参与训练,所以动作生成路径虽然读不到未来 token,其底层表征仍受"动作后果学习"的影响。 推理时未来表征 token 全部移除,只保留语言、当前观察、动作。机器人无需先生成未来图片、也无需等待视频去噪完成,控制链路更短。未来表征在 DELE 中只承担训练监督功能,不是每次行动前的显式步骤。 完全自研基座:未使用开源机器人基础模型、VLA 或视频生成模型的既有权重做二次封装,模型结构、可行动世界状态表征、具身数据配方、本体适配均围绕真机任务设计。 实验结果(640 次真机实验):Astribot S1 双臂,4 项长程任务(开带把手的门 / 冰箱取可乐 / 杯中加冰 / 爆米花放微波炉并启动),8 种方法,每项任务每方法 20 次正式测试,相同任务数据等量微调、一致指令与 180 秒预算。 完整任务成功率 62.5%(80 次成功 50 次),最强基线 XR0 为 30.0%(+32.5pp,2.1 倍) 平均有序阶段进度 81.3%,该指标最好基线 GWP0.5 为 61.3%(+20.1pp) 分任务:开门 80%、冰箱取可乐 65%、微波炉爆米花 60%、杯中加冰 45%,四项均最高 对比基线:GWP0.5、XR0、π0.5、LingBot-VLA2、HY-VLA、Spirit-v1.5、GR00T-N1.7 推理延迟中位数 87.5ms(RTX 4090),快于 GWP0.5、π0.5、LingBot-VLA2、HY-VLA,与 Spirit-v1.5 接近但成功率更高 “有序阶段进度"是个值得借鉴的评测设计:记录机器人连续完成到了哪一步,前置步骤没完成则后面的偶然动作不计入进度。这能显示模型在哪个阶段失败,也避免"一次成功抓取掩盖后续执行问题”。 真正的差距在任务后半程。分阶段分析显示:难点常在技能之间的连接处——抓住物体后要保持此前的任务状态、切换执行手臂和交互对象、把流程推进到最终条件。开门任务 20 次全部到达"旋转把手并推门"阶段、最终完成 16 次;多数基线能抓到把手,但在旋转与推门的配合中失败。 涌现迹象(技术报告称为"目标条件下的行为重组"):① 机器人拿爆米花准备放进微波炉时实验人员把门关上,机器人保持手中目标物、重新开门、完成任务;② 微波炉门只留一条窄缝,机器人没有回到训练中学过的把手流程,直接用手里的包装把门推开。数采员从未采集过这两种情况。 zero-shot 跨背景:从杂乱办公工位到开阔会议室,桌面材质、空间布局、光照、视觉背景显著变化下仍能完成微波炉和杯中加冰任务——不依赖固定场景、不记忆特定背景。 公司背景:深度跃迁(DeepLeap),专注"从真实任务中持续进化的跨本体具身大脑平台",已完成复兴创富独家投资的数千万元天使轮融资。 金句 “世界模型的目的并不是复现真实世界在每一个中间时刻的视觉信息,而是预测动作执行后达到的世界表征。” ...

2026年9月4日 · 5 分钟 · 2301 字 · elephantflow