世界模型与具身智能

来源：量子位（克雷西（发自 凹非寺）） · 2026-09-08 · 原文链接 分类：技术发布 / 工业具身智能（主线强相关：ActiWorld 直接对话"未来信息形态"线索） ...

来源：机器之心 · 2026-09-07 · 原文链接 分类：技术发布 / 具身智能（主线强相关） 一句话概括 芝诺机器人（Zeno AI）发布 3B 参数、30Hz 本地闭环的 Zeno-1，让每台机器人各自跑同一份策略副本、不通信不调度，靠「闭环伙伴交互（CPI）」在真实物理环境里互为训练伙伴自学协作——协作行为不是模仿人类演示得来的，是从共享物理世界的闭环里涌现出来的。 ...

来源：机器之心 · 2026-09-04 · 原文链接 一句话概括 用 DINO-v3 编码的未来观测 latent 作训练期联合目标、推理时整支移除，640 次真机实验成功率 62.5%（最强基线 30%，2.1×） 核心要点 核心主张：视频生成对机器人控制是负担，不是资产。 视频式 WAM 同时预测动作和未来视觉轨迹，但"世界模型的目的并不是复现真实世界在每一个中间时刻的视觉信息，而是预测动作执行后达到的世界表征"。中间帧只描述物理状态之间的视觉过渡，占用大量模型容量与算力，且无法直接刻画物理结果。开门任务中机器人需要的是"抓住把手→旋转→推门→门保持指定角度"，不是机械臂每一帧的外观变化。 三条路线的预测目标对比： VLA：从当前条件预测动作（动作会给环境带来什么，隐含编码在参数里） 视频式 WAM：联合预测动作 + 完整未来视觉轨迹 DELE-w0.5：联合预测动作 + 动作结束后的未来世界表征（更紧凑、更贴近控制目标） 架构：双流 Transformer。语言用 Qwen3 编码，视觉用 DINO-v3 编码（1 个头部视角 + 2 个腕部视角）。动作侧一次预测长度 60 的动作序列；Astribot S1 双臂机器人每时间步 14 维动作（两臂位置变化、姿态变化、夹爪状态）。 条件流 + 噪声流：条件流处理语言与当前视觉并融合为统一条件表征；噪声流处理加噪的动作序列与未来世界表征，用 Flow Matching 同时学习动作去噪和未来状态去噪。 未来世界表征不是生成的图片，而是 DINO-v3 对未来观察的编码，用来表征物体位置、机械臂状态、空间关系。模型只在 latent 空间学状态变化，无需还原完整视觉画面，也无需生成中间视频帧——这是与视频式 WAM 最本质的区别。 非对称注意力（关键设计）： 动作 token 可读语言、当前观察、动作序列内部，但读不到未来状态目标——防止动作预测提前看到答案； 未来世界表征 token 可读语言、当前观察和动作，学的是"执行这组动作后环境会进入什么状态"； 未来表征的损失通过共享参数参与训练，所以动作生成路径虽然读不到未来 token，其底层表征仍受"动作后果学习"的影响。 推理时未来表征 token 全部移除，只保留语言、当前观察、动作。机器人无需先生成未来图片、也无需等待视频去噪完成，控制链路更短。未来表征在 DELE 中只承担训练监督功能，不是每次行动前的显式步骤。 完全自研基座：未使用开源机器人基础模型、VLA 或视频生成模型的既有权重做二次封装，模型结构、可行动世界状态表征、具身数据配方、本体适配均围绕真机任务设计。 实验结果（640 次真机实验）：Astribot S1 双臂，4 项长程任务（开带把手的门 / 冰箱取可乐 / 杯中加冰 / 爆米花放微波炉并启动），8 种方法，每项任务每方法 20 次正式测试，相同任务数据等量微调、一致指令与 180 秒预算。 完整任务成功率 62.5%（80 次成功 50 次），最强基线 XR0 为 30.0%（+32.5pp，2.1 倍） 平均有序阶段进度 81.3%，该指标最好基线 GWP0.5 为 61.3%（+20.1pp） 分任务：开门 80%、冰箱取可乐 65%、微波炉爆米花 60%、杯中加冰 45%，四项均最高 对比基线：GWP0.5、XR0、π0.5、LingBot-VLA2、HY-VLA、Spirit-v1.5、GR00T-N1.7 推理延迟中位数 87.5ms（RTX 4090），快于 GWP0.5、π0.5、LingBot-VLA2、HY-VLA，与 Spirit-v1.5 接近但成功率更高 “有序阶段进度"是个值得借鉴的评测设计：记录机器人连续完成到了哪一步，前置步骤没完成则后面的偶然动作不计入进度。这能显示模型在哪个阶段失败，也避免"一次成功抓取掩盖后续执行问题”。 真正的差距在任务后半程。分阶段分析显示：难点常在技能之间的连接处——抓住物体后要保持此前的任务状态、切换执行手臂和交互对象、把流程推进到最终条件。开门任务 20 次全部到达"旋转把手并推门"阶段、最终完成 16 次；多数基线能抓到把手，但在旋转与推门的配合中失败。 涌现迹象（技术报告称为"目标条件下的行为重组"）：① 机器人拿爆米花准备放进微波炉时实验人员把门关上，机器人保持手中目标物、重新开门、完成任务；② 微波炉门只留一条窄缝，机器人没有回到训练中学过的把手流程，直接用手里的包装把门推开。数采员从未采集过这两种情况。 zero-shot 跨背景：从杂乱办公工位到开阔会议室，桌面材质、空间布局、光照、视觉背景显著变化下仍能完成微波炉和杯中加冰任务——不依赖固定场景、不记忆特定背景。 公司背景：深度跃迁（DeepLeap），专注"从真实任务中持续进化的跨本体具身大脑平台"，已完成复兴创富独家投资的数千万元天使轮融资。 金句 “世界模型的目的并不是复现真实世界在每一个中间时刻的视觉信息，而是预测动作执行后达到的世界表征。” ...

来源：3D视觉工坊 · 2026-09-03 · 原文链接 一句话概括 把相机位姿做成原生输入的全能世界模型，单图生成可自由探索的 3D 世界并直出点云与 3DGS 核心要点 定位转变：从"生成像素"到"理解空间"。Atlas 不是图像/视频生成器，而是能生成、重建、模拟任意可能世界的统一模型。核心能力一句话：从一张或几张图片出发，生成一个你可以自由探索的、物理一致的三维世界。 能力一｜相机控制生成（像素级精确的"导演模式"）。给定 1 张或多张参考图，在指定相机位姿生成新视角，与输入内容和几何一致，并平滑外推到不可见部分。支持长达 1 分钟、1440p 的视频，可逐帧设计相机路径。团队原话：“你是在导演一场戏，而不是在拉一台老虎机的杠杆。” “空间上下文"机制（与 LLM 的类比）：Atlas 先把输入编码成一个 spatial context，再基于它生成输出；每张图像都被锚定在三维空间中的具体位置。可以把两张毫无关联的参考图放进同一个空间上下文，Atlas 会生成在两者间平滑过渡的世界——“想象"出门廊、走廊、壁龛来连接两个场景。 能力二｜空间重建。从 1 到几十张图重建真实场景，不需要专业采集设备或密集视图。“所见越多，想象越少”：单图时靠世界知识脑补，图越多重建越精确；只用两三张就能给出可信重建，效果甚至超过专门为 3D 重建训练的模型。演示中：一张花园地面照 → 生成鸟瞰视角；加第二张（小屋）→ 同时出现但仍"想象"左侧房子；加第三张（主屋）→ 整个场景精确还原。 原生显式 3D 输出：点云（几何结构）+ 3D 高斯泼溅（可高分辨率、高帧率在设备上渲染的完整场景）。从单张图就能联合生成新视角并估计几何，直接输出完整 3D 世界。 能力三｜时空模拟（空间+时间）。① “子弹时间"平民化：只用 3-5 台普通手机摄像头就能冻结时间、任意角度回放事件（以前需专业多相机阵列）；② 机器人仿真新范式：重建只是第一步，模拟机器人移动时 Atlas 还能生成其传感器会观察到的 RGB 和深度数据——世界和机器人的视角来自同一个模型。团队用手机视频拍两个大型环境（每段仅 24 帧重建），再模拟不同类型机器人沿不同路径导航，生成机器人身上相机视角的图像；③ 机械臂操作：从几次随意录像构建同时捕捉物体如何移动和交互的仿真环境，建好后可轻松变化物体、位置、机器人运动、光照、背景，生成多样化训练数据与测试环境。 能力四｜图像生成（“副产品”）。能遵循复杂提示、渲染文字、生成多种视觉风格，可从文本或图像生成 360° 全景图。 技术内核：多模态自回归扩散 Transformer（multimodal autoregressive diffusion transformer）。 多模态：原生处理文本、图像、相机位姿、3D 深度图；每张图像与深度图都关联一个显式相机位姿，使空间控制成为架构的核心组件。 自回归：按序列顺序逐个生成输出，每个任务本质是一种不同的序列模式。 扩散：修正流（rectified flow）模型，逐步去噪，推理时可调去噪步数权衡速度与质量。 Transformer：以大规模矩阵乘为主，适配现代硬件。 融合 LLM 与视频模型思想：像 LLM 一样可用 KV-caching、缓存感知路由加速；像视频模型一样可用扩散蒸馏、无分类器引导。 关键差异 + 评测：Atlas 把相机作为原生输入类型，而非通过文本描述相机运动。第三方人类评估者判断其在相机控制生成上优于近期视频模型，且优势随相机轨迹变复杂而扩大；在 3D 重建任务上也超越最优秀的开源专用重建模型。 Scaling 观察：从零预训练，发现随模型规模和训练计算增加，每个新阶段都解锁新的模型能力；团队相信趋势会持续。 状态与展望：目前与选定合作伙伴进入早期访问阶段，未来版本将驱动 Marble 等产品。范式上从"为每个任务造一把专用钥匙"转向"造一把能开很多锁的万能钥匙”；工作流可能从"采集大量数据→后处理→重建"变为"拍几张照片→让模型生成一个完整世界”。 金句 “如果说传统视频生成模型是在「生成像素」，那 Atlas 做的则是「理解空间」。” ...

来源：Motus2 · 2026-09-01 · 原文链接 分类：技术报告 一句话概括 Motus2 把策略、模拟器、评估器三件事塞进同一套权重（只用改注意力掩码来切换），让模型能自己生成候选动作、想象后果、给结果打分、再用打分回传更新策略——形成闭环自我进化，配合 13 万小时第一视角人类数据金字塔，把双臂灵巧手的真机成功率从 0% 拉到 84%。 ...

来源：量子位（QbitAI）（鹭羽） · 2026-09-01 · 原文链接 一句话概括 把 3D 生成的交付单位从单件资产升到带物理关系的可拆解场景，2-3 分钟单图出整场景+自动物理参数 核心要点 范式跃迁：从"造一个物体"到"造一个可拆的世界"。整体式场景生成做不到"拎走桌上的碗、挪开椅子"，因为所有内容被合并成不可拆的整块。WorldGen 把场景拆成独立资产并保留空间/物理关系，每件都可单独编辑、替换、移走——抽出关键支撑物后，周围的物体会按物理规则位移或跌落。 技术底座是 SIGGRAPH 2025 最佳论文 CAST（同期唯一与 Google、Meta 并列的商业公司）。流程四步：① 拆对象+估深度；② 逐物体生成完整 3D 几何（遮挡感知补背面）；③ 估计位姿把物体放回统一空间；④ 用物体关系图 + SDF 做物理纠错（防穿透/悬空/不合理堆叠）。WorldGen 是在 CAST 上花近一年工程化，把"多模块串联累计误差"压到了产品级。 生成流程（hyper3d.ai）：上传图→自动识别主体（可手动框选）→前景物体逐个 2-3 秒出预览，背景用 3DGS 补全→整体 2-3 分钟。开 SimReady 模式会自动补碰撞体、估计质量/摩擦/恢复系数。 具身智能场景已落地闭环：与地瓜机器人（算力/开发工具链）+ 谋先飞 MotrixSim（物理与并行仿真引擎）今年 7 月联合发布完整链路——WorldGen 出场景，MotrixSim 跑运动/抓取，地瓜机器人做训练。已对接 NVIDIA Inception，将"单资产进 Isaac Sim"拓展为"整场景进 Isaac Sim"。 游戏用法：从概念图直接出对象化场景，策划先看动线、设计师挪道具、美术再决定哪些关键资产值得精修；独立资产能直进 Blender/Unity/PlayCanvas/团结引擎/Unreal Engine 做二次创作。7 月与 Unity 中国达成合作。 影视用法：WorldGen 控 3D 基底（镜头调度、构图），Seedance 2.5 出最终画面，避免视频生成"可控 vs 好看"二选一；WorldGen 自带 AI Render 模块支持自由运镜与多风格变换。已进入实际影视项目制作流程。 XR/空间计算：单张图→可进入/浏览/调整的沉浸空间，搭配 Apple Vision Pro 等设备做室内设计、沉浸教育、空间展示。 团队对"世界生成模型"的定义（CTO 张启煊）：文本/图像→可用的三维世界；是广义"世界模型"在 3D 载体上的实例，区别于只能观看的视频世界模型。 金句 “传统做法直接将整个场景作为一个模型生成，所有内容容易被合并成不可拆解的整体，场景很难继续使用。WorldGen 的关键变化，是把场景拆解为可单独操作的资产，同时保留它们之间的空间与物理关系。"——吴迪（创始人/CEO） ...