来源:机器之心(关注AI的) · 2026-09-10 · 原文链接

分类:综述 / 理论框架(主线正中:与"未来信息形态"线索直接对话,且首次给出能力分层坐标系)


一句话概括

机器之心借朱军团队《General World Models from First-Principles》梳理"世界模型"这个最没有共识的词:三家的分类法(World Labs 渲染器/模拟器/规划器、LeCun 的潜空间可预测结构、朱军的理解-想象-行动闭环 + L1 生成世界→L5 世界组织者五级路线)并列摆出,并指出视频生成只是 L1;生数的落地路径是 Vidu(数字侧,实时交互)与 Motus/Motubrain(物理侧,L3)对同一假设做两次验证,Motus2 则以"一套共享参数暴露策略/模拟器/评估器三接口"外加独立轻量触觉专家补"最后一厘米",走向 L4 的闭环自进化。

核心要点

  1. 先摆出混乱:一段能连续生成的视频、一个随键鼠实时变化的数字环境、在潜空间预测未来状态的系统、直接输出机器人动作的策略——四样东西全叫"世界模型",能力边界却相去甚远。生成视频画面够逼真却可能违背物理;机器人能完成一次抓取也可能只熟悉实验室里的物体、机位和轨迹。一个系统究竟学到了视觉相关性、物理结构,还是行动与结果之间的关系,仅靠 Demo 很难回答。 概念混乱的代价是"画质、几何精度、预测能力和任务成功率被混在一起比较"。

  2. 三种分类法并列:

    • 李飞飞 / World Labs:按功能分为渲染器(输出像素)、模拟器(输出世界状态)、规划器(输出动作)。
    • LeCun(V-JEPA):主张在抽象潜空间中学习可预测的世界结构,让模型保留对理解、推理和规划有用的信息。
    • 朱军 / TSAIL(本篇主线):从第一性原理定义核心能力,给出五级进化路线图。
  3. 思想源头:1943 年 Kenneth Craik 提出人类会在头脑中形成关于现实的"小尺度模型",借此推演不同行动的可能结果;强化学习中的 POMDP 进一步形式化(接收局部观测→估计世界状态→采取动作→按新观测更新判断)。原文的比方是学自行车:看到车把偏、感觉到重心下沉、随即调整、再按新反馈修正。

  4. 三项核心能力构成闭环:

    • 理解(Understanding):把视觉、语言、声音、触觉或机器人传感器等信息,整合成对当前世界的内部判断;
    • 想象(Imagination):从当前状态推演多个可能未来,尤其是"如果我采取动作 A 而不是 B,结果会怎样";
    • 行动(Action):把预测变成对数字或物理环境的干预,并让行动后的新观测反过来检验、修正模型。

    这也是"视频生成 ≠ 世界模型"的论证:视频模型能回答"接下来画面可能是什么样",但走向通用世界模型还要回答"如果我改变条件、移动物体、施加动作,世界会如何不同"——这类带行动条件的预测才触及因果、反事实和可执行决策。

  5. 五级路线图(L1–L5),用"一只被推到桌边的玻璃杯"串起来:

    层级名称那只玻璃杯检验标准
    L1生成世界生成杯子滑落、撞击、碎裂的连续画面生成轨迹是否连贯
    L2交互世界用户改了视角、改变推动方向后,世界继续演化世界能否持续响应
    L3在世界中行动判断杯子是否要掉、预测伸手是否来得及,输出机器人真能执行的抓取动作能否改变物理环境
    L4自主世界智能体不再等人给指令:发现风险、主动观察、补充信息、失败后修正策略能否主动探索与持续学习
    L5世界组织者多主体协作:谁抓杯子、谁避障、谁调配工具,环境变化后重排任务能否组织开放环境中的多主体协作

    论文判断:现有系统已触及前三层,L4/L5 仍是开放问题。 主要缺口五项:因果与物理接地、持久记忆、在线学习、高效部署、安全控制。评测也要比较预测与真实结果,考察在陌生任务、环境和本体上的迁移能力。

  6. 数据金字塔(这是我最想记住的一张图)。底层是互联网规模视频(学世界知识与动态先验),向上依次是领域视频 → 第一视角人类视频 → 带动作记录的人类示范 → 顶层真实机器人交互数据。越往上越稀缺、成本越高,但动作、任务与机器人本体的对应关系越清楚。

    对应的数据张力:互联网视频规模巨大但很少同步记录造成变化的动作、力量和意图;机器人轨迹能连接观测-动作-结果,采集成本却更高,也容易绑定具体硬件和任务。生数同时做两条产品线,正是为了让"视频提供世界知识的广度,机器人数据完成行动接地"。

  7. MoT(Mixture-of-Transformers)架构:为什么不完全共享参数——传统模块化系统逐级传递信息,容易在接口处损失几何、时间和不确定性信息;但所有模态完全共享参数也可能造成训练冲突,让海量视频数据压制稀缺的机器人信号。MoT 的折中:不同模态保留各自专家参数,再通过共享注意力机制交换上下文。视觉说发生了什么,语言给目标与约束,动作带来干预,三类信息共同更新对世界的判断。MoT 只是统一计算的基础,物理规律、跨本体迁移、实时推理、安全控制仍需靠数据、训练与系统工程解决。

  8. Motus2:一套参数、三个接口。它没把动作生成、未来模拟、结果评估做成三套独立系统,而是以一套共享参数的视频-动作模型暴露三种控制接口:

    • 策略(Policy / World-Action Model):提出可执行的候选动作;
    • 模拟器(Simulator / Action-Conditioned World Model):预测这些动作在视觉世界中可能造成的后果;
    • 评估器(Evaluator / Value Model):判断哪种结果更接近任务目标,并用于选择和改进。

    原文的说法是"先心灵,再手巧":不再看到物体直接给动作,而是先提几个候选、在模型里预演各自的画面与任务进度、再选更好的一步;执行后成功、失败和不那么理想的结果都不再是数据废料,而成为下一轮动力学建模与价值学习的证据。

  9. Motus2 的训练数据分层:从单目第一视角视频扩展到同步双目第一视角数据,再用机器人数据完成本体适配。用约 13 万小时人类第一视角记录,以及超过 100 小时机器人轨迹与人机对齐数据。路径是"先让模型累积一份关于人如何与世界互动的共同经验,再让它通过机器人数据学习这具身体如何把理解变成动作"。

  10. 🎯 Motus2 的触觉专家(对我们最相关的一句):“通过独立的轻量触觉专家,对即将执行的短动作进行细化,并预测接触后的力反馈。视觉擅长看清物体在哪里、世界大致如何变化,触觉则补上接触发生时最难的’最后一厘米’,让模型在’看得见’之外,对压、碰、抓、旋等细腻操作多一层即时校正。”

  11. Motus2 仍处在 L3→L4 的延伸阶段:当前验证集中在特定机器人和操作任务;自主目标形成、持久记忆、开放环境泛化、长期在线学习、安全控制都还没探索。它的进展在于把策略生成、未来模拟、价值评估和触觉反馈放进同一套系统,让机器人能在行动前预演后果、行动后用结果改进策略。

  12. 两条 AGI 入口与中国版图:一类从语言出发(推理、Coding、Agent),另一类从视觉与动态世界出发(实时交互、具身行动)。智谱代表前者,生数代表后者(Vidu → 实时交互 Vidu S1 → 具身行动 Motus/Motubrain → 策略优化)。原文判断两者正在互相渗透:语言 Agent 需要视觉反馈和环境模型,世界模型也需要语言来表达目标、规则与计划。

金句

2026 年,「世界模型」是 AI 圈最没有共识的词之一。

一个系统究竟学到了视觉相关性、物理结构,还是行动与结果之间的关系,仅靠 Demo 很难回答。

视频模型可以回答接下来画面可能是什么样,但要走向通用世界模型,它还需要回答「如果我改变这个条件、移动这个物体、施加这个动作,世界会如何不同?」

越往上,数据越稀缺、成本越高,但动作、任务与机器人本体的对应关系也越清楚。

所有模态完全共享参数,也可能造成训练冲突,让海量视频数据压制稀缺的机器人信号。

机器人不再只是看到物体后直接给出一个动作,而是先提出几种候选方案,在模型中预演各自会带来的画面与任务进度,再选择更好的那一步。执行以后,成功、失败和不那么理想的结果也不再只是数据废料。

视觉擅长看清物体在哪里、世界大致如何变化,触觉则补上接触发生时最难的「最后一厘米」。

世界模型的竞争,最终会从 Demo 的震撼程度,转向系统经受反馈的能力。

模型理解了什么,能够想象多远,行动之后能否修正自己。

质疑与核查

  1. 这是机器之心的企业稿,生数科技的露出非常明显。 全文后半段就是生数产品线介绍(Vidu / Vidu S1 / Motus / Motubrain / Motus2),结尾还在讲"中国 AGI 产业版图"、智谱 vs 生数。朱军是生数的联合创始人,论文 PDF 挂在 shengshu.com 域名下。所以:这是一家公司用自己的框架讲自己的路线图,不是中立的领域综述。 它把三家并列(World Labs / LeCun / 朱军)看似公允,但只有第三家的内容被展开,前两家各占两行。
  2. 五级路线是自家提议,不是社区共识。 L1–L5 这套分级没有任何标准组织背书,也未见其他团队采用。“现有系统已触及前三层、L4/L5 仍是开放问题"这个判断是生数自己的定位,恰好把自己的 Motus2 放在"L3 向 L4 延伸"这个最有利的位置——既在已实现的区间里,又朝着未解决的方向。这类自我定位要打折读。
  3. 13 万小时 vs 100 小时,这个对比本身就是最大的折扣。 人类第一视角视频与机器人轨迹的比例是 1300:1。原文把它讲成"先积累共同经验、再学这具身体”,但换个说法就是:机器人侧的数据量小到不足以支撑它宣称的能力,所以必须靠人类视频兜底。 那么 Motus2 在陌生本体、陌生任务上的表现,边界应该由那 100 小时决定,而不是由 13 万小时决定。原文承认"当前验证主要集中在特定机器人和操作任务",这是诚实的,但"主要集中在"的表述弱化了它的严重性。
  4. 触觉专家只有一句话,零数字。 “独立的轻量触觉专家,对即将执行的短动作进行细化,并预测接触后的力反馈”——没有说用什么传感器、多少维、多长时程、预测误差多少、在哪个任务上起多大作用、有没有消融。 在一个号称"把触觉反馈放进同一套系统"的框架里,触觉只得到一句话,这本身就说明了它的实际权重。我上面关联③、④ 的所有推论都建立在这一句上,必须回原文核实,不要拿这句当论据写进论文。
  5. “先心灵,再手巧"没有给代价。 Motus2 每步都要先提候选、预演、评估、再选——这在实时控制里是要花时间的。原文完全没提延迟,也没提预演几个候选、在什么控制频率下跑得动。对照我们已有的延迟预算表(PFD +13ms、Fast-WAM-Joint 3.05×、Zeno-1 整体 30Hz、DELE 87.5ms@4090),Motus2 缺的正是这个数。 没有它,“预演后选择"到底能不能进闭环是未知数。
  6. L4/L5 的定义有点空。 L4 是"发现风险、主动观察、补充信息、失败后修正”,L5 是"多主体协作与环境变化后重排任务”——这两条描述的是期望行为,不是可检验的能力定义,跟 L1–L3 那种"生成轨迹是否连贯 / 世界能否持续响应 / 能否改变物理环境"的可操作判据不在一个精度上。原文自己也说 L4/L5 仍是开放问题,但如果判据本身就没定义清楚,“开放问题"是必然的。
  7. 一个我没想通的地方:MoT 的理由是"防止海量视频压制稀缺机器人信号”,但 Motus2 又声称"一套共享参数暴露三种控制接口"。“共享参数"和"专家参数"的边界在哪? 三种接口之间是完全共享,还是也走 MoT?原文没说清,而这一点直接决定"预演"这个能力的成本与 achievable 程度。
  8. 结尾那句"从 Demo 的震撼程度转向系统经受反馈的能力"说得好,但通篇没有给"经受反馈"的度量。 它说了要"比较预测与真实结果"“考察陌生任务环境与本体的迁移能力”,但没给指标。这是句漂亮话,不是评测方案。 对照医疗那篇(AUC + 人机对照 + 前瞻队列)和 HAND 那篇(四层敏感性链),这篇在评测的具体性上是最弱的——尽管它整篇都在谈评测。

本文为阅读剪藏(摘要 + 摘录 + 评论),非原文转载。查看原文