📅 本期精选来自 2026-09-02 ArXiv 最新论文,聚焦相机可控视频生成的度量尺度失效问题、视频预训练向世界动作模型的规模化兑换、大型视频生成器"零新增动作模块"转化为可交互世界模型、世界模型训练目标的监督重分配、界面世界模型与少步蒸馏,以及 VLA 从"输出动作"走向"组织可复用抽象",共 8 篇。
📄 论文精选
MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation
链接: https://arxiv.org/abs/2609.01252
项目主页: https://qiaozhijian.github.io/merope/
作者 / 机构: Zhijian Qiao, Xinjiang Wang, Jiajie Chen, Haoming Huang, Meng Li, Chih-Chung Chou, Jing Wang, Shaojie Shen(香港科技大学 HKUST;卓驭科技 Zhuoyu Technology)
一句话总结: 港科大与卓驭科技提出 MeRoPE,一种保范数的相对相机位置编码,用正交旋转块编码标定视线间的相对朝向、把度量位移映射为多频旋转相位,从根本上解决现有几何感知编码在真实度量轨迹下注意力 logits 与特征范数随平移基线无界增长的尺度失效问题。
研究问题: 相机可控视频生成依赖几何感知的位置编码,把相机外参与逐 token 视线(viewing rays)注入注意力。但现有方案在真实世界的度量(metric)相机轨迹上存在一个此前被忽视的尺度依赖失效模式:基于齐次投影(homogeneous projective)的编码会让注意力 logits 和特征范数随着物理平移基线的增大而无界增长。换句话说,相机走得越远,模型的数值行为越失控——而相机大幅度平移恰恰是自动驾驶、机器人导航等真实场景的常态。
核心方法: MeRoPE 是一种保范数的相对相机编码,包含三个组件:其一,用正交旋转块(orthogonal rotation blocks)编码已标定视线之间的相对朝向;其二,把原始度量位移映射为多频旋转相位(multi-frequency rotary phases),从而在不放大范数的前提下表达真实尺度的平移;其三,沿极线弧(epipolar arc)加入一个以视差为锚的对应先验(disparity-anchored correspondence prior),为跨视角匹配提供几何归纳偏置。三者组合后严格保持特征范数,无论物理平移尺度多大都能界定 pre-softmax 注意力 logits 的上界,并对全局刚体坐标变换保持精确不变性。
技术亮点:
- 首个系统指出并解决相机编码的尺度依赖失效,而非只是经验性地提升控制精度
- 正交旋转 + 多频旋转相位的组合严格保范数,不引入数值爆炸
- 视差锚定的极线弧对应先验,把几何先验直接写进注意力偏置
- 对全局刚体变换精确不变——这是相机可控生成的底线性质
- 在覆盖大基线轨迹的 nuScenes 与覆盖多样光学的 PanShot 上同时验证
实验结果: 在 nuScenes 与 PanShot 两个分别覆盖大基线轨迹和多样相机光学的数据集上,MeRoPE 取得比既有编码更强的相机控制能力,在旋转与平移两个维度上都实现了生成相机运动与条件位姿之间最好的一致性。作者表示代码将公开。
应用场景: 相机可控视频生成与重渲染、自动驾驶场景数据合成与闭环仿真、机器人第一视角数据增强、影视级虚拟摄影与运镜预览。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 相机可控视频生成这几年进步很快,但绝大多数工作在做"加条件、加数据、加参数",很少有人回过头问"位置编码本身在物理尺度上是否自洽"。MeRoPE 把这个问题摆到台面上并给出了有理论保证的解。对做 camera control 的人来说,这是一篇会改变默认组件选择的论文;而对自动驾驶/机器人这类必须处理真实度量轨迹的场景,尺度失效很可能一直是一个被数据掩盖的暗坑。
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
链接: https://arxiv.org/abs/2609.00188
项目主页: https://zimablue-wam.github.io/ | 代码: https://github.com/ZimaBlue-WAM/ZimaBlue
作者 / 机构: Xionghao Wu, Yijun Yang, Shiyang Zhou, Haoze Sun, Jianhui Liu, Songsong Yu, Jiyao Zhang, Wenbo Li, Bo Wang, Guoqing Ma, Lin Song, Renjie Liao, Shenghe Zheng, Wei Tang, Xiaojuan Qi, Yanwei Li, Yuan Zhang, Zhuotao Tian, Haoyang Huang, Nan Duan(Joy Future Academy)
一句话总结: ZimaBlue 提出三阶段课程把大规模第一视角视频"兑换"成可泛化的世界动作模型(WAM),并用异步 Slow-Fast 双系统架构让生成式世界模型在单张 RTX 4090 上跑出 30 Hz 实时动作预测,真机零样本成功率从仅用目标机器人数据的 36.1% 提升到 77.8%。
研究问题: 机器人操作面临一个根本性的规模化困境:稳健泛化需要广博的物理经验,但带动作标注的机器人轨迹采集昂贵且天然缺乏多样性。第一视角(egocentric)视频提供了远为可扩展的具身经验来源——物体交互、接触动力学、工具使用、长时程行为,覆盖各种环境。核心难题在于:如何把这种海量但无动作标注的经验转化为有效的机器人控制?此外,生成式世界模型虽然表征能力强,但推理开销使其难以用于实时控制。
核心方法: ZimaBlue 采用三阶段训练课程:第一阶段在大规模人类与机器人第一视角视频上做因果式具身视频预训练,学习视觉动力学;第二阶段通过带统一动作表示的 video-action mid-training,把学到的视觉动力学接地到异构机器人轨迹上;第三阶段专门化到目标机器人以便部署。为了让生成式 WAM 真正可用于实时控制,ZimaBlue 进一步采用异步 Slow-Fast 双系统架构:高容量的 Slow 世界模型提供可泛化的时空表征,轻量级 Fast 分支负责高频动作预测,二者异步运行从而解耦表征能力与动作频率。
技术亮点:
- 三阶段课程(视频预训练 → video-action 中训 → 目标本体专门化)把"无动作视频"层层接地为可执行策略
- 统一动作表示,使异构机器人轨迹能在同一表征空间内被吸收
- 异步 Slow-Fast 双系统:高容量世界模型与轻量动作头解耦,是生成式 WAM 走向实时的关键工程解
- 单张消费级 RTX 4090 上实现 30 Hz 动作预测,显著降低了生成式策略的部署门槛
- 在真机零样本设定下评估,而非只报仿真数字
实验结果: 在真机零样本评估中,从"仅用目标机器人数据"扩展到"超过 120,000 小时的具身视频",成功率从 36.1% 提升到 77.8%——这是一个接近翻倍的量级跃迁,也是"视频预训练能否兑换成机器人能力"这个问题目前最有说服力的一组数字之一。除真机外,ZimaBlue 在多个基准上也表现强劲,且在未见任务(unseen tasks)上的增益尤为显著。
应用场景: 通用机器人操作策略、跨本体技能迁移、以第一视角视频为数据引擎的规模化机器人学习、实时生成式控制。
研究价值: ⭐⭐⭐⭐⭐(5/5)— 视频预训练→机器人策略这条路讲了很久,但一直缺少"规模化到底能换回多少"的硬数字。36.1% → 77.8% 这条曲线把答案量化了,而 120,000 小时这个量级也说明这条路还没到天花板。更实际的是 Slow-Fast 双系统:它承认"生成式世界模型很重、控制必须很快"这一矛盾,并给出可落地的异步解,而不是靠蒸馏硬压。
H3-World: Turning Language Understanding into World Control
链接: https://arxiv.org/abs/2609.01560
项目主页: https://danzer1xxxxchan.github.io/H3-World | 代码: https://github.com/Danzer1xxxxChan/H3-World | 模型: https://huggingface.co/DANNY621/H3-World
作者 / 机构: Danze Chen, Zeqing Wang, Ziyue Lin, Xingyi Yang, Yeying Jin(腾讯 Tencent;新加坡国立大学 NUS;香港理工大学 PolyU)
一句话总结: H3-World 用一个极其轻量的适配方案把 330 亿参数的 MiniMax-H3 视频生成器变成可交互世界模型——不引入任何专门的动作模块,仅靠把动作表示为"角色指令 + 相机指令"的结构化组合、加上时序注意力路由约束指令作用域,用 8000 条游戏样本、1 万步 LoRA 和 0.199% 可训练参数就实现了精确的角色与相机控制。
研究问题: 构建一个可交互世界模型通常需要为动作条件专门设计模块、再从零或大规模微调视频生成器,代价高昂。但一个越来越清晰的趋势是:随着视频生成器能力变强,语言本身正在成为一种天然的控制接口——MiniMax-H3 这类模型已经能通过自然语言指令零样本控制角色行为与相机运动。问题在于,这种语言接口是"粗粒度"的:它能表达要做什么,却难以精确表达"在什么时间区间做什么"。
核心方法: H3-World 的核心洞察是,不必新增动作模块,只需把粗粒度的语言接口转化为时间上精确接地的世界控制。具体做法:其一,把每个动作表示为角色指令与相机指令的结构化组合,并将其与对应的时序视频 latent 对齐;其二,引入时序注意力路由(temporal attention routing),把每条指令严格限制在其目标时间区间内,减少跨动作的"控制泄漏"(control leakage)。关键在于,H3-World 直接复用大规模视频预训练中学到的语义表征,只需轻量适配。
技术亮点:
- 零新增动作模块:完全复用预训练视频生成器的语义表征,靠 LoRA 轻量适配
- 0.199% 可训练参数 + 1 万步 LoRA + 8000 条样本,成本极低
- 时序注意力路由解决多指令场景下的控制泄漏,把"粗语言"变成"精时序"
- 角色控制与相机控制统一在同一套结构化指令表示下
- 泛化到未见场景,说明学的是可迁移的控制能力而非记忆样本
实验结果: 仅用 8,000 条 gameplay 样本、10,000 步 LoRA 优化和 0.199% 的可训练参数,H3-World 就实现了有效的角色与相机控制,同时保持了很强的生成质量,并能泛化到未见场景。
应用场景: 从大型视频生成器低成本派生可交互世界模型、游戏与开放世界仿真、具身智能体的可控训练环境、角色与运镜联合控制的内容创作。
研究价值: ⭐⭐⭐⭐(4/5)— 这篇论文的价值不在方法有多复杂,而在它验证了一个重要判断:当基座视频模型足够强时,“世界控制"可能不是一个需要专门设计的模块,而只是一个需要被精确对齐的接口。0.199% 的参数量意味着这条路的边际成本会随基座模型变强而持续下降。对资源有限的团队而言,这是目前最现实的"拥有可交互世界模型"的路径。
IMPACT: Attention Is the Interaction Map for Scalable Interaction-Aware World Model Training
链接: https://arxiv.org/abs/2609.00161
作者 / 机构: Rongze Tang, Jianjie Fang, Zhaolu Wang, Ziyou Wang, Xvyuan Liu, Haisheng Su, Xin Zhang, Wei Wu, Chen Gao, Yong Li, Zhibo Chen(中国科学技术大学 USTC;中关村学院 Zhongguancun Academy;清华大学 Tsinghua University;Manifold AI)
一句话总结: IMPACT 指出世界模型生成物理可信交互困难的根源不在缺少外部条件,而在训练目标的监督分配错配——全局平均的 MSE 去噪损失让大量静态内容主导优化信号,而真正决定交互质量的稀疏动态物体区域反而被严重欠监督;它用交叉注意力作为内部时空先验构造交互图并重加权监督,无需任何外部表征或推理期改动。
研究问题: 世界模型在具身智能体的动作条件未来预测上进展显著,但仍然难以建模物理上可信的交互。现有做法通过引入编码运动、几何或语义的外部表征来约束生成过程,但获取这些时空稠密表征通常需要辅助估计器或人工标注,直接限制了训练的可扩展性。那么,能否在不依赖任何外部表征的前提下提升交互建模质量?
核心方法: 作者回到训练目标本身,识别出全局平均 MSE 去噪目标下的监督分配错配(supervision-allocation mismatch):画面中占绝对多数的静态内容主导了优化信号,而与交互生成最相关的稀疏动态物体区域被不成比例地欠监督。IMPACT(Interaction-aware Model training with Prior-guided Attention Calibration and Targeting)的做法是:用与被操作物体 token 相关的交叉注意力作为动作条件变化的内部时空先验;从该先验中采样候选区域;再用分离的局部预测误差(detached local prediction errors)对这些候选进行校准,构造出交互图(interaction map);最后用该图重新加权去噪监督。整个过程既不需要外部表征,也不需要在推理时做任何修改。
技术亮点:
- 把问题从"缺什么条件"重构为"监督分配错了”,诊断视角罕见而锋利
- 交叉注意力被复用为免费的时空先验——模型内部已经有信号,只是没被利用
- 用 detached 局部预测误差校准先验,避免自举退化
- 训练期改动、推理期零开销零改动,可直接叠加到现有世界模型上
- 在机械臂与人手操作、多种控制模态与 DiT 骨干上广泛验证
实验结果: 在涵盖机械臂操作与人手操作、跨越多种控制模态与 DiT 骨干设置的大量实验中,IMPACT 一致优于对应的 MSE 训练基线,在交互保真度、物理合理性与视觉质量三个维度上均有提升。
应用场景: 具身世界模型训练、机器人操作的未来预测、以世界模型为内循环的模型预测控制、交互密集场景的视频生成。
研究价值: ⭐⭐⭐⭐(4/5)— 这是一篇典型的"改一行损失、讲清一个道理"的工作。它把世界模型交互建模不佳的原因从数据/条件侧拉回到优化侧,而且给出的解几乎零成本——训练期重加权、推理期无感。在当前大家竞相加外部条件(深度、光流、点云)的风潮里,这种"先看看现有信号有没有被用好"的反思尤其有价值。
Solaris: Towards Interfaces That Are Generated, Not Coded
链接: https://arxiv.org/abs/2609.00776
项目主页: https://runway.com/news/research/introducing-solaris
作者 / 机构: Yuval Alaluf, Omri Avrahami, Guy Bukchin Leshem, Michal Geyer, Kfir Goldberg, Elad Richardson, Diego Alarcón, Alejandro Alvarez, Cole Garry, Anastasis Germanidis, Tenaya Goldsen, Corina Gurau, Robin Kahlow, Joel Kwartler, Kathleen Lewis, Alejandro Matamala Ortiz, Eugene McMahon, Thon Prom, Sarah Saltonstall-Wurm, Jamie Umpherson, Hudson Yeo(Runway)
一句话总结: Runway 提出 Solaris,一个"界面世界模型":它不通过代码这一中间表示来实现界面,而是把鼠标交互当作条件信号,逐帧自回归地合成交互后的视觉状态,并用少步蒸馏加自输出训练压到交互速率;一个语言模型负责解释用户意图,与视觉世界模型分工。
研究问题: 数字界面传统上通过代码这类中间表示来实现,其外观与行为必须被预先指定——这从根本上限制了界面的开放性与适应性。一个自然的追问是:如果界面不再被编写,而是被实时生成,会怎样?技术上这要求模型同时做到三件事:以交互速率生成、在长时间交互中保持视觉连贯、以及正确理解用户意图并反映到生成的环境变化上。
核心方法: Solaris 把鼠标交互视为条件信号,自回归地合成下一帧视觉状态。为了在保持长程视觉连贯的同时达到实时性,它把自回归帧生成与少步蒸馏(few-step distillation)以及在模型自身输出上训练(training on the model’s own outputs)结合起来——后者正是缓解自回归暴露偏差、维持长程连贯的关键。此外,一个语言模型与视觉世界模型互补:前者解释用户意图并指定交互应当如何影响被生成的环境,后者负责视觉渲染,从而把高层推理与像素生成解耦。
技术亮点:
- 首次系统提出"界面世界模型"这一范式:界面是逐帧生成的,而非由预定义状态集合实现
- 鼠标交互直接作为条件信号,无需任何代码中间表示
- 少步蒸馏解决实时性,自输出训练解决自回归长程漂移——两者缺一不可
- 语言模型负责意图、视觉世界模型负责渲染的职责分离,是可扩展的关键
- 支持无需预先编程的开放式交互
实验结果: 论文展示了 Solaris 能以交互速度生成界面,并在长时间交互中维持视觉连贯性,支持不需要预先显式编程的开放式交互。
应用场景: 生成式人机界面与软件形态、按需生成的交互式工具、世界模型在生产力软件中的落地、具身智能体的交互环境。
研究价值: ⭐⭐⭐⭐(4/5)— Runway 把世界模型从"模拟物理空间"拓展到"模拟数字空间",这个转向本身就值得关注。更实在的是它把自回归世界模型的两个经典难题——实时性与暴露偏差——用蒸馏 + 自输出训练这对组合拳一起解决,这套配方对任何做长程自回归生成的团队都有直接参考价值。
Streaming4D: Accelerate 4D World Models via Block-wise Video Generation and Incremental Reconstruction
链接: https://arxiv.org/abs/2609.00610
作者 / 机构: Xiaoyan Liu, Jiaxin Liu, Kangrui Li, Sifan Zhou(香港中文大学 CUHK;香港理工大学 PolyU;新南威尔士大学 UNSW;东南大学 Southeast University)
一句话总结: Streaming4D 针对 4D 生成中"先出视频、后做重建"的串行解耦导致的高交互延迟,提出一种紧耦合同步流水线:按时间块自回归生成视频,每完成一个块立刻触发该块的增量式 3D 重建,让合成与几何更新并行执行,使世界表征随视频流在线演化。
研究问题: 当前 4D 生成范式普遍受限于一种串行解耦设计:先生成视频,再进行 3D 重建。这种"全片生成完再重建"的流程带来了很高的交互延迟,难以用于交互式实时场景——而"能实时交互"恰恰是 4D 世界模型相对于离线视频生成的核心价值所在。
核心方法: 与逐帧发射、延迟恢复几何的传统做法不同,Streaming4D 生成时间视频块(temporal video blocks),并在每个块完成时立即触发该块的重建,从而使视频合成与几何更新能够并行执行。这种紧耦合的同步流水线让世界表征能够随着视频流在线演化:既降低了反馈延迟,又保留了几何保真度。实现上,Streaming4D 采用 Self-Forcing 风格的自回归生成器作为视频侧,配合增量式重建后端作为几何侧。
技术亮点:
- 块级(block-wise)而非帧级的同步粒度,是延迟与质量之间的实用折中
- 视频合成与几何更新真正并行,打破"先生成后重建"的串行瓶颈
- 世界表征在线演化,天然适配流式交互
- 基于 Self-Forcing 风格自回归生成器,与主流实时视频生成技术栈兼容
- 在单张消费级 RTX 4090 上验证,强调可及性
实验结果: 在单张 RTX 4090 上,Streaming4D 在多个分辨率下取得一致的运行时改善(1.24× 加速),同时保持了高质量的 4D 几何与多视角一致性。
应用场景: 实时 4D 场景生成与流式重建、交互式世界模型的几何后端、具身智能体的在线环境构建、数字孪生与 XR 内容生成。
研究价值: ⭐⭐⭐⭐(4/5)— 1.24× 的加速幅度不算惊艳,但问题选得对:4D 世界模型能不能用于交互,瓶颈往往不在生成质量而在流水线结构。把"串行解耦"改成"块级并行同步"是一个正交于模型本身的改进,意味着它可以叠加到任何更强的生成器上。对关注实时交互世界模型的读者,这篇提供了清晰的流水线设计参考。
REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs
链接: https://arxiv.org/abs/2609.01215
作者 / 机构: Riyaaz Shaik, Chandru Venkataraman(Apple)
一句话总结: REFACTOR-VLA 提出一个"醒/睡"双相系统让 VLA 学会可复用的技能库:睡眠相在学到的隐世界模型 rollout 上用行为等价核(BEK)对运动程序片段聚类,清醒相输出受类型约束的 lambda 项供 rectified-flow 动作解码器消费;并给出两个反直觉发现——把世界模型从 188M 放大到 430M 反而更差,而给世界模型热身加一个 InfoNCE 损失却能大幅改善聚类。
研究问题: 多数 VLA 模型(OpenVLA、π₀、RT-2、RDT-1B)都是单体式的:直接输出原始运动命令或很短的动作块,不把行为组织成可复用的抽象,因而在长时程任务上性能退化,且学到的东西难以解释。已有的技能发现方法回避了核心问题——“两段动作序列何时在行为上等价”——要么对对比学习嵌入做聚类,要么把判断交给一个未与机器人动力学校准的语言模型。
核心方法: REFACTOR-VLA 是一个学习可复用技能的 wake/sleep 系统。睡眠相在学到的隐世界模型 M_φ 的 rollout 上,用行为等价核(Behavioral-Equivalence Kernel, BEK)对运动程序片段做聚类;清醒相在一个受 Hindley–Milner 启发的词汇表上输出带类型的 lambda 项,由一个以技能库为条件的 rectified-flow 动作解码器消费。抽象只有同时通过最小描述长度(MDL)与回报保持(return-preservation)两道闸门才被接纳进库。
技术亮点:
- 用隐世界模型的 rollout 定义行为等价,而不是用嵌入距离或 LLM 判断——这才是"行为"等价
- 带类型的 lambda 项 + 类 Hindley–Milner 词汇表,让技能库可组合、可解释
- MDL 与回报保持双重闸门,防止技能库无意义膨胀或引入性能损失
- 清醒/睡眠双相设计,把抽象学习与在线执行解耦
- 报告了负结果并做了归因,而非只挑好听的数字
实验结果: 在 LIBERO 上有两个发现。其一,把世界模型从 188M 参数放大到 430M,在 4 个套件中的 4 个上性能都变差——说明单纯堆容量无用。其二,训练目标的影响远大于容量:在世界模型热身阶段加入辅助的监督对比(InfoNCE)损失,显著改善睡眠相聚类,在 n=3 种子下取得归一化互信息 0.462±0.021(object)、0.867±0.025(spatial)、0.915±0.013(goal)与 0.754±0.010(LIBERO-10),在全部 4 个套件上超过最强的已发表基线,平均 Δ = +0.184;跨 12 个 provider 的平均两两 NMI 的 95% bootstrap 置信区间为 [0.683, 0.729](均值 0.705)。睡眠相还产出了第一个真实 LIBERO 任务语言技能库:解码器使用了 3 个被接纳抽象中的 2 个,并重写了全部 256 条采样示范。
应用场景: 长时程机器人操作、可解释与可复用的机器人技能库、VLA 的结构化抽象学习、跨任务技能迁移。
研究价值: ⭐⭐⭐⭐(4/5)— 在 VLA 普遍"越大越好、数据越多越好"的叙事里,这篇给出了两个清醒的反例:世界模型变大反而更差,而改训练目标(加 InfoNCE)却带来 +0.184 的均值增益。这提示 latent world model 在 VLA 里的作用可能更多是"提供好的度量空间"而非"提供更强预测"。类型化程序库的方向也很有想象空间——它指向一种可解释、可组合、可验证的机器人策略形态。
Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation
链接: https://arxiv.org/abs/2609.01596
项目主页: https://pine-lab-ntu.github.io/facet-0/
作者 / 机构: Haoyuan Deng, Haichao Liu, Wenkai Guo, Yuan Ling, Zaijia Yang, Yuanjiang Xue, Haosheng Sun, Liangzi Wang, Ziwei Wang(PINE Lab,南洋理工大学 NTU,新加坡)
一句话总结: Facet-0 是一个"预测并评估接触后果"的机器人基础模型:它用 flow matching 在生成每个动作块的同时生成预期引发的腕部力/力矩(wrench)曲线,再用分布式的 Action-Wrench Critic 区分任务进度相近但接触结局不同的动作,在亚毫米级计算机装配任务上把成功率从最强基线的 15% 拉到 82%。
研究问题: 亚毫米公差下的真实机器人装配要求空间精度、柔顺交互与对接触失败的鲁棒性三者兼备。难点在于:任务进度相近的动作,其接触后果可能截然不同——一个看起来同样接近成功的插入动作,可能平稳落位,也可能卡死乃至损坏零件。只按任务进度给奖励的 RL 无法区分这两者,因此策略改进信号被大量"看起来还行"的动作稀释掉了。
核心方法: Facet-0 围绕一个联合的 action-wrench proposal 统一多模态表征学习与 RL 后训练:把因果的 wrench 历史与视觉-语言语义及运动学状态对齐,用 flow matching 生成每个动作块以及它预期会引发的未来腕部 wrench 曲线。在部署 rollout 上训练一个分布式的 Action-Wrench Critic,专门区分那些任务进度相近但接触结局不同的动作;同时用相位感知奖励(phase-aware rewards)与接触选择性信用分配(contact-selective credit)把策略改进集中在决定性的交互上。为了适配零件专属动力学,一个轻量级的 bounded actor 复用冻结的表征做机载自适应;RL 始终定义在可执行的笛卡尔动作上,而辅助 wrench 头保留预测性、非指令性的动作-接触耦合。
技术亮点:
- 生成动作的同时生成"预期 wrench 曲线",把接触后果变成可被预测的显式对象
- 分布式 Action-Wrench Critic 专攻"进度相近但结局不同"的判别难题
- 相位感知奖励 + 接触选择性信用分配,让 RL 改进聚焦在决定性接触瞬间
- 轻量 bounded actor 复用冻结表征做机载自适应,兼顾通用性与零件专属动力学
- 训练于 ManuFacet-1K:1000 小时力同步语料,覆盖 3 种本体与多个制造单元
实验结果: 在 ManuFacet-1K(1000 小时力同步语料,覆盖三种本体与多个制造单元)上训练后,bounded 任务自适应系统在 5 项亚毫米级计算机装配任务上取得 82% 的平均成功率,而最强基线只有 15%;达到 0.5 mm 的放置精度与 50 ms 的指令延迟。
应用场景: 3C 电子与精密制造装配、亚毫米插入与接线、力/触觉感知的操作策略、真实世界 RL 的接触信用分配。
研究价值: ⭐⭐⭐⭐(4/5)— 82% vs 15% 的差距说明"显式建模接触后果"在精密装配上是决定性的,而不是锦上添花。把 wrench 作为生成目标(而非仅作为观测输入)是一个很聪明的设计——它让策略必须"预想"接触会发生什么,而不只是事后感知。对关注触觉智能与接触富集操作的读者,这篇把力信号用在了正确的位置。
📊 今日研究趋势
2026-09-02 的 ArXiv 给出了一条相当清晰的主线:世界模型正在从"把像素生成得像"转向"把控制权交出来"——研究者不再满足于模型能预测未来帧,而是关心谁能控制它、控制得多精确、以及控制要花多大代价。
控制的第一步是把条件表达对。 MeRoPE 提醒我们,在讨论"控制精度"之前,位置编码本身可能就不自洽:齐次投影编码在真实度量轨迹下会让注意力 logits 与特征范数随平移基线无界增长,相机走得越远数值越失控。这类基础性诊断比再堆一个条件模块更有价值。与之呼应,H3-World 走的是另一个极端——它压根不新增动作模块,而是承认"大模型已经会用语言控制角色和相机",只补上时序注意力路由把粗粒度语言接口对齐到精确时间区间,用 0.199% 的可训练参数就完成了转化。一个在修底层编码,一个在复用上层语义,指向同一个判断:世界模型控制的瓶颈,正在从"有没有控制接口"转向"接口是否时间精确、尺度自洽"。
第二条主线是视频预训练的规模化兑换,而且这次有了硬数字。 ZimaBlue 用三阶段课程把超过 120,000 小时的第一视角视频接地成世界动作模型,真机零样本成功率从 36.1% 提升到 77.8%——接近翻倍的跃迁,直接回答了"无动作视频到底能换回多少机器人能力"。更关键的是它没有止步于"生成式模型太慢",而是用异步 Slow-Fast 双系统在单张 RTX 4090 上做到 30 Hz:Slow 世界模型负责可泛化表征,Fast 分支负责高频动作。这与 H3-World 的轻量 LoRA 适配、Solaris 的少步蒸馏构成了同一主题的三种解法——实时性不是优化项,而是世界模型能否被当成控制器或仿真环境使用的前提。
第三条主线是"往回看训练目标"。 IMPACT 指出交互建模不佳的根源不是缺少外部条件,而是全局平均 MSE 让静态内容吞掉了优化信号、稀疏的动态交互区域被系统性欠监督;它用交叉注意力当作免费的内部时空先验,训练期重加权、推理期零开销。REFACTOR-VLA 给出了同构的证据但结论更锋利:把隐世界模型从 188M 放大到 430M 在 4/4 套件上反而更差,而给热身阶段加一个 InfoNCE 损失却带来 +0.184 的平均增益。两篇合起来在说同一件事——latent world model 的价值主要在于提供好的度量空间与监督分配,而不在于预测得更大更准。
最后,接触与结构化抽象正在成为机器人学习的两个新支点。Facet-0 让策略在生成动作的同时生成预期的 wrench 曲线,用分布式 Critic 区分"进度相近但结局不同"的动作,在亚毫米装配上把 82% 对 15% 的差距摆上桌面;REFACTOR-VLA 则让 VLA 从输出原始动作走向维护一个带类型的、可组合的技能库,其"行为等价"由世界模型 rollout 定义而非嵌入距离或 LLM 判断。前者补的是物理层面的接触后果,后者补的是符号层面的行为抽象——二者共同勾勒出下一代机器人策略的形态:既能预见接触会发生什么,又能把做过的事讲清楚。
🏆 最值得关注的 3 篇
MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation — 首个系统指出并解决相机位置编码在真实度量轨迹下的尺度依赖失效,用正交旋转块 + 多频旋转相位 + 视差锚定的极线弧先验给出有理论保证(严格保范数、logits 有界、刚体变换不变)的解。对相机可控视频生成而言,这是一篇会改变默认组件选择的工作。
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training — 36.1% → 77.8% 的真机零样本跃迁,把"视频预训练能兑换多少机器人能力"从愿景变成了有量级的曲线;异步 Slow-Fast 双系统又让生成式世界模型在消费级显卡上跑出 30 Hz,兼顾了规模化与可部署性,是本期完成度最高的一篇。
REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs — 难得一见地报告并归因了负结果:世界模型变大反而更差,而改训练目标却带来 +0.184 的平均增益。用隐世界模型 rollout 定义行为等价、用带类型的 lambda 项组织技能库,为"可解释、可组合的 VLA"提供了一条与堆规模完全不同的路径。
数据来源:ArXiv 2026-09-02 | 分析生成时间:2026-09-03 06:00 (北京时间)