📅 本期覆盖 ArXiv 2026-09-11（Fri, 11 Sep）公告批次（各分类当日条数 cs.CV 89 / cs.RO 44 / cs.AI 171 / cs.LG 171 / cs.GR 8 / cs.MM 3），去重后共 381 篇候选，经全站 586 个历史 arXiv ID 与 600 条历史标题双重去重后 0 重复。
本期主线是**「冻结的世界模型还能被榨出多少价值，以及被加速的模型丢掉了什么」**：一边是 World in World 与 FARM 不约而同地选择了「一个字节都不训练骨干」——前者把异构控制证据翻译成带相机与时间标签的视觉状态、喂进冻结因果视频模型的原生自注意力，后者只用一个 33,985 参数的读出头就从冻结 VLA-JEPA 的预测状态里解码出逐时刻失败分数；另一边是 IMLE-VLA 与 Uncertainty DMD 在追问加速的代价——前者发现 VLA 的多步采样动作头本身就是「走走停停」的元凶，后者发现 DMD 少步蒸馏的模式坍缩在自回归设定下会沿缓存传播成全局的时序多样性抑制。
📄 论文精选
HuRo: Robotizing Human Videos for Scalable VLA Pretraining
链接： https://arxiv.org/abs/2609.10706
项目主页： https://3587jjh.github.io/HuRo/
作者 / 机构： Jinho Jeong, Se June Joo, Jaehyun Kang, Dongyun Kim, Yena Kim, Hanjung Kim, Seon Joo Kim（RLWRLD；延世大学 Yonsei University）
一句话总结： RLWRLD 与延世大学系统性地回答了「机器人化的人类视频能否作为 VLA 预训练的可扩展监督」这一悬而未决的问题，构建了含 约 63 万条机器人化 episode、1.42 亿帧的 HuRo 数据集，使真机平均完成度从 51.5% 提升到 80.3%。
研究问题： 人类视频数据集因规模大、多样性丰富，被视为昂贵的真机数据的理想替代。但人机本体鸿沟（embodiment gap）始终存在：现有方法要么只在任务匹配的设定下做机器人化，要么把观测对齐与动作对齐分开处理、难以同时规模化。更关键的是，此前并没有一个系统性的验证表明：机器人化的人类视频真的能为 VLA 预训练提供有效且可扩展的监督信号。
核心方法： 论文开发了一套 robotization pipeline，把异构的人类视频统一转换成机器人对齐的观测与动作轨迹，并推断出不同标注层级上缺失的中间信号（例如没有手部姿态标注时如何补全腕部轨迹）。基于该流水线，作者从五个人类视频源构建了 HuRo 数据集：约 630K 条机器人化 episode、142M 帧处理帧。所有对照变体统一从 GR00T-N1.6-3B 初始化 VLM 骨干、动作头从零训练，以保证比较的干净。
技术亮点：
- 「缺失中间信号的跨标注层级推断」是本文真正的工程核心——人类视频源的标注完备度差异极大，能把这些异构源统一到同一个动作空间，才谈得上规模。
- 规模实验设计得很扎实：固定预训练优化步数与全局 batch size，只改变数据子集（0% / 10% / 50% / 100%），从而把「数据量」与「训练量」两个变量解耦。
- 额外设置了 no-overlay 变体（保留原始人类视频观测 + 相同的重定向动作监督），干净地隔离出「视觉机器人化」这一项的贡献。
- 参考模型选取克制：π0.5 与 GR00T N1.6 均直接微调自各自发布的预训练 checkpoint 并保留预训练动作模块，属于「最强原厂基线」。
实验结果： 在 ALLEX 双臂灵巧机器人（2 条 7-DoF 手臂 + 2 只 15-DoF 手）的四个真机任务（Apple Pick-and-Place、Cup Stacking、Cup-Noodle Handover、Microwave Loading）上：平均完成度从不做 HuRo 预训练的 51.5% 提升到全量 HuRo 的 80.3%；分条件看，ID 完成度 68.1% → 88.4%，OOD 完成度 34.9% → 72.2%——分布外收益（+37.3 个百分点）远大于分布内（+20.3），说明机器人化人类视频带来的主要是泛化而非拟合。以 Cup Stacking 为代表性案例，OOD 完成度从 10% 预训练规模的 60.4% 提升到 100% 规模的 79.2%。全量规模下，HuRo 预训练在 ID 与 OOD 两种评测下均超过 π0.5 与 GR00T N1.6 参考模型。
应用场景： VLA 大规模预训练、人类视频到机器人策略的迁移、双臂灵巧操作、分布外泛化增强、降低真机数据采集成本。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 本篇最有价值的不是那个 80.3% 的数字，而是它把这个方向从「看起来可行」推进到了「可量化、可扩展」：有了清晰的 scaling 曲线，社区才终于可以认真讨论「人类视频到底能替代多少真机数据」。OOD 收益显著大于 ID 这一点尤其值得记住——它意味着人类视频提供的正是真机数据最缺的多样性，而不是另一份同分布数据。
IMLE-VLA: Fast Single-Step Action Generation for Vision-Language-Action Policies
链接： https://arxiv.org/abs/2609.10915
项目主页： https://kianhk6.github.io/IMLE-VLA/
作者 / 机构： Kian Hosseinkhani, Qinhe Peng, George Shramko, Mehran Aghabozorgi, Jianing Qian, Tristan Engst, Alireza Moazeni, Dinesh Jayaraman, Ke Li（西蒙弗雷泽大学 Simon Fraser University；宾夕法尼亚大学 University of Pennsylvania；阿尔伯塔机器智能研究所 Amii / Canada CIFAR AI Chair）
一句话总结： 作者用条件隐式最大似然估计（cIMLE）训练的单步条件生成器替换 π0.5 的 10 步 Flow Matching 动作头，在不改动 VLM 骨干的前提下把推理频率从 15 Hz 提到 55 Hz（3.67×），并在 LIBERO 上取得 98.0% 的最高平均成功率。
研究问题： 主流 VLA 把预训练视觉语言骨干与一个用扩散或 Flow Matching 训练的连续动作头耦合，而这类动作头依赖迭代式多步采样（π0.5 中为 10 步 Euler）。这造成了推理瓶颈：机器人在模型计算时空转，产生明显的停顿与抖动（stop-and-go），任务完成变慢。而简单地换成朴素回归头又会模式坍塌，丢失多模态动作覆盖——表达能力与推理效率之间存在一个看似无法两全的张力。
核心方法： IMLE-VLA 用 cIMLE（conditional Implicit Maximum Likelihood Estimation）目标训练一个单步条件生成器来替代迭代动作头。cIMLE 的目标显式优化模式覆盖（mode coverage），因此既避免了朴素回归头的模式坍塌，又彻底消除了多步采样。由于改动被严格限制在动作头内部，完整的 VLM 骨干架构保持不变。配合延长的执行视野 H（每次前向执行更多动作、更不频繁地重规划），推理频率的提升会进一步复合成最高 11.0× 的动作吞吐提升。
技术亮点：
- cIMLE 这个选择很讲究：VLA 动作头需要的正是「多模态但不迭代」——扩散/Flow 用迭代换多模态，回归用坍塌换单步，cIMLE 是罕见的第三个选项。
- 改动严格限定在动作头，意味着这篇工作可以零成本挂到任何已部署的 π 系列模型上，工程落地门槛极低。
- 评测指标设计得好：除了成功率，还报告 action throughput（推理频率 × H）与 VLA-only wall-clock（每个成功 episode 中纯粹花在 VLA 前向的时间），把「快」拆成了可归因的三个层次。
- 效率对比诚实：自己在 L40S 上实测 π0.5 / IMLE-VLA / OpenVLA-OFT，其余基线的倍率引自 Jeon et al.（H100），并明确标注了硬件差异。
实验结果： 在 NVIDIA L40S 单卡上（LIBERO-Long 10 个任务 × 50 episode 平均）：π0.5 原始 JAX 实现 15 Hz，PyTorch + compile 20 Hz，Triton 25 Hz，IMLE-VLA 达到 55 Hz（3.67×）。在 LIBERO 40 个桌面操作任务上，H=10 时 IMLE-VLA 取得 98.0% 平均成功率，为所有对比方法最高，同时推理频率也最高（3.67×）——是唯一在成功率与推理频率两项上同时领先的方法；作为对照，最快的加速器 Shallow-π0.5-L6（2.3×）成功率降至 94.5%，OpenVLA-OFT 为 94.5% 且推理频率仅 0.69×。论文还在 LIBERO-plus 的分布偏移下做了鲁棒性评测，并在四个真机任务（单步操作、多步推理、反应性）上做了验证。
应用场景： 高频率机器人闭环控制、VLA 部署加速、对延迟敏感的动态操作任务、消除 stop-and-go 抖动、资源受限设备上的 VLA 推理。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 在「VLA 推理太慢」这个问题上，社区的主要精力一直放在蒸馏层数、改 backbone、换 kernel，而本文指出换掉动作头的训练目标本身就能拿到 3.67×，且成功率不降反升。这个结果的分量在于它同时否定了「必须迭代才能多模态」的默认假设。IROS 2026 已接收。
Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation
链接： https://arxiv.org/abs/2609.11638
在线体验： https://vidu.com/vidu-stream
作者 / 机构： Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Deyuan Liu, Jungang Li, …, Kaiwen Zheng, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu（清华大学；生数科技 Shengshu Technology）
一句话总结： 清华与生数科技推出 Vidu S2，包含实时交互数字人模型 Vidu S2-Avatar 与实时视频编辑模型 Vidu S2-Editing，并探索了面向 VR 头显的实时空间视频生成与编辑，在 Sparkle-Bench 上取得 3.74 的总分、在 OpenVE + RefVIE 联合评测上取得 4.26，全面超过离线与流式基线。
研究问题： Sora、Veo、Wan、Seedance 等模型生成质量已相当高，但几乎全部遵循「离线一次性生成」范式：用户输入 prompt、等待数分钟甚至数十分钟、最后才拿到成片，过程中无法主动发起任何交互。作者从需求侧给出了一个有意思的算术：若每个用户对实时交互视觉内容的平均需求为 α，总需求按 α × N（N 为用户数）缩放；而离线生成内容因可重放可分享，其生成需求更接近 β × N / m（m 为平均观看次数，通常 >100）。即便 α≈β，实时交互侧的算力需求也会高出两个数量级——这是离线扩散范式（对整段视频同步去噪、最后才输出）根本无法满足的。
核心方法： Vidu S2 从模型与系统两侧同时下手：① Vidu S2-Avatar 支持实时 720p 生成、可随时更新的动态参考（dynamic references）以及更强的指令跟随（如舞蹈动作）；② Vidu S2-Editing 支持对视频流实时编辑，涵盖风格渲染、换装、角色替换与背景替换；③ 空间视频：流式框架可把数字人生成或编辑后的单目流转换成同步的左右眼视图，也可直接编辑已有的空间视频；④ 推理与服务栈：采用分层混合注意力策略（SageAttention / SpargeAttention / Sparse-Linear Attention 按层敏感度选择）、低比特 GEMM、kernel 融合与启动优化、以及让 VAE 编码器 / 骨干 / Refiner / VAE 解码器沿统一时间线共享 GPU 的多 GPU 并行，使实时推理在低成本 GPU 上可行。
技术亮点：
- 「需求侧缩放律」的开篇论证很漂亮——用 α×N 与 β×N/m 的对比把「为什么要做实时」从产品判断变成了算术结论。
- 动态参考可随时更新是交互式数字人真正的分水岭：固定的参考图只是一次性条件，可更新的参考才谈得上「对话式」生成。
- 系统侧的贡献不亚于模型侧：SageAttention / SLA 等本组自研注意力 + 模块间 GPU 时间线共享，把「实时」从 demo 变成了可服务的产品能力。
- 空间视频（VR 左右眼同步） 把实时流与空间智能接上了，是本期少见的把两条主线合并的工作。
实验结果： 在 Sparkle-Bench 上，Vidu S2-Editing 取得 Overall 3.74，在全局指令（Ins. 4.00）、全局视觉质量（3.34）、前景指令（3.98）、前景运动（4.00）、背景动态（3.37）与背景视觉质量（3.76）六个维度上均为最高，超过 Bernini-R 14B（3.50）、Kiwi-Edit 5B（3.57）、Decart-Lucy2.5（3.67）等。在 OpenVE + RefVIE 联合评测上取得 Joint Overall 4.26，比最强离线基线 Bernini-R 14B（3.92）高出 0.34；其中 OpenVE Overall 4.42（Global Style 4.71、Background Change 4.14），RefVIE Overall 3.78（超流式基线 Decart-Lucy2.5 的 3.71）。在非配对虚拟试穿基准 ViViD Test Set 上，VFID_I 为 9.9515，显著优于 CatVTON（19.5131）与 ViViD（21.8032）。数字人侧在 StreamAV-Bench 上与 PixVerse R1、OmniForcing、Self-Forcing、LongLive、SWIFT、AvatarForcing、Hallo-Live 等十余个系统对比；人工偏好评测按 10–90 秒时长分层进行（含 160/320/480 ms 音频块、打断与恢复测试、五分钟稳定性测试、端到端延迟与成本），Vidu S2-Avatar 在整体质量、一致性、视频质量、运动质量与情感表达五个维度上均取得最高评分。
应用场景： 实时数字人与直播、交互式影视与游戏、实时视频编辑（换装 / 换背景 / 风格化）、VR 头显空间视频、低延迟视频生成服务。
研究价值： ⭐⭐⭐⭐（4/5）— 这是一篇系统 + 产品味很浓的技术报告，理论贡献有限，但它标定了一个重要的工程水位线：实时（720p）、可交互、可编辑、且是空间的——四者同时满足，在半年前还是不成立的。对做流式/自回归视频生成的团队来说，其推理栈的分层混合注意力与模块间 GPU 时间线共享是可以直接抄的架构。
Uncertainty DMD: Restoring Diversity in Few-Step Autoregressive Video Distillation
链接： https://arxiv.org/abs/2609.11265
项目主页： https://scdzx.github.io/Uncertainty-DMD
作者 / 机构： Zixuan Duan, Xunzhi Xiang, Yabo Chen, Xin Zhang, Changhan Liu, Haibin Huang 等（南京大学；中国电信人工智能研究院 TeleAI）
一句话总结： 作者诊断出少步自回归视频蒸馏中的多样性坍塌是一种结构化不确定性坍塌——DMD 的模式寻优偏差把不同噪声样本映射到几乎相同的首个 chunk，确定性 AR 缓存再把这一坍塌状态传播到所有后续 chunk，局部的随机性丢失被放大成全局的时序变化抑制；据此提出 Uncertainty DMD，在 Causal Forcing 上把 TE-CLIP 从 19.8 恢复到 22.1、Dynamic Degree 从 31.1 提升到 41.8。
研究问题： 少步蒸馏显著提升自回归视频生成的效率，但常导致多样性坍塌：同一 prompt 下不同噪声样本生成高度相似的视频、运动动态减弱。已有工作多关注 prompt 层面的多样化，而在固定 prompt 的生成过程内部恢复多样性这一问题此前未被系统研究。
核心方法： 论文先做了一个非常干净的诊断实验（「缓存移植」）：固定后续所有 chunk 的噪声种子，只替换首个 chunk 的采样器。结果清晰地定位了坍塌的源头——多样性损失主要发生在第一个 chunk，随后被 AR 缓存传播：Teacher/Teacher 配置的 TE-CLIP / TE-Inception / TE-DINO 为 22.1 / 39.4 / 72.5（VENDI 2.3 / 3.5 / 4.9），而 DMD/DMD 降至 19.8 / 37.4 / 69.3（2.0 / 3.0 / 3.6）；只把首个 chunk 换成 Teacher 采样器（Teacher/DMD）能恢复到 21.4 / 39.1 / 71.8，而只换后续 chunk（DMD/Teacher）反而更低（19.2 / 37.1 / 69.2）——这直接证实了因果方向。据此，Uncertainty DMD 在自回归生成的两个关键阶段注入随机性：① 对首个 chunk 注入时间步（timestep）不确定性；② 在缓存写入时注入随机噪声；并用**课程式调度（curriculum）**逐步引入扰动以稳定训练。
技术亮点：
- 诊断实验的设计水平很高：用「只换首块 / 只换后块」的对称对照，把「坍塌从哪来」这个定性争论变成了一个可证伪的定量预测。
- 「局部随机性丢失 → 全局时序抑制」这个因果链是自回归设定独有的，双向扩散模型里不存在缓存传播这一环——本文抓住的正是 AR 视频的结构性弱点。
- 方法极简：只改采样时的时间步与缓存写入，不引入 GAN、不额外加噪，零架构改动、零推理成本。
- 消融干净地分离了两个注入点的作用：去掉时间步扰动，TE-CLIP 从 19.5 掉到 16.7（多样性主因）；去掉随机缓存写入，多样性基本不变但 Dynamic Degree 从 42.4 掉到 37.0（动态度主因）——两个组件各管一件事，这在消融里并不常见。
实验结果： 评测协议：从 VBench 随机采样 100 个 prompt，每个 prompt 用共享的固定随机种子集生成 20 个视频（每种方法 2,000 个视频），用 Truncated Entropy 与 VENDI 在 CLIP / Inception / DINO 三个特征空间上共六个指标度量集合级多样性。在 Causal Forcing 上，DMD 基线的 TE-CLIP / TE-Inc. / TE-DINO 为 19.8 / 37.4 / 69.3，VENDI 为 2.0 / 3.0 / 3.6，加入 Uncertainty DMD 后提升到 22.1 / 39.4 / 71.9 与 2.3 / 3.5 / 4.7，已与双向 Wan 模型（20.9 / 38.0 / 71.8）持平甚至略优；Dynamic Degree 从 31.1 提升到 41.8，而 VBench 其余质量维度基本持平。在 Self Forcing 上，从 16.4 / 33.5 / 66.1 提升到 19.5 / 36.1 / 68.6，Dynamic Degree 从 25.1 提升到 42.4——显著优于同为「加噪」思路的 DMD + Extra Noise（16.1 / 33.2 / 65.6，Dynamic Degree 仅 15.9）以及 DMD + GAN（16.8 / 33.7 / 66.3，40.4）。这说明随便加噪反而会损害质量与多样性，结构化地在正确位置注入不确定性才有效。
应用场景： 自回归/流式视频生成的少步蒸馏、实时数字人与直播生成、需要多样样本的测试时扩展（test-time scaling）、交互式世界模型 rollout。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 对做实时自回归视频的人几乎是必读。它把一个被普遍观察到但归因模糊的现象（「蒸馏完就不动了」）拆解成了首块模式寻优 + 缓存确定性传播两步，并给出了零成本的解法。更有启发的是那个负面结论：DMD + Extra Noise 的动态度反而从 25.1 掉到 15.9——「多样性不够就加噪」这个直觉在自回归设定下是错的。
World in World: Explore the World with World Models
链接： https://arxiv.org/abs/2609.11548
项目主页： https://chenxi-song.github.io/worldinworld ｜ 代码： https://github.com/Westlake-AGI-Lab/WorldinWorld
作者 / 机构： Chenxi Song, Yanming Yang, Chi Zhang（西湖大学 AGI Lab，Westlake AGI Lab / Westlake University）
一句话总结： 西湖大学 AGI Lab 提出 World in World，一个训练无关的推理时接口：把异构控制证据（源视频观测、目标视角投影、几何渲染）统一转换成带相机与时刻标签的干净视觉状态，再通过冻结因果视频模型的原生自注意力读取，在相机可控视频重渲染上取得 VBench Overall 85.192 的最高分，且旋转误差与图像保真度均为最优。
研究问题： 自回归视频世界模型已能支持交互式长程探索，但灵活控制仍是难题。从新视角探索一段源视频，需要同时满足四个要求：生成 rollout 必须与已录制事件保持时间同步、把观测到的内容放到被请求的视角中、对新暴露区域做合理补全、并在再次访问时恢复此前生成的外观。现有方法通常靠任务专用模块或额外训练来分别满足这些要求——每加一种控制就要重训一次。
核心方法： World in World 在公开的 LingBot-World 2.0 causal-fast checkpoint 上实例化，所有预训练参数完全冻结。其核心是把控制问题重述为「证据组织问题」：① 视觉证据由源视频观测、目标视角的场景投影、引导新暴露主体区域补全的几何渲染组成；② 这些证据在推理时被构造成带相机标签与时间标签的干净视觉状态并拼接进上下文；③ 由冻结因果视频模型的**原生自注意力（native self-attention）**直接读取，无需任何额外训练或控制专用 adapter；④ 参考对齐视图（reference-aligned views）在递归层级间传播共享的相机投影。由于所有控制都通过同一个「视觉证据接口」表达，bullet-time 渲染、视频稳定、视频编辑、甚至两个模型实例之间的 K/V 共享都能用同一套机制实现。
技术亮点：
- 「控制 = 把证据翻译成带标签的视觉状态」这一抽象非常干净——它把五花八门的控制条件（相机、时间、几何、外观）统一成了模型本来就懂的语言（token + 位置标签），因此天然免训练。
- 完全冻结骨干 + 无 adapter，意味着这个方法可以直接吃到未来更强的视频基座模型的红利，无需重新适配。
- K/V 共享那个应用很有想象力：Model A 与 Model B 是同一冻结模型的两个实例，通过把前者的缓存 K/V 作为视觉证据传给后者，实现「生成案例之间的信息交流」。
- 长程重访（revisit）时恢复此前生成的外观被显式列为设计目标之一——这是世界模型区别于普通视频重渲染的关键，也是多数方法回避的难点。
实验结果： 在相机可控视频重渲染任务上（源视频取自 DAVIS 与 OpenVid-1M，所有方法接收相同的源视频与连续目标相机路径）：World in World 取得 VBench Overall 85.192，为所有对比方法最高，超过 UniWorld-View（84.295）、ReCamMaster（83.836）、InSpatio-World（83.447）、CameraAnything（83.036）、TrajectoryCrafter（82.984）与 WorldForge（82.384）。分维度看，Aesthetic Quality 56.556（次优 54.365）、Imaging Quality 68.004、Motion Smoothness 97.749 均为最高；旋转误差 RotError 2.8326 为最低（次优 UniWorld-View 4.1958）；图像保真度上 PSNR 23.1511、SSIM 0.787205 均为最高，LPIPS 0.121664 与 UniWorld-View 并列最优。论文还展示了长程重访、人体运动迁移以及逐组件的消融，并延伸到了 bullet-time 渲染、视频稳定、视频编辑与 K/V 共享等应用。
应用场景： 世界模型中的自由视角探索、相机可控视频重渲染、长程一致的交互式世界模拟、视频稳定与编辑、人体运动迁移、模型实例间的视觉信息传递。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 与本期 FARM 构成一组漂亮的对照：两者都选择了「一个参数都不训练」。World in World 证明了冻结的因果视频模型其实「知道」怎么响应相机与时间，只是此前没有合适的接口去问它。对做相机可控视频生成的人来说，这篇的参考意义尤其直接——它给出了一个**不训练即可获得 SOTA 相机控制精度（RotError 2.83 vs 4.20）**的路径，且已开源。
Recursive Code World Models: Building Complex Worlds through Recursive Scene Programs
链接： https://arxiv.org/abs/2609.11499
作者 / 机构： Zhiqi Li, Yuxuan Liao, Bo Zhu（佐治亚理工学院 Georgia Institute of Technology）
一句话总结： 作者指出「把世界表示成可执行程序」并不等于「知道如何构建一个复杂世界」，提出 RCWM：用递归场景程序（Recursive Scene Program, RSP）表示可执行世界，并配一个会递归调用自身的构造求解器，在 10 个参考场景上全部取得最高 PSNR 与最低 LPIPS。
研究问题： Code world models 把世界表示为可执行程序，这种表示本身并不决定如何构建一个复杂世界。从单张参考图重建复杂 3D 世界时，一个根本矛盾是：全局层面需要保持场景级几何与物体间关系，局部层面又需要为单个建筑、树丛、海岸线这样的细节结构保留各自的感知与编辑循环。一次性扁平重建会丢失细节，先局部后全局又难以保证整体一致性。
核心方法： RCWM 把递归场景程序（RSP）表示与一个递归调用自身的构造求解器耦合。求解器的每一次调用都遵循 global → local → global 的三段式：① 先建立整体（establish the whole）；② 递归地重建尚未解决的部分（recursively reconstruct unresolved parts）——每个子部分获得自己的求解器调用，因而拥有自己的感知与编辑循环；③ 再回到整体（revisit the whole）修正它们的组合关系。两个关键机制保证一致性：参考对齐视图在各递归层级间传播共享的相机投影，**父节点重访（parent revisitation）在子部分返回后重新审视整体构图。论文还用调用树（call tree）**记录了整个构造过程，使生成过程本身可检查。
技术亮点：
- 「表示 ≠ 构造」这个提法很精准：此前 code world model 的工作几乎都聚焦在表示形式上，而把「如何用这个表示一步步建出复杂世界」留给了 prompt 工程。
- global–local–global 递归是一个有原则的架构，而不是启发式：它同时解释了「为什么需要递归」和「为什么每层都要回访全局」。
- 实验控制极为严格：所有方法（RCWM、SEIG、VIGA、img2threejs）使用同一个基座模型（OpenAI gpt-6-astra via Codex CLI）与同样的推理强度设置，RCWM 的每个递归节点是一次 Codex session——这把变量压缩到了「构造组织方式」这一项上。
- 只给原始图像，不给源 prompt、地形或资产，避免了信息泄漏；视图标签、生物群系徽章与位置图钉也都保留在输入与评测参考中，不作特殊处理。
实验结果： 在 5 个全场景参考 + 5 个局部裁剪共 10 个参考上（素材来自 CC0「Isometric city」精灵包与 WorldClaw 演示渲染），RCWM 在每一个参考上都取得最高 PSNR 与最低 LPIPS，并在 9 个参考上取得最高 SSIM（仅在 valley-village 上 SSIM 0.38 略低于 VIGA 的 0.41）。典型数值：city-full PSNR 18.2 / SSIM 0.66 / Edge F1 0.94 / LPIPS 0.158 / CLIP 0.95（SEIG 为 14.5 / 0.51 / 0.83 / 0.339 / 0.90，VIGA 为 9.5 / 0.48 / 0.58 / 0.670 / 0.83）；medieval-village 18.7 / 0.71 / 0.89 / 0.200 / 0.93；japan-island 19.3 / 0.73 / 0.87 / 0.201 / 0.96；island-harbor 17.4 / 0.74 / 0.90 / 0.186 / 0.93；snow-village 17.9 / 0.73 / 0.85 / 0.237 / 0.83。消融比较了五种构造工作流（Flat + zoom、Local→global、Global→local、固定 2 层递归、自由深度递归），所有变体共享基座模型、场景表示、建模工具与参考分辨率，从而把差异归因到构造组织本身。
应用场景： 从单图重建可编辑 3D 世界、程序化场景资产生成、具身智能的可控仿真环境构建、游戏与影视的世界搭建、可检查可复现的世界生成流程。
研究价值： ⭐⭐⭐⭐（4/5）— 在世界模型普遍走向「像素级端到端生成」的当下，RCWM 坚持了符号化、可执行、可检查的另一条路线，并给出了一个真正能处理复杂度的构造机制。它的意义不只是指标更高，而是让「世界」重新变成可以逐步编辑和调试的程序对象——这对需要精确控制环境的具身智能训练尤其重要。
Memory as Plans: World-Action Modeling with Memory-Grounded Planning
链接： https://arxiv.org/abs/2609.11561
项目主页： https://sizhezhao.github.io/projects/MaP-WAM/ ｜ 代码： https://github.com/aipixel/MaP-WAM
作者 / 机构： Sizhe Zhao, Haozhe Xie, Weiyu Zhao, Chenchu Zhang, Huan Wang, Chenyang Wang, Qinglin Liu, Shengping Zhang（哈尔滨工业大学；南洋理工大学；山东大学；哈工大（威海）青岛研究院）
一句话总结： 哈工大、南洋理工与山东大学提出 MaP-WAM（Memory-as-Plans），把依赖记忆的世界动作建模分解成「以记忆为依据的规划」与「以规划为条件的执行」两阶段，用长期多模态情景上下文作为规划时证据而非让执行器反复条件化于完整历史，在 RMBench 上取得 83.3% 的整体成功率。
研究问题： 主流机器人策略通常采用马尔可夫形式，但许多复杂的真实操作任务本质上是非马尔可夫的，需要超越当前观测的长程记忆。现有的记忆机制往往依赖语言摘要、不断增长的视觉窗口或两者的组合：前者会丢失细粒度的视觉证据（「那个杯子是什么颜色」无法用一句话回答），后者则面临历史覆盖率与执行效率之间的权衡——记忆越长，每步推理越慢。
核心方法： MaP-WAM 的核心是一个结构性分解：① 记忆表示：把记忆组织成已完成片段的记录（completed segment records），每条包含语言指令与稀疏视觉上下文（每个已完成片段均匀重采样为 N=8 帧）；② 以记忆为依据的规划（memory-grounded planning）：语言规划器（微调 Qwen3.5-4B）从历史预测下一段的段级语言计划；视觉规划器由从 WAN-2.2-5B 初始化的 CWM（Contextual World Model）担任，用因果输入格式与 block-causal 注意力掩码微调，生成带正确物体身份与空间配置的视觉计划；③ 以规划为条件的执行（plan-conditioned execution）：WAP（World-Action-Planning）模型以视频专家（同样基于 WAN-2.2）加 1.02B 参数的动作专家（隐藏维 1024）与 207M 参数的进度专家（隐藏维 256）构成，只在规划给定的条件下执行当前片段，而不必反复条件化于整段历史；④ 进度建模：规划到执行的切换阈值 τ=0.95，训练时对进度条件施加 [−0.1, 0.1] 的均匀偏移增强。
技术亮点：
- 「记忆作为规划的依据，而不是执行器的上下文」这个分解是本文最关键的洞见——它同时解决了覆盖率与效率的两难：规划时可以看全部记忆，执行时只看当前计划。
- 用世界模型生成「视觉计划」而非只有语言计划：消融显示去掉视觉计划会明显退化——同一情景上下文下，CWM 生成的计划在物体身份与空间配置上更准确，而仅以当前观测为条件的世界模型会「记错」物体的颜色或位置。
- 稀疏视觉上下文（每段 8 帧）是一个务实的折中，比「全帧历史窗口」便宜得多，却保住了语言摘要留不住的细粒度证据。
- 进度专家（207M）这个设计很实用：它把「这一段做完了没有」显式建模出来，使多段长程任务的切换有了可靠依据——消融中去掉进度条件，平均成功率从 96.7% 掉到 54.0%。
实验结果： 在 RMBench（专为依赖记忆的长程操作设计的仿真基准，含 5 个 M(1) 任务与 4 个 M(n) 任务；每任务 50 条官方专家演示，100 次评测 rollout）上，MaP-WAM 取得 83.3% 的整体成功率，超过所有代表性基线（DP、π0.5、X-VLA、Mem-0、WLA-0、LingBot-VA）。其中 Swap T 与 Press Button 两个任务达到 96%——前者要求精确记住物体的初始位置，后者要求区分视觉相似但语义不同的执行状态。Observe and Pick Up 尤为困难（需在数十种物体类型中区分，并联合推理时间上分离的观测与空间关系，且每任务仅 50 条演示），MaP-WAM 仍取得明显优势。真机实验在 7-DoF Franka Research 3（第三人称 + 腕部 RealSense D435i）上进行两个记忆依赖任务：Find Button 88%、Press Buttons 68%（各 50 次独立试验），而基线在 Find Button 上仅靠随机选择取得非零成功率，在更难的 Press Buttons 上完全失败。消融（Blocks Ranking / Cover Blocks / Press Button / 平均）显示：classification 37.0%、去掉进度条件 54.0%、去掉进度校准 73.7%、完整 MaP-WAM 96.7%。
应用场景： 长程记忆依赖的机器人操作、需要跨时段视觉证据的任务（找被遮挡的物体、按顺序按按钮）、世界动作模型（WAM）、多段任务规划与执行、VLA 的长程推理。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 在「给机器人加记忆」这个拥挤的方向里，MaP-WAM 给出的是架构级的答案而非模块级：把记忆从「上下文」重新定位成「规划的输入」，一举绕开了覆盖率与效率的权衡。真机 Press Buttons 上「基线全部失败、MaP-WAM 68%」的对比，比仿真榜单上的几个点更能说明问题。代码已开源。
FARM: Reading Failure Signals from the Internal Predictive States of a Frozen Robotic World Model
链接： https://arxiv.org/abs/2609.11445
代码： https://github.com/HaoranPei-casia/FARM
作者 / 机构： Haoran Pei, Mingrui Luo, Senbao Wang, Haoran Lv, Jie Guo, Sheng Zhong, Ruixi Ci（中国科学院自动化研究所；哈尔滨工业大学）
一句话总结： 中科院自动化所与哈工大提出 FARM，追问「冻结的预训练机器人世界模型内部预测状态里，是否已经包含可直接解码的失败信息」，仅训练一个 33,985 参数的监督读出头就取得 85.68 / 88.59 的 pooled AUROC / AUPRC，并在 15 个匹配基线中取得最优的 Seen 性能。
研究问题： 可靠的机器人部署需要在线失败监测，但现有的监测器主要从代理信号（proxy signals）推导风险，或需要训练专用的监测组件。一个尚未被正面回答的问题是：一个冻结的、为「预测未来」而训练的机器人世界模型，其内部预测状态本身是否已经编码了失败信息？如果答案是肯定的，那么失败监测就不再是「另建一套系统」，而是「从已有的预测计算里免费读出来」。
核心方法： FARM（Failure-Aware Readout from World Models）在完全冻结的 VLA-JEPA 预测状态之上，只训练一个 33,985 参数的监督读出头，输出逐时刻的失败分数 s_t与因果化的轨迹风险 q_t = max_{τ≤t} s_τ（取截至当前的历史最大值，保证在线使用时单调、可因果计算）。读出头接收的失败标签是唯一的监督来源，预测骨干完全不更新。论文围绕四个问题组织实验：表示（冻结状态是否含失败信息）、检测（能否成为有竞争力的多任务检测器）、迁移（在新策略、新本体、新视觉域上如何表现）、在线使用（判别是否能从部分因果历史中涌现）。
技术亮点：
- 「失败信息是世界模型预测的副产品」这一假设既大胆又经济——如果成立，在线监测的边际成本几乎为零。
- 33,985 参数 vs 一个完整的监测网络，这个体量对比本身就是最强的论据；同时「冻结骨干」意味着已经部署了世界模型的系统可以白捡一个监测器。
- 实验设计非常克制：设置了 7 个低阶统计量对照（全局均值、标准差、RMS 幅度、时序 token 均值的均值/最大值、终止 token 均值范数、平均 token 方差）以及「7 统计量线性拟合」，专门用来排除「只是读到了粗粒度统计差异」这一替代解释。
- 严格的 unseen 划分：7 个源任务 / 3 个严格未见任务在检测器训练前就固定，U1–U3 完全排除在源训练之外；还专门限制每个任务只用所有轨迹共有的前 T_k 个重规划步，防止「轨迹长度 / 终止时间」成为分类捷径——这是失败检测论文里非常容易被忽视的泄漏。
实验结果： 仿真基准含 500 条轨迹（246 成功 / 254 失败），覆盖 10 个 LIBERO 操作任务。在七个源任务的五折 OOF 评测下取得 85.68 / 88.59 的 pooled AUROC / AUPRC，且优于全部七个低阶统计量对照，说明其优势超越了粗粒度的隐状态统计。在 10 任务基准上与 15 个匹配基线比较：FARM 在全部四个 Seen 指标上领先，Macro AUROC/AUPRC 达 83.62 / 85.55，比 SAFE-MLP 高 5.42 / 4.88 个点。真机迁移覆盖四个种群——PIPER X / π*0.6（497 条）84.70 / 79.13、PIPER X / VLA-JEPA（100 条）90.91 / 93.20、SO-101 / Eval-RL（70 条）69.85 / 68.46、Franka / π0-FAST-DROID（778 条）55.89 / 55.82（均为 Expanded 零-shot）；经 readout-only 适配（Adapt-35）后进一步提升到 98.48 / 98.41、95.73 / 97.80、82.88 / 73.06、75.78 / 74.31。核心结论是：固定读出头的零样本迁移即可跨策略、跨本体、跨相机与跨视觉域工作，而残余的目标域偏移可以被轻量读出头单独吸收，无需更新预测骨干。
应用场景： 机器人在线失败监测与告警、VLA 部署安全、跨本体跨策略的风险评估、闭环干预触发、长程任务的因果风险累积评分。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 与本期 World in World 形成一组有力的对照：两者都证明了「已经训练好的模型里还有没被榨出来的信息，关键在于接口而不是再训练」。FARM 的价值在于它把一个通常需要另建一套监测系统的工程问题，压缩成了「3 万参数 + 冻结骨干」，并且在四个真机种群上验证了零样本迁移。对任何已经在跑 VLA/世界模型的团队，这是一篇今天就能用上的工作。
📊 今日研究趋势
一、「冻结骨干 + 换接口」正在成为一条独立于 scaling 的主线。 本期最醒目的共性：World in World 与 FARM 都一个骨干参数都不训练，却各自拿下了 SOTA。前者把相机、时间、几何、外观这些异构控制条件统一翻译成带标签的干净视觉状态，交给冻结因果视频模型的原生自注意力去读（VBench Overall 85.192、RotError 2.8326 均为最优）；后者只用一个 33,985 参数的读出头，就从冻结 VLA-JEPA 的预测状态里解码出逐时刻失败分数，并在四个真机种群上零样本迁移（PIPER X / VLA-JEPA 上 90.91/93.20）。这两篇合起来在说同一件事：过去两年我们把太多功劳记在了「参数更新」头上，而实际上「怎么问模型」可能被严重低估了。对算力受限的团队，这条路线尤其值得押注。
二、加速的代价开始被认真清算，而且结论往往反直觉。 IMLE-VLA 与 Uncertainty DMD 分别代表两个层面的加速——前者砍掉 VLA 动作头的迭代采样（15 Hz → 55 Hz，LIBERO 98.0% 反而最高），后者修复视频少步蒸馏的多样性坍塌（Causal Forcing 上 TE-CLIP 19.8 → 22.1、Dynamic Degree 31.1 → 41.8）。但真正有价值的是 Uncertainty DMD 那个负面结论：同为「加噪」思路的 DMD + Extra Noise 不仅没恢复多样性，Dynamic Degree 反而从 25.1 掉到 15.9。它用「缓存移植」这个对称诊断实验证明了坍塌的因果方向是首块模式寻优 → 缓存确定性传播，于是「多样性不够就加噪」这个直觉在自回归设定下被证伪——位置比强度重要得多。IMLE-VLA 则证伪了另一个直觉：多模态动作分布并非必须用迭代采样换取，cIMLE 这个「第三选项」同时拿到了速度与成功率。
三、记忆在具身智能里被重新定位：从「上下文」变成「规划的输入」。 MaP-WAM 是本期在这个问题上最完整的回答。它指出语言摘要会丢细粒度视觉证据、增长的视觉窗口又牺牲效率，于是把记忆组织成已完成片段的记录（语言指令 + 每段 8 帧稀疏视觉上下文），只在规划时作为证据使用，执行器则条件化于当前计划而非整段历史。结果是 RMBench 上 83.3% 整体成功率，真机 Press Buttons 上基线全部失败而它拿到 68%。消融里那个数字最能说明进度建模的分量：去掉进度条件，平均成功率从 96.7% 崩到 54.0%。
四、数据侧与架构侧各有一份扎实的补位。 HuRo 用 63 万条机器人化 episode、1.42 亿帧把「人类视频能否做 VLA 预训练」从猜想变成了可量化的 scaling 曲线，而且分布外收益（+37.3 个百分点）显著大于分布内（+20.3）——这说明人类视频补的正是真机数据最缺的多样性。另一侧，RCWM 在世界模型普遍走向像素级端到端时坚持了符号化、可执行、可检查的路线，用 global–local–global 的递归求解器在 10 个参考场景上全部取得最高 PSNR 与最低 LPIPS；其「表示 ≠ 构造」的提法点出了 code world model 此前被忽略的那一半问题。
🏆 最值得关注的 3 篇
- Uncertainty DMD — 本期方法论最漂亮的一篇。它把「少步蒸馏后视频不动了」这个被普遍观察却归因模糊的现象，用「只换首块 / 只换后块」的对称诊断拆解成了首块模式寻优 + 缓存确定性传播两步因果链，并给出了零架构改动、零推理成本的解法。那个「DMD + Extra Noise 动态度反而从 25.1 掉到 15.9」的负面结果，比正面指标更值得记住。做实时自回归视频生成的团队建议精读。
- World in World — 在相机可控视频生成这个方向上给出了一个优雅的解法：不训练、不加 adapter，只把异构控制证据翻译成带相机与时间标签的视觉状态，靠冻结模型的原生自注意力读取，就拿到了 VBench Overall 85.192 与 RotError 2.8326 的双料最优。它的通用性（bullet-time、稳定、编辑、K/V 共享共用一套接口）和「可直接吃到更强基座红利」的特性，让它比一堆专用控制网络更值得跟进。已开源。
- FARM（与 World in World 并读）— 它把「机器人在线失败监测」从一个需要另建系统的工程问题，压缩成了 33,985 参数 + 完全冻结的世界模型，并在四个真机种群上验证了零样本跨策略、跨本体迁移（Adapt-35 后在 PIPER X / π*0.6 上达 98.48/98.41）。其排除「粗粒度统计差异」的七项低阶统计量对照、以及用共有前 T_k 步防止轨迹长度泄漏的细节，是失败检测类论文里少见的严谨度。对任何已经在跑 VLA 的团队，这是今天就能用上的工作。
数据来源：ArXiv 2026-09-11（Fri, 11 Sep）公告批次 · 去重后 381 篇候选，经 586 个历史 ID 与 600 条历史标题双重去重 | 分析生成时间：2026-09-12 06:00 (北京时间)