📅 本期覆盖 Wed, 30 Sep 2026 这一批 arXiv 公告。网页端 listing 各分类当日条数为 cs.CV 284 / cs.RO 134 / cs.AI 506 / cs.LG 465 / cs.GR 12 / cs.MM 11，六种分类去重后共 1085 篇候选，回归平日量级（上一期为 2146 篇的合并批次）。

经全站 722 个历史 arXiv ID 与 834 条历史标题双重去重，dup_id = 0、标题去重同样零命中，说明这批论文与博客已收录内容完全无重叠，是全新批次。8 篇入选论文 v1 日期为 2026-09-27 ~ 09-29，与公告批次一致；Top 32 候选已逐篇核对 Submission history，本批次未发现夹杂旧文。

本期最鲜明的信号是 On-Policy Distillation（OPSD）已从大语言模型全面外溢到视觉与具身领域。候选池里带 OPSD / self-distillation 字样的论文不下十篇（SIPO、PR-OPD、Spatial-OPSD、EGSD、FlowMap-OPD、RS-OPSD、PE-OPSD 等），而入选的 RMD 与 LIFT 分别代表了它在视频生成中的两种用法：前者改造打分粒度以对抗长程误差累积，后者把「稠密特权条件」降级为「稀疏可用条件」。与之呼应，LongLive-Plug 提出了一个更工程化的反方向思路——既然蒸馏要为每个专用模型重复一遍，那就一次蒸馏、处处插拔。三条世界模型主线则不约而同地在问同一个问题：未来到底要不要真的生成出来。

📄 论文精选

Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation

链接： https://arxiv.org/abs/2609.37925

项目主页： https://cjeen.github.io/RMD/

作者 / 机构： Chenjian Gao, Zhihao Hu, Jianqi Ma, Jun Zhang, Weidong Zhang, Tianfan Xue（MMLab, The Chinese University of Hong Kong 香港中文大学 MMLab；Tencent AIPD 腾讯 AIPD）

一句话总结： 港中文 MMLab 与腾讯 AIPD 提出 RMD（Rollout-Marginal Distillation），把分布匹配蒸馏的打分粒度从「整段 rollout 联合打分」改为对每个 chunk 独立打分——保留自回归生成的历史作为条件，却不让历史的伪影污染当前 chunk 的质量监督信号；随后再用 video-level DMD 补回时间一致性。在 5 秒训练视野上训练的模型，可在 60 秒生成上拿到 VBench-Long 总分 81.26，比 Self Forcing（70.94）与 Causal Forcing（69.88）高出 10 分以上。

研究问题： 自回归视频扩散天然支持低延迟的流式生成，但每一步的预测误差都会成为下一步的条件，长 rollout 下会不断累积。自 rollout 训练让生成器直面自己不完美的历史，可这带来一个新的两难：生成视频与真实视频并不配对，没有 ground-truth 续写可以监督，于是普遍用 DMD 补位——但现有 video-level DMD 是对整条序列联合打分的。一个 chunk 与它的过去、未来被放在一起评估时，它的质量修正会为了迁就周围上下文的时间一致性而主动去匹配历史中的伪影。也就是说，本该纠错的目标本身被污染了。

核心方法： ① Rollout-Marginal 目标：预测新 chunk 时照常依赖已生成的历史（保持自回归的因果性），但打分时用 chunk 级教师独立地为当前 chunk 打分，使其质量修正不被退化的时序上下文拖累。② Video-level DMD 精修：独立打分丢掉了时序上下文，因此在第二阶段再用一次 video-level DMD 把时间连贯性补回来。③ 训练细节：以 Wan 14B 视频扩散模型为教师，蒸馏出因果 Wan 1.3B 生成器（从 Causal Forcing 的因果 ODE checkpoint 初始化）；7 万条独特 prompt；训练视野严格固定为 81 帧，训练阶段不做更长 rollout；rollout-marginal 阶段每 1 次生成器更新配 5 次 fake-score 更新，chunk size 为 1 时训练 900 步、为 3 时 750 步；精修阶段再训 800 步。

技术亮点：

  • 把「条件」与「监督」解耦：这是本作最干净的一手——历史仍然用作预测条件，但不再进入打分回路。伪影只能沿条件链传播一次，不能靠监督信号自我强化。
  • 诊断非常具体：作者明确指出 video-level DMD 的 real-score 预测会保留历史伪影（论文 Figure 2 三栏对照），把「长程退化」从玄学变成一个可定位的目标函数缺陷。
  • 训练视野与测试视野的巨大跨度：全文只训练 5 秒，定量评估做 60 秒，Figure 1 的定性示例做到 500 秒（100 倍训练视野），且完全依赖滑动上下文窗口，没有固定锚帧、没有额外显式记忆机制、没有改生成器架构。
  • 零推理开销：与 Self Forcing / Causal Forcing 共享同一套滑动窗口协议，RMD 只改训练目标，推理时计算量完全相同。

实验结果： 在 VBench-Long（944 条标准 prompt、每条生成 5 次，832×480 / 16 FPS，按约 60 秒时长评估）上：chunk size = 1 时，RMD 总分 81.26、质量分 84.52、语义分 68.24，对比 Self Forcing 70.94 / 77.89 / 43.17 与 Causal Forcing 69.88 / 78.34 / 36.03；chunk size = 3 时，RMD 总分 81.48、质量 85.03、语义 67.24，对比 Self Forcing 77.44 与 Causal Forcing 74.88。长程外推实验中，RMD 的质量分从 10 秒的 84.68 到 60 秒的 84.52 几乎不掉，而 Self Forcing 总分从 79.12 掉到 70.94。定性对比显示基线在 20/40/60 秒处出现明显色彩饱和与结构崩塌，RMD 始终保持清晰主体与稳定场景结构。

应用场景： 自动驾驶仿真、交互式与具身世界模型、物理接地的视觉仿真——所有这些需要分钟级甚至更长连续生成、又无法承担 full-history 注意力的场景。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 长程自回归视频生成的退化问题此前多靠「加记忆」「加锚帧」这类外挂结构缓解，RMD 证明了问题的一部分其实出在蒸馏目标本身。改动小、开销为零、收益明确，是很可能被直接继承的做法。

Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation

链接： https://arxiv.org/abs/2609.38172

项目主页： https://prism-real2sim2real.github.io/

作者 / 机构： Zihan Wang, Zhen Wu, Pieter Abbeel, Rocky Duan, Jitendra Malik, Carmelo Sferrazza, C. Karen Liu, Guanya Shi, Angjoo Kanazawa（Amazon FAR；UC Berkeley 加州大学伯克利分校；Carnegie Mellon University 卡内基梅隆大学；Stanford University 斯坦福大学）· CoRL 2026

一句话总结： 由 Amazon FAR、UC Berkeley、CMU 与 Stanford 联合提出的 PRISM，是一个 real-to-sim-to-real 框架：先用 video-to-video 生成把少量真人–物体交互视频放大成数百条多样化的「反事实」交互视频，再通过接触锚定的 real-to-sim 流水线把不完美的生成视频重建成物理上可执行的轨迹，最后蒸馏出单一策略直接部署到真机。在 29 自由度 Unitree G1 上零样本完成取–搬–放，分布内任务成功率 96.25%、分布外 72.92%。

研究问题： 用视觉模仿教人形机器人做搬运这类 loco-manipulation 很有前景，但规模化的数据瓶颈非常现实：要采集到「完整露出人体全身、且人与物体的交互不被遮挡」的高质量交互视频，成本极高。少量示范训练出的策略又严重过拟合到特定物体与特定交互距离，换个没见过的箱子就抓不住、搬不稳。

核心方法： ① 反事实视频生成：从少量真实示范出发，用 V2V 生成数百条同类但物体外形、尺寸、初始位姿各异的交互视频；论文特别指出，仅用 80 条示范的 V2V 扩增就优于 103 条示范的几何扩增。② 接触锚定的 real-to-sim 重建：先重建人体与物体运动，再把这段不完美的视频数据重定向为物理上合理的轨迹；关键是把接触锚点显式引入——物体位姿锚定 + 接触感知重定向。③ 协同跟踪教师策略：把人形–物体交互形式化为 co-tracking 问题，策略同时跟踪人形运动与从单目视频重建出的物体轨迹；观测包含参考运动、本体感知、上一动作与当前/目标物体状态（位姿 + 3D 包围盒尺寸）。④ 接触感知交互奖励：除位姿跟踪、动作速率、关节限位与碰撞惩罚外，额外鼓励末端执行器到达期望接触位置并超过预设接触力阈值，从而在单目重建的噪声下稳住抓取与搬运。

技术亮点：

  • 把视频生成模型当作数据放大器而非教师：PRISM 不要求生成视频物理正确，只要求它提供类内差异；物理合理性由后续的 real-to-sim 环节兜底。这个分工极大降低了对生成质量的要求。
  • 接触锚点是整套流程的支点：消融显示，从基线（SAM3D 初始化 + FoundationPose 跟踪 + OmniRetarget）的 22.50% / 12.50%（ID / OOD）出发，仅加物体位姿锚定就到 58.75% / 29.17%，再加接触感知重定向到 86.25% / 68.75%，最后加接触奖励到 96.25% / 72.92%——三个组件各自贡献清晰且都不小。
  • 真机零样本、无真机微调：策略完全由仿真训练，部署时只用机载 D435i 的深度观测，靠训练期的相机位姿随机化容忍标定误差。
  • 深度 sim-to-real 缺口的工程细节诚实：作者明确提到使用 Fast-FoundationStereo 缩小深度差距，并手动把颈部上仰约 10°；同时也坦承弯腰时颈部偶尔回位导致出现分布外深度观测。

实验结果： 仿真（MuJoCo，sim-to-sim）中重建数据质量消融见上。真机部署在 29-DoF Unitree G1 上以 50 Hz 运行，头部 D435i 以 30 Hz 采集立体图像，每个物体自由摆放 5 次、改变位姿与距离，成功判据为「拿到物体后稳定搬运至少 3 米且不掉落、不摔倒」。分布内：球 80%、箱 93%、桶 93%、盒 100%；分布外（未见过的物体类别）：纸巾 100%、头盔 60%、桌子 100%、背包 100%、台灯 60%、椅子 80%、水壶 80%、小鸡玩偶 60%。全部为 zero-shot，不使用这些物体的扫描或重建结果参与训练。

应用场景： 人形机器人的通用取放与搬运、从互联网规模人类视频中规模化提取操作技能、以及任何「真实示范昂贵但类别内差异重要」的机器人学习任务。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是本期把「视频生成」与「机器人学习」咬合得最紧的一篇：生成模型的角色被精确限定为「提供差异」，而物理可行性交还给重建与仿真。对数据稀缺的具身方向，这条 real-to-sim-to-real 路径的可复制性很强。

LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation

链接： https://arxiv.org/abs/2609.38146

项目主页： https://jsxzs.github.io/LIFT/

作者 / 机构： Shengxiang Ji, Boyang Wang, Haiyang Xu, Bingnan Li, Yucheng Mao, Zeyuan Chen, Xiaojun Shan, Xiang Zhang, Gang Hua, Jianwen Xie, Zezhou Cheng, Zhuowen Tu（UC San Diego 加州大学圣迭戈分校；University of Virginia 弗吉尼亚大学；Meta；Amazon；Lambda）

一句话总结： UCSD 团队提出 LIFT，在相机轨迹控制之外补上一种此前没有的控制维度——Layout-In-FuTure：用户直接指定「未来某一帧（尤其是最后一帧）应该出现什么、出现在哪」。由于从稀疏的末帧布局学习远比从稠密的逐帧布局学习困难，作者引入 on-policy 自蒸馏（OPSD），把稠密布局教师的控制能力迁移给末帧布局学生，仅用 8K 训练样本就在多项指标上超过需要 128K 样本的 SFT 基线。

研究问题： 可控视频生成里有一个很实际的需求：给定首帧，用户不只想指定相机怎么走，还想指定关键未来时刻画面长什么样。现有方法只能覆盖一半——相机控制方法条件化于相机轨迹，决定了视点如何移动；文本提示只提供粗略语义。两者都无法决定未来画面的内容与空间布局。这个缺陷在大视角变化下尤其致命：相机转到首帧里根本看不见的区域时，那里「该有什么」完全由模型自由发挥。

核心方法： ① 末帧布局作为显式控制信号：用带局部文本提示的包围盒指定末帧的语义与空间构成，支持两种推理模式——仅相机轨迹的 single mode，以及叠加末帧布局的 dual mode。② LIFT-Vista 数据集：从 RealEstate10K、Sekai-HQ、SpatialVID-HQ 中筛选「未来区域大量揭示」的片段（按平移距离、FoV 扩张与内容变化量挑选），并产出时间一致的相机轨迹与布局标注。③ 双模 OPSD：以稠密时空布局作为特权信息训练教师，再把能力蒸馏给一个共享学生，该学生同时学习 single-condition 与 dual-condition 两种模式——因为稠密布局本身也 captured 相机运动引起的场景演化，两种控制可以互相强化。

技术亮点：

  • 把「控制稀疏性」变成一个可蒸馏的 gap：稠密布局（教师）与末帧布局（学生）本质是同一信号的不同密度，OPSD 恰好是把特权条件降级为可用条件的标准工具，这个移植非常自然。
  • 样本效率差距惊人：直接末帧 SFT 与 dense-to-sparse 课程 SFT 各需 128K 训练样本，OPSD 只用 500 步 × batch 16 = 8K 样本即全面胜出（FVD 99.35 vs 114.03 / 110.53，mIoU 0.51 vs 0.44 / 0.47）。
  • 双模训练是双向增益的：消融显示双模 OPSD 在两个模式下都优于各自的单模版本——末帧布局模式 FVD 99.35（单模 102.07），相机模式 FVD 95.66（单模 105.22）。
  • SFT 锚点不可省：去掉 SFT anchor 后 FVD 掉到 129.14、FID 17.16，说明纯 OPSD 仍需一个监督起点。
  • 数据筛选标准清晰可复用：「未来区域揭示量」这个筛选维度此前没有专门的数据集照顾，LIFT-Vista 填补了空白。

实验结果： 消融表（LIFT-Vista 测试集）显示：Ours（双模 OPSD，8K 样本）在末帧布局模式下 FVD 99.35 / FID 12.84 / LPIPS 0.42 / RotErr 2.97 / TransErr 0.59 / mIoU 0.51 / SR_e 0.59 / CLIP_local 0.24；对比直接末帧 SFT（128K 样本）的 114.03 / 12.96 / 0.43 / 2.98 / 0.56 / 0.44 / 0.56 / 0.23，以及 D2S-SFT 的 110.53 / 12.99 / 0.42 / 3.02 / 0.51 / 0.47 / 0.59 / 0.23。相机模式下 Ours 达 FVD 95.66 / RotErr 3.30，优于相机单模的 105.22 / 3.03。稠密布局教师的参考值为 FVD 123.50 / mIoU 0.60，蒸馏后的学生已明显超越教师。论文结论为在视频质量、未来布局可控性与相机可控性三方面均优于其他方法。

应用场景： 影视与广告的分镜预览、需要精确构图的创意工具、虚拟勘景与建筑漫游，以及作为世界模型的控制接口（先指定「未来该看到什么」再反推动作）。

研究价值： ⭐⭐⭐⭐（4/5）— 「未来布局」是一个此前被忽略、但用户直觉上很需要的控制维度。OPSD 在这里的用法（把稠密特权条件压缩成稀疏可用条件）具有很强的迁移性，值得关注其在相机轨迹、音频、触觉等其他条件模态上的推广。

LongLive-Plug: Once-for-All Distillation for Video Generation

链接： https://arxiv.org/abs/2609.38154

代码： https://github.com/NVlabs/LongLive

作者 / 机构： Shuai Yang, Luozhou Wang, Wei Huang, ZhiFei Chen, Bohan Zhang, Xiao Fu, Qianli Ma, Chen-Hsuan Lin, Weian Mao, Bryan Chu, Song Han, Yukang Chen（NVIDIA；据其官方代码仓库 NVlabs/LongLive，本工作属 NVIDIA 的长视频生成研究线）

一句话总结： NVIDIA 团队提出 LongLive-Plug，一个 once-for-all（一次蒸馏、处处复用）的视频生成蒸馏框架：把「单步 CFG」「少步采样」「自回归长程纠错」三种能力蒸馏成基座模型上的 LoRA 适配器，之后无需任何再训练即可即插即用部署到兼容的下游模型上——即使下游模型新增了条件分支或扩展了输出通道也能复用。已在 3 个骨干家族、8 类任务、54 个下游模型上验证免训练部署。

研究问题： 视频扩散模型正被大量定制成面向各种下游任务的专用模型，而这些定制流程几乎都包含一个蒸馏阶段（加速采样或改善长视频生成）。问题在于：这个蒸馏阶段必须为每个专用模型重复一遍。下游模型数量爆炸（世界模型、机器人、编辑、多模态生成……）时，重复蒸馏的成本成为主要瓶颈。更麻烦的是，蒸馏得到的 LoRA 通常绑定在特定结构上，下游一旦加了个 ControlNet 分支或改了通道数就失效。

核心方法： ① 在基座模型上把三种能力分别蒸馏为独立 LoRA：single-pass classifier-free guidance（单步 CFG）、few-step sampling（少步采样）、long-context error correction（长程纠错）。② 专用 CFG LoRA：尽管只在固定 guidance scale 下训练，却可通过推理时的 LoRA 权重提供文本引导强度控制，从而与少步 LoRA 组合使用时同时保住少步生成与 CFG 可控性。③ 适配器的结构鲁棒性：即使下游模型新增条件分支、扩展输出通道，适配器仍可复用。

技术亮点：

  • 把「能力」而非「模型」作为蒸馏对象：这是与以往 per-target 蒸馏最本质的区别。每个骨干家族只需蒸馏一次，之后所有兼容后代模型都免费获得该能力。
  • CFG 可控性通过 LoRA 权重实现：固定 guidance 训练却保留可调引导强度，是一个很实用的小设计，避开了「蒸馏后 CFG 失效」的常见抱怨。
  • 跨模型的迁移实验做得扎实：不只在同源小改动上验证，而是直接在 ReWorld 与 Matrix-Game 3.0 这类差异很大的下游模型上做免训练迁移。
  • 作者明确列出了适用边界（§5 Discussion）：复用要求下游必须是同一基座的后代；长程迁移要求下游本身支持因果自回归推理（LoRA 更新无法改变注意力 mask）；迁移质量存在任务相关的权衡；CFG LoRA 权重提供的是近似引导控制，迁移后可能需要再调整。这种诚实的边界说明在工程中很值钱。

实验结果： 迁移到 ReWorld（训练窗口约 8 秒）时，在 16–64 秒范围内比较 24 步原生推理与 4 步 +Long：64 秒处七维均值从 73.51 提升到 75.77，视觉质量与时序分数改善（背景一致性略降），且在所有测试长度上都超过基座模型，最长达训练时长的 8 倍。迁移到 Matrix-Game 3.0 时，在 62.18 秒处比较 50 步原生推理（83.73）、官方三步专用蒸馏（84.30）与 4 步 +Long（84.34）——无需在 Matrix-Game 上做任何训练，即与任务专用蒸馏持平（各指标存在权衡）。整体在 54 个下游模型上验证了免训练部署。

应用场景： 需要为每个定制模型反复做加速蒸馏的工业流水线、世界模型与机器人策略的快速部署、以及 LoRA 生态中「能力即插件」的分发模式。

研究价值： ⭐⭐⭐⭐（4/5）— 这是一篇典型的「把重复劳动一次性化」的工程研究，学术新意中等但实用价值很高。对任何维护视频生成模型家族的团队来说，它提供了一条清晰的降本路径；对学术界，它提示「蒸馏的复用性」本身是一个值得系统研究的问题。

One from Infinity: Actualizing Futures from Pretrained World Models into Robot Actions

链接： https://arxiv.org/abs/2609.36413

项目主页： https://zhao-sq.github.io/RoboActualizer/

作者 / 机构： Bang Du, Yichen Xie, Shuqi Zhao, Yuxin Chen, Menglin Wu, Masayoshi Tomizuka（University of California, Berkeley 加州大学伯克利分校；Southern University of Science and Technology 南方科技大学；Xi’an Jiaotong University 西安交通大学）

一句话总结： UC Berkeley 团队提出 RoboActualizer，挑战了「把世界模型变成机器人策略就必须用大规模机器人数据微调沉重骨干」这一现状：世界模型预训练已经付过昂贵的代价了，它的表征空间里已经铺开了多样的潜在未来，剩下的只是「选出能完成任务的那一个」并「读出实现它的动作」。作者把这个任务形式化为 actualization，用 60M 参数的极小程序在冻结的世界模型编码器之上实现，LIBERO 整体成功率 98.0%、推理延迟 39.9 ms。

研究问题： 一个预训练视频世界模型对同一个场景会承认许多种合理的未来，但机器人必须实现任务指定的那一个。现有 WAM / VLA 的做法是：用大规模机器人数据与算力微调沉重的世界模型骨干。这个代价高得让大多数团队无法承受，也无形中把世界模型的价值锁死在少数大厂手里。

核心方法： ① Actualization 形式化：把任务定义为在冻结世界模型提供的先验之上，学习「任务条件的选择与实现」，可交给一个极小的 actualizer 模型解决。② RoboActualizer 结构：以预训练 **V-JEPA 2.1（ViT-L/16, 300M）**作为冻结的视频世界模型编码器，actualizer 用一个 **DiT-S（60M）**实现，对每个基准随机初始化、不做任何额外预训练。③ 双轻量 DiT 专家联合以 flow matching 预测未来潜变量与动作。④ 训练成本极低：单卡训练，峰值显存 32 GB。⑤ 观测配置：主相机与腕部相机图像（256×256 渲染、缩放至 224×224 后横向拼接为 224×448）、语言指令离线编码为 128 token、8 维本体感知；动作为 7 维（6 维 OSC 位姿增量 + 1 维夹爪），动作块长 16 或 32。

技术亮点：

  • 把「预训练已付过费」这个直觉变成了可操作的方法：这是本作最有价值的观点。世界模型的价值不在它的生成头，而在它的表征空间的拓扑结构——未来已经在那里排好了，你需要的是选与读，不是重造。
  • 参数量与延迟的对比极具冲击力：60M 可训练参数、39.9 ms 延迟，对比 π0.5（3.3B / 128.5 ms，96.9%）、UniVLA（123M / 157.3 ms，95.2%）、Fast-WAM（6.0B / 111.7 ms，97.6%）、Motus（5.9B / 2230.0 ms，97.7%）——RoboActualizer 用 1/100 的参数拿到了最高的 98.0% 和最低的延迟。
  • 数据效率：RoboTwin 2.0 每任务仅 50 条示范时达 58.8%，远超 Fast-WAM 41.9%、π0.5 31.4%、LingBot-VA 17.2%。作者归因于模型小、不易过拟合。
  • 分布外鲁棒性：LIBERO-Plus 上 63.1%，优于 DC-WAM（6.00B）60.9%、Fast-WAM 51.5%、π0-Fast 61.6%。
  • 真机覆盖两类本体：G1 人形配 Unitree Dex3-1 灵巧手做双臂操作，FANUC CRX-i10 机械臂配夹爪做单臂操作，五个真机任务。

实验结果： LIBERO（四套件各 10 任务 × 50 次试验 = 2000 episode/checkpoint）：Spatial 98.4 / Object 100.0 / Goal 96.6 / Long 96.8 / Overall 98.0，延迟 39.9 ms。LIBERO-Plus（七类扰动）：相机 37.6 / 机器人 51.1 / 语言 68.6 / 光照 85.1 / 背景 60.4 / 噪声 54.5 / 布局 60.9 / Overall 63.1。RoboTwin 2.0（50 条示范/任务）：58.8。真实平台为 G1 人形（Dex3-1 手、头部 RealSense、下肢固定，每任务约 170 条示范）与 FANUC CRX-i10（两个第三人称相机 + 一个手内相机）。全部为闭环评估，不使用评估期调参、动作集成或测试时增强。

应用场景： 算力受限的机器人实验室复用开源世界模型、需要实时控制（<50 ms）的闭环操作、以及跨本体快速迁移（换本体只需重训 60M 的 actualizer）。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是一篇有可能改变 WAM 研究经济性的工作：它把「用世界模型做机器人」的门槛从「微调几十亿参数」降到「训练六千万参数 + 单卡」。对资源有限的研究组而言，这条路线的普惠意义甚至超过其性能指标本身。

What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling

链接： https://arxiv.org/abs/2609.34981

项目主页： https://zrporz.github.io/Simple-WAM-Web/

作者 / 机构： Renping Zhou, Zanlin Ni, Zihao Fan, Guohao Fu, Zeyu Liu, Hao Shi, Jie Zhang, Chi Bene Chen, Yang Yue, Xueyang Fu, Gao Huang（Leap Lab, Tsinghua University 清华大学 Leap Lab；University of Science and Technology of China 中国科学技术大学；Beijing Institute of Technology 北京理工大学）

一句话总结： 清华 Leap Lab 团队对 World Action Models（WAM）在推理时到底要不要生成未来这一争议做了系统实证研究：潜变量 WAM（推理时丢弃未来生成以提速）虽然在分布内任务上与显式 WAM 持平，却丢掉了 WAM 最初被寄予厚望的泛化收益。作者发现收益几乎全部来自第一个去噪步——好处在于「准备未来」而非「生成未来」，据此提出 Simple-WAM：把未来建模简化为对全噪声视频 token 的一次前向，LIBERO-Plus 达 79.5%，同时保有接近潜变量 WAM 的效率。

研究问题： WAM 在训练时同时预测未来与动作。由于视频去噪计算昂贵，推理时是否仍需生成未来一直有争议：显式 WAM 每出一个动作块就把未来去噪成干净帧，潜变量 WAM 则完全丢弃它以加速。这个 trade-off 通常只在分布内指标上比较，而 WAM 的核心卖点——泛化——从未被单独拿出来检验。

核心方法： ① 三条泛化轴的系统评测：环境扰动（LIBERO-Plus 七类扰动）、数据效率（每任务示范数降到 10 与 5）、任务泛化（对任务套件做四折交叉验证，并区分「有无该任务的无动作视频」两种设定）。关键控制：骨干、训练数据与训练预算全部匹配。② 归因分析：定位到泛化差距几乎完全来自第一个去噪步。③ Simple-WAM：把未来建模简化为对完全加噪的视频 token 做一次前向，并相应调整训练时的噪声调度以匹配这一推理行为。

技术亮点：

  • 结论反直觉且可操作：「收益来自准备未来，而非生成未来」——这直接解释了为什么潜变量 WAM 会失效（它连准备都省了），也指了一条低成本的折中路径。
  • 对照设计严格：显式/潜变量 WAM 用匹配骨干与预算对比，还专门区分了是否使用无动作视频（VLA 无法从中获得训练信号，故 π0.5 等 VLA 的「w/ vid」列只是重复「w/o vid」）。
  • 把潜变量 WAM 的失效暴露得很彻底：FastWAM（潜变量）在 LIBERO 任务泛化 w/ video 上仅 5.9%，而其显式版本 FastWAM-Joint 达 69.9%；LIBERO-Plus 上 53.8% vs 67.7%。
  • Simple-WAM 在不做大规模具身预训练的前提下接近甚至超过带预训练的模型：LIBERO-Plus 79.5% 超过 Lingbot-VA（70.5，带具身预训练）与 FastWAM-Joint（67.7），逼近 π0.5（84.4，带大规模具身预训练）。
  • 论文标题即研究问题，没有过度承诺——作为一篇实证研究，其贡献定位清晰。

实验结果： LIBERO-Plus 七类扰动（Init. / Cam. / Lang. / Noise / Bg. / Lay. / Light）：Simple-WAM 82.1 / 55.6 / 96.2 / 74.2 / 72.9 / 83.4 / 95.8，均值 79.5；对比显式 FastWAM-Joint 67.7、Lingbot-VA 70.5、潜变量 FastWAM 53.8、VLA-Adapter 59.0，以及带具身预训练的 π0.5 84.4。数据效率：LIBERO 5-shot 92.4、10-shot 97.2（均超过 FastWAM-Joint 的 91.5 / 97.0 与 π0.5 的 87.5 / 91.5）；RoboTwin 2.0 10-shot 37.2（超过 FastWAM-Joint 35.0 与 π0.5 33.9）。任务泛化（w/ video）：LIBERO 73.6 超过 Lingbot-VA 71.1 与 FastWAM-Joint 69.9；RoboTwin 44.5（FastWAM-Joint 47.3 略高）。训练配置：AdamW，BF16，LIBERO 20k 步 / batch 128，RoboTwin 与真机 30k 步。

应用场景： WAM 架构选型、需要在有限算力下保留泛化能力的机器人策略训练、以及「是否值得为未来生成付出推理开销」这一决策的量化依据。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 在 WAM 快速膨胀的当口，这是一篇罕见的、把「效率—泛化」权衡讲清楚的实证研究。它不提出新架构，但很可能直接影响后续 WAM 的标准设计：既然只需第一个去噪步，那么大量推理预算可以被省下来。

Honeycomb: Constant-Size Scene Memory Representation for Video World Models

链接： https://arxiv.org/abs/2609.37690

项目主页： https://jackswl.github.io/honeycomb/ ｜ 代码： https://github.com/kaichen-z/honeycomb

作者 / 机构： Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, Yufeng Weng, Keane Ong, Ruojin Cai, Hang Hua, Justin K. W. Yeoh, Mengyu Wang（Harvard University 哈佛大学；National University of Singapore 新加坡国立大学；MIT 麻省理工学院；MIT-IBM Watson AI Lab）

一句话总结： 哈佛、新加坡国立与 MIT 联合提出 Honeycomb，一个建立在 HexMemory 之上的视频世界模型：把场景特征存进固定尺寸的六个空间与时空平面（三空间 + 三时空），随着空间覆盖或时间范围扩张，对已有平面做变形（warp）而非扩容，再通过置信度加权池化与学习到的残差校正融合新特征。因此存储需求在整个生成过程中保持常数，同时在 WorldScore 上以 65.52 的平均分领先所有对比方法。

研究问题： 视频世界模型需要持久的场景记忆来维持长程生成的一致性。但现有空间记忆系统通过累积 RGB 观测或潜特征来工作，存储需求随生成推进线性增长。基于关键帧的方法通过保留选定的历史帧来控制规模，却可能丢掉后续生成真正需要的信息——这本质上是一个「保留什么」的启发式问题，而非「如何表示」的表示学习问题。

核心方法： ① HexMemory：固定尺寸的低秩记忆，由三个空间平面（XY / XZ / YZ，分别对应正视、俯视、侧视）与三个时空平面构成。② 前馈式写入器：把每个新生成的视频 chunk 映射到平面特征；只处理最新 chunk 的观测，因此不需要 per-scene 优化、也不需要重复处理整段生成历史。③ 变形 + 融合：空间覆盖或时间范围扩大时，对已有平面做 warp 以适配更大的坐标范围而保持维度不变，再用置信度加权池化与学习到的残差校正整合新特征。④ 读取器：从 HexMemory 检索潜特征以条件化后续生成。

技术亮点：

  • 用「变形」替代「扩容」是核心洞见：记忆平面像一张可伸缩的坐标纸——坐标系随探索范围拉伸，格子数不变。这让常数存储与任意大的覆盖范围可以兼得。
  • 前馈写入避免了 per-scene 优化：此前许多 3D cache 方法需要针对场景做优化，无法流式扩展；Honeycomb 每个 chunk 只做一次前馈。
  • 置信度加权池化 + 残差校正：既处理了新观测与旧记忆的可靠性差异，又给了模型一个修正系统偏差的通道。
  • 记忆可视化很有说服力：论文 Figure 6 展示了初始化到多次更新后的平面特征（按 ℓ2 范数着色，置信度可忽略的格子留白），走廊布局与上升楼梯在特征图中清晰可见，先前观察过的结构在新区域加入后依然可见。
  • 代码与额外可视化均已开源。

实验结果： WorldScore 上，Honeycomb 平均 65.52（静态 68.01 / 动态 63.03），优于 Spatia 63.21、WonderWorld 61.79、LSM-World 61.20、WonderJourney 54.19，以及通用视频模型 Wan2.1 55.21、Allegro 53.64、EasyAnimate 52.25、VideoCrafter2 50.03；3D 一致性 82.29、照片一致性 85.76、风格一致性 84.21（风格一项低于 WonderWorld 85.56）。RealEstate10K 新视角合成：PSNR 18.45 / SSIM 0.674 / LPIPS 0.274，优于 LSM-World（17.46 / 0.636 / 0.452）与 Spatia（15.58 / 0.616 / 0.390）。WorldScore 闭环设置：PSNR_C 17.22 / SSIM_C 0.504 / LPIPS_C 0.311 / Flow_C 3.00，光流误差远低于 Spatia（6.64）与 Voyager（7.11）。

应用场景： 需要长时间保持场景一致的长程视频世界模型、开放世界探索与导航、以及任何受限于记忆存储增长的具身仿真。

研究价值： ⭐⭐⭐⭐（4/5）— 记忆的「尺寸」问题此前多靠启发式的关键帧选择缓解，HexMemory 用固定的低秩平面 + 坐标变形给出了一个干净的表示学习答案。它与本期 RMD 的滑动窗口路线形成有趣对照：一个是「不存历史但让监督不被污染」，一个是「存历史但让存储不增长」。

Disentangling Spurious Correlations in Vision-Language-Action Models via Predicting Domain-Invariant Latent Lookahead

链接： https://arxiv.org/abs/2609.37165

项目主页： https://dill-vla.github.io/

作者 / 机构： Junghyun Kim, Ngseo Kim, ChungWoo Lee, Seoyeon Lee, Woo-Jeong Baek, Adam Zhou, Chip Huyen, Jun-Ki Lee, Gi-Cheon Kang, Byoung-Tak Zhang（OpenMind, San Francisco；Seoul National University 首尔大学；Hyundai Motors 现代汽车；Ajou University 亚洲大学；Tommoro Robotics）· CoRL 2026

一句话总结： 首尔大学与 OpenMind 团队提出 DILL（Domain-Invariant Latent Lookahead），用从域变换轨迹数据中学到的域不变未来潜变量来监督 VLA 策略，从而缓解捷径学习：任务—域编码器在对比目标与高斯解耦正则下把任务相关结构与域相关视觉变化分离，再以「预测未来潜变量」的方式为策略提供监督。LIBERO-Plus 零-shot 平均 69.1%（比最强外部基线高 11.4 个百分点），真机反事实指令跟随从 29.7% 提升到 80.2%、捷径执行率从 47.2% 降到零。

研究问题： VLA 模型在视觉分布偏移下依然脆弱，往往依赖的是与域特定因素（视角、背景、光照、传感器噪声）绑定的虚假相关，而非任务相关的结构。更麻烦的是，这种脆弱性在常规分布内评测中看不出来——模型在原始测试集上分数很高，一换相机或加噪声就崩。

核心方法： ① 任务—域编码器（Task-Domain Encoder）：以对比目标 + 高斯解耦正则训练，把任务相关结构与域特定视觉变化分离。② 域不变未来潜变量监督：从域变换的轨迹数据中学习，用学到的编码器为 VLA 策略学习提供未来潜变量，通过 lookahead 预测与域解耦两项损失，鼓励策略关注任务相关结构。③ 反事实评测协议：真机上人为在训练数据中制造「目标颜色—相机视角」的完美相关（红色目标的指令只与左视角配对，蓝色只与右视角配对），测试时反转这一配対。指令与期望操作不变，只有配对关系变化——从而把「视角」变成一个不可靠线索。④ SD（shortcut degree）指标：衡量策略执行「训练时与该视角关联的目标」的比例，刻画的是一种特定的任务替换失败，而非全部失败。

技术亮点：

  • 评测协议比方法更值得学习：LIBERO-Plus 的零-shot 设定（训练只用原始 LIBERO 图像，从不使用扰动图像）与真机的反事实配对反转，都是能真正暴露捷径依赖的设计。
  • 「优势不是靠分布内分数堆出来的」：OpenVLA-OFT 与 UniVLA 在原始 LIBERO 上反而更高，但扰动下的平均跌幅分别为 37.6 与 52.3 个百分点，DILL 只有 12.5。这个对照比绝对分数更能说明问题。
  • 最大优势出现在最难的维度：相机变化 68.4%、传感器噪声 68.7%，而所有外部基线在这两项上分别低于 11% 与 50%。
  • 消融把「未来预测」与「域不变性」的贡献分开了：DILL-Current（不做未来预测）也能拿到 83.3% 且无捷径执行，说明域不变监督本身即可抑制该失败模式；而在未扰动成功率同为 88.9% 时，DILL 在预定义扰动与新扰动上分别比 DILL-Current 高 5.6 与 4.8 个百分点——新扰动并未参与编码器配对构造，说明 lookahead 的鲁棒性收益可以外推到未见的变换族。
  • 控制了「数据增强 alone」这一混淆项：用 DILL 的增强数据但保留行为克隆目标训练 Base VLA + SA，其在原始 LIBERO 上几乎追平 DILL（82.x），但扰动下表现明显更差。

实验结果： LIBERO-Plus 零-shot 四类视觉扰动平均 69.1%，超过最强外部基线 OpenVLA-OFT 11.4 个百分点；四类分别为相机 68.4%、传感器噪声 68.7%、背景与光照 68.4–70.0%。真机（6-DoF UR5e + Robotiq 二指夹爪，Intel RealSense D435i 640×480，每任务 50 条示范，编码器冻结、不使用真机配对数据微调）：反事实指令跟随成功率从 Base VLA 的 29.7% 提升到 80.2%，捷径执行率从 47.2% 降至 0；DILL-Current 为 83.3% 且无捷径执行。局限：未覆盖初始状态偏差、物体布局、语言模板、任务频率等可能的虚假相关来源。

应用场景： 需要在视觉条件变化下稳定运行的家用与工业机器人、跨相机与跨环境的策略迁移、以及 VLA 鲁棒性的标准化评测。

研究价值： ⭐⭐⭐⭐（4/5）— 方法本身并不复杂，但论文对「如何证明一个 VLA 真的不再依赖捷径」给出了完整的方法论（反事实协议 + SD 指标 + 数据增强对照）。这套评测设计对后续 VLA 鲁棒性研究的参考价值可能高于 DILL 这一具体方法。

📊 今日研究趋势

一、On-Policy 蒸馏正在从 LLM 外溢为视觉与具身的通用工具。 本期候选池中带 OPSD / self-distillation 字样的论文不下十篇，且已明显分成三个流派：一是改造蒸馏目标以适配视觉特有的问题（RMD 把打分粒度从整段降到 chunk，专治自回归长程误差累积）；二是用 OPSD 做条件降级（LIFT 把稠密布局教师的能力迁移给稀疏末帧布局学生，样本效率提升 16 倍）；三是把蒸馏产物当作可复用资产（LongLive-Plug 一次蒸馏成 LoRA，54 个下游模型免训练复用）。值得注意的是，这三篇分别把 OPSD 当作「纠错机制」「知识迁移机制」与「能力封装机制」——同一个工具在视觉领域的分化已经开始了。

二、世界模型的争论焦点从「生成什么」转向「要不要生成」。 RoboActualizer 与 Simple-WAM 从两个完全不同的角度给出了同一个方向上的答案。前者说：世界模型预训练已经把未来排布在表征空间里了，你需要的不是重新训练它，而是一个 60M 的「选择与读出」模块（98.0% / 39.9 ms）。后者更锐利：泛化收益几乎全部来自第一个去噪步，所以「准备未来」就够了，「生成未来」是浪费。这两篇合起来动摇了一个默认假设——WAM 必须推理时去噪。如果这一判断被广泛验证，WAM 的推理预算将被大幅压缩。

三、记忆与一致性的两条技术路线正面相遇。 Honeycomb 代表的路线是「存，但让存储不增长」：固定尺寸的六平面 HexMemory，靠坐标变形吸收不断扩张的覆盖范围，WorldScore 65.52 领先所有对比方法。而 RMD 代表的路线是「不存，但让监督不被污染」：只用滑动窗口，靠把打分粒度降到 chunk 级别来切断伪影的自我强化。有趣的是两者都实现了「60 秒级的一致性」，代价却完全不同——前者付出一个前馈写入器与一套 warp/融合机制，后者付出两阶段训练。哪条路线在更长 horizon 下胜出，值得持续观察。

四、VLA 的研究重心正从「刷分布内分数」转向「证明鲁棒性来源」。 DILL 的绝对分数（69.1%）并不惊人，但它把评测做成了可以归因的形式：扰动下的跌幅（12.5 vs 37.6 / 52.3 个百分点）、反事实协议下的捷径执行率（47.2% → 0）、以及「数据增强 alone」的对照实验。这种「先构造一个能让捷径失效的测试集，再证明方法确实打了捷径」的写法，正在成为 VLA 鲁棒性研究的标准范式——比再刷高一个点的 LIBERO 分数有意义得多。

🏆 最值得关注的 3 篇

  1. One from Infinity（RoboActualizer） — 60M 参数、单卡 32 GB、39.9 ms 延迟、LIBERO 98.0%，且完全冻结世界模型骨干。它把「用世界模型做机器人」从大厂专属变成了个人实验室可负担的事情，普惠意义可能大于指标意义。
  2. What Makes World Action Models Generalize? — 在 WAM 架构选型混沌的当口给出一条清晰的实证结论：泛化收益几乎全部来自第一个去噪步。这直接质疑了「推理时必须把未来去噪成干净帧」的高成本设计，很可能改写后续 WAM 的标准配置。
  3. PRISM — 把视频生成模型的角色精确定位为「提供类内差异的数据放大器」，而非要求它物理正确；再用接触锚定的 real-to-sim 兜底。消融中三个组件各贡献 30+ 个百分点、真机零样本跨 12 类物体，是 video-gen-for-robot 这条路上目前最完整的一份工程答卷。

数据来源：ArXiv 2026-09-30（Wed, 30 Sep 2026 公告批次，各分类 cs.CV 284 / cs.RO 134 / cs.AI 506 / cs.LG 465 / cs.GR 12 / cs.MM 11，去重后 1085 篇） | 交叉验证：Hugging Face Daily Papers 2026-09-30 | 分析生成时间：2026-10-01 06:00 (北京时间)