📅 今天是 2026-10-03（周六），arXiv 周末不做公告。网页端 listing 各分类最新仍为 Fri, 2 Oct 2026，当日条数 cs.CV 215 / cs.RO 107 / cs.AI 381 / cs.LG 430 / cs.GR 14 / cs.MM 8，与上一期一字不差；ID 前沿探测显示 2610.02205 存在（v1 为 10-01），而 2610.03000 / 2610.03500 全部 404；Hugging Face 的 10-03 日报接口亦返回日期超限 —— 多方取证确认无新公告批次，因此本期出「周末补遗」，继续从 10-02 批次（去重后 886 篇）取稿。

经全站 738 个历史 arXiv ID 与 746 条历史标题双重去重，dup_id = 8 —— 恰好等于上一期从该批次收录的 8 篇，自检锚点完全吻合；标题去重零命中。Top 22 候选逐篇核对 Submission history，v1 均为 2026-09-29 ~ 10-01，与公告批次一致，无旧文需剔除。

本期八篇里有一条很清楚的暗线：世界模型的训练信号正在从「重建得好」转向「结构对得上」。CF-JEPA 用可控性分解把潜空间劈成两半，等于在架构层面声明「哪些东西我根本不打算学」；Latent-Foresight 干脆放弃两段式流水线，让 tokenizer 与动力学模型一起训，把「可预测性」写进表征本身；FutureWorlds 与 CtrlWAM 则分别用「候选未来的相对质量」和「真执行扰动动作后的视觉后果」替代了单一的重建损失。另一端的 SkeleWAM 与 ATI-VLA 在问同一个问题的两个版本：预测式建模到底该给动作头喂什么——前者答「一个稀疏三维骨架」，后者答「先对齐再按动作目标自适应注入」。

📄 论文精选

CF-JEPA: Improving Robustness of JEPA World Models via Controllability Factorization

链接： https://arxiv.org/abs/2610.00727

项目主页： https://morganbyrd03.github.io/cf-jepa/

作者 / 机构： Morgan Byrd, Robert Wright, Sehoon Ha（Georgia Tech Research Institute 佐治亚理工研究所；Georgia Institute of Technology 佐治亚理工学院）

一句话总结： 佐治亚理工团队提出 CF-JEPA（Controllability Factorized JEPA），把 JEPA 式潜世界模型的潜空间显式拆成可控子空间与不可控子空间两块：训练时让全部干扰（distractor）信息都落进不可控区，只把与控制相关的那部分潜变量交给下游任务。名义条件下与基线持平，而在密集视觉干扰下，CF-JEPA 是唯一不发生潜变量坍缩的模型。

研究问题： 用视觉控制智能体，核心能力是把「有用信息」与「无关背景」分开。JEPA 式潜世界模型看起来天然适合这件事——它不做像素级重建，理论上不该被无关细节牵着走。但事实并非如此：这类模型对干扰信号依然敏感，而且会发生潜变量坍缩（latent collapse），一旦画面里塞满无关物体，学到的表征就整个塌掉，任务性能随之崩盘。

核心方法： ① 可控性分解：把潜表示按「是否受智能体动作影响」切分为可控子空间与不可控子空间。② 干扰信息引流：训练目标刻意把任务无关的背景信号全部赶到不可控区。③ 控制相关潜变量专用：下游控制任务只消费可控子空间的那部分信息，从机制上切断干扰通路。④ 在 2D / 3D 控制任务与一个仿真机器人任务上，分别在名义条件与多种干扰强度下做系统评测。

技术亮点：

  • 把「抗干扰」从训练技巧变成架构约束：不是靠数据增强或正则让模型学会忽略背景，而是在潜空间划出一块专门收纳背景的地方，控制通路在物理上就不经过它。
  • 坍缩问题的正面解决：论文明确报告，在全部测试配置中 CF-JEPA 均未发生潜变量坍缩，而这是 JEPA 系列此前最致命的失效模式。
  • 退化是渐进的而非断崖式的：随干扰数量增加，性能平缓下滑而非突然崩溃（详见实验结果），这种可预期的退化曲线对实际部署远比「名义最优 + 一碰就塌」更有价值。

实验结果： 在 PushT 上，当干扰物体数从 N=2 增到 N=64 时，对照方法 SMWM 的成功率从 0.86 跌到 0.27，而 CF-JEPA 只是从 0.87 平缓降到 0.57；在 TwoRoom 上，SMWM 从 N=2 的 0.98 掉到 N=32 的 0.46，CF-JEPA 仅从 0.95 降到 0.82。论文指出 SMWM 的高方差本身就是「部分种子缓慢退化、另一部分直接坍缩」的混合结果。唯一的例外是 OGBench Cube：该任务上 SMWM 即便在 N=128 的极密集干扰下也不坍缩、仍能维持 0.73，CF-JEPA 在 N=64 时为 0.73、N=128 时为 0.70，两者基本持平。名义条件下 CF-JEPA 与基线性能相当（如 TwoRoom N=8 时 1.00 对 0.97）。

应用场景： 背景杂乱的真实场景视觉控制（家庭、仓储、室外）、画面中存在大量与任务无关动态物体时的机器人策略、以及任何对「表征不能塌」有硬性要求的具身智能部署。

研究价值： ⭐⭐⭐⭐（4/5）— 潜变量坍缩是 JEPA 类世界模型走向实用的最大拦路虎，这篇用「可控性分解」给了一个概念干净、验证充分的解法，而且明确给出了失效边界（OGBench Cube 上收益消失）。对做潜世界模型与表征学习的读者，这是一篇值得精读的结构性工作。

FutureWorlds: Learning Robotic World Models from Alternative Futures

链接： https://arxiv.org/abs/2610.01019

代码： https://github.com/Alexander-wu/FutureWorlds

作者 / 机构： Hao Wu, Shengju Qian, Weiyan Wang, Fan Xu, Fan Zhang, Yuanpeng He, Qingsong Wen, Yuxuan Liang（HKUST (GZ) 香港科技大学（广州）；CUHK 香港中文大学；Tencent 腾讯；USTC 中国科学技术大学；PKU 北京大学；Squirrel Ai Learning 松鼠 Ai）

一句话总结： 港科大（广州）、港中文、腾讯、中科大与北大等团队提出 FutureWorlds，一个把「候选构建—历史维护—相对质量学习」打通的机器人世界模型框架：在强化学习阶段用多样化 beam search 造出兼顾置信度与多样性的候选未来，为每个候选维护有界的专属记忆以保证生成与打分看到的历史严格一致，再用 MemSPO（Memory-Conditioned Search-Guided Policy Optimization） 把视频轨迹奖励转成组相对优势来优化世界模型。在 RT-1、BridgeV2、RoboCasa 上，32 帧预测的 LPIPS 相对各自最强基线分别降低 14.78% / 20.84% / 9.12%。

研究问题： 机器人世界模型按动作条件预测未来画面，本该是理解动作后果的基础设施。但把「多个备选预测」真正变成可用的学习信号一直很难：候选之间太相似就没法比较出有意义的质量差异，而一旦轨迹明显分岔，又必须为每个候选各自维护完整历史，否则打分时看到的历史与生成时的历史对不上。这两个困难合在一起，让「从替代未来中学习」长期停留在概念层面。

核心方法： ① 多样化 beam search 构候选：维护 G 个搜索组、每组 b 条 beam，打分在 log 概率基础上减去一个「与前面各组在同一位置已选 token 的归一化频率」的多样性惩罚项；该惩罚只影响选择、不改策略概率。② 候选专属有界记忆：每个候选保留自己的场景状态，确保生成与策略评分使用的是匹配的历史。③ MemSPO：沿用 GRPO 式组相对优势与裁剪策略代理目标，把冻结视觉解码器还原出的候选视频送入「像素误差 + 感知距离」的组合奖励，转成相对优势更新世界模型。

技术亮点：

  • 把强化学习接到世界模型自身的后训练上：不是用世界模型去训策略，而是用「候选未来的相对质量」反过来优化世界模型——200 次 MemSPO 更新就足以继续提升生成质量。
  • 历史一致性是硬设计而非补丁：候选分岔后各自保记忆，从根上避免「生成时看 A 历史、打分时看 B 历史」的错配。
  • 候选多样性是可调可控的：多样性惩罚系数直接决定候选之间的 token 级差异程度，且只作用于选择环节，不影响策略概率的纯净性。
  • 收益不止于画面质量：记忆消融、解码敏感性分析与光流评测共同表明，提升同时延伸到更准确的运动预测。

实验结果： 视频生成质量上，FutureWorlds 在三个数据集的全部三项指标上均列第一：相对 BridgeV2 各项最强基线，PSNR +1.71 dB、SSIM +2.17%、LPIPS -20.84%；RT-1 上 LPIPS 再降 14.78%，RoboCasa 上降 9.12%。后训练对比中，仅 200 次 MemSPO 更新相对 GRPO 的增益随帧数拉长而放大——RT-1 上 10 / 20 / 32 帧的 PSNR 分别 +1.49% / +3.61% / +4.97%，LPIPS 分别 +3.80% / +7.92% / +9.98%。定性上，RT-1 中物体位置与机械臂姿态更贴近真实，BridgeV2 中物体被替换与局部畸变减少，RoboCasa 中臂与夹爪位姿更准。

应用场景： 作为策略学习的「想象引擎」做闭环规划与动作选择、机器人数据的合成与增广、以及需要长期自回归滚动的机器人世界模型预训练。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这篇补上了「世界模型如何自我改进」这一环：把 RL 的组相对优势机制搬到了世界模型自身的后训练上，且配套解决了候选多样性与历史一致性两个工程性难题。框架完整、代码开源、三个主流数据集全面验证，是本期最完整的一项工作。

Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models

链接： https://arxiv.org/abs/2610.01942

代码： https://github.com/Sta8is/Latent-Foresight

作者 / 机构： Efstathios Karypidis, Spyros Gidaris, Nikos Komodakis（Archimedes, Athena Research Center 希腊 Athena 研究中心 Archimedes 分部；valeo.ai；National Technical University of Athens 雅典国家技术大学；University of Crete 克里特大学；IACM-Forth）

一句话总结： 希腊 Athena 研究中心与 valeo.ai 的团队提出 Latent-Foresight，一个端到端的潜世界模型框架：不再先用固定降维（如 PCA）或独立训练的自编码器把视觉基础模型（VFM）特征压成潜变量、再在其上单独训一个预测器，而是联合训练一个潜 tokenizer 与一个基于流匹配的生成式动力学模型，显式地把表征塑造成「对时间可预测」的形态。在高分辨率 VFM 预测（448×896）上全面超越两阶段基线，且省掉了独立训练阶段。

研究问题： 预测场景的未来演化是世界建模的根本能力。近期工作发现，直接在视觉基础模型的特征空间里做预测，语义丰富、能支持多种未来场景理解任务。但现有做法几乎都是两段式的：先用 PCA 之类固定降维或独立训练的自编码器把 VFM 特征压成潜变量，再在冻结的潜空间上单独训练预测器。这种「表征学习」与「时序预测」的解耦带来一个根本缺陷——没有任何机制保证得到的潜空间是为可预测动力学而结构化的。另有一类方法干脆把预测器直接架在原始 VFM 特征上，同样绕开了这个问题。

核心方法： ① 联合优化：潜 tokenizer 与流匹配生成式动力学模型端到端一起训练，让表征学习直接服务于时序可预测性。② 防坍缩设计：引入若干关键设计选择以稳定联合优化、避免潜变量坍缩。③ 重建与生成目标对齐：让重建目标与生成目标方向一致，而非互相拉扯。④ 骨干以 DINOv2-Reg（ViT-B/14）为视觉编码器，取 L=4 层中间特征拼接成 3072 维表示，自编码器引入空间 RoPE 并压到 C=256 的瓶颈维度；预测器在 DINO-Foresight 架构上扩展 RMSNorm、QK-normalization 与 SwiGLU，并加入时空 RoPE、以 adaLN-zero 条件化于流匹配噪声水平。

技术亮点：

  • 把「可预测性」从副产品变成优化目标：两阶段方法的潜空间是为重建优化的，时序结构只是碰巧；这里潜空间与动力学模型一起长大，二者互相塑造。
  • 流匹配作为潜动力学：用生成式而非确定性的预测器建模未来，天然支持多模态未来分布。
  • 任务与分辨率适配都变简单：消除了独立训练阶段，连高分辨率适配也不需要重新走一遍流水线。
  • 增益随时域拉长而放大：论文明确指出优势在中长期预测上更明显，这正是两阶段方法最容易失守的地方。

实验结果： 在 Cityscapes 高分辨率（448×896）VFM 预测上，Latent-Foresight 在语义分割、深度、表面法线三类任务的短程 / 中程预测上一致优于判别式基线 DINO-Foresight：语义分割 ALL 类 mIoU 短程 72.8（对 DINO-Foresight 71.8、DeltaTok 72.1、VISTA ft 64.9）、中程 61.7（对 59.8 / 60.0 / 53.9）；可移动物体类 MO mIoU 中程 59.9（对 57.6）；深度 δ1 中程 86.6（对 85.4）；法线 11.25° 准确率短程 95.0、中程 92.0（对 94.4 / 91.3）。更大规模训练的 Latent-Foresight（扩展训练版） 版本进一步提升至语义分割短程 73.3 / 中程 63.3、MO 61.9、深度 δ1 86.9、法线 95.2 / 92.4。评测同时覆盖 nuScenes 与合成多物体动力学基准 Kubric。

应用场景： 自动驾驶的未来场景理解（语义 / 深度 / 法线多任务共用一套潜预测）、需要中长期预测的世界模型、以及把 VFM 特征接入下游时序任务的通用表征方案。

研究价值： ⭐⭐⭐⭐（4/5）— 这是一次对「两阶段潜世界模型」范式的正面质疑与替代，论证扎实、代码开源。虽然绝对提升幅度不算惊人（mIoU 约 1 个点），但它给出的信息很关键：潜空间该为可预测性而设计，这会直接影响后续所有 latent world model 的做法。

Memorizon: Training World Models Beyond Their Context Window

链接： https://arxiv.org/abs/2610.00544

项目主页： https://tingtingliao.github.io/memorizon ｜ 代码： https://github.com/TingtingLiao/memorizon ｜ 模型： https://huggingface.co/Luffuly/memorizon

作者 / 机构： Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu（Institute of Foundation Models (IFM), MBZUAI 穆罕默德·本·扎耶德人工智能大学基础模型研究所）

一句话总结： MBZUAI 基础模型研究所提出 Memorizon，一种把「长程监督」与「长程注意力」解耦的流式世界模型训练方法：训练样本可以覆盖任意长的跨度，但只对最后 k 个 chunk 计分；这些被计分的 chunk 各自按相机共视性检索自己的 top-K 潜变量，它们请求的并集构成一个共享记忆库，库大小被 kK 限定，因此无论跨度多长，序列长度始终有界。跨度从 100 s 拉到 400 s，单步训练时间只增加 12%。

研究问题： 流式世界模型应当在不同时间重访同一地点时渲染出一致的样子。而要直接监督这种「重访」，训练样本必须同时包含两次访问，跨度往往长达数分钟——但对其做稠密注意力的代价是二次的，激活内存随上下文线性增长，使得长跨度监督极其昂贵。更麻烦的是，模型是否真的学会使用记忆，取决于训练样本里有什么，而不只取决于架构：如果训练只覆盖短片段，那么样本的跨度就等于上下文长度，镜头离开再回来若超过一个训练片段的长度，就没有任何样本同时包含两次访问，也就没有任何损失项把二者关联起来。

核心方法： ① 解耦耦合：长跨度只用于监督，不用于注意力——两次访问可以共享一次前向传播，而不必把中间每一帧都塞进去。② 尾部计分：训练样本覆盖 m 个 chunk 的跨度，但只对其最后 k 个 chunk 计分。③ 逐 chunk 检索：不把历史先 tokenize，而是让每个被计分的 chunk 按相机共视性各自检索 top-K 潜变量，这些请求的并集形成共享记忆库 B。④ 有界性：库大小被 kK 限定，序列长度因此不随跨度增长；跨度最短时该配方恰好退化为常规训练。⑤ 基于 Wan2.2-TI2V-5B 初始化，加入相机分支，并用 Self-Forcing + DMD 蒸馏到 4 步（CFG 已蒸馏进去）。

技术亮点：

  • 把「跨度」变成采样变量而不是固定的片段长度：这是全文最关键的视角转换——既然第一次访问可能落在任意远处，就不该把训练片段长度钉死。
  • 逐 chunk 检索而非整段检索：论文明确指出，像 Context-as-Memory 那样为整段检索一次、给所有 chunk 相同帧的做法，会丢掉检索收益的大头，因为不同 chunk 看到的是不同视角。
  • 成本曲线极其平缓：加入记忆库只让单步成本一次性抬高，此后跨度再长也几乎不花钱（100 s → 400 s 仅 +12%）。
  • 检索是真的在用：从另一 episode 填充记忆库会使重访相关性下降 83%，反证模型确实依赖检索到的内容而非走捷径。
  • 工程上完全开源：GitHub 仓库给出了训练与蒸馏的完整命令，HF 上发布了 4 步蒸馏权重（Wan2.2-TI2V-5B 基座，864×480 / 16 fps，支持键盘动作或相机轨迹驱动）。

实验结果： 与滑窗基线相比，检索在所有数据划分上都提升了重访一致性；当跨度长到足以覆盖每次返回的首次访问时，重访一致性再提升 24%–30%（代价是图像质量有一定损失），再往上加长度就没有额外收益了。在与开源世界模型的对比中（LingBot-World 2.0、DreamX-World 1.0、HY-WorldPlay 1.5、Matrix-Game 3.0、Infinite-World、CaR，各方法均从同一照片沿同一路径滚动 60 s），Memorizon 与 CaR 是唯一具备清晰记忆的系统：八列记忆指标中 Memorizon 五项最高、CaR 三项最高。以 Revisit 指标为例，起点位姿处 Memorizon 为 0.365（CaR 0.350、Matrix-Game 3.0 即其余最强者为 0.254），中途返回处为 0.447（CaR 0.450、Matrix-Game 3.0 为 0.283）。在 DINO 特征上两者按返回类型分化：CaR 在起点处领先（首帧即可服务），Memorizon 在中途返回上领先（需要沿途生成的内容）。去除时间间隙共性后的 Gain 列更能说明问题——其余五个基线最高仅 0.089。训练细节上，释出的模型为 32 张 H200、batch 32 上训练 10k 步，覆盖 50 个虚幻引擎场景中的 95 小时行走数据。

应用场景： 需要长时间保持空间一致的交互式世界模型（开放世界导航、虚拟漫游）、具身智能的长程视觉想象、以及作为机器人策略的数据引擎与评测器。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这篇精准指出了一个被架构热潮掩盖的事实：记忆能不能学会，取决于训练样本怎么组织。给出的方案在成本上近乎免费（长跨度 +12%），却换来 24%–30% 的重访一致性提升，且代码与权重全部开源、可直接复现。对做长程世界模型的人，这是必读。

SkeleWAM: Skeleton World-Action Modeling for Efficient Robotic Manipulation

链接： https://arxiv.org/abs/2610.02120

项目主页： https://skelewam-project.github.io/

作者 / 机构： Juyi Sheng, Hua Wang, Mengyuan Liu（Peking University 北京大学）

一句话总结： 北京大学团队提出 SkeleWAM，一个紧凑的世界动作模型（WAM）：把操作场景表示成一个由机器人关节、物体中心与交互点构成的稀疏三维骨架，该骨架由当前 RGB-D 观测与本体感知在线构建，同时充当动作生成与未来骨架预测的统一几何状态；未来骨架预测为动作学习提供额外几何监督，完全不需要视觉重建。推理时另用 Medoid Action Consensus（MAC） 对多个随机动作样本做共识。在 LIBERO-Plus 上以 57.1M 参数取得 85.9% 整体成功率。

研究问题： 世界动作模型把机器人动作生成与未来状态预测合在一起。但现有 WAM 通常预测视频或学习到的视觉潜变量，这两者都只是隐式地表达交互几何，而且往往保留了大量与控制无关的外观信息——模型得花容量去学「桌面上木纹长什么样」，而这些对抓取毫无帮助。

核心方法： ① 稀疏三维骨架状态：由机器人关节、物体中心、交互点组成，从当前 RGB-D 观测与机器人本体感知在线构建。② 统一几何状态：同一份骨架既喂给动作生成，也用作未来骨架预测的目标。③ 未来骨架预测作辅助监督：为动作学习提供几何约束，无需视觉重建，也就不必为外观买单。④ Medoid Action Consensus（MAC）：对随机采样的多个动作轨迹做 medoid 共识，作为推理期的稳定性策略。⑤ 用流匹配训练动作与骨架两个预测任务，联合目标为两者损失之和。

技术亮点：

  • 用「骨架」而不是「像素」当世界状态：把 WAM 的预测目标从视觉空间换到几何空间，直接剔除了外观噪声，参数效率随之大幅提升（57.1M 即达 SOTA 级别）。
  • 几何监督但不重建：未来骨架预测给动作学习提供的是结构信号，而不是又一张要画对的图——这是「世界模型辅助策略学习」的一种更经济的实现。
  • 感知端是冻结的预训练网络：物体中心与交互点由冻结网络从 RGB-D 估计，机器人关键点由正运动学给出，训练负担集中在动作与动力学部分。
  • MAC 用极低成本换稳定性：从独立高斯噪声采样 K=3 条轨迹、对前 h=10 步运动取 medoid 共识，不需要额外网络。

实验结果： 在完整的 LIBERO-Plus 基准（10,030 个变体、覆盖七类扰动）上以零-shot 方式评测（不在评测变体上微调），SkeleWAM 以 57.1M 参数取得 85.9% 的整体成功率，超过最强对比方法 Cosmos-Policy 3.7 个百分点。对比基线涵盖代表性 VLA 策略（OpenVLA、OpenVLA-OFT、NORA、UniVLA、π0、π0-Fast、π0.5）与引入世界建模 / 未来状态预测的方法（WorldVLA、Fast-WAM、VLA-JEPA、GE-Act、Cosmos-Policy）。训练与评测均在单张 NVIDIA RTX 4090 上完成，共 60K 步、有效 batch 48，联合预测 32 步动作与 8 个未来骨架状态；动作 token 与未来骨架 token 互不注意力。推理时为 10 步流积分，每执行 16 步动作重新规划一次。

应用场景： 参数预算受限的机载机器人控制、需要跨扰动鲁棒泛化的操作任务、以及作为「几何优先」范式的世界动作模型基座。

研究价值： ⭐⭐⭐⭐（4/5）— 在「WAM 该预测什么」这个开放问题上给了一个明确且高效的答案：稀疏三维结构足够撑起动作学习，视觉重建是可以用不上的。57.1M 参数换 85.9% 这个性价比，对端侧部署尤其有说服力。

ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection

链接： https://arxiv.org/abs/2610.01741

项目主页： https://jiutian-vl.github.io/ATI-VLA-page/

作者 / 机构： Yijie Zhu, Rui Shao, Jie He, Wei Li, Bo Zhao, Yelin Wang 等（Harbin Institute of Technology, Shenzhen 哈尔滨工业大学（深圳）；Institute for Artificial Intelligence, Great Bay University 大湾区大学人工智能研究院；Shenzhen Loop Area Institute 深圳河套学院）

一句话总结： 哈工大深圳、大湾区大学与深圳河套学院团队提出 ATI-VLA（已录用于 NeurIPS 2026），一个「以动作为中心」的预测式 VLA 框架，分两步走：先通过共享 codebook 把预测性观测表征与动作表征映射到同一个离散潜空间完成可操作表征对齐，再通过一个轻量级自适应旁路把预测性观测潜变量作为显式先验注入动作解码，在单一动作目标下实现自适应预测引导。

研究问题： 预测式 VLA 的初衷是借「预测未来观测或世界动力学」来提升操作能力，但现有方法常常兑现不了这个承诺，甚至打不过直接预测动作的模型。作者把原因归结为两点：一是观测与动作之间的模态失配——预测出来的观测表征并不能直接供动作生成使用；二是联合优化冲突——同时优化预测目标与动作目标会把学习带偏，背离「以动作为中心」的初衷。

核心方法： ① 可操作表征对齐（Actionable Representation Alignment）：用一个统一的 codebook 把预测性观测与动作两种模态映射到同一个离散潜空间，使预测性观测潜变量能被动作生成直接消费，缓解模态失配。② 以动作为中心的自适应注入（Action-Centric Adaptive Injection）：在对齐基础上，用一个轻量自适应旁路把预测性观测潜变量作为显式预测先验注入动作解码，在单一动作目标下提供自适应的预测引导。③ 论文另设消融变体 ATI-VLA w/o alignment（在同一框架内联合建模未来观测与动作、省掉显式对齐阶段）以隔离对齐阶段的贡献。

技术亮点：

  • 两步解耦而非一步联合：先把两个模态拉到同一离散空间，再谈注入——这个顺序上的区分正是方法名里 “Then” 的由来，也是它区别于此前联合建模方案的关键。
  • 共享离散 codebook 作模态桥梁：离散化让观测与动作落在同一套符号上，天然可比较、可互相条件化。
  • 轻量旁路，不改主干：注入走的是 side-path，动作解码的主结构不受影响，工程上易插拔。
  • 单一动作目标：注入后仍只在动作目标下优化，避免多目标拉扯。

实验结果： 在 LIBERO 上，ATI-VLA 各分项成功率达 98.6% / 99.4% / 97.2% / 96.2%，平均 97.9%，为对比方法中的最优。在 RoboTwin 2.0 基准上，ATI-VLA 平均成功率 72.3%，显著高于 π0 的 60.0%、OpenVLA-OFT（复现）的 58.8%、RDT 的 56.0%、ACT 的 48.3% 与 DP 的 38.8%；分项上 Click Bell 91.0%、Open Laptop 87.0%、Place C.P. 90.0%，均优于 π0 的 44.0% / 85.0% / 88.0%。论文同时报告了效率对比：训练使用 8× NVIDIA H100（80GB），真机推理在单张 RTX 5090（32GB）上完成，且收敛更快。仿真与真机实验均表明 ATI-VLA 达到 SOTA。

应用场景： 需要预测式表征加持的通用机器人操作、对收敛速度与部署成本敏感的真机 VLA 系统、以及希望在已有 VLA 上叠加预测先验的改造场景。

研究价值： ⭐⭐⭐⭐（4/5）— 这篇正面回应了「预测式 VLA 为什么常常不奏效」这个尴尬问题，把失效归因拆成模态失配与优化冲突两条，并给出可插拔的两步解法。NeurIPS 2026 录用 + 仿真真机双验证，可信度高。

MIKASA-Robo-VLA: Benchmarking Memory in VLA Models for Long-Horizon Manipulation

链接： https://arxiv.org/abs/2610.00604

项目主页： https://mikasarobo.github.io/ ｜ 代码： https://github.com/CognitiveAISystems/MIKASA-Robo ｜ 数据： https://huggingface.co/datasets/mikasa-robo/mikasa-robo-vla-lerobot

作者 / 机构： Egor Cherepanov, Nikita Kachaev, Aleksandr I. Panov, Alexey K. Kovalev（AXXX, Moscow；MIRIAI, Moscow；HSE University 俄罗斯高等经济学院）

一句话总结： 来自 AXXX、MIRIAI 与俄罗斯高等经济学院的团队提出 MIKASA-Robo-VLA，一个专门评测 VLA 模型「记忆」的基准：包含 90 个语言条件操作任务，其中除 10 个反应式对照外全部隐藏了某个动作所依赖的线索；在重建后的 MIKASA-Robo 套件中（原套件 32 个任务且仅在代表性 VLA 子集里使用语言），这里每个任务都提供指令。同时释出覆盖 10 类记忆、共 22,500 条专家轨迹，并给出 π0.5 参考基线。

研究问题： VLA 策略通常只看当前或最近几帧，这使得「模型如何处置任务中途消失的信息」几乎无法被评测——因为标准基准里根本不存在这种情形。作者要做的，就是把「必须记住」这件事变成设计上的硬约束，而不是碰巧发生。

核心方法： ① 90 个语言条件操作任务，其中 80 个隐藏了某个动作所依赖的线索，另 10 个保留线索可见作为反应式对照。② 信息间隙的严格定义：对 70 个任务，环境阶段时序明确了「信息间隙」；间隙只统计线索可证明缺席的那段时间，而不是策略必须记住它的全部时长，因此每个记忆依赖型任务按构造都必然需要记忆，即使其测得间隙很短。③ 10 类记忆，覆盖不同的记忆需求类型。④ 22,500 条专家轨迹，同时以 RLDS 与 LeRobotDataset v3 两种格式释出。⑤ 给出 π0.5 参考基线：仅输入当前图像与本体感知，不提供观测历史、也无显式记忆模块。

技术亮点：

  • 把「记忆需求」从后验观察变成先验构造：隐藏线索 + 反应式对照的成对设计，使得成绩差异可以被干净地归因到记忆而非别的因素。
  • 信息间隙的保守定义：只计「线索确凿缺席」的区间，宁可低估也不高估——论文指出，即便测得间隙很短的任务，按构造仍需记忆。
  • 给出了当前 VLA 上下文的现实上限：28 个任务的信息间隙超过了所调研的最宽固定上下文 VLA 的 16 帧窗口。
  • 数据规模与格式都很实用：22,500 条轨迹；LeRobot 版（AV1 视频 + Parquet）仅 25.9 GiB，而 RLDS 版为 287.4 GiB，且论文诚实说明这一差距不能只归因于压缩，因为二者在图像编码与 schema 上均不同；需要逐步奖励的训练须用 RLDS（LeRobot schema 未保留奖励）。
  • 长文级别的完整文档：57 页、39 图、38 表。

实验结果： π0.5 参考基线（当前图像 + 本体感知，无观测历史、无显式记忆模块）在 14 个任务上微调后，平均任务成功率为 0.211 ± 0.044。论文指出其在 Long-split 任务上更低的成功率受到开环 chunking 与该子集所覆盖记忆类型的混淆影响——这是一段很诚实的局限性说明。基准规模方面：90 个任务中 70 个有环境阶段时序指定的信息间隙，其中 28 个超过 16 帧窗口；释出 22,500 条覆盖 10 类记忆的专家轨迹。

应用场景： VLA 模型记忆能力的标准化评测、记忆增强型策略架构的对照实验平台、以及长程操作任务中「信息何时消失」这一问题的系统性研究。

研究价值： ⭐⭐⭐⭐（4/5）— 记忆是长程操作的公认瓶颈，但一直缺乏能干净归因的评测。MIKASA-Robo-VLA 用「隐藏线索 + 反应式对照」的成对设计加上保守的信息间隙定义，把这个洞补上了；0.211 的基线分数也直观地说明：现有 VLA 在需要记忆的任务上几乎是不及格的。

CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight

链接： https://arxiv.org/abs/2610.00859

项目主页： https://ctrl-wam.github.io/

作者 / 机构： Chensheng Peng, Wenhao Ding, Ran Tian, Zewei Zhou, Jef Packer, Maximilian Igl, Peter Karkus, Yan Wang, Masayoshi Tomizuka 等（NVIDIA）

一句话总结： NVIDIA 团队提出 CtrlWAM，针对世界动作模型训练中的一处根本性错配：标准做法同时对录制动作与视频加噪，但被扰动的动作隐含的是反事实的未来画面，而加噪后的视频仍然绑定在真实录制上。CtrlWAM 改为在仿真器中真正执行被扰动的动作，再把这些动作对应的视觉后果配对进联合训练；同时提出 warped video–action 噪声调度以兼顾视频与动作不同的去噪需求，并把动作接口从「仅自车控制」扩展到可变数量的智能体流。

研究问题： 世界动作模型联合预测动作（intent）与视觉未来（foresight）。标准训练把噪声同时加在录制动作与视频上，但这里存在一处错配：加噪后的动作意味着一个反事实的未来场景，而加噪视频却仍然对应真实录制——这两者讲的不是同一件事。更关键的是作者的观察：在低噪声区间，即便加了噪声，未来帧里的场景几何乃至动态行为依然清晰可见，于是模型很容易直接从「该被加噪的未来帧」里偷看答案，学不到真正的动作—视觉因果。

核心方法： ① 对齐的加噪（Aligned Noising）：在仿真器中执行被扰动的动作，并把产生的渲染帧作为对应的视觉后果用于联合 WAM 学习，使动作扰动与视觉后果严格配对。② Warped video–action 噪声调度：视频与动作的去噪需求不同，用 warp 后的调度让视觉布局随动作预测演化保持响应。③ 多智能体动作接口：把动作接口从仅自车控制扩展到可变数量的 agent 流，使统一模型能同时表示多个智能体的预测未来或指令未来。④ 底座为 Cosmos 3-Nano（16B），语言通路冻结、只训练视频与动作 transformer；图像分辨率 832×480。

技术亮点：

  • 抓住了「低噪声下偷看答案」这个隐蔽失效模式：在低噪声区未来帧的几何仍然清晰，模型能走捷径；真执行扰动动作后，视觉后果才与动作真正对应。
  • 噪声调度不再「一刀切」：视频与动作用 warp 后的不同节奏去噪，视觉布局得以随动作预测同步演化。
  • 多智能体统一建模：同一模型既能表示被预测的未来，也能表示被指令的未来，覆盖多条 agent 流。
  • 数据与评测规模扎实：基于 NVIDIA PhysicalAI Autonomous Vehicles 数据与 NuRec 的 3DGS 场景重建生成扰动渲染；约 8,900 个重建场景切出 33,988 个可用片段窗口，训练集约 270,000 条对齐样本、每个窗口最多 8 个扰动级别。

实验结果： 驾驶评测中（留出集 1,156 条片段、1,434 个事件中心分段），CtrlWAM 相对 SFT 基线更紧密地跟随给定自车指令：前向动力学下 Cmd ADE 与 FDE 均下降，说明视频推断出的运动更贴合指令；Joint 模式下 Self ADE 从 0.538 降到 0.513 m（生成视频与自预测动作更一致），Rollout ADE 从 2.920 降到 2.804 m（相对录制的动作预测更准）。在 100 条片段的指令反事实测试中（brake to stop / accelerate / nudge left / nudge right 四类指令取平均），warp 调度（强度 2、3、5）在每个扰动级别上都比共享调度（强度 1）更贴合指令，且扰动越大差距越明显。机器人侧在 WorldArena 基准上（同等训练预算：共同 checkpoint 训 2,000 步后每条臂再加 2,000 步），CtrlWAM 在全部六个类别中得分最高，EWMScore 61.75，对比 SFT 的 58.70 与 GT-Src 的 58.65。

应用场景： 自动驾驶的世界动作模型（含反事实指令的安全推演）、多智能体交通场景联合预测、以及双臂操作中的运动保真与可控性要求较高的场景。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这篇指出的问题极准且此前少有人提：标准联合加噪下，「反事实动作」与「真实视频」根本不是一对。解法（真去仿真里跑一遍）朴素但有效，而且 driving 与 robotics 两侧都做了受控对照与匹配控制实验，结论站得住。对做 WAM 的人，这是一篇会改变训练配方的论文。

📊 今日研究趋势

世界模型的潜空间正在被「结构化」而非仅仅是「压缩」。 本期有三篇工作从三个不同角度表达了同一个不满：潜空间不该只是重建任务顺手留下的副产品。CF-JEPA 用可控性分解把潜空间劈成两块，让干扰信息有个专门的去处；Latent-Foresight 干脆把 tokenizer 与流匹配动力学绑在一起端到端训练，让「可预测性」成为表征的优化目标本身；SkeleWAM 则更激进——它连视觉潜变量都不要了，直接用一个稀疏三维骨架当世界状态。三者的共同取向是：为「接下来要被怎么用」而设计表征，而不是先学一个通用表征再祈祷它 downstream 有用。

训练信号的来源正在从「重建损失」外扩。 FutureWorlds 与 CtrlWAM 是两个漂亮的对称案例。前者用多样化 beam search 造出候选未来、再用组相对优势告诉世界模型「哪条未来更好」，本质是把 RLVR 的机制搬到了世界模型自身的后训练上，仅 200 次更新就有可见收益。后者则发现标准联合加噪存在根本错配——扰动后的动作对应的是反事实画面，而加噪视频仍绑在真实录制上，且低噪声区模型能直接从未来帧偷看几何——于是改成在仿真里真跑一遍扰动动作、把真实视觉后果配回去。两者都不是换更大的模型，而是换一个更诚实的监督信号。

长程一致性的瓶颈在训练样本的编排，而不只在架构。 Memorizon 给出了本期最有说服力的论证：模型是否学会使用记忆，取决于训练样本里有没有同时包含两次访问，而这与其架构无关。它把「长跨度用于监督」与「长跨度用于注意力」解耦，逐 chunk 按相机共视性检索并共享一个有界记忆库，把跨度从 100 s 拉到 400 s 的代价压到 12%。更妙的是它顺手证伪了「整段检索一次」的做法——不同 chunk 看的是不同视角，统一检索会丢掉大部分收益。

「记忆」正在从隐含话题变成显性课题。 MIKASA-Robo-VLA 用隐藏线索 + 反应式对照的成对设计，把记忆需求变成构造上的硬约束，π0.5 基线 0.211 的分数直白地说明现有 VLA 在这类任务上近乎不及格。与之呼应，FutureWorlds 的「候选专属有界记忆」与 Memorizon 的「逐 chunk 检索记忆库」都在认真处理「历史该以什么形式被保留和取用」。记忆不再是加一个 KV cache 就算了的事。

预测式 VLA 终于开始正面回答「为什么不奏效」。 ATI-VLA 把失效归因拆成模态失配与联合优化冲突两条，用「先共享 codebook 对齐、再轻量旁路自适应注入」的两步方案回避了直接联合建模的陷阱。SkeleWAM 则从另一个方向给出答案：与其预测整段视觉未来，不如只预测稀疏几何骨架——既省参数（57.1M），又避开了外观信息的干扰。两条路径都指向同一结论：预测什么、以及预测结果怎么喂给动作头，比「要不要预测」重要得多。

🏆 最值得关注的 3 篇

  1. Memorizon（2610.00544） — 指出了一个被架构热潮掩盖的事实：记忆能不能学会，取决于训练样本怎么组织，而不只是有没有记忆模块。把长跨度监督与长跨度注意力解耦后，成本几乎不变（+12%）却换来 24%–30% 的重访一致性提升，且代码、权重、训练与蒸馏命令全部开源。对做长程世界模型的人，这是本期最该读的一篇。

  2. CtrlWAM（2610.00859） — 罕见地把一个「大家都在做但没人细想」的训练配方问题讲透了：标准联合加噪下，反事实动作与真实视频根本不配对，且低噪声区模型能偷看答案。解法朴素（真去仿真里执行扰动动作）却在 driving 与 robotics 两侧都做出了受控对照的干净结论，WorldArena 六项全最优。

  3. FutureWorlds（2610.01019） — 世界模型的自我改进一直缺一个闭环，这篇用「候选未来的相对质量 + GRPO 式组相对优势」补上了，并配套解决了候选多样性与历史一致性两个工程难题。三个主流机器人数据集全面领先，仅 200 次更新即可继续增益，代码开源。

数据来源：ArXiv Fri, 2 Oct 2026 公告批次（周末补遗，出刊日 2026-10-03）｜分析生成时间：2026-10-03 06:00 (北京时间)