📅 本期覆盖 Fri, 2 Oct 2026 这一批 arXiv 公告。网页端 listing 各分类当日条数为 cs.CV 215 / cs.RO 107 / cs.AI 381 / cs.LG 430 / cs.GR 14 / cs.MM 8，六种分类去重后共 886 篇候选，属平日量级（上一期为 1085 篇）。
经全站 730 个历史 arXiv ID 与 756 条历史标题双重去重，
dup_id = 0、标题去重同样零命中 —— 这是十月的第一个全新批次，ID 已整体切换到2610.*。8 篇入选论文 v1 日期为 2026-09-29 ~ 10-01，与公告批次一致；Top 32 候选逐篇核对Submission history，未发现夹杂旧文（连续多期以来最干净的一次）。本期最鲜明的信号是 世界模型的「扩展轴」正在被重新定义。以往谈 scaling，默认动作是「向外」——滚得更远、采样更多轨迹、优化更久；而 DeepJEPA 与 JEPA-TTT 分别从深度与时间两个内部维度给出了相反的答案：前者学会在决策关键的转移上多算一步、其余地方一律浅算（平均 1.00–1.26 次更新），后者在部署期持续自监督更新预测器、把适应累积到 500 轮之后。两篇都明确拒绝「均匀加算」。与之呼应，视频世界模型这一侧的三篇（4Director / Oneira / MosaiChunk）也不约而同地从「生成得像」转向「控制得住、改得动、记得住」。
📄 论文精选
4Director: Controlling Video World Models with Rigid 3D Geometry
链接： https://arxiv.org/abs/2610.02160
项目主页： https://stability-ai.github.io/4director/ ｜ 代码： https://github.com/VVeiCao/4Director
作者 / 机构： Wei Cao, Hao Zhang, Vikram Voleti, Yuqun Wu, Mallikarjun B R, Shimon Vainer, Mark Boss, Yaoyao Liu（Stability AI；University of Illinois at Urbana-Champaign 伊利诺伊大学厄巴纳-香槟分校）
一句话总结： Stability AI 与 UIUC 提出 4Director，一种条件于显式 4D 场景表示的视频世界模型——每个物体从输入图重建一次 canonical mesh，此后每帧只施加一个刚性变换，与背景、相机共享同一坐标系；把受控场景渲染成深度视频后，用 Motion Adapter 把这个几何脚手架「翻译」成视频，同时合成视角一致的外观、光照与非刚性动力学。配套构建了 RealCOD-Rigid（20,774 条真实视频片段，由自动流水线标注刚性 3D 场景）与 IG-IoU（Identity-Gated IoU，同时考察物体是否按指定轨迹运动、身份是否保持）两个新资产。
研究问题： 专业视频制作要求对相机与物体运动做精确控制，但现有方法只能在粗粒度上控制物体：一是走 image-plane 线索（2D 框、拖拽点），在深度与旋转上天然歧义，一个 2D 框既可能是走近也可能是放大；二是走 3D 轨迹或 blob，几何不完整，视角一变就失去一致性，物体转出视野再回来时往往连身份都保不住。更深一层的麻烦在于，未被观测到的几何会在每一帧被独立地重新生成，于是转过去的那一面每次都是现编的。
核心方法： ① 4D 场景表示：每个物体一次重建为完整 canonical mesh，逐帧施加一个刚性变换（旋转 + 平移），并与背景、相机共用坐标系——这既是给用户的 3D 控制接口，也从根上杜绝了「不可见几何逐帧重生成」。② 深度渲染作条件：把受控场景渲染为深度视频，其中同时携带相机运动与每个物体的刚性运动。③ Motion Adapter：把深度渲染这一几何脚手架注入预训练视频生成器，由生成器补齐外观、光照与非刚性动力学（如衣物飘动、水花）。④ RealCOD-Rigid 数据集：20,774 条真实视频片段，自动流水线恢复完整物体 mesh、逐帧刚性变换与相机轨迹。⑤ IG-IoU 指标：把 mask IoU 与身份保持门控结合，只有身份没跑偏的运动才计分。
技术亮点：
- 控制接口从「图像平面」抬升到「刚性三维」：消融表把控制表示从 2D box → 3D box → 3D mesh → 刚性 3D 几何逐级替换，FID 从 58.3 降到 44.1、FVD 从 608.8 降到 370.4、IG-IoU 从 48.5 / 50.3 / 53.0 一路升到 60.4，且是四项同时变好，不是拆东墙补西墙。
- 物体离开视野再回来仍能保持身份：因为每个物体的 mesh 轨迹在每一帧都有定义，即使它此刻不可见，回来时仍是同一个 mesh 继续运动，而不是重新生成。
- 把「几何」与「外观」的职责彻底拆开：深度视频只负责刚性结构与相机，非刚性细节全部交给预训练生成器的先验。这使得方法无需从头训练视频模型。
- 用户研究给的是压倒性差距：20 位参与者在 9 个案例上按 1–5 分评价视觉质量、控制精度与一致性，4Director 三项均为最高（4.6–4.8，次优最多 3.9），其中控制精度 4.82 对 2.39，差距接近两倍。
实验结果： 在联合相机与物体控制的定量对比中，4Director 在各项指标上一致优于现有方法；消融显示 2D box 基线在 FID / FVD 上分别为 58.3 / 608.8，换成 3D box 为 54.7 / 556.0，换成 3D mesh 为 53.0 / 485.6，换成刚性 3D 几何后进一步降至 44.1 / 370.4，同时 IG-IoU 由 48.5 提升到 60.4。用户研究中控制精度得分 4.82，对比次优的 2.39。论文另给出物体移出画面后重新入画的定性案例，以及新物体插入的扩展能力。
应用场景： 影视与广告的镜头设计（先摆好物体三维轨迹再生成）、电子商务的商品展示视频、需要精确物体位姿的特效预演，以及任何「相机 + 物体」需要同时受控的生成式视频制作流程。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 在「可控视频生成」这条线上，这篇把控制信号的表达方式从二维提示升级为完整刚性三维场景，并且用消融把每一级的收益讲清楚。对做相机可控与三维一致生成的研究者，这是一份可以直接对标的方法论与数据资产（RealCOD-Rigid）；IG-IoU 也有望成为物体级控制的标准度量。
Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models
链接： https://arxiv.org/abs/2610.01614
项目主页： https://madaoer.github.io/projects/oneira
作者 / 机构： Xindi Yang, Baolu Li, Liam Lee, Zhenfei Yin, Songxin Zhang, Zhuoyang Song, Xu Jia, Jianfei Cai, Tien-Tsin Wong, Bingyi Jing, Mengyue Yang（Monash University 莫纳什大学；University of Bristol 布里斯托大学；Dalian University of Technology 大连理工大学；The Chinese University of Hong Kong, Shenzhen 香港中文大学（深圳）；Oxford University 牛津大学）
一句话总结： 莫纳什大学、布里斯托大学、大连理工、港中深与牛津的团队提出 Oneira，一个闭环交互式视频世界模型：由一个 coding agent 维护一张显式、可扩展的世界状态表，读到观测与动作后先定位相关实体、规划交互、再把结果写回状态表；探索中出现的新物体会被纳入，使可交互空间随生成世界一起扩张，而此前引发的状态变更会跨视频段传递，成为后续世界演化的一部分。在 InteractionBench 上，交互 / 时机 / 目标三项通过率分别达到 0.78 / 0.76 / 0.82，PSNR 21.11 dB、SSIM 0.64、状态保持 0.80，相对最强基线分别高出 0.29 / 0.19 / 0.29。
研究问题： 生成式视频世界模型已经能合成可供智能体导航与简单交互的开放环境，但开放生成并不等于完整交互。作者把缺失的东西拆成两条明确要求：一是 Open-World Interactivity——新生成的或新遇到的实体必须被纳入可操作的世界，否则世界越生越大、能动的东西却没变多；二是 Persistent State——交互的后果必须被写进世界状态，持续影响后续观测与交互，而不是变成一段转瞬即逝的视觉特效。现有模型的通病正是：改完了，下一段视频里一切照旧。
核心方法： ① 显式世界状态表：每个实体记录语义标签、世界坐标系下的一个 3D 框（位置与尺寸）以及它在每个 chunk 中的状态，由 coding agent 读写。② 闭环交互：给定当前观测与一个动作或高层目标，agent 读状态表 → 定位相关实体 → 规划交互 → 把结果写回状态表；更新后的状态再渲染成下一段视频的条件。③ 开放世界扩张：探索揭示新物体时，agent 直接从生成的观测中把它纳入状态表，于是可交互空间随生成世界同步增长。④ 状态持久：先前诱导的状态变更跨视频段携带，成为后续演化的持久部分。⑤ 数据流水线：从 GT 视频恢复相机路径、可行走地面与物体框，交由 VLM judge 标注状态变化，gates 过滤掉不合格片段，固定规则组装世界状态表。
技术亮点：
- 世界状态是「表」而不是「隐向量」：可以被读、被改、被扩展，也让「持久性」变成可验证的性质而非感觉。
- 对象状态条件是 category-agnostic 的：学到的交互控制因此能迁移到微调时未见过的物体类别——这对开放世界是硬需求，否则每来一个新物体就得重训。
- 把生成与交互真正闭上了环：不是「生成一段 → 外面接一个 agent 解读」，而是 agent 的写入直接决定下一段生成什么。
- 评测协议设计得克制：Interaction / Timing / Target 分别考察「交互是否发生」「时机是否对」「目标物体是否选对」，把失败模式拆开报，而不是给一个笼统分数。
实验结果： 在 InteractionBench 上（100 个交互案例 + 50 条状态记忆链，另报 8 个 VBench 维度）：Oneira 的交互 / 时机 / 目标通过率为 0.78 / 0.76 / 0.82，PSNR 21.11 dB、SSIM 0.64、状态保持 0.80；对比 YUME 1.5（0.05 / 0.43 / 0.22，PSNR 10.09、SSIM 0.35、状态 0.41）与 AlayaWorld（0.08 / 0.16 / 0.26，PSNR 9.19、SSIM 0.30、状态 0.39）。相对最强基线，三项分别高出 0.29、0.19、0.29 个百分点级绝对值；PSNR 更是接近基线的两倍。论文另给出 30 秒三段链式交互的定性对照，橙色标注携带交互的 chunk。
应用场景： 可交互的具身仿真环境（智能体在其中改门、搬箱、开门并让改动持续生效）、游戏原型与关卡设计、长程任务的训练数据合成，以及需要「世界记得你做过什么」的开放世界内容生成。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 明确命名并形式化了「开放世界可交互性 + 状态持久性」这两个此前被含混处理的要求，并给出可复用的实现（显式状态表 + coding agent）与可复现的评测（InteractionBench）。论文自述的局限是动作空间仍为离散，物理真实度受限于视频模型习得的动力学而非显式物理仿真——这恰好是下一步最值得推进的方向。
MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation
链接： https://arxiv.org/abs/2610.02153
项目主页： https://mosaichunk.github.io/ ｜ 代码： https://github.com/mosaichunk/MosaiChunk ｜ 模型 / 数据： https://huggingface.co/mosaichunk/MosaiChunk ｜ https://huggingface.co/datasets/mosaichunk/RememBench
作者 / 机构： Yiwen Zhang, Haocheng Xi, Michael Tian-Yue Liu, Alexei A. Efros, Hadar Averbuch-Elor, Qianqian Wang, Haiwen Feng（Cornell University 康奈尔大学；University of California, Berkeley 加州大学伯克利分校；Harvard University 哈佛大学；Impossible, Inc.）
一句话总结： Cornell、UC Berkeley、Harvard 与 Impossible, Inc. 提出 MosaiChunk，一种为长程自回归视频生成设计的时空记忆机制：把跨空间与时间挑选出的历史 KV 条目拼成一块「马赛克」，在固定记忆预算下喂给完全冻结的视频生成器；只训练一个轻量 router 决定该纳入哪些历史片段，并用自蒸馏（教师 = 同一冻结骨干 + 更丰富的历史上下文）来训它。同时发布 RememBench，一个专门考察长程回访（revisit）的基准，含 prompt 驱动的 T2V 与相机驱动的 I2V 两个 split。
研究问题： 自回归视频生成的视野被有限的上下文窗口锁死。一旦某个物体或场景滑出上下文，它的精细视觉细节就随之丢失，等镜头转回来时很难复原——模型往往会「合理但错误」地重新编一个门廊或房间布局。已有的滑动窗口推理会丢弃，整体 chunk 检索则在预算相同的情况下把名额浪费在近处冗余内容上。
核心方法： ① 关键观察：一个冻结的视频生成器可以直接消费这种非连续的历史 KV，并据此还原对应视觉内容——因此不需要改骨干。② 马赛克记忆：把历史切成若干 section，router 在固定 active-memory budget 下挑选跨空间、跨时间的 section 组成非连续 KV 集合。③ 只训 router：骨干权重完全冻结，靠自蒸馏训练——教师是同一个骨干但能看到更丰富的历史上下文。④ 全局选择优于局部：局部选择会把预算花在骨干本来就近处已有的信息上，全局 top-N 让预算投向局部上下文中缺失的内容，两个预算档位下两项指标均更好。⑤ 可选 pose 引导变体：I2V 设置下相机位姿已知，可给 router 提供位姿引导。
技术亮点：
- 不动骨干、只学「该记住哪几块」：把长程记忆问题从「改造生成器」降级为「学习一个检索路由」，工程代价极低，且天然可插到不同骨干（论文在 H3-AR 的 50 层与 LingBot-World-Infinity 的 40 层上分别注入）。
- 非连续 KV 可被直接消费这一点比方法本身更重要：它说明预训练视频模型的注意力机制对位置不连续的上下文有相当强的鲁棒性，为后续所有「外挂记忆」方案提供了合法性。
- 自蒸馏的教师就是更好的自己：用同一冻结骨干、喂更丰富历史上下文作教师，避免了引入外部教师带来的分布偏移。
- 同时给了基准：RememBench 把「回访一致性」这件过去靠肉眼看的事变成可量化指标（含 180° 原地转身、90°/180°/360° 与平移轨迹，DL3DV 评测场景与训练设置分离）。
实验结果： 在 180° 原地转身（含 / 不含平移）上，一个 chunk 预算时 MosaiChunk 的 median CLIP 相对 Base 提升 0.072（旋转）与 0.060（旋转 + 平移），相对 MoC 提升 0.033 与 0.036；两个 chunk 预算时相对 Base 为 0.070 / 0.049，相对 MoC 为 0.056 / 0.032；LPIPS 在全部四种设置下均改善，TempSSIM 与 Drift 各方法间差异小于 0.01。在公开基准的 I2V 评测中，WBench（navigation split）一个 chunk 预算下 Spatial 从 78.28 提升到 79.63、Gated Spatial 从 75.47 到 76.69；WorldMark（first-person split）的 Revisit Memory 从 80.14 提升到 84.89，两个 chunk 预算下 Spatial 从 79.43 到 80.73。论文另报告了 0.5 与 1.5 chunk 的分数预算曲线。
应用场景： 长视频与无限流式生成、需要场景回访的导航 / 探索类世界模型、虚拟制片中的多镜头连续叙事，以及任何「镜头走了还会回来」的自回归视频生成任务。
研究价值： ⭐⭐⭐⭐（4/5）— 思路干净、成本低、可迁移，且附赠 RememBench。论文也诚实指出局限：由于骨干权重冻结，方法继承了教师本身在指令跟随与生成分布上的缺陷；真正的解法应当是把记忆直接建进生成器，在预训练或后训练阶段就学会复用更早的视觉内容。
DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation
链接： https://arxiv.org/abs/2610.02188
项目主页： https://yzmblog.github.io/projects/DMAD ｜ 模型： https://huggingface.co/ZhengmingYu/DMAD
作者 / 机构： Zhengming Yu, Junkun Yuan, Haotian Yang, Gordon Guocheng Qian, Yizhi Wang, Angtian Wang, Yiding Yang, Bo Liu, Xin Li, Wenping Wang, Chongyang Ma（Texas A&M University 德州农工大学；ByteDance 字节跳动）
一句话总结： 德州农工大学与字节跳动提出 DMAD（Distribution Matching as Adversarial Distillation），把分布匹配蒸馏重铸为一个分类问题：在共享骨干上挂两个判别头，分别区分「真实数据 vs 学生样本」与「教师样本 vs 学生样本」，直接用线性损失训练学生，从而彻底甩掉 DMD 必须持续维护的那个辅助扩散模型（fake score network）。作者证明在判别器最优时这些损失恰好恢复 DMD 的分布匹配梯度——依据是判别器 logits 与 log-density ratio 之间的经典恒等式。一步生成在 ImageNet-64×64 上拿到 FID 1.04，四步 SDXL 在 COCO-10K 上 14.47，四步 Wan2.1-T2V-14B 在 VBench 总分 85.15。
研究问题： Distribution Matching Distillation（DMD）是少步生成的主流范式，但它要估计目标分布与学生分布各自的 score，而学生分布在训练中是不断演化的——于是必须额外维护一个持续拟合学生分布的辅助扩散模型，带来显著的显存与算力开销。这个「为了估计梯度而养一个模型」的结构，是 DMD 工程落地最大的包袱。
核心方法： ① 判别器即密度比估计器：利用经典恒等式——最优判别器的 logits 直接给出 log-density ratio。既然分布匹配梯度只需要这个比值，那就用判别器直接学它，不必先拟合 score。② 双头共享骨干：一个头区分真实数据与学生样本，另一个头区分教师样本与学生样本，两者共享骨干、各出一个 logit，对 logits 施加线性损失即可训练学生。③ 理论等价性证明：在判别器达到最优时，上述线性损失所给出的梯度与 DMD 底层的分布匹配梯度一致，因此这不是启发式近似，而是同一目标的另一条实现路径。④ Gap-based reweighting：用 real-data 头的经验 logit gap（真实样本与教师样本之间的 logit 差）自适应调整各噪声水平上教师监督的强度，让教师信号在不同噪声区间的配比随训练自动变化。
技术亮点：
- 把「拟合 score」换成「分类」：省掉的是一整个辅助模型，这对 14B 量级的视频教师尤其关键——DMD 类方法在视频上昂贵，很大程度就贵在这里。
- 有理论背书：明确证明判别器最优时恢复 DMD 梯度，而不是又一个 GAN 味的经验招数。
- gap-based reweighting 是个便宜好用的自适应机制：用现成的 real-data 头输出做权重，几乎零额外成本。
- 覆盖面横跨图像与视频：ImageNet-64 / SDXL / Wan2.1-T2V-14B 三档全部给了数，说明方法不是只在小模型上成立。
实验结果： ImageNet-64×64 一步生成 FID 1.04；四步 SDXL 在 COCO-10K 上 FID 14.47；四步 Wan2.1-T2V-14B 在 VBench 总分 85.15，为论文所报最优值。项目页同时放出了蒸馏后的 MiniMax 系列模型与演示视频。
应用场景： 需要把大模型压成少步推理的工业部署（图像编辑、文生图服务、实时或近实时文生视频）、端侧与低算力环境下的生成模型落地，以及所有当前在用 DMD / DMD2 的训练流水线——这些方法可以直接换成 DMAD 以省下辅助模型的开销。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 一篇「把成本砍掉一半而目标不变」的工作，且有等价性证明兜底。在视频生成蒸馏越来越成为刚需的当下，去掉 fake score network 这一手的实际价值可能超过指标本身。
DeepJEPA: Scaling World Models from Within
链接： https://arxiv.org/abs/2610.00368
项目主页： https://deepjepa.github.io/ ｜ 代码： https://github.com/deepjepa/DeepJEPA
作者 / 机构： Zijian Jin, Yunbei Zhang, Yuanzhe Liu, Ming Liu, Baian Chen, Weirui Ye, Shilong Liu, Marco Pavone（New York University 纽约大学；Tulane University 杜兰大学；University of Illinois Urbana-Champaign；Princeton University 普林斯顿大学；MIT；Columbia University 哥伦比亚大学；Stanford University 斯坦福大学）
一句话总结： 提出 DeepJEPA，一个权重绑定（weight-tied）的联合嵌入预测世界模型，把转移深度当作一条内层的 test-time scaling 轴：不再给每次想象的转移分配相同计算，而是学会对每个候选、每个 rollout 步判断「再算一次循环更新值不值得」。在五个视觉控制设置上，它追平或超过最强的固定深度规划器，而平均每个转移只用 1.00–1.26 次更新；省下的计算被集中投到接触发生与持续物体交互处——恰恰是潜空间修正能改变 CEM 精英集与最终动作的地方。
研究问题： 世界模型规划器习惯「向外」扩展：滚得更远、采样更多轨迹、优化更久。但这默认了每次想象的转移都该拿到同样的计算。作者指出这是错的——有用的精修高度集中在少数决策关键事件上，给所有转移均匀加深不仅浪费算力，甚至会损害规划：无差别的额外更新会抹平候选之间原本有意义的排序差异。
核心方法： ① 深度作为内层计算轴：权重绑定的循环 JEPA，同一套权重可以递归作用 K 次；K 不再是一个全局常数，而是每个候选、每个 rollout 步自适应决定的。② 学会停机：模型学习「再来一次循环更新是否值得」，即在何处停止递归。③ 与 CEM 规划器结合：自适应深度直接改变候选的代价估计，进而改变哪些候选进入精英集、最终选出哪个动作。④ 表示探针与精英集稳定性分析：检验规划改善是否来自「物体状态更可解码」，并刻画有用内部计算与无用内部计算之间的边界。
技术亮点：
- 把 scaling 的语义从「多少」改成「在哪」：原文那句总结很到位——think deeper at decision-critical transitions，而不是让每次 rollout 都更深更长。
- 反面结论同样重要：在同一循环 checkpoint 族内，aggregate fixed K=4 从未超过 fixed K=1——在 Reacher、Cube Single、PushT 上更低，在 Cube Double 与 Cube Triple 上打平。也就是说「均匀加深」根本不是 scaling law，这是对整个方向的直接证伪。
- 精英集稳定性给出了可操作的边界：当候选的代价修正无法跨越精英边距时，再来一次更新不会改变 CEM 提议，属无用计算；而当该边距收缩时，哪怕是很小的候选特定修正也能重定向搜索。这条判据把「何时该深算」从玄学变成可测量量。
- 表示探针的否定结果：规划改善不需要 uniformly 更好的物体状态可解码性——提醒社区别把「表征变好」当作规划变好的代理指标。
实验结果： 在五个视觉控制设置上，DeepJEPA 达到或超过固定深度前沿，平均每个转移仅 1.00–1.26 次更新；具体成功率包括 Reacher 85.3%、Cube Double 74.0%、Cube Triple 77.3%。可视化显示其额外计算集中在接触起始与持续物体交互处；表示探针显示规划改善并不伴随物体状态可解码性的普遍提升。实验规模为三对训练 / 评估种子、每格 150 个 episode，固定 K=1,2,3,4 与学到的停机共享同一循环 checkpoint 族、CEM 根与种子。
应用场景： 样本效率优先的视觉控制与机器人规划、需要在固定算力预算下榨出更强规划能力的具身智能体，以及所有基于潜世界模型做 MPC / CEM 的系统——这套自适应深度几乎可以直接嵌进去。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 在系统性地重新划分「世界模型的两种规模」：一种是规划器想象了多少个未来，另一种是模型在接受每一次想象的变化之前花了多少计算。前者已被研究得很充分，后者基本空白。加上对「均匀加深」的干净证伪，这篇很可能会改变后续潜世界模型的算力分配默认策略。
JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts
链接： https://arxiv.org/abs/2610.00722
项目主页： https://jepa-ttt.github.io/
作者 / 机构： Zheyuan Zhang, Suyu Ye, Nakul Agarwal, Hossein Nourkhiz Mahjoub, Ehsan Moradi Pari, Daniel Khashabi, Tianmin Shu, Vaishnav Tadiparthi（Honda Research Institute USA 本田美国研究院；Johns Hopkins University 约翰霍普金斯大学）
一句话总结： 本田美国研究院与约翰霍普金斯大学提出 JEPA-TTT，让一个预训练好的动作条件 JEPA 世界模型在部署期持续自适应：只更新潜动力学预测器，视觉编码器与奖励头保持冻结，自监督更新跨 episode 累积。规划过程既不需要目标图像，也不需要在线环境奖励。在四个连续控制环境、八种动力学偏移上，JEPA-TTT 在每一种偏移上都改善了规划；经过 500 轮测试时训练后，自回归潜预测误差平均下降 83%，规划性能相对冻结的 JEPA 世界模型提升 153%（best score）与 113%（mean AUC）。
研究问题： 世界模型让智能体靠预测未来来规划，可一旦测试时的动力学与训练时不同（负载变化、摩擦改变、执行机构老化），预测就不可靠了，规划随之崩塌。难点在于部署期既没有标签，也不该指望有密集奖励；同时，如果连编码器一起更新，好不容易学到的表征与目标又会被带偏。
核心方法： ① 只更新预测器：冻结视觉编码器与奖励头，只让潜动力学预测器从真实观测到的转移上做自监督更新——表征与任务目标因此被完整保留。② 跨 episode 持久化：更新不随 episode 结束而丢弃，而是持续累积，使适应能随交互时间增长。③ Dense replay：在每一个时间偏移上形成预测窗口，存入一个不断增长的 buffer，再从 buffer 中采样 minibatch 做预测器更新——把一条轨迹里可监督的信号用满，而不是只用固定步长的若干对。④ 免目标图像、免在线奖励：规划完全依赖适配后的预测器与冻结的奖励头。
技术亮点：
- 把测试时训练从「一次性重置」改成「持续累积」：这是与既往 TTT 工作最本质的区别，也是 500 轮后还能继续涨的原因。
- 只动预测器这一手很关键：编码器与奖励头冻结，等于给自适应划了一条不会破坏预训练语义与任务目标的边界，工程上也好落地。
- Dense replay 用满监督信号：每个时间偏移都建窗口，而不是稀疏采样若干转移对；消融显示密集时间窗口本身就带来主要收益，replay 再贡献一小部分额外增益。
- 三个基线全胜：对比冻结 JEPA 世界模型、PPO test-time training（PPO-TTT）与 AdaJEPA，JEPA-TTT 在八种偏移、两个规划指标上全部胜出。文中还诚实报告了 PPO-TTT 的巨大方差——三次部署中一次困在第一间房、一次约 350 轮才发现门、一次在头 50 轮内就发现了。
实验结果： 四个连续控制环境、八种动力学偏移。相对冻结的 JEPA 世界模型，500 轮后 best score 提升 153%、mean AUC 提升 113%（两者均跨偏移取平均），自回归潜预测误差平均下降 83%。在固定评估配置下的学习曲线显示，随着交互累积，best score 与 mean AUC 在全部八种偏移上均持续改善；论文另给出一个直接在测试时动力学下离线训练的数据富足参考线，用于说明剩余的适应差距。局限在于：只研究单次、且在整个测试期内保持不变的动力学变化，观测映射、任务评分、动作接口与 episode 时长均不变。已被 NeurIPS 2026「World Models in Physical AI」Workshop 接收。
应用场景： 长期部署的机器人与自动驾驶系统（执行器磨损、载重变化、环境摩擦漂移）、仿真到真实的迁移、以及任何「训练一次、部署很久且环境会慢慢变」的控制场景。
研究价值： ⭐⭐⭐⭐（4/5）— 提出了一种成本极低、不依赖奖励的部署期适应范式。八种偏移全部改善、且误差与规划指标同步变好，说服力足够；真正的开放问题是如何扩展到持续变化的（而非单次固定的）动力学。
TacDyn-WAM: Learning Implicit Tactile Dynamics in a Heterogeneous Visuo-Tactile World Action Model
链接： https://arxiv.org/abs/2610.00638
项目主页： https://enyi-bean.github.io/TacDyn-WAM-Page/
作者 / 机构： Enyi Wang, Mingxin Wang, Quan Shi, Hetian Guo, Hongyu Wang, Xi Wang, Bin Qian, Yupeng Zheng, Wenxuan Song, Houde Liu, Yong Xu, Cheng Chi, Wenchao Ding, Yilun Chen, Yan Wang（Institute for AI Industry Research (AIR), Tsinghua University 清华大学智能产业研究院；Institute of Automation, Chinese Academy of Sciences 中国科学院自动化研究所；The Hong Kong University of Science and Technology (Guangzhou) 香港科技大学（广州）；Tsinghua University 清华大学；School of Information, Renmin University of China 中国人民大学信息学院；Fudan University 复旦大学；TARS Robotics）
一句话总结： 清华 AIR、中科院自动化所、港科大（广州）等团队提出 TacDyn-WAM，一个异构视触觉世界动作模型：它不重建未来的触觉观测像素，而是预测隐式触觉动力学。核心是 TacRep——一个通过在触觉片段上做掩码时空预测、并用关系结构蒸馏加以正则化而学到的动力学感知触觉目标空间；视觉专家与隐式触觉动力学专家在各自独立的目标空间中预测未来，通过 joint attention 相互交互，触觉专家一次前向即预测多个 horizon 的未来表征及其变化，另有一个只读触觉记忆提供当前触觉状态。在 UniVTAC 上仅用给定示范即取得 81.5% 平均成功率，达到 SOTA 级别；真机五项任务平均 71.0%，小规模预训练后升至 85.0%（对比 FTP-1 55.0、InternVLA-A1 40.0、LingBot-VA 32.0）。
研究问题： 世界动作模型通过把动作条件在预测的未来上来改善操作，触觉版本亦然。但现有触觉 WAM 大多直接继承视频生成流水线——用迭代去噪去重建未来的触觉观测（像素）。这个选择在部署漂移下十分脆弱：接触位置或接触力的微小变化，可能让触觉像素面目全非，而底层的接触演化其实仍然可预测。也就是说，模型被要求去预测一个既难又不必要还原的量。
核心方法： ① TacRep 触觉目标空间：在触觉片段上做掩码时空预测来训练，并用关系结构蒸馏正则化，使其对动力学敏感、对像素级噪声不敏感。② 异构双专家：视觉专家与隐式触觉动力学专家分别在各自的目标空间中预测未来表征，通过 joint attention 交互——避免了把两种模态硬塞进同一重建目标。③ 一次前向、多 horizon：触觉专家在单次前向中同时预测多个 horizon 的未来表征及其变化量，直接给出动力学而非静态快照。④ 只读触觉记忆：为模型提供当前触觉状态，但不允许梯度回写破坏它。
技术亮点：
- 明确的取舍主张：放弃触觉像素重建、改预测隐式动力学——这是本期触觉方向最值得记的一句判断，也和视频世界模型里「不要生成未来、只要准备好未来」的潮流相互印证。
- 异构而非统一目标空间：视觉与触觉各自的目标空间由 joint attention 耦合，既保留了模态特性，又没有丢失交互。
- 「预测变化量」而非「预测状态」：多 horizon 地预测表征及其变化，等于把动力学显式地放进了监督目标。
- 数据效率很能打：只用任务自带的示范就达到与在大规模视触觉轨迹上预训练过的模型相当的水平，这对触觉这种采集成本极高的模态尤其重要。
实验结果： UniVTAC 仿真上平均成功率 81.5%（仅用提供的示范），达到 SOTA 级别，并与在大规模视触觉轨迹上预训练的模型保持竞争力。真机五项任务、每任务 20 次试验：TacDyn-WAM 为 Stack Cups 80 / Remove Plug 60 / Insert Plug 80 / Unscrew Cup Lid 40 / Wipe Whiteboard 95，平均 71.0；加入小规模预训练后为 95 / 85 / 90 / 55 / 100，平均 85.0；基线 LingBot-VA 32.0、InternVLA-A1 40.0、FTP-1 55.0。延迟方面，LingBot-VA（naive）每 chunk 40 个动作、2211 ms、单动作 55.3 ms。消融确认了两条触觉通路各自的贡献，以及 TacRep 相对像素重建与静态编码器的优势；文中还指出在 Insert HDMI 这类示范短且近乎完美、几乎不含触觉变化的任务上，视觉分支贡献更大。局限是 TacRep 与触觉专家目前只针对单一类型视触觉传感器训练。
应用场景： 需要接触感知的精密装配与插拔（插孔、插管、拔插头）、易碎或可形变物体的抓取、视觉遮挡下的操作，以及任何力 / 接触信息决定成败的灵巧 manipulation 任务。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 把触觉 WAM 的设计原则从「把触觉当视频来生成」扭转为「把触觉当动力学来预测」，并用真机上的大幅领先（85.0% vs 55.0%）证明了这一取舍。对做触觉智能与视触觉融合的团队，这是一条值得立刻跟进的路线。
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
链接： https://arxiv.org/abs/2610.00317
项目主页： https://yj-jun.github.io/DriftOPD/
作者 / 机构： Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Jong Chul Ye（KAIST 韩国科学技术院；Sungkyunkwan University 成均馆大学）
一句话总结： KAIST 与成均馆大学提出 DriftOPD——一个无教师、无 rollout 的序列级 on-policy 蒸馏框架，用于把连续 VLA 动作专家压成一步策略。关键洞察是：序列级 reverse KL 可以精确分解为「chunk 级 reverse-KL 项」+「未来势项」，后者刻画当前动作的长程效应；DriftOPD 分别用一步 drifting 目标与一个仅从离线示范中学到的 Q critic 来优化这两项，从而只用离线数据、只做一步动作生成就完成了序列级优化。在多种 VLA 架构的仿真与真机操作上，它普遍优于现有一步蒸馏基线，并达到与多步教师策略相当的成功率。
研究问题： VLA 模型越来越依赖在 receding-horizon 控制下生成短动作 chunk 的动作专家。chunk 级训练跨本体很方便，但它优化的是局部动作似然，完全不显式考虑长程任务成功。序列级强化学习能补上这块，可它通常需要策略 rollout 与闭环交互——对真机操作来说代价高到难以接受。于是形成一个缺口：想要序列级的目标，却付不起序列级的代价。
核心方法： ① 序列级 reverse KL 的分解：从动作序列分布上的 reverse KL 出发，分解为局部动作分布项与未来序列项。② 一步 drifting 目标实现局部项：用单正样本（single-positive）的 drifting objective 做分布匹配，避免低噪声区 score 估计不稳定。③ 示范训练的 Q critic 近似未来梯度贡献：这个 critic 完全从离线示范中学习，是序列级长程信号的替代来源。④ 免 rollout、免在线交互、免独立教师：一步学生从对应教师 checkpoint 初始化，蒸馏时只更新动作专家相关参数，其余策略参数冻结。
技术亮点：
- 把「序列级目标」和「序列级代价」解耦：这是全文最有价值的一手——长程信号来自一个从示范里学出来的 critic，而不是来自真实 rollout。
- 对低噪声估计不稳定给出了具体诊断：论文指出本体特定数据有限会加剧低噪声区的估计困难（此时目标分布高度集中、score 估计本就已知不稳定），并把它与 MFD 在 ABot-M0 上的训练坍塌联系起来；drifting 目标在这种情形下更稳。
- 覆盖面扎实：π0.5（flow matching，full FT 与 LoRA r=16）、GR00T N1.5、GR00T N1.6 四种配置，RoboCasa365、RoboTwin 2.0、LIBERO、LIBERO-Plus 多个基准。
- 一个反直觉的观察：sCD 与 MFD 有时还不如直接一步教师预测，说明少步蒸馏并非无条件增益，基线选择很重要。
实验结果： 在 RoboCasa365 上（每任务 30 个 episode，三个 suite 共 540 / 480 / 480 次）：π0.5 + LoRA (r=16) 的 atomic_seen suite，10 步教师 39.6、一步教师 31.30、sCD 29.26、MFD 28.33、Drift 34.07、DriftOPD 39.26——一步推理几乎追平十步教师；full FT 设置下 DriftOPD 38.33 对一步教师 31.30。GR00T N1.5（4 步教师）atomic_seen：教师 50.7、一步教师 42.96、sCD 39.63、MFD 43.52、Drift 43.89、DriftOPD 45.37；GR00T N1.6：教师 51.1、一步教师 44.81、DriftOPD 49.44。论文另给出 critic 引导的消融（Q 值随 episode 进程的变化、成功率随 λ 的曲线）以及 LIBERO / LIBERO-Plus 上的补充结果。
应用场景： 需要低延迟闭环的真实机器人部署（一步推理省掉全部去噪迭代）、算力受限的边缘控制器、以及已有强多步教师策略、希望把它压成实时策略而无需再做在线 RL 的场景。
研究价值： ⭐⭐⭐⭐（4/5）— 把序列级优化从「必须 rollout」的约束里解放出来，是 VLA 少步化方向上一份扎实的工程与理论结合的工作。项目页标注代码即将放出，值得等一手复现。
📊 今日研究趋势
一、世界模型的 scaling 叙事正在从「向外」转向「向内」。 DeepJEPA 与 JEPA-TTT 是本期最值得放在一起读的两篇。前者把转移深度当作一条可以自适应分配的内层计算轴，用平均 1.00–1.26 次更新达到固定深度前沿，并顺手证伪了「均匀加深」（同一循环族内 K=4 从未超过 K=1）；后者把部署时间当作第二条轴，靠跨 episode 累积的自监督更新把规划性能抬升 153%。两者共享同一个哲学：算力与时间都不该被均匀分配，而应当投到真正能改变决策的地方。区别在于一个在单次 rollout 内部做选择，另一个在部署生命周期上做积累——合起来恰好覆盖了「世界模型该在哪里花钱」的两个正交维度。
二、视频世界模型的评价重心已从「像不像」移到「控不控得住、改不改得动、记不记得住」。 4Director 用完整刚性三维场景替换二维控制线索，消融里 FID 58.3→44.1、IG-IoU 48.5→60.4 一路单调变好，用户研究的控制精度 4.82 对 2.39；Oneira 用一张可被读写的世界状态表把交互后果变成持久事实，InteractionBench 的交互通过率 0.78 对基线 0.05，PSNR 21.11 对 10.09；MosaiChunk 则用非连续历史 KV 的「马赛克」把回访一致性做成了可优化目标，WorldMark 的 Revisit Memory 80.14→84.89。三篇分别解决可控性、可交互性、长程记忆，恰好拼出「交互式世界模型」所需的三块拼图。值得注意的是，三篇都没有去改预训练视频骨干，而是在条件、状态与记忆这三个外围结构上做文章——这或许说明社区已经形成共识：骨干先冻结，能力靠接口补。
三、触觉进入世界动作模型的正确姿势是「预测动力学」而非「重建像素」。 TacDyn-WAM 给出了一个非常清晰的论证：接触位置或力的微小变化会让触觉像素面目全非，但底层接触演化仍可预测，因此要求模型去重建一个既难又不必要的量是自找麻烦。它改而学习 TacRep 这一动力学感知的目标空间，让触觉专家一次前向预测多 horizon 的表征及其变化量，真机平均成功率做到 71.0%（预训练后 85.0%），对比 FTP-1 的 55.0%。这与视频侧「不必真的生成未来、把未来准备好即可」的判断是同一个思路在另一模态上的回声。
四、一步化蒸馏在图像与具身两条线上同时去掉了「额外模型」。 DMAD 把 DMD 必须维护的辅助 fake score network 换成一个共享骨干上的双判别头，并证明了判别器最优时梯度等价，一步 ImageNet-64 FID 1.04、四步 Wan2.1-14B VBench 85.15；DriftOPD 则把序列级 RL 所需的 rollout 与在线交互换成一个从离线示范学来的 Q critic，用 reverse KL 的分解把长程效应写成可优化项，一步推理几乎追平十步教师（39.26 对 39.6）。有意思的是，两篇的发力点都不是「怎么压得更小」，而是「怎么把为了压小而额外引入的那个昂贵部件也一并省掉」——蒸馏研究正在进入抠自身开销的阶段。
五、一个跨领域的共同方法论：把含混的性质拆成可归因的指标。 Oneira 把「交互」拆成 Interaction / Timing / Target 三项分别报；4Director 提出 IG-IoU 把「按轨迹运动」与「保住身份」门控在一起；MosaiChunk 发布 RememBench 把回访一致性单列成一档；DeepJEPA 用精英集稳定性给出有用计算与无用计算的边界。这些工作都没有满足于「总分更高」，而是先问「到底哪一件事变好了」。在世界模型与具身智能这类系统性强、指标易被平均掉的领域，这种做法比再刷高一个点更有长期价值。
🏆 最值得关注的 3 篇
- DeepJEPA: Scaling World Models from Within — 它重新划分了「世界模型的规模」这一概念：想象了多少个未来 vs 每个想象花了多少计算。前者已被研究透，后者几乎是空白。加上对「均匀加深」的干净证伪（K=4 从未超过 K=1）与精英集稳定性给出的可操作判据，这篇很可能改变后续潜世界模型的算力分配默认策略。
- 4Director: Controlling Video World Models with Rigid 3D Geometry — 把可控视频生成的控制信号从二维提示抬升到完整刚性三维场景，消融逐级单调、用户研究差距近两倍，还一并交出了 RealCOD-Rigid 与 IG-IoU 两个可复用资产。对做相机可控与三维一致生成的团队，这是一份可以直接对标的工作。
- TacDyn-WAM — 用「预测隐式触觉动力学」替代「重建触觉像素」，并以真机 85.0% 对 55.0% 的差距证明了取舍正确。在触觉采集成本极高、而触觉 WAM 普遍还在套用视频生成流水线的当下，这条路线值得立刻跟进。
数据来源：ArXiv 2026-10-02（Fri, 2 Oct 2026 公告批次，各分类 cs.CV 215 / cs.RO 107 / cs.AI 381 / cs.LG 430 / cs.GR 14 / cs.MM 8，去重后 886 篇） | 交叉验证：Hugging Face Daily Papers 2026-10-01 / 2026-10-02 | 分析生成时间：2026-10-02 (北京时间)