📅 本期覆盖 2026-09-16（Wed, 16 Sep 2026） arXiv 公告批次。各分类当日条数：cs.CV 123 / cs.RO 77 / cs.AI 195 / cs.LG 186 / cs.GR 9 / cs.MM 8，去重后 459 篇候选（抓取条数与 listing 声明完全吻合；cs.MM 的
?show=请求返回 406，已回退默认 recent 端点）。经全站 626 个历史 arXiv ID 与 640 条历史标题双重去重后，与已收录论文 0 重复（自检 probe 全部命中历史集合，去重环节工作正常）。8 篇入选论文 v1 均为 2026 年 9 月 15 日，与公告批次一致，无旧文混入。本期主线是**「世界动作模型（WAM）到底该预测什么」被正式摆上台面**。ModAR 用严格的同条件对照给出了一个反直觉答案：未来 RGB 并不 consistently 带来收益，而点轨迹、DINO 特征与深度图这三类「更便宜」的模态才是关键；更狠的是它从零训练就能以约 1/20 的训练 FLOPs 略微超过用视频模型初始化并微调的 Flex-π（75% vs 72%）。这直接动摇了「WAM 必须建立在大规模视频预训练之上」的默认假设。与之呼应，GeoLAM 走的是另一条路——不让世界模型去预测像素，而是让潜动作先被 4D 几何教师「校准」，用 19,860 小时无标注人类视频把潜动作空间压到几何运动上，再交给动作标注的机器人演示做过渡目标。
第二条线是**「把先验结构写进架构，而不是靠数据硬学」。SAVLA 把等变性做进流匹配动作头（状态 / 动作 / 条件全程保持不变—等变通道类型化），再配一个把斜视角图变换到规范坐标系的可学习 canonicalizer，仅此就把 LIBERO-Goal 旋转场景的成功率从 41.5% 拉到 90.4%——这个数字说明当前 VLA 的空间泛化短板，有很大一部分是架构性的、而非数据性的**。sensVLA 则用一条独立的 BEV 交叉注意力通路把「空间接地」与「语言推理」显式解耦，代价是多了激光雷达，收益是相机被污染或移除时性能只掉 29% 更少。
视频生成与蒸馏也各有进展：PhysStream 用「结构化场景记忆 + 稀疏速度增量信号」把可控视频生成从「开跑前给定完整控制信号」推进到生成过程中可交互干预物理动力学；OPD-Aha 则精准诊断了 privileged on-policy distillation 的失效模式（师生在错误前缀上趋同、跨模型监督在最需要处坍塌），并用一个「真实图像 vs 视觉空输入」的同一教师对比把视觉纠正偏好隔离出来重建蒸馏目标。
最后值得单独一提的是那篇具身世界模型综述：它没有按架构或应用分章，而是按 Plausible → Controllable → Actionable 三级能力递进组织，并配一个「几何 / 物理 / 动作接地 × 数据 / 奖励 / 策略 / 模型自身」的 3×4 矩阵。在「视觉保真度」长期被当作世界模型代理指标的氛围下，把评价标准拉回「预测是否真的改善了行为」，是对整个领域的一次有用校准。
📄 论文精选
SAVLA: Symmetry-Aware Vision-Language-Action Models for Robotic Manipulation
链接： https://arxiv.org/abs/2609.16641
作者 / 机构： Junle Li, Weixian Waylon Li, Fuxiang Wu, Fusheng Hao, Fengxiang He（爱丁堡大学信息学院；中国科学院深圳先进技术研究院）
一句话总结： 爱丁堡大学与中科院深圳先进院提出 SAVLA，在完全冻结预训练视觉—语言骨干的前提下，接上一个等变流匹配（equivariant flow-matching）动作头与一个可学习规范化器（canonicalizer），把状态、动作与条件输入分解为不变通道与等变通道并在所有层中保持这一类型化，从而在 LIBERO 上相对 GR00T N1.5 基线把四个套件平均成功率提升 5.1 个百分点，并把 LIBERO-Goal 旋转场景下的平均成功率从 41.5% 提升到 90.4%。
研究问题： 图像与语言指令本身就编码了几何信息，但现有 VLA 的空间能力纯粹来自演示数据——它们只在演示所覆盖的场景位姿范围内可靠，一旦物体或视角发生演示中未出现的旋转/平移，性能便急剧退化。靠堆数据去覆盖所有位姿既不经济也无止境。核心难题是：能否把几何对称性作为归纳偏置直接写进策略架构，让模型对未见过位姿的泛化成为架构属性而非数据属性？
核心方法： ①冻结的 VLM 骨干：保留预训练视觉—语言模型的通用语义能力，不做破坏性微调。②等变流匹配动作头：把状态、动作与条件输入分别分解为不变通道（invariant）与等变通道（equivariant），并在动作头的每一层都严格保持这种通道类型化（typing），使输入发生旋转变换时输出动作按相应的等变规律变化。③可学习规范化器：把斜视角观测图像变换到规范坐标系（canonical frame），同时对几何条件做一致的旋转变换，从而让骨干与动作头面对的是一个「位姿已对齐」的输入。④端到端训练：上述组件与冻结骨干联合优化，仍以流匹配目标监督动作生成。
技术亮点：
- 通道类型化贯穿全层是设计与朴素「数据增强 + 等变卷积」的关键区别：等变性不是靠某个层局部实现，而是整个动作头的信息流都遵守不变/等变分解，避免了中间层悄悄破坏对称性。
- **Canonicalizer 与几何条件的「一致旋转」**把「规范坐标系」这件事做成了可学习的、且与动作空间对齐的模块，而不是一个固定的启发式预处理。
- 完全冻结 VLM 骨干意味着这套空间能力可以插到任意现有 VLA 上，工程迁移成本低。
- 用 LIBERO-Goal 的旋转评测而非只看标准成功率来证明论点，切中了「演示位姿覆盖」这一真正的痛点。
实验结果： 在 LIBERO 四个套件上，相对 GR00T N1.5 基线平均成功率提升 5.1 个百分点；在专门构造的旋转评测中，LIBERO-Goal 场景的平均成功率由 41.5% 提升至 90.4%，接近翻倍。全文 8 页、4 图、6 表，体量紧凑但结论集中。
应用场景： 演示数据位姿覆盖有限的真实机器人操作任务；需要在物体摆放角度、相机视角频繁变化的产线或家庭场景中稳定工作的通用操作策略；作为现有 VLA 的「空间泛化增强插件」。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 用一个极其干净的实验回答了一个长期被含糊处理的问题：VLA 的空间泛化缺口，有多少是「数据没覆盖」，有多少是「架构不具等变性」。90.4% vs 41.5% 的差距说明后者的占比高得惊人。对做可控生成与具身策略的人来说，这也是一次提醒：对称性不该只在数据增强里被隐式利用，它值得一个显式的架构位置。
Modality-Autoregressive World-Action Models
链接： https://arxiv.org/abs/2609.17524
项目主页： https://adamhung60.github.io/ModAR/
作者 / 机构： Adam Hung, Bardienus P. Duisterhof, Deva Ramanan, Jeffrey Ichnowski（卡内基梅隆大学 CMU）
一句话总结： CMU 团队提出 ModAR，首个在预测动作之前自回归地去噪多种未来模态的世界动作模型（WAM）：每个模态的预测都以先前已生成的模态为条件。他们从零训练以系统研究数据混合、预测模态与 WAM 形式化的影响，发现预测点轨迹、DINO 特征与深度图能带来收益，而额外预测未来 RGB 并不 consistently 有益；在同数据下微调视频模型初始化的 WAM Flex-π，ModAR 以约 1/20 的训练 FLOPs 且无需预训练取得略高的平均成功率（75% vs 72%），并在三个真实双臂任务上超越基线、且能随人类视频继续提升。
研究问题： 世界动作模型通过联合建模未来观测与动作来服务机器人控制，但现有 WAM 几乎默认把「未来」参数化为 RGB 图像。然而深度、预训练视觉特征、点轨迹等其他视觉模态，可能以远低于像素重建的代价更高效地捕捉几何、语义与运动信息。于是有两个悬而未决的问题：这些模态该如何组合进 WAM？以及「视频模型预训练」对 WAM 到底是不是必需品？
核心方法： ①模态自回归去噪：ModAR 不是并行预测所有模态，而是按序自回归地去噪多个未来模态（点轨迹、DINO 特征、深度图等），每个预测都条件于先前已生成的模态，最后再预测动作。②从零训练的研究范式：为了排除预训练带来的混淆因素，ModAR 完全从零训练，从而能干净地对照训练数据混合、被预测模态集合、WAM 形式化三类变量。③与视频模型初始化路线的同条件对照：把视频模型初始化的 WAM（Flex-π）在完全相同的数据上微调，比较成功率与训练算力。
技术亮点：
- **「自回归跨模态」而非「多模态并行」**是关键的结构选择：它让几何（深度）→ 语义（DINO）→ 运动（点轨迹）的信息形成一条可利用的因果链，而不是各自为战。
- 结论的反直觉性正是其价值：在本领域普遍认为「更完整的观测（RGB）必然更好」的语境下，ModAR 用对照实验说明像素级未来预测的收益并不稳定——这对所有在做 WAM 表征设计的人都是一次直接的路线校准。
- 20× FLOPs 的结论具有强烈的工程含义：从零训练的小模型击败了需要视频预训练的对手，说明WAM 的瓶颈可能不在视觉先验，而在跨模态的时序结构建模。
- 能随人类视频继续提升，意味着该框架天然兼容可扩展的非机器人数据源。
实验结果： 在对照评估中，ModAR 的顺序生成优于现有 WAM 形式化，在所有评估的数据规模上都取得最高的平均成功率；与同数据微调的 Flex-π 相比，ModAR 取得 75% vs 72% 的平均成功率，同时训练 FLOPs 约少 20 倍且不使用任何预训练。在三个真实世界双臂任务上，ModAR 优于基线方法，并随着加入人类视频而进一步改善。
应用场景： 需要闭环视觉想象的操作策略；数据受限、无法负担大规模视频预训练的机器人团队；希望以深度/点轨迹而非像素作为内部世界状态的具身系统；利用人类视频做世界模型预训练的 scaling 路线。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是本期对「世界模型该怎么表示未来」这一问题给出的最硬的一手证据。它不仅给出了一个可用的架构（模态自回归），更重要的是用同条件对照否定了两个流行默认：未来必须预测 RGB、WAM 必须靠视频模型初始化。这类「把默认假设拿来做消融」的工作，往往比再涨几个点的方法更有长期价值。
PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
链接： https://arxiv.org/abs/2609.17521
项目主页： https://czzzzh.github.io/PhysStream
作者 / 机构： Chuhao Chen, Peter Wonka, Chaoyang Wang, Chen Wang, Qiao Feng, Sergey Tulyakov 等（宾夕法尼亚大学；Snap Inc.；KAUST）
一句话总结： 宾大、Snap 与 KAUST 联合提出 PhysStream，一个物理接地的自回归图生视频模型：以结构化场景记忆（由已生成帧在线导出的位置图与物体跟踪图）承载历史，以稀疏速度增量信号作为细粒度运动控制接口（直接编码物理量），并采用「双向教师微调 → 因果自回归学生」的两阶段训练；在合成基准上把运动分布距离（FVMD）降低 33%、轨迹误差降低 12%，并在真实场景的人类评测中获得 超过 85% 的偏好率（SIGGRAPH Asia 2026）。
研究问题： 交互式可控视频生成正在从粗粒度提示走向对动态场景的细粒度、物理有意义的操控。但现有可控方法存在两难：要么要求在生成开始前就给出完整的控制序列（无法中途干预），要么使用像素空间信号直接规定物体位置（规定的是位置而非动力学，模型并未学到背后的物理）。如何让模型既支持生成过程中的交互干预，又让控制信号落在物理量而非像素坐标上？
核心方法： ①结构化场景记忆（Structured Scene Memory）：从已生成的帧中在线导出位置图（positional maps）与物体跟踪图（object tracking maps），作为一种显式的、随时间更新的场景状态表示，取代「靠长上下文注意力隐式记住」。②稀疏速度增量控制：控制接口不是物体位置，而是稀疏的速度增量信号，直接编码物理量（速度变化），迫使模型学习底层的动力学而非位置查表。③两阶段训练：先用运动控制条件微调一个双向模型，再训练一个因果自回归模型并加入结构化场景记忆，进一步提升物理一致性。④流式自回归生成：因果化之后天然支持边生成边干预。
技术亮点：
- 「记忆结构化」而非「注意力加长」：位置图 + 跟踪图是显式的、可解释的中间状态，比在 latent 里堆 context 更省算力也更容易做一致性约束。
- 控制信号落在速度增量上是本作最值得称道的设计：位置控制会被模型退化成「复制粘贴当前帧」，而速度增量迫使模型内化「物体下一步会怎么动」，这正是物理接地的含义。
- 两阶段「双向→因果」蒸馏式训练是一个可复用的工程套路：先在双向（信息更全）下学控制，再转到因果（可流式）下学记忆。
- 支持生成中途干预多物体刚体桌面场景，这是此前方法明确不具备的能力。
实验结果： 在合成基准上，相对最强基线把运动分布距离（FVMD）降低 33%、轨迹误差降低 12%；在 in-the-wild 对比的人类评测中，PhysStream 在超过 85% 的比较中被偏好。论文已被 SIGGRAPH Asia 2026 Conference Papers 接收（2026 年 12 月 1–4 日，马来西亚吉隆坡）。
应用场景： 可交互的刚体场景视频合成与物理预演；机器人操作的「想象式」动力学推演（尤其需要在 rollout 中途改变物体运动的场景）；游戏与影视中的物理一致可控生成；作为世界模型的生成式前端。
研究价值： ⭐⭐⭐⭐（4/5）— 把可控视频生成的控制粒度从「位置」推进到「速度增量」，并把历史从「隐式上下文」换成「显式结构化记忆」，是两个清晰且可迁移的贡献。85% 的人类偏好率说明定性收益显著；略显可惜的是主要定量结果仍集中在合成基准，真实场景的物理一致性仍主要靠人评。
World Models for Embodied Intelligence: From Plausible to Controllable to Actionable
链接： https://arxiv.org/abs/2609.16697
项目主页： https://3dagentworld.github.io/EmbodiedWM/
作者 / 机构： Nanjie Yao, Hao Wang, Chong Cheng, Zhikang Chen, Wenzhe Li, Jiafei Lyu 等 13 位作者（香港科技大学（广州）、牛津大学、普林斯顿大学、腾讯、中山大学、上海交通大学、北京大学、清华大学、阿里巴巴集团、新加坡管理大学、南洋理工大学）
一句话总结： 来自 11 家机构的 13 位作者提出了一个以「能力等级」而非架构来组织具身世界模型的综述框架：Plausible（保真）→ Controllable（可控）→ Actionable（可执行） 三级递进，并配一个 3×4 矩阵，将几何、物理、动作接地三种 grounding 与数据、奖励、策略、模型自身四类改进回路交叉；据此系统梳理了操作、导航、locomotion、自动驾驶与通用具身学习五大方向的技术演进、能力需求、数据集、基准与评测协议。
研究问题： 世界模型在具身智能中的价值本应体现在「改善行为」上——维持隐状态、预判后果、比较干预、在执行偏离预期时调整。但领域的进展长期被视觉保真度这一代理指标所衡量。人在伸手拿杯子之前，会预判它的重量与抓握阻力，这种预判是粗糙且极少是画面式的，却真正在指导动作。于是核心问题被提出：到底哪些预测能力能真正改善行为？ 而现有按架构、输出模态或应用域组织的综述，恰恰把这个问题留在了implicit 状态。
核心方法： ①三级能力层级：Plausible 模型保住与任务相关的时间、几何或物理结构；Controllable 模型进一步预测干预如何改变该结构；Actionable 模型则把预测转化为规划、动作、学习、评测、验证、恢复或数据选择上的可度量增益。②3×4 交叉矩阵：以几何 / 物理 / 动作接地为行，以以数据为中心 / 以奖励为中心 / 以策略为中心 / 以模型自身为中心的四类改进回路为列，给出一个可定位任意工作「能力坐标」的坐标系。③跨方向系统梳理：用该框架统一审视操作、导航、locomotion、自动驾驶与通用具身学习，追踪技术演进脉络并厘清各方向对能力等级的真实需求。
技术亮点：
- 用「能力等级」而非「架构族谱」重排整个领域，是本综述最核心的方法论贡献：它让读者能直接问「这篇工作是 Plausible 还是 Actionable」，而不是「它用的是 RSSM 还是 Transformer」。
- Actionable 这一级的设立非常有针对性：明确要求世界模型在规划、恢复、数据选择等环节拿出可度量的增益，等于给「世界模型是否有用」设了一条可证伪的门槛。
- 3×4 矩阵把「grounding 什么」与「改进什么」显式交叉，对定位研究空白（例如「物理接地 × 以奖励为中心」这类格子）特别好用。
- 覆盖面与作者阵容保证了梳理的完整性：11 家机构横跨学界与工业界，五大具身方向全部纳入。
实验结果： 本文为综述，无自有实验。其贡献在于用上述层级与矩阵重排并比较现有工作在操作、导航、locomotion、自动驾驶与通用具身学习上的能力定位，并对数据集、基准与评测协议做横向整理。
应用场景： 具身世界模型研究的选题与路线规划；评估某个世界模型是否真正「Actionable」的自查清单；跨方向（如把导航的世界模型经验迁移到操作）的方法论对照；教学与团队 onboarding 的系统性读本。
研究价值： ⭐⭐⭐⭐（4/5）— 在世界模型论文数量激增、但「保真度越高越好」的隐含假设鲜被质疑的当下，这篇综述提供了一套把评价标准拉回行为改善的语言。它的价值不在于罗列文献，而在于给出了一个可以立刻用于批判性阅读的分类器：你这篇世界模型，是 Plausible、Controllable，还是 Actionable？
GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
链接： https://arxiv.org/abs/2609.17099
作者 / 机构： Yifan Xie, Hekun Tian, Jinkun Liu, YuAn Wang, Qiao Sun, Wenbo Ding（清华大学；北京理工大学；复旦大学）
一句话总结： 清华、北理工与复旦团队提出 GeoLAM，一套从无动作标注的人类视频中学习几何接地潜动作（geometry-grounded latent actions）的框架：以冻结的几何特征层级做未来帧重建，并用仅训练时可用的 4D 几何教师提供运动监督（3D 位移、像平面残余运动、表面朝向变化），配合可见性与置信度加权；19,860 小时人类视频预训练后，所学表示直接为动作标注的机器人演示上的世界动作模型提供过渡目标，在 LARYBench 上把回归 MSE 从 0.50 压到 0.27、分类准确率从 45.62% 提升到 71.22%。
研究问题： 人类视频蕴含丰富的操作经验，但从中抽取动作表示面临一个根本困难：纯视觉重建会把与操作相关的运动与外观变化、相机运动纠缠在一起。结果是学到的潜动作里混杂了大量与「手做了什么」无关的信息，迁移到机器人时噪声极大。如何在没有手部姿态、手部轨迹等任何显式标注的前提下，让潜动作空间只保留几何意义上的运动？
核心方法： ①冻结的几何特征层级 + 未来帧重建：用预训练的几何特征（文中为 DA3 特征的浅层 F0 / F1 两级）作为结构先验，重建未来帧，避免从像素中重新发现几何。②仅训练时的 4D 几何教师：由该教师给出空间池化后的监督目标，包含 3D 位移、残余像平面运动、表面朝向变化三类几何量。③可见性与置信度加权：降低不可靠估计的贡献，抑制遮挡与误匹配带来的噪声。④连续潜动作 → 世界动作模型：预训练后，把潜动作作为过渡目标喂给在动作标注机器人演示上训练的世界动作模型，该模型联合去噪潜动作与可执行动作 chunk，未来视频预测仅作为辅助训练任务。⑤部署时零负担：推理既不需要几何教师，也不需要生成未来视频。
技术亮点：
- 「几何教师只在训练时出现」的设计极其干净：把 4D 几何的昂贵推理全部留在训练期，部署时只剩一个标准 WAM，工程上完全可接受。
- **三类几何监督目标（3D 位移 / 像平面残余 / 表面朝向）**覆盖了刚体运动的主要自由度，比单一的重建或光流目标更完整地刻画「手与物体之间的几何变化」。
- 未来视频预测被降为辅助任务，而潜动作去噪成为主目标——这正是对「预测像素不是目的」这一趋势的具体落实。
- 19,860 小时、8 个数据源（Egocentric-10K、EgoVerse、Ego4D、EgoLive、EgoDex、Something-Something V2、HoloAssist、EPIC-KITCHENS-100）只用 RGB、不用任何标注与相机参数，可扩展性极强。
实验结果： 在 LARYBench 潜动作基准上，GeoLAM 取得平均回归 MSE 0.27（LAPA 0.97、UniVLA 0.87、villa-X 0.87、LAPA-DINOv3 0.50），平均分类准确率 71.22%（LAPA 19.13%、UniVLA 18.82%、villa-X 23.85%、LAPA-DINOv3 45.62%），其中人类子集 74.19%、机器人子集 68.25%。消融显示：加入 4D 几何教师后，平均 MSE 由 0.46 降至 0.29（相对降低约 37.0%），平均准确率由 68.76% 升至 71.22%；而纯像素重建（无教师）为 0.46 / 68.76%。
应用场景： 用互联网规模人类视频预训练机器人动作表示；缺乏动作标注的跨本体迁移；世界动作模型的潜动作空间初始化；第一人称视频理解与动作识别。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是本期与 ModAR 形成最有趣对位的一篇：两者都在回答「世界模型/潜动作该预测什么」，而 GeoLAM 的答案是**「预测被几何校准过的潜动作，而不是像素」**。45.62% → 71.22% 的分类准确率跃升说明，在无标注视频上做潜动作学习，几何监督带来的收益远大于堆数据。对做世界模型与 VLA 预训练的人来说，这是一条明确的、可扩展的技术路径。
UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data
链接： https://arxiv.org/abs/2609.16504
项目主页： https://unidex-vitac.github.io/
作者 / 机构： Hyesung Lee, Si-Hwan Heo, Sungwook Yang（韩国科学技术研究院 KIST 人形机器人研究中心；KAIST Kim Jaechul 人工智能研究生院）
一句话总结： KIST 与 KAIST 团队提出 UniDex-ViTac，用人类视频引导的仿真把「人类演示」翻译成「带指尖接触观测的机器人演示」，进而训练一个可部署的统一视触觉灵巧操作策略：从 10 个物体、50 条人类演示出发生成 10,000 条仿真轨迹，训练单个基于 ACT 的通用策略；在仿真中取得 68.3% 宏观平均成功率（纯点云基线 55.5%），在完全不使用真机演示、也不做策略微调的情况下，真机 110 次试验成功 73 次（66.4%），相对基线的 60 次（54.5%）提升 11.8 个百分点。
研究问题： 人类视频展示了大量灵巧操作，但它同时缺失两样对机器人最关键的东西：可执行的机器人动作，以及触觉测量。纯视觉模仿因此只能学到「看起来对」的轨迹，而无法学到接触-rich 操作中真正决定成败的接触力信息。核心难题是：如何把人类视频这一廉价数据源，自动转换成同时带动作与触觉监督的机器人训练数据？
核心方法： ①人类视频引导的仿真：以标注过的人—物交互（HOI）参考为引导，在仿真中生成机器人演示，并同步记录机器人侧的指尖接触观测。②物体专属的残差强化学习专家：针对每个物体训练残差 RL specialist，把 HOI 参考适配到具体的机械臂—灵巧手系统上；只保留成功 rollout，并把最终机器人动作目标与指尖接触观测量配对。③数据规模化：从 10 个物体的 50 条人类演示出发，采集到 10,000 条仿真轨迹。④统一视触觉通用策略：用单个 Action Chunking with Transformers（ACT） 架构训练通用策略，输入为点云 + 本体感知 + 四个二值接触信号（通过指尖标签与一个独立 token 编码），推理时既不需要人类参考，也不需要特权物体身份信息。
技术亮点：
- 把「人类视频 → 机器人数据」的翻译做成了「仿真 + 残差 RL」的可执行流水线，而不是靠手—机retargeting 的几何启发式，这是能规模化到 10,000 条轨迹的关键。
- 触觉以「四个二值接触信号」的极简形式进入策略，却带来 11.8 个百分点的真机提升——这有力地说明接触-rich 操作中，接触的「有无/时序」比高保真触觉图像更关键。
- 零真机演示、零策略微调直接部署（sim-to-real 一次性迁移），工程链条短且可复现。
- 通用策略而非物体专属：单策略覆盖 6 个已见 + 5 个未见物体，验证了泛化。
实验结果： 仿真中，68.3% 宏观平均成功率，显著优于纯点云基线的 55.5%。真机上，无真机演示、无微调条件下 110 次试验成功 73 次（66.4%），基线为 60 次（54.5%），提升 11.8 个百分点，覆盖 6 个已见与 5 个未见物体。工作受韩国国家研究基金会（NRF）与 KIST 机构项目资助。
应用场景： 接触-rich 的灵巧抓取与手内操作；从人类视频低成本构建机器人触觉操作数据集；人形机器人手部的通用操作策略；触觉传感器标定负担较重的场景（本方法只需二值接触信号）。
研究价值： ⭐⭐⭐⭐（4/5）— 在「触觉很重要」几乎是共识、但「触觉数据从哪来」长期卡住的背景下，给出了一条人类视频 → 仿真 → 带接触监督的机器人数据 → 零微调真机部署的完整通路。最值得记的一点是：二值接触信号就能带来两位数的真机提升，这对触觉传感器的硬件选型（是否必须高分辨率）有直接启示。
sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader
链接： https://arxiv.org/abs/2609.17021
作者 / 机构： Gopi Krishna Erabati, Bjarne Johannsen, Angus Stewart, Vardeep Singh Sandhu（sensmore GmbH，德国柏林）
一句话总结： sensmore 公司提出 sensVLA，一个面向自动轮式装载机的 VLA 架构：以 Qwen3-2B VLM 提供任务条件语义上下文，配一个完全可训练、以流匹配速度回归训练的 Transformer 动作专家；关键设计是把前后激光雷达融合得到的 BEV 特征通过一条专用交叉注意力通路直接送入动作专家，从而把空间接地与语言推理显式解耦。在真实装载机数据上，其纵向速度 RMSE 降低 28%、位移误差降低 9%，且在相机流被污染或移除时性能退化减少 29%（ICRA 2026「From Data to Decisions: VLA Pipelines for Real Robots」）。
研究问题： 自动轮式装载机控制需要同时对任务语义、自我中心视觉、本体感知与 3D 场景几何做联合推理。重型装备的作业环境（扬尘、强光、遮挡）会让纯相机方案迅速失效，而作业精度又高度依赖对料堆、地形的空间理解。核心难题是：如何在保留 VLM 语言推理能力的同时，把空间接地建立在不受视觉退化影响的模态上，并让两条信息流在决策时仍能交互？
核心方法： ①双流骨干：Qwen3-2B VLM 消费前后 RGB 视图提供任务条件语义上下文；一个完全可训练的 Transformer 动作专家负责输出动作。②BEV 专用交叉注意力通路：把前后激光雷达融合提取的 BEV 特征通过专用交叉注意力通路直接送入动作专家，绕开 VLM 的语言处理链。③解耦但可交互：空间接地与语言推理在结构上分离，但在决策时仍允许两条流交互。④流匹配速度回归训练动作专家，输出 6 个动作维度：纵向速度、转向、机体系位移、动臂速率、铲斗速率。
技术亮点：
- 「把 BEV 直接接到动作专家」是本作最值得借鉴的结构决策：它避免了几何信息在 VLM 的语言 token 空间中被稀释，同时也让空间通路可以独立于视觉骨干被替换或增强。
- 解耦带来可度量的鲁棒性收益：相机流被污染或移除时，性能退化比纯相机基线少 29%——这个数字把「多模态冗余」从口号变成了量化结论。
- 面向真实重型装备而非仿真基准，动作空间（动臂 / 铲斗速率）与评测指标（纵向速度 RMSE、位移误差）都紧扣作业需求，实用性强。
- 用 Qwen3-2B 这种小体量 VLM，符合车载算力约束。
实验结果： 在真实世界轮式装载机数据集上，sensVLA 与一个强纯相机基线达到聚合的每步持平，但在装载相关场景中把纵向速度 RMSE 降低 28%、位移误差降低 9%；此外，当相机流被污染或移除时，其性能退化减少 29%。论文已被 ICRA 2026「From Data to Decisions: VLA Pipelines for Real Robots」接收。
应用场景： 矿山与工地的自动轮式装载机、推土机等重型装备；任何相机易受污染但激光雷达可靠的户外作业场景；需要量化「传感器失效时退化多少」的安全关键自主系统。
研究价值： ⭐⭐⭐⭐（4/5）— 在 VLA 研究高度集中于室内桌面操作的当下，这篇把 VLA 拉到了重型装备与真实工业约束上，并用「解耦空间接地」这一具体设计给出了可度量的鲁棒性收益。对做具身智能落地的人来说，「相机挂了还能剩多少」比「标准场景涨几个点」更有说服力。
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
链接： https://arxiv.org/abs/2609.16459
代码： https://github.com/Echochef/OPD-Aha
作者 / 机构： Chenhao Qiu, Dawei Li, Yechao Zhang, Lei Gong, Zhen Tan（亚利桑那州立大学；弗吉尼亚大学；史蒂文斯理工学院）
一句话总结： 亚利桑那州立大学、弗吉尼亚大学与史蒂文斯理工团队精准诊断了 privileged on-policy distillation（特权同策略蒸馏）的坍塌机制——当学生在回答开头误读图像，累积的错误推理会把教师一起带偏，师生在同一个幻觉上趋同，使得跨模型监督恰恰在最需要纠正的位置失效；他们发现教师的视觉纠正偏好并未丢失（对比同一教师给真实图像与「视觉空输入」的预测即可分离出来），据此提出 OPD-Aha 直接从这一被隔离的视觉偏好重建蒸馏目标，学生因此学会用 wait / actually 等反思 token 主动中断自己的错误推理，在 4B 上平均准确率从 76.4% 提升到 80.4%（+4.0），9B 上从 78.2% 提升到 81.4%（+3.2）。
研究问题： Privileged on-policy distillation 允许教师用仅训练时可访问的丰富视觉证据来评估学生轨迹，师生双方都条件于同一段学生自己生成的前缀。这个设定有一个隐蔽的致命缺陷：一旦学生在开头误读了图像，不断累积的错误推理（linguistic momentum）最终会把教师也拽离它自己的视觉证据，师生收敛到同一个幻觉上，标准的跨模型监督随之坍塌——而这恰恰是最需要纠正的时刻。核心难题是：如何在师生已经「达成错误共识」时，仍能取出有效的纠正信号？
核心方法： ①隔离视觉偏好：比较同一个教师在给定真实图像（分布 $p_t^+$）与给定视觉空输入（分布 $p_t^0$）时的预测，二者的差即为被错误文本前缀掩盖的纯视觉纠正偏好。②目标重建：以闭式解构造重建后的蒸馏目标 $q_t = \mathrm{softmax}\big((1+\beta)\log p_t^+ - \beta \log p_t^0\big)$，其中 $\beta$ 控制视觉纠正强度（$\beta=0$ 退化为标准 privileged OPD，实验取 $\beta=4$）。该目标对基础分布做指数倾斜：保留教师在有真实证据下的完整信念，同时沿视觉输入偏好的方向选择性放大/抑制 token。③替换蒸馏目标：用 $q_t$ 替代标准 privileged 教师进入蒸馏散度 $\ell_t = D_{\text{dist}}(q_t, p_t^{\mathcal{S}})$，学生沿自己未改变的 rollout 优化。④零推理开销：视觉偏好完全通过调整后的目标概率传递，推理时不需要任何辅助视觉输入。
技术亮点：
- 诊断极其精准：把失效归因于「师生在错误前缀上趋同」而非「教师不够强」，并用一个可计算的对比（真实图 vs 视觉空）把信号救回来——这是典型的「先找对病根，再开药方」的工作。
- 闭式目标重建干净优雅：$q_t$ 的展开形式 $(1+\beta)\log p_t^+ - \beta\log p_t^0$ 明确显示了「保底 + 选择性倾斜」两部分的作用，可解释性强。
- 涌现式的自我反思是最有意思的现象：学生自发学会在生成中途插入 wait / actually 打断自己，且反思之后的生成更少依赖累积的错误文本、更多依赖视觉证据——这等于把测试时的自我纠正能力蒸馏进了模型。
- 推理零额外开销，且能零样本迁移到多模态数学推理（MathVerse / MathVista / MathVision / WeMath / DynaMath）。
实验结果： 在六个视觉推理基准（$V^*$、Zoom、HR-4K、HR-8K、MME-EN、MME-CN）上，4B 模型平均 80.4%（GRPO 72.7、V-Zero 74.1、Vision-OPD 76.4），9B 模型平均 81.4%（GRPO 76.0、V-Zero 77.3、Vision-OPD 78.2），相对标准 privileged 蒸馏绝对提升 4.0 / 3.2 个百分点；4B 单基准成绩为 93.7 / 62.5 / 88.6 / 84.8 / 77.7 / 74.9，9B 为 94.8 / 63.9 / 88.9 / 87.5 / 78.3 / 75.2，均优于同规模的 Gemini 3.1 Pro、GPT-5.4、Kimi-K2.6 等通用模型。消融表明：在相同重建强度（$\beta=1$）下，用师生分歧重建只带来 76.4% → 76.9% 的边际提升，而用同一教师的真实—空差异重建则达到 78.8%，验证了信号来源的正确性。零样本迁移到多模态数学推理时，Vision-OPD 会把 4B 学生推到低于未对齐 Base 模型的水平，而 OPD-Aha 保持了收益。全文 24 页、12 图、7 表。
应用场景： 多模态大模型的视觉推理能力对齐与蒸馏；需要模型具备「自我质疑—纠正」能力的Agentic 场景；教师模型可访问特权信息、学生模型只能依赖自身输入的各类蒸馏设定；小模型视觉推理能力提升。
研究价值： ⭐⭐⭐⭐（4/5）— 虽然主线是语言/多模态推理而非视频或具身，但它揭示的**「师生趋同导致监督坍塌」**这一现象具有普遍性：任何把教师条件在学生自己生成前缀上的 on-policy 蒸馏（包括具身策略的 on-policy 蒸馏）都可能踩到同一个坑。而「用同一模型在有无特权信息下的分布差来隔离纠正信号」这一招，是一个可以跨领域迁移的通用技巧。
📊 今日研究趋势
其一，世界动作模型的争论焦点从「怎么建」转向「预测什么」。 ModAR 与 GeoLAM 是本期最能说明这一转向的两篇，且给出了互补的答案。ModAR 在 WAM 内部做严格对照，发现点轨迹、DINO 特征、深度图这三类模态能稳定带来收益，而未来 RGB 并不 consistently 有益——这几乎是对「WAM = 视频模型 + 动作头」这一流行范式的直接质疑。GeoLAM 则从输入侧给出呼应：它根本不让世界模型去重建像素，而是用 4D 几何教师把潜动作空间压到 3D 位移、像平面残余运动与表面朝向变化上，未来视频预测被明确降为辅助任务。两者合起来指向同一结论：像素级的未来预测可能是手段而非目的，把它当目的会同时付出算力与信噪比的双重代价。
其二，「架构先验」正在取代「数据覆盖」成为空间泛化的主要解法。 SAVLA 的 41.5% → 90.4% 是最刺眼的数字：同一批演示数据下，仅仅把等变性做进流匹配动作头（并在全层保持通道类型化）、再配一个可学习的 canonicalizer，LIBERO-Goal 的旋转场景成功率就几乎翻倍。这说明当前 VLA 的空间短板主要不是数据没覆盖到位，而是架构本身不具备对称性。sensVLA 提供了另一个角度的佐证：把 BEV 几何通过专用交叉注意力通路直连动作专家、与语言推理解耦之后，相机被污染或移除时的性能退化减少了 29%。两者共同提示：与其继续扩大位姿增强的规模，不如先问架构是否把已知的物理/几何结构用上了。
其三，人类视频作为数据源的「翻译层」日趋成熟，而触觉正在被简化成最有效的形式。 GeoLAM 用 19,860 小时无标注人类视频学潜动作，UniDex-ViTac 用 50 条人类演示经「仿真 + 残差 RL」翻译出 10,000 条带接触观测的机器人轨迹——两者的共同点是不再指望人类视频直接给出动作，而是引入一个可学习的中间翻译层（几何教师 / 残差 RL 专家）。值得注意的是 UniDex-ViTac 的触觉形式：仅仅四个二值接触信号就带来 11.8 个百分点的真机提升。这与 GeoLAM 的「不要预测像素」遥相呼应——信息的最小充分形式，往往比高保真形式更有效。
其四，蒸馏研究正在从「怎么对齐分布」转向「信号本身是否可信」。 OPD-Aha 的价值不在于又提了一个蒸馏目标，而在于它指出：当教师条件在学生自己生成的前缀上时，师生会同归于一个幻觉，跨模型监督在最需要它的地方坍塌。这个诊断对具身领域的 on-policy 蒸馏同样成立。它的解法也颇具迁移性——用同一模型在「有特权信息」与「无特权信息」两种条件下的分布差来隔离出纯净的纠正信号。
🏆 最值得关注的 3 篇
- Modality-Autoregressive World-Action Models（ModAR，CMU） — 用同条件对照否定了两个流行默认（未来必须预测 RGB、WAM 必须靠视频模型初始化），且以约 1/20 训练 FLOPs 从零训练击败视频模型初始化的 Flex-π（75% vs 72%）。这类「拿默认假设做消融」的负面结果，往往比正面的 SOTA 更能改变领域走向。
- SAVLA（爱丁堡大学 + 中科院深圳先进院） — LIBERO-Goal 旋转场景 41.5% → 90.4%，用一个干净的实验证明 VLA 的空间泛化缺口主要是架构性的而非数据性的。等变通道类型化贯穿全层 + 可学习 canonicalizer 的组合，是可直接迁移到其它 VLA 上的设计。
- GeoLAM（清华 + 北理工 + 复旦） — 在 19,860 小时无标注人类视频上，用 4D 几何教师把潜动作校准到几何运动上，LARYBench 分类准确率 45.62% → 71.22%、回归 MSE 0.50 → 0.27，且部署时不需要几何教师。为「人类视频 → 世界动作模型」提供了一条可扩展且工程友好的路径。
数据来源：ArXiv 2026-09-16（Wed, 16 Sep 2026）公告批次 | 分析生成时间：2026-09-17 06:00 (北京时间)