📅 本期为周末补遗，来源批次是 2026-09-18（Fri, 18 Sep 2026）。arXiv 周末不做公告：今天（Sun, 20 Sep）各分类 listing 最新公告日仍停在 09-18，且当日条数与上一期一字不差（cs.CV 125 / cs.RO 133 / cs.AI 215 / cs.LG 198 / cs.GR 9 / cs.MM 7，去重后 547 篇）。ID 前沿取证同样印证：2609.20800 存在（v1 = 2026/09/17），2609.20900 起全部 404，说明周末投稿尚未分配 ID；Hugging Face daily_papers 在 09-19 返回 []、09-20 直接返回 400（未来日期）。因此本期不重复出 09-18 正刊，而是从该批次继续补选 8 篇高相关论文。

经全站 650 个历史 arXiv ID 与 680 条历史标题双重去重，入选的 8 篇与已收录论文 0 重复；自检锚点吻合：dup_id = 8，恰好等于上一期从同一批次收录的 8 篇，去重环节工作正常。另按旧文核验规则剔除了 CleanVideo（2609.20267，T2V 概念擦除）—— 它虽出现在 09-18 批次，但 abs 页 Submission history 显示 v1 为 Wed, 29 Jul 2026 且仅单版本，属旧文重新进入 listing。

本期最值得琢磨的一条线是：世界模型的预测目标正在从「相机将看见什么」扩展到「机器人将感受到什么」。Feel-WM 说得最直接——在城市里，预测一帧画面足以代表未来；但在越野场景，决定成败的是机器人会不会打滑、侧倾、抖动，而这些只有本体感受知道。它把「未来本体状态 + 失败风险」写进世界模型的输出，用机器人自己的经验学、不需要人工标注，然后在规划打分里把失败风险与「离目标多近」分离成两项加权。消融很有说服力：只留目标相似度一项，山道路线的 SR 就从 84.0% 掉到 62.0%。TacSushi 走的是同一条路的另一分支——它在训练时让解码器预测「未来视觉观测、任务进度、相对接触风险、触觉摘要」，部署时把这个解码器直接删掉；也就是说，未来的物理后果只作为监督信号存在，不进推理图。两者共同说明：让模型在训练时见过后果，比在推理时预测后果更划算。

第二条线是把大模型的能力蒸馏成能实时跑的小模块，正在成为长程任务的通用解法。StageGuard 针对的是一个很具体却长期被绕开的痛点：分层规划里「什么时候该切到下一个子任务」，过去要么靠人工写完成判据（真机上很难写全），要么直接问云端 VLM（慢、且判断边界与任务完成标准并不对齐）。它的做法是先让教师模型结合演示轨迹生成「为什么该切换」的结构化解释，再让轻量学生 VLM 学会产出紧凑的自我解释。结果相当悬殊：LIBERO 上切换完成度 96.23%、下一子任务准确率 89.81%，而 GPT-5.6 Luna 只有 37.92% 与 20.94%。ViLoMan 则是把「特权教师 + 在线 DAgger 蒸馏」用在人形全身操作上，学生只吃机载深度 + 本体感受就能直接输出关节级动作，还导成 ONNX 部署到真机。有意思的是它的接口对比：走潜 token 接口的 SONIC 只有 62.10/58.30、走任务空间接口并接 VLM 规划器的 Handoff 更是低到 23.81/20.94 且单次执行要 116.89 秒，而直接关节级输出的 ViLoMan 是 77.16/77.55、执行 6.20 秒——中间层接口带来的语义便利，抵不过它在延迟与误差累积上的代价。

第三条线是数据采集与训练组织的「去机器人化」。HIL-UMI 把 human-in-the-loop 后训练从真机上摘了下来：操作员拿着手持 UMI 采集时，系统在同一路观测流上只查询不执行当前策略，用 Energy Score 比较人类轨迹与策略推断的差异，只在出现分布外区域时触发采集；另一条回路用在线优势预测找出值得精炼的片段。整套流程不需要真机反复 rollout，却在四个真机任务上稳定超过 SFT，并在 Clean Up Table 上以更低的单帧采集时间超过 HG-DAgger。Co-VLA 则解决另一个层面的「不能集中」——机器人数据天然分散在不同本体、任务与地点，它用 ADMM 共识优化做联邦训练，把一致性约束直接加在低秩因子上，同一套算法同时支持全量训练、LoRA 与自适应秩 SoRA；在 10 个 client、1500 轮通信的设置下，SmolVLA 从零训练的结果是 Spatial 0.80 / Object 0.91 / Goal 0.92 / Long 0.71，与集中式训练（0.81/0.95/0.94/0.70）基本持平，且明显好于 FedAvg。

📄 论文精选

ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots

链接： https://arxiv.org/abs/2609.19340

项目主页： https://viloman-anonymous.pages.dev/

作者 / 机构： Zejie Tian, Ruibing Hou, Bingpeng Ma, Börje F. Karlsson, Shiguang Shan（中国科学院计算技术研究所人工智能安全国家重点实验室、中国科学院大学、北京人工智能研究院 BAAI）

一句话总结： 中科院计算所与 BAAI 团队提出 ViLoMan，一个可扩展的人形全身 loco-manipulation 框架：先把人类—物体交互的部分运动学演示补全为物理可执行的完整机器人轨迹，再用师生蒸馏学出统一策略，从机载深度观测与本体感受直接映射到关节级全身动作，部署时既不需要参考运动也不需要中间指令。

研究问题： 人形机器人的全身移动操作要求把「走过去」与「动手做」无缝接起来，但两条路都被数据卡住：真机上采集多样的、物理可执行的机器人—物体交互数据成本极高，而直接从机载观测学习统一的全身控制又极其困难。人类—物体交互（HOI）数据集虽然量大，却只记录交互片段、缺了从不同初始位姿「接近目标」的那一段；且直接把人体动作重定向到人形上常常违反机器人自身的形态与接触约束。核心问题是：如何把不完整的、来自人的演示，规模化地变成机器人能真正执行的完整轨迹，并据此端到端学出可部署的全身策略？

核心方法： ①演示补全：把 HOI 数据中的部分运动学演示补全为完整的、物理可执行的机器人轨迹，补齐缺失的接近阶段，并满足人形机器人的形态学与接触约束。②特权教师 + 在线 DAgger 蒸馏：先训练能看到特权信息的教师（含物理感知精修与残差自适应），再通过在线 DAgger 把教师知识蒸馏进只吃机载深度 + 本体感受的学生；学生是一个极轻量的 MLP（最优为 3 层）。③直接关节级接口：不引入潜 token 或任务空间等中间层，直接输出 29 维关节动作，避免中间表示带来的误差累积与推理开销。④ONNX 导出部署：学生策略导出为 ONNX，在 MuJoCo 做 sim-to-sim 验证后直接部署到物理机器人。

技术亮点：

  • 在方法对比表里是唯一同时满足全部五项要求的方案：机载视觉、多运动策略、统一全身控制、无需参考运动、无需中间指令——此前的方法（HDMI、ResMimic、SUGAR、VisualMimic、ULTRA、Imagine2Real、OmniContact、VIRAL、DoorMan）都至少缺一项。
  • 消融揭示视觉的必要性非常干净：去掉视觉输入（w/o vision）后关门成功率从 77.16/77.55 掉到 43.72/33.96，纯 BC 更是只有 36.82/31.89——说明涨点来自「闭环的视觉—本体感知」，而不是动作先验本身。
  • 只吃机载深度：不依赖外部动捕或第三人称相机，闭环时根据当前机器人—门的构型调整接近姿态、接触姿态与关门动作，而不是回放固定轨迹。
  • 学生架构极简（MLP-3）却优于 CVAE（74.91/76.42）与更宽的 MLP-4（76.77/73.77），说明瓶颈不在容量而在蒸馏信号质量。

实验结果： 关门任务成功率（训练 / 留出测试分割）：ViLoMan（MLP-3）77.16% / 77.55%，存活率 99.22% / 99.81%；对比 SONIC（潜 token 接口）62.10% / 58.30%、执行时间 6.25 / 6.27 秒，Handoff + Qwen3-VL-8B（任务空间接口）23.81% / 20.94%、执行时间 99.98 / 116.89 秒，而 ViLoMan 执行仅需 5.79 / 6.20 秒。特权教师上限为 GMT with residual adaptation 88.12% / 84.91%，可见学生已接近教师水平。真机实验直接部署同一策略，仅用深度与本体感受即完成移动开门操作；论文 10 页 7 图。

应用场景： 人形机器人开门、推拉铰接物体等需要「走过去 + 动手做」的家庭与服务场景；缺乏大规模真机交互数据时的规模化数据生成；需要低延迟闭环的全身控制部署（ONNX 可直接在边缘推理）。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这篇工作把「人形全身操作为什么难落地」拆成了三个可分别攻克的工程问题（数据不完整、观测不机载、接口太间接），并给出了一套端到端可验证的解法。尤其接口对比那一栏很有价值：在需要高频闭环的全身控制上，中间层语义接口的代价远超收益，这个结论对整个 VLA / 分层规划社区都有参考意义。

Feeling Terrain Before Crossing: World Models for Off-Road Navigation

链接： https://arxiv.org/abs/2609.19863

作者 / 机构： E-In Son, Dong-Wook Kim, Ji-Hoon Hwang, Kangsun Lee, Jisung Bae, Jung-Taak Kim, Seung-Woo Seo（首尔大学电气与计算机工程系 Seoul National University）

一句话总结： 首尔大学团队提出 Feel-WM，首个在越野导航中**以本体感受为条件、并同时预测「机器人会感受到什么」**的世界模型：物理未来被表示为未来本体状态与失败风险，完全从机器人自身经验中学得、无需人工标注，规划器在打分时把失败风险与「离目标多近」分离加权。

研究问题： 导航世界模型靠「先见之明」规划——预测每条候选动作序列会产生什么未来，再挑最好的，而不是把观测直接映射成动作。在城市里，预测一帧画面就足以代表未来；但越野导航的成败取决于机器人与地形的相互作用，预测必须同时覆盖「相机会看到什么」和「机器人会感受到什么」。现有以场景为中心的模型并不预测沿规划轨迹机器人会打滑多少、侧倾多少、抖动多少。核心问题是：如何把本体感受这种直接刻画动力学交互的信号，变成世界模型可预测、规划器可用的目标？

核心方法： ①本体感受条件化：用冻结的 DINOv2 ViT-B/14 提取每帧 256 个 768 维 patch token；本体感受编码器是一个一维卷积网络，处理每帧前 0.5 秒因果窗口内的 50 个采样、输出 128 维嵌入。②双头预测物理未来：一个六层八头动力学 Transformer 同时预测未来本体状态与失败风险，二者都从机器人自身经验学习，不需要人工标签；监督时域设为 1 秒，rollout 时域 8 步，每个训练样本从 {0.1, 0.2, 0.5, 1.0} 秒中抽取单步时长。③可分离打分：规划器把物理未来与场景一起 rollout，在打分函数里把预测失败风险与「目标相似度」分开加权（λ_fail 为独立系数）。④跨平台迁移：轮式用轮式打滑项，换到 ANYmal-C 四足时把轮式打滑替换为足端打滑，并增加一个运输成本通道，底层都接 Isaac Lab 预训练的粗糙地形 locomotion 策略。

技术亮点：

  • 失败风险这一项是有独立贡献的，不是装饰：把同一份 Feel-WM checkpoint 在山道路线上只用目标相似度打分（λ_fail = 0），成功率从 84.0% 掉到 62.0%、进度从 88.6% 掉到 77.9%（50 个 episode）。这直接证明了「预测会不会失败」本身就能改善轨迹选择。
  • 本体感受作为输入也确实有用：在 TartanDrive 2 上，去掉本体感受输入（保留全部预测头）后，各个时域上的特征预测 R² 与失败风险 AUC 都下降——说明它既改善了物理未来的预测质量，也通过规划传导到了下游。
  • 评测指标设计公道：闭环实验同时报成功率（SR）、路线进度，以及两个乘坐质量指标——实现粗糙度（垂直加速度标准差）与偏航振动（航向角速度绝对均值），避免「靠更猛的颠簸换来的成功」被误判为更优。
  • 覆盖轮式（Husky，Gazebo 3 条路线 + Isaac Sim 13 个环境，按坡度分为 7 平 6 陡）与四足（ANYmal-C，6 平 5 陡，各 20 episode），并给出真机山道部署。

实验结果： 在真实越野数据与仿真中，Feel-WM 在开放环规划与闭环粗糙地形导航上均优于纯视觉导航世界模型，且轮式与四足平台一致成立。规划器每轮把采样分布重新拟合到候选池中前 10% 的精英样本、最终执行取精英集均值；Husky 实机在山道上完成端到端策略无法完成的路线，能提前预测前方粗糙地面并绕开。

应用场景： 越野与野外移动机器人（巡检、搜救、农业、矿区）；需要按乘坐质量而非仅按到达率优化的高速移动平台；四足与轮式共用一套世界模型的异构机器人队。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 这是把「具身」二字真正落进导航世界模型的一篇：它指出在交互主导的场景里，未来画面的充分性假设失效了，必须把本体感受同时放进输入与输出。更值得称道的是工程上的克制——失败风险无需人工标注，仅靠机器人自己的经验，这让方案在真机上可持续迭代。

TacSushi: Tactile-Grounded World-Action Modeling for Dexterous Sushi Manipulation

链接： https://arxiv.org/abs/2609.19613

作者 / 机构： Haodi Hu, Kaen Kogashi, Toshiaki Koike-Akino（南加州大学 University of Southern California、三菱电机研究院 MERL、三菱电机 Mitsubishi Electric）

一句话总结： USC 与 MERL 团队提出 TacSushi，一个以 Cosmos3 为骨干、触觉接地的世界—动作策略：训练时让解码器预测已记录的未来后果（未来视觉观测、任务进度、相对接触风险、触觉摘要），部署时把该解码器整体移除，从而让「未来物理后果」只作为监督信号存在而不进入推理图。

研究问题： 灵巧的食物操作需要在形变、遮挡与不确定接触下做控制——拿捏寿司饭团时，视觉几乎看不到接触面，力道全靠指尖。这类任务的核心困难是：接触信息如何进入动作表征，以及未来的物理后果该怎样被用来改进当前策略？ 更实际的是，真机上的失败试验往往比成功试验信息量更大（它告诉你什么力道会导致捏碎），但标准模仿学习会一并模仿这些失败动作，如何只吸收其「后果」而拒绝其「动作」？

核心方法： ①骨干与触觉融合：骨干编码当前 RGB、语言与手部状态，用逐特征门控融合（feature-wise gated fusion）把指尖触觉特征注入动作表征。②训练专用的后果解码器：以演示动作块为条件，解码器预测已记录的未来视觉观测、任务进度、相对接触风险与触觉摘要四项；部署时移除。③失败试验的非对称利用：失败试验同样提供后果监督，但其动作被排除在模仿之外——既利用了失败蕴含的接触信息，又不污染行为克隆。④面向食物品质的评测协议：终端成果不只用单一几何阈值判定，而是用一套锚定视觉质量协议，每次 rollout 等权融合 5 个人工评分与 3 个视觉语言模型评分。

技术亮点：

  • 「训练时预测后果、推理时不预测」是一个干净的设计选择：世界模型头在这里纯粹是表征学习工具，不占推理预算，却把未来信息注入了动作表征——与本期 Feel-WM 的「预测目标扩展」思路同源但路径相反（一个把后果留在推理里做规划，一个只在训练里做监督）。
  • 失败数据的处理方式很务实：后果用于监督、动作排除于模仿，把「失败」从噪声变成了带符号的梯度信号。
  • 评测协议针对食物任务做了专门设计：单一几何阈值无法区分「捏起来了」与「捏成一团」，等权融合人工与 VLM 评分的锚定协议更贴近真实品质要求。
  • 实验规模扎实：340 条成功 + 50 条失败真机试验训练，600 次独立 rollout，覆盖 3 个分布内任务与 2 种分布外食材变体，共比较 6 种方法。

实验结果： 完整 TacSushi 达到分布内平均成功率 68.3%、分布外 37.5%；对比去掉未来后果监督的 36.7% / 10.0%，以及用直接触觉拼接替代门控融合的 25.0% / 17.5%。两组对照分别说明门控触觉融合与仅训练期的预测式监督带来的是互补的收益，而非重复。论文 8 页 5 图。

应用场景： 食品处理与制备（寿司、烘焙、果蔬分拣）；易碎、易变形物体的灵巧抓取与放置；需要从失败中学习力道边界的接触丰富操作。

研究价值： ⭐⭐⭐⭐（4/5）— 任务虽小（寿司），问题却很典型：视觉在接触面失效、力道决定成败、失败比成功更有信息量。它给出的「后果只做监督、不做推理」这一招，对任何想在真机上用世界模型但又负担不起推理开销的团队都有直接借鉴价值。分布外 37.5% 也如实说明泛化仍是瓶颈。

StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation

链接： https://arxiv.org/abs/2609.20791

作者 / 机构： Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao, Yangzheng Wu, Tengyue Ba, Zhanguang Zhang, Yingxue Zhang（华为诺亚方舟实验室 Huawei Noah’s Ark Lab、不列颠哥伦比亚大学 UBC、多伦多大学 University of Toronto、2012 Labs 基础模型部）

一句话总结： 华为诺亚方舟与多伦多大学团队提出 StageGuard，一个用于长程任务「阶段切换」判断的 agentic 蒸馏框架：教师模型结合演示轨迹生成关于子任务完成与策略切换的结构化解释，轻量学生 VLM 学会产出紧凑的自我解释并据此做监督微调，把大模型对「完成」的理解对齐到任务真实的完成标准上，同时支撑实时在线监控。

研究问题： 分层规划框架把多个机器人控制策略的技能组合起来执行长程任务，其中何时终止当前技能、推进到下一子任务是成败关键。现有做法要么依赖预先设计的完成信号检查器（在真实执行中很难写全），要么直接用大规模 VLM 判断——但 VLM 的决策边界并不天然对齐任务的完成标准，且云端部署与冗长推理带来显著延迟，无法做实时监控。核心问题是：如何既拿到大模型的语义理解，又让它变成一个快到本地能跑、且判断标准与任务真正对齐的小模块？

核心方法： ①教师工作流生成结构化解释：把教师模型的推理与演示轨迹结合，产出关于「子任务为何完成、为何该切换策略」的结构化解释，而不是只给一个二值标签。②轻量学生的自我解释微调：学生 VLM 不直接模仿标签，而是先生成紧凑的自我解释（self-explanation），再用这些解释做监督微调——把「学会解释」作为对齐决策边界的载体。③消融出解释的价值：设置了 w/o explain（不给解释）与 Decision-Only（只给决策、不生成解释）两个变体做对照。④闭环集成：把阶段切换模块接入分层机器人控制，在 BEHAVIOR-1K 上评估闭环任务成功率，并在 UR5e 与 piper 机械臂上做真机验证。

技术亮点：

  • 通用大模型在这个任务上几乎全线失灵：GPT-5.6 Luna 的切换完成度只有 37.92%、下一子任务准确率 20.94%；Gemma 4 E4B、Gemma 4 12B Unified、Qwen3.5-0.8B、ROVER-0.8B 更是直接 0.00。这说明阶段切换不是通用推理能力的副产品，而是需要专门对齐的任务。
  • 对比专用小模型同样有大幅优势：ROVER-4B 只有 26.23% / 30.50% / 5.47%，而 StageGuard 是 96.23% / 97.50% / 89.81%。
  • 解释机制主要提升的是「下一子任务准确率」：w/o explain 变体切换完成度也是 96.23%，但下一子任务准确率只有 74.15%，完整版是 89.81%——说明解释带来的不是「能不能判断当前阶段结束」，而是「知不知道下一步该做什么」。
  • 效率与精度的权衡被显式度量：Decision-Only 变体推理速度可达 47.60 Hz，但准确率掉到 69.43%；完整版 1.03 Hz。作者明确把这一权衡摆在台面上供选择。
  • 局限也很诚实：依赖带标注的演示、监督生成计算昂贵、对分布偏移仍敏感。

实验结果： 在 LIBERO 上，StageGuard（完整版）取得切换完成度 96.23%、完整轨迹 97.50%、下一子任务准确率 89.81%、推理速度 1.03 Hz，全面优于 GPT-5.6 Luna（37.92 / 39.50 / 20.94 / 0.29）与 ROVER-4B（26.23 / 30.50 / 5.47 / 0.74）。在 BEHAVIOR-1K 上通过接入分层控制评估闭环任务成功率，并在 UR5e 与 piper 两套真机系统上验证了跨本体的闭环集成。论文 8 页 2 图。

应用场景： 长程移动操作的分层控制（阶段监控与切换）；需要本地低延迟语义监控的机器人系统；把云端大模型能力下沉到边缘的通用范式（结构化解释 → 学生自我解释）。

研究价值： ⭐⭐⭐⭐（4/5）— 它精准命中了分层机器人系统里一个「谁都知道重要、却少有人认真做」的模块，并用一组相当彻底的对照实验证明：通用大模型在这个问题上不可用，而对齐过的轻量学生可以。把「下一子任务准确率」从通用模型的 ~21% 拉到 89.81%，对任何做长程任务编排的团队都是立竿见影的收益。

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

链接： https://arxiv.org/abs/2609.20659

作者 / 机构： Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong（西安交通大学、北京大学多媒体信息处理国家重点实验室与前沿计算研究中心、PrimeBot）

一句话总结： 西安交大与北大团队提出 HIL-UMI，一套免机器人的人机闭环 VLA 后训练框架：操作员用手持 UMI 采集时，系统在同一路观测流上只查询不执行当前策略，用 Energy Score 比对人类轨迹与策略推断、仅在出现分布外区域时触发采集，另一条回路用在线优势预测挑出值得精炼的片段，最终用优势条件化行为克隆完成更新。

研究问题： 大规模 VLA 为机器人操作提供了强先验，但适配到具体部署场景依然困难。在任务演示上做监督微调（SFT）有两个绕不开的局限：静态数据对分布外状态的覆盖有限，而标准模仿目标不区分「有进展的行为」与「没那么有用的数据」。交互式后训练（如 DAgger）理论上能解决，但通常要求在真机上反复执行策略并让人介入——成本高、难扩展。核心问题是：能否保留人机闭环「策略感知、迭代式」的本质，同时把数据采集从真机部署中解耦出来？

核心方法： ①只查询不执行：手持 UMI 采集过程中，系统在完全相同的观测流上查询当前策略，但不执行其预测，从而在不占用机器人的情况下知道「策略此刻会怎么做」。②Energy Score 触发采集：用 Energy Score 比较人类动作轨迹与策略推断的分布差异，当差异指示分布外区域时触发采集——把采集预算花在策略真的不行的地方。③双回路的优势精炼：另一条回路用低在线优势预测识别值得精炼的关键片段，更新基于进度的优势估计器；更新后的估计器再指导优势条件化行为克隆（ACBC），数据为基础演示与新策略数据的均衡混合（比例 0.5，正优势占比 0.3）。④任务进度评分：为四个真机任务定义细粒度的子任务进度分（如叠毛巾按展平、两次折叠、入筐各 25 分），并设扣分规则（毛巾皱褶扣 5 分、只抓立方体一角扣 15 分），使优势信号有据可依。

技术亮点：

  • 把「人在回路」从机器人身上摘下来，这是最大的工程贡献：采集可以在任意操作员、任意地点进行，不必占用真机，直接决定了方案的可扩展性。
  • Energy Score 用作 OOD 检测器是个巧妙选择——它比较的是分布而非单帧动作，对「策略整体行为偏移」更敏感。
  • 阈值敏感度被认真消融：(1.2, 0.2) 组合下三轮得分为 84 → 86 → 90 → 100；过宽（0.5, 0.2）只能到 90，过严（2.0, 0.2）为 96。两个检测器都存在「覆盖 vs 选择性」的权衡，但 HIL-UMI 在所有测试设置下都稳定优于 SFT，说明收益不依赖窄范围的调参。
  • 任务设计兼顾长程与精密：叠毛巾（长程、可形变）、清理桌面（多物体多子任务）、叠方块（精密对接）、盖章（位姿对齐）。

实验结果： 在四个真机任务上，HIL-UMI 持续优于 SFT，且「针对性采集」与「优势精炼」两个组件各自都有贡献；在 Clean Up Table 上超过 HG-DAgger，且单帧采集时间更低。消融表显示最优阈值设置下三轮迭代从 84 提升到 100。论文共 12 位作者，跨西安交大、北大两个国重/中心与 PrimeBot。

应用场景： 具体部署场景下的 VLA 快速适配（无需真机反复 rollout）；跨操作员、跨地点的分布式数据采集；长程可形变物体操作与精密装配的后训练。

研究价值： ⭐⭐⭐⭐（4/5）— 后训练是 VLA 落地的最后一公里，而这条路线最大的成本一直是真机占用。HIL-UMI 用「只查询不执行」这个简单的设计把它解耦了，且给出了完整的触发—精炼—克隆闭环与扎实的消融。对没有大量机器人机时的团队，这是一条现实可行的路。

SkipVLA: Skipping VLA Steps with Classical Planning for Fast Robot Manipulation

链接： https://arxiv.org/abs/2609.20648

作者 / 机构： Kaivalya Agrawal, Md Ashiqur Rahman, Raymond A. Yeh, Zachary Kingston（普渡大学计算机科学系 Purdue University）

一句话总结： 普渡大学团队提出 SkipVLA，一种把预训练 VLA 与经典运动规划器结合的混合策略：自由空间运动交给规划器、只在抓取与放置这类接触丰富技能时才查询 VLA，并用 VLA 冻结的视觉—语言骨干预测每次规划的目标位姿——这个预测器无需引入任何额外演示即可学会。

研究问题： VLA 是一类把相机图像与语言指令直接映射为动作的通用机器人策略，前景广阔但推理慢，在需要多次查询策略的长程任务上尤为明显。现有加速手段——蒸馏更小的模型、异步重叠动作块、给 VLA 配一个快速底层策略——都仍然让学习出来的策略跑完全程。而经典运动规划器虽然能极快找到无碰撞运动，却需要一个显式目标、且对任务没有任何语义理解。核心问题是：能否让两者各司其职，把 VLA 的调用次数压到真正需要的那些时刻？

核心方法： ①按接触密度分工：规划器负责自由空间中的运动，VLA 只在抓取、放置等接触丰富技能被调用。②复用冻结骨干预测目标位姿：直接复用 VLA 冻结的视觉—语言骨干，为每一次规划预测一个目标位姿；关键在于这个预测器不引入任何新的演示，而是利用大模型 VLA 已经学到的东西。③动作块复用：在不同阶段之间复用已规划与已查询的结果，避免重复计算。④跨 VLA 验证：在三个不同 VLA 上做评估，验证方案不依赖特定骨干。

技术亮点：

  • 分工的依据选得很准：不是按时间或距离切分，而是按「是否涉及接触」——这正是经典规划器无能为力、而 VLA 真正有价值的地方。
  • 零额外演示是实用性的关键：预测器从已冻结的 VLA 骨干里长出来，不需要为「预测目标位姿」这个新任务重新采集数据。
  • 同时优化了能耗：论文明确报告了显著降低的能耗，而不只是速度——对电池供电的移动操作平台是实打实的指标。
  • 已投稿 IEEE（abs 页注明 “This work has been submitted to the IEEE for possible publication”）。

实验结果： 在仿真中基于三个 VLA、覆盖 13 个 LIBERO 任务，并在物理 6-DoF YAM 机械臂上完成 3 个 pick-and-place 任务：实现最高 2.5 倍的任务完成加速与显著降低的能耗，同时保持相同的任务成功率。

应用场景： 长程拾放与整理任务（大量时间花在自由空间移动上）；边缘或电池供电平台的低功耗操作；已有 VLA 部署但需要降低延迟与能耗的存量系统改造。

研究价值： ⭐⭐⭐⭐（4/5）— 在「把 VLA 做小做快」与「给 VLA 配快底层」这两条主流加速路线之外，它给出了第三条更朴素的思路：很多步骤根本不需要学习策略参与。这个判断对资源受限、又已投入 VLA 的团队尤其友好——不需要重训模型就能拿到 2.5× 收益。

Co-VLA: Consensus-based Federated Training for Vision-Language-Action Models

链接： https://arxiv.org/abs/2609.19923

作者 / 机构： Haolong Li, Guner Dilsad Er, Michael Muehlebach, Joerg Stueckler（奥格斯堡大学技术系统智能感知组 University of Augsburg、马克斯·普朗克智能系统研究所 Max Planck Institute for Intelligent Systems）

一句话总结： 奥格斯堡大学与马普所团队提出 Co-VLA，把 ADMM 共识优化引入联邦 VLA 训练：通过共识变量与对偶更新把各 client 的本地模型耦合到一个共享全局模型上，同一套算法同时支持全量训练、LoRA 微调与自适应秩 SoRA 微调，在不共享数据的前提下协同训练。

研究问题： VLA 已成为通用机器人学习的主流范式，性能随模型与数据规模提升；但规模化机器人数据采集天然困难——数据分散在不同机器人、任务与地点，集中化代价高昂甚至不可行。联邦学习提供了在去中心化数据上训练的途径，但把它用在 VLA 上必须处理各 client 数据分布的异质性。核心问题是：在通信受限、数据异构的设置下，联邦训练能否逼近集中式训练的效果？

核心方法： ①ADMM 共识优化：用交替方向乘子法把本地模型与共享全局模型通过共识变量与对偶更新耦合起来，而不是简单的参数平均。②统一支持三种训练模式：同一算法框架覆盖全量训练、固定秩 LoRA 微调、以及秩自适应的 SoRA 微调——这是相对专用联邦 LoRA 方法的结构性优势。③把共识约束直接加在低秩因子上：作者强调 Co-VLA 与通用联邦基线（FedAvg、DiLoCo）的关键差异正在于此，而不是加在整个权重矩阵上。④双设定评测：在 LIBERO 上用 SmolVLA 与 X-VLA 评测，并在异构真机数据上做开环与闭环评测。

技术亮点：

  • 名字双关但内容扎实：Co-VLA 既指 consensus（共识）也指 collaboration（协作）——不同本地机器人数据集的 client 协同训练一个共享模型而不共享数据。
  • 通信预算被严格对齐：与 FedAvg、DiLoCo 在相同的 1500 轮通信预算下比较（每 client 150,000 次本地优化步）；相对 100,000 步的集中式基线，联邦方法每 client 多做 1.5× 优化步、且跨 10 个 client 每步多看 10× 样本——实验设计对联邦方法并不宽松。
  • 统一的算法框架覆盖全量 / LoRA / SoRA，避免了为每种参数高效微调方式各设计一套联邦方案。
  • 开环误差与闭环成功率双指标评测，尤其报告了挑战性的 stacking 任务，比只报仿真成功率更有说服力。

实验结果： SmolVLA 从零训练时（LIBERO 各套件成功率）：Co-VLA Spatial 0.80 / Object 0.91 / Goal 0.92 / Long 0.71，对比 FedAvg 0.76 / 0.89 / 0.91 / 0.63、DiLoCo 0.77 / 0.93 / 0.90 / 0.76、集中式训练 0.81 / 0.95 / 0.94 / 0.70——总体与集中式训练相当，并在 Spatial 与 Goal 上取得最佳联邦性能。在真实机器人实验中，Co-VLA 与集中式训练的开环误差差距小于联邦基线，并在高难度的 stacking 任务上取得更高成功率。训练损失曲线显示 DiLoCo 收敛最快、Co-VLA 与其相当、FedAvg 明显更慢。

应用场景： 跨机构 / 跨地点的机器人数据协同训练（数据因隐私或带宽无法集中）；多本体、多任务的分布式机器人学习；需要在边缘做参数高效微调的机器人队。

研究价值： ⭐⭐⭐⭐（4/5）— 数据孤岛是机器人学习绕不开的现实约束，而联邦学习在 VLA 上的系统性研究还不多。这篇的贡献在于给出了一个统一、可证明收敛性质更好的优化框架，并用严格对齐通信预算的实验证明它能逼近集中式训练。局限是规模仍偏小（10 client、LIBERO 级别），距真实大规模联邦还有距离。

LIFD: Anchored Diffusion for 3D-Aware Scene Memory in Robotic Manipulation

链接： https://arxiv.org/abs/2609.19796

作者 / 机构： Wenbo Li, Yiteng Chen, Wenhao Li, Qingyao Wu（华南理工大学软件学院 School of Software Engineering, South China University of Technology）

一句话总结： 华南理工大学团队提出 LIFD（Look, Imagine, Focus, and Do），一个用于机器人操作的持久化 3D 感知场景记忆框架：从多视角一致性中学出场景 token 表示，再用 rectified flow 从单张 RGB 视图 + 递归记忆补全它，补全过程通过锚定引导交叉注意力以当前几何特征为条件，最后由紧凑的 slot 特征接入操作策略。

研究问题： 部分可观测下的机器人操作需要超出当前视野的空间信息。几何感知的 RGB 特征能描述可见结构，但机器人或场景移动后，先前观测过的区域可能就消失了。因此，维持一个有用的场景表示必须同时做到两件事：保留观测历史，并且推断缺失内容——而推断出来的部分不能与可见证据脱钩。核心问题是：如何让「想象出来的」场景补全始终锚定在真实可见的几何上，而不是自由 hallucinate？

核心方法： ①从多视角一致性学场景 token：用多视角一致性作为监督学出场景 token 表示，使 token 具备几何意义。②Rectified flow 做生成式补全：用一个 rectified-flow 模型生成场景 token，输入是单张 RGB 视图与递归记忆——把「记忆补全」表述为一个生成问题而非简单的特征池化。③锚定引导交叉注意力（Anchor-Guided Cross-Attention）：补全过程以当前的几何特征为条件，这正是保证「想象不脱钩」的关键机制。④紧凑 slot 特征接策略：把场景表示压缩为紧凑的 slot 特征后接入操作策略；多视角与几何监督只用于表示学习阶段，部署时只需一个 RGB 相机、本体感受与任务指令。

技术亮点：

  • 把场景记忆明确表述为「条件生成」而非「特征缓存」，这是与以往 recurrent 记忆方法最本质的差别——缓存只能保住看过的，生成才能补出没看到的。
  • 「锚定」二字是整篇的题眼：Anchor-Guided Cross-Attention 让补全始终以当前可见几何为条件，从机制上抑制了生成模型最容易犯的「补全出看起来合理但实际不存在的东西」。
  • 分阶段训练（Staged）优于联合训练：LIBERO 平均成功率比 Joint training 高 3.1 个百分点，说明表示学习与策略学习解耦是有收益的。
  • 部署条件极简：只需单目 RGB + 本体感受 + 指令，无需深度相机或多视角支架，落地门槛低。

实验结果： LIFD（Staged）在 LIBERO 上达到 91.6% 平均成功率、MetaWorld 上 79.8%，比联合训练的 LIBERO 平均成功率高 3.1 个百分点。在 UR5e 上 4 个任务族、每族 10 条演示的真机设定下，达到 56.0% 平均成功率，对比 OpenVLA-7B 的 40.5%。论文 8 页 4 图，已投稿 ICRA 2027。

应用场景： 需要记忆被遮挡或已离开视野区域的操作任务（多层收纳、遮挡下取物）；仅有单目 RGB 的低成本操作平台；长程任务中跨阶段的空间一致性维护。

研究价值： ⭐⭐⭐⭐（4/5）— 空间记忆是具身智能从「反应式」走向「有世界模型」的必经之路，而这篇给出了一个机制清晰、部署条件友好的方案。真机上 56.0% vs OpenVLA-7B 40.5% 的对比尤其有参考价值——它说明显式的 3D 感知记忆确实能补上通用 VLA 在部分可观测下的短板。

📊 今日研究趋势

本期虽是补遗，8 篇论文的主题集中度反而比不少正刊更高，几乎全部落在**「世界模型该预测什么」与「能力该如何下沉到可实时执行的模块」**这两个问题的交叉上。

第一个交叉点是预测目标的具身化。Feel-WM 与 TacSushi 一篇做导航、一篇做操作，却在做同一件事：把「机器人会感受到什么」纳入模型的学习目标。Feel-WM 把它留在推理时——预测未来本体状态与失败风险，然后让规划器把风险与目标相似度分开加权，消融显示风险这一项单独就把山道 SR 从 62.0% 拉到 84.0%。TacSushi 则把它留在训练时——让解码器预测未来视觉、任务进度、接触风险与触觉摘要，部署时整体移除，换来的是分布内 68.3% 对比无后果监督的 36.7%。这两条路径的分野很值得记下来：规划型任务把后果留在推理里（因为要用它选动作），控制型任务把后果留在训练里（因为推理预算宝贵）。

第二个交叉点是蒸馏作为能力下沉的通用手段。StageGuard 蒸馏的是「判断力」：把教师 VLM 关于子任务完成的结构化解释，变成学生能自我生成的紧凑解释，最终在 LIBERO 上拿到 96.23% 切换完成度与 89.81% 下一子任务准确率，而通用大模型 GPT-5.6 Luna 只有 37.92% 与 20.94%。ViLoMan 蒸馏的是「控制力」：特权教师 + 在线 DAgger，学生只吃深度与本体感受、直接输出关节动作，关门成功率 77.55% 且执行仅 6.20 秒，而走中间层接口的方案要么慢一个数量级（Handoff 116.89 秒），要么掉十几个点（SONIC 58.30%）。共同点是：被蒸馏的目标都是「原本被认为必须由大模型 / 特权信息在闭环里承担」的能力，而两篇都证明了这个假设不成立。

第三个交叉点是成本结构的重构。SkipVLA 与 HIL-UMI 都不改动模型本身，而是重新划分「谁在什么时候付出代价」。前者让经典规划器接管自由空间运动、VLA 只处理接触丰富技能，拿到 2.5× 加速且成功率不变；后者让手持 UMI 采集时只查询不执行策略，把 human-in-the-loop 后训练从真机上解耦，三轮迭代把任务进度分从 84 推到 100。Co-VLA 与 LIFD 则分别在数据组织与表示层面做类似的优化——前者用 ADMM 共识优化在不共享数据的前提下逼近集中式训练（Spatial 0.80 / Goal 0.92 对比集中式 0.81 / 0.94），后者用生成式补全 + 锚定注意力在只加一个单目 RGB 的前提下补上部分可观测的短板（UR5e 56.0% 对比 OpenVLA-7B 40.5%）。

一条值得警惕的暗线是：通用大模型在专有的具身判断上可能远不如经过对齐的轻量模块。StageGuard 的对照表里，GPT-5.6 Luna、Gemma 4、Qwen3.5 在阶段切换上的表现与其通用能力完全不成比例，多个模型甚至是 0.00。这与 ViLoMan 中 Handoff 接 VLM 规划器后成功率反而暴跌到 20.94%、单次执行要 116.89 秒的结果相互印证——在需要高频、精确、与物理状态对齐的判断上，「更强的通用模型」并不自动等于「更好的机器人模块」。

🏆 最值得关注的 3 篇

  1. Feeling Terrain Before Crossing: World Models for Off-Road Navigation — 它提出的问题是根本性的：在以交互为主导的场景里，「未来的画面」不再是「未来」的充分代理。把本体感受同时放进输入与预测目标、并把失败风险做成规划器里可分离的一项，机制清晰且消融扎实（风险项单独贡献 62.0% → 84.0%），还完成了 Husky 山道实机部署。对做任何世界模型的人都值得一读。

  2. ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots — 数据侧把不完整的 HOI 演示补全为物理可执行轨迹，控制侧用师生蒸馏把特权信息压进只吃机载深度 + 本体感受的学生，接口侧坚持直接关节级输出。三面都做对了，于是成为对比表里唯一满足全部五项要求的方法。它的接口消融（关节级 77.55% / 6.20 秒 vs 任务空间 20.94% / 116.89 秒）对整个分层机器人社区都是一记提醒。

  3. StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation — 长程任务里「什么时候该切下一步」是个被长期低估的模块，而这篇用一组彻底的对照实验证明了两件事：通用 VLM 在这个问题上基本不可用（GPT-5.6 Luna 下一子任务准确率仅 20.94%），而经过解释对齐的轻量学生可以做到 89.81%。它还诚实给出了效率—精度权衡（Decision-Only 47.60 Hz 但准确率 69.43%），工程参考价值很高。

数据来源：ArXiv 2026-09-18（Fri, 18 Sep 2026）公告批次 ｜ 周末补遗，出刊日期 2026-09-20 ｜ 分析生成时间：2026-09-20 06:00 (北京时间)