📅 本期覆盖 2026-09-21(Mon, 21 Sep 2026) 公告批次。arXiv 网页端 listing 各分类当日条数为 cs.CV 98 / cs.RO 114 / cs.AI 125 / cs.LG 149 / cs.GR 3 / cs.MM 4,去重后 408 篇——与上期(仍停在 Fri, 18 Sep)的 547 篇完全不同,确认新批次已上线,故出正刊而非补遗。

经全站 666 个历史 arXiv ID 与 680 条历史标题双重去重,入选的 8 篇与已收录论文 0 重复;自检锚点正常(往期已收录的 Workspace Models 2609.20820、High-DoF Dexterous VLA 2609.19666、MaskHarness-WAM 2609.19974 等全部命中历史集合,去重环节未失效)。8 篇入选论文的 v1 均为 2026-09-17/18,与公告批次一致。

本期最醒目的一条主线是:世界模型与 VLA 正在从「多给信息」转向「只给相关的信息」。FOCAL-VLA 把这个判断做得很干净——此前的几何监督与未来状态预测是对整幅场景做的,大量与当前子任务无关的区域稀释了监督信号;它改为先用 Qwen3-VL-8B 离线标出每个子任务的起止与涉及实体,再用 Grounded-SAM-2 取掩码,只在掩码区域内池化 VGGT 的几何特征与 Track4World 的运动特征作为蒸馏目标。教师模型与子任务标注都只在训练时出现,推理时零额外开销。收益在需要「挑选」的杂乱场景里最明显:RoboCasa 平均成功率 +8.2pp,而在本已接近饱和的 LIBERO 上只有 +1.0pp。这提示我们:把监督聚焦在任务相关实体上,其价值与场景杂乱度正相关。

第二条主线是生成模型被当作「结构补全器」而非「端到端替代者」。4DGS-Fixer 面对的是稀疏视角 4D 重建这一本质病态问题——几何先验、密度控制、自适应优化都只能在已有视觉证据内打转,无法凭空补出缺失区域。它的做法是把视频扩散先验生成的结果当作伪监督,反过来正则化并迭代精修 4DGS,从而把「生成」降级为优化过程里的一个正则项,PSNR 比此前最佳提升近 2 dB。CompAdapt 是同一思路在物理维度上的镜像:它不指望 T2V 模型自己悟出物理,而是显式建模复合运动(含弹性碰撞等 NewtonGen 根本无法生成的多物体动力学),并保留一个可一键适配到新物理律的动力学模块。

第三条主线是**「实时性」正在成为世界模型落地的硬门槛,而蒸馏是唯一通路**。ZYT-World 把这件事做到了工程闭环:40 步双向教师经 teacher forcing、因果一致性蒸馏、self-rollout DMD 与 RigCritic 压缩成单步流式生成器,保留教师 90% 以上的 PSNR/SSIM、FID/FVD/LPIPS 差距控制在 11% 内,却比教师快 107.7×,配合 19M 参数的 TinyVAE 与 W8A8 量化,在双 GPU 上跑出七视角 4 FPS。VLA-Feedback 则在策略侧给出另一半答案:与其把动作块更快算完,不如把最后一步去噪留着不做完,每个动作执行前用最新观测花 2 ms 补一次——把「延迟」从需要消除的代价变成了可以利用的接口。


📄 论文精选

FOCAL-VLA: Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models

链接: https://arxiv.org/abs/2609.21228

项目主页: https://zhiyuan-gao.github.io/FOCAL-VLA/

作者 / 机构: Zhiyuan Gao, Di Wen, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Kunyu Peng, Michael Beetz(University of Bremen;Karlsruhe Institute of Technology;Robotics Institute Germany)

一句话总结: 不来梅大学与 KIT 团队提出 FOCAL-VLA,把几何监督与未来状态预测从「整幅场景」收窄到「当前子任务涉及的实体」:两组可学习 query 分别蒸馏 VGGT 几何特征与 Track4World 未来运动特征,二者联合条件化动作专家,推理时不跑任何教师模型,在 LIBERO 上取得 97.9%、RoboCasa 上相对 π0.5 提升 8.2 个百分点。

研究问题: 基于预训练视觉语言模型的 VLA 已能在多样操作任务上取得不错表现,但直接把当前 2D 观测映射为动作的模型缺少足够的空间与时间理解,在精细操作与长程任务上受限。近期的改进路线是加几何监督与未来状态预测,但这些方法对整个场景施加监督——场景里绝大多数区域与当前子任务无关,冗余信息反而分散了模型对真正相关几何与动力学的学习。核心问题是:如何让 VLA 只学「当前这一步要动的那些东西」的几何与动力学,同时不在推理时引入额外模型?

核心方法: ①子任务引导的目标构造:离线用 Qwen3-VL-8B-Instruct 从演示帧、任务指令与人工给出的子任务描述中识别子任务起点与涉及实体(被操作物体及其容器、支撑物、铰接体,不含夹爪);实体掩码来自仿真标注或实体提示的 Grounded-SAM-2。②几何蒸馏:冻结 VGGT 提取特征,在子任务相关实体区域内池化,作为一组 learnable query 输出「geometry latents」的对齐目标。③隐式世界建模(未来运动蒸馏):冻结 Track4World 提取当前帧与未来帧特征,同样在子任务区域池化,监督另一组 query 输出「future motion latents」。④联合条件化:两组潜变量与原生视觉语言上下文一起条件化 π0.5 的动作专家;另设辅助语言建模分支通过原生 LM head 预测子任务文本。虚线分支(蒸馏预测头、教师模型)仅训练时存在。

技术亮点:

  • 教师与标注全部前置到离线阶段:VGGT 与 Track4World 的特征是缓存好的,Grounded-SAM-2 掩码也是离线生成的,因此推理时的计算图与 π0.5 基本一致,不引入教师前向或子任务标注。
  • 监督密度与场景杂乱度正相关:论文在 Kitchen 场景(RoboCasa)上的收益(+8.2pp)远大于已接近饱和的 LIBERO(+1.0pp),恰恰印证了「剔除无关区域」在有干扰物时才有价值。
  • 长程受益最明显:LIBERO-Long 从 92.4% 提升到 95.0%,是四个 suite 中增益最大的——长程任务的子任务切换更频繁,按子任务切换监督目标带来的聚焦效应更强。
  • 真机设置规范:Franka Emika Panda + 单个固定外置 Orbbec Astra Pro RGB 相机,四个任务(按指令把香蕉与橘子放入指定盘子、完全打开指定抽屉、把香蕉放入指定抽屉并关闭、关闭微波炉),每任务 50–150 条成功演示、共 350 条、10 Hz、640×480,SpaceMouse 遥操作;FOCAL-VLA 与 π0.5 各学一个跨四任务的策略,每任务 20 次试验。

实验结果: LIBERO 四个 suite 上平均成功率 97.9%,相对 π0.5 提升 1.0 个百分点,其中 Spatial 达 100.0%,Long 从 92.4% 提升到 95.0%。RoboCasa 平均成功率 63.4%,相对 π0.5 提升 8.2 个百分点,并优于文中列出的其他方法。真机实验同样显示高于 π0.5 基线的平均成功率。训练用 8 张 A100 80GB,RoboCasa 的运动目标取当前帧与 50 步 chunk 内均匀采样的 10 个未来帧。

应用场景: 精细与长程操作(厨房整理、抽屉/家电开合、按序放置);需要在杂乱场景中挑选正确操作对象的家庭服务机器人;希望在不改动基座动作头、不增加推理开销的前提下增强开源 VLA 的团队。

研究价值: ⭐⭐⭐⭐(4/5)— 把「世界模型知识如何注入 VLA」这件事从粗放的整场景蒸馏推进到子任务级聚焦,且工程代价几乎为零(教师离线缓存、推理零开销)。对做 VLA 表征增强的工作而言,这是一个可以直接复用的范式。略显不足的是真机只与 π0.5 单基线对比,且真机增益未给出逐任务数值表。


ForeTac-VLA: A Forecasting-Based Tactile-Vision-Language-Action Model for Contact-Rich Robotic Manipulation

链接: https://arxiv.org/abs/2609.20980

项目主页: https://foretac-vla.github.io/

作者 / 机构: Zhengyu Tao, Xin Li, Xin Wang(Texas A&M University, College Station)

一句话总结: Texas A&M 团队提出 ForeTac-VLA,不再把触觉当作「已发生的观测」喂给策略,而是让模型显式预测未来若干步的触觉状态,用预测结果反过来指导动作生成,在四类接触丰富的真机任务上平均成功率 95%,对比微调后的纯视觉 VLA 提升 36.25 个百分点。

研究问题: VLA 模型已具备很强的操作能力,但它们主要依赖视觉感知,在接触丰富的场景中鲁棒性不足——关键物理交互状态往往不可见:轴孔对齐看起来正确实则可能已经卡死,易碎物体看起来抓稳了实则接触压力过大,抓取看起来稳定实则接触正在逐渐减弱。已有的触觉增强 VLA 用观测到的触觉反馈改善物理接地,但大多是反应式的,没有显式建模接触会如何演化。核心问题是:能否让策略提前「预见」接触的走向,并据此规划动作?

核心方法: ①触觉时序编码:把近期的触觉观测编码为时序表征;②双向跨注意力融合:触觉表征与视觉—语言特征之间通过 bidirectional cross-attention 交互,而不是单向拼接或 FiLM 调制;③Transformer 预测模块:预测多步未来触觉状态,训练时先以真实未来触觉为输入、随后切换到模型自预测的状态(类似 scheduled sampling 的teacher forcing 退火);④预测指导动作生成:未来触觉预测直接参与动作头的条件化,使策略对「再往下压会发生什么」有预期。

技术亮点:

  • 把触觉从「条件输入」升级为「预测目标」:现有方法多把触觉特征当条件用,而不联合预测触觉的未来;本文的关键洞察是触觉信号和视频一样是可以被预测的未来状态,因此可以作为世界建模的一部分。
  • 融合方式被认真消融:论文系统比较了触觉输入有无、未来触觉预测有无,以及不同触觉—视觉—语言融合策略(FiLM-fusion 与 concat-and-gating 两个 TacVLA 变体均作为基线),证明增益来自预测机制而非单纯的模态拼接。
  • 在困难条件下仍稳健:额外评估了低照度与视觉杂乱环境下的鲁棒性与泛化性——这两类条件正是纯视觉 VLA 最容易失效的地方。
  • 真机平台完整:UR7e 机械臂配备带触觉的平行夹爪、腕部相机与固定的外部相机。

实验结果: 四个接触丰富的真机任务——peg insertion(轴孔插入)、chip handling(易碎芯片拿放)、cap unscrewing(旋开瓶盖)、board wiping(擦板)。ForeTac-VLA 平均成功率 95%,对比微调后的 VLA 模型 58.75%、FiLM-fusion TacVLA 71.25%、concat-and-gating TacVLA 72.5%,相对最强触觉基线提升超过 22 个百分点,且在四个任务上均为最高。在低照度与视觉杂乱条件下仍保持较强表现。论文共 8 页 7 图,演示视频见项目主页。

应用场景: 装配与插装(轴孔、连接器)、易碎/柔性物体拿放、需要持续表面接触的作业(擦拭、打磨)、旋拧类操作;对已有触觉硬件、希望把触觉用得更充分的团队。

研究价值: ⭐⭐⭐⭐(4/5)— 触觉一直是具身智能里「装了却用不好」的模态,本文给出的解法(预测未来触觉而非只消费当前触觉)思路清晰、提升显著(+36pp 相对纯视觉基线),且真机验证充分。局限是只有三个作者、实验规模偏小(8 页短文量级),仿真基准上的横向对比缺失。


CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation

链接: https://arxiv.org/abs/2609.21455

项目主页: https://makapic.github.io/CompAdapt/ | 代码: https://github.com/Makapic/CompAdapt

作者 / 机构: Haoran Qin, Renlong Wu, Tianyu Huang, Yukang Ding, Hui Li, Wangmeng Zuo(哈尔滨工业大学;淘宝,阿里巴巴集团)

一句话总结: 哈工大与淘宝团队提出 CompAdapt,把物理一致性 T2V 从「单一运动类型 + 人工指定参数」推进到复合运动建模 + 一键适配:显式建模重力、抛体、弹性碰撞等复合物理行为,并用单个参考轨迹把动力学模块适配到训练中未见的物理律,在扩展后的 OODPhys 上 34 个场景中 24 个对不同参考样本的标准差低于 0.02。

研究问题: 扩散式文本到视频模型已能生成逼真且时间连贯的视频,却常常违背基本物理动力学。近期的物理约束方法引入显式动力学先验改善物理合理性,但存在三个硬限制:① 只能处理单一类型的运动;② 依赖人工指定的物理参数;③ 难以泛化到未见过的物理律。核心问题是:如何让 T2V 模型既覆盖复合物理行为(如先抛落再碰撞反弹),又能在不重训练的前提下适配新物理律?

核心方法: ①统一复合运动建模:把神经动力学建模从单一运动类型扩展到复合物理行为,其中包含多物体弹性碰撞这一此前方法无法处理的情形;②碰撞专用模块:针对弹性碰撞场景设计专门模块,使其能生成 NewtonGen 直接失效(无法产出有效视频)的多物体碰撞动力学;③物理感知潜特征融合模块:在快速与复杂运动下改善视觉保真度;④一键适配(one-shot adaptation):用单条参考轨迹、配合带正则化的损失对先验匹配的动力学模块做适配,再在其余轨迹上评测。

技术亮点:

  • 显式覆盖「复合」这一空白:现有物理约束方法基本停留在单一运动(自由落体、抛物线),本文把「多段物理过程串联」作为一等公民建模,这是对真实场景(抛出→碰撞→滚动)的必要扩展。
  • 适配而非重训:一键适配让模型可以用单条轨迹迁移到新物理律,工程上比针对每个新场景重新训练动力学模块现实得多。
  • 敏感性被量化:为衡量对参考样本的敏感度,论文用 5 种不同参考选择重复实验并报告均值与标准差(Var-PIS)——这种评测方式比只报一个最好结果诚实得多。
  • 时间外推验证「学的是律不是样本」:把模块只在序列前三分之一帧上训练、在完整序列上评测,12/34 场景 PIS 下降小于 0.02,说明适配学到的是可复用的物理规律而非记忆参考轨迹。

实验结果: 在物理导向的 T2V 基准(含 9 类运动:7 类复合运动 + 2 类弹性碰撞)上,CompAdapt 在所有物理参数上取得最高的 PIS(Physical Inconsistency Score 口径下最优);通用 T2V 模型因主要依赖视觉相关性而明显落后;重训后的 NewtonGen 在复合运动场景稳定排名第二,但与 CompAdapt 的差距证实了显式复合建模的价值;在弹性碰撞场景,NewtonGen 因缺乏多物体碰撞动力学无法生成有效视频,而 CompAdapt 的 PIS 接近仿真参考值。在扩展的 OODPhys(34 个受控场景 + 3 段真实视频)上,一键适配在近域与中域场景取得高物理一致性,34 个场景中 24 个的标准差低于 0.02。定性对比显示通用 T2V 常产生物理上不合理的轨迹(旋转速度不一致、碰撞反弹方向错误),物理约束基线则有模糊纹理与运动伪影。论文 23 页 4 图,投 NeurIPS 2026。

应用场景: 需要物理可信度的视频生成(广告、教育演示、仿真内容);作为世界模型/数据引擎为具身策略生成物理正确的训练视频;电商场景下的商品动态展示。

研究价值: ⭐⭐⭐⭐(4/5)— 把「物理一致性 T2V」从单一运动推到复合运动,并给出可落地的适配范式,且做了 Var-PIS 与时间外推这类认真的分析。扣分点在于 PIS 是自定义/专用指标,与通用视频质量指标的权衡关系还可再展开。


4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors

链接: https://arxiv.org/abs/2609.21176

作者 / 机构: Haitao Huang, Shenghao Zhao, Boyuan Tian, Shin-Fang Chng 等(Goertek Alpha Labs,上海 / 南京 / 美国圣克拉拉;Singapore Institute of Technology;The Hong Kong University of Science and Technology)

一句话总结: 歌尔 Alpha Labs 联合新加坡理工大学(SIT)与香港科技大学提出 4DGS-Fixer,用视频扩散先验修复稀疏视角下缺失的场景信息,再把修复结果作为伪监督反过来正则化并迭代精修 4D 高斯表示,在常用基准上比此前最佳方法的 PSNR 提升近 2 dB(SIGGRAPH Asia Technical Communications / ACM TOG)。

研究问题: 动态新视角合成要从多视角视频重建时变 3D 场景并从未见视角渲染。近年的 4D 高斯泼溅方法能在密集、同步相机阵列下高效高质量渲染,但只给少量视角时问题严重病态——场景的大片区域弱观测甚至完全缺失。已有的稀疏视角 4DGS 依赖几何先验、自适应优化与密度控制策略,这些方法始终被已有视觉证据约束,无法恢复缺失的场景信息。生成式先验本可推断观测之外的内容,但现有生成式重建方法多聚焦静态场景,动态方法又常局限于人体等特定领域;此外稀疏 4DGS 还受困于糟糕的几何初始化。核心问题是:如何让视频扩散模型生成的「 plausible 内容」成为 4DGS 优化的可靠监督,而不是取代它?

核心方法: ①用视频扩散先验修复(fix):对稀疏输入视角下缺失或退化的区域,用视频扩散模型生成/修复出合理的序列;②伪监督正则化:把修复后的序列作为伪监督,用于正则化 4D 高斯表示;③迭代精修:修复与优化交替进行,每一轮用上一轮的 4DGS 渲染结果去条件化下一轮修复,逐步收敛。整体上把生成模型定位为优化循环里的正则项,而非端到端的场景生成器。

技术亮点:

  • 角色定位准确:不做「生成式重建」(生成结果即最终产物),而是让生成结果只承担监督信号,4DGS 仍是最终表示——这样既拿到了生成先验的补全能力,又保住了 4DGS 的多视角一致性与实时渲染优势。
  • 直击几何初始化痛点:稀疏视角 4DGS 的一个具体失败模式是几何初始化很差,迭代精修机制恰好在优化早期提供最强帮助。
  • 面向实用采集设置:稀疏视角是实际采集(手持、少量固定相机)中的常态,而非学术设定下的退化情形。
  • 已获同行评议认可:被 SIGGRAPH Asia Technical Communications 接收,期刊标注为 ACM TOG。

实验结果: 在广泛使用的基准数据集上,4DGS-Fixer 大幅超越现有基线,相对此前最佳方法取得接近 2 dB 的 PSNR 提升。论文的关键方向为 4D Gaussian Splatting、sparse-view reconstruction、dynamic novel-view synthesis 与 video diffusion models。

应用场景: 用少量相机完成的动态场景数字化(体育回放、演出记录、工业检测);AR/VR 内容生产中的轻量化采集;为具身智能构建动态 3D 场景资产(仿真环境、数字孪生)。

研究价值: ⭐⭐⭐⭐(4/5)— 在「生成先验 × 显式表示」的结合方式上给出了一个清晰且有效的答案(生成物作伪监督而非成品),对 4D 重建社区有直接参考价值。遗憾是arXiv 全文未给出逐场景数值表与项目主页,复现门槛偏高。


ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation

链接: https://arxiv.org/abs/2609.21712

项目主页: https://zyt-aim.github.io/ZYT-World/

作者 / 机构: ZYT AI Team(论文以团队署名;Advisers: Kaixuan Wang, Zichao Guo, Xiaozhi Chen;Project Lead: Wei Bi)

一句话总结: ZYT 团队发布 ZYT-World,一个面向闭环自动驾驶仿真的实时可控世界模型:单一架构原生生成 4 路 FoV > 180° 的鱼眼 + 3 路针孔共七视角,把 40 步双向教师经因果一致性蒸馏与 self-rollout DMD 压缩成单步流式生成器,保留教师 90% 以上的 PSNR/SSIM 而速度快 107.7×,双 GPU 上七视角整体 4 FPS。

研究问题: 生成式世界模型为端到端与视觉—语言—动作驾驶策略提供了可控、可重复的闭环仿真,但走向生产部署时暴露三个未被满足的要求:① 在原生分辨率下忠实复现鱼眼 + 针孔混合的相机阵列;② 同时兼顾因果的逐时间步交互、长程稳定性与低延迟;③ 当车辆从不同轨迹重访同一地点时保持场景身份一致。核心问题是:能否用一个架构同时满足混合 rig 几何、因果交互与实时性,并且不牺牲画质?

核心方法: ①投影专用 Plücker adapters:把每个相机的投影几何(鱼眼与针孔不同)编码进模型,使单一架构能原生处理混合 rig;②ego-motion AdaLN:用自车运动的自适应层归一化提供全局运动控制(论文以 per-timestep pose increments 为条件,原始控制指令需先映射到该表示);③轻量像素对齐 layout 条件:用实例级框、朝向、颜色与方向条件化交通参与者与信号灯;④异构训练:结合全 rig 的几何覆盖与高分辨率细节;⑤蒸馏流水线:teacher forcing(TF)+ 因果一致性蒸馏(CD)+ self-rollout 分布匹配蒸馏(DMD)+ RigCritic(对七视角整体而非单视角做评判)共同把 40 步双向教师转成单步、per-latent 的流式生成器;⑥工程侧:19M 参数的 TinyVAE 解码器、W8A8 量化与自研推理引擎,使七视角高分辨率训练与少步部署可行。

技术亮点:

  • RigCritic 评判整个 rig:多视角生成最容易被忽视的一环是跨视角不一致,RigCritic 把评判对象设为七视角联合,针对性极强。
  • 一步化而不崩画质:单步模型在内部多视角测试集上保留教师 90% 以上的 PSNR 与 SSIM,FID、FVD、LPIPS 与教师的差距保持在 11% 以内。
  • 数量级的加速:在纯生成器计时下比 40 步双向教师快 107.7×;TinyVAE 解码比 Wan 解码器快 59.8×。
  • 长程与记忆行为被单独验证:30 秒 rollout 与跨轨迹重访实验专门检验长程稳定性与「重访同一地点是否还是同一个场景」这一闭环仿真的关键性质。
  • 直接面向生产约束:把「混合 rig 原生分辨率」「因果逐帧交互」「低延迟」「场景身份一致」作为四条明确需求逐一回应,而不是只报画质指标。

实验结果: 七视角(4 鱼眼 FoV > 180° + 3 针孔)在双 GPU 配置下达到 4 FPS 实时吞吐,采用 per-latent、单步、有界历史的 rollout 方式。相较 40 步双向教师,单步生成器快 107.7×,TinyVAE 解码快 59.8×;质量上单步模型保留 >90% 的 PSNR/SSIM,FID/FVD/LPIPS 差距在 11% 内。论文为技术报告,视频与更多结果见项目主页。

应用场景: 端到端与 VLA 驾驶策略的闭环评测;长尾安全场景的可重复回放与压力测试;需要混合相机阵列(量产车常见)的仿真平台;自动驾驶数据引擎。

研究价值: ⭐⭐⭐⭐(4/5)— 少见的把「世界模型工程化」讲完整的报告:从 rig 几何编码、一步化蒸馏、RigCritic 联合评判到量化与推理引擎,链路闭合且有具体加速倍率。作为技术报告,缺乏与 OmniDreams 等同类系统的横向定量对比,且团队署名为 ZYT AI Team,学术可追溯性偏弱。


Catch Me If You Can: Real-Time Feedback Denoising for Responsive VLAs

链接: https://arxiv.org/abs/2609.21022

项目主页: https://vla-feedback.github.io

代码: https://github.com/jidaxian010/VLA-Feedback-release | 模型: https://huggingface.co/jidaxian010/vla-feedback-sim

作者 / 机构: Yiheng Ji, Xingru Zhou, Luis Sentis, Mingyo Seo(The University of Texas at Austin;University of Central Florida)

一句话总结: UT Austin 与中佛罗里达大学团队提出 VLA-Feedback(CoRL 2026):不把动作块完全去噪完再执行,而是把最后一步去噪保留下来作为轻量反馈接口,每个动作在执行前用最新观测花 2 ms 补一次修正,形成 1:16:16 的「规划—反馈—执行」节奏,在目标会移动的动态任务上大幅超越 GR00T 等块式策略。

研究问题: VLA 模型结合预训练视觉语言模型的语义知识与富有表达力的动作生成策略,在机器人操作上泛化性很强。基于扩散的动作生成器尤其擅长建模时间连贯的动作块,但这些块通常在推理后开环执行——当物体移动、接触状态改变或场景在执行过程中演化时,响应性严重受限。核心问题是:能否在保留扩散规划表达力的同时,让每个动作在执行前都能被最新观测修正?

核心方法: ①双时间尺度架构:低频的扩散规划器 + 高频的视觉反馈;②保留最后一步去噪作为接口:扩散规划器走到「接近完成」的状态后不彻底去噪,而是把最后一步留给一个轻量反馈模块,该模块在每个动作执行前接收最新的腕部/手部视角观测,通过 Transformer 融合块把近终态动作与视觉反馈结构化融合,再去噪速度细化(denoising-velocity refinement);③1:H:H 节奏:规划一次、反馈 H 次、执行 H 步(实验中 H=16)。

技术亮点:

  • 把「延迟」变成接口:常规思路是把动作块算得更快,本文反其道而行——故意不把最后一步做完,留出的那一步正好成为注入新观测的位置,代价仅 2 ms。
  • 在去噪空间而非动作空间做修正:消融显示直接预测动作空间残差 Δa 明显劣于去噪速度细化,尤其在动态任务上;原因很合理——规划器输出已接近终态,直接残差的目标值很小、易被噪声淹没。
  • 反馈频率被单独消融:降低反馈更新频率会显著拉低动态任务成功率,说明块内高频反馈(而非双系统更新本身)是增益来源。
  • 动态任务专为「块过期」设计:Robosuite 三任务中,玩具机器人每 2 秒随机改变速度与方向、球要投入移动中的杯子,刻意制造块执行途中目标位移,使开环块必然失效。

实验结果: 静态 LIBERO 上,VLA-Feedback 在 Goal 与 GR00T 持平(92)、Object 低 2 个百分点(95.5),说明场景基本静止时反馈细化不会损害标准操作。动态任务上优势明显:Pick up 1D Robot 80(GR00T 47.5)、Pick up 2D Robot 75(20)、Drop Ball to Moving Cup 100(15)、Catch 1D Robot 67.5(60)、Drop Ball Robot 50(0)、Drop Ball Cup Block 97.5(2.5)、Speed 57.5(0)。四个未见动态变体(改变外观、形状、运动模式、速度范围)上同样保持优势。真机 Franka Emika Panda 上,静态「拾取面包」任务略优于 GR00T,两个动态任务(抓住滚动的易拉罐、把柠檬水投入移动的杯子)增益更大;真机增益小于仿真,原因是物体运动可重复性更差且观测受感知噪声与执行延迟影响——论文对此如实说明。反馈去噪模块每步耗时 2 ms,因此取得最低的期望反应延迟。

应用场景: 目标会移动或场景会变化的操作(抓取运动物体、倒液体入移动容器、人机协作);对反应延迟敏感的服务与产线机器人;希望在不重训基座的前提下提升现有扩散式 VLA 响应性的团队。

研究价值: ⭐⭐⭐⭐(4/5)— 一个「小改动、大收益」的架构设计:不改基座、不重训练,只把最后一步去噪留作接口,就把开环块式策略在动态场景上的失败(多处 0%)拉到 50–100%。CoRL 2026 接收,代码与仿真权重均已开源。遗憾是动态基准为自建,尚缺社区通用 benchmark 的横向对比。


Calibrating Teacher–Student Discrepancy for On-Policy Distillation

链接: https://arxiv.org/abs/2609.21619

作者 / 机构: Qiangqiang He, Jin Li, MingCai Chen(南京大学计算机软件新技术全国重点实验室;东南大学软件工程学院;南京邮电大学)

一句话总结: 南京大学、东南大学与南京邮电大学团队提出 Cal-OPD,指出 on-policy 蒸馏中的师生差异并不纯粹反映能力差距、还混有教师自身的偏差,据此用正负上下文干预估计教师的自偏差区间,只保留超出该区间的分量作为优化信号,在仅保留 52–65% 原始差异的情况下,跨模型规模一致超越标准 OPD 及多个变体。

研究问题: On-policy 蒸馏(OPD)通过在学生自生成的轨迹上学习更强教师与学生之间的 token 级似然差异,缓解了离线蒸馏的分布错配,给出比 RLVR 的稀疏结果奖励更密集的监督。但标准 OPD 隐含地把教师对每个学生 token 赋予的似然当作同等可靠的参考——实际上它的稳定性在 token 间差异很大:推理 token 相对稳定,而风格化或表层形式的 token 则不然。更关键的是,观测到的师生差异里混入了源自教师自身的偏差;在 privileged OPD 中,特权信息会诱导更大的教师侧似然偏移,从而鼓励学生学去更多教师自己的偏差。核心问题是:如何把「教师比学生强」这部分差异,从「教师自己不稳定」那部分里分离出来?

核心方法: ①上下文干预探针:设计成对的上下文干预(任务无关指令、评价性反馈、答案级与解答级特权信息),在共享题目上下文下构造正负变体;②教师自偏差区域估计:通过正/负干预下教师似然的变化,界定教师自身偏差所处的区间;③校准后的优势:把原始师生差异中落在该区间内的分量剔除,只保留超出区间的部分,用校准后的 token 级优势替换标准 OPD 的优势项。

技术亮点:

  • 把 OPD 的监督信号当作需要「去噪」的量:这是一个此前被默认接受为 ground truth 的假设,本文第一次系统地质疑并给出了可操作的分离方法。
  • 分析规模扎实:以 Qwen3-1.7B 为学生、Qwen3-8B 为教师(均 thinking 模式),在 DAPO-17k 采样的 6,528 道题上、每题一条响应,跨全部干预条件评估约 6,000 万响应 token。
  • 指出 privileged OPD 反而可能更糟:实验表中 Privileged-OPD 在两组配置下的平均分(49.3 / 64.0)均低于标准 OPD(50.8 / 65.9),说明特权信息带来的教师侧偏移确实有害——这是一个反直觉但有说服力的发现。
  • 少即是多:只保留 52–65% 的原始差异反而更好,说明被剔除的那部分确实主要是噪声。

实验结果: 数学推理基准(AMC23 / AIME24 / AIME25 / AIME26 / HMMT26 / MATH500)。Qwen3-4B-Thinking-2507 → Qwen3-1.7B:学生 49.2,OPD 50.8,ExOPD 51.8,EOPD 51.9,Uni-OPD 50.5,Privileged-OPD 49.3,Cal-OPD 53.1(相对学生 +3.9),其中 AMC23 84.5(+3.7)、AIME24 45.0(+4.4)、AIME25 37.1(+4.6)、AIME26 36.3(+7.1)、HMMT26 24.8(+3.0)、MATH500 90.8(+0.6)。Qwen3-30B-A3B-Thinking-2507 → Qwen3-4B:学生 66.6,OPD 65.9,ExOPD 67.3,EOPD 67.1,Uni-OPD 67.6,Privileged-OPD 64.0,Cal-OPD 69.0(+2.4),其中 AMC23 96.3、AIME24 67.1、AIME25 61.3、AIME26 60.2、HMMT26 33.3、MATH500 95.8。两组配置下 Cal-OPD 均在多数单项上取得蒸馏方法中的最优。

应用场景: 推理模型的 on-policy 蒸馏与后训练;教师自身存在明显风格/形式偏差时的师生对;希望用小模型逼近大模型推理能力、但被 OPD 信号噪声困扰的场景。

研究价值: ⭐⭐⭐⭐(4/5)— 对 OPD 这一当下热门范式提出了一个此前无人质疑的前提(教师似然=可靠参考),并用大规模干预实验与两组师生配置验证了校准的有效性。值得注意的是 Privileged-OPD 反而不如标准 OPD 这一发现,对正在用特权信息做蒸馏的实践者有直接警示。局限是只在数学推理与 Qwen3 系列上验证,能否推广到多模态或具身策略蒸馏尚待检验。


Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer

链接: https://arxiv.org/abs/2609.21514

项目主页: https://HealorCai.github.io/Skel-WAM/ | 代码: https://github.com/HealorCai/Skel-WAM

作者 / 机构: Zetao Cai, Yaping Li, Yiqun Wang, Xinyu Zhan, Yuyin Yang, Haoxiang Ma, Kailin Li, Tao Lu, Jiangmiao Pang, Linning Xu, Dahua Lin(香港中文大学;上海人工智能实验室;Joy Future Academy;CPII under InnoHK)

一句话总结: 港中文与上海 AI 实验室团队提出 Skel-WAM,用统一的手部骨架运动接口打通人与机器人的运动差异:把人手视频与机器人演示都映射到 2.5-D 手部骨架关键点,并生成骨架叠加以弥合外观差距,在双臂真机四项长程任务上取得 SR 79.86% / PSR 89.24%,相对最强基线 EgoVLA 提升 22.22 / 20.14 个百分点。

研究问题: 机器人演示采集昂贵,且对任务变化的分布覆盖有限。人类视频是低成本的补充操作经验来源,但要从中学习必须跨越外观与动作空间上的本体差异(embodiment gap)。核心问题是:什么样的统一表示,既能被人手视频与机器人演示共享,又能保留操作所需的精细几何与时序信息?

核心方法: ①手部骨架作为统一运动接口:把手部骨架运动作为人与机器人共享的中间表示,对齐两侧的运动;②结构化 2.5-D 关键点:提供显式的图像空间位置与深度,相比直接从 RGB 预测动作,能抑制抓取漂移;③骨架叠加(skeleton overlays):在人类视频上叠加骨架,缩小与机器人视角之间的视觉外观差距;④世界动作模型:同时建模未来视觉动力学与结构化的手部轨迹预测,使模型兼具生成的丰富性与骨架的精确性。

技术亮点:

  • 骨架是「刚刚好」的抽象:比像素抽象(跨本体稳定),比末端位姿具体(保留手指级与时序细节),是一个在人与机器人之间罕见地两边都成立的接口。
  • 与多个代表性基线的失败模式对照清晰:ACT 直接从 RGB 预测动作块,在 Stack Cups 上出现抓取漂移;Fast-WAM 预测视觉动力学但缺少显式骨架运动表示,导致 Stack Cups 抓握时机不准、Pour Water 中杯子定位偏差;LDA 用未来 DINO 特征预测动作,在 Place Fruit into Box 中被附近的葡萄干扰、把苹果的抓取位置预测偏——说明它对视觉干扰物敏感。
  • 人类数据被用在刀刃上:人类演示专门覆盖机器人演示中缺失的设置(物体位置、腕部旋转、干扰物、操作高度),而不是简单堆量。
  • 真机平台规格高:双臂 2×Franka Research 3 + RobotEra XHand1 灵巧手 + Intel RealSense D435 自我视角相机,用 Vive tracker 的相对位姿遥操作末端、MANUS 手套控制灵巧手。

实验结果: 四项双臂真机任务——Stack Cups(把两侧杯子依次叠到中间杯上)、Pour Water(协调瓶子与杯子完成倒水)、Place Fruit into Box(把芒果与苹果放入盒中)、Put a Wrist Guard into a Drawer(把护腕放入抽屉并关上)。每任务平均采集 50 条机器人演示 + 25 条人类演示。机器人设置下 Skel-WAM 取得平均 SR 79.86% / PSR 89.24%,相对 EgoVLA 分别提升 22.22 与 20.14 个百分点,且在全部四项任务上领先。消融显示去掉骨架叠加的协同训练版本性能大幅下滑(如 50.00/68.75、44.44/86.11、77.78/83.33、44.44/55.56、33.33/50.00),证明骨架叠加与结构化 2.5-D 关键点对人机迁移确实关键;论文还考察了从人类演示迁移机器人缺失的任务变化,以及对未见背景的泛化。

应用场景: 用人类视频补足机器人数据的长程双臂操作;灵巧手的跨本体技能迁移;数据预算有限、希望用低成本人类演示扩展任务覆盖的团队。

研究价值: ⭐⭐⭐⭐(4/5)— 在「人手视频 → 机器人」这条热门路线上给出了一个比潜动作、比末端位姿更合适的中间表示(手部骨架),并用双臂灵巧手真机 + 五组基线 + 逐任务失败模式分析证明其有效性。不足是仿真部分未展开对比,且真机任务数量有限。


📊 今日研究趋势

一、VLA 的增强路线正在从「加信息」转向「筛信息」。 FOCAL-VLA 是本期最典型的代表:几何监督与未来预测本身并不新鲜,新鲜的是把监督区域从整幅图像收窄到当前子任务涉及的实体。它的收益分布很有说服力——在接近饱和的 LIBERO 上只涨 1.0pp,在需要挑选目标的 RoboCasa 厨房场景上却涨 8.2pp。这说明此前方法的瓶颈不在「模型没看到几何」,而在「模型被迫同时看所有几何」。同样的筛选逻辑也出现在 ForeTac-VLA 里:与其把全部触觉历史作为条件塞给策略,不如只把预测出来的未来触觉作为决策依据。可以预期,下一阶段 VLA 表征增强的工作会更多关注「注意什么」,而不是「喂什么」。

二、触觉正在从传感模态升级为可预测的动力学状态。 ForeTac-VLA 明确提出:触觉信号和视频一样,是可以被预测的未来状态,因此应当被纳入世界建模而非仅作为条件输入。这个视角的转变带来的提升是巨大的——相对纯视觉微调基线 +36.25pp,相对此前的触觉 VLA 基线 +22pp 以上。结合往期已经出现的一系列触觉世界动作模型工作,一个共识正在形成:接触丰富任务里,视觉负责「在哪」,触觉负责「发生了什么」,而预测未来触觉负责「将要发生什么」。

三、世界模型的竞争焦点已经从「生成得像不像」转向「能不能闭环跑起来」。 ZYT-World 把这条路线做到了工程细节层面:七视角混合 rig、单步流式生成、保留教师 90% PSNR/SSIM 却快 107.7×、双 GPU 4 FPS、30 秒 rollout 与跨轨迹重访验证。VLA-Feedback 则从策略侧给出配套答案——闭环不只要求世界模型快,还要求策略本身能被中途打断:把最后一步去噪留作 2 ms 的反馈接口,比把动作块算得更快更划算。两者合起来描绘了闭环具身系统的新形态:世界模型负责实时供给,策略负责持续修正。

四、蒸馏的内涵正在从「压缩步数」扩展到「提纯信号」。 ZYT-World 用因果一致性蒸馏 + self-rollout DMD + RigCritic 把 40 步教师压成一步,是经典的步数压缩;而 Cal-OPD 走的是另一条路——它不动步数,而是质疑监督信号本身的可靠性,把教师自身偏差从师生差异里剥离,只保留 52–65% 的差异反而更好。这两条路指向同一个判断:蒸馏的收益越来越不来自「让学生更像教师」,而来自「让学生只学教师可靠的那部分」。CompAdapt 的一键适配与 4DGS-Fixer 的伪监督正则化,本质上也都是「有选择地使用生成模型」的同一思路在不同场景的投影。

🏆 最值得关注的 3 篇

  1. FOCAL-VLA(2609.21228) — 把「子任务相关性」引入 VLA 的几何与动力学监督,离线缓存教师特征、推理零开销,却在 RoboCasa 上拿到 +8.2pp。这是本期最具可复制性的范式改进:任何正在做 VLA 表征增强的团队,都可以直接把「整场景监督」换成「子任务实体池化」试一遍。
  2. Catch Me If You Can / VLA-Feedback(2609.21022) — 一个反直觉却极其优雅的设计:故意不把最后一步去噪做完,留出的位置正好用来注入最新观测,2 ms 的代价换来动态任务上从 0–60% 到 50–100% 的跃迁。CoRL 2026 接收,代码与权重均已开源,是本期最容易立刻上手的改进。
  3. ZYT-World(2609.21712) — 少见的把世界模型工程闭环讲透的技术报告:混合 rig 原生建模、RigCritic 联合评判、一步化蒸馏保留 90% 画质而加速 107.7×、双 GPU 七视角 4 FPS。对任何想把生成式世界模型真正部署到闭环评测里的团队,这份报告给出的加速与量化组合拳具有直接参考价值。

数据来源:ArXiv 2026-09-21(Mon, 21 Sep 2026)公告批次 | 分析生成时间:2026-09-22 06:00 (北京时间)