📅 今天是 2026-10-04（周日），arXiv 周末不做公告。网页端 listing 各分类最新仍为 Fri, 2 Oct 2026，当日条数 cs.CV 215 / cs.RO 107 / cs.AI 381 / cs.LG 430 / cs.GR 14 / cs.MM 8，与上两期一字不差；ID 前沿探测显示 2610.02205 存在（v1 为 10-01），而 2610.03000 / 2610.03500 / 2610.04000 全部 404；Hugging Face 的 10-03 日报接口返回空、10-04 返回日期超限 —— 多方取证确认无新公告批次，因此本期继续从 10-02 批次（去重后 886 篇）取稿。

经全站 746 个历史 arXiv ID 与 776 条历史标题双重去重，dup_id = 16 —— 恰好等于前两期从该批次收录的 8 + 8 篇，自检锚点完全吻合；标题去重零命中。Top 30 候选逐篇核对 Submission history，v1 均为 2026-09-30 ~ 10-01，与公告批次一致，无旧文需剔除。第 3 次从该批次取稿，核心方向仍有充足候选（world model 12 / video gen 10 / VLA 10 / distill 11）。

本期八篇可以串成一条「从输出端回查输入端」的线索。Ego2Act 与 Embodied Agent Arena 都是审计型工作：前者发现视频生成模型在多步目标导向操作里会跳步、导致后续步骤缺失依赖状态，最好模型综合分只有 64.0；后者发现前沿 VLM 在精确估计与可用接触定位上已相当强，真正卡住的是「协调、目标导向的完整动作」。而 Token-World、Supervise What Decides Success、Divide-and-Remember 恰好在回答这些审计暴露出的问题：世界模型该在哪个空间做（VLM 压缩 token 态）、潜状态该保留什么（成功判据量本身）、历史该记住什么（给定当前观测后仍与动作相关的那部分）。

📄 论文精选

Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation

链接： https://arxiv.org/abs/2610.01092

项目主页： https://ego2act.github.io ｜ 代码： https://github.com/ego2act/ego2act ｜ 数据： https://huggingface.co/datasets/ego2act/ego2act-bench

作者 / 机构： Patrick Amadeus Irawan, Iskandar Muda Rizky Parlambang, Rava Maulana, Qinrong Cui, Erland Hilman Fuadi, Zayd M. K. Zuhri, Nanda Ryaas, Absar Ahmed Elshabrawy, Wilfried Ariel Mulyawan, Shoubin Yu, Yue Zhang, Mohit Bansal, Alham Fikri Aji（MBZUAI 穆罕默德·本·扎耶德人工智能大学；Nanyang Technological University 南洋理工大学；UNC Chapel Hill 北卡罗来纳大学教堂山分校）

一句话总结： MBZUAI、南洋理工与 UNC 团队推出 Ego2Act，据其所知是首个面向目标导向、多步第一人称操作的视频生成评测基准：2,640 段视频、110 个真实任务，给定初始场景图与一个高层目标，要求模型生成「一双手完成该任务」的第一人称视频（人类成功执行的中位时长 20.4 秒、平均步数超过 5 步）。配套的 Ego2ActJudge 是免参考自动评测管线，与人类共识的对齐度 r = 0.69、评分者间一致性 ICC = 0.86。结论相当克制：最好的 Seedance-2.0 综合仅 64.0 分，而人类参照为 100.0。

研究问题： 视频生成模型正被越来越多地当作具身规划与学习的「世界模拟器」来用。但这类用法有个前提——模型不仅要生成好看的帧，还要能预测「执行了一个目标导向动作之后，环境会如何演化」。现有基准大多只覆盖单步短动作或逐步指令，多步物理推理基本没有被测到，而第一人称视角恰恰是最需要规划的一档：必须把多个真实操作步骤串起来，才能达成一个高层目标。

核心方法： ① 任务与数据采集：110 个日常场景真实任务，覆盖不同程度的物体杂乱与多步复杂度，共 2,640 段视频；成功的人类执行中位时长 20.4 秒、平均超过 5 步。② 双轴评分：把「任务完成度 T」与「物理合理性 P」分开评，最终分数取几何平均 S = √(T·P)——任何一轴严重崩塌都会强烈压制总分；若一个 rollout 一个子目标都没尝试（T = 0，P 无定义），直接记 S = 0，保证这类彻底失败仍计入基准平均而不是被悄悄丢掉。③ Ego2ActJudge：从量规（rubric）导出的免参考自动评测器，在人工抽检子集上 ICC = 0.86、与人类共识相关性 r = 0.69，优于若干相关基线。④ 六个模型横评：Grok Imagine 1.5、Seedance 2.0、Cosmos 3、Kling v3 Pro、MiniMax H3、Wan 2.7，统一 480p、统一提示模板。

技术亮点：

  • 用几何平均把「两个轴都不能塌」写进评分规则本身，而不是先各评一遍再取算术平均掩盖短板。这一条直接决定了后面的结论形态——模型在任务完成度上还能看，但物理合理性一旦拉胯，总分立刻现原形。
  • 失败模式被定位到「跳步」：模型生成的模拟经常跳步或只执行了部分步骤，导致后续步骤缺失所依赖的前置状态，最终目标无法达成。这一条解释了为什么「单步看着还行」不等于「多步能用」。
  • 动作类型，而非场景杂乱度，才是生成失败的主因：论文明确报告，在所分析的特征中动作类型造成的生成质量差异最大，而杂乱程度、物体数量这类粗粒度场景特征没有显著关联，任务长度只有弱负相关。
  • 评测本身也必须多轮采样：分数在种子间波动明显，物理真实感与任务成功只是中等耦合且逐样本方差很大，二者并不能互为预测指标。

实验结果： 在人工评测下，Seedance-2.0 综合分最高，仅 64.0（任务 67.8 / 物理 63.0），Kling v3 Pro 59.6（59.3 / 64.2），MiniMax-H3 55.3（61.2 / 55.8），Grok-1.5 49.9（56.6 / 47.9），Wan-2.7 44.3（55.5 / 41.4）；人类正向参照为 100.0。自动评测器普遍存在相对人类的上偏（例如 Seedance-2.0 在 Ego2ActJudge 下为 83.3，在部分其它评测器下更高达 93.8），这本身也是一个值得警惕的结论。定性分析显示，模型在细粒度物理动力学上持续失败，尤其在复杂物体操作与持续世界建模（persistent world modeling）环节。

应用场景： 作为视频世界模型能否充当具身「想象引擎」的准入测试；多步操作规划的离线评估；以及为「视频模型物理合理性」这一长期含混的指标提供一个可复现的量规。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 51 页、19 图、23 表，代码、数据与项目站齐备。它的价值不在于刷出一个好看的数字，而在于把「视频模型能不能当世界模拟器」这个被反复宣称的前提变成了一个可测量、可复现的失败清单：跳步、依赖状态缺失、接触密集动作崩塌、以及自动评测器系统性上偏。对做视频世界模型与具身规划的人，这是本期最该先读的一篇。

Token-World: World Modeling in Vision-Language Model Token Space for Robot Manipulation

链接： https://arxiv.org/abs/2610.00575

项目主页： https://chuyaofu.github.io/Token-World/

作者 / 机构： Chuyao Fu, Xiaowei Chi, Yuhan Rui, Yu-Kai Wang, Zezhong Qian, Xiaojie Zhang, Yunfan Lou, Kevin Zhang, Kuangzhi Ge, Chak Wing Mak, Zhiyang Chen, Athena Zhuoming Zhong, Hongyang Cheng, Haoran Li, Yike Guo, Sirui Han, Shanghang Zhang（Southern University of Science and Technology 南方科技大学；MUKA Robotics；Hong Kong University of Science and Technology 香港科技大学；State Key Laboratory of Multimedia Information Processing, Peking University 北京大学多媒体信息处理全国重点实验室；University of Pennsylvania 宾夕法尼亚大学；Institute of Automation, CAS 中国科学院自动化研究所）

一句话总结： 南方科技大学、北京大学、港科大与 MUKA Robotics 等团队提出 Token-World，把世界动力学建模从像素空间搬到 VLM 视觉 token 的压缩态：先把 VLM 特征压成一个紧凑 token 状态，在这个降维空间里学未来动力学，再把预测状态映射回策略侧原本的表示。在 RoboTwin 上特征余弦相似度 0.7714 / NMSE 0.4892（IRASim 0.7372 / 0.5685，Ctrl-World 0.7097 / 0.6437）；闭环评测中模拟成功率与真实策略成功率的相关性从 Ctrl-World 的 0.583 提到 0.794，单步仿真耗时 0.359 秒，相对 IRASim / Ctrl-World / WorldGym 分别快 2.0× / 5.3× / 6.1×。已投稿 ICRA 2027。

研究问题： 给 VLA 系统配一个世界模型作模拟器，主流做法是先预测未来 RGB 观测，再重新编码成策略输入。这条链路存在一个绕不过去的间接性：生成图像本身消耗的容量，绝大部分花在了与策略决策无关的外观细节上，而且「生成—再编码」两步各自都会引入误差。那么，世界动力学能不能直接在策略真正消费的那个紧凑、面向策略的状态空间里建模？ 难点在于原始 VLM 视觉 token 维度很高，自回归动力学建模既贵又不准。

核心方法： ① 紧凑 token 状态：用 S-VAE 把 VLM 视觉特征压缩成一个低维 token 状态，而不是像 VAE 那样追求像素级重建。② 降维空间内的动作条件动力学：在这个压缩态上学自回归的、以动作为条件的未来预测。③ 回映射到策略侧表示：把预测出的未来状态映射回策略原本消费的表示形式，供下游直接使用——注意 rollout 过程本身不经过 RGB 重建，RGB 只用于可视化。④ 重建—可建模性权衡的显式消融：系统扫描紧凑状态维度 d ∈ {8, 16, 24, 32}，同时度量重建保真度与「可建模性」指标。

技术亮点：

  • 把「世界模型给谁用」这个问题前置了：既然最终消费者是 VLA 策略，那就在策略的 token 空间里做动力学，省掉「生成 RGB 再编码」这个两头受损的中间环节。
  • 闭环指标比开环指标更有说服力：开环相似度只是手段，真正要的是「用它模拟出来的成功率能不能预测真实策略的成功率」。Token-World 把 Pearson 相关从 0.583 提到 0.794、回归线更贴近 oracle 的 y = x，说明开环保真度的收益确实传导到了闭环可用性。
  • 效率收益同样显著：单步 0.359 秒，相对三个主流机器人世界模型有 2–6 倍加速，这让「大规模策略评测」从昂贵变得可行。
  • 消融揭示了一条清晰的反向权衡：d 从 8 增到 32，重建 NMSE 从 0.1026 单调降到 0.0633、余弦相似度升到 0.9623，但可建模性指标（SEC 变差、LDS 下降）同步恶化——压缩得越狠，动力学反而越好学，这正好印证了「不要为像素级重建浪费容量」的设计判断。

实验结果： 开环保真度上，RoboTwin 特征余弦相似度 0.7714 / NMSE 0.4892，对比 IRASim 的 0.7372 / 0.5685 与 Ctrl-World 的 0.7097 / 0.6437；经过策略推理后优势仍在，动作余弦相似度 0.9439 / NMSE 0.1145，对比 0.9260 / 0.1533 与 0.9265 / 0.1463。长程滚动上，论文在 replay chunk 0 / 5 / 10 / 15（每 chunk 16 个动作）上比较 Token-World 与 Ctrl-World，前者衰减更慢、更好地保留了任务相关的物体构型与人机交互关系，而 Ctrl-World 在后期逐步偏离参考演化。闭环上 Pearson 相关 0.583 → 0.794；效率上单步 0.359 秒，相对 IRASim / Ctrl-World / WorldGym 分别 2.0× / 5.3× / 6.1× 加速。

应用场景： 策略评测与模型选择的低成本模拟器、基于模型的规划与动作打分、以及任何需要「大量 rollout 但不想渲染图像」的机器人学习流水线。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 与本期 Ego2Act 形成有趣对照：一个在追问视频世界模型到底行不行，另一个则干脆绕开像素，在 VLM token 空间里另起炉灶。思路干净、闭环指标扎实、效率收益可量化，且消融给出的「重建—可建模性反向权衡」对做潜世界模型的人是直接可用的设计准则。

Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies

链接： https://arxiv.org/abs/2610.00982

项目主页： https://dnr-memory.github.io/

作者 / 机构： Xuehui Yu, Eason Yu, Meiyi Wang, Haozhe Du, Stefano V. Albrecht, Harold Soh（National University of Singapore 新加坡国立大学；Nanyang Technological University 南洋理工大学；LISTENAI）

一句话总结： 新加坡国立大学与南洋理工团队提出 Divide-and-Remember（D&R），把「该记住什么」从设计选择变成一个优化问题：从模仿学习的 POMDP 形式化出发，证明最优记忆应当最大化给定当前观测下动作与记忆的条件互信息 I(a_t; m_t | o_t)——直觉上就是只保留历史里那些「当前观测还没告诉你的、但与动作有关」的信息。在此之上，D&R 用递归的分治选择把全局历史压缩到固定预算：在 RoboMME 的 16 个长程操作任务上，仅 64 个 token 预算下平均成功率 38.6%，对比 HAMLET 32.2%、FrameSamp 27.9%、无记忆 π0.5 仅 17.9%，且在四类任务族上一致增益，真机实验复现同样的提升。

研究问题： VLA 模型在依赖历史的操作任务上一直吃力——只看当前观测根本决定不了该出什么动作，策略必须记住之前发生过什么（什么时候做过、在哪做过、做过什么、怎么做的）。现有记忆方法大多是按设计规则决定记什么，例如保留像素变化最大的帧，结果是在不同任务上收益很不一致。核心困难是：全局历史是个无界序列，而策略的记忆预算是硬约束，如何从整段历史里挑出真正与动作相关的那一小撮？

核心方法： ① 理论判据：从 POMDP 形式的模仿学习推出，最优记忆函数最大化 I(a_t; m_t | o_t)——记忆的价值只在于当前观测之外的增量信息，而且这个增量必须与动作相关。② 递归分治（Divide）：把「从整段历史里选」递归拆成一系列「从 2K 个 token 里选 top-K」的子问题，于是固定尺寸、端到端可学的轻量选择器就能支撑无界长度的历史。③ 选择器共享（and-Remember）：所有递归块共用同一个选择器，捕捉各层通用的选择规则，参数量与计算量都保持在低位。④ 统一评测设置：所有记忆方法都建在 π0.5 骨干上、以相同方式注入动作专家，在 RoboMME 全部 16 个任务上多任务训练，策略预测 20 步动作块、执行前 16 步。

技术亮点：

  • 把记忆设计从「启发式」升级为「有最优解的信息论目标」。保留像素变化大的帧这类规则之所以时灵时不灵，正因为它没有对准 I(a_t; m_t | o_t)：变化大的地方未必与动作相关，与动作相关的细微状态变化又未必像素差异大。
  • 递归 top-K over 2K 是个很巧的规模化技巧：用固定大小的局部决策拼出对无界历史的全局选择，避免了「历史越长、选择器越大」的常见困境，也让训练时的计算图保持浅而稳定。
  • 64 token 的硬预算下全面领先，说明收益来自「选得准」而不是「记得多」——对比 Latent 类的 HAMLET 与递归信念 RB-VLA、参数类的 TTT，D&R 在平均成功率上都是明确的领先。
  • 理论、仿真、真机三者闭环：RoboMME 上四类任务族一致增益，真机实验复现同样趋势，不是只在某一族任务上刷点。

实验结果： 在 64 token 预算下，D&R 在 RoboMME 四个 suite 上取得最高平均成功率 38.6%，对比 HAMLET 32.2%、FrameSamp 27.9%、无记忆 π0.5 17.9%。分任务族看，优势最集中的是**运动中心型（Motion-Centric）**任务：D&R 平均 47.5%，而 FrameSamp 31.0%、TokenDrop 14.4%、HAMLET 24.8%、RB-VLA 22.6%、TTT 13.6%、无记忆 π0.5 仅 11.2%；其中 Pattern Lock 一项从无记忆的 2.89% 提到 32.00%、Route Stick 从 4.67% 提到 59.33%、Swing Xtimes 从 35.56% 提到 95.33%。在长程视频、动态场景变化、事件显著型任务上，D&R 也稳定处于前列。论文还给出了可视化：在一个 MoveCube episode 的第 422 步，FrameSamp 只留 4 个均匀采样帧、TokenDrop 把预算花在像素变化最大的 patch 上，而 D&R 递归选出的 64 个 patch 里有 35 个来自视频阶段——即它学会了「答案在之前那段演示里」。

应用场景： 需要从演示视频或过往交互中取用信息的长程操作（照着刚才的做法再来一次、按指定顺序复现、记住某物之前被放在哪）、以及任何对推理时 token 预算敏感的实时 VLA 部署。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 给出了一条从理论判据直达工程实现的完整链条，而且判据本身（I(a_t; m_t | o_t)）对后续所有「给 VLA 加记忆」的工作都是一个可对照的标尺。递归 top-K 的规模化设计简洁有效，64 token 的硬约束让它对真实部署有直接参考意义。

Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena

链接： https://arxiv.org/abs/2610.00854

项目主页： https://embodied-agent-arena.github.io/embodied-agent-arena/

作者 / 机构： Haojian Huang, Pukun Zhao, Zexi Li, Yehang Zhang, Yangkai Wei, Wenqian Li, Han Yang, Kaiwen Zhou, Ying-Cong Chen, Yinchuan Li（HKUST (Guangzhou) 香港科技大学（广州）；The Chinese University of Hong Kong 香港中文大学；Knowin AI）

一句话总结： 港科大（广州）、港中文与 Knowin AI 团队构建 Embodied Agent Arena，在 1,000 个案例、32 个既有来源之上系统审计前沿 VLM 是否具备「机器人通才」的资质，覆盖 Geometry、Spatial Reasoning、Affordance、Task Planning 与 Manipulation 五条能力线，并附带新提出的几何估计基准 GeoProbe（Blender 渲染图 + 真实场景图）。评测 7 个 VLM 后结论明确：Astra 的优势集中在精确估计与可用接触定位，而「完成协调的、目标导向的动作」仍是通往机器人通才的关键缺口。

研究问题： 前沿视觉语言模型已经把场景估计、交互接地（interaction grounding）与可执行动作这几件事合到了一起。但「局部能力强」与「能跑通一个完整机器人任务」之间到底隔着多远，一直缺少一个能同时看两条线的评测：既有基准要么只测单点能力（深度、朝向、可供性），要么只测端到端成功率，无法定位失败究竟出在哪一环。

核心方法： ① Arena 构建：1,000 个案例来自 32 个既有来源，并加入自建的 GeoProbe（几何估计，覆盖 Blender 渲染与真实场景图像），统一归入五条能力线。② 最小 harness：刻意保留各来源的原始观测与操作方式，同时把度量精度（metric precision）、**功能接地（functional grounding）与原生目标完成（native goal completion）**三者分开统计——这是能定位失败环节的关键设计。③ 协议对照：比较更丰富观测的执行协议与多轮复核（multi-round review）的效果。④ 七模型横评并对 Astra 的逐任务优势做专项分析。

技术亮点：

  • 把「局部能力」和「完整任务」放进同一个 arena 对照，而不是各测各的。这使得「某模型在几何上很强但任务完成仍不行」从印象变成了可量化的事实。
  • 度量精度 / 功能接地 / 原生目标完成三分法是个很实用的诊断框架：一个模型可能在「量得准」上过关，却在「把这个量变成可用动作」上失败。
  • Astra 的能力画像被拆得很细，且不是一边倒的好：它在 BOP-ASK 相机深度排序上拿到 96–100%，但在 VSI 最近物体选择上只有 50%（Qwen-Max 76.7%），RoboSpatial 构型判断比最强同行低 22 个点；MindCube 相机位移准确率 78.5%，反而低于 Qwen-Max 的 89.2%。也就是说它「整体空间优势」其实由多视角关系强与物体中心选择与构型判断弱两部分混合而成。
  • 接触定位是真实优势：Astra 在 UMD 上以 96.7% 领先 Fable 的 94.4%，在 ReasonAff 上 31.0% 对 23.3%；论文还指出它的原生框能定位可用部件，但不必复现其精确形状——cutting 动作接触有效性 100%、严格框成功率 96%，说明「定位到能用的地方」比「画出完美的掩膜」更接近操作所需。

实验结果： 在 Affordance 线上，Astra 在 UMD 与 ReasonAff 上分别以 96.7% 与 31.0% 领先（Fable 94.4% 与 23.3%），在 RAGNet 上与 Fable 并列 35.0%；但跨来源看，接触准确率的绝对值波动远大于 Astra 的相对排名波动，说明这一项的绝对水平仍不稳定。在空间线上，深度线索比「在多个物体中做选择」可靠得多：BOP-ASK 深度排序 96–100%，而 VSI 最近物体选择仅 50%。共享运行的对照保留了这两处短板。整体上，Astra 的优势在精确估计与可用接触定位两项最扎实，而完成协调的、目标导向的动作仍是最主要的缺口。

应用场景： 前沿 VLM 作为机器人高层大脑的可行性评估、VLA 系统在「几何—可供性—规划—操作」链路上的瓶颈定位、以及未来机器人通才能力路线的优先级排序。

研究价值： ⭐⭐⭐⭐（4/5）— 40 页的实证长文，价值在于给出一张能力地图而非一个总分：明确指出了「估计准、接触找得到，但完整动作串不起来」这一当前阶段的结构性缺口。对判断「要不要把前沿 VLM 直接当机器人大脑用」这件事，是本期最具决策参考意义的一篇。

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

链接： https://arxiv.org/abs/2610.02117

代码： https://github.com/sirkosophia/Where-OPD

作者 / 机构： Sophia Sirko-Galouchenko, Monika Wysoczańska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris（Valeo.ai；Sorbonne Université, CNRS, ISIR 索邦大学；Institut universitaire de France (IUF)；ILLS）

一句话总结： Valeo.ai 与索邦大学团队提出 Where-OPD，给多模态大模型的在策自蒸馏（on-policy self-distillation）换了一种特权信息形态：不再给教师「与问题对应的图像裁剪」（视觉放大），而是给一段文本形式的、空间接地的引导，直接指出与查询相关的视觉元素在哪。这类引导来自程序化生成的合成场景——物体身份与空间坐标自动可得，因此后训练完全不需要人工标注、也不需要外部教师模型。尽管训练只用了合成场景，收益仍能迁移到真实感知基准：在 CVBench、V*、ZoomBench、BLINK、HR-Bench 与 MME-RealWorld 六项上平均 +3.23 分。

研究问题： 在策自蒸馏——用接收了特权信息的、冻结或 EMA 版本的自己来监督学生——已被证明能有效提升语言模型的推理能力，但它在多模态大模型上的应用基本还是空白。已有的少数尝试用特权视觉信息（例如把问题对应的图像区域裁出来）来改善细粒度感知，问题在于：这类增益只覆盖受益于「视觉放大」的任务，而且要么需要人工标注的接地数据，要么需要额外的外部教师模型。能不能找到一种既可扩展、又零标注、还能迁移到更广泛感知能力的特权信息？

核心方法： ① 换一种特权信息：给教师的不再是图像裁剪，而是文本形式的空间接地引导，明确指出与查询相关的视觉元素。② 程序化合成场景：场景自动生成，物体身份与空间坐标随之自动可得，因而可扩展且免标注地支撑后训练。③ 教师—学生分工：教师借助空间引导去定位并整合来自多个相关图像区域的证据；学生则只拿到图像与问题，学习复现教师由此产生的行为。④ 合成—真实迁移验证：在计数、文档理解、图表理解等基准上评测，并进一步在真实世界感知基准上验证迁移。

技术亮点：

  • 把特权信息从「像素」换成了「语言」：视觉裁剪只能帮到那些「凑近看就更好答」的任务；文本空间引导则是在教模型一种可迁移的取证策略——去哪些区域找证据、如何把多处证据拼起来。
  • 程序化场景一举解决了可扩展性、标注成本与接地精度三件事，不依赖人工标注，也不引入外部教师模型，训练闭环完全自洽。
  • 合成到真实的迁移被明确量化：训练只发生在合成场景上，却在六个真实感知基准上平均 +3.23 分，说明学到的不是对合成渲染风格的过拟合，而是更通用的感知能力。
  • 学生端输入没有变化：学生始终只看图像和问题，因此部署时的输入形态与成本与普通 MLLM 完全一致，收益是「白拿」的。

实验结果： 该方法在计数、文档理解与图表理解基准上跨多个模型一致提升。更重要的是迁移性：虽然后训练只使用合成场景，改进仍传导到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench、MME-RealWorld 六项上取得平均 3.23 分的提升。论文据此指出，空间接地的特权信息能够通过在策自蒸馏诱导出更宽泛的感知能力，实现超出后训练所用任务与数据分布的合成—真实迁移。

应用场景： 多模态大模型细粒度感知的后训练（尤其缺乏接地标注的场景）、文档与图表理解、计数任务，以及希望在不增加推理期输入与成本前提下提升感知能力的工业部署。

研究价值： ⭐⭐⭐⭐（4/5）— 论文篇幅精炼但切口很准：它同时解决了在策自蒸馏在多模态上「用什么当特权信息」与「特权信息从哪来」两个问题，并用合成—真实迁移给出了有说服力的证据。对做 MLLM 后训练与自蒸馏的读者，这是一条成本低、可复现的路线。

Supervise What Decides Success: Criterion-Aligned Auxiliary Losses for Latent World-Model Planning

链接： https://arxiv.org/abs/2610.01224

作者 / 机构： Takumi Hara（Kyoto University 京都大学）, Kanata Suzuki（Fujitsu Limited 富士通）

一句话总结： 京都大学与富士通团队指出潜世界模型规划的一个根本性错配：这类模型靠潜空间里的距离给候选动作序列打分，但任务成败是由物理量判定的。作者在所考察的全部四个潜世界模型中发现，末端执行器位置在潜状态中的编码误差，大于成功判据本身所允许的误差——也就是说，这个潜状态在原理上就分不出成功候选与失败候选。解法极简：训练时在编码器与预测器输出上挂一个线性头去回归「成功判据量」，把回归误差加进训练损失，训完就把头丢掉，因此模型、成本与测试期输入完全不变。仅此一项，PushT 与 cube 的成功率分别绝对提升 3.5% 与 3.4%，且均具统计显著性。

研究问题： 潜世界模型做规划的标准范式是：把候选动作序列在潜空间里前向推演，再用潜状态之间的距离给候选打分。但这里藏着一个从未被正面检视的前提——潜状态里到底有没有保留「判定成功所需的那点信息」？ 如果末端执行器位置的编码误差已经超过成功判据的容差，那么无论规划算法多精巧，潜空间距离都不可能把成功候选和失败候选分开。

核心方法： ① 诊断：系统检查四个潜世界模型，量化末端执行器位置在潜状态中的编码误差，并与任务成功判据所允许的容差对照。② 成功判据对齐的辅助损失：现有潜世界模型只把成功判据量当作输入；本文改为把它们当作训练目标——在编码器与预测器的输出上各接一个线性头，回归这些物理量，把回归误差计入训练损失。③ 训后丢弃：线性头在训练结束后即被丢弃，因此模型结构、推理成本与测试期输入一律不变，收益是纯赚的。

技术亮点：

  • 把一个「玄学」问题（潜空间够不够用）变成了一个可测量的量：拿潜状态里位置变量的编码误差去和成功判据容差比大小，一旦前者更大，规划失败就是必然的，而不是调参没调好。
  • 「成功判据」被提升到监督信号的地位：论文的核心主张是，成功判据规定了世界模型的潜状态必须保留什么，而且它可以直接当训练目标用——这是一个很干净的设计原则。
  • 零推理期代价：辅助头训完即弃，测试时模型、成本、输入三者都不变，这在工程上几乎没有任何采纳阻力。
  • 结论具有普适性：诊断覆盖四个不同的潜世界模型，说明这不是某一家的实现缺陷，而是这一范式的共性问题。

实验结果： 在诊断部分，作者报告在全部四个被考察的潜世界模型中，末端执行器位置的潜状态编码误差都大于成功判据所允许的误差，即潜状态无法把成功候选与失败候选区分开。仅加入所提出的辅助损失，PushT 的成功率绝对提升 3.5%、cube 提升 3.4%，且两项改进均具有统计显著性。论文强调，这些增益的取得方式完全不改变模型、成本与测试期输入。

应用场景： 所有基于潜世界模型的规划与动作打分（机器人操作、PushT 类接触任务、方块堆叠），以及任何「世界模型潜变量需要保留物理量精度」的基于模型的强化学习场景。

研究价值： ⭐⭐⭐⭐（4/5）— 21 页 6 图 10 表，是一篇典型的「小改动、大诊断」工作。它没有提出新架构，却用一次干净的测量点破了潜世界模型规划失效的一个结构性原因，并给出一个零成本的解法。对做基于模型的规划与潜动力学的人，这是一篇应该立刻对照自查的论文。

NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields

链接： https://arxiv.org/abs/2610.00981

项目主页： https://shota0520.github.io/NarrativeFlow-project-page/

作者 / 机构： Shota Kobayashi, Koki Seno, Daichi Yashima, Komei Sugiura（Keio University 庆应义塾大学，日本）

一句话总结： 庆应义塾大学团队提出 NarrativeFlow，把「机器人流（robot flow）」——即机器人速度场——作为跨本体、以运动为中心的动作表示，并用以语言为条件的流匹配把它建模成连续速度场。在 Fractal 与 Bridge V2 两个真实机器人数据集上，ADE 分别做到 21.68 与 30.59，把最佳基线的 37.14 与 50.73 拉开了 15.46 与 20.14 个点；LTDR 达 76.29% 与 66.30%。模型约 4.87 亿参数、推理约 62 ms，并在真机多任务上取得高于基线的成功率。已被 ACCV 2026 接收。

研究问题： 语言条件的操作对实用机器人系统至关重要，但扩展机器人基础模型一直受制于逐本体采集数据的高昂成本。一种有前景的中间表示是「机器人流」——用速度场描述操作过程中场景点如何运动，它天然与具体本体无关，因而可以复用来自多个机器人平台的数据。但现有方法存在两难：要么用稀疏关键点位移粗糙地近似机器人流，丢失了连续的动力学结构；要么干脆无法处理语言条件。

核心方法： ① 机器人流 = 连续速度场：不再用稀疏关键点位移近似，而是把机器人流建模为连续的速度场。② 以语言为条件的流匹配：用 flow matching 公式，在语言指令条件下生成机器人流，从而生成与真实操作物理一致的速度场。③ 跨本体数据训练：在 Fractal（Google Robot，87,212 样本）与 Bridge V2（WidowX，60,064 样本）两个来自不同真实平台的数据集上训练，验证跨本体复用。④ 评测协议：采用点跟踪领域标准的 ADE / FDE / LTDR（M = 100），并只在末端执行器区域计算——因为静态相机下背景区域几乎不动，计入会主导指标。

技术亮点：

  • 把「动作表示」从关键点位移升级为连续速度场，同时保住了跨本体的性质：这既是对现有稀疏近似方法的直接改进，也是让流匹配这一生成范式能落到操作任务上的关键一步。
  • 只在末端执行器区域评测是一个被低估的正确决定：在静态相机设置下，背景像素不动会在全图指标里占压倒性比重，从而掩盖模型在真正相关区域的差距。
  • 训练成本相当亲民：约 4.87 亿参数，单张 32 GB 的 GeForce RTX 5090 上训练约 6 小时，推理约 62 ms——对学术团队可复现性友好。
  • 定性结果直指语言落地的难点：在「从冰箱里拿百事可乐罐」这类样例中，基线 Im2Flow2Act 完全没能从「Pepsi can」这个短语生成朝向正确罐子的流；在「先拿银色锅盖再盖到银色锅上」的两步任务里，基线直接略过锅盖奔向锅，而 NarrativeFlow 区分了二者并生成了两步流。

实验结果： 定量上，NarrativeFlow 在两个数据集的全部三项指标上均列第一。Fractal 上 ADE 21.68、FDE 31.59、LTDR 76.29%，对比 FLIP 的 66.17 / 87.52 / 35.69% 与 Im2Flow2Act 的 37.14 / 47.74 / 60.61%；Bridge V2 上 ADE 30.59、FDE 42.42、LTDR 66.30%，对比 50.73 / 68.43 / 47.72% 与 51.48 / 70.93 / 47.97%。相对最佳基线的 ADE 优势为 15.46（Fractal）与 20.14（Bridge V2）个点，差异在 p < 0.01 水平上统计显著。真机实验进一步显示，NarrativeFlow 在多个操作任务上的成功率高于基线方法。论文也如实给出了一例 Bridge V2 上的失败案例。

应用场景： 跨本体机器人数据的统一动作表示、语言条件操作的低成本策略学习、以及作为机器人基础模型预训练中的「运动中心」中间层。

研究价值： ⭐⭐⭐⭐（4/5）— 与本期 Divide-and-Remember 恰好构成「动作侧」与「历史侧」的呼应：D&R 解决「历史里该记什么」，NarrativeFlow 解决「动作该用什么表示」。它把流匹配这一工具用在了正确的痛点上（跨本体 + 语言条件），指标优势明显且附带真机验证，是一篇扎实的 ACCV 2026 工作。

From Reasoning Failures to Composable Video Spatial Intelligence

链接： https://arxiv.org/abs/2610.01999

作者 / 机构： Pengzhan Sun, Junbin Xiao, Ramanathan Rajaraman, Shiu-hong Kao, Angela Yao（National University of Singapore 新加坡国立大学；University of Science and Technology of China 中国科学技术大学）

一句话总结： 新加坡国立大学与中国科学技术大学团队指出，空间推理基准只给任务级分数，无法揭示成败到底由哪些底层能力决定。他们把每个任务拆成「恢复空间证据—表示几何—在其上推理」三步，通过在统一 schema 与坐标契约下比对预测与真值的空间上下文，定位出四类反复出现的错误源：感知不准、空间上下文缺信息、选错了度量、参考系或位姿跟踪出错。据此构建 CROSS——一个免训练的类型化几何算子与空间技能库。在五个基准上，CROSS 把 ReVSI 平均分从 55.9% 提到 60.2%，并把 SpatialClaw 在 DSI-Bench 上从 62.8% 提到 66.3%。

研究问题： 现有空间推理基准评测视觉语言模型在各类任务上的表现，但任务级分数不告诉你成功或失败由哪些底层能力决定。一个任务其实需要依次完成三件事：从视频里恢复空间证据、把几何表示出来、再在这个表示上做推理。三步中任何一步出错都会导致同一个「答错了」，而单看总分完全无法区分——于是也就无法针对性地改进。

核心方法： ① 统一 schema 与坐标契约下的上下文比对：把模型预测出的空间上下文与真值放在同一套 schema 和坐标约定下逐项比对，从而定位错误发生在哪一步。② 四类错误源的归纳：感知不准（inaccurate perception）、空间上下文信息缺失（missing information）、度量选择错误（wrong measurement selection）、参考系或位置姿态跟踪错误（reference frame / tracking errors）。③ CROSS 算子库：由上述诊断驱动，构建一套类型化的几何算子与空间技能，在可用证据上执行，且完全免训练。④ 两种消费方式：把验证过的上下文供给不会写代码的 VLM，或把可调用技能暴露给 SpatialClaw 智能体。

技术亮点：

  • 把「答错了」这个结果拆解成一张可定位的错误地图：四类错误源不是事后归纳的标签，而是在统一坐标契约下比对出来的，具有可操作性——知道是「选错度量」还是「参考系错」，改进方向完全不同。
  • 免训练这一约束很有价值：CROSS 显示，显式处理空间约定本身就能修补系统性的推理失效，不需要额外训练。这对无法承担再训练成本的部署场景尤其有意义。
  • 两种消费形态覆盖了不同能力的模型：既能给不能写代码的 VLM 提供验证过的上下文，也能给具备工具调用能力的智能体（SpatialClaw）提供可调用技能，接口设计考虑得比较周全。
  • 坐标契约是个被长期忽视的失败点：很多空间推理错误其实不是「看错了」，而是「坐标系没对齐」——把这条单列成一类错误源，本身就很有解释力。

实验结果： 论文在五个基准上评测 CROSS。在 ReVSI 上，平均分数从 55.9% 提升到 60.2%；在 DSI-Bench 上，把 SpatialClaw 的结果从 62.8% 提升到 66.3%。作者据此结论：显式处理空间约定能够在不引入额外训练的前提下修补系统性的推理失效。

应用场景： 视频空间推理、具身智能中需要度量与几何估计的高层规划、以及为不具备代码执行能力的 VLM 提供可信的空间上下文。

研究价值： ⭐⭐⭐⭐（4/5）— 与本期 Embodied Agent Arena 在方法上形成互补：后者审计「VLM 能不能当机器人通才」，前者则把空间推理这一具体能力拆到可归因的粒度，并给出一个免训练即可接入的算子库。对做空间智能与视频推理的读者，四类错误源的分类框架本身就有参考意义。

📊 今日研究趋势

世界模型的「接口之争」正在从像素层上移到 token 层。 Token-World 是本期最直接的体现：它不再先生成未来 RGB 再编码成策略输入，而是把 VLM 特征压成紧凑 token 状态、在这个降维空间里学动力学、再映射回策略侧表示，rollout 全程不经过 RGB 重建。收益是三重的——开环保真度更高（RoboTwin 特征余弦 0.7714 vs Ctrl-World 0.7097）、闭环相关性更强（0.794 vs 0.583）、单步仿真快 5.3 倍（0.359 秒）。更关键的是它的消融给出了这条路线成立的原因：d 从 8 增到 32，重建越来越好而可建模性越来越差，压缩得越狠，动力学反而越好学。这与 Ego2Act 的结论形成了有趣的张力——后者恰恰在证明，纯像素路径的世界模型在多步目标导向操作上仍然力有不逮，最好模型综合分只有 64.0。两条合起来看：像素也许不是世界模型该待的地方。

潜世界模型的失效开始被「量化归因」而不是笼统归咎于容量。 Supervise What Decides Success 是本期最锋利的一篇：它不去提新架构，而是先做了一个测量——在全部四个被考察的潜世界模型里，末端执行器位置的潜状态编码误差大于成功判据本身允许的容差。一旦这个不等式成立，靠潜空间距离区分成败候选在原理上就不可能，再精巧的规划算法也救不回来。解法是把成功判据量从「输入」提升为「训练目标」，挂个线性头回归它、训完丢掉，PushT +3.5%、cube +3.4%，且推理期零代价改变。这类工作的共同特征是：先证明错在哪，再给出最小修复，工程采纳成本极低。

「该记住什么」终于有了可计算的最优判据。 Divide-and-Remember 从模仿学习的 POMDP 形式化推出，最优记忆应当最大化 I(a_t; m_t | o_t)——只保留历史里「当前观测还没说、但与动作有关」的那部分。这个判据一下子解释了为什么「保留像素变化最大的帧」这类规则时灵时不灵：像素变化大未必与动作相关，与动作相关的细微状态变化又未必像素差异大。落实上，它用递归 top-K over 2K 让固定尺寸的选择器支撑无界历史，在 64 token 硬预算下把 RoboMME 平均成功率从无记忆 π0.5 的 17.9% 提到 38.6%，其中运动中心型任务（Pattern Lock、Route Stick、Swing Xtimes）的提升最为惊人。

自蒸馏的特权信息正在从「给更多像素」转向「给更好的指引」。 Where-OPD 把多模态在策自蒸馏里的特权信息从「与问题对应的图像裁剪」换成了「文本形式的空间接地引导」，并用程序化生成的合成场景让这类引导零标注、可扩展地获得。区别在于：视觉放大只能帮到「凑近看就更好答」的任务，而文本空间引导教的是一种可迁移的取证策略——去哪些区域找证据、如何把多处证据拼起来。结果是训练只在合成场景上进行，却在 CVBench、V*、ZoomBench、BLINK、HR-Bench、MME-RealWorld 六个真实基准上平均 +3.23 分。

审计型工作正在给这个领域划定现实边界。 Ego2Act 与 Embodied Agent Arena 都不是提出新模型，却在告诉我们现阶段的天花板在哪。前者发现视频模型在多步操作中会跳步或部分执行，导致后续步骤缺失依赖状态，且失败主要由动作类型（尤其接触密集动作）驱动，而非场景杂乱程度；同时自动评测器普遍存在相对人类的上偏，这本身就是个警告。后者则给出了前沿 VLM 的能力画像：Astra 在精确估计（BOP-ASK 深度排序 96–100%）与可用接触定位（UMD 96.7%）上确实领先，但 VSI 最近物体选择只有 50%、MindCube 相机位移 78.5% 反而输给 Qwen-Max 的 89.2%——「局部能力强」与「能串成完整动作」之间仍有明确断层。

🏆 最值得关注的 3 篇

  1. Ego2Act（2610.01092） — 51 页的重量级基准，第一次把「视频生成模型能否作为多步目标导向操作的世界模拟器」变成一个可以量化、可以复现的失败清单：2,640 段视频 / 110 个真实任务，最好模型综合分仅 64.0（人类 100.0），失败集中在跳步导致的依赖状态缺失与接触密集动作的细粒度物理错误。它还顺带暴露了自动评测器相对人类的系统性上偏。代码、数据、项目站全开源，是做视频世界模型绕不开的一篇。

  2. Token-World（2610.00575） — 正面回答了「世界模型该在哪个空间做」。把动力学搬进 VLM 压缩 token 态后，开环保真度、闭环相关性（0.583 → 0.794）与效率（5.3× / 6.1×）三头同时改善，而消融给出的「重建越好、可建模性越差」的反向权衡，为这条路线提供了直接可用的设计准则。对做机器人世界模型的人，这篇与 Ego2Act 应该对着读。

  3. Divide-and-Remember（2610.00982） — 给出了「记忆该记什么」的一个可计算最优判据 I(a_t; m_t | o_t)，并用递归 top-K 把无界历史压进 64 token 预算，在 RoboMME 上把平均成功率从 17.9% 提到 38.6%、四类任务族一致增益、真机复现。理论判据对后续所有「给 VLA 加记忆」的工作都是一把可对照的尺子。

数据来源：ArXiv Fri, 2 Oct 2026 公告批次（周末补遗二，出刊日 2026-10-04）｜分析生成时间：2026-10-04 06:00 (北京时间)