📅 本期精选来自 2026-09-04 ArXiv 最新论文，聚焦世界模型从"预测未来帧"走向"显式建模世界状态"的范式迁移：物理/几何/外观被提升为可联合建模的原生状态，相机可控性成为跨越生成与控制的统一接口，想象力本身开始被"调度"以压缩 VLA 后训练成本，而 3D 记忆与 4D 分解则分别在长程一致性与空间推理上给出新的可验证约束，共 8 篇。

📄 论文精选

Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States

链接： https://arxiv.org/abs/2609.04196

项目主页： https://kangliao929.github.io/projects/puffin-world/ ｜ 数据： https://kangliao929.github.io/projects/puffin-16m ｜ 代码： https://github.com/KangLiao929/Puffin ｜ 模型： https://huggingface.co/KangLiao/Puffin-World 作者 / 机构： Kang Liao, Yihang Luo, Xiao-Ming Wu, Linyi Jin, Size Wu, Chunyu Lin, Yao Zhao, Fei Wang, Wei Li, Chen Change Loy（新加坡南洋理工大学 S-Lab、密歇根大学、北京交通大学、ACE Robotics）

一句话总结： NTU S-Lab 团队提出 Puffin-World，把物理（重力场与纬度）、几何（深度）与外观（图像）三类原生 3D 世界状态放进同一个多模态模型联合建模，配合统一 Omni-Camera 表示与 Puffin-16M 数据集，实现无需外部离线模块的物理感知、自由视角空间仿真与 3D 世界生成/重建。

研究问题： 现有 3D 世界建模方案普遍依赖"外部离线模块拼装"——先用现成的单目深度/重力估计器提取中间表征，再喂给生成模型。这类流水线存在两个硬伤：各模块的误差互相累积且无法端到端纠正；相机属性只以相对位姿形式出现，缺乏与真实世界锚定的绝对物理量，导致生成结果在物理上不自洽、跨视角不稳定。

核心方法： ① 三类原生世界状态联合建模：物理（gravity field 与 latitude）、几何（depth）、外观（image）不再由外部模块提供，而是作为模型自身的输出模态被联合建模；② 统一 Omni-Camera 表示：把多样化的相机内参与运动轨迹编码进统一空间，支持从静态新视角合成到复合运动控制；③ 物理动力学跨帧传播策略：把绝对相机属性锚定在真实世界中，使未来帧生成在物理上连续、视觉上稳定；④ 外观—几何耦合生成：在同一个生成过程中同时合成未来视角并重建其几何，而非先出图后重建；⑤ 数据侧：构建 Puffin-16M，含 1500 万视觉-语言-相机三元组（Puffin-Cam-15M）与 100 万条多样高难运动轨迹（Puffin-Traj-1M）。

技术亮点：

  • 把"重力场 / 纬度"这类绝对物理量作为可预测的原生状态，是让生成视频具备物理一致性的关键设计，比单纯做 pose conditioning 更接近世界模型的本意。
  • 外观与几何在单一生成过程中联合合成，天然可支撑 “mimic” 与 “自标定式世界探索” 这类需要多任务协同的闭环应用。
  • Omni-Camera 表示统一了不同 FOV、宽高比与运动模式，让相机控制不再是某个数据集的特例能力。
  • 数据、代码、模型全部开源，Puffin-16M 的 1500 万三元组规模在相机可控方向属稀缺资源。
  • 因评测缺口自建 Puffin-Cam-Bench（600 组文本—相机规格对），把"文本 + 精确相机参数"的配对评测标准化。

实验结果： 在 Puffin-Cam-Bench 上以 up vector、gravity direction、latitude map 的平均/中位角度误差（度）与 FID 为指标，对比 GPT Image2、Nano Banana 2、Qwen-Image2-Pro、FLUX.2-dev、Z-Image 等通用多模态生成模型，Puffin-World 在全部指标上以显著优势领先。论文指出这些通用模型虽能产出高保真图像，但在给定相机配置下往往无法保持空间一致的场景几何，视角偏差明显。此外模型支持 image-to-3D、text-to-3D、旋转控制、复合运动控制与 3D 重建等多类 3D 世界建模任务。

应用场景： 具身智能体的 3D 世界构建与交互；相机可控视频/图像生成；具身导航中的自由视角空间仿真；需要物理一致性的世界模型预训练。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 本期分量最重的一篇，且被 Hugging Face Daily Papers 收录（57 票）。它的核心贡献不是又一个生成器，而是重新定义了世界模型的输出空间：世界状态 = 物理 + 几何 + 外观，且全部内生。对关注可控视频生成与世界模型的读者，“绝对相机属性物理锚定 + 外观几何联合生成"这条路线非常值得跟进；Puffin-16M 也直接缓解了相机可控方向数据稀缺的痛点。

Drive-HWM: Hierarchical World Models for Dynamic-Latent Guided Autonomous Driving

链接： https://arxiv.org/abs/2609.03572

作者 / 机构： Zhaoxin Fan, Tianbao Zhang, Wenjun Wu, Xiaofeng Wang, Yeying Jin, Jian Zhao, Zheng Zhu, Shuicheng Yan（北京航空航天大学人工智能学院、上海交通大学 & Dim12 AI、GigaAI、新加坡国立大学、中国电信 TeleAI）

一句话总结： 北航 / 上交 / GigaAI / NUS 联合团队提出 Drive-HWM，用慢—快双层世界模型把"多步未来表征预测"与"即时动作生成"解耦到互补的时间尺度，并引入通过光流预测学到的 Dynamic-Aware Latents 显式刻画驾驶场景中的运动动力学，在 NAVSIM v1/v2 上以单目前视相机取得领先表现。

研究问题： 世界模型为端到端自动驾驶提供了一条"先想象再决策"的路径，但现有方案在时间尺度上是错配的：一类把未来预测与动作生成完全分离，预测结果无法反哺决策；另一类在同一时间尺度上联合预测，则难以同时兼顾"长程前瞻"与"基于最新观测的快速响应”。此外，驾驶场景中丰富的运动动力学（他车、行人的相对运动）在通用未来表征中往往被稀释。

核心方法： ① 慢世界模型（slow world model）：预测多步未来表征，捕捉长程场景演化；② Dynamic-Aware Latents：通过光流预测这一辅助任务显式学习运动动力学，让未来表征里真正带上"谁在往哪动"的信息；③ 快模型（fast model）：用轻量多模态主干 + 自回归专家，在这些未来表征的引导下，从最新观测联合预测下一帧与即时动作；④ 下一帧预测迫使快模型捕捉即将发生的场景变化，单步动作生成则让决策能随新观测持续刷新。

技术亮点：

  • 慢—快双层不是简单的两级网络，而是时间尺度上的职责分离：慢模型负责"看远"，快模型负责"看准"，两者通过未来表征单向引导耦合。
  • 用光流预测作为动力学表征的学习信号，是一个成本低、监督稠密且物理含义明确的归纳偏置。
  • 下一帧预测 + 单步动作的联合目标，把"生成式世界模型"与"动作专家"统一进同一主干，避免了两阶段流水线的误差传递。
  • 消融实验系统验证了层次化设计、动力学感知表征、联合预测三者各自的贡献，慢模型预测步数 K 也给到 4/8/12 的完整扫描。

实验结果： 在 NAVSIM v1 上以单目前视相机取得 PDMS 93.8，超过同为一相机的 DriveVLA-W0（93.0）与三相机输入的 AutoVLA（92.1）；在 NAVSIM v2 上取得 EPDMS 86.4，同样优于 DriveVLA-W0（86.1）与 DiffusionDrive（84.5）。效率方面，在单张 NVIDIA H200、batch size 1 下端到端延迟为 93 ms；慢模型预测 K=8 步时 PDMS 达 93.8，仅用快模型时为 81.6，验证了慢模型未来表征的实质增益。

应用场景： 端到端自动驾驶规划；需要长程推演的交通场景决策；低成本单目相机量产方案下的世界模型增强。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 把"世界模型该在哪个时间尺度上起作用"这个问题讲清楚了，并给出了可直接落地的慢—快架构与光流动力学表征。只用单目前视相机就在 NAVSIM v1/v2 双双领先，说明性能增益确实来自建模方式而非传感器堆料。对关注世界模型在真实闭环控制中如何落地的研究者，这是一篇方法论价值高于指标价值的工作。

WISE: World-model-guided Imagination Scheduling for Efficient Post-training of Vision-Language-Action Models

链接： https://arxiv.org/abs/2609.03681

作者 / 机构： Chenhao Zhang, Hanyu Zhao, Hang Cheng, Tengfei Pan, Long Zeng（清华大学、北京智源人工智能研究院 BAAI）

一句话总结： 清华 / 智源团队提出 WISE，回答了"世界模型的想象该在何时、以何种方式被调用"这一被忽视的问题——只在交互相关状态触发想象、做有界多视角 rollout、用进度与完成信号评估候选未来，从而把 VLA 后训练从"全程想象"解放出来，GPU 计算开销降低约 80%。

研究问题： VLA 策略的后训练长期在两条昂贵路线间摇摆：监督微调依赖高成本专家演示，强化学习依赖昂贵且可能不稳定的真机探索。世界模型提供了一条"用想象的未来评估候选行为"的第三条路，但光有准确预测还不够——想象必须被调度：不同执行阶段想象的价值差异巨大（接近接触/关键时刻最有用，空转段几乎无用），而过长 rollout 会累积预测误差并引入不可靠的学习信号。

核心方法： WISE 是一个统一框架，协调后训练过程中"何时"与"如何"使用世界模型想象：① 选择性触发：只在交互相关状态调用想象，而非每一步；② 有界多视角 rollout：限制想象视界，避免误差累积；③ 候选未来评估：用进度（progress）与完成（completion）信号对候选未来打分；④ 相对结果反哺：把候选未来的相对优劣转化为对真实交互上下文下生成动作的修正监督，而非直接用想象轨迹当监督。

技术亮点：

  • 把"想象力"从一种能力重新定义为一种可调度的资源，这是本文最本质的视角转换。
  • 监督始终锚定在真实交互上下文上，想象只提供相对偏好信号——这个设计规避了"用幻觉数据训练真机策略"的经典陷阱。
  • 有界 + 多视角的组合，同时解决了误差累积与视角歧义两个 rollout 老问题。
  • 在 π₀ 与 π₀.₅ 两个不同代际的预训练骨干上都验证有效，说明方法不绑定特定策略家族。

实验结果： 在五个机器人操作任务（Stack、Coffee、Square、Threading、Mug Cleanup）上，WISE 把 π₀ 的平均成功率从 49.7% 提升到 59.5%（+9.8 个百分点），比最强后训练基线 π₀+DPO 高 5.7 个点；应用于 π₀.₅ 则从 52.3% 提升到 60.2%（+7.9 点）。两个骨干下 WISE 变体在全部五个任务上均取得最优，在 Stack、Square、Threading、Mug Cleanup 上增益尤其明显。同时相比"全程想象"，GPU 计算时间减少约 80%。真机评测进一步显示，在高度变化、光照变化、干扰物、语言表述变化等分布偏移下鲁棒性与泛化性显著提升。

应用场景： VLA 模型的低成本后训练；真机强化学习的数据效率瓶颈；需要减少算力开销的大规模策略精调。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 精准命中"世界模型如何真正服务于策略学习"这个落地级问题。它给出的不是更好的世界模型，而是更好的世界模型使用方式：用 20% 的算力拿到全程想象的收益甚至更好。对算力受限又要做真机 VLA 后训练的团队，这个"想象调度"思路几乎可以直接复用。

WorldReward: Reward Modeling for Camera-Conditioned World Models

链接： https://arxiv.org/abs/2609.03952

项目主页： https://codegoat24.github.io/WorldReward ｜ 代码： https://github.com/CodeGoat24/WorldReward ｜ 数据： https://huggingface.co/datasets/CodeGoat24/WorldReward-Bench 作者 / 机构： Yibin Wang, Zehan Wang, Junshu Tang, Zhimin Li, Yujie Zhou, Jiazi Bu, Pengyang Ling, Feng Han, … , Jiaqi Wang, Tianyu Pang（复旦大学、腾讯混元、上海创智学院、上海交通大学、上海人工智能实验室）

一句话总结： 复旦 / 腾讯混元团队提出 WorldReward，一个基于 VLM 的成对偏好奖励模型，把相机可控世界模型的"动作一致性"与"视觉质量"统一到同一评判空间，并配套 WorldReward-Bench 与大规模推理增强偏好数据，在人类偏好一致性上三个维度全面超过 GPT-5.5。

研究问题： 相机可控世界模型生成的是交互式视频：指令动作应引起预期场景变化，同时外观、几何与时间动力学还要保持连贯。但现有奖励是割裂的——基于几何的奖励能估计轨迹执行得准不准，却判断不了执行动作的视觉质量；基于图像的奖励能量化单帧画质，却抓不住动作执行与时间动力学。更麻烦的是，让 VLM 拿完整长视频对照完整动作序列去打分，会产生冗长噪声上下文，短时局部的动作证据极易被稀释或漏掉。

核心方法： ① 动作对齐分块（action-aligned chunks）：把成对视频按动作切分成片段，把长上下文问题降解为一系列短上下文判断；② 结构化视觉证据：每个分块组织成结构化证据再送入 VLM；③ 投票聚合：把分块级决策投票聚合成视频级的"动作偏好"与"视觉质量偏好"两个独立分数；④ 数据构建：用前沿 VLM 生成结构化判断，再经基于工具的智能体审计与定向人工复核精炼，得到大规模推理增强偏好数据集；⑤ WorldReward-Bench：人工标注基准，度量奖励模型在动作一致性、外观质量、运动质量三维度上与人类偏好的一致率。

技术亮点：

  • “分块—结构化—投票"三步把 VLM 的长视频评判难题转化为可验证的局部判断，工程上非常务实。
  • 动作与视觉质量分两个通道分别出分，既统一了评判空间，又保留了两者的可解释性与可调权重。
  • 偏好数据的构造引入"智能体审计 + 人工复核"双保险，而不是单纯蒸馏前沿 VLM 的裸判断。
  • 奖励模型不只用于评测，还能直接驱动 RL 后训练，形成闭环。

实验结果： 在 WorldReward-Bench 上，WorldReward 在动作一致性、外观质量、运动质量三个维度均取得最高的人类偏好一致率，分别超过 GPT-5.5 3.42、1.45、3.56 个百分点。用于 HY-WorldPlay 1.5 的 RL 后训练时，在短程到长程的多种视界下，动作执行与视觉质量均获得一致改善。

应用场景： 相机可控 / 交互式世界模型的 RLHF；世界模型生成质量的自动评测与筛选；具身智能体想象轨迹的奖励塑形。

研究价值： ⭐⭐⭐⭐（4/5）— 世界模型领域长期缺一把"尺子”，WorldReward 补的正是这个位子。它的价值不只在于分数更高，而在于把奖励拆成了动作一致性与视觉质量两个可分别诊断的通道——这恰好是当前交互式世界模型最容易顾此失彼的地方。对做相机可控视频生成与 WAM 的团队，这套奖励可以直接作为后训练信号。同时被 Hugging Face Daily Papers 收录。

FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow

链接： https://arxiv.org/abs/2609.03563

项目主页： https://byeongjun-park.github.io/FlashRender/ ｜ 代码： https://github.com/byeongjun-park/FlashRender 作者 / 机构： Byeongjun Park, Byung-Hoon Kim, Hyungjin Chung（EverEx、延世大学、高丽大学）

一句话总结： EverEx / 延世 / 高丽团队提出 FlashRender，先诊断出多步生成式渲染中"相机控制随采样步数漂移"这一离散化误差表现，再用 RETA 表征变换对齐把几何变换直接编进源视频流，配合 MeanFlow 微调与 on-policy flow map 蒸馏，实现采样成本降低 25 倍的少步相机可控生成式渲染。

研究问题： 生成式渲染（把源视频沿目标相机轨迹"重拍"）在交互式世界探索中需求强烈，但多步扩散模型的推理成本让"秒级重拍"难以实现。直接做步数蒸馏效果有限，根源在于一个被忽视的现象：相机控制强度依赖于采样步数——少步采样下相机控制会漂移到与多步不一致的结果。这本质上是离散化误差的表现，也让去噪轨迹曲率居高不下，蒸馏难以收敛。

核心方法： ① RETA（Representation Transformation and Alignment）：把源视频的隐层表征与一个冻结视觉几何模型提取的目标视频特征对齐，从而把几何变换直接编码进源视频流，实现"采样步数一致"的相机控制；② MeanFlow 微调：在 RETA 诱导出的低曲率去噪轨迹上用 MeanFlow 目标微调，让模型更有效地处理离散化误差；③ On-policy flow map 蒸馏：在固定少步采样下修正自 rollout 误差。三者互补，构成完整的少步化方案。

技术亮点：

  • 把"相机控制随步数漂移"明确定性为离散化误差的表现形式，是全文最有价值的诊断——它把一个工程现象上升为可建模、可优化的目标。
  • RETA 用冻结几何模型做对齐而非端到端学习，既保住几何准确性又不破坏预训练生成先验，改动极小。
  • “降低去噪轨迹曲率以利于后续蒸馏"这个因果链条非常清晰：RETA → 低曲率 → MeanFlow 更好学 → 蒸馏更稳。
  • on-policy 蒸馏针对自 rollout 误差纠偏，而不是只用教师轨迹，切中了少步采样的真实失配来源。

实验结果： 大量实验表明 RETA、MeanFlow 与 on-policy flow map 蒸馏在少步生成式渲染中扮演互补角色。三者结合使方法在采样成本降低 25 倍的前提下，视频质量与几何一致性上追平多步基线，同时取得更优的相机可控性——即便在分布外的目标相机轨迹下依然成立。

应用场景： 秒级视频重拍与视角编辑；交互式世界探索中的实时新视角合成；相机可控视频生成的推理加速；影视/游戏预演的低成本多机位生成。

研究价值： ⭐⭐⭐⭐（4/5）— 对关注相机可控视频生成的读者，这是一篇"小而准"的工作：它不追求新架构，而是通过正确的误差归因，把少步化这个老问题在相机可控场景下真正解决。25 倍采样成本下降且几何一致性不降反升，对实时交互式世界模型有直接工程价值。

OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping

链接： https://arxiv.org/abs/2609.03919

项目主页： https://maxtirerror.github.io/octworldpage/ 作者 / 机构： Zelong Lv, Sicheng Xu, Jianfeng Xiang, Ruicheng Wang, Yue Dong, Yu Deng, Guangzhong Sun, Jiaolong Yang（中国科学技术大学、微软亚洲研究院、清华大学）

一句话总结： 中科大 / 微软亚洲研究院团队（ECCV 2026）提出 OctWorld，用动态稀疏八叉树上的 TSDF 融合构建可扩展、空间自适应的持久 3D 记忆 OctMap，让单图出发的自回归世界生成在长程相机轨迹与大视角覆盖下仍能保持稳定一致。

研究问题： 从单张图像出发、沿用户指定相机轨迹做自回归世界生成，是构建可探索 3D 场景的一条优雅路径。但长程生成（扩展相机路径 + 大视角覆盖）会暴露一个致命问题：当相机重新访问此前生成过的区域时，空间一致性会被打破——同一面墙换个角度看就变了样。现有 3D 记忆方案要么用点缓存（point-based cache）难以稠密重建，要么用固定分辨率 TSDF 体素（在内存开销与几何细节之间二选一）。

核心方法： OctWorld 是一个带持久 3D 记忆的视频扩散框架。核心是 OctMap：① 逐步把已生成的视觉观测及其对应深度图融合进一个全局表征；② 融合在动态稀疏八叉树内进行，空间分辨率随图像证据自适应——有细节的地方细分，空白区域粗放；③ 这种设计在跨场景尺度下同时保住几何与外观细节，并把内存开销压在低位。

技术亮点：

  • 用八叉树做空间自适应分辨率的 TSDF 融合，是对"固定体素 vs 点缓存"二元对立的一次漂亮破局：既稠密又省内存。
  • 把 3D 记忆做成"持久化"的全局表征而非滑动窗口缓存，是长程一致性的结构性保障。
  • 分辨率由图像证据驱动而非手工设定，天然适配从桌面小场景到室外大场景的尺度跨越。
  • 附录中还提供了 depth-free 的 OctWorld-1.5 版本与流式长程深度估计，说明团队在往更轻量的部署形态推进。

实验结果： 在 WorldScore 基准（静态 photorealistic 子集 200 场景、相机运动幅度 ≥ 3）上，OctWorld-1.0 取得 WorldScore 50.31，超过 Voyager（49.93）、AETHER（46.59）、Gen3C（45.48）与 Vmem（42.4）；其中 Static 3D Consistency 71.67、Photometric Consistency 77.01、Style Consistency 78.17 均为最高。评测采用每相机转向生成 36 帧、每场景共 108 帧的设置以更好检验长程空间一致性。在更具挑战的长程生成设定下同样优于已有方法，OctMap 相对点缓存与固定分辨率 TSDF 体素的优势在消融中得到验证。

应用场景： 可探索 3D 场景的自动生成；具身导航的世界模型预训练；游戏/虚拟场景的开放式生成；长程相机可控视频生成。

研究价值： ⭐⭐⭐⭐（4/5）— 长程一致性是"世界模型"成其为世界模型的前提条件，OctWorld 用一种经典但改造得当的数据结构（动态稀疏八叉树 + TSDF）给出了高效解法。ECCV 2026 接收也说明其方法论贡献已获同行认可。对做交互式世界生成的研究者，OctMap 作为"即插即用的 3D 记忆模块"思路有较高复用价值。

Unfold The World: Factorize 4D Properties in Reinforcing Spatial Reasoning

链接： https://arxiv.org/abs/2609.03729

代码： https://github.com/ZimaBlue-WAM/FactoSR 作者 / 机构： Yijun Yang, Shenghe Zheng, Wenbo Li, Jianhui Liu, Haoze Sun, Yanbing Zhang, Jiaxiu Jiang, Lin Song, Haoyang Huang, Nan Duan, Lei Zhu（Joy Future Academy、香港科技大学（广州）、香港科技大学、香港大学）

一句话总结： Joy Future Academy 与港科大（广州）/港大团队（ECCV 2026）提出 FactoSR，指出 VLM 的"扁平"空间瓶颈源于 2D 投影训练与 3D/时序推理之间的维度错配，进而把世界一致性推理分解为**平面对应（XY）、深度一致（Z）、时间可逆（T）**三个正交几何子目标，用可验证约束逐个击破。

研究问题： VLM 在通用多模态任务上表现出色，但在物理世界推理上依然是"扁的”（flat）。作者给出的诊断很锐利：这是一个维度错配问题——VLM 被训练去解读 2D 投影，而真正的空间推理要求从投影中恢复被坍缩掉的 3D 几何与时间连续性。直接从 2D 观测端到端学习这个高维逆问题是病态（ill-posed）的，单一的强化学习目标难以提供有效信号。

核心方法： 提出从"单体式学习"转向"分而治之"。FactoSR 是一个分解式强化学习框架，把世界一致性推理这一单体问题拆解为三个正交的几何子目标：① 平面对应（XY）：跨视角的平面位置对应；② 深度一致性（Z）：被投影坍缩的深度维度的一致性；③ 时间可逆性（T）：时序上的可逆/循环一致。三个约束都是可验证的（verifiable），因此能各自提供稠密可靠的奖励，并在统一的策略学习机制下联合优化。

技术亮点：

  • 把"投影坍缩掉的维度"显式列出来并逐项补偿，是一个解释力强、可操作性也强的框架，比笼统说"加强 3D 感知"高出一个层次。
  • 三个子目标正交，意味着奖励之间冗余度低、不会互相干扰，这是 RL 训练稳定性的重要保障。
  • 全部约束都可在数据上自动验证（无需人工标注偏好），天然适配可验证奖励强化学习（RLVR）范式。
  • 把病态的逆问题转化为一系列"可着手的推理步骤"，方法论上对其他逆问题（如从单图恢复动力学）也有启发。

实验结果： 在多视角与视频基准上的大量评测显示，这种分解在 3D 与 4D 推理上带来实质性提升：VSI-Bench 提升 5.9%，All-Angles-Bench 提升 4.5%。

应用场景： VLM 的空间智能增强； embodied 场景中需要 3D/4D 理解的任务（导航、操作、场景问答）；多视角与视频理解基准的能力补强。

研究价值： ⭐⭐⭐⭐（4/5）— 在 Spatial Intelligence 成为共识方向、但多数工作仍停留在"加数据、加模块"的当下，FactoSR 提供了一条以维度分解驱动奖励设计的清晰路径。ECCV 2026 接收。它的启示可以外推：凡是被可逆变换坍缩掉的信息，都可以用"正交子约束 + 可验证奖励"的方式逐个恢复。

MINERVA: How Small Can a Manipulation Policy Be and Still Solve LIBERO?

链接： https://arxiv.org/abs/2609.03715

代码： https://github.com/k1000dai/MINERVA 作者 / 机构： Kohei Sendai, Tatsuya Matsushima, Yusuke Iwasawa（东京大学松尾-岩泽实验室 / Matsuo-Iwasawa Lab）

一句话总结： 东京大学团队提出 MINERVA 系列刻意做小的视动策略，系统测量 LIBERO 基准的"任务特定容量下界"：一个 54 万参数的策略在四个 LIBERO 套件、2000 次 rollout 上达到 95.1% 平均成功率，仅比 LeRobot π₀.₅ 低 2.4 个点，而参数量少 7700 倍；论文同时对 LIBERO 的指令条件化有效性提出了尖锐质疑。

研究问题： 数十亿参数的 VLA 模型已主导 LIBERO 排行榜，但一个从未被认真回答的问题是：这个基准到底需要多大的模型容量？ 缺乏这个"容量下界"的认知，社区既无法判断规模化的边际收益，也难以为部署受限场景（端侧、低算力机器人）做理性设计。

核心方法： MINERVA（MINimal Efficient Robotic Vision-Action policy）是一族刻意压缩的视动策略，通过系统地扫描架构、训练与推理的各个维度来定位容量下界。评测覆盖四个标准 LIBERO 套件、共 2000 次 rollout，并对架构、训练、推理做了大范围 sweep，用训练随机种子带宽（±1 点）判断哪些因素真的影响显著。

技术亮点：

  • 容量下界的定量刻画：性能在约 100 万参数附近饱和，低于 25 万参数则崩溃——这给出了明确的"够用"与"不够用"分界线。
  • 反直觉的生成头结论：在三个随机种子上，flow matching 相对直接 L1 回归没有可检测的优势，而回归在 GPU 上快达 3.8 倍。这对当前"VLA 必须用扩散/流匹配动作头"的共识是一次正面对冲。
  • task-ID 置换探针：改变任务 ID 而保持其他条件不变，发现标准 LIBERO 指令条件化主要是在已记忆的任务之间做选择——这直指基准本身的效度问题。
  • 全面 sweep + 种子带宽对照的方法论，让"哪些设计真的重要"这一结论具有统计可信度（只有动作块长度与视觉容量稳定超出 ±1 点带宽）。

实验结果： 0.54M 参数策略在四个 LIBERO 套件上取得 95.1% 平均成功率，仅比已报道的 LeRobot π₀.₅ 低 2.4 个百分点，参数量少 7700 倍。性能在 ~1M 参数饱和、<0.25M 崩溃。广域 sweep 中只有 动作块长度（action-chunk length） 与 视觉容量（vision capacity） 稳定超出 ±1 点的种子带宽。flow matching 在三个种子上无优势且更慢（L1 回归快至 3.8 倍）。task-ID 置换探针揭示了指令条件化的记忆选择本质。

应用场景： 端侧 / 低算力机器人部署；VLA 架构选型的成本—收益分析；机器人学习基准的效度审计；面向部署的策略蒸馏目标设定。

研究价值： ⭐⭐⭐⭐（4/5）— 这是一篇踩刹车但踩得有价值的论文。在 VLA 军备竞赛语境下，它用严格实验给出了三剂清醒剂：容量存在明确下界（0.54M 就够打 95%）、动作头不必是生成式的、以及 LIBERO 的语言条件化可能并没有真正测到语言理解。对做模型蒸馏与部署优化的读者，95.1% @ 0.54M 这个数字本身就是极有价值的蒸馏目标锚点。

📊 今日研究趋势

世界模型的"输出空间"正在被重新定义。 Puffin-World 把物理（重力场/纬度）、几何（深度）与外观（图像）提升为模型内生的三类原生世界状态，不再借助外部离线模块拼装；Drive-HWM 则用光流预测显式学出 Dynamic-Aware Latents，让未来表征里真正携带运动动力学。两者指向同一判断：世界模型的竞争焦点正从"预测得像不像"转向"世界状态定义得对不对"。当世界状态可被显式预测与干预，后续的规划、控制与反事实推演才有可靠的落点。

相机可控性正在成为跨越生成与控制的一等接口。 本期有四项工作从互补角度切入：Puffin-World 用 Omni-Camera 统一表示把绝对相机属性锚定到真实世界；WorldReward 专门解决"指令动作是否引起了预期场景变化"的奖励建模；FlashRender 把相机控制随采样步数漂移定性为离散化误差并据此实现 25 倍加速；OctWorld 则用八叉树 3D 记忆保障长程轨迹下重访区域的空间一致。相机不再只是条件向量，而是连接物理世界、生成模型与智能体动作的公共坐标系。

VLA 后训练的重心从"更强的监督"转向"更省的想象力"。 WISE 提出的关键洞见是：世界模型的想象是一种需要被调度的资源——只在交互相关状态触发、做有界 rollout、用相对结果反哺真实交互上下文，在 π₀ / π₀.₅ 上分别提升 9.8 与 7.9 个百分点的同时把 GPU 开销砍掉约 80%。与之呼应，MINERVA 从另一端给出压缩证据：0.54M 参数的策略就能在 LIBERO 上打 95.1%，且 flow matching 动作头相对 L1 回归并无优势。两条工作线合起来指向一个务实方向——VLA 的下一步增益可能更多来自"用得聪明"与"做得够小"，而不是继续堆参数。

空间智能的突破口转向"维度分解 + 可验证奖励"。 FactoSR 把被 2D 投影坍缩掉的维度逐项列出（XY 平面对应 / Z 深度一致 / T 时间可逆），用三个正交且可自动验证的子约束分别提供奖励，在 VSI-Bench 与 All-Angles-Bench 上分别提升 5.9% 与 4.5%。这条路径的价值在于可外推性：凡是被可逆变换坍缩掉的信息，都可尝试用"正交子约束 + 可验证奖励"的方式逐个恢复，而不必依赖昂贵的人工偏好标注。同时 MINERVA 的 task-ID 置换探针也提醒我们，基准分数本身未必度量了我们以为它在度量的能力。

🏆 最值得关注的 3 篇

  1. Puffin-World — 重新定义了世界模型的输出空间（物理 + 几何 + 外观三类原生状态），并配套开源 1500 万三元组的 Puffin-16M 与 Puffin-Cam-Bench。对可控视频生成与世界模型方向，这是一篇会改变后续工作"默认输出格式"的基座式论文，HF Daily Papers 57 票也印证了社区判断。

  2. WISE — 提出"想象力需要被调度"这一被长期忽视的命题，用 20% 的算力拿到优于全程想象的 VLA 后训练效果（π₀ +9.8、π₀.₅ +7.9 个百分点）。方法论可迁移性强，对任何要用世界模型做策略精调的团队都是立即可用的思路。

  3. Drive-HWM — 慢—快双层世界模型把"长程前瞻"与"即时响应"在时间尺度上解耦，用单目前视相机在 NAVSIM v1（PDMS 93.8）与 v2（EPDMS 86.4）双双领先。它回答的是世界模型在真实闭环控制中"该在哪个时间尺度起作用"这个根本问题，工程落地价值突出。

数据来源：ArXiv 2026-09-04 | 分析生成时间：2026-09-05 06:00 (北京时间)