📅 本期精选来自 2026-08-28 ArXiv 最新论文，聚焦视频扩散模型规模化、生成式几何估计、长视频一致性、世界模型、VLA 与机器人操作等核心方向，共 8 篇。
📄 论文精选
How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models
链接： https://arxiv.org/abs/2608.28404
项目主页： https://valeoai.github.io/VATIX/ ｜ 代码 / 模型： https://github.com/valeoai/VATIX
作者 / 机构： Victor Besnier, Anh-Quan Cao, Elias Ramzi, Spyros Gidaris, Tuan-Hung Vu, Andrei Bursuc, Eloi Zablocki, Matthieu Cord（valeo.ai，法国巴黎；索邦大学 Sorbonne Université）
一句话总结： Valeo AI 系统研究驾驶视频扩散模型的 Scaling Law，在固定 5,500 小时驾驶数据上训练 1M–9B 参数模型族，并据此开源 9B 规模模型刷新 nuScenes 驾驶视频生成 SOTA。
研究问题： 驾驶视频生成无法照搬 Web 规模路线：驾驶数据采集昂贵、受隐私约束、不能随意爬取，因此模型必须把固定语料的每一分价值榨干。给定固定数据预算，算力究竟该投给更大的模型，还是更长的训练？是否还需要更多数据？
核心方法： 从零训练参数量从 1M 到 9B 的视频扩散模型族，在不同训练曝光（training exposure）与最长 5,500 小时驾驶数据下系统测量验证损失；分别在模型规模与训练曝光两个维度拟合幂律（power law），据此回答训练预算的关键取舍，并依照所得规律训练一个 9B 参数模型。
技术亮点：
- 首个面向驾驶视频扩散模型的系统性 Scaling Law 研究，模型跨度 1M→9B、数据上限 5,500 小时
- 验证损失在模型规模与训练曝光两个维度均服从一致的幂律关系
- 关键结论一：有限算力下，损失随训练曝光的改善远快于随模型规模，延长训练是提升固定模型最有效的方式
- 关键结论二：更大模型的渐近损失仍更低，算力与数据充足时算力最优缩放依然偏向扩大模型规模
- 开源 9B 模型与代码，据作者称是从零训练于驾驶数据的同类最大视频扩散模型；NATIX 将分期开源底层数据
实验结果： 依 Scaling Law 训练的 9B 模型在 nuScenes 上取得开源驾驶视频生成的新 SOTA；代码与预训练权重已开源。
应用场景： 自动驾驶世界模型与数据引擎、闭环仿真、长尾危险场景合成、驾驶视频生成预训练基座。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 驾驶世界模型方向最缺的正是"数据受限下如何分配算力"的定量答案，本文给出了干净、系统、可直接指导训练预算的幂律结论，并顺带开源了 9B SOTA 模型，工程与理论价值兼备。
Video Generative Models as Geometry Learner
链接： https://arxiv.org/abs/2608.28549
项目主页： https://happy-hsy.github.io/projects/GeoNeXt/
作者 / 机构： Haosen Yang, Jifei Song, Zhensong Zhang, Xiatian Zhu, Jiankang Deng（英国萨里大学 University of Surrey；帝国理工学院 Imperial College London）
一句话总结： 提出 GeoNeXt，首次将预训练视频生成模型改造为统一的几何估计框架，把深度与法线估计表述为"下一帧预测"，以远少于竞对的数据逼近甚至超越用 100 倍数据训练的判别式 SOTA。
研究问题： 生成式几何估计路线通常复用预训练图像扩散模型、把任务当作图像条件生成。但它们要么为深度、法线各自训练专用模型，白白放弃几何目标之间的内在关联；要么联合微调被改动过的图像扩散骨干（例如改造 self-attention），而这往往需要大量标注数据。如何让二者兼得——统一建模，又数据高效？
核心方法： 另辟蹊径地复用预训练视频生成模型，将几何估计创新性地形式化为 next-frames prediction（下一帧预测）任务：让模型在统一的序列中预测图像与几何目标，通过 image ↔ geometry 的双向联合建模学习几何。该方法天然继承视频模型中已结构化的知识与更丰富的先验，再将其适配到几何估计上。
技术亮点：
- 首次用视频生成模型（而非图像扩散模型）作为统一几何估计器
- 把几何估计重构为下一帧预测，直接复用视频模型的时序与结构先验
- 统一建模深度与表面法线，显式利用两类几何目标的内在相关性
- 数据效率突出：显著少于此前方法的训练数据即可超越任务专用与统一生成式竞对
实验结果： 在多个数据集上的零样本单目深度与表面法线估计中，超越此前所有任务专用与统一的生成式方法，且使用的训练数据大幅更少；可与训练数据超过其 100 倍的判别式 SOTA 方法相媲美，并在若干 benchmark 上更优。
应用场景： 单目几何感知、自动驾驶与机器人的空间理解、3D 重建前处理、具身智能的空间感知底座。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 与 Spatial Intelligence 主线高度契合：视频生成模型学到的不只是"像不像"，而是可被重新解读为三维结构知识。为"生成式预训练如何反哺判别式感知"提供了极具说服力的新证据。
Manifold4D: Denoising on Point Cloud Rendered Manifolds for Video Re-shooting
链接： https://arxiv.org/abs/2608.28174
项目主页： https://yongxuqixiang.github.io/Manifold4D-Project-Page/
作者 / 机构： Yongqi Mao, Zijia Dai, Zhishuo Liu, Wei Xu, Kaiwei Wang, Guotao Meng（浙江大学；Manifold Tech；上海科技大学；剑桥大学）
一句话总结： 提出 MANIFOLD4D，把与目标视角像素对齐的点云渲染直接注入 flow matching 的初始噪声，构造携带几何信息的"噪声流形"，从根本上消除视频重拍摄中的条件信任困境，相机控制精度全面领先。
研究问题： 视频重拍摄（沿用户指定相机轨迹重渲染一段单目动态视频）的主流范式显式提供目标几何：用逐帧深度把源视频抬升为 4D 点云，再沿目标轨迹光栅化为点云渲染。问题在于，渲染图与源视频被同时作为视觉条件送入网络，二者在每个去噪步相互竞争，给模型留下"该信多少渲染"的信任困境（trust dilemma）；在训练分布外的数据上，这会退化为轨迹控制失效或画面质量下降。
核心方法： 作者主张：一张已经与目标视角像素对齐的渲染图，根本无需作为显式条件流存在。MANIFOLD4D 将渲染直接注入 flow matching 的初始噪声，使生成不再从标准高斯噪声出发，而是从一个携带几何信息的新噪声流形出发，源视频则成为唯一的视觉条件。渲染因此只被使用一次，网络永远不必学习"如何读懂它"，后续去噪步可以专注于源视频。
技术亮点：
- 提出"噪声流形"注入范式：把几何先验编码进初始噪声分布，而非条件分支
- 从机制上消除了渲染与源视频在每一步去噪中的条件竞争
- 渲染仅注入一次，去噪过程回归标准 flow matching 形式，改动轻量
- 构建了 DAVIS-Traj benchmark 用于动态场景轨迹控制评测
实验结果： 在 DAVIS-Traj benchmark 与 Vista4D 评测集上，MANIFOLD4D 在相机控制精度的每一项指标上均取得最佳：旋转误差比最强 baseline 分别降低 25% 与 27%，平移误差最多降低 32%，同时视频保真度与其持平并在真实场景新视角光度质量上领先。用户研究在轨迹跟随与动态一致性上优势明显。当 yaw 幅度超出训练范围时差距进一步拉大；即便故意破坏渲染，模型仍能从源视频恢复正确动态，证明几何先验只起引导作用而非覆盖。
应用场景： 视频重拍摄与相机轨迹控制、影视后期运镜、动态场景新视角合成、可控视频生成。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 相机可控生成长期受困于"几何条件与外观条件打架"，本文用"把几何写进噪声流形"的思路给出了优雅且通用的解法，对可控视频生成与 4D 重建都有直接启发。
LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation
链接： https://arxiv.org/abs/2608.28460
作者 / 机构： Yixuan Ding, Jiahao Kong, Wei Huang, Ruijie Quan, Yi Yang（浙江大学；香港大学 The University of Hong Kong）
一句话总结： 提出 LayerRecall，发现视频 DiT 不同层对"当前 / 近期 / 远期"上下文存在分层偏好，据此设计层选择式记忆路由器，只把检索到的历史 K/V 注入对记忆敏感的层，显著提升长视频一致性。
研究问题： 自回归视频扩散通过从有限的近期上下文中逐块生成来实现可扩展的长视频生成。基于近期性的缓存能保持局部连续性，却会淘汰当主体、物体、场景或属性再次出现时所需的历史线索。现有记忆机制让模型能够"访问"非局部历史，但仅能访问并不等于能有效利用——检索什么、以及在哪一层使用它，两个问题都未被解决。
核心方法： 提出以当前状态为条件的层选择式记忆路由器 LayerRecall：检索相关的历史 K/V 状态，仅将它们注入主干网络中对记忆敏感的特定层，其余层保持局部注意力。为降低对稀缺长视频数据与显式记忆分配标注的依赖，进一步提出 Cross-Horizon Prediction Matching（CHPM），用一个特权长上下文参考在预测空间监督受限记忆的路由器。
技术亮点：
- 实证揭示视频 DiT 各层对当前、近期、远期上下文存在明显不同的偏好，为"记忆该放哪一层"提供依据
- 将"检索什么"与"在哪使用"解耦的层选择式记忆路由设计
- CHPM 借助特权长上下文参考在预测空间提供监督，无需稀缺的内存分配标签
- 观察到"记忆引导的自纠正"现象：初始不匹配的局部属性会回归其历史外观，且不打断正在进行的运动与场景结构
实验结果： 在 100 条多镜头评测 prompt 上，LayerRecall 在 MemoBench 与 MovieBench 上取得最佳总体结果，同时在 VBench-Long 上与自身主干持平，证明更强的长程恢复能力并未牺牲局部连续性。分析还显示其具备跨主干可移植性，且推理开销可忽略。
应用场景： 长视频与流式视频生成、多镜头叙事视频、自回归视频扩散架构优化、显存受限的长序列推理。
研究价值： ⭐⭐⭐⭐（4/5）— “层偏好"这一观察简洁而有力，把长视频记忆问题从"要不要加记忆"推进到"记忆该加到哪”，对 DiT 架构设计有普适参考价值。
DensityKV: Density-Guided KV Cache Compression for Long Video Generation
链接： https://arxiv.org/abs/2608.27922
代码： https://github.com/ZhaoWQQ/DensityKV
作者 / 机构： Wenqu Zhao, Xuemin Chi, Xin Zhang, Guoqing Ma, Baorun Li, Jianjie Fang, Peizhi Tang, Chen Gao, Wei Wu（Manifold AI；清华大学）
一句话总结： 提出 DensityKV，用 Soft-Riesz 密度度量 post-RoPE key 的局部冗余，为每个注意力头维护 token 级历史 KV 库并在准入后约束邻域密度增长，在固定 KV 容量上限下提升长视频一致性，且持久存储不随生成长度增长。
研究问题： 自回归视频扩散通过滑动窗口注意力实现流式生成，但每个生成块都以已生成内容为条件，导致外观与运动误差随时间递归传播。历史 KV 记忆能保留早期主体与场景状态、维持长程一致性，然而全量保留会让历史档案随推演持续膨胀，而重复出现的状态又不断带来冗余覆盖。
核心方法： 提出一种免训练的历史 KV 库管理策略。DensityKV 为每个注意力头维护独立的 token 级 KV 库，并用 Soft-Riesz 密度度量那些直接参数化注意力路由的 post-RoPE key 之间的局部冗余；通过在状态进入 KV 库后约束其邻域密度增长，限制重复的历史累积，同时保留每个已完成生成块的连贯状态。
技术亮点：
- 免训练（training-free），可直接接入现有自回归视频生成模型
- token 级（而非帧级）KV 选择：允许不同区域按其在 key 空间的局部覆盖度竞争容量，避免"一帧一个决定"的粗粒度浪费
- 用 post-RoPE key 间的欧氏距离上界刻画任意 query 下的归一化 logit 差异，使选择准则与未来 query 无关
- 持久历史存储量与推演长度解耦，始终保持有界
实验结果： 在三种自回归视频生成骨干与多种生成长度上，在相同的历史 KV 容量上限下，DensityKV 提升了长程一致性与生成稳定性，同时将持久历史存储保持为与推演长度无关的有界量。
应用场景： 长视频流式生成、实时与交互式视频生成、显存受限部署、自回归视频扩散推理加速。
研究价值： ⭐⭐⭐⭐（4/5）— 与 LayerRecall 恰好互补：一个解决"记忆怎么选"，一个解决"记忆怎么存"。免训练 + 有界存储的组合对工程落地格外友好。
AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction
链接： https://arxiv.org/abs/2608.28491
作者 / 机构： Yafei Zhang, Nan Wu（Across Physical AI，北京；中国科学院自动化研究所）
一句话总结： 提出 AcrossVAM1.0，用"粒子世界模型"把机器人视频预测解耦为以物体为中心的运动与稠密外观两条支线，仅 0.28M 参数的时空 Transformer 即把轨迹误差相对 persistence 基线降低 21.0%。
研究问题： 预测机器人视频既需要精确的运动推理，又要保住高频的外观细节；而单体像素模型把这两个目标纠缠在一起，其真实进展还常常被"直接复制最后一帧"这一强基线所掩盖。
核心方法： 用冻结的 SAM3-DLP 编解码器把 4 帧上下文分解为机器人、手臂、夹爪的语义粒子与一个背景 latent；一个仅 0.28M 参数的时空 Transformer 对齐粒子身份并前向推演其状态，并由冻结的 OpenCLIP 指令嵌入经 FiLM 调制；因果双流解码器把粒子渲染出的运动与仅从最后观测帧编码的外观结合，再经残差细化器与可学习的 delivery mask 生成 5 帧未来，全程不接触任何未来外观信息。
技术亮点：
- 以显式粒子动力学作为机器人视频预测的低维接口，将运动推理与外观合成彻底解耦
- 极度轻量：承担核心动力学的时空 Transformer 仅 0.28M 参数
- 因果双流解码 + 可学习 delivery mask，严格保证未来外观不可见
- 罕见地诚实报告负面结果：LPIPS 尚未超过 persistence 基线，语言接地信号偏弱（正确 vs. 打乱的语言仅带来 2.8–3.1% 的轨迹误差变化）
实验结果： 在基于多样真实机器人轨迹构建的 VRS benchmark 上，粒子动力学相对 persistence 降低 21.0% 的轨迹误差；在三种 delivery-mask 种子下，未来帧 PSNR/SSIM 从 19.97/0.796 提升至 20.573/0.8004，原始粒子生成使运动区域 PSNR 从 11.89 提升至 13.23。论文同时给出 oracle、负对照、多种子与逐机器人分析。
应用场景： 机器人世界模型、模型预测控制中的视频预测、具身策略离线评估、真实机器人轨迹数据引擎。
研究价值： ⭐⭐⭐⭐（4/5）— 用显式粒子状态替代像素级预测，是绕开"世界模型被最后一帧基线掩盖"这一顽疾的务实路线；论文对局限的坦率披露反而提升了结论的可信度。
DeicticVLA: Unifying Instruction Modes Based on Language and Deictic Gestures in a Single VLA
链接： https://arxiv.org/abs/2608.28108
作者 / 机构： Kango Yanagida, Tatsuya Aoki, Yuichiro Yoshikawa, Takato Horii（大阪大学大学院工学研究科系统创新专业；东京大学国际神经智能研究中心）
一句话总结： 提出 DeicticVLA，把语言指令、视觉-语言指令与纯视觉指令统一为"文本 prompt + 指示性手势掩码"，让单个预训练 VLA 同时支持三种指令模态，在未见类别上成功率从 16.7% 跃升至 100%。
研究问题： VLA 允许用户用自然语言指定操作任务，但当需要在同类或外观相似的物体中区分目标或放置位置时，必须依赖非常细致的文字描述，而 VLA 往往并不能可靠地利用这些长描述。
核心方法： 通过文本 prompt 补全与指示性手势接地（deictic gesture grounding），把 Language Instruction（LI）、Vision-Language Instruction（VLI）与 Visual Instruction（VI）规范（canonicalize）为统一的文本 prompt 加指示性掩码，使单个预训练 VLA 能处理全部三种指令模态。在共享骨干、共享示范数据与匹配训练步数的严格控制下，系统比较了两种 RGB 视觉提示、两种分离通道掩码提示与三种训练策略。
技术亮点：
- 首次在单一 VLA 内统一语言 / 视觉-语言 / 纯视觉三种指令模态
- 用指示性手势（指向、圈选）这一自然人机交互手段替代冗长文字描述来完成指代消歧
- 系统性消融：两阶段训练显著提升模型对指示掩码的利用能力；第二阶段保留 LI 数据可缓解遗忘，且不损害 VLI 与 VI 性能
- 单一策略即可在真实世界同时支持三种模态，无需为每种模态部署独立模型
实验结果： 在三个真实任务上，VLI 与 VI 在未见表达、外观变化与新物体条件下均优于 LI；对未见类别，两者均达到 100% 成功率，而联合训练的 LI 仅有 16.7%。
应用场景： 自然人机交互指令、家庭与服务业机器人、需要指代消歧的抓取与放置、少样本机器人操作。
研究价值： ⭐⭐⭐⭐（4/5）— 直击 VLA 落地时"语言说不清到底指哪个"的真实痛点，用指示性手势这一低成本通道换来未见类别上的巨大跃升，工程可复用性强。
Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL
链接： https://arxiv.org/abs/2608.28140
项目主页： https://tolomeis.github.io/contact-guided-exp
作者 / 机构： Simone Tolomei, Mayank Mittal, Franco Angelini, Manolo Garabini, Paolo Salaris, Marco Hutter（意大利比萨大学 Centro di Ricerca E. Piaggio；苏黎世联邦理工学院 ETH Zürich；NVIDIA）
一句话总结： 提出接触引导探索策略，在多 Critic 强化学习框架中用独立的"接触探索 critic"驱动末端执行器找到有效接触点并逐步退火，实现可真实部署的非抓取式移动操作，已被 IEEE RA-L 接收。
研究问题： 非抓取式操作（推、搬、靠）为移动和重排沉重或大体积物体提供了通用技能，与移动操作平台结合时尤其有用。然而无论是基于模型还是无模型的方法，都难以应对这类任务中复杂的混合动力学（hybrid dynamics）与极度稀疏的接触信号。
核心方法： 在多 Critic 强化学习框架内实现接触引导探索：一个专门的探索 critic 使用稠密的"寻求接触"奖励进行训练，引导末端执行器趋向有意义的接触点；其影响随时间逐步衰减（退火），从而让策略最终回归任务最优。候选交互点由一个通用抓取算法给出，使探索机制能够跨不同物体几何泛化。
技术亮点：
- 专门的探索 critic 配合稠密接触寻求奖励，直接缓解接触稀疏性这一核心难点
- 探索引导项逐步退火，兼顾早期探索效率与最终任务最优性
- 借助通用抓取算法提供候选接触点，无需为每个物体手工设计，实现跨几何泛化
- 多 Critic 架构与具体任务解耦，可迁移到其他接触丰富型操作任务
实验结果： 在箱体推动、椅子搬运、洗碗机开启等多个任务上完成评测；并对椅子搬运策略在四足移动机械臂上进行了大量真实世界实验，验证了非抓取式操作的可部署性。论文已被 IEEE Robotics and Automation Letters（RA-L）接收。
应用场景： 重型与大件物体搬运、家庭与仓储服务机器人、移动操作平台、接触丰富型操作任务。
研究价值： ⭐⭐⭐⭐（4/5）— 把"稀疏接触"这一老大难问题转化为一个可退火的辅助 critic，思路朴素但管用，且已在四足移动机械臂上完成真实部署，工程含金量高于平均。
📊 今日研究趋势
2026-08-28 的 ArXiv 呈现出一条相当清晰的主线：视频生成正在从"生成得像"转向"生成得可控、可规模化、可反哺感知"。
视频扩散的规模化规律 首次被系统量化——Valeo AI 用 1M 到 9B 的模型族在固定 5,500 小时驾驶数据上给出了双维度幂律，并明确了"数据受限时优先延长训练、算力充足时仍应扩规模"这一可直接指导预算分配的结论，为驾驶世界模型的训练提供了久违的定量依据。生成模型反哺判别式感知 方面，GeoNeXt 把视频生成模型改造为统一几何估计器，用远少于竞对的数据逼近用 100 倍数据训练的判别式 SOTA，是 Spatial Intelligence 方向的重要正向证据。
长视频生成 当日出现两篇高度互补的工作：LayerRecall 从"记忆该加到哪一层"入手，用层选择式路由解决检索与使用的错位；DensityKV 则从"记忆该怎么存"入手，用免训练的密度引导压缩把历史 KV 存储压成与推演长度无关的有界量。二者共同指向长视频生成的核心瓶颈——如何在有限上下文中维持长程一致性。
可控生成 方面，MANIFOLD4D 用"把几何写进噪声流形"的思路，一举消除了视频重拍摄中渲染条件与源视频相互竞争的老问题，相机控制精度全面领先，对相机可控视频生成有直接参考价值。具身智能 侧则呈现明显的"解耦"趋势：AcrossVAM1.0 用粒子动力学把运动与外观解耦，DeicticVLA 用指示性手势把指令与指代解耦，Contact-Guided Exploration 用退火式探索 critic 把探索与任务最优解耦——三条不同路线共同说明，当前具身智能的突破点越来越集中于"如何把纠缠在一起的目标拆干净"。
🏆 最值得关注的 3 篇
How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models — 数据受限场景下视频扩散模型的 Scaling Law 首度被系统量化，结论可直接指导训练预算分配，并开源 9B 规模的 nuScenes SOTA 模型，是驾驶世界模型方向少有的"理论 + 工程"双优工作。
Video Generative Models as Geometry Learner（GeoNeXt） — 用视频生成模型统一解决深度与法线估计，以极少量数据比肩 100 倍数据训练的判别式 SOTA，为"生成式预训练反哺空间感知"提供了迄今最有说服力的证据之一，值得所有关注 Spatial Intelligence 的研究者细读。
Manifold4D: Denoising on Point Cloud Rendered Manifolds for Video Re-shooting — 用"几何注入初始噪声而非条件分支"的巧妙设计，从根本上化解了相机可控生成中的条件信任困境，旋转/平移误差大幅下降且分布外泛化更稳，对可控视频生成与 4D 重建均有直接启发。
数据来源：ArXiv 2026-08-28 | 分析生成时间：2026-08-29 06:00 (北京时间)