📅 本期精选来自 2026-06-30 ArXiv 最新论文，聚焦世界模型、视频生成、具身AI与机器人、生成模型理论等核心方向，共 8 篇。

📄 论文精选

Orca: The World is in Your Mind

链接： https://arxiv.org/abs/2606.30534

一句话总结： 提出通用世界基础模型 Orca，通过统一的 Next-State-Prediction 建模范式，在共享的世界潜空间中同时支持文本生成、图像预测和具身动作生成三类下游任务。

研究问题： 当前 AI 模型在 next-token/next-frame/next-action 等预测任务上各自孤立优化，缺乏统一的世界理解基础。如何构建一个通用世界基础模型，让同一个世界潜表示支撑多样化的下游能力？

核心方法： Orca 提出 Next-State-Prediction 统一建模路线，将世界状态转换分为两类学习范式：

  • 无意识学习（Unconscious Learning）：从连续视频中捕获密集自然状态转换
  • 有意识学习（Conscious Learning）：通过语言描述事件和 VQA 监督建模稀疏有意义的状态转换

预训练数据包含 125K 小时视频和 1.6 亿事件标注，主干冻结后仅需训练轻量化模态解码器即可适配下游任务。

技术亮点：

  • 统一世界潜空间同时支持文本、图像、具身动作三类模态的输出
  • 双范式预训练：无意识学习建模物理连续性，有意识学习注入语义知识
  • 下游解码器与主干完全解耦，参数高效适配
  • 实验验证了世界潜表示质量与下游能力强正相关

实验结果： Orca 在文本生成、图像预测、具身动作生成三个代表性下游任务上均优于同量级专用基线模型，验证了统一世界潜空间的可扩展性。

应用场景： 通用世界理解与预测、具身AI规划与控制、多模态生成、视频预测、智能体决策。

研究价值： ⭐⭐⭐⭐⭐（5/5）— 世界模型方向极具代表性的系统性工作，提出的 Next-State-Prediction 统一范式在概念层面具有重要价值，125K 小时视频的大规模预训练且下游表现优于专用模型，是本方向的重要里程碑论文。

Self-Evolving World Models for LLM Agent Planning

链接： https://arxiv.org/abs/2606.30639

一句话总结： 提出 WorldEvolver 框架，通过测试时记忆自修正机制（无需更新模型参数）让 LLM 智能体的世界模型在部署中持续进化，提升预测精度与规划成功率。

研究问题： LLM 智能体的世界模型在推理时预测不可靠，错误预见容易降低下游决策质量。现有方法在部署后无法适应环境，如何在不修改参数的条件下让世界模型在线自我改进？

核心方法： WorldEvolver 由三个模块组成：

  • Episodic Memory（情节记忆）：通过检索真实动作转换进行基于案例的模拟
  • Semantic Memory（语义记忆）：从预测与观测的不一致中提取持久启发式规则
  • Selective Foresight（选择性预见）：过滤低置信预测，防止错误预见污染推理上下文

所有参数（下游智能体和模型权重）保持冻结，仅在部署时上下文中动态修订。

技术亮点：

  • 测试时记忆修订，无需任何参数更新
  • 三模块协同：情节记忆+语义记忆+置信过滤
  • 可接驳多种 LLM 主干模型

实验结果： 在 ALFWorld 和 ScienceWorld 上评估，WorldEvolver 在三种主干模型上均达到最高预测准确率，在 AgentBoard 下游任务成功率上领先其他世界模型基线。

应用场景： LLM 智能体长时规划、具身AI环境适应、交互式决策智能体。

研究价值： ⭐⭐⭐⭐（4/5）— 测试时自进化的世界模型思路新颖，三模块设计逻辑清晰，无参数修改的在线改进对实际部署友好，但规模和适用范围尚需进一步验证。

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

链接： https://arxiv.org/abs/2606.30599

一句话总结： 发布百万级指令视频编辑数据集 Goku（200万对），将任务边界从外观编辑扩展至结构操控（含主体运动精确控制），并提出 Goku-Edit 模型与 Goku-Bench 评测基准。

研究问题： 现有指令视频编辑数据集聚焦单任务外观编辑，无法满足真实场景中复杂的创意需求（如结构性修改、主体运动控制），数据瓶颈限制了模型能力上限。

核心方法：

  • 数据合成管线：将复杂编辑分解为可控子问题，设计渐进式过滤系统保障数据质量，生成200万高质量指令对齐视频编辑对
  • Goku-Edit 模型：以 MLLM 作为文本编码器理解复杂编辑指令，采用解耦双分支设计——mask 分支负责结构控制，主分支专注外观渲染

技术亮点：

  • 首个将任务扩展至结构性操控的百万级数据集
  • MLLM 文本编码器实现复杂指令理解
  • 解耦双分支设计分离结构控制与外观渲染
  • 配套提出 1000 条人工验证 + 7 个新评测指标的 Goku-Bench

实验结果： 在 Goku-Bench 上，Goku-Edit 相较其他开源模型在指令跟随指标上提升最多 +8%。

应用场景： 创意视频制作、影视后期编辑、AI 视频工具、主体运动控制生成。

研究价值： ⭐⭐⭐⭐（4/5）— 数据集规模和任务广度均是当前最大，双分支架构设计实用，Goku-Bench 填补了结构编辑评测空白，对视频编辑方向具有长期基础性价值。

Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes

链接： https://arxiv.org/abs/2606.30645

一句话总结： 提出 VLK 监督合成管线，利用 3D 高斯溅射重建室内场景并合成 48000 条视觉-语言-运动学轨迹对，训练人形机器人全身移动操作策略，并在 Unitree G1 上完成 sim-to-real 验证。

研究问题： 基于感知的人形机器人移动操作需要同步的第一视角图像、语言指令和机器人兼容运动学轨迹，但现有数据源无法在规模上提供这一完整三元组。

核心方法：

  • 利用 3D Gaussian Splatting 重建真实室内场景（度量尺度精确）
  • 使用场景特权信息合成导航与物体交互轨迹
  • 事后渲染配对的第一视角观测
  • 训练 VLK 策略预测短视野全身运动学轨迹
  • 全身追踪器将运动学预测转化为物理机器人动作

技术亮点：

  • 零人工干预生成 48000 条完整 VLK 轨迹对
  • 3DGS 场景重建提供度量尺度精确的几何约束
  • VLK 策略实现语言-视觉-运动的统一映射
  • 在真实 Unitree G1 完成了 sim-to-real 验证

实验结果： 在 Unitree G1 上完成导航和单物体搬运任务，合成交互监督有效支撑了基于感知的人形机器人移动操作的 sim-to-real 迁移。

应用场景： 人形机器人全身移动操作、室内服务机器人、具身智能数据生成。

研究价值： ⭐⭐⭐⭐（4/5）— Pieter Abbeel、Angjoo Kanazawa、Karen Liu 等顶尖团队联合工作，数据合成管线创新性强，3DGS + VLK 的组合是人形机器人具身学习的重要方向，实体验证有说服力。

Zero-Shot Recovery of Full Articulated 3D Objects from Text or Image

链接： https://arxiv.org/abs/2606.30608

一句话总结： 提出首个基于辩论驱动的 Agent 方法，从文本或图像输入中同时推断铰接体结构、运动参数及遮挡几何，利用视频生成先验将物体驱动至运动状态以还原内部结构。

研究问题： 从稀疏观测中重建铰接3D物体（结构+运动+遮挡内部）极具挑战性，现有方法受限于监督数据稀缺或缺乏推断铰接结构所需的先验知识。

核心方法： 双层 Agent 辩论架构：

  • 高层 Agent：利用视觉语言模型和视频模型的知识推理物体语义和运动
  • 低层 Agent：估计铰接参数和交互点
  • 两轮结构化辩论：先利用全局-局部分歧，再用自由生成的视频对 Agent 进行基准锚定
  • 视频生成先验驱动各部件完成运动，暴露遮挡内部几何

技术亮点：

  • 首个辩论驱动的 Agent 框架用于铰接3D重建
  • 视频生成先验同时服务于铰接推理和遮挡几何还原
  • 零样本扩展：从简单查询到复杂引用表达

实验结果： 在开放词汇分割（LeRF-OVS、ScanNet）和指代表达定位（Ref-LeRF）两个任务上均优于现有方法，其中零样本指代定位 mIoU 提升 16.7%。

应用场景： 具身AI交互环境构建、VR/AR 物体交互、机器人操作规划、3D 场景理解。

研究价值： ⭐⭐⭐⭐（4/5）— Agent 辩论 + 视频生成先验的组合在铰接3D重建中具有独特创新性，对具身AI中的3D理解有重要推动作用，零样本能力尤为实用。

The Fundamental Limits of Valid Transport Map Estimation

链接： https://arxiv.org/abs/2606.30574

一句话总结： 在严格 minimax 框架下给出任意有效传输映射估计的样本复杂度下界，揭示扩散模型、flow matching 等现代生成方法的统计基本极限，并明确非最优传输映射何时具有统计优势。

研究问题： 扩散模型、flow matching、normalizing flows 等方法估计分布间的传输映射，但这些方法的统计学习下界尚不清楚——究竟多少样本才够？非最优映射与最优传输映射相比有何统计代价或优势？

核心方法： 构建传输映射估计的 minimax 理论框架：

  • 将"估计任意有效传输映射"形式化为统计决策问题
  • 在标准稳定性假设下证明：估计任意有效传输映射与估计最优传输映射在统计难度上等价
  • 提供反例：当稳定性假设失败时，替代传输映射可比 OT 映射显著更容易估计

技术亮点：

  • 首次为扩散模型、flow matching 等方法提供严格 minimax 样本复杂度下界
  • 理论框架统一覆盖扩散模型、normalizing flows、flow matching
  • 揭示"非最优映射何时具有真实统计优势"的条件

实验结果： 纯理论工作，提供严格数学证明，给出具体反例展示稳定性假设失败时的统计优势场景。

应用场景： 理解生成模型样本效率、指导传输映射估计方法设计、为生成模型理论研究奠基。

研究价值： ⭐⭐⭐⭐（4/5）— 为扩散模型和 flow matching 提供严格的统计理论基础，是少有的直接触及现代生成模型统计极限的理论工作，对理解这类方法的本质局限具有重要学术价值。

EcoVideo: Entropy-Orchestrated Video Generation Paradigm in Cloud-Edge Dynamics

链接： https://arxiv.org/abs/2606.30557

一句话总结： 提出 EcoVideo 框架，利用 self-attention entropy 无训练地估计帧级信息密度，实现云端大模型与边缘轻量模型的动态协同视频生成，在低带宽边缘场景实现 2.9× 端到端加速（ECCV 2026）。

研究问题： DiT 视频生成因迭代全帧去噪导致延迟极高，现有云边协同方法依赖静态帧间解耦，无法利用帧间相似性或适应系统动态变化。

核心方法： EcoVideo 的三层架构：

  • 帧选择：早期去噪步骤的 self-attention entropy 作为帧级信息密度的无训练估计器
  • 云边分工：云端大模型仅对稀疏高熵关键帧去噪；边缘轻量模型通过运动感知插值+精化重建剩余帧
  • 动态适配：根据实时带宽和算力动态调整关键帧预算和边缘精化深度

技术亮点：

  • 首个利用 attention entropy 进行无训练帧重要性估计的视频生成框架
  • 云端大模型+边缘轻量模型的动态异构协同
  • 无需对原始 DiT 模型做任何修改

实验结果： 在主流 DiT 视频生成器上展现更优的质量-效率权衡，在低带宽计算受限的边缘场景下实现最高 2.9× 端到端加速。

应用场景： 边缘设备视频生成、移动端 AI 视频创作、云边协同生成系统部署。

研究价值： ⭐⭐⭐⭐（4/5）— 切入点务实（工业落地友好），entropy-based 无训练关键帧估计思路优雅，云边动态协同是视频生成规模化落地的重要方向，ECCV 2026 认可。

GROW²: Grounding Which and Where for Robot Tool Use

链接： https://arxiv.org/abs/2606.30632

一句话总结： 提出 GROW² 框架，将开放世界机器人工具使用分解为"选哪个工具"（语义层）和"用哪个部位"（几何层）的层级推理，利用 VLM 常识 + 视觉基础模型实现零样本工具使用泛化。

研究问题： 机器人创意工具使用（用物体代替其预设功能之外的工具）需要开放世界可供性定位（Open-World Affordance Grounding），现有方法依赖大量端到端训练数据，泛化能力差。

核心方法： GROW² 的层级推理架构：

  • 语义层：VLM 解析自然语言任务指令，选择合适工具对象，识别工具与目标物体上的任务相关部件
  • 几何层：视觉基础模型将选定部件定位到单张 RGB-D 图像中的精确3D区域

以物体部件（object parts）作为连接语义和几何的自然抽象层，绕过了端到端训练的数据需求。

技术亮点：

  • 层级分解：语义推理 + 几何定位解耦
  • 零样本泛化到开放类别工具和目标物体
  • 单张 RGB-D 图像即可完成3D可供性定位
  • 跨机器人平台验证（仿真+真实）

实验结果： 在可供性预测基准上超越 SOTA 基线，在仿真和真实机器人工具使用实验中均实现零样本泛化，超越对比方法。

应用场景： 家用机器人创意工具使用、开放世界机器人操作、具身智能任务规划。

研究价值： ⭐⭐⭐⭐（4/5）— 将 VLM 常识推理与几何视觉基础模型优雅结合，层级分解思路简洁有效，零样本泛化开放类别工具是机器人具身智能的关键能力，真实机器人实验有说服力。

📊 今日研究趋势

2026-06-30 的 ArXiv 提交呈现几个明显趋势：世界模型迎来系统性突破，以 Orca 为代表的通用世界基础模型开始尝试统一视觉、语言、动作的联合建模，Next-State-Prediction 作为统一范式的可行性得到实验支持。视频生成/编辑仍是高热度方向，百万级数据集建设（Goku）和云边部署加速（EcoVideo）同步推进，说明该领域同时在攻克数据瓶颈和落地成本两个关键问题。具身AI与机器人方向出现多篇高质量工作，涵盖人形机器人移动操作（VLK）、开放世界工具使用（GROW²）、神经符号规划（SPARK），VLM 作为机器人感知与规划的骨干正在快速渗透。生成模型理论出现严格 minimax 框架下的样本复杂度分析，扩散模型和 flow matching 的统计基本极限开始被严肃对待。值得关注的是，ECCV 2026 稿件大量涌入（今日 cs.CV 共 304 篇），整体研究质量较高。

🏆 最值得关注的 3 篇

  1. Orca: The World is in Your Mind — 通用世界基础模型的重要尝试，Next-State-Prediction 统一范式在概念和实验上均具有里程碑意义，大规模预训练后多任务优于专用模型，是世界模型方向最值得精读的系统性工作。

  2. Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes — 顶尖团队（Abbeel/Kanazawa/Karen Liu）联合工作，3DGS 场景重建 + VLK 合成监督的数据生成范式创新性强，在真实 Unitree G1 完成实体验证，人形机器人移动操作的重要方向性探索。

  3. Goku: A Million-Scale Universal Dataset for Instruction-Based Video Editing — 将视频编辑数据集规模和任务广度推向新高度，结构性操控（主体运动控制）的纳入填补了重要空白，配套的 Goku-Bench 将成为该方向的标准评测基准。

数据来源：ArXiv 2026-06-30 | 分析生成时间：2026-07-01 06:00 (北京时间)