📅 本期覆盖 ArXiv 2026-09-07（Mon, 7 Sep）公告批次（共 415 篇去重后候选），共 8 篇。本期主线是世界模型从「生成得像」转向「可控且物理可信」：一方把确定性仿真器前置为世界状态的裁决者，视频生成只负责把已确定的物理轨迹渲染成观测；另一方则在潜空间里追问「表征是否真的编码了物理量」，用频谱目标直接治理 JEPA 类模型的物理表征惰性。触觉被正式纳入世界—动作模型的闭环，VLA 的评测与后训练则同时向「复杂度诊断」和「真机在线 RL」两端拉开。
📄 论文精选
TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image
链接： https://arxiv.org/abs/2609.04911
作者 / 机构： Xin Zhang, Yabo Chen, Zixuan Duan, Haibin Huang, Chi Zhang, Feng Xu, Xuelong Li（复旦大学、中国电信人工智能研究院 TeleAI、南京大学）
一句话总结： 复旦与 TeleAI 团队提出 TourPhysics，把确定性物理仿真器前置为世界状态的裁决者——每个动作先由仿真器算出物理与相机轨迹，再由视频模型渲染对应观测，从而从单张图像出发实现可持久探索与操作的在线世界模型。
研究问题： 交互式视觉世界模型必须区分「观察」与「物理干预」：相机运动只是揭示新表面，而干预会改变物体的运动、接触与形变。现有视频世界模型基本由外观先验驱动，长程生成会逐渐丢失物理与空间一致性——看似合理的画面，其背后的事件时序、接触响应与形变幅度早已偏离了真实物理。
核心方法： ① 单图 + 声明式物理配置初始化：系统从一个可控的场景假设出发，而非无约束的视频续写；② 角色解耦架构：仿真器状态、几何证据、生成器控制量、外观记忆四者各司其职，仿真状态与几何在合成与重试期间保持固定；③ 先算轨迹再出观测：每个动作先由仿真器导出相机与物体轨迹、几何记录与配对的仿真渲染，视频模型只为这段确定窗口生成观测；④ 窗口级提交规则：观测通过校验后才释放下一个动作，保证每次比较都有明确的目标轨迹与提交边界；⑤ 几何路由的外观记忆 + 永久图像参考：相机回访早期表面时仍能保持外观一致，抑制长程漂移。该工作是其 ACM Multimedia 2026 工作 PhysOmni 的扩展，从有限时长的物理视频合成推进到持久化探索与操作。
技术亮点：
- 把「仿真器定轨迹、生成器出画面」的分工明确化，是对当前"端到端视频世界模型"路线的一次有力纠偏：物理一致性不再寄望于生成模型自己学会，而由可验证的仿真器兜底。
- 提交规则（commit rule）设计了显式的接受/重试闭环，使长程交互有了可判定的失败恢复机制。
- 几何路由的外观记忆解决了相机回访时的身份漂移，是长程世界一致性中容易被忽略但极关键的一环。
- 覆盖刚体、布料、弹性体、颗粒与流体代理物，物理代理类型的广度在世界模型工作中少见。
实验结果： 自建基准含 108 条仿真器定义的交互序列、源自 61 个源图像身份，涵盖纯相机巡游与刚体/布料/弹性/颗粒/流体操作。对比 LingBot-Cam、LingBot-Act、minWM-Wan、Wan2.1-I2V、Sora-2、MotionCtrl、Tora-Initiator 等系统：TourPhysics 取得最低相机 ATE（0.0233）、最高平移/旋转方向命中率（98.26% / 93.00%）、最低物体 ADE（0.0297）与终点误差（0.0524），81.18% 的保留物体落在 5% 对角线阈值内。物理事件侧进一步评测接触时序误差、碰撞响应准确率、接触后过度重叠、形变 Procrustes 误差与形变恢复准确率，并以 VideoPhy-2 的语义遵循/物理常识分（1–5 分）作为感知诊断。
应用场景： 单图出发的具身世界探索与操作预演；长程相机可控视频生成；需要物理可核验的仿真数据合成；世界模型作为策略学习的环境替身。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 在"视频世界模型是否真的理解物理"这个核心争论上给出了一个可验证、可复现的工程答案，物理与外观的职责切分思路对整个方向都有参考价值。
WorldSculpt: Generating Compositional Worlds from Grounded Videos
链接： https://arxiv.org/abs/2609.05416
项目主页： https://alaya-lab.github.io/WorldSculpt/ ｜ 代码： https://github.com/AlayaLab/WorldSculpt 作者 / 机构： Muyao Niu, Jixuan He, Ruihan Yu, Lian Fu, Yonghao Yu, Zheng-Hui Huang, Yifan Zhan, Fengbo Lan, Yongtao Ge, Yinqiang Zheng, Kaipeng Zhang, Zhixiang Wang（Alaya Lab、东京大学）
一句话总结： Alaya Lab 与东京大学提出 WorldSculpt，把强大的单物体 3D 生成先验通过多视角条件化通路适配到组合式场景生成，从定位视频中产出由独立物体网格组成、共享世界坐标系的可编辑 3D 世界。
研究问题： 面向游戏、AR/VR、仿真与机器人等下游应用，杂乱场景需要被表示为"共享世界坐标系下的一组独立物体网格"，而不是一个整体融合的场景表征。这一任务在密集杂乱场景中极难：物体彼此严重遮挡，每个视角只能揭示其几何的一小部分。基于几何的方法通常把场景重建为单一表征，在遮挡区域留下残缺几何；而已有的生成式组合方法大多只能处理相对简单的场景。
核心方法： ① 范式转换：不直接学场景级生成，而是把强单物体 3D 生成先验适配到多视角观测；② 以 Pixal3D 为基座实例化该范式，扩展出一条多视角条件化通路，在锚点对齐的规范坐标系中整合每个物体的多视角观测；③ 生成先验负责补全被遮挡与未观测到的几何，多视角条件化则把生成的形状锚定在真实图像证据上；④ 模型仅在规范空间下的单个物体上微调，却在推理时无需场景级重训即可泛化到大规模严重遮挡场景；⑤ 为支撑评测，构建 UE-MeshyScene——基于 Unreal Engine 5.8、以 2560×1440 渲染的照片级合成基准。
技术亮点：
- “训练只看单物体、推理直接上大场景"的泛化路径非常干净，规避了组合式场景生成长期缺乏大规模标注的困境。
- 生成先验与多视角证据的分工明确：先验补想象、观测定真值，避免纯生成方法"好看但放错位置”。
- UE-MeshyScene 以 6 个环境、2,299 个物体、5,964 个视角、单场景最多 701 个物体的规模，把"密集遮挡下的世界坐标系评测"标准化，对领域有基础设施价值。
- 直接产出可编辑的物体级网格，天然对接仿真与机器人操作所需的资产管线。
实验结果： 评测分三层递进：先在 Toys4k 上做规范空间单物体生成（输入视角数 1–16、每视角遮挡比例 0–75%），再在合成的 Toys4k-Scene 与真实世界的 HouseCat6D 上做组合式场景生成，最后在 UE-MeshyScene 上做大规模组合生成。在 UE-MeshyScene 上与多视角基线 ShapeR 对比，WorldSculpt 在全部报告指标上均优于 ShapeR，且中位数的提升幅度大于均值，说明性能差距并非由少数困难物体驱动，而是在场景中典型物体上普遍成立；在最密集的杂乱与严重遮挡设置下增益最大。多视角融合消融显示，随着观测越不完整、越异构，学习式多视角聚合相比简单平均的收益越明显。
应用场景： 游戏与 AR/VR 的 3D 资产自动构建；机器人仿真环境的可编辑场景生成；具身智能的世界建模与场景先验；大规模杂乱室内场景的数字化。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 组合式、可编辑、可对接仿真，是世界模型从"视频"走向"资产"的关键一步，UE-MeshyScene 本身也是很有价值的评测贡献。
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
链接： https://arxiv.org/abs/2609.04264
作者 / 机构： Penghao Zhu, Salvatore Penachio, Kaustav Mukherjee, Aneesh Jonelagadda（Kaliber Labs，美国旧金山）
一句话总结： Kaliber Labs 指出 JEPA 式潜世界模型存在一种此前被忽视的失效模式——「物理表征惰性」（潜状态并未坍缩，却也没有编码关键物理属性），并提出一个轻量傅里叶辅助头在训练期施加频谱目标，以零推理开销换取潜空间的物理结构化。
研究问题： 潜世界模型因可在潜空间而非像素空间预测与规划而日益流行。LeWorldModel（LeWM）这类架构会用 SIGReg 等正则项联合训练编码器与预测器以防表征坍缩。但作者发现：即便正则化成功避免了坍缩，模型仍可能陷入"表征惰性"——在高动态环境中，学到的潜状态既没有坍缩，却也未能表示速度、位置等关键物理量，导致下游规划系统性失败。这是一个比坍缩更隐蔽、也更难通过常规正则诊断的问题。
核心方法： ① 明确定义并诊断 physical representation laziness 这一失效模式；② 提出训练期辅助监督：在编码器上挂载一个轻量的 Fourier auxiliary head，用频谱目标强制潜空间按物理属性组织；③ 该辅助头只在训练期存在，推理时不增加任何计算开销；④ 用线性探针与 MLP 探针在多个环境中量化潜状态对物理量（位置、朝向、夹爪开合、接触等）的可解码性。
技术亮点：
- 把"不坍缩 ≠ 学到了物理"这个反直觉现象摆到台面上，对 JEPA/LeWM 一系的表征质量诊断有直接的警示意义。
- 频谱（Fourier）目标的选择很讲究：物理量的动态特性天然体现在频域，比在时域加稀疏回归更契合动态环境。
- 辅助头零推理成本的设定，使方法可以无痛叠加到既有潜世界模型训练流程上。
- 探针式评测（线性 vs MLP）能区分"信息是否存在"与"信息是否线性可用"，诊断粒度比只看规划成功率高。
实验结果： 在多个环境上对比 LeWM 基线（线性 MSE↓ / 线性 Pearson r↑ / MLP MSE↓ / MLP r↑）。Push-T 全状态线性 MSE 由 0.14573 降至 0.12792，Pusher XY 位置由 0.03430 降至 0.01616，T-block XY 由 0.05467 降至 0.05038，T-block yaw 由 0.34822 降至 0.31723；OG-Bench Cube 上夹爪开合（0.16442→0.12413）、夹爪接触（0.23347→0.20391）、方块位置（0.04115→0.02625）均有改善；单球环境中"全位置"线性 MSE 从 0.49398 大幅降至 0.00718、Pearson r 从 0.71278 升至 0.99642，是最显著的增益。作者也如实报告了部分负结果：1 球与 3 球环境中环境球位置的预测性能有所下降（与主结果中 Spearman 相关性的下降一致），Two-Room 的线性探针变差但 MLP 探针变好，说明辅助目标带来的是"更纠缠但整体更强"的位置编码。
应用场景： 机器人基于模型的规划与控制；潜空间世界模型的表征诊断；高动态环境下的模型预测控制；JEPA 系自监督表征的物理可解释性增强。
研究价值： ⭐⭐⭐⭐（4/5）— 篇幅不长（9 页）但问题提得准，“物理表征惰性"是一个值得被引用的概念，负结果的如实汇报也增加了可信度。
TacPAC: Tactile Prediction and Real-Time Action Correction in World-Action Models for Contact-Rich Manipulation
链接： https://arxiv.org/abs/2609.05266
代码： https://github.com/LogosRoboticsGroup/TacPAC 作者 / 机构： Zipei Ma, Xiaofei Wei, Junzhe Jiang, Shunlin Lu, Li Zhang（复旦大学数据科学学院、上海创智学院、NeoteAI）
一句话总结： 复旦团队提出 TacPAC，指出触觉预测与触觉反馈之间存在时序错配（预测先于执行、反馈生于执行），从而把触觉预测从"多预测一个视图"改造为执行期的实时动作校正，在富接触操作上显著超过最强基线。
研究问题： 世界—动作模型（WAM）用预测的未来观测来引导动作生成，但以视觉为中心的预测会漏掉决定富接触操作成败的局部接触线索。一个自然的想法是把未来触觉观测当作额外视图一并预测——然而实验表明，这种朴素做法只能找回可实现增益的三分之一。作者指出根因是时序错配：预测发生在执行之前，而真实触觉反馈是在执行过程中才到达的，二者没有被放在同一个参照系里对齐。
核心方法： ① 缓存"计划所依赖的接触预期”：基座模型规划出一个动作块后，TacPAC 把该计划所条件的预测接触量与计划自身的表征一起缓存下来；② 触觉专家对照缓存读数：一个触觉专家把每一个新观测到的触觉图像与缓存中的预期做比对；③ 异步校正未执行动作：校正作用于动作块中尚未执行的部分，反馈因此是"相对计划预期"来解释，而非孤立解读；④ 一次校正即可覆盖整个动作块，无需重新规划。
技术亮点：
- 把问题的症结从"预测得准不准"重新定义为"预测的参照系对不对"，是这个工作最漂亮的一步——同样的触觉预测模块，换一种用法就多拿回三分之二的增益。
- “对照预期读反馈"的机制与预测编码/主动推断的思路暗合，但落到了可工程实现的缓存—比对结构上。
- 异步校正 + 不重规划，使闭环频率不再受制于大模型推理延迟，对真机部署非常友好。
- 直接给出校正开销与重规划开销的量化对比，工程说服力很强。
实验结果： 在 5 项真实世界富接触操作任务上评估，TacPAC 在每一项任务上均取得最高成功率，平均比最强基线高出 16 个百分点；单次校正耗时仅 30.4 ms，比重新规划便宜 20.7 倍。
应用场景： 富接触的灵巧操作（插拔、装配、拧盖等）；触觉—视觉融合的具身策略；需要高频闭环的真实机器人部署；世界—动作模型的接触模态增强。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 对"触觉怎么接进大模型"给出了一个反直觉且可量化的答案，20.7× 的成本优势让实时闭环真正可行。
RoboSPA: Can VLA Models Go Beyond Simple Scenes and Short-Horizon Tasks?
链接： https://arxiv.org/abs/2609.05324
代码： https://github.com/fanzhenxuan/RoboSPA 作者 / 机构： Zhenxuan Fan, Bo Zhang, Yutong Lin, Yuqian Yuan, Juekai Lin, Liang Liang, Zhuoyi Huang, Wenqiao Zhang, Juncheng Li, Siliang Tang, Jun Xiao, Yueting Zhuang（浙江大学；EMNLP 2026 主会收录）
一句话总结： 浙大团队推出 RoboSPA，一个面向细粒度空间推理与长程程序规划两大维度的大规模机器人操作数据集与诊断基准，用 527K 条轨迹、280 个难度变体系统暴露当前 VLA 模型在复杂空间关系、精确底层执行与记忆密集型规划上的短板。
研究问题： VLA 模型在语言条件下的机器人操作上进展显著，但现有数据集与基准主要在预定义设置下评测任务完成率，对"空间与程序复杂度上升时模型推理能力如何变化"几乎不提供信息。这导致榜单上的高成功率很难转化为对真实部署可靠性的判断——我们并不知道模型是在哪一类复杂度上崩掉的。
核心方法： ① 双核心维度设计：RoboSPA（Robot Spatial-Procedural Assessment）聚焦 Fine-Grained Spatial Reasoning 与 Long-Horizon Procedural Planning；② 规模与结构：覆盖 10 个任务类别、56 个基础任务，每个任务在 5 个难度等级上实例化，产出 280 个变体，逐级增加空间歧义与程序复杂度；③ 数据：跨多种本体与多样场景采集 527K 条轨迹；④ 超越二值成功率的诊断指标：除是否完成外，提供可定位失败来源的细粒度度量。
技术亮点：
- 把"难度"显式参数化为空间歧义与程序复杂度两条正交轴，比单纯堆任务数量的基准更有诊断力。
- 同一基础任务跨 5 个难度等级的设计，使得可以做难度—性能的退化曲线分析，直接定位能力边界。
- 527K 轨迹、多本体、多场景，规模与多样性在 VLA 诊断基准中位于前列。
- 明确提出"超越二值成功率”，呼应了近期社区对 LIBERO 类榜单饱和的反思。
实验结果： 在代表性 VLA 模型上的实验表明，当前系统在复杂空间关系、精确底层执行与记忆密集型规划三类能力上仍然存在明显困难；论文据此将 RoboSPA 定位为一个具有挑战性的诊断基准，而非又一个即将被刷满的榜单。数据与代码已开源。
应用场景： VLA 模型的能力边界诊断与消融；长程操作策略的训练与评测；空间推理与程序规划模块的定向改进；具身智能体的泛化性评估。
研究价值： ⭐⭐⭐⭐（4/5）— 在 VLA 评测普遍饱和的当口，提供了一个真正能做"能力体检"的基准，EMNLP 2026 主会收录也说明其设计得到了同行认可。
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
链接： https://arxiv.org/abs/2609.04355
项目主页： https://vla-precision.github.io 作者 / 机构： Chenyu Su, Zhaolong Shen, Yuan Qian, Chen Qian, Rui Zhang, Feng Yan, Weixing Chen, Fei Zhang, Jiamin Wang, Shuang Cong, Weiwei Shang（中国科学技术大学、精密与智能化学全国重点实验室、北京航空航天大学、中关村学院、合肥 SpinX 技术）
一句话总结： 中科大团队提出 VLA-Precision，用**非对称协同自举（ACoB）**算法与 ACoB-Stream 架构解决大 VLA 真机在线强化学习的两大瓶颈——价值信号不可靠导致策略漂移、大模型开销限制吞吐与样本效率，在 9 项高精度化学任务上达到 98.3% 平均成功率。
研究问题： 预训练 VLA 模型已具备广泛的 manipulation 能力，但在需要精度与可重复性的任务上仍不可靠。用真机在线 RL 做 VLA 后训练，可以突破纯模仿演示的上限、通过自主试错持续改进，但暴露两个硬瓶颈：不可靠的价值信号会诱发策略漂移；大 VLA 的推理开销限制了吞吐与样本效率，使真机 RL 的时间成本难以承受。
核心方法： ① ACoB 建立跨时间尺度的非对称协同自举：早期以干预引导的行为学习快速提升策略性能并改善在线经验质量，随着自主经验积累，全局回报传播逐步接手进行价值校准；② 快速行为学习与渐进价值校准的耦合，既突破演示上限又抑制漂移；③ ACoB-Stream 的两条设计原则——不变状态解耦与按需流式传输，专门针对大 VLA 的计算与通信开销；④ 在真实机器人上完成全流程在线 RL 后训练。
技术亮点：
- “非对称"抓住了真机 RL 的关键矛盾：行为学习要快、价值估计要慢，用不同时间尺度同时推进比统一节奏更稳。
- 把系统层的吞吐优化（ACoB-Stream）与算法层的稳定性设计（ACoB）放在同一框架里解决，而不是只谈算法——真机 RL 的落地瓶颈往往在系统。
- 10.9× 的吞吐提升让"大 VLA + 真机在线 RL"从论文设想变成可排期的实验。
- 任务选择（高精度化学实验）天然对重复精度敏感，是检验 VLA 精度的理想压力测试。
实验结果： 在 9 项高精度化学任务、4 种机器人本体上广泛评估：达到 98.3% 的平均成功率，单任务平均耗时 45.8 分钟，单条 episode 仅 27.6 秒，运行速度分别达到 VLA 基线与 RL 基线的 1.2× 与 1.8×；ACoB-Stream 带来最高 10.9× 的吞吐与计算效率提升。
应用场景： 需要亚厘米级精度的真实机器人操作（化学实验、精密装配）；VLA 的真机在线后训练；自主实验室与高通量科学发现；大模型策略的高效强化学习基础设施。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 真机在线 RL 的样本效率与吞吐是公认的落地瓶颈，98.3% + 45.8 min/task 的组合让这条路第一次看起来可工程化。
Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching
链接： https://arxiv.org/abs/2609.04283
作者 / 机构： Jiuzhou Lin, Junlong Wu, Fei Zuo, Huan Ouyang, Dewen Fan, Boheng Zhang, Huaiqing Wang, Jia Sun, Fan Yang, Houde Liu, Kehai Chen, Min Zhang, Tingting Gao, Han Li（清华大学、快手科技、哈尔滨工业大学（深圳）、北京邮电大学）
一句话总结： 清华与快手团队提出 DM-Align，把视频生成模型的偏好对齐与步数蒸馏统一进单阶段分布匹配（DM）优化，一举避开"先 RL 后蒸馏导致模型崩溃、先蒸馏后 RL 成本过高"的两难，在仅 4 NFE 下取得 VBench 最高平均分。
研究问题： 将视频生成模型对齐到人类偏好 heavily relies on 强化学习，计算开销极大。现有工作流通常把 RL 与蒸馏当作两个割裂的阶段：先 RL 再蒸馏，RL 阶段的计算成本高得难以承受；先蒸馏再 RL，则频繁导致模型崩溃。两种顺序都无法同时拿到"对齐收益"与"少步推理效率”。
核心方法： ① 提出统一的单阶段优化框架，以分布匹配（Distribution Matching）为理论基础；② 在标准 DM 框架中，蒸馏提供一个"缩小真实与伪造模型分布差距"的梯度方向，把生成导向清晰与高保真；③ DM-Align 在此基础上推导出一个互补的梯度方向，把生成导向人类偏好的样本；④ 受 DPO 与 GRPO 启发构造样本引导的偏好信号，分别给出 Pair 与 Group 两个变体；⑤ 对齐与蒸馏在同一优化过程中联合完成，从机制上消除后蒸馏崩溃。
技术亮点：
- 把"两个阶段的顺序困境"转化为"一个优化里的两个互补梯度方向"，问题重构得很优雅。
- 明确指出并实证了后蒸馏崩溃现象（post-distillation collapse），对工程实践是重要警示——很多团队正在踩这个坑。
- Group 变体把 GRPO 式的群体相对偏好引入 DM 框架，动态度指标的大幅提升说明偏好信号在少步下依然有效。
- 4 NFE 达到甚至超越 100 NFE 基线的平均分，对齐与效率不再是此消彼长。
实验结果： VBench 上（Wan-T2V-1.3B 为基座）：DM-Align (Pair) 在 ConsistID 上以 4 NFE 取得 82.78 平均分，超过原始模型（100 NFE，78.20）、DMD2（4 NFE，79.68）、Flow-DPO（100 NFE，81.54）与 Flow-DPO+DMD2（4 NFE，79.89）；动态度 66.25、美学质量 60.89。DM-Align (Group) 在 VidProM 上以 4 NFE 取得 84.40 平均分，同样为最高，动态度推至 80.19。对比中可见两阶段方案的崩溃：Flow-DPO 的动态度 67.13 在蒸馏后掉到 53.43，DanceGRPO 的 75.78 在蒸馏后掉到 60.85（下降 14.93），而 DM-Align 完全规避了这一问题。VidProM 上的 TA（Text Alignment）得分达 1.65，高于 DanceGRPO+DMD2 的 1.40。
应用场景： 视频生成模型的偏好对齐与推理加速；少步高质量视频生成的工业部署；文生视频产品的在线迭代；扩散/流模型蒸馏与 RLHF 的统一训练流程。
研究价值： ⭐⭐⭐⭐⭐（5/5）— 对齐 + 蒸馏是视频生成落地的最后一公里，单阶段统一方案同时解决成本与崩溃两个真问题，工业价值突出。
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
链接： https://arxiv.org/abs/2609.04649
作者 / 机构： Jay Mahajan, Chang Liu, Rauf Makharov, Viraj Shah, Alexander Schwing, Svetlana Lazebnik（伊利诺伊大学厄巴纳-香槟分校 UIUC）
一句话总结： UIUC 团队提出 ReaDiT（DiT Readout）Guidance，只用单个 DiT block 的内部特征在推理时按深度、姿态、边缘等空间目标引导生成，参数量仅 53M 却能达到或超过 1487M 的 ControlNet，并天然扩展到视频的相机与运动控制。
研究问题： 现代文生图/文生视频模型大量构建在 DiT 骨干之上，但可控生成仍主要依赖外挂适配器（如 ControlNet）——参数量大、需要为每个基座单独训练、且与底模特征割裂。能否直接读出 DiT 内部已有的丰富空间表征来做控制，是一个更少参数、更通用的路径？
核心方法： ① 单 block 特征读出：从骨干网络的一个 DiT block 提取特征（SD3-Medium 取 block 12、FLUX.1[dev] 取 joint block 18、CogVideoX 取 block 15）；② 时间条件化 AdaLN 调制：DiT 特征分布随扩散时间步变化，且 AdaLN 层会引入 massive activations（极端离群激活）损害下游空间预测，因此用时间步条件的 AdaLN 层调制特征，在保留时间步信息的同时抑制离群值；③ 任务头按需配置：稠密空间预测（深度/姿态/边缘）用一个小卷积头映射，稀疏对应预测则无需头、直接用点描述子算光流；④ 推理期引导：把预测出的空间目标作为 guidance 信号注入生成过程；⑤ 由于文生视频模型同样基于 DiT，方法自然扩展到视频，实现相机与运动控制。
技术亮点：
- 参数效率惊人：53M vs ControlNet 的 1487M（约 1/28），却在多数指标上持平或更优，说明 DiT 内部特征里本就躺着可用的空间信息。
- 对 massive activations 的处理是关键工程细节——不做时间条件化调制，读出的特征会被离群激活污染。
- 与 ControlNet 互补而非互斥，二者结合还能进一步提升，可作为现有控制栈的增强模块。
- 同一套机制横跨 SD3 / FLUX / CogVideoX 三个基座，并覆盖图像与视频两种模态，通用性强。
实验结果： 在深度、姿态、边缘三类任务上，分"控制图来自生成图像（Gen）“与"来自真实图像（Real）“两种设置评测。对比 Readout Guidance（RG，13.5M）与 ControlNet（1487M）：深度 RMSE↓ 上 ReaDiT 为 0.2492（Gen）/ 0.3374（Real），优于 RG 的 0.3704/0.4436；姿态 PCK@0.2↑ 为 0.5380/0.4856，优于 ControlNet 的 0.5012/0.4375 与 RG 的 0.4881/0.3380；边缘 ODS↑ 为 0.6968/0.6644，显著高于 ControlNet 的 0.4908/0.5489 与 RG 的 0.5783/0.5733。论文指出 ReaDiT 在两种设置下、全部任务与指标上均优于 RG，并以显著更少的参数达到与 ControlNet 相当或更好的精度；与 ControlNet 组合后性能可进一步提升。视频侧验证了相机与运动控制的有效性。
应用场景： 文生图/文生视频的免重训可控生成；相机轨迹与运动控制；深度/姿态条件下的内容创作；作为 ControlNet 等适配器的轻量替代或增强。
研究价值： ⭐⭐⭐⭐（4/5）— “读 DiT 内部特征做控制"是一条被低估的轻量路线，1/28 参数量达到可比精度，对可控生成的工程落地很有启发。
📊 今日研究趋势
其一，世界模型正在把"物理裁决权"从生成器手里拿走。 TourPhysics 的做法最具代表性：仿真器先把物理与相机轨迹算清楚，视频模型只负责把这段已确定的轨迹渲染成观测，观测通过窗口级提交规则才被接受。这条路线不再指望生成模型自己学会物理，而是用可验证的确定性仿真为其兜底。与之呼应，WorldSculpt 把"生成先验"与"多视角观测证据"做了同样的职责切分——先验负责补全遮挡，观测负责锚定真值。
其二，潜空间世界模型开始被追问"你到底编码了什么”。 Spectral-Target 这篇篇幅不长的工作提出了一个值得记住的概念：物理表征惰性——正则化成功阻止了表征坍缩，模型却依然没有把速度、位置等物理量写进潜状态，规划因此系统性失败。它提醒我们，“不坍缩"只是表征质量的必要非充分条件，探针式诊断（线性 vs MLP）应当成为潜世界模型的标配评测。
其三，触觉以"时序对齐"的方式进入世界—动作模型。 TacPAC 的价值不在于预测触觉，而在于指出预测与反馈的时序错配：朴素地把触觉当作额外视图预测，只能拿回三分之一的增益。把计划所依赖的接触预期缓存下来、让触觉专家对照预期读取新观测、异步校正未执行的动作块，才把剩下三分之二找了回来，且单次校正仅 30.4 ms、比重规划便宜 20.7 倍。
其四，VLA 的评测与后训练同时向两端拉开。 评测侧，RoboSPA 不再满足于二值成功率，而是把难度显式参数化为空间歧义与程序复杂度两条正交轴，用 527K 轨迹、280 个变体做"能力体检”，呼应了社区对 LIBERO 类榜单饱和的反思。训练侧，VLA-Precision 用非对称协同自举解决价值信号漂移、用流式架构把吞吐提升 10.9×，让"大 VLA + 真机在线 RL"第一次看起来可工程化。
其五，视频生成的落地瓶颈被放在同一个优化里解决。 DM-Align 把偏好对齐与步数蒸馏统一进单阶段分布匹配，明确指出并规避了"后蒸馏崩溃”——两阶段流水线下动态度会从 67.13 掉到 53.43、从 75.78 掉到 60.85，而单阶段方案在 4 NFE 下把 VBench 平均分推到 84.40。ReaDiT 则从另一个角度做减法：只读一个 DiT block 的特征，用 53M 参数做到 1487M ControlNet 的可比精度。
🏆 最值得关注的 3 篇
- TourPhysics — 在"视频世界模型是否真的理解物理"这个核心争论上给出了可验证的工程答案：仿真器定轨迹、生成器出画面、提交规则把关，108 条序列的基准把物理一致性变成了可测量的指标（相机 ATE 0.0233、方向命中率 98.26%/93.00%）。思路对整个世界模型方向都有迁移价值。
- TacPAC — 把触觉接入大模型的难题从"预测得准不准"重构为"参照系对不对”，一份缓存 + 一个触觉专家就拿回了三分之二的增益，30.4 ms / 20.7× 的开销让实时闭环真正可行。对富接触操作和触觉智能方向是直接的推进。
- DM-Align — 对齐与蒸馏的顺序困境是视频生成工业化落地的真问题，单阶段分布匹配把"两个阶段的取舍"变成"一个优化里的两个互补梯度方向"，4 NFE 超越 100 NFE 基线的同时彻底规避后蒸馏崩溃，工业价值非常直接。
数据来源：ArXiv 2026-09-07（Mon, 7 Sep 2026 公告批次，去重后候选 415 篇；cs.CV 110 / cs.RO 41 / cs.AI 205 / cs.LG 137 / cs.GR 5 / cs.MM 7）｜分析生成时间：2026-09-08 06:00 (北京时间)