来源：量子位（诺亚） · 2026-09-15 · 原文链接

分类：主线强相关（实时/可控视频生成；与昨天 GWM 那篇同公司同导师，构成一组对照）

一句话概括

生数科技发布 Vidu S2，三个升级：S2-Avatar（实时互动数字人升到 720P、能执行大幅动作、互动中可随时递参考图让角色换装/拿物/换场景）、S2-Editing（正在播放的视频可实时换装/换人/换背景/换风格，“边播边改”）、实时空间视频（可实时生成与编辑左右眼画面送进 VR 头显）。技术上给了五处细节：按事件顺序的标注、Hybrid Forcing + Self-Replay Forcing（让模型练习接住自己产生的偏差）、Backbone-Refiner 两阶段 + 异步流水线、时间戳对齐（重设计位置编码使参考图注入时刻对齐）、VLM Agent 作"执行导演"跟踪画面状态并规划后续生成，双向阶段 DPO + 流式阶段 Streaming NFT。发布当天全量开放，距 S1 发布 69 天。

核心要点

  1. 三个大招：

    • S2-Avatar：实时交互模型，支持语音对话、语音控制数字人做动作、实时交互中输入参考图；分辨率从上代 540p 提到 720p；作者实测对比显示 S1 没能完成的"跳舞、转圈、跺脚"，S2 能跟着指令做出来（“嘴上答应"和"身体力行"的区别）。互动中可随时递一张新图，让数字人拿起图里的物品、换上指定衣服或进入新场景。
    • S2-Editing：实时视频编辑模型，四类能力——实时人物换装 / 实时更换背景 / 实时更换主体角色 / 实时风格渲染。作者实测：采访画面秒切不同服装（合体、动作连贯、脸部一致性好，服装随动作形变真实，驼色大衣袖口半遮首饰处理真实）；挑刺的是第二套衣服色块有涂抹感、戴帽子时头发有穿模。
    • 实时空间视频探索：可把生成或编辑的视频转成左右眼画面送进 VR 头显；基于 S2-Avatar 可实时生成空间视频，基于 S2-Editing 可实时编辑；能把头显摄像头看到的真实物理世界当成"画布"来创作。团队坦诚：头显对分辨率和延迟要求极其苛刻，“画面糊了会晕，延迟高了转头和画面会打架”，这块仍在优化。未来计划从固定视角扩展到全景空间视频。

  2. 实时交互视频 ≠ 传统视频生成：每一帧都根据用户输入现场算出来，生成速度必须跑赢播放速度，否则就是 PPT 式卡顿；不是"把生成速度拉高"就完事，而是要重塑整条生成链路。团队用 SageAttention 提速、多 GPU 协同调度减少模块间等待。

  3. 数据：为让数字人有更丰富的动作与表情，补充了舞蹈、二维动画、三维动画训练素材，并对符合条件的视频做背景稳定处理——在保留大幅动作的同时减少镜头运动带来的干扰。

  4. ⭐ 标注方式按"事件"重做：按照事件发生的顺序，记录动作何时开始、带来什么变化、以及结束后人物处于什么状态；片段描述根据事件边界划分，训练时每个时间片段都有对应条件。这让"抬手 → 拿起杯子 → 端着杯子继续说话"中的动作衔接与状态变化有了更清晰的学习依据。

  5. ⭐ Self-Replay Forcing（SRF）——解决流式生成的误差累积：流式训练像一场接力，前面的一点偏差会被一路传下去。Vidu S2 先用 Hybrid Forcing 学会逐段生成，然后让模型练习接住自己产生的偏差：先让模型连续生成一段视频，再给生成结果分块加噪，进行一次可训练的因果回放。这次"复盘"把前后片段连起来训练，让后续片段的训练反馈也能影响较早片段的表示，从而学会"即使前面出现偏差，后面也能尽量接得稳、接得顺”。

  6. ⭐ Backbone-Refiner 两阶段 + 异步流水线：Backbone 先在低分辨率下生成主体结构、运动和语义内容（“画面里有什么、正在做什么”），Refiner 再补细节。关键是两者不用排队——通过异步流水线，细节重建与后续内容生成并行推进，使 720P 输出下仍不掉帧。

  7. ⭐ 时间戳对齐（“边播边改"的关键）：用户中途发来一张衣服图，模型需要知道的不只是"换成什么”，还有"从什么时候开始换"。Vidu S2 重新设计位置编码，将参考图的注入位置与时间戳对齐，让模型知道新条件应从哪个时间点开始生效，从而保持运动与光照的连续性，实现生成条件的平滑过渡。

  8. ⭐ VLM Agent 作"执行导演"：实时互动时用户可能接连提要求，模型执行下一步前得先搞清楚"画面里现在有什么、人物正在做什么、上一条指令执行完了吗"。VLM Agent 基于视觉语言模型，持续解析已生成的画面、跟踪这些状态，据此规划后续生成，并在合适时机调整生成条件。

  9. 强化学习两阶段：双向阶段用 DPO 改善画质、表情、动作自然度、音画同步，为后续流式训练提供更强的教师模型；流式阶段用 Streaming NFT，直接优化承担持续生成任务的因果模型——模型先生成自己的视频轨迹，再沿用 SRF 的回放思路做奖励优化，让训练贴近实际运行状态。

  10. 人事与节奏：Vidu S1、S2 的全链路研发均由清华大学朱军教授的博士生、生数科技流式视频生成与推理负责人张金涛负责；S1 到 S2 用了 69 天；发布当天全量开放，不搞内测不限名额。

金句

实时交互视频的每一帧，都是根据用户输入现场算出来的。这意味着模型的生成速度必须跑赢播放速度，不然用户看到的就是 PPT 式的卡顿。

这可不是简单地"把生成速度拉高"就完事了，而是要重塑整条生成链路。

以前 S1 主要是聊天互动，现在 S2 将大幅度的身体动作也安排上。“嘴上答应"和"身体力行"的区别，这下终于有画面了。

观众弹幕发个"想看主播穿恐龙服”，下一秒可能就真穿上了。观众聊着聊着就当上了导演，主播演着演着就成了 NPC。

质疑与核查

  1. 这是一篇产品发布软文，不是技术评估。 量子位 + 企业供稿结构，所有效果均为 cherry-picked 演示。作者自己只挑了两个刺（第二套衣服色块涂抹感、帽子处头发穿模），没有任何失败案例的统计——“边播边改"在快速运动、遮挡剧烈、光照突变、多人场景下什么样，一个字没提。
  2. ⭐ 最关键的数字缺失：全文没给帧率或延迟。 标题和正文反复强调"实时"，但没有一处给出 fps、每帧延迟或首帧延迟——而这是实时系统唯一的核心指标。720P 给了，帧率没给，“不掉帧"没有参照（不掉哪个帧率？24？30？60？）。在拿到这个数字之前，“实时"只能当作营销词。
  3. 技术揭秘部分全部是自述，无论文、无消融。 SRF 贡献多少？异步流水线贡献多少？时间戳对齐去掉会怎样？VLM Agent 是否真的必要？一个对比数字都没有。 这些机制听起来都对，但它们的边际贡献完全未知。
  4. “69 天完成版本更迭"是营销口径。 从发布日期倒推的版本间隔，既不能说明研发效率也不能说明技术难度——而且 S1 到 S2 的很多能力（舞蹈/动画数据、Refiner、RL）显然不是 69 天内从零做的。
  5. “发布当天全量开放，不搞内测、不限名额”——文章把它写成"技术自信”，但也完全可能是抢发窗口的商业决策，且全量开放意味着没有经过小范围压力测试，稳定性未知。
  6. 空间视频部分要打折读：团队自己承认"这块还在持续优化中”，且目前是固定视角、不能转头探索，所谓"元宇宙要实现了"是作者的玩笑而非产品状态。头显的晕动症问题是行业公认难题，未解决。
  7. 训练数据来源与版权完全未说明：补充了舞蹈、二维动画、三维动画素材——来源是哪里？是否授权？数字人应用里那段"让自己去世的亲人复活"涉及明显的伦理与肖像权问题，文章把它当作产品亮点来写，没有任何讨论，这是内容号的失职。
  8. 与昨天那篇的关系要说清楚：Vidu S2 与 GWM 那篇同属生数/朱军体系，但这是两条不同的线（产品 vs 路线图）。用产品能力去佐证路线图的可信度，或者反过来，都是无效的。这两篇应该被当作同一实体的两种自我表述来读，而不是互相印证的独立来源。
  9. 数字人"接住中途递来的参考图"这个能力，实测描述里只说"能”，没说延迟多少、失败率多少、多复杂的图能接住。这是最容易在真实使用中崩的一类能力。

本文为阅读剪藏（摘要 + 摘录 + 评论），非原文转载。查看原文