来源:具身纪元(Marilyn Liu(对谈一作 陈泽源、李浦豪)) · 2026-09-19 · 原文链接

分类:主线强相关(到目前为止与触觉最直接的一篇:它明说"姿态相同不代表效果相同",且整篇在解决"手如何发力";但控制器本身不观测任何触觉信号——这既是挑战也是我一直在找的可检验假说)


一句话概括

具身纪元对谈 TeleDexter 两位一作(陈泽源、李浦豪)。核心是把灵巧手遥操作从"运动映射问题"重构成"目标驱动的动态接触控制问题":操作者只给目标指尖位置 + 物体的目标位姿,底层 RL 控制器自己决定怎么发力、哪根手指先松开、其他手指如何接替支撑。不再逐帧模仿人手,而是连续子目标跟踪——中间过程由机器人自己探索;单阶段 RL + 随机动作掩码(Random Action Masking) + 域随机化实现零样本 sim2real。在 22 自由度 SharpaWave 上七项任务平均成功率 75.2%,而所有基线(DexRT 5.7% / GeoRT 0% / DexGen 0%)近乎全败。⭐⭐ 对我而言这篇的分量在于两句话:泽源那句「Same pose doesn’t imply the same effect(姿态相同,不代表产生的效果相同)」,是我在别处反复论证的"视觉能恢复身体怎么动,恢复不出接触处发生了什么"的灵巧手版本;而更关键的是——论文明确指出这个控制器「不观测任何触觉信号」,且失败集中在后期、接触密集的阶段**。也就是说:它拿下的 75% 是无触觉拿下的,剩下的 25% 恰好是触觉应该能补的地方。这是一个可以直接上手验证的假说。

核心要点

金句

「Same pose doesn’t imply the same effect.」 姿态相同,不代表产生的效果相同。

「任务的步骤多,不等于手的动作足够灵巧。」

「瓶颈不在上层模型能不能理解任务,而在于底层执行能力不足,难以采到可用于训练的机器人操作数据。」

「这类方法主要对齐的是姿态,而非操作产生的效果,运动学重定向没有显式处理手—物接触力和物体惯性。」

「如果设备主要依靠编码器记录关节角度,采到的就是手指最终停在哪里,而不是控制器当时下达了什么目标。目标位置与实际位置之间的偏差才产生了持续的驱动力。」

「即使两次抓握呈现出相同的关节姿态,背后的控制目标和发力情况也可能不同。」

「人类轨迹不再是机器人必须逐帧模仿的动作,而是告诉它手指和物体应该到达什么状态。至于怎样到达这些状态,由机器人自己探索。」

「它可以先稳定抓握,再改变接触点,最后完成旋转,而不必复制人手的每一个中间姿态。」

「人形机器人的 tracker 的突破,是人形机器人技术的转折点,那么灵巧操作或许也能分享同样的突破路径。」

「从看见人的灵巧,到形成自己的灵巧,TeleDexter 为中间这一步提供了一个具体答案。」

质疑与核查

  1. ⚠️⚠️ 最需要读者知道的一条:这个控制器「不观测任何触觉信号」。 论文在局限里明确列出。它之所以能解决"手物交互中的发力问题",靠的是物体位姿误差这个代理信号 + 仿真里学到的接触先验,不是靠测量接触力。所以不能把它读成"不需要触觉"——恰恰相反,它证明了在无触觉条件下能做到的上限大约就在这里,剩下的缺口正是触觉的位置。

  2. ⚠️ “人类水平"是标题里的 Towards,不是已达成的状态。 论文自己的局限:per-object 控制器(一个物体训一个)、依赖实时物体跟踪(NOKOV 动捕)、不观测触觉、只测七项固定任务、每项 15 次。中文播客稿的语气比论文更乐观。

  3. 75.2% 是"平均成功率”,不是"都能做到"。且每项只有 15 次试验——15 次里成功 11 次和 12 次,成功率就差 6.7 个百分点。样本量太小,任务层面的数字置信区间很宽。 论文另给了任务进度(task progress)87.1% 作为补充。

  4. ⚠️ 基线对比的公平性要打折:DexGen 是论文作者自己复现的,且中文稿明确说"关键中间环节在复现时做过替换"。GeoRT 与 DexGen 均为 0% 这个结果,在"复现是否忠实"这一点上是有争议的。引用"基线全败"时必须带限定。

  5. ⚠️ 播客稿与论文的数字要分清来源:中文稿给的成功率(75.2% / 5.7% / 0%)、消融(螺丝刀 73.3%→0%、长方体 80%→26.7%)、训练规模(4×5090 / 62,400 环境 / 100 亿步 / 一天)、BC 结果(46.7 / 73.3 / 40.0)我核对下来与论文摘要及公开笔记一致;但播客是口述,个别表述可能与论文措辞有偏差(例如"锤钉"对应 HammerUse、“向前清扫"对应 BrushSweep 的某一阶段)。引用具体数字前建议回论文表 1 / 表 5 确认。

  6. 消融只给了两项(论文里还有锤子 66.7%→33.3%),且消融是在实机上做的、样本量同样很小。73.3% → 0% 这个极端落差很吸引人,但它也可能是小样本下的不稳定。趋势可信,具体数值别当成精确测量。

  7. “零样本迁移"的范围要说清:是控制器零样本迁移,不是策略通用——每个物体、每只手都要重新训一个控制器(约一天)。“跨本体泛化"指的是同一组人类参考数据可复用,不是同一个控制器能直接用。

  8. BC 那一项的对照是缺失的:46.7% / 73.3% / 40.0% 这三个数没有"用别的方法采集的数据训出来的 BC"做对照,论文说的是"现有方法根本采不到可比数据”。所以这只能说明"能训出来”,不能说明"比别的数据好”。

  9. ⭐ 与触觉的关系要克制,别过度乐观:我提出的"剩下的 25% 是触觉的机会"是一个假说,不是结论。存在几种失败的可能原因与触觉无关(例如动捕精度、物体跟踪延迟、任务定义过难)。在动手做之前,需要先把 TeleDexter 的失败案例逐条看过,确认有多少真的属于"接触状态不可观测"导致的。 这一步不能跳。

  10. ⚠️ 有一处我未能核实:中文稿提到这是"两位一作"的对谈,论文作者列表首位是 Puhao Li、次位 Zeyuan Chen(陈泽源、李浦豪),“共同一作"的标注我没在摘要页看到,引用时说"作者之一"更稳。

  11. 录制动因值得留意:播客说录于约一个月前,因软件问题素材残破、花了很久才修好,发布选在 GPT-6 发布节点之后。“TeleDexter 在 GPT-6 时代有了新意义"这个 framing 是发布时的追加叙事,不是研究本身的动机。


本文为阅读剪藏(摘要 + 摘录 + 评论),非原文转载。查看原文