来源：APPSO（发现明日产品的） · 2026-09-15 · 原文链接

分类：技术概念综述 + 产业叙事批评（主线边缘；其中「经验获取自主性」一节与具身强相关）

一句话概括

APPSO 梳理新热词 RSI（递归自我改进）：AI 自己写代码、跑实验、改训练流程，再传给下一代模型。文章上半部分介绍上交/清华/字节/上海 AI Lab 等合著的预印本《The Last AI Built by Humans》提出的 RSI 五级自主性（L1 执行改进方案 → L5 改进机制本身成为改进对象）与 OpenAI、Anthropic 的产业进展，下半部分转向批评——它认为当下「末日论 vs 反末日论」的口水战，表面争的是人类会不会被 AI 毁灭，背后争的是下一轮算力、资本与产业利益的分配。

核心要点

  1. RSI 的定义与源头：Recursive Self-Improvement，递归自我改进——AI 自己写代码、自己跑实验、自己改训练流程，改完再传给下一代更强的模型。思想源头是 1965 年 I.J. Good 提出的「智能爆炸」：若机器能超越人类智力活动，那么设计机器也应在其能力范围内，于是第一代造第二代、第二代优化第三代，进入加速正反馈。与 AGI 的区别：AGI 关心 AI 能否完成与人类相当的通用认知工作，RSI 关心 AI 能否改变「产生这些能力」的系统本身。会检查自己的答案只能算自我修正；能改进研发方法、并把有效变化交给后继系统使用，才触及递归自我改进。

  2. 五级自主性（来自预印本《The Last AI Built by Humans》，arXiv 2609.11873）：

    • L1：主要负责执行人类给出的改进方案；
    • L2：开始自主寻找改进策略；
    • L3：可以决定需要获取哪些经验；
    • L4：能够把部署环境中的反馈转化成持续保留的改动；
    • L5：改进机制本身也成为改进对象——不仅能完成研究任务，还能修改「后续如何搜索方案、评估结果、组织研究」的机制，并让后继系统继续使用修改后的机制。最激进的终局设想里，AI 还能提出目标、修改评估方法、重写底层改进逻辑；此时人类造的不再是一个模型，而是一套能继续造模型的系统。

  3. 产业侧进展：

    • OpenAI（9 月 6 日内部报告）：已实现「自动化研究实习生」目标，系统能在人类指导下写代码、跑实验、排查故障、分析结果，其中一些任务原本需要熟练研究员花数天；截至 8 月中旬，每投入一个人类工作日，研究部门智能体运行时长已相当于 3.1 个工作日。
    • Anthropic：把自动化推进到安全研究，Claude 可自己查文献、提方案、生成训练数据、跑实验、评估结果并迭代。最接近「AI 训练下一代 AI」的一次实验中，较弱的 Claude Sonnet 5 帮助早期 Claude Opus 4.8 改善安全表现：约 60 小时测试 50 多种方案，最终只用约 2400 条训练样本，就把后者既定评测中的对齐成绩推到接近正式版 Opus 4.8 的水平。
    • 翁荔（Lilian Weng） 重返 OpenAI 后带队研究 RSI，其《Harness Engineering for Self-Improvement》提出另一条更现实的路径：不改模型权重，改「AI 的运行系统」（harness）——工具调用、上下文管理、记忆保存、任务分配、权限控制、结果检查。发现总忘实验条件就改进记录方式，发现某工具反复出错就修正接口，发现流程低效就重写调度代码。

  4. ASI 时间预测分歧很大：Thinking Machines 首席科学家 John Schulman 3–4 年，Millidge 约 5 年，O’Neill 5–10 年。

  5. 文章列出的几道未解技术难题：① 模型需不断吸收新经验又不能丢掉原能力，更新太激进会灾难性遗忘、太保守又学不进去；② 研究判断力难以自动化——优化一段代码标准明确，但判断一个失败实验是方向错误还是值得继续探索，要难得多；③ 真正的科学突破往往先提出一个全人类都没想过的怪问题，再捣鼓量化它的尺度，这种「从怎么做到该做什么」的跨越仍高度依赖人类直觉。

  6. 安全叙事这条线的时间线（文章梳理）：9 月 8 日曾在 OpenAI 与 Anthropic 工作过的 Jacob Coxon 从 Anthropic 辞职，在 X 上称离开是因为担心两家公司没采取负责任行动、而是在竞相研发能自我提升的超级智能，并透露「开发这些系统的人确实相信，到本十年末 AI 可能毁灭所有人类」；声明浏览量很快超 1.7 亿次；Anthropic 在职对齐科学负责人 Evan Hubinger 公开附和；随后 Dario Amodei 发文呼吁同行集体降速、给安全研究让出一到两年，并提出前沿实验室应允许第三方评估机构常驻、获得接近内部员工的访问权限、独立披露风险与事故；奥特曼、马斯克等死对头罕见地在「减速」问题上形成统一阵线。黄仁勋则在 All-In 峰会反驳，斥 AI 危险论为「骗局」。

  7. 文章的核心论点（下半篇）：

    • 能承担高额安全审查成本的恰恰是头部公司（庞大安全团队、封闭数据中心、充足审计资源），开源社区与中小企业承担不起同等合规成本，所以这套「安全叙事」天然构成扼杀对手的壁垒；
    • 关于风险如何评估、哪些能力需要限制、什么企业有资格训练下一代模型，规则制定权很大程度掌握在前沿实验室手里——它们既是技术推动者，也是风险标准的定义者；
    • OpenAI 内部报告给出的闭环话术：「更强且经过对齐的 AI 可以保护关键基础设施、抵御危险智能体，并帮忙研发新的安全措施」——AI 越危险，防御模型就必须越强；防御模型越强，需要的芯片、能源和资本就越多，于是千亿美元融资、十万卡集群、更大数据中心都可被包装成「维护人类安全所必需的基础设施」；
    • 黄仁勋不吃这一套也有算盘：英伟达卖的是铲子，任何可能阻止买卡、建机房、增加电力供应的安全叙事，都是在砸整条硬件产业链的饭碗。

金句

AI 越危险，防御模型就必须越强；防御模型越强，需要的芯片、能源和资本就越多。

造神者一边警告神明可能失控，一边要求获得更多资源继续造神。

当下一次他们神色凝重地关紧大门，隔着铁栅栏兜售恐慌，冲着门外高喊「里面有末日猛兽，闲杂人等千万别进来」时，殊不知拉响警报和努力喂养猛兽往往是同一批人。

真正的科学突破，往往是先提出一个全人类都没想过的怪问题，再去捣鼓量化它的尺度。这种从怎么做到该做什么的跨越，至今依然高度依赖人类的直觉。

质疑与核查

已核实的一条（原文没给全，我补上了）：文中引用的预印本确实存在——arXiv 2609.11873，《The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement》，2026-09-10 提交（v1），32 位作者，含上交、清华、字节、上海 AI Lab 等机构。摘要确认了四级 autonomy 的说法（improvement-execution / improvement-strategy / experience-acquisition / environment-adaptation → recursive meta-improvement），并引入 Headroom-Closed Index (HCI) 来揭示现有 LLM 的问题，同时明确把 embodied intelligence 列为考察场景之一。原文对这篇论文的引用是准确的。

但下面这些折扣必须一起读：

  1. L1–L5 是这篇论文自己提的，不是社区共识。 跟上次朱军团队 GWM 的 L1–L5 完全同型——一家之言的分级被写成"研究表明"。而且这篇论文 9 月 10 日才上传，尚未经任何同行评议。要用它，必须说"某预印本提出"，不能说"领域公认"。
  2. APPSO 这篇的核心立场是"安全叙事是生意"，整篇材料都是围绕这个论点剪裁的。 它给了 Dario / Anthropic 的利益动机分析（合规成本构成壁垒、规则制定权在头部实验室），也点了黄仁勋的算盘（卖铲子）——但这两段的分量不对称：对前者的利益分析细致，对后者只有一句带过。而"风险确实存在、担忧是真诚的"这种可能性，全文一次都没有认真对待。把所有安全关切都还原为利益，本身就是一种立场，而且是最省事的那一种。
  3. “1.7 亿次浏览"是个没有口径的数字。 社交平台的"浏览量/展示量"统计方式差异极大，且高浏览量既可以支持"恐慌被营销放大”，也完全可以支持"公众确实关切"——文章只取了前一种解读。这个数字不该被当作任何结论的证据。
  4. OpenAI “3.1 个工作日"的口径不清。 什么叫"智能体运行时长相当于 3.1 个工作日”？按什么折算？一个人类研究员的"工作日"与智能体的"运行时长"之间没有定义过的换算率。且这是 OpenAI 自家内部报告，不是独立审计。这个数字目前只能说明"OpenAI 认为自动化程度显著"，不能当量化结论。
  5. Anthropic 那次实验（Sonnet 5 帮 Opus 4.8）要小心读。 “接近正式版水平"没有给具体数字或差距；只用约 2400 条训练样本——这既可以解读为"低数据高效”，也可以解读为"任务很窄、评测是自家设定的对齐评测"；而且这里"训练下一代"指的是安全对齐层面的后训练，不是能力层面的自我提升。把它当作"AI 训练下一代 AI"的证据是拔高。
  6. ASI 时间预测（3–4 年 / 5 年 / 5–10 年）三个人全是利益相关方，且这类预测历史上准确率极低。文章把它当作"分歧很大"的例证是对的，但读者容易只记住数字。
  7. 文章对 RSI 的技术内容几乎没讲——HCI 指数是什么、怎么度量"真正的递归自我改进"、各级怎么评估，一个字没有。所以这篇能用来了解叙事格局，不能用来了解技术。
  8. 末尾"卖铲子"那段分析其实挺好，但它是动机归因，不是证据——黄仁勋有没有因为利益而说这话，无法证实；反过来，Dario 有没有因为竞争而呼吁降速，同样无法证实。文章对两边用了不同的标准。

本文为阅读剪藏（摘要 + 摘录 + 评论），非原文转载。查看原文