Anthropic警告：AI可能很快进入自我加速阶段，等人类察觉或为时已晚

BiRun 讯，Anthropic 在 11 月 2 日更新的 IPO 招股书中警告，AI 可能很快跨过「递归自我改进」（RSI）相关的关键门槛，让 AI 研发速度大幅加快。过去也出现过未能及时察觉研发进步显著加速，直到加速发生后才发现的情况。

目前，Claude 已经参与编写代码、运行实验和处理训练数据，帮助开发更强的下一代模型。新模型又能反过来加快后续研发，形成不断提速的循环。

按照 Anthropic 的安全政策，触及这道关键门槛有两种情况：
1. AI 能以相近成本完成整个 AI 研究团队的工作；
2. 或者让 AI 技术进步速度至少翻倍，把原本需要两年取得的进步压缩到一年。

随着 AI 越来越深入自身研发，模型能力可能增长得比安全评测、对齐研究和防护措施的更新还快。Anthropic 目前尚未认定任何现有模型达到这一水平，此次预警主要基于内部估算和对未来模型的预测。目前正考虑修改安全政策，确保关键研发过程仍由人类监督和控制。

信源

动察 Beating 频道 · 动察 Beating 交流群。