Anthropic或将很快达到AI自我改进门槛——TechCrunch

Anthropic在更新后的S-1/A申报文件中表示，该公司可能很快达到其自身设定的“由AI驱动的急剧加速进展”门槛。这涉及该公司对未来模型的内部评估，而非其当前系统。TechCrunch报道称。

Anthropic的内部门槛

Anthropic表示，其使用人工智能系统加速研究与开发。同时，该公司警告称，这可能使模型的发展速度快于其制定、测试和实施适当安全、对齐及防护措施的速度。

该公司还承认，过去并不总是能立即发现模型开发速度的显著加快，未来也可能无法及时识别。Anthropic强调，其现有模型中尚无任何一个被认定为超过这一门槛，数据评估仍在进行中。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

递归自我改进

AI如此有效地帮助训练和改进后续系统，以至于其能力的发展被急剧加速的过程，被称为递归自我改进，即RSI。Anthropic认为，利用AI创建更强大的模型既是一种前景，也是一项重大的安全风险。

该公司表示，目前预计无法在没有实质性人类监督或对过程的理解的情况下，安全地使用Claude对下一代前沿模型进行完全自主的设计和创建。Anthropic正考虑更新其负责任扩展政策，以保持人类对前沿模型开发的控制。