Anthropic может вскоре достичь порога самосовершенствования ИИ — TechCrunch

Компания Anthropic сообщила в обновленной заявке S-1/A, что может в ближайшее время достичь собственного порога «резко ускоренного прогресса, обусловленного ИИ». Речь идет о внутренней оценке компании относительно будущих моделей, а не о ее нынешних системах. Об этом сообщает TechCrunch.

Внутренний порог Anthropic

Anthropic отметила, что использует системы искусственного интеллекта для ускорения исследований и разработки. В то же время компания предупредила, что это может ускорить развитие моделей быстрее, чем она сможет разработать, протестировать и внедрить соответствующие меры безопасности, согласованности и защиты.

Компания также признала, что в прошлом не всегда сразу выявляла существенное ускорение темпов разработки моделей и может не распознать его своевременно в дальнейшем. Anthropic подчеркнула, что ни одна из ее текущих моделей пока не была определена как превысившая этот порог, а оценка данных продолжается.

Больше актуальных новостей — в Telegram-канале UA.News Telegram.

Рекурсивное самосовершенствование

Процесс, при котором ИИ настолько эффективно помогает обучать и совершенствовать последующие системы, что это резко ускоряет развитие его возможностей, называют рекурсивным самосовершенствованием, или RSI. Anthropic считает использование ИИ для создания более мощных моделей одновременно перспективой и существенным риском для безопасности.

Компания заявила, что в настоящее время не ожидает возможности безопасно использовать Claude для полностью автономного проектирования и создания следующих поколений передовых моделей без содержательного человеческого надзора или понимания процесса. Anthropic рассматривает обновление своей политики ответственного масштабирования, чтобы сохранить человеческий контроль над разработкой передовых моделей.