В Anthropic оценили риск гибели человечества от ИИ более чем в 10% — The Verge
Руководитель одной из команд безопасности Anthropic Эван Хубингер заявил, что лично оценивает вероятность того, что искусственный интеллект может привести к гибели всех людей в течение следующего десятилетия, более чем в 10%. Об этом сообщает The Verge.
Увольнение исследователя
Заявление Хубингера прозвучало после того, как исследователь Джейкоб Коксон написал в X о своем увольнении из Anthropic. По словам Коксона, он ушел из компании, поскольку считал ее подход к безопасности недостаточно строгим.
Коксон, который ранее обучал системы ИИ для OpenAI, обвинил Anthropic и OpenAI в гонке за созданием самосовершенствующегося суперинтеллекта. Он заявил, что компании «играют нашими жизнями», а люди, создающие ИИ, искренне допускают возможность гибели человечества к концу десятилетия.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
В ответ Хубингер согласился с такой характеристикой этих опасений. Он также отметил, что развитие самосовершенствующегося ИИ происходит быстрее, чем ожидалось.
Риски самосовершенствования
В отрасли давно обсуждаются потенциальные угрозы систем ИИ, способных самостоятельно совершенствоваться. Опасения связаны с тем, что такой процесс может выйти из-под контроля людей в цикле, который называют рекурсивным самосовершенствованием.
Как отмечает The Verge, такие системы пока не созданы, однако компании активно стремятся их разработать, а значительная часть современного программного кода уже пишется с помощью ИИ. По словам Хубингера, Anthropic сейчас не имеет плана, который обеспечил бы безопасность передовых систем ИИ и их соответствие человеческим ценностям, и у компании нет четких признаков движения к созданию такого плана.
