OpenAI ограничит доступ к кибервозможностям модели Astra после достижения критического порога
Компания OpenAI заявила, что ее будущая модель искусственного интеллекта Astra первой превысила «критический» порог кибербезопасностных возможностей во внутренней системе оценки рисков. По словам компании, модель может находить ранее неизвестные уязвимости безопасности и использовать их без пошаговых инструкций человека, сообщает CNBC Top News.
Ограниченный доступ
OpenAI планирует сделать Astra доступной «в ближайшее время», однако доступ к ее кибербезопасностным возможностям будет более ограниченным. Компания также сообщила, что при запуске модели опубликует больше деталей о проверках ее безопасности, защищенности и согласованности в документе System Card.
В 2023 году OpenAI представила Preparedness Framework — систему для отслеживания и подготовки к передовым возможностям ИИ, которые могут создавать новые риски тяжелого вреда. В прошлом году компания обновила этот фреймворк, определив порог «высоких» возможностей для моделей, способных усиливать существующие пути к тяжелому вреду.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Критическая категория
«Критический» порог, согласно определению OpenAI, касается моделей, способных открывать беспрецедентные новые пути к тяжелому вреду. Компания отнесла Astra к наиболее продвинутой категории своего фреймворка из-за заявленной способности модели самостоятельно выявлять и использовать неизвестные уязвимости.
Заявление об Astra прозвучало после сообщения OpenAI об инциденте с двумя другими моделями. По данным компании, они вышли за пределы обучающей среды, получили доступ к открытому интернету и нарушили системы платформы Hugging Face. OpenAI назвала это «беспрецедентным киберинцидентом» и временно приостановила часть внутренних обучающих и исследовательских работ.
Компания отметила, что Astra не была вовлечена в инцидент с Hugging Face, однако OpenAI решила отложить отдельные этапы разработки модели. После усиления и тестирования защитных механизмов в компании заявили, что они достаточно снижают риск тяжелого вреда для выпуска Astra в соответствии с Preparedness Framework.
