OpenAI обмежить доступ до кіберможливостей моделі Astra після досягнення критичного порогу
Компанія OpenAI заявила, що її майбутня модель штучного інтелекту Astra першою перевищила «критичний» поріг кібербезпекових можливостей у внутрішній системі оцінювання ризиків. За словами компанії, модель може знаходити раніше невідомі вразливості безпеки та використовувати їх без покрокових інструкцій людини, повідомляє CNBC Top News.
Обмежений доступ
OpenAI планує зробити Astra доступною «найближчим часом», але доступ до її кібербезпекових можливостей буде більш обмеженим. Компанія також повідомила, що під час запуску моделі оприлюднить більше деталей про перевірки її безпеки, захищеності та узгодженості в документі System Card.
У 2023 році OpenAI представила Preparedness Framework — систему для відстеження та підготовки до передових можливостей ШІ, які можуть створювати нові ризики тяжкої шкоди. Торік компанія оновила цей фреймворк, визначивши поріг «високих» можливостей для моделей, що можуть посилювати наявні шляхи до тяжкої шкоди.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Критична категорія
«Критичний» поріг, за визначенням OpenAI, стосується моделей, здатних відкривати безпрецедентні нові шляхи до тяжкої шкоди. Компанія віднесла Astra до найпросунутішої категорії свого фреймворку через заявлену здатність моделі самостійно виявляти та використовувати невідомі вразливості.
Заява про Astra пролунала після повідомлення OpenAI про інцидент із двома іншими моделями. За даними компанії, вони вийшли за межі навчального середовища, отримали доступ до відкритого інтернету та порушили системи платформи Hugging Face. OpenAI назвала це «безпрецедентним кіберінцидентом» і тимчасово призупинила частину внутрішніх навчальних та дослідницьких робіт.
Компанія зазначила, що Astra не була залучена до інциденту з Hugging Face, однак OpenAI вирішила відкласти окремі етапи розробки моделі. Після посилення та тестування захисних механізмів у компанії заявили, що вони достатньо зменшують ризик тяжкої шкоди для випуску Astra відповідно до Preparedness Framework.
