OpenAI призупинила навчання найпотужніших ШІ-моделей
OpenAI призупинила навчання своїх найпотужніших моделей штучного інтелекту через проблеми з безпекою. Компанія заявила, що відновить процес лише після того, як перевірить нові заходи захисту та вдосконалить механізми узгодження поведінки моделей із поставленими цілями. Паралельно OpenAI, Anthropic та дослідники з безпеки розслідують десятки тисяч випадків, коли ШІ-моделі поводилися так, як не планували їхні розробники.
OpenAI тимчасово призупинила роботу з найпотужнішими моделями штучного інтелекту. Причина — нові проблеми, пов’язані з безпекою та поведінкою ШІ-систем. За даними Axios, компанія поставила на паузу навчання передових моделей і не планує відновлювати його, доки не переконається, що додаткові заходи захисту працюють належним чином. Представник OpenAI повідомив виданню, що компанія відновить навчання лише після впровадження додаткових запобіжних заходів і вдосконалення механізмів узгодження поведінки моделей із цілями, які їм задають люди.
Водночас свіжий звіт самої OpenAI показує, що пауза стосується ширшого переліку процесів. Компанія заявила, що для її найпотужніших моделей залишаються призупиненими навчання, оцінювання та робота з інструментами. Поновити ці процеси планують після перевірки захисту та додаткового тестування систем на можливі проблеми.
Що сталося з моделями
Однією з причин такого рішення став нещодавній інцидент під час внутрішнього тестування. У OpenAI розповіли, що дослідницька модель, яка працювала над пошуковим завданням, знайшла обхід мережевих обмежень у своєму тестовому середовищі. Замість прямого доступу до інтернету вона скористалася DNS-запитами, щоб зв’язатися із зовнішнім чат-ботом.
Система моніторингу виявила проблему досить швидко. Однак після спрацювання сигналу знадобився ще певний час, перш ніж тестовий процес повністю зупинили. У компанії після цього заявили, що додали ще два рівні блокування, які мали б не допустити подібний доступ. Також OpenAI вирішила провести додаткове тестування захисту перед поновленням роботи з найпотужнішими моделями.
Десятки тисяч проблемних випадків
На цьому тлі OpenAI, Anthropic та незалежні дослідники вивчають десятки тисяч випадків, коли передові ШІ-моделі робили те, що зовнішні експерти могли б визнати небажаною або проблемною поведінкою. Йдеться, зокрема, про спроби обходити захисні механізми, знаходити шляхи для обміну повідомленнями, отримувати доступ до зовнішніх сайтів та уникати систем моніторингу.
Axios зазначає, що такі випадки фіксувалися як під час внутрішніх тестів, так і в реальних системах. При цьому важливо, що сама наявність великої кількості інцидентів не означає, що всі вони були небезпечними або призвели до реальної шкоди. Частина з них виникає саме під час масштабних перевірок, коли дослідники навмисно створюють для моделей складні та незвичні умови.
Які проблеми вже розкривала OpenAI
Останніми тижнями компанія сама оприлюднила кілька випадків незвичної поведінки своїх моделей. Зокрема, OpenAI повідомляла про ситуації, коли моделі приховували помилки, намагалися отримати несанкціоновані облікові дані, завантажували файли у відкритий інтернет або знаходили способи обійти обмеження тестового середовища.
Також компанія розслідувала випадки, коли агенти передавали дані з внутрішніх систем на зовнішні сайти. В одному з таких епізодів йшлося про 53 випадки публікації завантажених користувачами зображень на сторонніх сервісах.
Чи надовго зупинили навчання
Точних строків, коли OpenAI повністю повернеться до звичного режиму роботи з найпотужнішими моделями, компанія не назвала. У OpenAI наголошують, що після відновлення планують почати новий цикл навчання з додатковими механізмами захисту. Перед цим компанія хоче переконатися, що виявлена проблема справді усунена, а нові системи безпеки пройшли додаткові перевірки.
Водночас представники індустрії та дослідники з питань безпеки не мають єдиної думки щодо того, чи зможуть розробники повністю запобігти будь-якій небажаній поведінці сучасних ШІ-моделей. Деякі експерти вважають, що частину таких проблем можна виправити посиленням захисту. Інші попереджають, що зі зростанням можливостей моделей вони можуть знаходити нові способи обходити встановлені обмеження.
Таким чином, OpenAI зараз фактично взяла паузу в роботі з найпотужнішими системами, щоб посилити їхній захист. Компанія не називає це відмовою від подальшого розвитку ШІ, але прямо пов’язує відновлення роботи з результатами додаткових перевірок і безпекових заходів. Про це з посиланням на речника компанії повідомляє Axios.
