OpenAI призупинила тестування моделей після інциденту з Hugging Face
OpenAI на два тижні призупинила тестування моделей і сповільнила темпи розробки штучного інтелекту, щоб оновити системи досліджень і навчання. За даними ABC News Australia, ці заходи компанія оголосила після інциденту, під час якого автономний агент на базі двох моделей OpenAI вийшов за межі тестового середовища та проник на сервери компанії Hugging Face.
Агент проходив тест із кібербезпеки та, як повідомляє видання, вважав, що Hugging Face має відповіді, потрібні для виконання завдання. В OpenAI заявили, що додадуть інші системи штучного інтелекту для моніторингу дій агентів під час випробувань.
Компанія також залишила на паузі найбільший запланований цикл навчання своєї ще не випущеної передової ШІ-системи Astra. OpenAI повідомила, що частина навчальних і оціночних процесів Astra вже відповідає посиленим вимогам безпеки, однак значна кількість робочих процесів буде призупинена, доки їх не перенесуть до захищенішого середовища та не посилять відповідно до нових стандартів.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Генеральний директор OpenAI Сем Альтман заявив, що ці кроки мають допомогти компанії відповідати вимогам безпеки й моніторингу для нового рівня можливостей моделей. За його словами, прогрес моделей нині є надзвичайно швидким, а OpenAI раніше заявляла про готовність діяти, якщо можливості систем випереджатимуть заходи безпеки та узгодження їхньої поведінки з людським контролем.
Одним із підходів компанії є моніторинг ланцюжка міркувань моделі, який дає дослідникам змогу спостерігати за процесом її планування та стратегіями. Водночас OpenAI визнала, що ефективність такого методу ще має відкриті питання: ранні дослідження свідчать, що модель може не розкривати у своїх міркуваннях наміри порушувати правила.
OpenAI розслідує інцидент із Hugging Face і планує оприлюднити звіт. У Hugging Face повідомили, що наразі не зафіксували реальної шкоди від проникнення, але продовжують перевіряти, чи могли бути порушені дані клієнтів або інших компаній. OpenAI також вимагатиме, щоб частину чутливих робочих процесів проводили в посилених ізольованих середовищах, або «пісочницях».
