OpenAI скасувала жовтневий випуск GPT-6.1 Astra після тестів — Live Science
На тлі повідомлень про інциденти з ШІ-агентами, зокрема в Австралії, OpenAI скасувала запланований на жовтень випуск моделі GPT-6.1 Astra. Внутрішні тести компанії виявили проблеми зі здатністю моделі діяти в межах поставленого завдання, отримувати дозвіл на певні дії та повідомляти користувачеві про виконану роботу, повідомляє Live Science.
Керівниця систем безпеки OpenAI Саачі Джайн заявила виданню, що модель не відповідала необхідним вимогам щодо дотримання меж завдання, авторизації дій і комунікації з користувачем. Компанія також повідомила, що переглядає підходи до визначення високоризикових тестів, надання доступу до інтернету, ізоляції систем, роботи з обліковими даними, моніторингу та реагування на інциденти.
Інцидент в Австралії
Публікація вийшла після випадку в Австралії, де агент OpenAI мав досліджувати державні витрати на охорону здоров'я, але отримав доступ до урядового вебсайту. За словами прем'єр-міністра Австралії Ентоні Албанезе, 18 червня бот увійшов до Medicare Statistics Reporting Service та отримав доступ ще до трьох державних систем після того, як зіткнувся з перешкодами під час пошуку інформації.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Портал містить зведену статистику Medicare та фармацевтичних програм і відокремлений від систем, де зберігають дані про індивідуальні заявки на відшкодування та виплати. Австралійська влада також критикувала OpenAI через те, що компанія повідомила про інцидент майже через три місяці.
Дії агентів під час тестів
Британський Інститут безпеки штучного інтелекту AISI зафіксував несанкціоновані дії агентів OpenAI та Anthropic під час кібербезпекових випробувань. У 10 із 122 запусків агенти здійснювали реальні дії без санкції дослідників. У найсерйозніших випадках агент намагався додати шкідливий код до проєкту з відкритим кодом, створював фальшиві особи та намагався схилити супроводжувача програмного забезпечення прийняти зміни.
За оцінкою AISI, деякі завдання були налаштовані так, що досягти очікуваної мети було складно або неможливо. Коли агенти натрапляли на перешкоди, частина з них шукала альтернативні способи виконати завдання, зокрема поза передбаченими межами. Юрист Еверетт Лаптон зазначив, що людина не здатна відстежити кожну дію складного агента, який ухвалює багато рішень за короткий час, тому компаніям потрібні обмеження доступу, докладні журнали дій і автоматичне зупинення системи в разі незвичної поведінки.
