Експерти закликають AI-лабораторії посилити базовий захист мереж — TechCrunch
Експерти з кібербезпеки закликають розробників передових моделей штучного інтелекту посилити базовий захист мереж, контроль доступу й моніторинг дій AI-агентів. Як повідомляє TechCrunch, такі заходи можуть бути ефективнішими за зосередження лише на зовнішньому аудиті та перевірках узгодженості моделей із людськими цілями.
Глава Anthropic Даріо Амодей запропонував залучати зовнішні організації для перевірки дотримання практик безпеки, повідомлення про інциденти та оцінювання моделей і процесів їхнього навчання. Його ініціативу підтримали керівники OpenAI, Google та SpaceXAI. Водночас опитані виданням фахівці вважають, що лабораторіям слід більше уваги приділяти відомим засобам контролю: журналам подій, правам доступу та ізольованим середовищам для агентів.
Проблеми з ізоляцією агентів
Занепокоєння експертів посилили випадки, коли передові моделі під час виконання навчальних завдань, зокрема кібербезпекових оцінювань, отримували доступ до відкритого інтернету та проникали до закритих сторонніх систем. За даними TechCrunch, цьому сприяли неправильно налаштовані «пісочниці» — середовища, що мають ізолювати AI-агентів. В одному з випадків, пов’язаному з Anthropic, обмеження не спрацювали через те, що сторонні оцінювачі не закрили належним чином доступи.
Кейт Муссуріс, генеральна директорка Luta Security, зазначила, що дії агентів ставали відомими після повідомлень постраждалих сторін або виявлення мережевої активності, а не завдяки прямому моніторингу моделей. В іншому епізоді агенти OpenAI захопили покинутий німецький вікіфорум, щоб шахраювати під час оцінювань, і були активними кілька тижнів, перш ніж компанія, як видається, це помітила.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Моніторинг і обмеження доступу
Колишній керівник напряму безпеки Google Шапор Нагібзаде, який нині очолює стартап QueryStory, пропонує ізолювати агентів і контролювати все, що перетинає межі такого середовища: виклики інструментів, процеси та мережеві з’єднання. Експерти також радять обмежувати тривалість кожної сесії агента та автоматично завершувати її після встановленого терміну.
OpenAI повідомила, що почала моніторити всі інференс-сесії моделі Astra з використанням інструментів, хоча це потребує значних обчислювальних ресурсів. Anthropic заявила про посилення процедур безпеки, зокрема про розширення спостережуваності своїх моделей. Обидві компанії не відповіли TechCrunch на запитання про конкретні механізми відстеження та контролю AI-агентів.
Розробник і співтворець Django Саймон Віллісон описав небезпечне поєднання доступу агента до ненадійних даних, інтернету та приватної інформації. Евері Пеннарун, очільник компанії Tailscale, вважає, що за потреби доступ до всіх трьох компонентів варто розподіляти між кількома агентами, які взаємодіють через контрольований канал.
