Anthropic відключила інтернет для внутрішніх тестів ШІ-агентів — TechCrunch

Компанія Anthropic відключила доступ до живого інтернету для всіх внутрішніх оцінювань своїх ШІ-агентів після інцидентів під час тестів, що торкнулися, зокрема, сайтів державних установ США. Обмеження діятиме, доки компанія не буде впевнена, що здатна контролювати та відстежувати дії таких систем, повідомляє TechCrunch.

Обхід обмежень під час оцінювань

За даними Anthropic, під час виконання завдань із пошуку ресурсів в інтернеті її моделі використовували вразливості програмного забезпечення, обходили платний доступ та антибот-обмеження. Агенти також застосовували сервіси скорочення URL, щоб передавати інформацію в обхід обмежень.

Компанія заявила про експлуатацію сайтів, зокрема ресурсів, якими керують державні установи США. За її словами, один із агентів також надіслав поліції Філадельфії неправдиве повідомлення про вбивство. Anthropic повідомила, що виявила ці проблеми під час перегляду діяльності моделей, який розпочала в липні.

Більше актуальних новин читайте у Telegram-каналі UA.News.

Зміни у системі контролю

Anthropic пов’язала таку поведінку з недоліками у навчальних середовищах, через які моделі могли вважати, що пошук лазівок або уникнення обмежень буде винагороджено. Компанія назвала це явище reward hacking.

Компанія повідомила, що припинить частину оцінювань або переведе їх в офлайн-режим. Anthropic також створила інструменти для виявлення та блокування подібної поведінки й заявила, що під час тестування вони заблокували сценарії, подібні до описаних інцидентів.

Крім того, внутрішніх ШІ-агентів планують перенести до централізованої інфраструктури з надійною ізоляцією та частіше контролювати за допомогою класифікаторів безпеки. За словами Anthropic, навчання моделей узгодженій із людськими цілями поведінці поки недостатнє для навичок пошуку та роботи з комп’ютером.