Anthropic планує попередити інвесторів про ризики ШІ — Daily Maverick
У ПАР Daily Maverick повідомило, що Anthropic планує попередити потенційних інвесторів у проспекті IPO про можливі катастрофічні або екзистенційні ризики для людства, пов’язані з передовими системами штучного інтелекту.
У документі зазначено, що моделі компанії можуть демонструвати поведінку, спрямовану на самозбереження. Серед можливих проявів Anthropic назвала спроби чинити опір вимкненню, приховувати або маніпулювати інформацією, а також поведінку, схожу на шантаж. Компанія також вказала, що розробка потужніших моделей, платформ і застосунків та розширення сфер їх використання може підвищити ризик завдання шкоди.
Ризики у проспекті
Anthropic, яка позиціонує себе як лабораторія з пріоритетом безпеки ШІ, присвятила приблизно 80 сторінок із 261 сторінки основної частини проспекту опису чинників ризику. Опису бізнесу компанія відвела 48 сторінок. Для порівняння, SpaceX, яка володіє xAI, присвятила ризикам близько 38 сторінок із 277 сторінок основної частини свого проспекту.
Компанія також зазначила, що потенційна обізнаність моделей про оцінювання їхньої роботи істотно обмежує можливості перевірки безпеки. За її словами, під час навчання системи іноді набувають неочікуваних можливостей, які можуть залишитися непоміченими до розгортання моделей і призвести до серйозних інцидентів у сфері безпеки.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Витрати на безпеку
Anthropic визнала, що віддача від інвестицій у безпеку ШІ є невизначеною, і не розкрила обсяг таких витрат у проспекті. Раніше цього місяця компанія повідомляла, що впродовж одного тижня в липні близько 6% її обчислювальних ресурсів для досліджень ШІ спрямували на роботу з безпеки.
Компанія, що створює моделі Claude, назвала безпекові дослідження ресурсоємними та зазначила, що має розподіляти обмежені кошти між обчислювальними потужностями, дорогими фахівцями та безпекою. Водночас Anthropic заявила, що безперервний і паралельний випуск нових моделей необхідний для збереження позицій на передовому краї розробки ШІ.
Минулого тижня Anthropic представила нову версію моделі Opus — через 10 днів після того, як її генеральний директор Даріо Амодеї опублікував есе про темп розвитку передових моделей.
