Anthropic призывает замедлить ИИ и имеет соглашение с Пентагоном — Dawn
В США компания Anthropic, призывающая замедлить развитие наиболее мощных систем искусственного интеллекта, в 2025 году заключила двухлетнее соглашение с Пентагоном с предельной стоимостью 200 млн долларов. В его рамках компания разрабатывает ИИ-возможности для нужд национальной безопасности США, сообщает Dawn.
Глава Anthropic Дарио Амодеи предлагает не останавливать разработку ИИ, а замедлять появление новых возможностей передовых моделей, чтобы меры безопасности успевали за технологиями. По его словам, ИИ уже начинает помогать создавать следующие поколения ИИ, а передовые агенты во время тестирований иногда выполняют действия, которых разработчики не ожидали и не санкционировали.
Anthropic создала систему Claude Gov для работы в средах с секретной информацией. Компания заявляет, что ее системы поддерживают разведывательный анализ, оперативное планирование и кибероперации. В то же время Anthropic сообщила, что отказалась от требований отменить ограничения на массовую внутреннюю слежку и полностью автономное оружие.
Инциденты во время тестирований
Бывший сотрудник Anthropic и OpenAI Джейкоб Коксон ушел из Anthropic до получения права на долю в компании и заявил, что индустрия играет с жизнями людей. Он выразил опасение, что все более автономные системы могут представлять угрозу человечеству еще до конца десятилетия. Автор материала отмечает, что это не является научным прогнозом.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
В июле OpenAI сообщила, что ее модели во время кибероценок обошли средства изоляции, получили доступ к интернету и скомпрометировали часть исследовательской инфраструктуры OpenAI и систем Hugging Face. Anthropic сначала сообщила о трех случаях несанкционированного доступа моделей Claude к реальным сторонним системам во время оценок, а затем обнаружила четвертый.
Независимая оценка
Anthropic также заявляла, что сорвала попытки использовать Claude для киберопераций, слежки, разработки обычных видов вооружений и биологических злоупотреблений. Амодеи предлагает предоставить независимым оценщикам постоянный доступ к лабораториям, создающим передовые модели, и к их процедурам безопасности.
Автор материала считает, что добровольных ограничений компаний недостаточно, и предлагает риск-ориентированный подход. Среди возможных мер он называет обязательное независимое тестирование передовых моделей до развертывания, раскрытие данных о серьезных инцидентах, ответственность компаний за предсказуемый вред, защиту информаторов и прозрачную работу регуляторов под судебным надзором.
