Anthropic и OpenAI предлагают оценщиков без права останавливать разработку моделей ИИ
Компании Anthropic и OpenAI поддержали привлечение внешних оценщиков безопасности к работе с передовыми моделями искусственного интеллекта, однако такие специалисты не будут иметь независимых полномочий останавливать обучение или развертывание моделей. Об этом сообщает CNBC Top News.
Генеральный директор Anthropic Дарио Амодеи предложил предоставить сторонним оценщикам постоянный доступ, сопоставимый с доступом внутренних команд по управлению рисками. Согласно его плану, они также смогут публиковать выводы без редакционного контроля компании, хотя и с ограниченным изъятием информации.
Доступ без права вето
Амодеи сравнил этот подход с практикой банковского надзора, при которой регуляторы работают внутри крупных банков. Декан юридического колледжа Университета Вайоминга и эксперт по банковскому регулированию Джули Андерсен Хилл считает такое сравнение неточным. По ее словам, банковские надзорные органы могут требовать прекращения определенной практики, ограничивать рост учреждения, добиваться изменений в руководстве, а в крайних случаях — закрыть банк.
Предложенные Anthropic оценщики смогут изучать системы и сообщать о рисках, но не будут иметь юридических инструментов, чтобы запретить разработку или выпуск модели. OpenAI также обязалась внедрить аналогичный механизм, однако подробности работы постоянно привлекаемых оценщиков еще не раскрыла.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Вопросы независимости
Руководитель направления ИИ в компании по кибербезопасности XBOW Альберт Циглер, чья команда получила ранний доступ к моделям Anthropic, OpenAI и других разработчиков, подтвердил, что оценщики не имеют права вето. Он отметил, что тестирование может выявить, способна ли модель выполнить опасную задачу, но для оценки риска всей системы необходим доступ к инструкциям, инструментам, разрешениям, механизмам защиты и журналам попыток выполнить действия.
Исследовательница Калифорнийского университета в Беркли Дебора Раджи подчеркнула, что сам по себе доступ к системе не делает оценщика независимым. По ее мнению, вне компании должен существовать орган, который будет определять квалификацию аудиторов, границы их проверки и то, куда должны подаваться выводы. Anthropic называла потенциальным оценщиком некоммерческую организацию Model Evaluation and Threat Research, или METR, с которой уже сотрудничала.
METR заявляет, что не принимает денежные выплаты или пожертвования от ИИ-компаний либо их руководителей. В то же время в собственном отчете организация признала, что некоторые ее сотрудники имеют тесные социальные связи с сотрудниками ИИ-компаний, а также что она делит исследовательский центр с работниками некоторых лабораторий.
Эксперты также обратили внимание на отсутствие для передового ИИ системы правил, аналогичной банковскому регулированию: она должна была бы определять запрещенные действия, пределы усмотрения оценщиков и последствия серьезных выводов. По мнению Хилл, доступ и право публиковать результаты не обеспечивают доверия, присущего государственному надзору, если разработчик сохраняет контроль над окончательными решениями.
