Anthropic разрабатывает FlashProve для проверки ответов ИИ — TechCrunch

Компания Anthropic разрабатывает открытую систему FlashProve для криптографической проверки того, какая именно модель искусственного интеллекта создала определенный ответ. Как сообщает TechCrunch, разработка должна предоставить пользователям математическое подтверждение происхождения результата от конкретной модели.

Криптографическое подтверждение

В Anthropic называют этот подход «доказанным инференсом». FlashProve должна работать подобно криптографической подписи электронного письма: система позволит проверить, что ответ действительно поступил от заявленной модели, а не от другой модели, выдающей себя за нее.

По замыслу исследователей, система может помочь предотвратить скрытую замену модели самой лабораторией-разработчиком. В частности, компания могла бы тайно использовать более дешевую модель для сокращения расходов или более дорогую — чтобы завысить показатели ее работы.

Больше актуальных новостей — в Telegram-канале UA.News Telegram.

Отпечатки моделей без раскрытия весов

Для работы FlashProve лаборатории должны публиковать цифровой отпечаток каждой выпущенной модели. Его можно будет сопоставлять с конкретными ответами и проверять криптографически. При этом такие отпечатки не будут раскрывать веса модели — внутренние числовые параметры, определяющие ее поведение и обычно остающиеся закрытыми в коммерческих разработках.

Систему также предлагают применять для проверки заявлений третьих сторон. Например, разработчик мог бы подтвердить, что его программную библиотеку проверила на уязвимости передовая модель кибербезопасности, а компания — что ее бизнес-план одобрила соответствующая модель ИИ.

Исследователи опубликовали техническую спецификацию и рабочий код отдельных компонентов FlashProve на GitHub под открытой лицензией. Работа над системой продолжается, а планов внедрять ее в Anthropic или других лабораториях пока нет.