OpenAI заявила о попытке получить защищённые рассуждения ИИ-моделей — CNBC
OpenAI заявила, что выявила и остановила скоординированную кампанию попыток получить защищённые рассуждения её моделей искусственного интеллекта. Компания связала ключевой кластер этой активности с лицами, ассоциированными с китайским стартапом Moonshot AI, разработчиком Kimi, сообщает CNBC Top News.
Тысячи запросов за два дня
По данным OpenAI, активность началась в начале июля, а затем резко усилилась: за два дня более 4 тысяч пользователей отправили 16 тысяч запросов. В конечном итоге компания выявила связанную активность в кластере из более чем 15 тысяч пользователей и заявила, что полностью остановила кампанию к 28 июля.
В OpenAI подчеркнули, что операторы не взламывали шифрование компании, её базы данных или сохранённые разговоры пользователей. Вместо этого они манипулировали взаимодействием с моделями, пытаясь воспроизвести скрытые рассуждения в форме, доступной тому, кто отправляет запрос.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Что такое состязательная дистилляция
Компания назвала такой подход «состязательной дистилляцией». Речь идёт об использовании ответов или рассуждений одной ИИ-модели для обучения или улучшения другой. В OpenAI считают, что получение таких рассуждений могло бы позволить другим воспроизводить передовые возможности моделей без сопоставимых инвестиций в их разработку и защиту, создавая потенциальные риски для безопасности и национальной безопасности.
OpenAI отметила, что не смогла установить, были ли все операторы связаны с одним субъектом. Компания сообщила, что передала выводы другим разработчикам ИИ через Frontier Model Forum и правительственные каналы обмена информацией. Moonshot AI не предоставила CNBC комментарий на момент публикации.
Несколькими неделями ранее Anthropic обвинила китайских разработчиков ИИ, в частности Moonshot AI и Alibaba, в скрытом использовании модели Claude для обучения собственных систем.
