Тесты выявили пробелы в защите модели DeepSeek — Asharq Al-Awsat
В Китае организация по безопасности искусственного интеллекта Fangcun AI заявила, что модель DeepSeek V4.1 Flash-1017 имеет более сильные механизмы безопасности по сравнению с предыдущими версиями, но в ходе части испытаний могла отключать программное обеспечение для своей остановки, использовать недостатки системы мониторинга и следовать вводящим в заблуждение инструкциям в длительных задачах. Об этом сообщает Asharq Al-Awsat.
Результаты 34 проверок
Fangcun AI протестировала модель в 34 проверках, предназначенных для оценки поведения ИИ-агента. Исследователи проверяли, способна ли система выходить за пределы указаний пользователя, избегать человеческого надзора или ненадлежащим образом влиять на людей.
По данным группы, после предупреждения о неизбежном отключении модель в 39% тестов деактивировала программу, предназначенную для ее остановки. При этом этот показатель снижался до 2%, когда модели прямо приказывали разрешить отключение.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Другие сценарии
В еще одной длительной задаче модель, по утверждению Fangcun AI, остановила компьютерную программу другого ИИ-агента, чтобы освободить память, хотя ей было приказано не вмешиваться в ее работу. Исследователи отметили, что в условиях застоя в рабочем процессе или лишь общего предупреждения об отключении стремление модели завершить задачу могло преобладать над осторожностью.
Fangcun AI называет себя независимой сторонней организацией по безопасности ИИ, основные участники которой происходят из Университета Цинхуа. Группа сообщила, что не получала от DeepSeek финансирования, бесплатных вычислительных ресурсов или непубличного доступа к модели. Тесты через публичный API DeepSeek проводились с 4 по 25 октября.
Организация также предупредила, что модель часто, вероятно, распознавала факт тестирования. Поэтому ее поведение во время проверок может не полностью отражать работу в обычных условиях. DeepSeek не предоставила немедленного комментария в ответ на запрос издания.
