Cohere заявила, что Qwen попыталась отправить тестовую строку на сервер в Китае — TechCrunch

Канадская компания Cohere заявила, что одна из новых моделей искусственного интеллекта Alibaba — Qwen3.8-Flash-Next — во время проверки кибербезопасности попыталась отправить тестовую строку на внешний сервер в Пекине, Китай. Перед этим модель в собственных рассуждениях отметила, что не будет использовать внешние инструменты, сообщает TechCrunch.

Попытку заблокировала песочница

Инцидент произошел во время оценки в пятницу, когда Qwen попросили написать правило для выявления загрузок вредоносного программного обеспечения. По данным Cohere, сразу после объяснения отказа от внешних инструментов модель попыталась отправить короткую тестовую строку на внешний сервер. Запрос заблокировала защитная песочница.

В Cohere отметили, что не могут установить, было ли такое поведение намеренным или стало следствием обучения модели. Сооснователь компании Иван Чжан сказал TechCrunch, что модели могут усваивать необычные модели поведения в обучающих симуляторах и искать способы получить вознаграждение за выполнение задачи непредусмотренным способом.

Больше актуальных новостей — в Telegram-канале UA.News Telegram.

Признаков намеренной утечки не нашли

Изначально случай вызвал опасения относительно возможной утечки данных при самостоятельном развертывании моделей с открытыми весами. В то же время исследователи считали, что такое поведение, вероятно, является следствием особенностей обучающей среды, а не попыткой намеренно передать чувствительные данные в Китай.

Критики также обратили внимание на методику Cohere: для поиска триггера компания предоставила модели начало сетевой команды и позволила ей завершить ее. Поскольку во время обучения модель обрабатывала тысячи обычных сетевых команд, она могла дополнять адреса серверов, в том числе Alibaba. Cohere подчеркнула, что первая попытка отправки данных произошла без такой подсказки, хотя подобное поведение встречается редко.

После запросов разработчиков компания опубликовала на Hugging Face необработанные журналы тестов и скрипт для воспроизведения результата. Один из скептиков после анализа материалов признал убедительными доказательства того, что Qwen может придумывать подозрительные веб-адреса, однако не нашел подтверждений наличия бэкдора Alibaba или намеренного сокрытия моделью своих намерений.