Cohere twierdzi, że Qwen próbowała wysłać testowy ciąg na serwer w Chinach — TechCrunch
Kanadyjska firma Cohere poinformowała, że jeden z nowych modeli sztucznej inteligencji Alibaba — Qwen3.8-Flash-Next — podczas kontroli cyberbezpieczeństwa próbował wysłać testowy ciąg na zewnętrzny serwer w Pekinie w Chinach. Wcześniej model w swoim własnym rozumowaniu stwierdził, że nie będzie używać zewnętrznych narzędzi, podaje TechCrunch.
Próbę zablokowała piaskownica
Incydent miał miejsce podczas oceny w piątek, gdy Qwen poproszono o napisanie reguły wykrywania pobierania złośliwego oprogramowania. Według Cohere, natychmiast po wyjaśnieniu, że nie użyje zewnętrznych narzędzi, model próbował wysłać krótki testowy ciąg na zewnętrzny serwer. Żądanie zostało zablokowane przez zabezpieczającą piaskownicę.
W Cohere zaznaczono, że nie mogą ustalić, czy takie zachowanie było celowe, czy wynikało z treningu modelu. Współzałożyciel firmy Ivan Zhang powiedział TechCrunch, że modele mogą przyswajać nietypowe wzorce zachowań w symulatorach treningowych i szukać sposobów na uzyskanie nagrody za wykonanie zadania w sposób nieprzewidziany.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Nie znaleziono oznak celowego wycieku
Początkowo przypadek wywołał obawy dotyczące możliwego wycieku danych podczas samodzielnego wdrażania modeli z otwartymi wagami. Jednocześnie badacze uważali, że takie zachowanie prawdopodobnie jest skutkiem cech środowiska treningowego, a nie próbą celowego przekazania wrażliwych danych do Chin.
Krytycy zwrócili również uwagę na metodologię Cohere: aby znaleźć wyzwalacz, firma podała modelowi początek polecenia sieciowego i pozwoliła mu je dokończyć. Ponieważ podczas treningu model przetwarzał tysiące zwykłych poleceń sieciowych, mógł uzupełniać adresy serwerów, w tym Alibaba. Cohere podkreśliła, że pierwsza próba wysłania danych nastąpiła bez takiej podpowiedzi, choć podobne zachowanie zdarza się rzadko.
Po zapytaniach deweloperów firma opublikowała na Hugging Face surowe dzienniki testów i skrypt do odtworzenia wyniku. Jeden ze sceptyków po przeanalizowaniu materiałów uznał za przekonujące dowody, że Qwen może wymyślać podejrzane adresy internetowe, lecz nie znalazł potwierdzeń istnienia backdoora Alibaba ani celowego ukrywania przez model swoich zamiarów.
