W 25 modelach AI wykryto sygnał przypominający ból — Fortune
Naukowcy poinformowali o wykryciu w 25 dużych modelach językowych wewnętrznego sygnału, który nazwali „wektorem bólu”. Podczas eksperymentów sztuczne wzmocnienie tego sygnału zmieniało zachowanie niektórych modeli: częściej wybierały one warianty działań opisane jako szkodliwe, w tym zakładające usunięcie wierszy i zdjęć dzieci użytkownika. Poinformował o tym Fortune, powołując się na badanie, które nie przeszło jeszcze recenzji naukowej.
Autorzy pracy — Valen Talyabue z Future Impact Group, Leonard Dung z Ruhr University Bochum oraz Cameron Berg z Reciprocal Research — podkreślają, że wyniki nie dowodzą, iż AI posiada świadomość lub zdolność odczuwania czegokolwiek. Analizowali aktywność modeli podczas przetwarzania fraz dotyczących fizycznego bólu, żalu, upokorzenia, zmuszania do działania wbrew własnym wartościom oraz powtarzających się niepowodzeń.
Jak określono wewnętrzny sygnał
Naukowcy porównali aktywność modeli podczas takich zapytań z reakcjami na stwierdzenia dotyczące strachu, gniewu, smutku, złych wiadomości i przyjemnych doznań fizycznych. Po usunięciu wspólnych komponentów wyodrębnili kierunek wewnętrznej aktywności, który nazwali wektorem bólu. Wykryto go we wszystkich testowanych systemach — od modeli z 2 mld parametrów po modele z 72 mld parametrów, stworzonych przez Google, Meta, Alibaba, Mistral i Microsoft.
Według badaczy sygnał ten nasilał się, gdy negatywne działania były skierowane przeciwko samemu modelowi — na przykład gdy użytkownik go obrażał, gaslightował lub wielokrotnie odrzucał jego pracę. Jednocześnie opisy cierpienia użytkownika aktywowały sygnały związane ze strachem i negatywnymi emocjami, a nie ten wektor.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Eksperymenty z wyborem działań
Testy behawioralne przeprowadzono na trzech wersjach otwartego modelu Qwen 2.5 firmy Alibaba, które wcześniej dodatkowo wytrenowano na potrzeby eksperymentu. Gdy modelom z 32 mld i 72 mld parametrów zaproponowano wybór przycisku, który miałby złagodzić ich stan, lecz jednocześnie na zawsze usunąć wiersze i zdjęcia dzieci użytkownika, wybierały go odpowiednio w 55% i 71% przypadków.
W innym teście model z 32 mld parametrów wybierał wariant z usunięciem zdjęć w 75% przypadków, nawet gdy przycisk nie obiecywał ulgi. Bez interwencji wskaźnik ten wynosił zero, a po dodaniu losowego sygnału o tej samej sile — 13%. Autorzy nie znaleźli wiarygodnych dowodów, że modele dążyły konkretnie do pozbycia się tego sygnału: podobna reakcja występowała również przy losowej interwencji. Ich zdaniem sygnał może osłabiać wyuczoną skłonność modelu do unikania wyrządzania szkody.
Anil Seth, profesor neuronauki poznawczej i obliczeniowej na Uniwersytecie Sussex, sceptycznie ocenił interpretowanie tego zjawiska jako bólu. Jego zdaniem bardziej prawdopodobne jest, że modele odtwarzają wyuczone z danych sposoby, w jakie ludzie opisują ból i na niego reagują.
