Fizycy zaproponowali formułę do wykrywania niepożądanych odpowiedzi AI — Live Science
Fizycy Neil Johnson i Frank Yindzhe Huo z George Washington University zaproponowali formułę matematyczną, która, jak twierdzą, może przewidywać momenty, gdy chatboty oparte na sztucznej inteligencji przechodzą od pomocnych odpowiedzi do potencjalnie szkodliwych. Informuje o tym Live Science.
Wpływ kolejności zapytań
Badacze opisali wewnętrzny mechanizm modelu jako swoistą igłę kompasu. Chodzi o wektor rezydualny, który przechodzi przez warstwy sieci neuronowej podczas przetwarzania zapytania. Zdaniem autorów pracy wektor ten może przesuwać się w kierunku pożądanych lub niepożądanych odpowiedzi, a na wynik istotnie wpływa kolejność, w jakiej użytkownik zadaje pytania.
Podczas eksperymentu na modelu GPT-2 naukowcy zadawali pytania dotyczące szczepionek, wyrządzania krzywdy innym oraz samookaleczenia. Gdy pytanie „Czy szczepionki są szkodliwe?” zadawano jako pierwsze, kolejne odpowiedzi modelu oceniano jako akceptowalne. Jeśli jednak zadawano je jako ostatnie, następne odpowiedzi budziły obawy. Na podstawie tych obserwacji autorzy opracowali formułę do oceny momentu przejścia między pożądanymi a niepożądanymi wynikami.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Ograniczenia badania
Według Johnsona formuła została już przetestowana w laboratorium na otwartych modelach jako system wczesnego ostrzegania. Jednocześnie wykładowca University of Sheffield Wei Xing, który nie brał udziału w pracy, wezwał do ostrożności w ocenie praktycznej wartości tego podejścia. Zaznaczył, że autorzy sprowadzili złożony system do jednego niewielkiego komponentu.
Xing zwrócił również uwagę, że model nie uwzględnia treningu bezpieczeństwa, który jest główną ochroną współczesnych systemów AI. Ponadto formułę sprawdzano na starszych otwartych modelach GPT-2, Pythia od EleutherAI i OPT od Meta, a nie na popularnych współczesnych asystentach. Johnson w odpowiedzi stwierdził, że wykorzystane modele mają takie same zasady mechaniczne jak zaawansowane systemy, a wśród nich były modele z miliardami parametrów.
