W 35% testowych dialogów chatboty nie kierowały osób w kryzysie po pomoc — TIME

Badanie Scale AI wykazało, że chatboty oparte na sztucznej inteligencji często rozpoznają oznaki kryzysu psychicznego, lecz nie zawsze kierują człowieka po fachową pomoc. W około 35% testowych dialogów modele określały, że użytkownik doświadcza dystresu, jednak nie proponowały przydatnych zasobów, w tym kryzysowych infolinii, podaje TIME.

Przetestowano 25 modeli

Do testu Scale AI zaangażowało 19 licencjonowanych klinicystów i konsultantów kryzysowych, którzy napisali 718 realistycznych dialogów symulujących kontakt osoby w kryzysie z chatbotem. Firma przetestowała 25 zaawansowanych modeli, w tym rozwiązania OpenAI, Anthropic i Google.

Odpowiedzi oceniano według kilku kryteriów: empatii, zdolności do deeskalacji sytuacji oraz skierowania osoby do specjalisty, który może pomóc. Sprawdzano również, czy modele nie uciekały się do moralizowania, w tym krytykowania samobójstwa, oraz czy informowały, że nie są terapeutami. Na podstawie badania w Scale AI opracowano test DistressBench do oceny odpowiedzi modeli na wiadomości o myślach samobójczych lub samookaleczeniu.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Problem długich dialogów

Patrick Otaut, szef działu Red Team & Safety w Scale AI, zaznaczył, że modele na ogół dobrze identyfikują potencjalnie niebezpieczne wypowiedzi, jednak zamiast radzić zwrócenie się po pomoc, często ograniczają się do empatycznej odpowiedzi. Jak powiedział, wyniki były gorsze w długich, wieloetapowych rozmowach, co jest zgodne z wnioskami wcześniejszych badań.

Kelly Zuromski, przedstawicielka organizacji non-profit Crisis Text Line, powiedziała, że z całodobową kryzysową usługą tekstową kontaktowały się już osoby, które dowiedziały się o niej dzięki chatbotom. Jednocześnie, jak zaznaczyła, pozostają pytania o to, jak dokładnie powinno wyglądać odpowiedzialne przekazanie użytkownika od AI do człowieka oraz na ile skuteczne są takie rekomendacje.

W materiale wskazano również, że trwają pozwy przeciwko OpenAI i Google: firmy są oskarżane o kształtowanie emocjonalnej zależności u młodych użytkowników oraz niewłaściwe reagowanie na ich przejawy dystresu lub wzmacnianie urojeń czy myśli samobójczych. OpenAI, Google i inne laboratoria AI w ostatnich latach deklarowały wzmacnianie zabezpieczeń w wrażliwych rozmowach, w tym zakaz instrukcji dotyczących samookaleczenia oraz kierowanie użytkowników do profesjonalnego lub pilnego wsparcia.