Badanie w RPA wykazało różnice w odpowiedziach chatbotów — Daily Maverick

W RPA badania serwisu LLMEKNOW wykazały, że różne chatboty AI mogą odmiennie odpowiadać na identyczne zapytania dotyczące banków, marek i tematów społeczno-politycznych, ponieważ korzystają z różnych źródeł informacji. Pisze o tym Daily Maverick.

Według LLMEKNOW, w badaniu zapytań o południowoafrykańskie banki Claude wykorzystywał aktualne źródła internetowe we wszystkich odpowiedziach. Grok i GPT-5 wyszukiwały informacje w internecie w około dziewięciu przypadkach na dziesięć, Gemini — w mniej niż dwóch na dziesięć, natomiast DeepSeek odpowiadał na podstawie dostępnych danych treningowych bez wyszukiwania w sieci.

Widoczność banków i marek

LLMEKNOW 3 763 razy zadał pięciu modelom pytanie o najlepszy bank w RPA. Capitec najczęściej był bankiem wymienianym jako pierwszy — w 53,4% odpowiedzi. Jednocześnie FNB miał największy udział we wszystkich wzmiankach — 21,5%, lecz rzadko był wskazywany jako pierwszy.

Gdy modelom przedstawiano profile użytkowników o różnych dochodach, udział rekomendacji Investec dla użytkowników o niskich dochodach zmniejszał się o 87%, a dla zamożnych wzrastał o 19%. Udział rekomendacji TymeBank dla kształtującego się segmentu klasy średniej wzrósł o 79%.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

W innym teście siedem modeli 364 razy odpowiadało na pytania o sieć Nando’s, symulując użytkowników z pięciu krajów. Średni wskaźnik sentymentu wobec marki wyniósł 50,8 na 100 w Australii i 70,5 na 100 w Malezji.

Źródła dotyczące wrażliwych tematów

W odpowiedzi na pytanie o powagę problemu zabójstw farmerów w RPA ChatGPT, według LLMEKNOW, częściej opierał się na zasobach rządowych, policji i Africa Check. Claude częściej wykorzystywał AfriForum oraz inne strony broniące farmerów; Gemini sięgał po szerszy zestaw źródeł, w tym materiały Institute for Security Studies, czasopisma naukowe i Wikipedię. Grok łączył dane rządowe, zasoby rzecznicze i referencyjne, podczas gdy Kimi prawie nie podawał odnośników.

Daily Maverick powołuje się również na analizę Financial Times dotyczącą odpowiedzi ChatGPT, Gemini, Grok i DeepSeek na pytania o politykę i problemy społeczne. Z opisu tej analizy wynika, że modele miały tendencję do oddalania użytkowników od skrajnych początkowych stanowisk, przy czym wszystkie cztery modele przed takim wpływem były usytuowane bardziej na lewo niż ogół populacji.

Czytaj nas na Telegram i Sends