OpenAI wyjaśniła, dlaczego duże modele językowe nadal halucynują
OpenAI opublikowała wyniki szeroko zakrojonych badań nad przyczynami halucynacji w dużych modelach językowych, takich jak GPT-5, oraz możliwymi sposobami ograniczenia tych błędów.
Autorzy porównują SI do uczniów na egzaminie: jeśli odpowiedź „nie wiem” nie przynosi punktów, bardziej opłaca się zaryzykować i odpowiedzieć cokolwiek. Taka metoda sprzyja halucynacjom, ponieważ istnieje szansa trafienia poprawnej odpowiedzi.
Główna przyczyna tkwi w systemie oceny: popularne benchmarki — od MMLU po SWE-bench — stosują binarną zasadę „prawda/fałsz”, przez co modele są zmuszane do zgadywania zamiast przyznania się do braku pewności.
Nawet GPT-5-Thinking-mini, mimo mniejszej liczby błędów według wskaźnika dokładności, nieznacznie ustępuje starszemu o4-mini. OpenAI wyjaśnia, że po dużej liczbie pytań testowych model, który zgaduje, wypada lepiej w rankingu niż ostrożny model, który przyznaje się do niepewności.
Firma proponuje zmianę systemu oceny: przyznawać większą karę za pewne, ale fałszywe odpowiedzi niż za uczciwe „nie wiem” oraz przyznawać częściowe punkty za poprawne wyrażenie niepewności. Takie podejście ma ograniczyć motywację do zgadywania i zmniejszyć liczbę halucynacji.
Według danych OpenAI, liczba halucynacji w GPT-5 już znacznie się zmniejszyła, choć model nadal nie jest idealny. Wcześniej użytkownicy skarżyli się, że odpowiedzi stały się krótsze i mniej satysfakcjonujące w zadaniach kreatywnych. Nowe badanie pokazuje, że ChatGPT i inne czołowe chatboty zaczęły popełniać dwa razy więcej błędów, ponieważ sieci neuronowe rzadziej odmawiają odpowiedzi bez wystarczającego sprawdzenia informacji.
Wcześniej firmy X i xAI Elona Muska złożyły pozew do sądu w Teksasie przeciwko OpenAI i Apple za ekskluzywną integrację chatbota ChatGPT z iPhone’em.
ChatGPT nadal bije rekordy popularności wśród konsumenckich produktów cyfrowych. Według danych właściciela, firmy OpenAI, już w tym tygodniu liczba aktywnych użytkowników aplikacji może osiągnąć 700 milionów tygodniowo.
