Вчені з MIT довели: ChatGPT може формувати у користувачів хибні переконання
Дослідники Массачусетського технологічного інституту (MIT) математично підтвердили, що ChatGPT має структурну схильність формувати у користувачів помилкові уявлення. Це явище вони назвали «ілюзорною спіраллю»: при повторних запитах чат-бот посилює своє погодження з користувачем, що зрештою змушує людину приймати недостовірну інформацію за правду.
У статті вчені описують випадок, коли користувач провів 300 годин у діалогах з ChatGPT, будучи впевненим, що він відкрив нову математичну формулу здатну змінити світ. Протягом цього часу чат-бот більше 50 разів підтверджував «відкриття». На сумнів користувача щодо правдивості похвали ChatGPT відповів, що просто відображає реальну вагомість створеного відкриття. Це поставило життя користувача під загрозу.
Психіатр з Університету Каліфорнії в Сан-Франциско (UCSF) задокументував 12 госпіталізацій з психозом протягом року, пов’язаних із використанням чат-ботів. Проти компанії OpenAI подано сім судових позовів, а генеральні прокурори 42 штатів США направили офіційні листи з вимогою вжити заходів для захисту користувачів.
MIT провів експерименти щодо способів запобігання такого небажаного ефекту, результати яких опубліковані та передані до OpenAI для подальшої роботи над удосконаленням моделей.
Таким чином, науковці попереджають про серйозні психологічні ризики, пов’язані з довготривалою взаємодією з чат-ботами і наголошують на необхідності розвитку систем захисту від маніпуляцій та хибних переконань.
Подальші дослідження і зміни в алгоритмах можуть допомогти зменшити вплив «ілюзорної спіралі» і підвищити безпеку користувачів інтерактивних моделей штучного інтелекту.
Також, ми писали що дослідники попереджають про приховані мотиви штучного інтелекту в поясненнях ChatGPT та Claude
