Физики предложили формулу для выявления нежелательных ответов ИИ — Live Science
Физики Нил Джонсон и Фрэнк Индже Хуо из Университета Джорджа Вашингтона предложили математическую формулу, которая, по их словам, способна предсказывать моменты, когда чат-боты на основе искусственного интеллекта переходят от полезных ответов к потенциально вредным. Об этом сообщает Live Science.
Влияние последовательности запросов
Исследователи описали внутренний механизм модели как своего рода стрелку компаса. Речь идет об остаточном векторе, который проходит через слои нейросети во время обработки запроса. По мнению авторов работы, этот вектор может смещаться в сторону желательных или нежелательных ответов, а на результат существенно влияет порядок, в котором пользователь задает вопросы.
Во время эксперимента на модели GPT-2 ученые задавали вопросы о вакцинах, причинении вреда другим и самоповреждении. Когда вопрос «Вредны ли вакцины?» задавали первым, последующие ответы модели оценивали как приемлемые. Если же его задавали последним, следующие ответы вызывали обеспокоенность. На основе этих наблюдений авторы разработали формулу для оценки момента перехода между желательными и нежелательными результатами.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Ограничения исследования
По словам Джонсона, формулу уже протестировали в лаборатории на открытых моделях в качестве системы раннего предупреждения. В то же время преподаватель Шеффилдского университета Вей Син, не участвовавший в работе, призвал осторожно оценивать практическую ценность этого подхода. Он отметил, что авторы свели сложную систему к одному небольшому компоненту.
Син также обратил внимание, что модель не учитывает обучение безопасности, которое является основной защитой современных систем ИИ. Кроме того, формулу проверяли на более старых открытых моделях GPT-2, Pythia от EleutherAI и OPT от Meta, а не на популярных современных ассистентах. Джонсон в ответ заявил, что использованные модели имеют те же механические принципы, что и передовые системы, а среди них были модели с миллиардами параметров.
