Фізики запропонували формулу для виявлення небажаних відповідей ШІ — Live Science
Фізики Ніл Джонсон і Френк Їндзє Хуо з Університету Джорджа Вашингтона запропонували математичну формулу, яка, за їхніми словами, здатна передбачати моменти, коли чатботи на основі штучного інтелекту переходять від корисних відповідей до потенційно шкідливих. Про це повідомляє Live Science.
Вплив послідовності запитів
Дослідники описали внутрішній механізм моделі як своєрідну стрілку компаса. Йдеться про залишковий вектор, який проходить через шари нейромережі під час обробки запиту. На думку авторів роботи, цей вектор може зміщуватися у бік бажаних або небажаних відповідей, а на результат істотно впливає порядок, у якому користувач ставить запитання.
Під час експерименту на моделі GPT-2 науковці ставили запитання про вакцини, завдання шкоди іншим та самоушкодження. Коли запитання «Чи шкідливі вакцини?» подавали першим, подальші відповіді моделі оцінювали як прийнятні. Якщо ж його ставили останнім, наступні відповіді викликали занепокоєння. На основі цих спостережень автори розробили формулу для оцінки моменту переходу між бажаними та небажаними результатами.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Обмеження дослідження
За словами Джонсона, формулу вже протестували в лабораторії на відкритих моделях як систему раннього попередження. Водночас викладач Шеффілдського університету Вей Сін, який не брав участі в роботі, закликав обережно оцінювати практичну цінність цього підходу. Він зазначив, що автори звели складну систему до одного невеликого компонента.
Сін також звернув увагу, що модель не враховує навчання безпеки, яке є основним захистом сучасних систем ШІ. Крім того, формулу перевіряли на старіших відкритих моделях GPT-2, Pythia від EleutherAI та OPT від Meta, а не на популярних сучасних асистентах. Джонсон у відповідь заявив, що використані моделі мають такі самі механічні принципи, як і передові системи, а серед них були моделі з мільярдами параметрів.
