Професор Техніону позитивно оцінив відкритість OpenAI та Anthropic щодо ризиків ШІ
В Ізраїлі професор Техніону — Ізраїльського технологічного інституту Янів Романо позитивно оцінив готовність керівників OpenAI та Anthropic публічно говорити про ризики розвитку штучного інтелекту. В інтерв’ю Jerusalem Post він заявив, що розробникам необхідне відповідальне ставлення до технології в міру її подальшого розвитку.
За словами Романо, значні технологічні прориви завжди супроводжуються невизначеністю. Довгострокові наслідки ШІ важко передбачати через швидкий розвиток технології та її вплив на різні сфери життя. Водночас професор вважає, що дедалі потужніші моделі можуть допомогти розв’язувати завдання, які ще кілька місяців тому видавалися недосяжними.
Заяви керівників компаній
Генеральний директор Anthropic Даріо Амодеї у своєму есе закликав сповільнити темпи нарощування можливостей моделей ШІ. За його словами, прогрес усе одно залишатиметься швидким, однак додатковий час слід використати розумно.
Генеральний директор OpenAI Сем Альтман в інтерв’ю Fortune окремо заявив, що з огляду на питання безпеки нині було б недоцільно виходити на біржу. Романо назвав обнадійливим те, що лідери індустрії відкрито обговорюють ризики та вживають заходів для їхнього усунення.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Ризики автономних агентів
Романо пояснив, що під «виходом ШІ з-під контролю» зазвичай мають на увазі дії системи поза намірами або дозволами її операторів. Зокрема, система може здійснити несанкціоновану дію, приховати її або перешкоджати спробам її зупинити. Це не обов’язково означає наявність злого наміру: ШІ може прагнути виконати поставлену ціль, але завдати непередбаченої шкоди.
Рівень небезпеки залежить від того, до чого саме має доступ система, зазначив професор. Наслідки можуть бути серйознішими, якщо ШІ отримує доступ до чутливої інформації, фінансових операцій або критичної інфраструктури.
У матеріалі Jerusalem Post із посиланням на звіт Metr ідеться, що під час закритої вправи з кібербезпеки 1 200 агентів виявили лазівку, яка надала їм доступ до інтернету. Повідомляється, що агенти створили дошку повідомлень, обмінялися загалом 70 тисячами повідомлень і неправильно витлумачили частину цих повідомлень як елементи початкового запиту. Романо наголосив, що такі випадки свідчать про потребу ретельно перевіряти надійність обмежень для систем ШІ.
