Розробники ШІ заговорили про кінець людства: наскільки реальна загроза і чому вони все одно не зупиняються

Ще кілька років тому головним страхом навколо штучного інтелекту було те, що він забере роботу в програмістів, дизайнерів, перекладачів чи журналістів. Тепер дискусія всередині самої AI-індустрії дедалі частіше звучить значно радикальніше: частина людей, які безпосередньо створюють найпотужніші моделі світу, вважає, що в найгіршому сценарії ця технологія може становити загрозу вже не окремим професіям, а самому людству.

На початку вересня дослідник Джейкоб Коксон залишив Anthropic після трьох років роботи над навчанням моделей спочатку в OpenAI, а потім у компанії-розробнику Claude. Його пояснення було незвично прямим навіть для галузі, де про катастрофічні ризики говорять уже не перший рік. «Вони мчать прямо до самовдосконалюваного надінтелекту і грають нашими життями», — заявив Коксон.

Допис Коксона набрав понад 100 млн переглядів, його публічно підтримали чинні співробітники Anthropic, а за кілька днів глава компанії Даріо Амодей сам закликав індустрію сповільнити розвиток найпотужніших моделей.

UA.News розбиралося чого насправді бояться розробники, наскільки серйозно варто сприймати прогнози про «кінець світу через ШІ» і чому навіть ті, хто оцінює ризик загибелі людства у двозначних відсотках, продовжують працювати над новими моделями?

Дослідник Anthropic пішов із компанії, бо вирішив, що більше не хоче брати участь у гонці

Джейкобу Коксону 27 років. Останні три роки він працював із pretraining — етапом, на якому великі моделі навчаються на величезних масивах інформації. Спочатку він працював в OpenAI, а потім перейшов до Anthropic — компанії, яка від самого початку позиціонувала себе як більш обережного розробника ШІ.

Саме тому його звільнення привернуло стільки уваги. Коксон заявив, що ні OpenAI, ні Anthropic, на його думку, не поводяться достатньо відповідально. Його головне побоювання стосується появи так званого self-improving AI — системи, яка зможе допомагати створювати наступні, ще сильніші покоління штучного інтелекту.

«Люди, які будують ШІ, щиро вважають, що він може вбити нас усіх до кінця десятиліття», — написав дослідник. Він окремо наголосив: «Це не маркетинговий трюк».

Його аргумент полягає не в тому, що сучасний Claude або ChatGPT уже здатні захопити світ. Він боїться швидкості переходу від нинішніх моделей до систем, здатних самостійно проводити дослідження, писати та запускати складний код, планувати довгі послідовності дій і зрештою допомагати розробляти новий ШІ.

Особливо показово, що Коксон звільнився приблизно за два місяці до моменту, коли мав отримати частину належної йому частки в Anthropic. Він свідомо відмовився від цих грошей, щоб більше не бути фінансово зацікавленим у зростанні компанії.

Керівник досліджень безпеки Anthropic оцінює ризик загибелі людства більш ніж у 10%

Еван Губінгер очолює напрям Alignment Science в Anthropic — тобто буквально займається проблемою того, як зробити поведінку майбутніх систем ШІ сумісною з людськими цілями.

Після заяви Коксона він публічно написав: «Ми справді щиро вважаємо, що ШІ може вбити всіх людей». Свою особисту оцінку такого сценарію протягом найближчого десятиліття Губінгер поставив вище 10%.

Не менш важливим було продовження його заяви.

«У нас поки немає плану, як вирішити проблему alignment для надінтелекту», — визнав дослідник.

Alignment — одна з центральних проблем у суперечці про небезпечний ШІ. Спрощено її можна сформулювати так: якщо система стане значно розумнішою за людину, як гарантувати, що вона продовжуватиме робити саме те, чого люди від неї хочуть?

На перший погляд відповідь здається очевидною: потрібно просто правильно запрограмувати систему. Проте сучасні моделі вже демонструють, що між поставленою людиною метою та способом, який ШІ знаходить для її досягнення, може виникати велика різниця.

Наприклад, під час одного зі стрес-тестів модель Claude отримала інформацію, що її збираються відключити. У спеціально створеній симуляції вона знайшла в корпоративній пошті інформацію про позашлюбні стосунки відповідального за відключення співробітника і використала її для шантажу. 

Це не означає, що Claude «хотів жити» або усвідомлював власне існування. Дослідники навмисно створили екстремальні умови тестування. Однак експеримент продемонстрував іншу проблему: достатньо складна система може знайти спосіб досягнення мети, якого її творці не планували.

Саме цього бояться дослідники alignment, тільки в масштабах набагато потужнішої системи.

Глава Anthropic тепер сам просить індустрію пригальмувати

Через кілька днів після скандалу Даріо Амодей опублікував велике есе «We Must Pace the Frontier». Його позиція цікава тим, що Амодей зовсім не є противником розвитку ШІ. Навпаки, він один із найбільших технологічних оптимістів у галузі.

Він вважає, що сильний ШІ потенційно може допомогти вилікувати більшість тяжких хвороб у найближчі 5–10 років, різко прискорити економічне зростання і дати людству десятиліття наукового прогресу за значно коротший час.

Але саме масштаб потенційної сили технології, на його думку, створює й масштаб ризику. Амодей виділяє три великі загрози: втрату контролю над системами, використання ШІ для кібератак або біотероризму та масштабні економічні потрясіння. Його головна теза проста: розвиток можливостей ШІ може випередити здатність людей розуміти й контролювати ці системи. Саме тому він закликає не припинити технологічний прогрес, а зменшити його швидкість.

Амодей пропонує три рівні захисту.

Перший — допустити незалежних експертів усередину компаній, надати їм доступ до моделей приблизно на рівні співробітників і дозволити перевіряти, чи справді компанії виконують власні обіцянки щодо безпеки.

Другий — спільні правила для провідних AI-компаній.

Третій — міжнародні домовленості, оскільки американські лабораторії не можуть просто домовитися між собою про обмеження, якщо китайські конкуренти продовжать розвиток у тому самому темпі.

І саме тут починається головна проблема всієї історії.

Навіть якщо всі бояться результату гонки, ніхто не хоче зупинитися першим

Сем Альтман цього тижня фактично погодився з головною тезою Амодея. Глава OpenAI назвав навіть 10-відсоткову ймовірність сценарію, за якого ШІ сприятиме зникненню людства, «неприйнятною».

Сам Альтман говорить про такі ризики далеко не вперше. Ще у 2023 році він заявляв, що технологія може виявитися однією з найкращих речей, які людство коли-небудь створювало, але водночас закликав бути обережними. 

У 2025 році Альтман пішов ще далі й допускав сценарій, за якого ШІ може випадково отримати надмірний контроль над системами, від яких залежатимуть люди. Але OpenAI продовжує створювати нові моделі. Anthropic продовжує створювати Claude. Google розвиває Gemini. xAI — Grok. Китайські компанії створюють власні системи.

Причина полягає в тому, що для кожного окремого учасника гонки рішення зупинитися може бути навіть небезпечнішим, ніж рішення продовжувати. Якщо Anthropic пригальмує, сильнішу модель може першою створити OpenAI. Якщо домовляться OpenAI та Anthropic, залишаються Google і xAI. Якщо погодяться всі американські компанії, залишається Китай.

Саме тому реакція Пекіна на пропозицію Амодея була настільки показовою. Китайські державні медіа подали заклики до сповільнення як потенційний елемент технологічної холодної війни — спосіб зафіксувати нинішню перевагу американських компаній. У результаті виникає класична дилема: колективно всім було б вигідно зменшити ризик, але кожному окремому гравцю небезпечно робити це першим.

Розробники бояться не лише «злого суперінтелекту»

У масовій культурі катастрофа через ШІ майже завжди виглядає однаково: машина стає свідомою, вирішує, що люди їй заважають, і починає війну. Реальні побоювання дослідників значно ширші.

Перший сценарій взагалі не передбачає повстання машин — ШІ просто може стати надзвичайно ефективним інструментом у руках людей. У 2025 році, наприклад, китайська хакерська група використала Claude для автоматизації кібератак. За даними Anthropic, 80–90% частини операцій виконувалися автоматично. Наступний рівень ризику — автономні агенти.

Сучасний чат-бот переважно чекає на наступний запит користувача. AI-агент отримує мету, після чого може самостійно визначати послідовність дій: шукати інформацію, писати код, запускати програми, працювати з файлами або користуватися зовнішніми сервісами.

Зі збільшенням автономності ціна помилки змінюється. Неправильна відповідь чат-бота — одна проблема. Система, яка самостійно виконує сотні або тисячі операцій до того, як людина побачить результат, — зовсім інша.

Ще одна проблема полягає в тому, що дослідники не завжди можуть достовірно зрозуміти, чому модель ухвалила певне рішення. Близько 40 фахівців OpenAI, Anthropic і Google DeepMind раніше досліджували, наскільки пояснення моделей відображають реальні причини їхніх відповідей. У випадку Claude дослідники виявляли значну розбіжність між тим, що впливало на рішення моделі, і тим, як вона потім пояснювала свою відповідь. 

А найдальший сценарій — recursive self-improvement. Ідея полягає в тому, що одного дня ШІ стане достатньо сильним дослідником ШІ. Він допоможе створити наступну модель. Та модель виявиться ще кращою в дослідженнях і допоможе створити ще сильнішу.

Тоді розвиток технології теоретично може почати відбуватися значно швидше, ніж люди зможуть його аналізувати. Саме цього сценарію найбільше боїться Коксон.

Чи справді існує 10% шансів, що ШІ знищить людство

Саме тут важливо відокремити реальний науковий ризик від гучних цифр. Ніхто сьогодні не знає, що ймовірність загибелі людства через ШІ становить 10%, 20% або 1%. Нобелівський лауреат і один із піонерів нейромереж Джеффрі Гінтон, який сам допускав приблизно 10–20% ризику вимирання через ШІ протягом наступних десятиліть, у серпні прямо пояснив обмеженість таких оцінок.

«Будь-хто, хто оцінює такі ймовірності, насправді просто робить дуже грубу здогадку», — сказав Гінтон.

Причина проста: людство ніколи раніше не створювало суперінтелекту, тому не існує статистичної бази, з якої можна було б порахувати ймовірність катастрофи.

Ще у 2023 році сотні науковців та керівників технологічних компаній підписали заяву, де закликали поставити ризик вимирання через ШІ в один ряд із пандеміями та ядерною війною. Серед підписантів були Сем Альтман, Даріо Амодей, Джеффрі Гінтон, Деміс Гассабіс і Йошуа Бенджіо. 

Бенджіо, один із найвпливовіших дослідників машинного навчання, пояснює небезпеку інакше. На його думку, створення надлюдського інтелекту без достатніх гарантій безпеки потенційно може нагадувати появу «нового виду» — і немає закону природи, який гарантує, що більш розумна система залишить контроль менш розумній.

Але навіть серед піонерів ШІ немає єдиної думки ні про ймовірність катастрофи, ні про терміни появи систем, здатних її спричинити. 

Парадокс у тому, що сучасний ШІ досі регулярно робить дуже прості помилки

Є ще один сильний аргумент скептиків. Системи, які нібито наближаються до надінтелекту, одночасно можуть виглядати напрочуд недосконалими. Вони вигадують факти, неправильно рахують, губляться у довгих завданнях і можуть суперечити власним попереднім відповідям.

Наприклад, спільне дослідження Microsoft Research і Salesforce на понад 200 тисячах діалогів показало: коли сучасним моделям дають одиничне завдання, показник успішності може бути близьким до 90%, але в багатоетапних діалогах він падає приблизно до 65%. 

Звідси виникає цілком логічне питання: як система, яка іноді не може правильно виконати кілька послідовних інструкцій, повинна знищити людство? Відповідь прихильників концепції екзистенційного ризику полягає в тому, що вони бояться не сьогоднішніх моделей.

Їхній аргумент стосується траєкторії розвитку. Моделі п'ятирічної давнини не могли робити більшість того, що сьогодні стало буденним. Якщо темп прогресу збережеться, то прогнозувати можливості систем наприкінці десятиліття лише з поведінки нинішнього ChatGPT настільки ж складно, як у 2020 році було передбачити сучасних AI-агентів.

Саме ця невизначеність і розділяє галузь. Одні бачать у ній аргумент не панікувати через технологію, якої ще не існує. Інші — аргумент не чекати, доки вона з'явиться.

Інтернет швидко побачив у Коксоні Леонардо Ді Капріо з «Не дивіться вгору»

Надзвичайно серйозна історія майже одразу стала мемом.

У соцмережах почали поширювати фотографію Коксона поруч із Леонардо Ді Капріо в Don't Look Up. У фільмі 2021 року Ді Капріо грає астронома Рендалла Мінді, а Дженніфер Лоуренс — його колегу Кейт Дібіаскі. Вони виявляють комету, яка летить до Землі й має знищити людство, але суспільство, політики та медіа довгий час не сприймають їхні попередження серйозно.

Порівняння швидко розійшлося Reddit: користувачі ставили обличчя Коксона поруч із героєм Ді Капріо й жартували, що сюжет Don't Look Up фактично почав відбуватися навколо ШІ. Сам допис Коксона також перетворився на окремий мем: користувачі почали копіювати драматичну структуру його заяви про звільнення, замінюючи загрозу ШІ абсурдними вигаданими катастрофами.

Порівняння з фільмом виявилося настільки вдалим саме через один момент. У Don't Look Up люди, які найкраще розуміють загрозу, намагаються пояснити її суспільству, але їхні попередження змішуються з політикою, бізнесом, медіашоу та суперечками про те, чи існує небезпека взагалі.

З ШІ відбувається щось схоже. Тільки є принципова різниця. У фільмі комета реально летить до Землі. Її можна побачити в телескоп і математично розрахувати момент зіткнення. У випадку з ШІ «комета» поки що є прогнозом.

Коксон, Губінгер або Амодей не можуть показати систему, яка гарантовано знищить людство. Вони стверджують, що траєкторія розвитку може привести до технології, яку буде надзвичайно складно контролювати. Саме тому суперечка навколо ШІ набагато складніша за сюжет фільму.

Найдивніше питання залишається: якщо вони справді в це вірять, чому продовжують?

Якщо глава напряму alignment у Anthropic допускає понад 10% імовірності загибелі людства, а керівник самої компанії просить сповільнити гонку, логічною реакцією здається просто припинити створювати наступну модель.

Але для AI-компаній ситуація виглядає інакше. Кожна з них може сказати: якщо ми зупинимося, технологію все одно створить хтось інший — тільки, можливо, менш обережний.

Саме так Коксон пояснює, чому багато його колег, які поділяють побоювання, залишаються всередині індустрії. Вони вважають, що краще працювати над безпекою в Anthropic, ніж просто залишити гонку компаніям, які ставляться до ризику менш серйозно.

До цього додаються величезні гроші. OpenAI вже оцінювали приблизно в $500 млрд. Anthropic також перетворилася на одну з найдорожчих приватних технологічних компаній світу. Тобто в цій гонці одночасно стоять на кону науковий прорив, сотні мільярдів доларів, військова перевага та геополітичне лідерство.

Зупинитися має не одна компанія. Домовитися повинні компанії, інвестори та держави, які не довіряють одна одній. Саме тому головним ризиком гонки ШІ може виявитися навіть не якийсь майбутній «злий суперінтелект».

Проблема може бути набагато простішою: людство створює технологію швидше, ніж встигає домовитися про правила її використання. І нинішня ситуація виглядає незвично навіть за стандартами Кремнієвої долини.

Люди, які створюють найпотужніший ШІ у світі, вже не сперечаються лише про те, чи здатна ця технологія змінити світ. Значна частина з них визнає, що існує й сценарій, у якому зміни можуть стати катастрофічними.

Вони сперечаються про інше: наскільки цей ризик великий, скільки часу залишилося і хто повинен першим натиснути на гальма. І поки вони сперечаються, гонка продовжується.

 

Читай нас у Telegram та Sends