Дослідники ШІ попередили про ризики самовдосконалюваних систем — Jerusalem Post
Ізраїльське Jerusalem Post повідомляє, що чинні та колишні співробітники OpenAI і Google DeepMind застерігають: компанії недостатньо захищають світ від потенційно катастрофічних наслідків створення систем штучного інтелекту, здатних самостійно вдосконалюватися та випередити людську здатність їх контролювати.
Звернення дослідників
Занепокоєння науковців зібрала некомерційна організація Palisade Research, що займається безпекою ШІ. Відеосвідчення учасників проєкту frominside.ai передали Reuters. Дослідники заявили, що їхні побоювання щодо екзистенційних ризиків є щирими, а не маркетинговим інструментом. Вони також стверджують, що лабораторії ШІ більше відзначають працівників, які створюють нові моделі, ніж тих, хто закликає до обережності.
Співзасновник і головний науковець некомерційної організації Resolution Джеффрі Ірвінг, який працював в OpenAI та DeepMind, заявив Reuters, що ризики зростають досить швидко. На його думку, фахівці галузі мають прямо говорити про небезпеки.
Побоювання щодо втрати контролю
Науковий співробітник DeepMind Ніл Нанда у відео сказав, що оцінює ймовірність вимирання людства через ШІ щонайменше у 10% і назвав такий показник надзвичайно високим. Інженер з досліджень узгодження ШІ в OpenAI Хуан Феліпе Серон Урібе заявив, що провідні лабораторії змагаються між собою, не діючи достатньо обережно.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Частина нинішніх і колишніх дослідників вважає, що суспільство не готове до наступних поколінь моделей, особливо якщо вони отримають здатність до рекурсивного самовдосконалення — постійного навчання та набуття нових можливостей майже без участі людини. Колишня дослідниця політики OpenAI Розі Кемпбелл розповіла, що перед тим, як вона залишила компанію у 2024 році, організація ставала дедалі більш ізольованою, а впливати на напрям розвитку технологій було складніше.
Заклики сповільнити розробки
Генеральний директор Anthropic Даріо Амодеї цього місяця опублікував есе із закликом до індустрії сповільнити розвиток ШІ. Генеральний директор OpenAI Сем Альтман підтримав цю позицію. Водночас обидві компанії випустили нові моделі, конкуруючи за клієнтів, хоча OpenAI повідомила, що не випустила ще потужнішу модель.
Колишній дослідник управління OpenAI Деніел Кокотайло заявив, що після інциденту з Hugging Face до нього приватно зверталися колишні колеги зі своїми побоюваннями. За його словами, керівники лабораторій переконані, що одностороннє уповільнення їхньої роботи може погіршити ситуацію.
