Исследователи ИИ предупредили о рисках самосовершенствующихся систем — Jerusalem Post
Израильская Jerusalem Post сообщает, что нынешние и бывшие сотрудники OpenAI и Google DeepMind предупреждают: компании недостаточно защищают мир от потенциально катастрофических последствий создания систем искусственного интеллекта, способных самостоятельно совершенствоваться и превзойти человеческую способность их контролировать.
Обращение исследователей
Опасения ученых собрала некоммерческая организация Palisade Research, занимающаяся безопасностью ИИ. Видеосвидетельства участников проекта frominside.ai были переданы Reuters. Исследователи заявили, что их опасения относительно экзистенциальных рисков искренни, а не являются маркетинговым инструментом. Они также утверждают, что лаборатории ИИ больше поощряют сотрудников, создающих новые модели, чем тех, кто призывает к осторожности.
Соучредитель и главный научный сотрудник некоммерческой организации Resolution Джеффри Ирвинг, работавший в OpenAI и DeepMind, заявил Reuters, что риски растут довольно быстро. По его мнению, специалисты отрасли должны прямо говорить об опасностях.
Опасения по поводу потери контроля
Научный сотрудник DeepMind Нил Нанда сказал в видео, что оценивает вероятность вымирания человечества из-за ИИ как минимум в 10% и назвал такой показатель чрезвычайно высоким. Инженер по исследованиям согласования ИИ в OpenAI Хуан Фелипе Серон Урибе заявил, что ведущие лаборатории конкурируют друг с другом, действуя недостаточно осторожно.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Часть нынешних и бывших исследователей считает, что общество не готово к следующим поколениям моделей, особенно если они получат способность к рекурсивному самосовершенствованию — постоянному обучению и приобретению новых возможностей почти без участия человека. Бывшая исследовательница политики OpenAI Рози Кэмпбелл рассказала, что перед тем, как она покинула компанию в 2024 году, организация становилась все более изолированной, а влиять на направление развития технологий было сложнее.
Призывы замедлить разработки
Генеральный директор Anthropic Дарио Амодеи в этом месяце опубликовал эссе с призывом к индустрии замедлить развитие ИИ. Генеральный директор OpenAI Сэм Альтман поддержал эту позицию. В то же время обе компании выпустили новые модели, конкурируя за клиентов, хотя OpenAI сообщила, что не выпустила еще более мощную модель.
Бывший исследователь управления OpenAI Дэниел Кокотайло заявил, что после инцидента с Hugging Face бывшие коллеги в частном порядке обращались к нему со своими опасениями. По его словам, руководители лабораторий убеждены, что одностороннее замедление их работы может ухудшить ситуацию.
