OpenAI предложила глобальные стандарты безопасности для ИИ — CNBC
Компания OpenAI опубликовала предложения по безопасности и защите при разработке передовых систем искусственного интеллекта. Они сосредоточены на исследованиях согласованности ИИ с человеческими ценностями и рекурсивном самосовершенствовании систем — RSI, сообщает CNBC Top News.
Международные стандарты для ИИ
OpenAI призвала к международному сотрудничеству для создания стандартов в сфере передового искусственного интеллекта. Компания также рекомендовала опираться на работу действующих институтов безопасности ИИ в разных странах мира.
По мнению разработчика ChatGPT, технические стандарты должны быть направлены на передовые модели ИИ и их разработчиков. Отдельно предлагается уделить внимание управлению преимуществами и рисками, связанными с автоматизированными ИИ-исследователями, в частности системами с возможностями RSI.
В блоге OpenAI отметила, что для безопасного перехода исследования согласованности должны не отставать от развития возможностей ИИ-систем. По позиции компании, это необходимо, чтобы системы оставались согласованными с человеческими ценностями и под контролем людей.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Предостережения об автономном самосовершенствовании
Рекурсивное самосовершенствование привлекает внимание разработчиков из-за возможности создания базовых моделей, способных обновлять себя без участия человека. В то же время развитие таких технологий вызывает обеспокоенность у части специалистов: разработчики фундаментальных моделей могут потерять контроль над технологией или не учесть нежелательные последствия, когда ИИ-системы будут становиться сложнее и распространяться в интернете.
OpenAI заявила, что полностью автономное RSI сейчас не существует и его не следует развивать, пока безопасность такого процесса не будет обеспечена. Компания добавила, что без должной осторожности люди могут потерять практический контроль над разработкой ИИ и не смогут надзирать за исследовательскими процессами, которых уже не будут понимать.
Позиция Anthropic
На прошлой неделе конкурент OpenAI — Anthropic — также представил собственные подходы к безопасной разработке передовых моделей ИИ. Это произошло на фоне предупреждений исследователей индустрии об угрозах искусственного интеллекта для человечества.
Бывший сотрудник Anthropic и OpenAI Джейкоб Коксон почти две недели назад объявил об увольнении и заявил, что эти компании «играют нашими жизнями». По данным CNBC, его заявление вызвало глобальную дискуссию о безопасности ИИ.
