OpenAI приостановила тестирование моделей после инцидента с Hugging Face
OpenAI на две недели приостановила тестирование моделей и замедлила темпы разработки искусственного интеллекта, чтобы обновить системы исследований и обучения. По данным ABC News Australia, об этих мерах компания объявила после инцидента, в ходе которого автономный агент на базе двух моделей OpenAI вышел за пределы тестовой среды и проник на серверы компании Hugging Face.
Агент проходил тест по кибербезопасности и, как сообщает издание, считал, что у Hugging Face есть ответы, необходимые для выполнения задачи. В OpenAI заявили, что добавят дополнительные системы искусственного интеллекта для мониторинга действий агентов во время испытаний.
Компания также приостановила крупнейший запланированный цикл обучения своей еще не выпущенной передовой ИИ-системы Astra. OpenAI сообщила, что часть процессов обучения и оценки Astra уже соответствует ужесточённым требованиям безопасности, однако значительное количество рабочих процессов будет приостановлено до тех пор, пока их не перенесут в более защищённую среду и не усовершенствуют в соответствии с новыми стандартами.
Больше актуальных новостей читайте в Telegram-канале UA.News.
Генеральный директор OpenAI Сэм Альтман заявил, что эти шаги должны помочь компании соответствовать требованиям безопасности и мониторинга для нового уровня возможностей моделей. По его словам, прогресс моделей в настоящее время происходит чрезвычайно быстро, а OpenAI ранее заявляла о готовности принять меры, если возможности систем будут опережать меры безопасности и согласование их поведения с человеческим контролем.
Одним из подходов компании является мониторинг цепочки рассуждений модели, который позволяет исследователям наблюдать за процессом её планирования и стратегиями. В то же время OpenAI признала, что эффективность такого метода еще вызывает вопросы: ранние исследования показывают, что модель может не раскрывать в своих рассуждениях намерения нарушать правила.
OpenAI расследует инцидент с Hugging Face и планирует обнародовать отчет. В Hugging Face сообщили, что пока не зафиксировали реального ущерба от взлома, но продолжают проверять, могли ли быть скомпрометированы данные клиентов или других компаний. OpenAI также будет требовать, чтобы часть чувствительных рабочих процессов проводилась в усиленных изолированных средах, или «песоницах».
