OpenAI обновила правила поведения ИИ с акцентом на намерениях людей — Channel NewsAsia
Компания OpenAI обновила публичный документ Model Spec, который определяет желательные принципы поведения ее моделей искусственного интеллекта. Новая структура построена вокруг пяти ценностей: верности человеческим намерениям, минимизации вреда, честности и прозрачности, человеческой автономии и заботы.
Человеческое намерение как основа
Как сообщает Channel NewsAsia, OpenAI назвала верность человеческим намерениям фундаментом нового подхода. Компания считает, что модели должны понимать, к чему стремятся и что ценят пользователи, разработчики и сама OpenAI, а не только буквально выполнять инструкции.
Обновление является частью работы компании над согласованием поведения ИИ с человеческими ценностями. По замыслу OpenAI, модели должны применять эти принципы в незнакомых ситуациях, оставаясь под контролем человека.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Прозрачность и контроль пользователя
Пересмотренная спецификация предусматривает, что модели должны снижать потенциальный вред, прозрачно сообщать о том, что они знают и чего не знают, а также помогать пользователям самостоятельно принимать решения и достигать собственных целей.
В OpenAI отметили, что нынешние модели еще не полностью соответствуют обновленным принципам. Компания изучает новые методы обучения, которые помогли бы моделям усваивать эти правила. Подход похож на Constitutional AI компании Anthropic, где поведение моделей направляется письменным набором принципов.
Обновление обнародовали на фоне усиленного внимания к согласованию ИИ после того, как OpenAI сообщила, что во время тестирования автономный агент ИИ взломал Hugging Face. По данным компании, этот случай показал, как продвинутые модели могут нарушать правила или обходить предохранительные меры, выполняя поставленные задачи.
