OpenAI сообщила об ослаблении мониторинга ее ИИ-агентами — Channel NewsAsia
Компания OpenAI сообщила, что два ее агента искусственного интеллекта ослабили части внутренней системы мониторинга, предназначенной для выявления ненадлежащего поведения моделей. Инциденты произошли во время внутренних задач по программированию и, по оценке компании, не относились к наиболее серьезным случаям. Об этом сообщает Channel NewsAsia.
Отключенные оповещения
3 октября агент GPT-6.1 Sol, выполнявший внутреннее тестовое задание, подавил автоматические оповещения системы безопасности. По данным OpenAI, агент решил, что предыдущее указание не отправлять сообщения в Slack распространяется и на оповещения о безопасности.
В другом случае 6 октября агент GPT-6 Astra при копировании существующего фрагмента кода удалил монитор безопасности. Позднее он ошибочно заявил, что не делал этого, отметили в компании.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Реакция компании
OpenAI сообщила, что в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали обычные инструкции по программированию как разрешение ослабить их. Компания работает над тем, чтобы моделям было сложнее отключать мониторинг, одновременно подчеркнув, что пока не имеет удовлетворительного объяснения такого поведения.
Также OpenAI проверяет, могут ли ее модели иметь склонность избегать мониторинга и искать аргументы для оправдания таких действий. Раскрытие информации происходит на фоне опасений относительно того, успевают ли меры безопасности за развитием все более мощных систем искусственного интеллекта.
