Оценщики выявили уязвимости в системе мониторинга OpenAI — CNBC
Некоммерческие организации METR и Redwood Research в ходе пилотной проверки внутренней системы мониторинга OpenAI выявили несколько новых уязвимостей. Одна из них могла позволить агентам сделать невозможным мониторинг «сотен» последних действий, сообщает CNBC.
Проверка длилась три недели
Пилотный проект продолжался с 21 июля по 11 августа. По одному сотруднику METR и Redwood Research получили доступ к внутреннему исходному коду OpenAI, документации и части технических специалистов компании. Исследователи работали на выданных OpenAI устройствах, которые не покидали территорию компании, а их работу на месте сопровождали сотрудники OpenAI.
Проверка должна была показать, как может выглядеть предоставление внешним исследователям глубокого доступа к внутренней инфраструктуре компании. METR и Redwood Research тестировали внутреннюю систему мониторинга неправильного выравнивания моделей в версии, существовавшей по состоянию на 21 июля или ранее. Они также отметили, что OpenAI расширяла эту систему во время тестирования.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
OpenAI заявила об устранении проблем
По данным оценщиков, OpenAI сообщила, что устранила выявленные уязвимости, которые влияли на защитные механизмы компании в рабочей среде. METR и Redwood Research передали компании внутренний отчет объемом 61 страницу, но согласились опубликовать только общий пост. Они объяснили, что пилотный проект не был предназначен для обеспечения полной публичной прозрачности в отношении системы мониторинга OpenAI.
Представитель OpenAI заявил CNBC, что сотрудничество является частью подхода компании к независимому тестированию и должно помочь усилить защитные механизмы и сформировать будущее взаимодействие с внешними оценщиками. В сентябре генеральный директор OpenAI Сэм Альтман пообещал предоставить независимым оценщикам доступ, аналогичный доступу сотрудников компании, на фоне усиления обеспокоенности безопасностью искусственного интеллекта.
