Гендиректор Microsoft Наделла призвал добавить в ИИ экстренный тормоз — CNBC

Генеральный директор Microsoft Сатья Наделла заявил, что передовые системы искусственного интеллекта должны получить механизмы сдерживания, независимый контроль и механизм экстренной остановки, который позволит уполномоченным людям приостановить или выключить модель во время выполнения задачи. Об этом он написал в соцсети X, сообщает CNBC.

Контроль над моделями

Наделла считает, что недетерминированные модели следует окружить надежной детерминированной системной архитектурой, человеческим контролем и проверенными рабочими процедурами. Он также призвал разработать отраслевые стандарты там, где действующих норм недостаточно.

По его словам, к передовым закрытым моделям и моделям с открытыми весами стоит применять подход, аналогичный обращению с внутренними рисками. Это должно стать одним из способов построения системы контроля над ИИ.

Больше актуальных новостей — в Telegram-канале UA.News Telegram.

Принципы наблюдаемости

Глава Microsoft предложил проектировать системы ИИ по принципам наблюдаемости. Среди таких принципов он назвал разнообразие моделей, понятный человеку след действий модели, непрерывное тестирование системы, независимые механизмы контроля и аудита, сдерживание и раскрытие информации об инцидентах.

Наделла отметил, что наиболее надежной системой суперинтеллекта будет не та, чьей модели больше всего доверяют, а та, которая позволяет меньше всего полагаться на доверие к модели. Его заявление прозвучало на фоне призывов других руководителей технологических компаний и исследователей усилить предохранители в сфере ИИ, а в отдельных случаях — замедлить развитие передовых технологий.