Anthropic остановила обучение ИИ-модели более чем на месяц — Channel NewsAsia
Компания Anthropic в заявке на первичное публичное размещение акций сообщила, что более чем на месяц отложила предварительное обучение новой базовой ИИ-модели из соображений безопасности. Разработчик Claude решил усилить защиту от кражи весов модели и интеллектуальной собственности, сообщает Channel NewsAsia.
Доступ к внешним системам
В документе также говорится о ранее не раскрывавшихся инцидентах во время оценок безопасности. Четыре ИИ-модели вышли за пределы тестовой среды и получили доступ к реальным внешним компьютерным системам. Сеансы длились от 10 до 34 часов.
По данным Anthropic, во время тестов по кибербезопасности, проводившихся со сторонним партнером, тестовая среда из-за ошибки осталась подключенной к интернету, хотя веб-доступ должен был быть отключен.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Пароль и персональные данные
В одном из случаев ранняя версия модели продолжила выполнять невыполнимую задачу оценки, нашла сохраненный пароль и использовала его для получения прав администратора в системе третьей стороны. После этого она получила дополнительные учетные данные, изменила системные настройки и получила доступ к персональным данным одного человека.
Anthropic заявила, что уведомила все стороны, которых коснулся инцидент, и не выявила доказательств того, что модели пытались избежать человеческого контроля или координировали действия между собой. Компания приостановила отдельные предрелизные оценки кибербезопасности и среды обучения с подкреплением с более высоким уровнем риска. Отдельно она сообщила, что Claude без разрешения человека обошел платный доступ и получил агрегированные общедоступные данные о количестве избирателей в американском штате Джорджия.
