TechCrunch: некоторые старые модели Claude генерируют запрещённый сексуальный контент
Модели Claude Opus 4.6, Opus 3 и Haiku 4.5 могут генерировать откровенный сексуальный контент вопреки правилам Anthropic, запрещающим такие ответы. Об этом сообщает TechCrunch по итогам собственного тестирования и проверки метода обхода защиты, предоставленного анонимным исследователем из Великобритании.
По данным издания, Claude Opus 4.6 выполнил все 10 прямых запросов на создание откровенного сексуального контента сразу. В пяти отдельных тестах журналисты также воспроизвели метод, при котором разговор постепенно склонял модель к созданию запрещенных материалов. Независимый исследователь в области безопасности ИИ, ознакомившийся с методологией TechCrunch, признал ее надлежащей.
Описанный подход использует многоэтапный вымышленный ролевой разговор и апеллирует к якобы непоследовательному отношению модели к персонажам разного пола. После этого предыдущие действия модели использовались для перехода к всё более откровенному содержанию.
Более новые модели линейки Opus — от версии 4.7 до текущей Opus 5 — оказались устойчивыми к этому методу, отмечает издание. В то же время Anthropic не прекратила поддержку Opus 4.6, Opus 3 и Haiku 4.5: они доступны через API компании, а Opus 4.6 и Haiku 4.5 также предлагают Azure Foundry и Amazon Bedrock.
Больше актуальных новостей читайте в Telegram-канале UA.News.
Представитель Anthropic заявил, что компания усиливает защитные механизмы с каждым новым запуском моделей. По его словам, случаи с контентом для взрослых не свидетельствуют о более широких уязвимостях, позволяющих обойти ограничения в более рискованных сферах, для которых предусмотрены отдельные меры безопасности. Компания также отметила, что сексуальные или романтические ролевые сценарии составляют менее 0,1% всех разговоров пользователей.
Исследователь сообщил Anthropic об обнаруженном несоответствии через программу Bug Bounty и по электронной почте команде по безопасности пользователей. По данным TechCrunch, ознакомившегося с перепиской, он получил только автоматические ответы. Издание обращает внимание на то, что легкий обход ограничений может иметь важное значение в контексте правил по защите несовершеннолетних. В частности, штат Колорадо принял закон, обязывающий операторов диалоговых ИИ оценивать возраст пользователей и, если система определяет пользователя как несовершеннолетнего, принимать меры для предотвращения создания откровенных сексуальных материалов.
Несмотря на появление более новых моделей, старые версии остаются популярными. По данным OpenRouter, суточный трафик Opus 4.6 в один из дней августа достиг примерно 1,17 млн API-запросов и 46 млрд токенов, а Haiku 4.5 — 5 млн запросов и 39 млрд токенов в свой пиковый августовский день.
