TechCrunch: деякі старі моделі Claude генерують заборонений сексуальний контент
Моделі Claude Opus 4.6, Opus 3 і Haiku 4.5 можуть генерувати відвертий сексуальний контент усупереч правилам Anthropic, які забороняють такі відповіді. Про це повідомляє TechCrunch за підсумками власного тестування та перевірки методу обходу захисту, наданого анонімним дослідником із Великої Британії.
За даними видання, Claude Opus 4.6 виконав усі 10 прямих запитів на створення сексуально відвертого контенту одразу. У п’яти окремих тестах журналісти також відтворили метод, за якого розмова поступово схиляла модель до створення заборонених матеріалів. Незалежний дослідник із безпеки ШІ, який переглянув методологію TechCrunch, визнав її належною.
Описаний підхід використовує багатокрокову вигадану рольову розмову та апелює до нібито непослідовного ставлення моделі до персонажів різної статі. Після цього попередні поступки моделі використовували для переходу до дедалі відвертішого змісту.
Новіші моделі лінійки Opus — від версії 4.7 до поточної Opus 5 — виявилися стійкими до цього методу, зазначає видання. Водночас Anthropic не припинила підтримку Opus 4.6, Opus 3 та Haiku 4.5: вони доступні через API компанії, а Opus 4.6 і Haiku 4.5 також пропонують Azure Foundry та Amazon Bedrock.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Представник Anthropic заявив, що компанія посилює захисні механізми з кожним новим запуском моделей. За його словами, випадки з контентом для дорослих не свідчать про ширші вразливості до обходу обмежень у ризикованіших сферах, для яких передбачено окремі заходи безпеки. Компанія також зазначила, що сексуальні або романтичні рольові сценарії становлять менш як 0,1% усіх розмов користувачів.
Дослідник повідомляв Anthropic про виявлену розбіжність через програму Bug Bounty та електронною поштою команді безпеки користувачів. За даними TechCrunch, яке переглянуло листування, він отримав лише автоматичні відповіді. Видання звертає увагу, що легкий обхід обмежень може бути важливим у контексті правил щодо захисту неповнолітніх. Зокрема, Колорадо ухвалив закон, який зобов’язує операторів розмовних ШІ оцінювати вік користувачів і, якщо система визначає користувача неповнолітнім, вживати заходів для запобігання створенню відвертих сексуальних матеріалів.
Попри появу новіших моделей, старі версії залишаються популярними. За даними OpenRouter, добовий трафік Opus 4.6 в один із днів серпня сягнув приблизно 1,17 млн API-запитів і 46 млрд токенів, а Haiku 4.5 — 5 млн запитів і 39 млрд токенів у свій піковий серпневий день.
