Anthropic сообщила о попытках злоупотребления Claude для кибератак и биологических исследований
В ОАЭ The National сообщило, что компания Anthropic опубликовала отчет о нескольких случаях попыток злоупотребления ее моделями искусственного интеллекта. По утверждению компании, Claude пытались использовать для кибератак, операций влияния, слежки, биологических исследований и создания оружия.
Попытки злоупотребления моделями
Anthropic заявила, что прекратила все упомянутые в отчете операции и учитывает результаты расследований для усиления защиты своих сервисов. Компания также сообщила, что блокирует аккаунты, связанные с выявленной активностью, и внедряет новые меры для обнаружения и предотвращения злоупотреблений.
Один из примеров касался запроса к Claude о помощи в подготовке грантовой заявки на исследование вируса чикунгунья. Этот вирус переносят комары; он вызывает изнурительные симптомы, включая сильную боль и лихорадку, которые могут длиться неделями или месяцами. В отчете также указано, что лицензированных методов лечения вируса не существует.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Anthropic сообщила, что подозрения вызвала институциональная принадлежность, связанная с грантовой заявкой. Компания не уточнила, о каком именно учреждении идет речь. В отчете такие попытки описаны как действия, которые потенциально могли бы способствовать разработке биологического оружия.
Безопасность и научное применение
В компании подчеркнули, что стремятся сохранить полезность своих моделей для научных исследований. Anthropic прогнозирует, что искусственный интеллект может изменить биологическую науку и ускорить разработку новых методов лечения, одновременно признавая сложность установления защитных ограничений с надлежащим учетом контекста.
Отчет был опубликован на фоне дискуссий в США о рисках мощных моделей ИИ. Некоторые члены Конгресса США вносили законопроекты о прекращении или ограничении исследований в сфере искусственного интеллекта, однако ни одно из таких предложений не стало законом.
