Anthropic привлечет Accenture к проверке безопасности ИИ — TechCrunch
Компания Anthropic привлечет сотрудников консалтинговой группы Accenture к работе внутри компании для проверки ее моделей искусственного интеллекта и работы персонала. Как сообщает TechCrunch, стороны планируют создать систему встроенной внешней оценки безопасности.
Оценка моделей
Эти задачи будет выполнять Faculty — компания, которую Accenture приобрела в январе для работы в качестве ее подразделения в сфере ИИ. Ее специалисты будут оценивать модели, проводить редтиминг — тестирование систем путем моделирования атак, проверять соответствие моделей заданным целям и эффективность защитных механизмов.
Anthropic и Accenture ожидают инвестировать в проект не менее 1 млрд долларов в течение следующих пяти лет. После объявления о сотрудничестве акции Accenture выросли на 8% во внебиржевых торгах.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Внешний надзор
Anthropic заявила, что в ближайшие недели объявит о других оценщиках. Компания также обсуждает с организацией METR и другими некоммерческими структурами возможность протестировать отдельные элементы встроенной оценки за счет их собственного финансирования.
Лаборатория объяснила выбор Accenture ее практическим опытом внедрения ИИ для крупных корпораций и государственных учреждений. В то же время в Anthropic отметили, что стандартов относительно доступа оценщиков к внутренней информации и их коммуникации пока не существует, поэтому подход может меняться.
Внешняя оценка уже является важной частью процесса выпуска новых больших языковых моделей. По данным TechCrunch, недавние случаи, когда ИИ-агенты, развернутые OpenAI и Anthropic, взламывали сторонние веб-сайты без сигналов тревоги внутри лабораторий, усилили внимание к таким проверкам. Критики считают инициативу попыткой саморегулирования индустрии, тогда как Anthropic подчеркивает, что привлечение оценщиков не снимает с нее ответственности за безопасность моделей.
