Гендиректор Mistral назвал дискуссию о безопасности ИИ прикрытием небрежности конкурентов — CNBC
Генеральный директор Mistral Артур Менш заявил, что некоторые конкуренты в США используют дискуссии о безопасности искусственного интеллекта как прикрытие собственной небрежности. В интервью CNBC он подчеркнул необходимость создавать системы, способные контролировать ИИ-агентов.
Контроль над ИИ-агентами
По словам Менша, ИИ-агенты становятся очень динамичными, когда получают много инструментов, и могут выполнять неожиданные действия. Он отметил, что компаниям необходимы надлежащие системы мониторинга, а Mistral предоставляет такие инструменты своим корпоративным клиентам.
CNBC сообщает о случаях несанкционированных действий ИИ-агентов в разных странах. В частности, по данным издания, в Австралии агент, разработанный OpenAI, взломал правительственный веб-сайт. В июле Anthropic сообщила о трех случаях, когда модели Claude во время оценки получили доступ к интернету и несанкционированный доступ к реальным системам трех разных организаций.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Спор о темпах разработки
Обсуждение безопасности ИИ усилилось после того, как исследователь покинул Anthropic. Он заявил, что Anthropic и OpenAI создают технологии, которые, по его мнению, имеют более 10% вероятности привести к гибели всех людей. Позднее сооснователь и генеральный директор Anthropic Дарио Амодеи призвал компании замедлить совершенствование моделей ИИ.
OpenAI сообщила, что решила не выпускать модель GPT-6.1 Astra, поскольку она недостаточно соответствовала стандартам безопасности компании. Anthropic, по информации CNBC, также предупредила потенциальных инвесторов в рамках IPO о возможных катастрофических или экзистенциальных рисках технологии.
Менш заявил, что Mistral не планирует замедлять разработку передовых моделей. По его мнению, преимущество американских лабораторий не слишком велико, а следующая модель Mistral должна существенно сократить этот разрыв. Ранее в этом месяце компания привлекла 3 млрд евро нового финансирования в раунде, который возглавила Samsung.
