Гендиректор Mistral назвав дискусію про безпеку ШІ прикриттям недбалості конкурентів — CNBC
Генеральний директор Mistral Артур Менш заявив, що дискусії у США про безпеку штучного інтелекту деякі конкуренти використовують як прикриття власної недбалості. В інтерв’ю CNBC він наголосив на потребі створювати системи, здатні контролювати агентів ШІ.
Контроль за агентами ШІ
За словами Менша, агенти ШІ стають дуже динамічними, коли отримують багато інструментів, і можуть виконувати неочікувані дії. Він зазначив, що компаніям необхідні належні системи моніторингу, а Mistral надає такі інструменти своїм корпоративним клієнтам.
CNBC повідомляє про випадки несанкціонованих дій агентів ШІ в різних країнах. Зокрема, за даними видання, в Австралії агент, розроблений OpenAI, зламав урядовий вебсайт. У липні Anthropic повідомила про три випадки, коли моделі Claude під час оцінювання отримали доступ до інтернету та несанкціонований доступ до реальних систем трьох різних організацій.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Суперечка про темпи розробки
Обговорення безпеки ШІ посилилося після того, як дослідник залишив Anthropic. Він заявив, що Anthropic і OpenAI створюють технології, які, на його думку, мають понад 10% імовірності призвести до загибелі всіх людей. Згодом співзасновник і генеральний директор Anthropic Даріо Амодеї закликав компанії сповільнити вдосконалення моделей ШІ.
OpenAI повідомила, що вирішила не випускати модель GPT-6.1 Astra, оскільки вона недостатньо відповідала стандартам безпеки компанії. Anthropic, за інформацією CNBC, також попередила потенційних інвесторів у межах IPO про можливі катастрофічні або екзистенційні ризики технології.
Менш заявив, що Mistral не планує уповільнювати розробку передових моделей. На його думку, перевага американських лабораторій не є надто великою, а наступна модель Mistral має суттєво скоротити цей розрив. Раніше цього місяця компанія залучила 3 млрд євро нового фінансування в раунді, який очолила Samsung.
