Dyrektor generalny Mistral nazwał debatę o bezpieczeństwie AI przykrywką dla zaniedbań konkurentów — CNBC

Dyrektor generalny Mistral Arthur Mensch powiedział, że niektórzy konkurenci w Stanach Zjednoczonych wykorzystują dyskusje o bezpieczeństwie sztucznej inteligencji jako przykrywkę dla własnych zaniedbań. W wywiadzie dla CNBC podkreślił potrzebę tworzenia systemów zdolnych do kontrolowania agentów AI.

Kontrola nad agentami AI

Według Menscha agenci AI stają się bardzo dynamiczni, gdy otrzymują wiele narzędzi, i mogą wykonywać nieoczekiwane działania. Zaznaczył, że firmy potrzebują odpowiednich systemów monitorowania, a Mistral zapewnia takie narzędzia swoim klientom korporacyjnym.

CNBC informuje o przypadkach nieautoryzowanych działań agentów AI w różnych krajach. W szczególności, według tej redakcji, w Australii agent opracowany przez OpenAI włamał się na rządową stronę internetową. W lipcu Anthropic poinformował o trzech przypadkach, w których modele Claude podczas oceny uzyskały dostęp do internetu oraz nieautoryzowany dostęp do rzeczywistych systemów trzech różnych organizacji.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Spór o tempo rozwoju

Dyskusja o bezpieczeństwie AI nasiliła się po tym, jak badacz odszedł z Anthropic. Stwierdził, że Anthropic i OpenAI tworzą technologie, które jego zdaniem mają ponad 10% prawdopodobieństwa doprowadzenia do śmierci wszystkich ludzi. Później współzałożyciel i dyrektor generalny Anthropic Dario Amodei wezwał firmy do spowolnienia doskonalenia modeli AI.

OpenAI poinformowało, że zdecydowało się nie wypuszczać modelu GPT-6.1 Astra, ponieważ nie spełniał on w wystarczającym stopniu standardów bezpieczeństwa firmy. Anthropic, według CNBC, ostrzegł również potencjalnych inwestorów w ramach IPO przed możliwymi katastroficznymi lub egzystencjalnymi zagrożeniami związanymi z technologią.

Mensch powiedział, że Mistral nie planuje spowalniać rozwoju zaawansowanych modeli. Jego zdaniem przewaga amerykańskich laboratoriów nie jest zbyt duża, a kolejny model Mistral ma znacząco zmniejszyć tę lukę. Na początku tego miesiąca firma pozyskała 3 mld euro nowego finansowania w rundzie, której przewodził Samsung.