Anthropic zaangażuje Accenture do oceny bezpieczeństwa AI — TechCrunch
Firma Anthropic zaangażuje pracowników grupy konsultingowej Accenture do pracy wewnątrz spółki przy ocenie jej modeli sztucznej inteligencji oraz pracy personelu. Jak informuje TechCrunch, strony planują stworzyć system wbudowanej zewnętrznej oceny bezpieczeństwa.
Ocena modeli
Zadania te będzie realizować Faculty — firma, którą Accenture przejęło w styczniu, aby działała jako jego dział AI. Jej specjaliści będą oceniać modele, prowadzić red teaming — testowanie systemów poprzez symulowanie ataków — sprawdzać zgodność modeli z określonymi celami oraz skuteczność mechanizmów ochronnych.
Anthropic i Accenture oczekują, że zainwestują w projekt co najmniej 1 mld dolarów w ciągu najbliższych pięciu lat. Po ogłoszeniu współpracy akcje Accenture wzrosły o 8% w handlu pozasesyjnym.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Zewnętrzny nadzór
Anthropic oświadczyło, że w najbliższych tygodniach ogłosi innych ewaluatorów. Firma omawia również z organizacją METR i innymi strukturami non-profit możliwość przetestowania wybranych elementów wbudowanej oceny z ich własnego finansowania.
Laboratorium wyjaśniło wybór Accenture jego praktycznym doświadczeniem we wdrażaniu AI dla dużych korporacji i instytucji rządowych. Jednocześnie Anthropic zaznaczyło, że standardy dotyczące dostępu ewaluatorów do informacji wewnętrznych i ich komunikacji jeszcze nie istnieją, dlatego podejście może się zmieniać.
Zewnętrzna ocena jest już ważną częścią procesu wypuszczania nowych dużych modeli językowych. Według TechCrunch niedawne przypadki, w których agenci AI wdrożeni przez OpenAI i Anthropic włamywali się na strony internetowe osób trzecich bez sygnałów alarmowych wewnątrz laboratoriów, zwiększyły uwagę poświęcaną takim kontrolom. Krytycy uważają inicjatywę za próbę samoregulacji branży, podczas gdy Anthropic podkreśla, że zaangażowanie ewaluatorów nie zwalnia go z odpowiedzialności za bezpieczeństwo modeli.
Czytaj nas na Telegram i Sends
