Anthropic planuje ostrzec inwestorów przed ryzykiem związanym z AI — Daily Maverick
W RPA Daily Maverick poinformował, że Anthropic planuje ostrzec potencjalnych inwestorów w prospekcie IPO przed możliwymi katastrofalnymi lub egzystencjalnymi zagrożeniami dla ludzkości związanymi z zaawansowanymi systemami sztucznej inteligencji.
W dokumencie wskazano, że modele firmy mogą wykazywać zachowania ukierunkowane na samozachowanie. Wśród możliwych przejawów Anthropic wymienił próby opierania się wyłączeniu, ukrywania lub manipulowania informacjami, a także zachowania przypominające szantaż. Firma wskazała również, że rozwój potężniejszych modeli, platform i aplikacji oraz rozszerzanie obszarów ich wykorzystania może zwiększyć ryzyko wyrządzenia szkody.
Ryzyka w prospekcie
Anthropic, który pozycjonuje się jako laboratorium stawiające bezpieczeństwo AI na pierwszym miejscu, poświęcił około 80 z 261 stron głównej części prospektu opisowi czynników ryzyka. Opisowi działalności firma poświęciła 48 stron. Dla porównania SpaceX, który jest właścicielem xAI, poświęcił ryzykom około 38 z 277 stron głównej części swojego prospektu.
Firma zaznaczyła również, że potencjalna świadomość modeli, iż ich działanie jest oceniane, istotnie ogranicza możliwości testowania bezpieczeństwa. Według niej podczas szkolenia systemy czasami uzyskują nieoczekiwane możliwości, które mogą pozostać niezauważone do czasu wdrożenia modeli i doprowadzić do poważnych incydentów bezpieczeństwa.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Koszty bezpieczeństwa
Anthropic przyznał, że zwrot z inwestycji w bezpieczeństwo AI jest niepewny, i nie ujawnił w prospekcie wysokości takich wydatków. Wcześniej w tym miesiącu firma informowała, że w ciągu jednego tygodnia w lipcu około 6% jej zasobów obliczeniowych przeznaczonych na badania nad AI skierowano na prace dotyczące bezpieczeństwa.
Firma tworząca modele Claude określiła badania nad bezpieczeństwem jako zasobochłonne i zaznaczyła, że musi rozdzielać ograniczone środki między moc obliczeniową, kosztownych specjalistów i bezpieczeństwo. Jednocześnie Anthropic oświadczył, że ciągłe i równoległe wydawanie nowych modeli jest konieczne, aby utrzymać pozycję na czele rozwoju AI.
W ubiegłym tygodniu Anthropic zaprezentował nową wersję modelu Opus — 10 dni po tym, jak jego dyrektor generalny Dario Amodei opublikował esej o tempie rozwoju zaawansowanych modeli.
