Badacze AI ostrzegają przed ryzykiem samodoskonalących się systemów — Jerusalem Post

Izraelski Jerusalem Post informuje, że obecni i byli pracownicy OpenAI oraz Google DeepMind ostrzegają: firmy niewystarczająco chronią świat przed potencjalnie katastrofalnymi skutkami tworzenia systemów sztucznej inteligencji zdolnych do samodzielnego doskonalenia się i wyprzedzenia ludzkiej zdolności do ich kontrolowania.

Apel badaczy

Obawy naukowców zebrała Palisade Research, organizacja non-profit zajmująca się bezpieczeństwem AI. Nagrania ze świadectwami uczestników projektu frominside.ai przekazano Reutersowi. Badacze oświadczyli, że ich obawy dotyczące ryzyka egzystencjalnego są szczere, a nie stanowią narzędzia marketingowego. Twierdzą również, że laboratoria AI bardziej nagradzają pracowników tworzących nowe modele niż tych, którzy wzywają do ostrożności.

Geoffrey Irving, współzałożyciel i główny naukowiec organizacji non-profit Resolution, który pracował w OpenAI i DeepMind, powiedział Reutersowi, że ryzyko rośnie dość szybko. Jego zdaniem specjaliści z branży powinni otwarcie mówić o zagrożeniach.

Obawy przed utratą kontroli

Pracownik naukowy DeepMind Neel Nanda powiedział w nagraniu, że ocenia prawdopodobieństwo wyginięcia ludzkości z powodu AI na co najmniej 10% i nazwał taki wskaźnik niezwykle wysokim. Inżynier badań nad dostosowaniem AI w OpenAI Juan Felipe Ceron Uribe stwierdził, że czołowe laboratoria konkurują ze sobą, nie działając wystarczająco ostrożnie.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Część obecnych i byłych badaczy uważa, że społeczeństwo nie jest gotowe na kolejne generacje modeli, szczególnie jeśli uzyskają one zdolność do rekurencyjnego samodoskonalenia — ciągłego uczenia się i zdobywania nowych możliwości niemal bez udziału człowieka. Była badaczka polityki OpenAI Rosie Campbell opowiedziała, że zanim opuściła firmę w 2024 roku, organizacja stawała się coraz bardziej odizolowana, a wpływanie na kierunek rozwoju technologii było trudniejsze.

Apele o spowolnienie rozwoju

Dyrektor generalny Anthropic Dario Amodei opublikował w tym miesiącu esej wzywający branżę do spowolnienia rozwoju AI. Dyrektor generalny OpenAI Sam Altman poparł to stanowisko. Jednocześnie obie firmy wypuściły nowe modele, konkurując o klientów, chociaż OpenAI poinformowało, że nie wypuściło jeszcze potężniejszego modelu.

Były badacz zarządzania w OpenAI Daniel Kokotajlo powiedział, że po incydencie z Hugging Face byli współpracownicy prywatnie zwracali się do niego ze swoimi obawami. Według niego liderzy laboratoriów są przekonani, że jednostronne spowolnienie ich pracy może pogorszyć sytuację.