Anthropic i OpenAI proponują oceniających bez prawa do wstrzymania rozwoju modeli AI

Firmy Anthropic i OpenAI poparły zaangażowanie zewnętrznych oceniających bezpieczeństwo w prace nad zaawansowanymi modelami sztucznej inteligencji, jednak tacy specjaliści nie będą mieć niezależnych uprawnień do wstrzymania szkolenia lub wdrażania modeli. Informuje o tym CNBC Top News.

Dyrektor generalny Anthropic Dario Amodei zaproponował zapewnienie zewnętrznym oceniającym stałego dostępu porównywalnego z dostępem wewnętrznych zespołów zarządzania ryzykiem. Zgodnie z jego planem będą oni również mogli publikować wnioski bez kontroli redakcyjnej firmy, choć z ograniczonymi usunięciami informacji.

Dostęp bez prawa weta

Amodei porównał to podejście z praktyką nadzoru bankowego, w której regulatorzy pracują wewnątrz dużych banków. Julie Andersen Hill, dziekanka College of Law Uniwersytetu Wyoming i ekspertka w dziedzinie regulacji bankowych, uważa to porównanie za nieprecyzyjne. Jak stwierdziła, nadzorcy bankowi mogą żądać zaprzestania określonej praktyki, ograniczać rozwój instytucji, dążyć do zmian w kierownictwie, a w skrajnych przypadkach — zamknąć bank.

Oceniający proponowani przez Anthropic będą mogli badać systemy i zgłaszać ryzyka, ale nie będą mieć narzędzi prawnych, aby zakazać rozwoju lub wydania modelu. OpenAI również zobowiązało się wprowadzić podobny mechanizm, jednak nie ujawniło jeszcze szczegółów działania stale zaangażowanych oceniających.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Kwestie niezależności

Albert Ziegler, szef działu AI w firmie zajmującej się cyberbezpieczeństwem XBOW, którego zespół otrzymał wczesny dostęp do modeli Anthropic, OpenAI i innych deweloperów, potwierdził, że oceniający nie mają prawa weta. Zaznaczył, że testy mogą wykazać, czy model jest zdolny wykonać niebezpieczne zadanie, ale ocena ryzyka całego systemu wymaga dostępu do instrukcji, narzędzi, uprawnień, mechanizmów ochronnych i dzienników prób wykonania działań.

Deborah Raji, badaczka z Uniwersytetu Kalifornijskiego w Berkeley, podkreśliła, że sam dostęp do systemu nie czyni oceniającego niezależnym. Jej zdaniem poza firmą powinien istnieć organ, który określałby kwalifikacje audytorów, zakres ich kontroli oraz miejsce, do którego powinny trafiać wnioski. Anthropic wskazywało jako potencjalnego oceniającego organizację non-profit Model Evaluation and Threat Research, czyli METR, z którą już współpracowało.

METR deklaruje, że nie przyjmuje płatności pieniężnych ani darowizn od firm AI lub ich kierownictwa. Jednocześnie organizacja przyznała we własnym raporcie, że niektórzy jej pracownicy mają bliskie relacje towarzyskie z pracownikami firm AI, a także że dzieli centrum badawcze z pracownikami niektórych laboratoriów.

Eksperci zwrócili również uwagę na brak systemu zasad dla zaawansowanej AI, podobnego do regulacji bankowych: miałby on określać zakazane działania, granice uznania oceniających oraz konsekwencje poważnych wniosków. Zdaniem Hill dostęp i prawo do publikowania wyników nie zapewniają zaufania właściwego nadzorowi państwowemu, jeśli deweloper zachowuje kontrolę nad ostatecznymi decyzjami.

Czytaj nas na Telegram i Sends