Anthropic przyznał sześciu badaczom METR dostęp na poziomie pracowników — TechCrunch
Firma Anthropic przyznała sześciu badaczom z organizacji non-profit METR dostęp do wewnętrznych systemów na poziomie pracowników firmy. Będą oni mogli niezależnie oceniać modele Anthropic, jej praktyki bezpieczeństwa oraz podejście do zarządzania ryzykiem, informuje TechCrunch.
METR zajmuje się testowaniem zaawansowanych modeli sztucznej inteligencji. Badacze otrzymali wydane przez Anthropic laptopy służbowe, przestrzeń biurową oraz dostęp do wewnętrznych narzędzi, w przybliżeniu porównywalny z dostępem zespołów firmy oceniających ryzyko. Anthropic zachęca również swoich pracowników do dzielenia się z zespołem METR informacjami tak samo, jak z kolegami pracującymi nad ryzykami związanymi z dopasowaniem AI.
Samodzielna publikacja ocen
METR będzie publikować własne oceny ryzyk, incydentów i praktyk Anthropic. Firma zrzekła się prawa do blokowania takich publikacji, jednak może żądać usunięcia informacji wyłącznie z wąsko określonych kategorii. Należą do nich dane klientów, informacje chronione tajemnicą adwokacką oraz dane dotyczące architektury modeli.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Jednocześnie METR będzie mogła publicznie wyjaśniać charakter takich usunięć i przedstawiać swoje stanowisko w sprawie ich zasadności, nie ujawniając zredagowanych informacji. Anthropic porównał ten model do praktyki nadzoru bankowego, w ramach której regulatorzy umieszczają stałych inspektorów w największych bankach.
Trzy poziomy zewnętrznej oceny
METR jest jak dotąd jedynym ewaluatorem na najwyższym poziomie trzystopniowego systemu tworzonego przez Anthropic. Na niższym poziomie między innymi organizacja non-profit SecureBio zajmująca się bezpieczeństwem biologicznym przeprowadza wąskie kontrole i potrzebuje zgody Anthropic na publikację wyników. Ewaluatorzy średniego poziomu otrzymują więcej informacji i mogą publikować wyniki bez zgody firmy. Najwyższy poziom zapewnia METR dostęp zbliżony do dostępu pracowników Anthropic.
Ogłoszenie realizuje pomysł dyrektora generalnego Anthropic, Dario Amodeiego, który zaproponował go w wrześniowym eseju: angażowanie zewnętrznych ewaluatorów bezpośrednio w laboratoriach AI. OpenAI również obiecało wprowadzić podobne podejście. Anthropic, OpenAI, Google, Meta, Nvidia i xAI podpisały porozumienie Białego Domu dotyczące przeprowadzania niezależnych ocen.
