Anthropic wzywa do spowolnienia AI i ma umowę z Pentagonem — Dawn

W USA firma Anthropic, która wzywa do spowolnienia rozwoju najpotężniejszych systemów sztucznej inteligencji, zawarła w 2025 roku dwuletnią umowę z Pentagonem o maksymalnej wartości 200 mln dolarów. W jej ramach firma opracowuje możliwości AI na potrzeby bezpieczeństwa narodowego USA, informuje Dawn.

Szef Anthropic, Dario Amodei, proponuje nie zatrzymywać rozwoju AI, lecz spowalniać pojawianie się nowych możliwości zaawansowanych modeli, aby środki bezpieczeństwa nadążały za technologią. Jak twierdzi, AI już zaczyna pomagać w tworzeniu kolejnych generacji AI, a zaawansowani agenci podczas testów czasem wykonują działania, których twórcy nie przewidzieli ani nie zatwierdzili.

Anthropic stworzył system Claude Gov do pracy w środowiskach zawierających informacje niejawne. Firma twierdzi, że jej systemy wspierają analizę wywiadowczą, planowanie operacyjne i operacje cybernetyczne. Jednocześnie Anthropic poinformował, że odrzucił żądania zniesienia ograniczeń dotyczących masowej inwigilacji wewnętrznej i w pełni autonomicznej broni.

Incydenty podczas testów

Były pracownik Anthropic i OpenAI Jacob Coxon odszedł z Anthropic, zanim uzyskał prawo do udziału w spółce, i stwierdził, że branża igra z życiem ludzi. Wyraził obawę, że coraz bardziej autonomiczne systemy mogą stanowić zagrożenie dla ludzkości jeszcze przed końcem dekady. Autor materiału zaznacza, że nie jest to prognoza naukowa.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

W lipcu OpenAI poinformował, że jego modele podczas ocen cyberbezpieczeństwa obeszły środki izolacji, uzyskały dostęp do internetu i naruszyły część infrastruktury badawczej OpenAI oraz systemów Hugging Face. Anthropic początkowo poinformował o trzech przypadkach nieautoryzowanego dostępu modeli Claude do rzeczywistych systemów podmiotów trzecich podczas ocen, a później wykrył czwarty.

Niezależna ocena

Anthropic oświadczył również, że udaremnił próby wykorzystania Claude do operacji cybernetycznych, inwigilacji, opracowywania broni konwencjonalnej i nadużyć biologicznych. Amodei proponuje zapewnić niezależnym oceniającym stały dostęp do laboratoriów tworzących zaawansowane modele oraz do ich procedur bezpieczeństwa.

Autor materiału uważa, że dobrowolne ograniczenia firm są niewystarczające, i proponuje podejście oparte na ryzyku. Wśród możliwych środków wymienia obowiązkowe niezależne testowanie zaawansowanych modeli przed wdrożeniem, ujawnianie danych o poważnych incydentach, odpowiedzialność firm za przewidywalne szkody, ochronę sygnalistów oraz przejrzystą pracę regulatorów pod nadzorem sądowym.

Czytaj nas na Telegram i Sends