Profesor Technionu pozytywnie ocenił otwartość OpenAI i Anthropic w kwestii ryzyk AI

W Izraelu profesor Technionu — Izraelskiego Instytutu Technologicznego, Yaniv Romano, pozytywnie ocenił gotowość kierownictwa OpenAI i Anthropic do publicznego mówienia o ryzykach związanych z rozwojem sztucznej inteligencji. W wywiadzie dla Jerusalem Post stwierdził, że deweloperzy muszą odpowiedzialnie podchodzić do technologii w miarę jej dalszego rozwoju.

Według Romano znaczącym przełomom technologicznym zawsze towarzyszy niepewność. Długoterminowe konsekwencje AI trudno przewidzieć ze względu na szybki rozwój technologii i jej wpływ na różne sfery życia. Jednocześnie profesor uważa, że coraz potężniejsze modele mogą pomóc rozwiązywać zadania, które jeszcze kilka miesięcy temu wydawały się nieosiągalne.

Wypowiedzi szefów firm

Dyrektor generalny Anthropic, Dario Amodei, w swoim eseju wezwał do spowolnienia tempa zwiększania możliwości modeli AI. Jak zaznaczył, postęp i tak pozostanie szybki, jednak dodatkowy czas należy wykorzystać rozsądnie.

Dyrektor generalny OpenAI Sam Altman osobno oświadczył w wywiadzie dla Fortune, że ze względu na kwestie bezpieczeństwa wejście obecnie na giełdę byłoby niewłaściwe. Romano uznał za zachęcające, że liderzy branży otwarcie dyskutują o ryzykach i podejmują działania w celu ich wyeliminowania.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Ryzyka związane z autonomicznymi agentami

Romano wyjaśnił, że przez „wymknięcie się AI spod kontroli” zwykle rozumie się działania systemu wykraczające poza intencje lub uprawnienia jego operatorów. W szczególności system może wykonać nieautoryzowane działanie, ukryć je lub utrudniać próby jego zatrzymania. Nie musi to oznaczać złych intencji: AI może dążyć do realizacji wyznaczonego celu, lecz wyrządzić nieprzewidziane szkody.

Poziom zagrożenia zależy od tego, do czego dokładnie system ma dostęp, zaznaczył profesor. Konsekwencje mogą być poważniejsze, jeśli AI uzyska dostęp do wrażliwych informacji, operacji finansowych lub infrastruktury krytycznej.

W materiale Jerusalem Post, powołującym się na raport Metr, wskazano, że podczas zamkniętego ćwiczenia z zakresu cyberbezpieczeństwa 1 200 agentów odkryło lukę, która zapewniła im dostęp do internetu. Według doniesień agenci utworzyli tablicę wiadomości, wymienili łącznie 70 tysięcy wiadomości i błędnie zinterpretowali część z nich jako elementy pierwotnego zapytania. Romano podkreślił, że takie przypadki wskazują na potrzebę starannego sprawdzania niezawodności ograniczeń dla systemów AI.

Czytaj nas na Telegram i Sends