OpenAI, Google i Microsoft poparły nowy standard dla stron internetowych — The Verge

OpenAI, Google, Microsoft i Anthropic ogłosiły poparcie dla nowego wspólnego standardu, który umożliwi wydawcom jednym ustawieniem zabronić skanerom AI zbierania materiałów ze stron na potrzeby szkolenia modeli. Poinformował o tym The Verge.

Jeden sygnał w robots.txt

Standard przewiduje wykorzystanie wspólnego sygnału policy token w pliku robots.txt. Plik ten od dawna służy do informowania robotów sieciowych, czy mogą indeksować stronę na potrzeby wyszukiwania, archiwizacji lub szkolenia modeli sztucznej inteligencji.

Obecnie właściciele stron muszą osobno określać zasady dla narzędzi każdej firmy AI. Nowy mechanizm ma umożliwić jednoczesne stosowanie tych samych ustawień wobec skanerów kilku firm.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Kiedy firmy dodadzą obsługę

Sygnał zaproponował Kevin Kelly, techniczny lider ds. standardów w Anthropic, w ramach Internet Engineering Task Force. Anthropic już wprowadził jego obsługę. Google i Microsoft planują dodać ją w 2027 roku, a OpenAI oświadczyło, że zamierza wdrożyć ją w ciągu najbliższych miesięcy.

Firmy zaznaczyły, że ich skanery AI nie będą uzyskiwać dostępu do stron, jeśli wykryją wspólny sygnał. Microsoft planuje również udostępnić bardziej szczegółowe ustawienia: wydawcy będą mogli osobno zakazać wykorzystywania treści do szkolenia AI lub do wspierania odpowiedzi modelu zweryfikowanymi źródłami. Jednocześnie, według Microsoftu, takie strony nadal będą wyświetlane w wynikach wyszukiwania Bing.

Wobec aktywnego wykorzystania skanerów AI wydawcy i firmy technologiczne już stosują inne narzędzia ochrony treści. W szczególności standard Really Simple Licensing umożliwia pobieranie opłat od skanerów, a Cloudflare domyślnie blokuje skanery AI.