OpenAI, Google и Microsoft поддержали новый стандарт для сайтов — The Verge

OpenAI, Google, Microsoft и Anthropic заявили о поддержке нового общего стандарта, который позволит издателям одной настройкой запретить ИИ-сканерам собирать материалы сайтов для обучения моделей. Об этом сообщает The Verge.

Единый сигнал в robots.txt

Стандарт предусматривает использование общего сигнала policy token в файле robots.txt. Этот файл давно применяется, чтобы сообщать веб-сканерам, могут ли они индексировать сайт для поиска, архивирования или обучения моделей искусственного интеллекта.

Сейчас владельцам сайтов приходится отдельно определять правила для инструментов каждой ИИ-компании. Новый механизм должен позволить применять одинаковые настройки к сканерам нескольких компаний одновременно.

Больше актуальных новостей — в Telegram-канале UA.News Telegram.

Когда компании добавят поддержку

Сигнал предложил Кевин Келли, технический руководитель по стандартам в Anthropic, в рамках Internet Engineering Task Force. Anthropic уже внедрила его поддержку. Google и Microsoft планируют добавить ее в 2027 году, а OpenAI заявила о намерении реализовать ее в течение ближайших месяцев.

Компании отметили, что их ИИ-сканеры не будут обращаться к сайтам, если обнаружат общий сигнал. Microsoft также планирует предоставить более детальные настройки: издатели смогут отдельно запретить использование контента для обучения ИИ или для подкрепления ответов модели проверенными источниками. В то же время, по данным Microsoft, такие сайты по-прежнему будут отображаться в результатах поиска Bing.

На фоне активного использования ИИ-сканеров издатели и технологические компании уже применяют другие инструменты защиты контента. В частности, стандарт Really Simple Licensing позволяет взимать плату со сканеров, а Cloudflare по умолчанию блокирует ИИ-сканеры.