OpenAI、Google和微软支持网站新标准——The Verge

OpenAI、Google、微软和Anthropic宣布支持一项新的共同标准，该标准将使出版商能够通过一项设置禁止AI爬虫收集网站材料用于训练模型。据The Verge报道。

robots.txt中的统一信号

该标准规定在robots.txt文件中使用统一的policy token信号。该文件长期以来一直用于告知网络爬虫，是否可以为搜索、存档或人工智能模型训练而索引网站。

目前，网站所有者必须分别为每家AI公司的工具制定规则。新机制应能让网站所有者同时对多家公司的爬虫应用相同设置。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

公司何时将增加支持

Anthropic标准技术负责人凯文·凯利在互联网工程任务组框架内提出了这一信号。Anthropic已经引入了对该信号的支持。Google和微软计划于2027年增加支持，而OpenAI表示打算在未来几个月内实施。

这些公司表示，如果其AI爬虫检测到该统一信号，将不会访问相关网站。微软还计划提供更详细的设置：出版商将能够分别禁止将内容用于AI训练，或用于以经核实的来源支撑模型回答。同时，据微软称，此类网站仍将显示在Bing搜索结果中。

在AI爬虫被积极使用的背景下，出版商和科技公司已经在采用其他内容保护工具。特别是，Really Simple Licensing标准可以向爬虫收费，而Cloudflare默认会拦截AI爬虫。