Cloudflare 首席执行官 Matthew Prince 最近重申了他的警告，称生成式人工智能爬虫和摘要威胁着互联网商业模式的根基。为了保护出版商免受大量几乎无法带来真实网站访问量的人工智能流量的侵扰，该公司正在研究对抗人工智能爬虫的方法。
上周，普林斯在戛纳的 Axios 活动上表示，搜索引擎和聊天机器人使用生成式人工智能来总结网页内容，这显著减少了许多网站的人类访客数量。即使与六个月前相比，这个问题也变得更加严重。
传统上，Google每抓取一个网站六次，就可能有一个人访问并可能看到广告。相比之下，OpenAI 的抓取工具的抓取率约为 250:1，Anthropic 的则为 6000:1。如今，Cloudflare 的首席执行官估计，Google的抓取率与访问者比率已降至 18:1，OpenAI 的则降至 1500:1，而 Anthropic 的则约为 60000:1。
这种下降可能是因为聊天机器人和搜索引擎现在节省了用户访问网站的精力。聊天机器人可以在用户无需离开聊天界面的情况下检索和汇总信息，而主流搜索引擎的人工智能概览现在可以在用户点击搜索结果之前提供答案。
Google首次推出AI概览时，声称这项技术将提升摘要内容原始来源的流量。同样，像ChatGPT这样的大型语言模型最近也开始在回复中引用来源，以帮助将流量引导回内容创作者。
然而，Prince声称，用户总体上并没有点击脚注。相反，许多人只是接受了 AI 的回答，因为过去六个月里，人们对这项技术的信任度不断增长。除了导致网站流量和收入下降之外，由于 AI 倾向于生成不准确或误导性信息，这种趋势还具有潜在的危险性。
对此，为网站提供网络安全解决方案的Cloudflare推出了一款名为AI Labyrinth的新工具。该工具旨在利用生成式人工智能对抗爬虫程序本身。
尽管网站可以包含阻止AI爬虫的指令，但许多机器人会绕过或忽略这些指令。当AI Labyrinth检测到此类行为时，它会引导机器人穿过AI生成的链接迷宫，而这些链接是人类不会合理遵循的，从而浪费机器人的时间和计算资源。
尽管对抗Google、微软和 OpenAI 等人工智能巨头似乎非常艰巨，但 Prince 强调，Cloudflare 在成功保护其客户方面有着良好的记录，甚至能够抵御来自强大国家政府的攻击。
