Cloudflare 首席执行官 Matthew Prince 警告称，生成式人工智能爬虫和摘要正在威胁互联网商业模式。搜索引擎和聊天机器人使用 AI 总结网页内容，导致网站访客数量显著减少。Cloudflare 正在开发对抗 AI 爬虫的新工具 AI Labyrinth，该工具通过引导机器人进入 AI 生成的链接迷宫来消耗其资源。尽管面临来自 Google、OpenAI 等巨头的挑战，Cloudflare 仍有保护客户的经验，并致力于维护互联网的健康发展。

🤖 AI 爬虫对网站流量的影响：搜索引擎和聊天机器人利用生成式 AI 总结网页内容，导致网站访客数量减少。例如，与传统 Google 抓取相比，OpenAI 和 Anthropic 的抓取与访问者比率差距巨大，反映了 AI 对网站流量的潜在影响。

📉 AI 摘要对用户行为的改变：用户越来越倾向于直接接受 AI 提供的答案，而减少了点击网页链接的行为。Google 的 AI 概览和 ChatGPT 等大型语言模型虽然尝试引用来源，但用户点击脚注的比例并未显著增加，这表明用户行为正在发生改变。

🛡️ Cloudflare 的应对策略：Cloudflare 推出 AI Labyrinth 工具，利用生成式 AI 应对 AI 爬虫。该工具通过引导机器人进入 AI 生成的链接迷宫，消耗其时间和计算资源，从而保护网站免受 AI 流量的侵扰。

💡 AI 带来的潜在风险：由于 AI 倾向于生成不准确或误导性信息，这种趋势具有潜在的危险性。Cloudflare 强调，保护客户，维护互联网的健康发展至关重要。

Cloudflare 首席执行官 Matthew Prince 最近重申了他的警告，称生成式人工智能爬虫和摘要威胁着互联网商业模式的根基。为了保护出版商免受大量几乎无法带来真实网站访问量的人工智能流量的侵扰，该公司正在研究对抗人工智能爬虫的方法。

上周，普林斯在戛纳的 Axios 活动上表示，搜索引擎和聊天机器人使用生成式人工智能来总结网页内容，这显著减少了许多网站的人类访客数量。即使与六个月前相比，这个问题也变得更加严重。

传统上，Google每抓取一个网站六次，就可能有一个人访问并可能看到广告。相比之下，OpenAI 的抓取工具的抓取率约为 250:1，Anthropic 的则为 6000:1。如今，Cloudflare 的首席执行官估计，Google的抓取率与访问者比率已降至 18:1，OpenAI 的则降至 1500:1，而 Anthropic 的则约为 60000:1。

这种下降可能是因为聊天机器人和搜索引擎现在节省了用户访问网站的精力。聊天机器人可以在用户无需离开聊天界面的情况下检索和汇总信息，而主流搜索引擎的人工智能概览现在可以在用户点击搜索结果之前提供答案。

Google首次推出AI概览时，声称这项技术将提升摘要内容原始来源的流量。同样，像ChatGPT这样的大型语言模型最近也开始在回复中引用来源，以帮助将流量引导回内容创作者。

然而，Prince声称，用户总体上并没有点击脚注。相反，许多人只是接受了 AI 的回答，因为过去六个月里，人们对这项技术的信任度不断增长。除了导致网站流量和收入下降之外，由于 AI 倾向于生成不准确或误导性信息，这种趋势还具有潜在的危险性。

对此，为网站提供网络安全解决方案的Cloudflare推出了一款名为AI Labyrinth的新工具。该工具旨在利用生成式人工智能对抗爬虫程序本身。

尽管网站可以包含阻止AI爬虫的指令，但许多机器人会绕过或忽略这些指令。当AI Labyrinth检测到此类行为时，它会引导机器人穿过AI生成的链接迷宫，而这些链接是人类不会合理遵循的，从而浪费机器人的时间和计算资源。

尽管对抗Google、微软和 OpenAI 等人工智能巨头似乎非常艰巨，但 Prince 强调，Cloudflare 在成功保护其客户方面有着良好的记录，甚至能够抵御来自强大国家政府的攻击。