Cloudflare推出名为AI Labyrinth的功能，利用AI生成内容干扰不遵守“禁止爬取”声明的恶意爬虫。该功能通过设置隐藏链接，引导爬虫进入由AI生成的虚假页面，消耗其时间和资源，避免了直接对抗。AI Labyrinth帮助Cloudflare更好地了解恶意爬虫的行为特征，并向所有用户开放，包括免费用户。

🕵️ Cloudflare的AI Labyrinth功能旨在通过AI生成内容，干扰不遵守“禁止爬取”声明的AI爬虫和其他恶意内容爬取机器人。

🔗 AI Labyrinth的工作原理是在页面中设置人类用户无法看到或点击的隐藏链接，只有恶意爬虫才会注意到这些链接。

🤖 这些隐藏链接指向一系列由AI生成的页面，导致爬虫将时间和资源浪费在虚假网站上，而非真实内容。

🔍 AI Labyrinth 使 Cloudflare 能够更好地了解恶意爬虫的行为特征，从而为机器人识别提供数据基础。

✅ 该功能向包括免费客户在内的所有 Cloudflare 用户开放。

IT之家 3 月 21 日消息，网络服务商 Cloudflare 当地时间本月 19 日发布了一项名为 AI Labyrinth 的有趣功能：利用 AI 生成内容以非禁止的方式干扰不遵守“禁止爬取”声明的 AI 爬虫和其它恶意内容爬取机器人。

IT之家注：Labyrinth 一词的含义即“迷宫”。

根据 Cloudflare 的观察，直接硬性禁止恶意爬虫容易激起爬取和反爬两方无休止的“军备竞赛”，与其陷入一场漫长的对抗中不如让爬虫“以为”得到了真实的内容实际上却一无所获。

AI Labyrinth 的具体运作方式是在页面中设置人类使用者无法看到或点击的隐藏链接，仅有恶意爬虫才会注意到它们。而这些链接指向一系列由 AI 生成的页面，爬虫的时间和资源会浪费在这些非真实网站中。

这一功能也意味仅有恶意 AI 爬虫才会陷入到 AI Labyrinth 编织的内容迷宫中，Cloudflare 能更好了解这些爬虫的行为特征，从而为机器人识别提供数据基础。

Cloudflare 表示 AI Labyrinth 向包括免费客户在内的全部使用者提供。