新智元报道
新智元报道
数字「蝗灾」席卷学术界DiscoverLife是一个在线图像库，拥有近300万张珍贵的物种照片，是很多生物学家的科研生命线。然而，从今年2月开始，该网站每天都被数百万次异常访问淹没，页面加载缓慢，甚至彻底瘫痪。当你试图打开一张稀有昆虫的图片时，却只能面对「服务器繁忙」的提示。罪魁祸首是谁？不是黑客，也不是病毒，而是一群悄无声息的AI爬虫，正在疯狂「啃食」数据，为生成式人工智能「喂食」。这些大量抓取数据的爬虫，正困扰学术出版商与研究人员，尤其是运营期刊论文、数据库和其他资源网站的人。「现在的情况就像是西部大荒野，」PSI公司的首席执行官Andrew Pitts说。该公司为学术交流界提供经过验证的全球IP地址库，位于英国牛津。「最大的问题是访问量实在是太大了，给系统带来了巨大的压力。这不仅耗费资金，还干扰了真正的用户。」那些运营受到影响的网站正在想方设法阻止这些爬虫机器人，减少他们造成的干扰。但这绝非易事。特别是对资源有限的小机构来说。「如果这些问题得不到解决，一些小型机构可能会彻底消失。」德国斯图加特国家自然历史博物馆的动物学家Michael Orr表示。
爬虫程序泛滥互联网爬虫并非新生事物。几十年来，谷歌等搜索引擎的爬虫一直在扫描网页，助力信息检索。然而，生成式AI的崛起引发了「坏爬虫」的洪流。今年，位于伦敦的医学期刊出版商BMJ发现，其网站上的爬虫机器人流量已经超过了真实用户的流量。BMJ的首席技术官Ian Mulvany表示，这些机器人激进的行为导致服务器超载，正常客户的服务也因此中断。不只BMJ，Highwire Press（专攻学术出版的互联网托管服务提供商）的服务交付总监Jes Kainth直言：「我们观察到坏爬虫的流量激增，这已成为严重的问题。」开放获取知识库联合会（COAR）在四月份的报告中指出，在其调查的66个成员中，超过90%的成员表示曾遭遇AI爬虫抓取内容。其中大约三分之二的成员因此经历了服务中断。COAR执行主任Kathleen Shearer表示：「我们的知识库是开放获取的，所以某种程度上我们欢迎内容被再利用。但有些爬虫过于激进，正造成宕机等严重运营问题。」
为何盯上学术网站？数据是新石油。这句话在AI时代被演绎得淋漓尽致。LLM、图像生成器这些AI工具依赖海量高质量数据进行训练，而学术网站（期刊论文、数据库、开放知识库）成了「金矿」。因为这些网站内容权威、新鲜，且往往结构化良好。正如网络服务提供商Cloudflare副总裁Will Allen所言：「如果你的内容新颖或相关度高，对构建AI聊天机器人的开发者来说就是无价之宝。」这些爬虫往往通过匿名IP地址行动，绕过付费墙，甚至无视网站设置的robots.txt文件（用于规范爬虫行为）。Wiley出版社的高级副总裁Josh Jarrett表示，他们发现爬虫试图获取订阅内容。4月，Wiley还发布声明，强调未经授权的非法爬取不可接受。但精明的坏爬虫非常擅长绕过付费墙。
危机下的挣扎面对爬虫洪流，学术网站在奋力自救。但在许多情况下，限制机器人访问而不影响正常用户十分的困难。一种常见的方法是集成一个文件，告知机器人哪些行为被允许或禁止。但坏爬虫往往无视规则。另一种方法是全面封禁所有爬虫类似的行为，但这种一刀切的行为又可能误伤合法用户。Mulvany解释说，学者常通过代理服务器访问期刊（这意味着大量请求可能来自同一个IP地址），这种访问方式很像是机器人行为。「我们得找到一个平衡点，既要保护网站不被流量激增搞崩，又不能影响用户正常访问这些资源。」Mulvany表示。「这事真挺烦人的，得花不少精力来减少这些风险。」这些网站也可以屏蔽掉特定的爬虫程序，但需要首先区分善意和恶意爬虫。Cloudflare和PSI公司正努力识别坏爬虫，但新型AI爬虫层出不穷，难以完全遏制。「我们急需国际上达成关于AI公平使用和尊重这类资源的协议。」Orr表示。「否则，长远来看，这些工具将找不到可用的训练资源。」
文章原文
