IT之家 2024年07月25日
Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Reddit 近期禁止了其他搜索引擎抓取其网站内容,此举旨在防止滥用其内容,尤其是用于 AI 训练。尽管该平台与谷歌达成了一项价值 6000 万美元的协议,允许谷歌使用 Reddit 数据训练 AI 模型,但 Reddit 强调,此举与谷歌的合作无关,而是为了保护其内容不被滥用。

🤔 Reddit 更新了其 robots.txt 文件,禁止所有机器人抓取网站的任何内容。

Reddit 解释说,这一更改是由于“抓取 Reddit 内容的商业实体明显增多并且内容被滥用”。

🌎 Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影响,但 Bing 和 DuckDuckGo 已经重新显示“site:reddit.com”搜索内容。

🗣️ Reddit 发言人 Tim Rathschmidt 表示,此举与最近与谷歌的合作无关,而是为了保护其内容不被滥用。

🤝 Reddit 正在与多个搜索引擎进行讨论,但无法与所有人达成协议,因为有些人无法或不愿意就他们使用 Reddit 内容(包括他们对 AI 训练的使用)作出可执行的承诺。

IT之家 7 月 25 日消息,今年 2 月,谷歌宣布与 Reddit 达成一项新协议,Reddit 数据将用于训练谷歌的 AI 模型,并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称,这笔交易的金额约为 6000 万美元。从那时起,Reddit 在谷歌搜索中的展示次数也大幅增加。

而最新消息称,Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为,并指出 Reddit 已更新其 robots.txt 文件(IT之家注:网站与爬虫的协议文件),阻止所有机器人抓取网站的任何内容。

IT之家查询 Reddit 网站的 robots.txt 文件获悉,该平台称“Reddit 相信开放的互联网,但不相信滥用公共内容。”其“Disallow”选项设置为“/”,也就是禁止检索网站根目录下的所有文件。

该文件在今年 6 月首次更新,Reddit 解释说,这一更改是由于“抓取 Reddit 内容的商业实体明显增多并且内容被滥用”。

外媒 9To5Google 则称,Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影响,使用“site:reddit.com”搜索内容时,要么不显示最新内容,要么不显示完整的网站结果。

不过IT之家最新测试,Bing、DuckDuckGo 已重新显示“site:reddit.com”搜索内容

Reddit 发言人 Tim Rathschmidt 在给 The Verge 的一份声明中表示:“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论,但无法与所有人达成协议,因为有些人无法或不愿意就他们使用 Reddit 内容(包括他们对 AI 训练的使用)作出可执行的承诺。”

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Reddit 搜索引擎 robots.txt AI 训练 数据保护
相关文章