蓝点网 2024年08月20日
知乎继续增强反爬措施:通过搜索引擎打开全页内容显示乱码必须刷新重新加载
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

知乎采取多种反爬措施,屏蔽除百度和搜狗外的搜索引擎,强制用户登录查看完整内容,导致搜索引擎显示乱码等情况,引发关注。

🧐知乎通过反爬措施识别爬虫UA标识,如谷歌搜索的爬虫会显示乱码内容,还禁止谷歌和必应搜索抓取内容,专栏内容也出现乱码,似乎是为防止内容被用于训练AI。

😮知乎增强反爬措施,用户通过搜索引擎打开知乎可能全页显示乱码,刷新可正常显示,说明知乎有目的性拦截,且强制用户登录查看完整内容也是反爬措施之一。

🙌对用户而言,解决此问题的简单方法是安装uBlacklist扩展程序,将知乎从搜索引擎结果中拉黑,避免出现知乎链接。

早前知乎已经屏蔽除百度和搜狗以外的所有搜索引擎,即其他搜索引擎爬虫不得抓取知乎的内容;知乎通过反爬措施识别可能是爬虫类的 UA 标识,例如谷歌搜索的爬虫都会显示乱码内容。

相关内容:

不过知乎现在还在继续增强反爬措施,即用户通过搜索引擎打开知乎都可能全页显示乱码内容,这种情况显然也是知乎正在保护自己的数据避免被抓取拿去训练 AI。

目前大多数搜索引擎都已经无法索引知乎的内容,但已经索引的历史内容会在搜索引擎里显示网址概览,如果用户不小心点击了就能发现出现乱码。

蓝点网经过多次测试几乎可以确认这是知乎故意施加的限制,因为在乱码页面只需要刷新就可以正常显示内容,这说明知乎是有目的性的拦截搜索引擎或其他爬虫,这些爬虫使用的通常是无头浏览器,用户使用的浏览器则是正常版本,因此在刷新时可以通过知乎的反爬策略。

另一方面知乎现在已经强制用户必须登录才能查看完整内容,这同样也是反爬措施之一,正常用户不可能短时间内浏览大量内容,而爬虫即便有一个或多个账户,在短时间内抓爬大量内容也可能会被风控系统检测到,毕竟这不属于正常用户的操作逻辑。

当然对用户来说其实解决这个问题也很简单,直接屏蔽知乎的全部域名即可,你可以安装 uBlacklist 扩展程序将知乎从任何搜索引擎结果中拉黑,这样搜索结果就再也不会出现知乎的链接了。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

知乎 反爬措施 搜索引擎 用户应对
相关文章