IT之家 05月29日 06:28
AI 搜索“毒化”现实:模型崩溃隐忧,从神器到“垃圾输出”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

文章探讨了以Perplexity为代表的AI搜索工具在版本迭代后,搜索结果质量下降的问题。尽管这些工具最初表现优于传统搜索引擎,但现在经常引用不可靠的数据来源,甚至出现“模型崩溃”现象。文章分析了错误累积、稀有数据丢失和反馈循环是导致这一问题的主要原因,并指出检索增强生成(RAG)技术也未能完全解决问题。文章最后强调了用户和企业过度依赖AI生成内容带来的风险,以及“垃圾输入、垃圾输出”现象的普遍存在。

🔍 AI搜索工具面临“模型崩溃”:文章指出,以Perplexity为代表的AI搜索工具,在版本更迭后,搜索结果质量下降,出现“模型崩溃”现象,导致搜索结果引用不可靠来源。

💡 模型崩溃的三大主因:错误累积、稀有数据丢失以及反馈循环是导致AI搜索质量下降的主要原因。错误累积使模型继承并放大缺陷;稀有数据丢失使罕见事件和概念模糊;反馈循环则强化狭窄模式,输出重复或偏见内容。

🛡️ RAG技术未能完全解决问题:尽管检索增强生成(RAG)技术被广泛应用以提升AI表现,但包括GPT-4o、Claude-3.5-Sonnet等领先模型仍会输出错误结果,甚至增加了泄露客户隐私数据的风险。

⚠️ 警惕AI“垃圾输入、垃圾输出”现象:用户和企业过度依赖AI生成内容,导致“垃圾输入、垃圾输出”(GIGO)现象普遍存在,从学生作业到伪造科研论文,AI生成内容质量堪忧。

IT之家 5 月 29 日消息,科技媒体 theregister 昨日(5 月 28 日)发布博文,报道称以 Perplexity 为代表的 AI 搜索工具虽然表现要优于谷歌等传统搜索引擎,但在不断地版本更迭后,搜索结果质量不升反降,AI 模型崩溃(model collapse)现象正在显现。

该媒体指出以 Perplexity 为代表的 AI 搜索工具曾被视为传统搜索引擎的强力替代品,其搜索结果一度比谷歌更精准。

不过近期不少用户发现,AI 搜索反馈的硬数据(如市场份额或财务数据等),并未来自权威的美国证券交易委员会(SEC)要求的 10-K 年度报告,常常引用不可靠来源。用户若不明确指定数据来源,得到的结果往往令人费解。

IT之家援引博文介绍,这种问题并非 Perplexity 独有,主流 AI 搜索机器人均存在类似“可疑”结果的现象。

该媒体认为 AI 搜索质量下降的根源,在于“模型崩溃”(model collapse),即 AI 系统因依赖自身输出训练,导致准确性、多样性和可靠性逐步丧失。错误累积、稀有数据(tail data)丢失以及反馈循环是三大主因。

错误累积让每一代模型继承并放大前代的缺陷;稀有数据丢失使罕见事件和概念逐渐模糊;反馈循环则强化狭窄模式,输出重复或偏见内容。

为提升 AI 表现,检索增强生成(RAG)技术被广泛应用,让大型语言模型(LLMs)从外部数据库提取信息,减少“幻觉”(hallucination)现象。

然而,彭博社研究发现,即便采用 RAG,包括 GPT-4o、Claude-3.5-Sonnet 等 11 个领先模型在处理 5000 多个有害提示时,仍会输出错误结果。更糟糕的是,RAG 增加了泄露客户隐私数据、生成误导性市场分析及偏见投资建议的风险。

AI 模型崩溃的后果正在加速显现。用户和企业为追求效率,倾向于依赖 AI 生成内容,而非投入人力创作高质量内容。从学生作业到伪造科研论文,甚至虚构小说,AI 的“垃圾输入、垃圾输出”(Garbage In / Garbage Out,GIGO)现象无处不在。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI搜索 模型崩溃 信息可靠性 RAG技术 GIGO
相关文章