动点科技 2024年12月04日
美国哥伦比亚大学研究:ChatGPT 新闻搜索结果经常不准确
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

美国哥伦比亚大学的研究人员对OpenAI的ChatGPT搜索工具进行了测试,结果发现该工具在准确性方面存在问题。尽管ChatGPT声称可以快速提供答案并附带来源链接,但研究表明它在识别文章引用时表现不佳,甚至难以准确处理来自与OpenAI数据共享的出版商的内容。测试结果显示,ChatGPT的回答中错误或部分错误的比例很高,而完全正确的回答则较少。研究人员还发现ChatGPT存在错误归因、链接到剽窃网站等问题。OpenAI对此回应称解决错误归因很困难,并承诺会继续优化搜索结果。

🤔**ChatGPT搜索工具在准确性方面存在问题:** 研究人员测试发现,ChatGPT在识别文章引用时表现不佳,即使是来自与OpenAI数据共享的出版商的内容也难以准确处理。

⚠️**ChatGPT回答错误率高:** 测试结果显示,ChatGPT的153次回答完全或部分错误,仅有7次明确表示无法准确回答,错误率较高。

🚨**存在错误归因和链接到剽窃网站等问题:** 例如,ChatGPT错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章,还曾链接到剽窃《纽约时报》文章的网站。

💬**OpenAI回应称解决错误归因很困难,并承诺继续优化搜索结果:** OpenAI表示在缺乏测试数据和方法的情况下,解决问题存在困难,但会持续改进搜索功能。

📊**ChatGPT回答结果统计:** 测试中,ChatGPT的回答“错误”的占89次,“部分正确”有57次,而完全“正确”的只有47次。

美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ChatGPT 搜索工具 准确性 引用识别 人工智能
相关文章