在众多对生成式人工智能进行过测试的领域中，法律领域或许是它最明显的短板。当阿迪・罗伯逊要求ChatGPT总结一份关于《通信规范法》第230条的裁决清单时，它竟遗漏了去年一整年的裁决。而去年发生的事，对这项法律的发展影响很大。
像ChatGPT这样的工具已经导致了律师受到处罚、专家当众出丑等尴尬的现象，因为它会依据编造的案例和不存在的研究文献生成法律文书。所以，当阿迪的同事获得ChatGPT“深度研究”功能的使用权限时，他的目标很明确：让这个号称功能强大的工具，来写一写人类经常误解的一项法律。
他让同事告诉ChatGPT：整理一份过去五年里，联邦法院和最高法院做出的与《通信规范法》第230条相关的裁决清单，并总结法官在解释该法律时出现的所有重大进展。
ChatGPT 展示其工作成果
好消息是：ChatGPT恰当地挑选并准确总结了一系列近期的法院裁决，且这些裁决都是真实存在的。一般的消息是：它遗漏了一些更宏观的要点，而称职的人类专家可能会提及这些要点。坏消息是：它忽略了去年整整一年的法律判决，而不幸的是，这些判决恰恰颠覆了该法律的现状。并且他在The Verge的至少两位同事拿到的报告，同样遗漏了去年有用的信息。
由于阿迪不是律师，所以他请了法律专家埃里克・戈德曼（Eric Goldman）来评估结果，他的博客是关于第230条新闻最可靠的来源之一。
拿到报告后，阿迪做的第一件事是核对每个法律案例的名称。有几个案例他已经熟悉，其他的也在ChatGPT之外进行了核实，它们看起来都是真实的。戈德曼也认同没有编造的案例，而且ChatGPT选择纳入的案例也合理。
但最大的问题是，ChatGPT的报告标题宣称涵盖2019年至2024年，然而它提到的最新案例是在 2023 年裁决的，之后它冷静地得出结论，称该法律仍然是 “强有力的保护屏障”，其界限正在 “完善”。一个外行很容易认为这意味着去年什么都没发生。而了解情况的读者会意识到出了大问题。
“2024年对第230条来说是动荡的一年，”戈德曼指出。这期间，第三巡回上诉法院出人意料地做出裁决，拒绝给予 TikTok 该法律的保护，此外还有几项裁决可能会大幅缩小该法律的适用范围。
戈德曼本人在年中宣称，在大量案件和更大规模的政治攻击下，第230条正在迅速衰落。到2025年初，他写道，如果该法律能撑到2026年，他会“感到震惊”。并非所有人都如此悲观，但在过去一年里，戈德曼与多位法律专家交谈过，他们都认为第230条的保护屏障正变得不那么牢不可破。至少像第三巡回上诉法院对TikTok案的判决这类观点，“肯定” 应该纳入过去五年该法律“任何恰当的评估”中。
结果是，ChatGPT的输出有点像一份关于2002年至2007年手机发展趋势的报告，却以黑莓手机的崛起作为结尾：事实并无错误，但遗漏的内容确实改变了整个故事的走向。
阿迪不确定他的测试对“深度研究”功能的整体实用性有多大代表性，但可以说，ChatGPT在复杂的技术解释方面表现出色，却在描绘全局上失败了。
作为一项技术，深度研究给阿迪留下了深刻印象。但从目前他有限的视角来看，它可能仍然是为那些愿意相信它的人准备的产品，而不是为那些只希望它能切实发挥作用的人准备的。
深度研究是OpenAI的一项新功能，旨在针对特定主题生成复杂且成熟的报告；要获得 “不限量” 访问权限，需订阅每月200美元的ChatGPT专业版。与最基础版的ChatGPT不同，基础版依赖有截止日期的训练数据，而这个系统会在网络上搜索最新信息来完成任务。
