新研究表明，随着大型语言模型越发强大，其虽回答更准确，但总体可靠性变差，错误答案比例升高。研究了OpenAI的GPT、Meta的LLaMA等模型，测试中它们在各种主题及任务中表现不一，总体上强大模型回答准确但难题表现不佳，且参与者对回答准确性判断也有错误。研究人员提出可让模型不急于回答一切，但可能暴露技术局限性。

🧐大型语言模型在变得强大的同时，可靠性却降低了。如OpenAI的GPT、Meta的LLaMA等模型，虽回答在很多情况下更准确，但总体上给出错误答案的比例比旧模型高，且在更难问题上准确率较低。

📝在测试中，这些模型被问及多种主题并执行相关任务。更大、更强大的模型虽能给出最准确答案，但在困难问题上表现欠佳，如LLaMA系列模型准确率难达60%，即使是最简单问题。

🤔当判断聊天机器人回答准确性时，一部分参与者有较高概率判断错误。而解决问题的简单方法是让模型不急于回答一切，但这可能会暴露技术局限性。

IT之家 9 月 29 日消息，一项新研究发现，随着大型语言模型（LLM）变得越来越强大，它们似乎也越来越容易编造事实，而不是避免或拒绝回答它们无法回答的问题。这表明，这些更聪明的 AI 聊天机器人实际上变得不太可靠。

IT之家注意到，该研究发表在《自然》杂志上，研究人员研究了一些业界领先的商业 LLM：OpenAI 的 GPT 和 Meta 的 LLaMA，以及由研究小组 BigScience 创建的开源模型 BLOOM。

研究发现，虽然这些 LLM 的回答在许多情况下变得更加准确，但总体上可靠性更差，给出错误答案的比例比旧模型更高。

瓦伦西亚人工智能研究所在西班牙的研究员 José Hernández-Orallo 对《自然》杂志表示：“如今，它们几乎可以回答一切。这意味着更多正确的答案，但也意味着更多错误的答案。”

格拉斯哥大学的科学和技术哲学家 Mike Hicks 对此进行了更严厉的评价，Hicks（未参与该研究）告诉《自然》杂志：“在我看来，这就像我们所说的胡说八道，它越来越擅长假装知识渊博。”

测试中，这些模型被问及了从数学到地理等各种主题，并被要求执行诸如按指定顺序列出信息等任务。总体而言，更大、更强大的模型给出了最准确的答案，但在更难的问题上表现不佳，其准确率较低。

研究人员称，一些最大的“撒谎者”是 OpenAI 的 GPT-4 和 o1，但所有被研究的 LLM 似乎都呈这种趋势，对于 LLaMA 系列模型，没有一个能够达到 60% 的准确率，即使是最简单的问题。

而当被要求判断聊天机器人的回答是准确还是不准确时，一小部分参与者有 10% 到 40% 的概率判断错误。

总之研究表明，AI 模型越大（就参数、训练数据和其他因素而言），它们给出错误答案的比例就越高。

研究人员称，解决这些问题最简单的方法是让 LLM 不那么急于回答一切。Hernández-Orallo 称：“可以设置一个阈值，当问题具有挑战性时，让聊天机器人说‘不，我不知道’。”但如果聊天机器人被限制为只回答它们知道的东西，可能会暴露技术的局限性。