OpenAI发布事故报告指出，当前遭遇GPT-4o和4o-mini模型性能下降问题，目前正在进行调查，并将尽快发布最新消息。近期，科研人员创新性地推出了一项名为LONGPROC的基准测试工具，该工具专为评估模型在处理长上下文中的复杂信息并生成相应回复的能力而设计。
实验结果略显意外：包括GPT-4o在内的众多顶尖模型，虽然在常规长上下文回忆基准测试中表现优异，但在应对复杂的长文本生成任务时，仍暴露出显著的改进需求。
具体而言，尽管所有参测模型均宣称其上下文窗口大小超过32K tokens，但实际情况却大相径庭。开源模型在处理仅含2K tokens的任务时便显露疲态，而诸如GPT-4o等闭源模型，在应对8K tokens任务时性能也明显下滑。
以GPT-4o为例，在要求其生成详细旅行规划的任务中，即便提供了明确的时间节点和直飞航班信息，模型的输出结果中仍出现了不存在的航班信息，即产生了“幻觉”现象。
实验进一步揭示，即便是最前沿的模型，在生成连贯且冗长的内容方面仍存在较大提升空间。特别是在需要输出8k tokens的任务中，即便是参数庞大的先进模型也未能幸免于难，这或许预示着未来大型语言模型（LLM）研究的一个极具潜力的方向。
