IEEE 发表了一篇论文，对 ChatGPT 在代码生成任务中的表现进行了系统评估。研究使用了程序员常用的 LeetCode 题库作为数据集。结果显示，ChatGPT 在生成代码方面存在一些潜在问题和能力局限，这有助于我们改进模型并更好地利用 ChatGPT。研究人员测试了 GPT-3.5 在 5 种编程语言中解决 LeetCode 上的 728 个编码问题，以及应对 18 个常见缺陷枚举场景的能力。结果表明，ChatGPT 生成可用代码的能力差异很大，成功率从 0.66% 到 89% 不等。论文还指出，ChatGPT 在生成代码过程中，出现的潜在问题和局限性，进而改进生成技术。
媒体报道
| ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66% | 搜狐科技 |
|---|---|
| ChatGPT 无法取代人类程序员： IEEE 35 页论文测出困难编码正确率仅为 0.66% | IT 之家 |
| 35页论文告诉你，ChatGPT无法取代人类程序员 | 虎嗅网 |
事件追踪
| 2023-11-13 19:10:00 | ChatGPT等服务又出现故障，OpenAI称正调查原因 |
|---|
