OpenAI在Hugging Face上发布了多语言大规模多任务语言理解(MMMLU)数据集,旨在评估大型语言模型(LLMs)在各种任务中的性能,包括不同研究领域中的常识、推理、解决问题和理解能力。MMMLU数据集是涵盖范围广、考验深层认知的多语言数据集,支持简体中文等多样语言,可以进行跨语言的综合评估,弥补了NLP研究中代表性不足的语言模型的评估问题。
媒体报道
OpenAI 发布 MMMLU 数据集:更广、更深评估 AI 模型,支持简体中文 | IT 之家 |
---|---|
OpenAI新数据集MMMLU发布:覆盖更广更深,AI模型怎么测? | ITBear科技资讯 |
OpenAI发布MMMLU数据集:更广、更深评估AI模型,支持简体中文 | C114 通信网 |
事件追踪
2024-07-18 22:30:53 | OpenAI推出新款人工智能模型GPT-4o mini |
---|