AMD发布新闻稿称，Instinct MI300X GPU在采用开源ROCm情况下，于MLPerf Inference v4.1比赛中获佳绩，并与英伟达H100 GPU进行对比。

🎯AMD Instinct MI300X GPU在MLPerf Inference v4.1中表现优异，使用多种神经网络测量推理性能。从LLama2 - 70B的性能结果看，在不同CPU上运行的服务器和离线场景均有不错表现。

📈AMD的第5代EPYC“Turin”CPU与Genoa CPU平台相比，在服务器和离线场景的性能有所提升。与英伟达H100相比，Instinct MI300X在服务器性能方面稍慢，离线情况差距较大，但Turin配置在服务器场景中有一定优势。

💪AMD强调Instinct MI300X AI加速器的内存优势，其提供的内存可满足各种数据格式的最大语言模型要求，远超英伟达H100平台。

IT之家 8 月 29 日消息，AMD 昨日（8 月 28 日）发布新闻稿，公布其 Instinct MI300X GPU 在采用最新开源 ROCm 情况下，在 MLPerf Inference v4.1 比赛中取得了优异成绩，并对比了英伟达的 H100 GPU。

MLPerf 简介

IT之家注：MLPerf 基准测试由来自学术界、研究实验室和行业的 AI 领导者联盟 MLCommons 开发，旨在对硬件、软件和服务的训练和推理性能进行无偏评估。

它们都在规定的条件下进行。为了保持在行业趋势的前沿，MLPerf 不断发展，定期举行新的测试，并添加代表 AI 技术水平的新工作负载。

MLPerf Inference v4.1 使用 7 种不同的神经网络（包括 LLM、自然语言处理、计算机视觉和医学影像分割）来测量推理性能。

测试结果

从 LLama2-70B 的性能结果来看，AMD 在 EPYC Genoa CPU 上运行的服务器和离线场景分别达到了 21028 token / s 和 23514 token / s。

而采用相同 Instinct 配置的第 5 代 EPYC “Turin” CPU 在服务器和离线场景分别达到了 22021 token / s 和 24110 token / s。与 Genoa CPU 平台相比，分别提高了 4.7% 和 2.5%。

与英伟达 H100 相比，Instinct MI300X 在服务器性能方面稍慢，而在离线情况下差距则越来越大。Turin 配置在服务器场景中的速度最终快了 2%，但在离线场景中落后了。

最后，AMD 强调了其 Instinct MI300X AI 加速器提供的内存优势，该优势远远超过英伟达 H100 平台。MI300X 提供的内存足以满足各种数据格式的最大语言模型的要求。