IT之家 2024年12月12日
谷歌最强 TPU Trillium 芯片商用:性能提升 4.7 倍、内存带宽翻番、节能 67%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌正式向Google Cloud客户开放第六代TPU Trillium,旨在推动AI模型发展。Trillium是Google Cloud AI超级计算机的关键组件,具备强大的计算能力、高效的性能和可持续特性。相比上一代,Trillium在训练性能上提升4倍以上,推理吞吐量提升高达3倍,峰值计算性能提升4.7倍,能源效率提高67%。其近乎线性的扩展能力,配合高速芯片互连和Jupiter数据中心网络,显著加快大型模型训练速度,为AI领域带来新的突破。

🚀Trillium TPU是谷歌推出的第六代张量处理单元,专为加速AI工作负载而设计,是Google Cloud AI超级计算机的核心组件。

📈性能方面,Trillium TPU相比上一代产品实现了显著提升,训练性能提升超过4倍,推理吞吐量提升高达3倍,峰值计算性能提升4.7倍。

⚡️在能效方面,Trillium TPU的能源效率提高了67%,每美元训练性能提升高达2.5倍,推理性能提升高达1.4倍,体现了谷歌在可持续发展方面的努力。

🔗Trillium具备近乎线性的扩展能力,单个Jupiter网络结构可容纳10万个Trillium芯片,配合高速芯片互连和Jupiter数据中心网络,显著加快大型模型训练速度。

🌐在训练GPT3-175b模型时,即使跨数据中心网络运行,24个Pod(6144个芯片)也能达到94%的扩展效率,展现了Trillium在处理大规模AI任务时的强大能力。

IT之家 12 月 12 日消息,谷歌今天(12 月 12 日)发布博文,宣布正式向 Google Cloud 客户开放第六代 TPU Trillium,希望凭借大的计算能力、高效的性能和可持续特性,更好推动 AI 模型发展。

Trillium TPU 是 Google Cloud AI 超级计算机(AI Hypercomputer)的关键组件,是一种突破性的超级计算机架构,采用了一个由性能优化的硬件、开放软件、领先的机器学习框架和灵活的消费模型组成的集成系统。

IT之家曾于今年 5 月报道,在 I/O 开发者大会上,谷歌正式宣布 Trillium TPU。官方称相比上一代,Trillium TPU 在训练性能上提升 4 倍以上,推理吞吐量提升高达 3 倍,峰值计算性能提升 4.7 倍。

在效率方面,Trillium TPU 能源效率提高 67%,每美元训练性能提升高达 2.5 倍,推理性能提升高达 1.4 倍。

在规模扩展方面,单个 Jupiter 网络结构可容纳 10 万个 Trillium 芯片,双倍的 HBM 容量和 ICI 带宽,支持大规模 AI 训练。

官方称 Trillium 近乎线性的扩展能力,配合高速芯片互连和 Jupiter 数据中心网络,显著加快大型模型训练速度,在训练 gpt3-175b 模型时,即使跨数据中心网络运行,24 个 Pod(6144 个芯片)也能达到 94% 的扩展效率。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

谷歌 Trillium TPU 人工智能 云计算 AI超级计算机
相关文章