IT之家 2024年08月06日
NEO Semiconductor 发布 HBM 内存技术 3D X-AI ,宣称 AI 处理能力可达现有方案百倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

NEO Semiconductor发布3D X-AI芯片技术,称其可实现百倍于目前HBM内存方案的AI处理能力,功耗降低99%,该技术是两项技术的结合,具有诸多优势。

💻3D X-AI芯片技术采用3D DRAM技术构建HBM内存的DRAM Die,单个芯片含300层3D DRAM单元,整体容量达128Gb,12层堆叠后可实现192GB单堆栈容量,能存储更大的AI模型,远超目前的HBM3(E)内存。

🧠在DRAM Die中引入本地处理器,每个3D X-AI芯片配备一层神经回路单元,包含8000个神经元电路,可直接在3D内存内部执行AI处理,大幅减少数据传输至GPU产生的功耗,提升处理吞吐量。

📈NEO Semiconductor创始人指出当前AI芯片架构存在问题,数据存储和处理分离使数据总线成为性能瓶颈,而3D X-AI可在每个HBM芯片中执行人工智能处理,减少数据传输,提高性能并显著降低功耗。

IT之家 8 月 6 日消息,NEO Semiconductor 当地时间本月 5 日发布了 3D X-AI 芯片技术,宣称该技术可实现目前 HBM 内存方案百倍的 AI 处理能力,同时功耗也可降低 99%。

IT之家注意到,3D X-AI 可理解为两项技术的结合:其采用 3D DRAM 技术构建 HBM 内存的 DRAM Die,以实现更高容量;同时在 DRAM Die 中引入本地处理器,类似于此前提出的 PIM 概念

在前一项技术上,单个 3D X-AI 芯片包含 300 层 3D DRAM 单元,整体容量达 128Gb,12 层堆叠后可实现 192GB 的单堆栈容量,允许存储更大的 AI 模型。而目前的 HBM3 (E) 内存最大单堆栈容量仅有 36GB。

而在后一项技术上,NEO Semiconductor 称其每个 3D X-AI 芯片均配备一层神经回路单元,包含 8000 个神经元电路,可直接在 3D 内存内部执行 AI 处理,大幅减少了数据传输至 GPU 产生的功耗。

NEO Semiconductor 预计每层神经回路单元可提供 10TB/s 的 AI 处理吞吐量,对于 12 层堆叠的 3D X-AI 内存堆栈而言就是 120TB/s,较传统方案提升了 100 倍。

NEO Semiconductor 创始人兼首席执行官 Andy Hsu 表示:

由于架构和技术效率低下,当前的 AI 芯片浪费了大量的性能和功率。

目前的 AI 芯片架构将数据存储在 HBM 中,并依靠 GPU 执行所有计算。这种数据存储和数据处理分离的架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限、功耗飙升。

3D X-AI 可以在每个 HBM 芯片中执行人工智能处理。这可以大幅减少 HBM 和 GPU 之间的数据传输,从而提高性能并显著降低功耗。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

3D X-AI 芯片 AI 处理能力 3D DRAM 技术 降低功耗
相关文章