微软投资的硅谷初创公司d-Matrix近日宣布其首款人工智能芯片Corsair开始出货。Corsair在AI推理方面表现出色，尤其是在处理大型权重数据集时，其独特的数字存算一体（DIMC）技术架构有效降低了延迟和能耗。该芯片拥有超高内存带宽和计算能力，性能远超GPU等传统方案，为AI推理提供了更优的解决方案。Corsair采用行业标准PCIe接口，并通过DMX Bridge卡连接，具有高性能、高能效和低成本等优势，有望推动AI推理应用的发展。

🚀 **Corsair芯片开始出货，性能卓越：**d-Matrix公司研发的Corsair AI芯片开始出货，在单台服务器中为Llama3 8B提供每秒处理60000个tokens的性能，每个tokens的延迟仅为1毫秒，性能远超GPU等方案。

💡 **DIMC技术架构降低延迟和能耗：**Corsair芯片采用数字存算一体（DIMC）技术架构，将计算移动到内存附近，有效降低了数据传输延迟和能耗，尤其适用于AI推理场景，因为推理需要反复访问大型权重数据集。

📊 **超高内存带宽和计算能力：**得益于DIMC技术，Corsair芯片可提供150TB/s的超高内存带宽，交互速度提高了10倍，能效提高了3倍，并具有2400 TFLOP的8位峰值计算能力。

🔌 **行业标准接口和灵活连接：**Corsair芯片采用行业标准PCIe Gen5接口，通过DMX Bridge卡连接成对的卡，方便集成到现有系统中，提升AI推理应用的部署效率。

💰 **性能、能效和成本优势：**与GPU和其他替代方案相比，Corsair芯片在性能、能源效率和成本方面都具有显著优势，为AI推理应用提供了更经济高效的解决方案。

快科技11月20日消息，微软投资的硅谷初创公司d-Matrix近日宣布，其首款人工智能芯片Corsair开始出货。

d-Matrix表示Corsair在单台服务器中为Llama3 8B提供每秒处理60000个tokens的性能，每个tokens的延迟为1毫秒。

该公司声称，与GPU和其他替代方案相比，Corsair提供了性能、能源效率和成本节省。

对于AI推理运算，数据传输是最大的瓶颈，它需要大量内存，也需要非常快的内存，但两者却很难兼顾。

目前的解决方案主要有三种，第一种是通过采样和流水线减少处理的数据量来加速深度学习，但也限制了准确性和精确性。

第二种是在传统的处理器附近设置专用AI引擎的处理器，苹果、英伟达、Intel和AMD都采用这种方式，但这要集成SRAM和外部DRAM，仍然是高能耗和低效率。

第三种是将计算移动到内存附近，也就是d-Matrix采用的方法，这种叫数字存算一体（DIMC）的技术架构降低了延迟，减少了消耗。

因此非常适合AI推理，因为推理会涉及一个相对静态（但大型）的权重数据集，这个数据集被反复访问，DIMC消除了大部分能量转移费用和数据移动的延迟。

得益于DIMC，Corsair可提供150TB/s的超高内存带宽，交互速度提高了10倍，能效提高了3倍。

其他方面，Corsair芯片采用行业标准的PCIe Gen5全高全长卡外形，通过DMX Bridge卡连接成对的卡。

每张Corsair卡都由多个DIMC计算核心驱动，具有2400 TFLOP的8位峰值计算能力、2GB的集成性能内存和高达256GB的片外容量内存。