以色列AI芯片初创公司Hailo宣布其第二代AI加速器芯片Hailo-10H全面上市，该芯片专为边缘设备设计，号称是首款将生成式AI性能带到边缘且能耗极低的产品。Hailo-10H拥有强大的INT4和INT8运算性能，同时功耗仅为2.5瓦，相比之下，英伟达同类产品功耗更高。该芯片支持自然语言人机交互、视觉感知等多模态AI应用，并已与惠普等公司合作，旨在满足边缘环境的功率和成本限制，实现低延迟的AI推理。

🌟 Hailo-10H芯片定位为边缘AI的生成式AI解决方案，实现了低功耗下的高性能运算。其INT4运算性能达到40 TOPS，INT8运算性能为20 TOPS，而功耗仅为2.5瓦，这在功耗敏感的边缘设备领域具有显著优势。

🚀 相较于竞争对手英伟达Jetson Orin Nano，Hailo-10H在能耗方面表现突出。尽管英伟达芯片的INT8性能更高，但其功耗范围远高于Hailo-10H，使得Hailo-10H在需要长时间运行和有限供电的边缘场景下更具吸引力。

💡 Hailo-10H支持多种高级AI用例，包括自然语言人机交互、视觉感知和多模态AI。其性能基准测试显示，在处理语言和视觉语言模型时，能够实现低于1秒的首词元延迟和每秒超过10个词元的处理速度，为边缘AI应用提供了强大的支持。

🤝 Hailo已与惠普、戴尔等OEM厂商以及分销商建立广泛的合作伙伴关系，并拥有成熟且广泛采用的软件堆栈，这为Hailo-10H的推广和应用奠定了坚实的基础，能够与现有设备无缝集成。

💰 该芯片的优势还体现在成本效益上，旨在帮助企业在边缘环境中以更低的成本实现强大的生成式AI能力，满足消费、企业和汽车市场的多样化需求。

NVIDIA 的竞争对手 Hailo 周二宣布其第二代 AI 加速器芯片全面上市，称该产品是同类产品中第一款“将真正的生成式 AI 性能带到边缘”且能耗极低的产品。以色列人工智能芯片初创公司 Hailo 表示，Hailo-10H 芯片能够实现每秒 40 万亿次 (TOPS) 的 4 位整数 (INT4) 运算性能，以及每秒 20 万亿次 (TOPS) 的 8 位整数 (INT8) 运算性能，功耗仅为 2.5 瓦。

相比之下，英伟达的 Jetson Orin Nano 芯片的 INT8 运算性能最高可达 67 万亿次，是 INT4 的两倍，但功耗范围为 7-25 瓦。

Hailo-10H 专为消费、企业和汽车市场的边缘设备而设计，结合了“高效率、高成本效益和强大的软件生态系统”，并由其“成熟且广泛采用的软件堆栈”提供支持，据该初创公司称，每月有超过 10000 名用户使用该软件堆栈。

采用 Hailo-10H 的公司包括惠普公司，该公司使用该芯片作为HP AI Accelerator M.2 卡的基础，该卡可以与 HP 点对点销售服务以及 HP 工作站和商用 PC“无缝”集成。

该初创公司表示，Hailo-10H 可以实现自然语言人机交互、视觉感知和多模式人工智能等高级用例在边缘环境典型的功率和成本限制内无缝运行。”

该初创公司表示，在 Hailo 进行的性能基准测试中，该芯片在各种 20 亿参数语言和视觉语言模型中实现了“第一个词元延迟低于 1 秒，每秒超过 10 个词元”。

Hailo 是挑战 NVIDIA 的几家 AI 芯片初创公司之一，其合作伙伴范围广泛，包括惠普、戴尔和研华等 OEM 厂商，以及 J-Squared Technologies 和 Kaga Fei America 等分销商。

查看评论