以色列AI芯片初创公司Hailo宣布其第二代AI加速器芯片Hailo-10H全面上市，号称是首款将生成式AI性能带到边缘且能耗极低的产品。该芯片提供强大的INT4和INT8运算性能，功耗仅为2.5瓦，专为消费、企业和汽车市场的边缘设备设计。与英伟达的Jetson Orin Nano相比，Hailo-10H在特定性能上具有优势，并结合了高效率、成本效益和成熟的软件生态系统。惠普已将其集成到HP AI Accelerator M.2卡中，用于工作站和商用PC。Hailo-10H旨在实现自然语言人机交互、视觉感知等多模态AI应用在边缘的流畅运行，并在性能基准测试中展现了优异的低延迟和高吞吐量表现。

💡 **Hailo-10H芯片的革命性定位**：Hailo公司推出的第二代AI加速器芯片Hailo-10H，被定位为同类产品中首款能够将真正的生成式AI性能引入边缘计算设备，同时保持极低的能耗。这标志着在边缘AI领域的一次重要技术突破，为在资源受限的环境下运行复杂的AI模型提供了新的解决方案。

🚀 **卓越的性能与能效表现**：Hailo-10H芯片实现了每秒40万亿次（TOPS）的4位整数（INT4）运算性能和每秒20万亿次（TOPS）的8位整数（INT8）运算性能，而其功耗仅为2.5瓦。与竞争对手英伟达的Jetson Orin Nano芯片相比，虽然英伟达的芯片在INT8性能上更高，但Hailo-10H在能耗效率上表现出显著优势，尤其是在INT4性能上。

🌐 **广泛的应用场景与生态系统支持**：该芯片专为消费、企业和汽车市场的边缘设备而设计，能够支持自然语言人机交互、视觉感知和多模式AI等高级用例。Hailo公司还强调其“成熟且广泛采用的软件堆栈”，每月有超过10000名用户使用，并已与惠普、戴尔、研华等OEM厂商建立合作关系，显示出其强大的生态系统支持和市场潜力。

⏱️ **生成式AI性能的边缘化突破**：在性能基准测试中，Hailo-10H芯片在多种20亿参数的语言和视觉语言模型上，实现了“第一个词元延迟低于1秒，每秒超过10个词元”的惊人表现。这表明其在处理生成式AI任务时，能够有效降低延迟并提升吞吐量，使更复杂的生成式AI应用能够在边缘设备上流畅运行。

NVIDIA 的竞争对手 Hailo 周二宣布其第二代 AI 加速器芯片全面上市，称该产品是同类产品中第一款“将真正的生成式 AI 性能带到边缘”且能耗极低的产品。以色列人工智能芯片初创公司 Hailo 表示，Hailo-10H 芯片能够实现每秒 40 万亿次 (TOPS) 的 4 位整数 (INT4) 运算性能，以及每秒 20 万亿次 (TOPS) 的 8 位整数 (INT8) 运算性能，功耗仅为 2.5 瓦。

相比之下，英伟达的 Jetson Orin Nano 芯片的 INT8 运算性能最高可达 67 万亿次，是 INT4 的两倍，但功耗范围为 7-25 瓦。

Hailo-10H 专为消费、企业和汽车市场的边缘设备而设计，结合了“高效率、高成本效益和强大的软件生态系统”，并由其“成熟且广泛采用的软件堆栈”提供支持，据该初创公司称，每月有超过 10000 名用户使用该软件堆栈。

采用 Hailo-10H 的公司包括惠普公司，该公司使用该芯片作为HP AI Accelerator M.2 卡的基础，该卡可以与 HP 点对点销售服务以及 HP 工作站和商用 PC“无缝”集成。

该初创公司表示，Hailo-10H 可以实现自然语言人机交互、视觉感知和多模式人工智能等高级用例在边缘环境典型的功率和成本限制内无缝运行。”

该初创公司表示，在 Hailo 进行的性能基准测试中，该芯片在各种 20 亿参数语言和视觉语言模型中实现了“第一个词元延迟低于 1 秒，每秒超过 10 个词元”。

Hailo 是挑战 NVIDIA 的几家 AI 芯片初创公司之一，其合作伙伴范围广泛，包括惠普、戴尔和研华等 OEM 厂商，以及 J-Squared Technologies 和 Kaga Fei America 等分销商。