清华大学与清程极智联合开源大模型推理引擎“赤兔Chitu”，解决了FP8精度模型对英伟达Hopper架构的硬件依赖，实现了在非英伟达GPU及国产芯片上的原生运行。在A800集群测试中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升3.15倍，大幅降低硬件成本并提高性能。该引擎的智能优化技术能够快速适配不同芯片架构，简化国产厂商的软件开发流程。目前，清程极智已与多家厂商合作，推出推理一体机，应用于金融、医疗等领域，旨在推动国内AI生态建设。

🚀“赤兔Chitu”首次突破性地实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，打破了对特定硬件的依赖。

💰在A800集群的测试中，赤兔引擎通过优化，能够在GPU使用量减少50%的情况下，将推理速度提升3.15倍，从而显著降低企业的硬件成本。

⚙️赤兔引擎具备智能优化技术，能够快速适配不同的芯片架构，使得国产芯片厂商无需进行重复的软件开发，从而能够更专注于硬件的升级和创新。

🤝清程极智已与沐曦、燧原等厂商展开合作，推出了“开箱即用”的推理一体机，方便用户在金融、医疗等多个行业进行应用。

快科技3月14日消息，据报道，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，解决了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依赖。

在A800集群的测试中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升了3.15倍，显著降低了企业的硬件成本，同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构，使国产厂商无需重复开发软件，专注于硬件升级。目前，清程极智已与沐曦、燧原等厂商合作，推出“开箱即用”的推理一体机，广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步，将为行业提供更高效、更灵活的技术支持。