第四范式推出ModelHub AIoT，一款大模型推理端侧解决方案，旨在帮助用户在端侧轻松部署和运行如DeepSeek R1、Qwen 2.5、Llama 2/3等小尺寸蒸馏模型。该方案支持离线运行和灵活的模型切换，兼顾了模型压缩和推理性能，有效解决了部署和优化的复杂性。ModelHub AIoT不仅满足了用户对隐私和实时性的需求，还显著降低了AI大模型推理的成本，为用户带来更高效、安全和经济的AI应用体验。

🚀 **端侧低延时运行**：ModelHub AIoT优秀的端侧推理框架，在端侧算力的支持下，展现出卓越的性能与适配性，模型本地即时处理请求，提供流畅的用户体验，即使在网络不稳定或离线环境下，端侧模型仍能正常运行，确保服务的连续性。

🛡️ **数据隐私与安全性提升**：通过在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，避免了云端传输和存储过程中的潜在泄露风险，从而降低了数据被黑客攻击或滥用的可能性，增强了数据安全。

💰 **成本效率与资源优化**：端侧部署有效降低对云端资源的依赖，本地处理减少了云端计算和存储的需求，降低了服务器成本和API调用成本，同时减少了频繁上传大量数据的需求，从而节省了网络带宽资源，实现了成本效率与资源优化。

原创 第四范式 2025-02-25 09:41 北京

     产品上新

      Product Release

今天，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，离线运行，并可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了AI大模型推理成本。

1） 无需联网，端侧低延时运行

优秀的端侧推理框架在端侧算力的支持下，展现出卓越的性能与适配性。模型在本地即时处理请求，提供流畅的用户体验。在网络不稳定或离线环境下，端侧模型仍能正常运行，确保服务的连续性。

2） 数据隐私与安全性提升

在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，避免了云端传输和存储过程中的潜在泄露风险，降低了数据被黑客攻击或滥用的可能性。

3） 成本效率与资源优化

端侧部署有效降低对云端资源的依赖，本地处理减少了云端计算和存储的需求，降低了服务器成本和API调用成本，无需频繁上传大量数据，节省了网络带宽资源。

了解产品详情，可致电400-898-7788，也可扫描下方二维码或点击【阅读原文】。

阅读原文

跳转微信打开