第四范式推出ModelHub AIoT，一个大模型推理端侧解决方案，旨在帮助用户在端侧轻松部署和运行小尺寸蒸馏模型，如DeepSeek R1、Qwen2.5、Llama2/3系列等，并支持离线运行。该方案在模型压缩、推理性能和部署优化之间取得平衡，解决了传统部署的复杂性。ModelHub AIoT不仅满足了用户对隐私和实时性的需求，还显著降低了AI大模型推理的成本。即使在网络不稳定或离线环境下，端侧模型也能保证服务的连续性，并通过本地数据处理，避免了云端传输和存储可能导致的数据泄露风险，同时有效降低对云端资源的依赖，节省服务器和API调用成本。

🚀ModelHub AIoT是第四范式推出的大模型推理端侧解决方案，允许用户在本地设备上部署和运行多种小尺寸蒸馏模型，包括DeepSeek R1、Qwen2.5和Llama2/3系列，无需依赖云端连接。

🔒该方案强调数据安全和隐私保护，通过在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，从而避免了数据在传输和存储过程中的潜在泄露风险，降低了数据被攻击或滥用的可能性。

💰ModelHub AIoT通过降低对云端资源的依赖，实现了成本优化。本地处理减少了云端计算和存储的需求，从而降低了服务器成本和API调用成本，同时也节省了网络带宽资源，无需频繁上传大量数据。

📶即使在网络不稳定或离线环境下，ModelHub AIoT也能确保服务的连续性，因为端侧模型能够在本地正常运行，不会因为网络问题而中断服务。

第四范式推出大模型推理端侧解决方案ModelHub AIoT。

记者从第四范式了解到，2月25日，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署包括DeepSeek R1、Qwen2.5、Llama2/3系列等小尺寸蒸馏模型，并实现离线运行。用户可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。公司表示，该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了AI大模型推理成本。

据悉，ModelHub AIoT在网络不稳定或离线环境下，端侧模型仍能正常运行，确保服务的连续性。安全性方面，在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，避免了云端传输和存储过程中的潜在泄露风险，降低了数据被黑客攻击或滥用的可能性。成本优化方面，端侧部署可有效降低对云端资源的依赖，本地处理减少了云端计算和存储的需求，降低了服务器成本和API调用成本，无需频繁上传大量数据，节省了网络带宽资源。