少数派-AI 03月21日 11:17
国产NAS也支持本地部署DeepSeek了:极空间Z423上手
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文作者体验了极空间NAS上本地部署DeepSeek大模型的效果。通过在极空间Z423 NAS上运行DeepSeek 14B和7B模型,作者测试了其推理速度、资源占用和温度情况。结果显示,在CPU运行的DeepSeek速度较慢,基本不可用。作者还对比了RTX4090的运行效果,并提出了优化建议,包括优化模型对话、改进模型切换逻辑、提供局域网模型接口、增加模型删除功能以及更好的GPU支持。作者认为,极空间的DeepSeek更新是战略布局,暗示未来可能推出搭载GPU或NPU的新硬件NAS。

💻作者在极空间Z423 NAS上测试了DeepSeek 14B和7B模型,并观察了CPU和内存的占用情况。14B模型运行缓慢,CPU占用率约50%,内存占用8GB,温度达到74摄氏度。

🚀作者对比了RTX4090运行DeepSeek 14B的效果,每秒输出Token数达到60,体验流畅。而极空间NAS的CPU运行速度较慢,无法提供流畅的用户体验。

💡作者提出了四点建议:优化模型对话体验、改进不同参数模型切换逻辑、提供局域网模型接口、增加删除本地模型功能。此外,作者还建议提供更好的GPU支持,包括GPU负载监控和使用GPU进行模型推理。

🤔作者认为,极空间推出DeepSeek功能是战略布局,暗示未来可能推出搭载GPU或NPU的新硬件NAS,以支持更快速的模型推理。

引子

  这几天看到极空间官方更新了本地部署DeepSeek的功能,作为极空间的老用户,我使用的是极空间消费级NAS中的旗舰型号Z423,正好体验一下实际效果如何。

  在上手极空间的DeepSeek之前,我已经在RTX4090满血版台式机、MacBook Pro M1 Pro设备上基于Ollama本地跑过14B版本的DeepSeek R1,速度起飞。虽然不奢望小NAS能跑过GPU,但希望能够达到可用的程度。

在极空间安装DeepSeek

  我的极空间Z423配置如下,从中可以看到,这是NAS的CPU带有一个核显,可以用于视频编解码,理论上应该也能给大模型推理用。

极空间Z423设备参数

​  更新最新版的极空间系统以后,可以打开新增的应用“DeepSeek”,在里面就可以一键自动部署模型了,目前支持7B和14B两个参数量级的模型。

极空间DeepSeek首次打开

  作为内存大户,我肯定先选择14B的模型试试水,并且将模型安装在NVME固态中,具备更快的加载速度。

极空间DeepSeek模型设置

  等待十几分钟,模型就下载并安装好了,接下来就可以点击左上角的对话框开始聊天。

  这个过程对小白比较友好,点两三下鼠标就开始本地部署了~

极空间本地DeepSeek体验

  接下来就到了今天的重头戏,体验本地DeepSeek的实际效果!

  我用来测试的问题是个简单的逻辑题:左手一只鸭,右手一只鸡。交换两次双手物品后,左右手中各是啥?

  先来看极空间本地DeepSeek R1 14B的对话效果,如下图。可以看到,模型可以运行,但是Token输出非常慢,目测低于每秒10个Token,等思考完再输出答案,估计花都谢了,好在最后答案是正确的。

极空间本地DeepSeek R1 14B的对话效果

  那么此时资源利用率如何呢?

  根据下图实时的进程信息,极空间是采用了开源的llama.cpp方案运行本地模型,CPU利用率维持在50%左右,内存占了32G中的25%,正好是8G,也是模型权重文件的大小。

  监控组件没有显示GPU的使用率,不过我推测实际上应该也没有用到GPU,极空间似乎没有为Z423适配GPU运行模型的参数。

极空间运行DeepSeek R1 14B的资源占用情况

  对话的过程中,我听到了Z423风扇的噪音明显变大,那么此时温度如何呢?如下图所示,已经达到了74摄氏度,正常空载的温度一般在40~50摄氏度左右。

  虽然Z423的AMD CPU温控一直做得不好,但这么烫我以后舍不得用它跑模型了。。。

  事实上,之前我从来没考虑过用NAS跑模型,CPU推理事倍功半。

极空间运行DeepSeek R1 14B的温度情况

  是不是14B的模型太大了,所以效果不好?

  紧接着我也试了一下7B,实际效果大家看图吧。

极空间本地DeepSeek R1 7B的对话效果

  可以看到输出速度比14B快多了,目测快了接近一倍。

  虽然速度有所提高,但距离好用还是很遥远。

  在满血版RTX4090上,DeepSeek R1的14B运行多快呢?请看下图!每秒输出的Token数达到了60,对用户来说已经是十分流畅的体验了!

满血版RTX4090运行DeepSeek R1 14B效果

  理论上,llama.cpp比ollama的效率更高,不过如果性能够用的情况下,我会选择更简单的ollama。极空间选择llama.cpp估计是性能方面的考量更多,不过似乎目前的硬件对模型推理已经力不从心了。

总结

  实际使用下来,在CPU运行的DeepSeek基本属于能跑但基本不可用的状态,瓶颈主要在于运算速度。如果能够把Z423的核显利用起来跑推理模型,相信效果会更加出色。

  这里我要提4个建议:

    优化模型对话、不同参数的模型的切换交互逻辑,测试的时候我一度以为要把14B的模型删掉才能装7B的模型,两者不能同时共存。提供局域网的模型接口,这样用户可以在习惯的工具中集成NAS的模型服务。提供删除本地模型的功能,避免弃用模型长期占用系统空间。提供更好的GPU支持,包括GPU负载监控和使用GPU进行模型推理。

  我认为,本次极空间更新的DeepSeek更像是战略布局,先从软件上上线相关功能,再推出新硬件支持更快速的模型推理。这么看来的话,估计极空间今年很有可能会推出搭载了GPU或者NPU硬件新NAS。

  极空间NAS的主打功能就是公网访问,官方提供代理能够访问家里的应用和数据。如果家里能流程运行私有化部署的大模型,对于用户来说又多了一个保护隐私的选择。

  按照目前的趋势,下一代NAS产品或多或少都要加入GPU或者NPU的硬件。对于品牌NAS来说,新硬件带来的换机浪潮无疑是必争的业绩增量,希望NSA厂商都能推出更有竞争力的产品。

  ‍

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

极空间 DeepSeek NAS 大模型 GPU
相关文章