上周与老同事聊天,谈到今年AI的企业应用算是真的开启了,尤其是春节之后Deepseek一体机开始被大规模采购,不只是火,是远超预期的火。
不过没有超出预期的是我们这些经历过互联网、云计算及数字化转型的老兵知道,大多数一体机买回去之后就是接电、点亮、模型部署、运行服务,然后吃灰 ……
但是与小伙伴们咨询要不要做数字化中台不同,中台做不做,我的建议从来都是”没有足够的需求,能不做就不做“,但是伙伴们问Deepseek、大模型的一体机要不要买,我的建议基本都是:“只要有预算,能买就买。”
为什么厚此薄彼?不是想看小伙伴们踩坑,而是一体机不只是硬件设备、也不只是软件服务,一体机是一个起点,是一个时代的起点。这个话有点儿大,但这就是现实。
一体机:真有需求?要什么配置?
为什么选择一体机?常见的需求除了功能需求之外就那么几条:
- 数据安全以及合规需求,一句话,数据存在本地。模型定制和调优,不管能不能做,至少采购需求上是这么说的。模型使用成本,通常提的不多,但是领导看到API调用要按照Token计费的时候,多少也会认同采购一体机的必要性。
这些需求是否存在?确实存在。至于靠一体机能不能解决,那要分开来讲。
- 轻量级一体机:侧重推理的一体机,但是配置也就是跑个Qwen2.5-7B的水平,跑不了满血Deepseek的推理,这种一体机的主要作用是交差,说明我们也有大模型一体机了,虽说能用的场景极其有限,稍微复杂的问题都回答不了,但是确实也是个一体机。推理一体机:也是侧重推理,配置能够部署满血Deepseek级别的大模型,能够顺畅支持几百用户并发使用;硬要做训练也不是不能,就是非常困难罢了。训推一体机:能够支持算力要求更高的模型微调,并且内置了整套数据处理、模型蒸馏、微调等工具链。
如果只是要低成本的向上汇报,那花点儿小钱买个所谓的一体机,跑一个十亿级别模型就可以交待了;如果要确保数据安全,同时能够提供真正顺畅可用的大模型服务,那就要配置到位,跑得了671B BF16的Deepseek-R1或者同级别模型;如果还要进一步实现所谓模型微调,那配上16张卡 1.5T显存也是合理的要求,还要有对应的工具平台软件能够开箱即用。
这个时候看看领导提的要求,再掂量一下手里的预算,可能选择空间并不是看起来那么多。采购需求中描述的那些美好场景都是靠钱、靠服务器价格支撑起来的。
从哪个角度讲都一体机都是起点
对于企业来说,更大的问题来自一体机交付之后。就算是预算充裕,一体机性能不凡,这个机器回来之后都必须要向大家呈现价值。
部署一个通用模型,让员工可以在内部使用满血版本的Deepseek,看起来好像有点儿价值,但是这个价值更多在数据安全与合规角度,并没有和业务产生直接的关联,再考虑到上百万的价格以及运维成本,这个场景并不能让领导开心起来。
更进一步的是什么? 有两种典型的可能,一是基于通用模型,与现在的数字化产品集成,让传统软件享受大模型红利,替代原来人工的部分,比如HR的简历处理、比如财务的发票处理,都可以用大模型替代几人或者几十人的重复劳动;第二种可能是更深度的定制,基于行业特性、数据、需求来优化模型甚至是自己训练,从而让模型懂法律、懂设计、懂产品、懂服务,从“万金油“变成行业专家。
但是到了这个环节我们就会发现自己好像遇到了企业数字化初期一模一样的问题,就是懂业务的不懂大模型、懂大模型的不懂业务、既懂业务又懂大模型的可能不懂如何集成数字化工具,总之,就是几百万买了硬件、买了平台,但是没有专业人才来使用。
人才在哪里?最好的人才在Deepseek、在OpenAI、在阿里、在字节、在自己创业;优秀的人才在哪里?在行业头部公司的算法团队;能服务于我们这些还在数字化转型、智能化转型企业的人才在哪里?在学校,还没毕业,就算毕业了也要经历一些训练之后才能支持我们的应用,市场上就没有么?看起来有些简历,但是这些简历的目标从来不是传统企业的IT部门。
所以一体机是什么?从功能上看一体机是专用服务器插满GPU;但是从智能化的角度,一体机是个萝卜坑,你买完之后才发现坑里没有萝卜,因为懂算法懂应用的人都在大模型公司和大集团的算法团队里,你装了一个通用模型,但是想集成、想升级、想定制?难。
回到“要不要买一体机”的问题
既然这么“坑”,要不就别买了吧? 这个想法非常的符合人性,但是不符合智能化的发展规律。因为智能化的发展规律就是早用早积累、早用早享受、早用早提升自身的能力和组织对智能化的理解。
不买一体机,不给自己找麻烦。买了一体机,给自己挖了一个巨大的坑,但是能让领导和管理者看到:
- 智能化已经起步了智能化还有巨大的差距智能化需要更多的投入
所以,即便存在“吃灰”风险,但通过一体机这个投资,可以让企业认识到能力缺口,激发管理层支持;并且通过通用模型的使用积累大模型相关的经验和技术储备,那么这个钱就是值得的。
然后呢?
谈到这里似乎这个话题也没有结束,因为买了一体机之后到底怎么吸引人才、怎么真正把AI用起来、把模型定制化的答案也没有明说。因为我也不确定“正确答案”是什么。
我确定的: AI能力的融合、智能化和数字化的融合是相对容易的,因为这个本质上是数字化的升级,通过业务理解、产品能力提升,很多数字化产品经理未来也能把AI、大模型能力集成到数字化产品中,这个路径数字化已经走通了,智能化也可以参考。
我不确定的是未来的行业定制模型甚至企业定制的模型、RAG会通过哪些人、什么方式被解决,是让每个公司都有一个学算法的博士,还是把算法训练难度降低到硕士和本科生可以操作,亦或是像现在的IT服务商一样能够项目或者外包形式解决,甚至是通过AI的方式有个模型训练数字人能够提供对应的服务…… 未来尚未可知……
但是别纠结,先买个一体机! 钱花了才有动力想出下一个花钱的理由!