2025-02-22 16:35 四川
就…很离谱，先说结论，你需要一张 24GB显存的 4090D 显卡，再配上 382GB 内存，就可以了。
https://github.com/kvcache-ai/ktransformers/
是的，382GB 内存。
这个项目在我这放了好几天了，一直想试试，苦于没有这么大内存，就放弃了
实际上 4090 我也没有
我又去搜了下「382GB 内存需要什么主板才能支持」：要支持382GB的内存，你需要一块专业服务器级。目前，许多主板通常支持最高128GB或192GB的DDR5内存…
问的真是多余...
--
所以现阶段自部署大语言模型，似乎...是一件不可能完成的任务了？
之前，我还折腾部署过画图模型，也是玩了两下发现质量太差，放弃了 
反正目前阶段就是...你自己折腾完全不如用各厂提供的。
我有个想法不知道当讲不当讲，就是未来的AI会不会成为特权，失去了普惠的特征，人类...的未来会是什么样呢？
另外昨天推荐那个现在就能用，免费满血版 DeepSeek-R1，就是快，还能画图。今天好像上传文件出了问题，一直提示失败。
不过对 R1 的直接提问倒是依旧很快，问题不大。
