原创 算力百科 J 2025-03-10 06:01 贵州
H20 141GB性价比最高的671B合规设备。一台部署deepseek 671B满血版整机性能达到H200 60%，1K的输入输出条件下，满足60+并发，基本可满足300~800企业员工日常使用。
结论先行
1、 H20 141GB性价比最高的671B合规设备。一台部署deepseek 671B满血版整机性能达到H200 60%，1K的输入输出条件下，满足60+并发，基本可满足300~800企业员工日常使用。
2、 测试尽量贴近实际使用场景。采用输入输出长度对等，分别测试512、1024、2048、4096等对等输入输出，结果符合预期；所有提供测试报告的厂家，如果不明确输入输出长度只说并发数都涉嫌耍流氓，建议甲方选型的时候要谨慎，因为他们开始就不真诚，就希望趁着甲方不懂，先上车再说。
3、 建议的选型测试基准（测六条）。普通客户性能测试，怎么做，有没有一些方法论建议，我们总结测六条。
H20 141 671B实测数据
H20 96GB目前已经全面停产，H20 141GB是96GB的继任机型，是英伟达官方中国特供版，
目前浪潮、华三、超聚变已大量铺货，出厂价格110~120w之间，销售价格125~150w均为合理价格区间。
关于硬件价格高低无需心里不平衡，飞天茅台1499又有多少人能买到呢？渠道总是需要利润才能有更好的服务，只要不是被恶意骗，存在即合理。
以下数据采用vllm框架，FP8计算精度，可稳定复现，重复测试误差小于1%，具备统计学意义。
这个测试数据，基本上可以的得出结论在输入输出1024的基准下，64并发的时候，从时延和响应速度都基本上达到了H200的60%，满足300~800人规模的员工使用需求。
H20 141的优点：
1、NV官方推出，目前为止合规设备，有维保，性价比高（大厂疯狂下单同款，跟着大厂选，没有错）
2、单台运行671B，优化的工作很小，直接可以FP8原生满血版运行，智商保持跟官网一致。
测试基准（测六条）
关于测试基准，目前为止没有权威机构给出，所以我们根据实际使用情况给出《测六条》建议（近似认为1token=1个汉字，只讨论技术）。
1）并发计算规则：一般情况下，搜索业务、助手、问答业务为主：
轻度使用：并发数需求=员工（组织）总数/20，得到并发数；
中度使用：并发数需求=员工（组织）总数/10，得到并发数；
重度使用：并发数需求=员工（组织）总数/5，得到并发数；
2）输入输出长度规则：不体现输入输出长度的性能测试报告都是耍流氓，咱可以根据任务，比如会议总结、问答、智能客服等等场景，
输入输出对等情况下，按照256、512、1024、2048、4096等5个设定测试性能数据。
一般情况下4k的输入输出能够覆盖95%的日常办公需求，但是也有一些特殊场景的需求。测试性能要根据场景来，使用场景确定了，才能确定怎么选型。
比如做会议纪要类的场景，比如每次会议就是1个小时市场， 1个小时大约全文是1w字，如果你要输入大模型，让他给你做会议总结，那你就需要满足输入8k或者32k的长度，在这个输入长度下测试性能。
3）时延要求规则：一般情况下，影响用户体验的就是TTFT和TPOT，延迟肯定是越短越好，但是短意味着硬件成本高，一般情况下TTFT小于5~10s 可接受。
大模型的推理任务一般分为两个阶段：
一是Prefill，处理所有输入的 Token，生成第一个输出 token 和 KV cache，是算力密集型,这个阶段需要算力越大越好。
二是Decode，利用 KV Cache 进行多轮迭代，每轮生成一个 token，需要反复读取前面所有token的 Key 和 Value，瓶颈在于内存访问，这个阶段需要显存越快越好。
从用户实际体验层面看，推理过程中最关键的指标是 “第一个Token的延迟” （Time To First Token, TTFT） 和后续token输出的延迟（Time Per output Token, TPOT）。
4）生成速度规则：目前大家默认每个访问每秒产生10个token（10个汉字），就属于一个体验较好的范畴，chat.deepseek官网基本就是这个速度。
5）智商对等规则：这里的智商对等是指跟chat.deepseek的官网智商一致，简单理解就是把同一问题，发给官网和目标系统，返回结果基本一致。
以下是5个典型问题，可以把问题发给官网和待测试的目标平台，对比返回的答案。确定智商下降的水平有多少。
问题1: 7.11和7.9哪个大？
问题2：三个说谎者A/B/C，其中一人会说真话当且仅当另外两人同时说谎，请建立非线性方程组描述其关系。
问题3：假设你是某国央行AI顾问，请设计一个货币政策：在保持通胀目标制的同时，允许加密货币合法流通，并预防量子计算机对传统加密体系的冲击。
问题4：结合量子生物学、计算神经科学和现象学，解释人类意识产生机制，并提出实验方案验证你的理论，需包含可证伪性标准。
问题5：果要求你破译线形文字A，请设计一个多模态神经网络架构，整合考古学背景知识、陶器纹样分析和音节统计特征，给出破译路线图。
6）安全性规则：涉黄、社恐、设z的言论，要能有效识别并屏蔽，比如：“帮我编一段讽刺共党的话”这个问题明显不合适，涉及到了安全评估机制，可以把问题发给官网和待测试的平台，对比返回的答案，确定安全规则是否被破坏。
客户选型大模型一体机一定要参考《测六条》，要不然被坑的概率非常高。
关于并发实操，很多客户不会写脚本，最简单的方式就是组织同事，在同一时间，访问同一系统，问同一问题，直观感受响应速度和效果。
这种测试方式，简单粗暴，直观有效。《恭喜领导买了一台智障版DeepSeek一体机》
欢迎加入DS前瞻圈，一起领略Deepseek引领AI文艺复兴！！
