IT之家 8 月 23 日消息，浪潮信息今日发布源 2.0-M32 大模型 4bit 和 8bit 量化版，性能号称“比肩 700 亿参数的 LLaMA3 开源大模型”。
4bit 量化版推理运行显存仅需 23.27GB，处理每 token 所需算力约为 1.9 GFLOPs，算力消耗仅为同等当量大模型 LLaMA3-70B 的 1/80。而 LLaMA3-70B 运行显存为 160GB，所需算力为 140GFLOPs。
据浪潮信息介绍，源 2.0-M32 量化版是“源”大模型团队为进一步提高模算效率，降低大模型部署运行的计算资源要求而推出的版本，将原模型精度量化至 int4 和 int8 级别，并保持模型性能基本不变。
源 2.0-M32 大模型是浪潮信息“源 2.0”系列大模型的最新版本，构建包含 32 个专家（Expert）的混合专家模型（MoE），模型运行时激活参数为 37 亿。
评测结果显示，源 2.0-M32 量化版在 MATH（数学竞赛）、ARC-C（科学推理）任务中，性能超过了 700 亿参数的 LLaMA3 大模型。
源 2.0-M32 量化版已开源，IT之家附下载链接如下：
Hugging Face 平台下载链接
https://huggingface.co/IEITYuan/Yuan2-M32-gguf-int4
modelscope 平台下载链接
