Cnbeta 06月30日 14:40
华为宣布开源盘古7B稠密和72B混合专家模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

华为宣布开源盘古70亿参数稠密模型、盘古Pro MoE 720亿参数混合专家模型,以及基于昇腾的模型推理技术。此举旨在推动大模型技术发展,加速人工智能在各行业的应用。盘古Pro MoE模型在昇腾300I Duo和800I A2上实现了优异的计算效率,并在SuperCLUE榜单上取得了突出成绩,与国内其他千亿参数量级大模型并列第一。开源举措将促进AI技术的普及和创新。

🚀 华为开源了盘古70亿参数的稠密模型和盘古Pro MoE 720亿参数的混合专家模型,以及基于昇腾的模型推理技术。

💻 盘古Pro MoE模型(72B总参数,16B激活参数)在昇腾300I Duo和800I A2上表现出色,实现了高效的专家负载分布与计算效率,分别达到321 tokens/s和1528 tokens/s。

🥇 盘古Pro MoE模型在SuperCLUE榜单上取得了优异成绩,以72B总参数量达到了59分,与国内千亿参数量以内大模型并列第一。

华为今日正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。华为表示:“此举是华为践行昇腾生态战略的又一关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。”

根据华为官网显示:

盘古Pro MoE 72B模型权重、基础推理代码,已正式上线开源平台。

基于昇腾的超大规模MoE模型推理代码,已正式上线开源平台。

盘古7B相关模型权重与推理代码将于近期上线开源平台。

据悉,基于MoGE架构构建的盘古Pro MoE大模型(72B总参数、16B激活参数)在昇腾300I Duo和800I A2可实现更优的专家负载分布与计算效率(321 tokens/s和1528 tokens/s)。

而在模型能力方面,盘古Pro MoE在最新一期业界权威大模型榜单SuperCLUE上交出了超能打的成绩。

和其他动辄千亿以上的大模型相比,如DeepSeek-R1具有671B参数,盘古Pro MoE以72B总参数量达到了59分,千亿参数量以内大模型排行并列国内第一。

并且,16B激活参数量可以媲美其他厂商更大规模的模型。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

华为 盘古大模型 开源 昇腾 人工智能
相关文章