Cnbeta 01月22日
豆包大模型1.5Pro正式发布
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

豆包大模型1.5Pro版本综合能力显著增强,在多方面表现出色。具有低训练推理成本、高效模型结构、全面提升的多模态能力和更强的深度思考能力,且训练过程扎实。相关信息可在官网查看。

豆包大模型1.5Pro综合能力增强,多项评测基准全球领先。

采用多种技术降低成本,如小规模激活参数预训练等。

多模态能力全面提升,视觉和语音模型表现优异。

通过RL算法突破研发深度思考模型,训练扎实。

今天,豆包大模型1.5Pro版本正式和大家见面。新模型综合能力显著增强,低训练/推理成本,高效模型结构,全面提升多模态能力、推理能力,多项公开评测基准上全球领先。模型训练过程中,未使用任何其他模型生成的数据,扎实不走“捷径”。

完整版Blog可在豆包大模型团队官网查看(可直接点击文末“阅读原文”):

https://team.doubao.com/doubao_1_5_pro

目前,Doubao-1.5-pro 已在豆包 App 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

综合能力领先

豆包大模型1.5Pro在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。详见文末表格。

高效模型结构,超低成本

豆包大模型1.5Pro使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏MoE架构,等效7倍激活参数的Dense模型性能,远超业内MoE架构约3倍杠杆的常规效率。

凭借自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。

自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和PD分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

多模态能力全面提升

新版豆包视觉理解模型Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型Doubao-1.5-realtime-voice-pro,采用Speech2Speech端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。该模型已在豆包App全量上线,欢迎体验。

更强的深度思考能力

基于豆包1.5基座模型,通过RL算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展Doubao-1.5-Pro-AS1-Preview在AIME上已取得了业内领先的成绩。详见文末表格。

扎实不走“捷径”

所有模型训练过程中,未使用任何其他模型生成的数据。

豆包大模型构建自主的数据生产体系,以标注团队与模型self play技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

向无尽的未知进发

字节豆包大模型团队鼓励探索更长周期、具有不确定性的研究课题,也鼓励挑战跨模态、跨方向的高难度课题交叉合作。欢迎有志研究人员加盟了解。

附:







Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

豆包大模型 低训练成本 多模态能力 深度思考
相关文章