阶跃星辰 2024年10月28日
WAIC|姜大昕:攀登AGI山峰,“万亿参数”和“多模融合”缺一不可
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

2024世界人工智能大会(WAIC 2024)上,阶跃星辰创始人姜大昕博士发表演讲,阐述了探索AGI路径的两个核心方向:Scaling Law和多模态。他认为,万亿参数是Scaling Law的重要突破,阶跃星辰已成功训练出万亿参数模型Step-2,性能接近国际主流模型。同时,多模态是构建世界模型的基础能力,阶跃星辰正在积极探索多模态理解和生成模型的统一,并推出了新升级的多模态大模型Step-1.5V和图像生成大模型Step-1X。

🚀 **Scaling Law 的重要突破:万亿参数模型** 近年来,GPT系列模型的演进验证了Scaling Law的有效性,参数量决定模型能力的上限。阶跃星辰认为,参数量提升一个数量级依然成立,万亿参数量已成为基本入门门槛。阶跃星辰早早启动了万亿参数模型的训练,经过资源投入和技术探索,最终成功走通了万亿参数MoE大模型训练的道路,并发布了Step-2万亿参数语言大模型,其性能在多个维度测试中都已接近国际主流模型,部分测试集甚至超越。

🌌 **多模态是构建世界模型的基础能力** 姜大昕博士认为,多模态是通向AGI的必经之路,是构建世界模型的基础能力。他将世界模型的演进分为三个阶段:模拟物理世界、探索物理世界、归纳物理世界。多模态贯穿这三个阶段,是基本能力。目前,多模态领域存在理解模型和生成模型分开发展的状况,导致理解能力强而生成能力弱,或生成能力强而理解能力弱。因此,多模态模型的下一个关键挑战是将理解和生成统一在一个模型里。阶跃星辰正在努力攻克这一难题,并取得了一些阶段性进展。在WAIC 2024上,他们发布了新升级的多模态大模型Step-1.5V,拥有更强的视频理解能力,以及首次推出的图像生成大模型Step-1X。

🌟 **阶跃星辰打造通用大模型矩阵,助力产业落地** 从千亿参数到万亿参数,从文本到多模,从多模理解到多模生成,阶跃星辰在短时间内连续攀登大模型的多个台阶,打造了行业领先的通用大模型矩阵。未来,他们将与行业头部企业深度合作,探索积累大模型场景落地的经验,为合作伙伴提供更多价值。

2024-07-06 15:58 上海

从千亿到万亿,从文本到多模,从多模理解到多模生成,持续阶跃!

2024 世界人工智能大会(简称“WAIC 2024”)启明创投·创业与投资论坛今天举行。本次论坛汇聚了人工智能领域的顶尖学者和领军创业者,旨在从大模型的技术突破到创新场景落地,全方位解读生成式 AI 的产业变革和未来走向,探索中国科技创新的产业机会。阶跃星辰创始人、CEO 姜大昕博士受邀出席此次论坛,发表了主题为《攀登 AGI 的路径与实践:万亿参数和多模融合》的演讲,分享了对于大模型发展现状与趋势的观察与思考。

阶跃星辰创始人、CEO 姜大昕博士发表演讲

在演讲中,姜大昕重点阐述了一个核心观点:探索AGI路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达AGI。


Scaling Law 仍处于陡峭区间
万亿参数是基本出发点


近年来,GPT 系列模型的演进,客观上验证了 Scaling Law 的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。

正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。


多模态是构建世界模型的基础能力

将走向理解与生成的统一


在不断攀登 Scaling Law 的同时,阶跃星辰也强调,多模态是构建世界模型的基础能力,是通向 AGI 的必经之路。从算法角度看,世界模型的演进会分为三个阶段:

第一阶段是模拟物理世界;

第二阶段是通过具身智能和物理世界交互,主动探索物理世界;

第三阶段是通过发展系统能力,发现新的物理规律,归纳物理世界。

从模拟世界,到探索世界,再到归纳世界,多模态是贯穿这三个阶段的基本能力。目前,全球科技巨头正在积极探索并布局多模融合的路径,多模态大模型研发的脚步正越走越快。然而,多模态领域目前存在的问题是,视觉的理解模型和生成模型是分开发展的。其造成的结果就是理解模型的理解能力强而生成能力弱,或者生成模型的生成能力强而理解能力弱。因此,多模态大模型接下来面临的一项关键挑战,就是能否将理解和生成统一在一个模型里。

目前,阶跃星辰正在朝着这个方向努力,并取得了一些阶段性的进展。在 WAIC 2024 上,新升级的 Step-1.5V 千亿参数多模态大模型性能大幅提升,具备更出色的视频理解能力;新发布的 Step-1X 图像生成大模型,则是阶跃星辰首次推出多模态生成大模型。

在演讲的最后,姜大昕总结到,从千亿参数到万亿参数,从文本到多模,从多模理解到多模生成,标志着阶跃星辰在短时间内连续攀登上大模型的多个台阶,打造了行业领先的通用大模型矩阵。未来,基于强大的模型能力,阶跃星辰期待与众多领域的行业头部企业深度合作,共同探索积累大模型场景落地的经验,并为合作伙伴提供更多的价值。

以阶跃之力,赴星辰大海!


跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AGI Scaling Law 多模态 万亿参数 大模型
相关文章