IT之家 01月15日
稀宇科技发布并开源新一代 MiniMax 01 系列模型,参数量达 4560 亿
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

稀宇科技推出了新一代01系列模型,包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01,并开源了模型权重。该系列模型采用线性注意力机制,突破了传统Transformer架构的记忆瓶颈,可处理高达400万token的输入,远超GPT-4o和Claude-3.5-Sonnet。模型参数量高达4560亿,综合性能比肩海外顶尖模型,在长文任务上表现优异,性能衰减更少。定价方面,输入为1元/百万token,输出为8元/百万token。

🚀稀宇科技发布新一代01系列模型,包含MiniMax-Text-01和MiniMax-VL-01,并开源模型权重,方便开发者研究。

🧠该系列模型采用线性注意力机制,打破了Transformer架构的记忆瓶颈,能够处理高达400万token的输入,是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。

💪模型参数量高达4560亿,单次激活459亿,综合性能比肩GPT-4o和Claude-3.5-Sonnet等海外顶尖模型,在长文任务上表现出更少的性能衰减。

💰定价方面,该系列模型标准定价为输入1元/百万token,输出8元/百万token。

IT之家 1 月 15 日消息,稀宇科技(MiniMax)今日宣布推出新一代 01 系列模型,包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型 MiniMax-VL-01。

为方便开发者研究,该公司还在 Github 上开源了两个模型的完整权重。这一系列模型的后续更新,包括代码和多模态相关的后续强化仍待上传。

该系列模型首次大规模实现线性注意力机制打破 Transformer 传统架构记忆瓶颈,能够处理 400 万 token 的输入,可输入长度是 GPT-4o 的 32 倍,Claude-3.5-Sonnet 的 20 倍。

据介绍,这个模型的参数量高达 4560 亿,其中单次激活 459 亿,模型综合性能比肩海外顶尖模型,在大多数任务上追平了海外公认最先进的两个模型,GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。

在长文任务上,随着输入长度变长,MiniMax-Text-01 性能衰减更少,显著优于谷歌 Gemini。因此,01 系列模型在处理长输入的时候有非常高的效率,接近线性复杂度。

定价方面,IT之家发现该系列模型标准定价是输入 1 元 / 百万输入 token、8 元 / 百万输出 token。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

稀宇科技 MiniMax-01 大模型 线性注意力 开源
相关文章