掘金 人工智能 06月07日 11:28
小红书AI新里程碑:dots.llm1,中文MoE的“人文”突破!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

小红书Hi Lab开源dots.llm1,一款1420亿参数的MoE大模型,以低成本、高性能和“人文温度”著称。该模型在中文任务上表现出色,性能媲美Qwen2.5-72B,训练成本却不到其1/4。dots.llm1不仅在技术上创新,还注重“人文智能”,通过“AI人文训练师”团队和与复旦大学哲学学院的合作,提升模型的输出质量和人文关怀。模型已全面开源,并公开预训练中间检查点,为开发者和研究者提供了宝贵的学习资源。

💡 dots.llm1采用MoE(Mixture of Experts)稀疏架构,总参数量1420亿,实际激活参数140亿,从而降低训练成本和资源消耗。

💰 dots.llm1训练资源总消耗仅为146万GPU小时,每万亿token训练成本仅为13万GPU小时,远低于其他同类模型,展现出出色的“省钱”能力。

🥇 dots.llm1在中文任务上表现优异,例如在CLUEWSC和C-Eval等基准测试中均超越主流大模型,展现出强大的中文语义理解和综合能力。

👩‍🏫 Hi Lab组建“AI人文训练师”团队,并与复旦大学哲学学院合作,通过“人文微调”,提升模型在伦理思辨和人性化表达方面的能力,使其输出更具人文温度。

🎁 dots.llm1以MIT许可证全面开源,提供代码、权重和预训练中间检查点,为开发者和研究者提供了宝贵的学习资源,促进AI技术的开放共享和共同发展。

最近AI圈子真是热闹非凡,各家大模型你方唱罢我登场,拼参数、拼算力、拼数据。但要说最近让我眼前一亮的,那非小红书 Hi Lab 在 2025年6月6日 正式开源的 dots.llm1-143B-A14B(简称 dots.llm1)莫属了!这不只是一款“硬核”的MoE大模型,更是一款带着“人文温度”的智能体,让人不得不感叹,AI真的越来越有意思了!

小身板大能量:MoE架构,训练成本“打骨折”!

别看名字有点长,它背后的技术可一点不含糊。dots.llm1 采用了时下最火的 MoE(Mixture of Experts)稀疏架构。啥意思呢?简单来说,模型里藏着一大堆“小专家”,每次处理信息时,系统只会激活其中最擅长的几个专家来干活,而不是让所有参数都参与运算。

它还支持 32K tokens 的超长上下文,通过独特的 UtK(Unshuffle-then-Knit)策略,能巧妙处理长文本,让模型在“记忆力”上不输阵。

中文赛道领跑者:不只优秀,简直“开挂”!

性能如何?这是大家最关心的!dots.llm1 在多个基准测试中表现都非常亮眼,尤其在中文任务上,简直是“开挂”般的存在!

虽然在英文任务上与 Qwen2.5-72B 相当,代码能力略逊于 Qwen3 和 DeepSeek-V3,但这并不妨碍它成为中文大模型领域的一颗耀眼新星。要知道,这还是在更低成本、更少数据训练出来的成果,潜力无限!

不仅智能,更有人文:Hi Lab的“AI人文训练师”

如果说前面是“硬实力”,那这一部分就是 dots.llm1 的“灵魂”所在了。小红书的 “人文智能实验室”(Hi Lab)不只追求极致的AI能力,更将“人文”的温度融入其中。

慷慨开源,共创未来:不止代码,还有“学习笔记”!

小红书这次是真的“敞亮”!dots.llm1 可是带着满满的诚意,以 MIT许可证 全面开源:

总结:AI圈的新范式,值得期待!

dots.llm1-143B-A14B 的发布,不仅仅是小红书在AI领域投下的一枚重磅炸弹,它更像是一种全新的范式:用高效的MoE架构实现低成本高性能,再结合人文微调提升生成内容的“人味儿”。

尤其是它在中文任务上的卓越表现和对**“人文智能”的深度探索**,让 dots.llm1 有望成为国产开源大模型的新竞争力标杆。Hi Lab 的成立,以及技术负责人陈威行这样的核心人物坐镇,都表明小红书对AI的投入是全方位的、深远的。

所以,各位开发者、研究员,还在等什么?赶紧去Hugging Face和GitHub一探究竟吧!这款中文MoE的“人文”突破,绝对值得你深入体验!


如果你也对最新的AI信息感兴趣或者有疑问 都可以加入我的大家庭 第一时间分享最新AI资讯、工具、教程、文档 欢迎你的加入!!!😉😉😉

公众号:墨风如雪小站

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

dots.llm1 小红书 MoE 大模型 开源
相关文章