36kr 2024年07月04日
清华明星团队打造的“中国版Sora”又拿钱了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

生数科技是一家专注于多模态大模型的初创公司,其核心研究团队来自清华大学人工智能研究院,并拥有全球首个提出Diffusion Transformer融合架构U-ViT的先发优势。该公司在视频生成领域取得了突破性进展,其视频大模型Vidu性能媲美OpenAI的Sora,并已发布了图像生成平台PixWeaver和3D资产创建工具VoxCraft等产品。生数科技在多模态大模型领域展现出强大的技术实力和发展潜力,并获得了多家知名机构的投资,成为国内多模态大模型领域估值最高的初创公司之一。

👨‍🎓 生数科技的核心研究团队来自清华大学人工智能研究院,其首席科学家朱军是清华大学计算机系教授,也是清华人工智能研究院副院长,在人工智能领域拥有深厚的学术积累和研究经验。

🚀 生数科技是全球首个提出Diffusion Transformer融合架构U-ViT的公司,这一架构在图像、3D、视频等多模态生成任务中展现出强大的性能。生数科技在2023年9月就提出了该架构,比OpenAI的DiT早两个多月,并在计算机视觉顶会CVPR 2023上发表了U-ViT论文。

💰 生数科技获得了多家知名机构的投资,包括蚂蚁集团、百度风投、启明创投等,其累计融资额已达数亿元人民币。强大的资金支持为生数科技提供了充足的资源,使其能够在多模态大模型领域快速发展。

💡 生数科技在多模态生成式模型的探索可以追溯到2013年,其团队在清华实验室开始了生成式模型理论基础、高效学习和推理算法的研究工作,并取得了一系列突破性成果,如免训练推理算法Analytic-DPM、DPM-Solver等,这些成果被OpenAI、苹果、Stability.ai等国外前沿机构采用。

💪 生数科技在多模态大模型领域展现出强大的技术实力和发展潜力。其视频大模型Vidu性能媲美OpenAI的Sora,图像生成效果已经超过了Stable Diffusion最新版基础模型,并声称在年内赶超Midjourney。生数科技在多模态领域的布局使其成为国内多模态大模型领域估值最高的初创公司之一。

🌟 生数科技的成功离不开其强大的技术实力、优秀的团队以及来自资本市场的支持。未来,生数科技将继续深耕多模态大模型领域,为用户提供更加强大的AI技术和服务。

除了“大模型五虎”外,目前国内多模态大模型中估值最高的初创公司之一。

近日,OpenAI的一纸“断供”通知在国内再次掀起波澜。

这则通知显示,自7月9日起阻止来自非支持国家和地区的API流量。目前,OpenAI的API向161个国家和地区开放,由于中国未在其中,这意味着OpenAI将终止对中国提供API服务。

为了在这次“断供”中率先抢占到市场份额,国内大模型厂商纷纷推出相关“搬家”活动,一时间喧嚣四起。

无疑,OpenAI的这个动作再次证明了国产人工智能的重要性。正是如此,当天二级市场上相关概念股迅速拉升,甚至多支出现了涨停。

与此同时,哈勃入股AI公司生数科技的消息开始浮出水面,在这种关键时间点,生数科技再次成为了业内关注的焦点。

不止中国版Sora

这并不是生数科技第一次出圈。

今年4月,生数科技联合清华大学发布了中国首个长时长、高一致性、高动态性视频大模型—Vidu,性能全面对标Sora,当时就在国内外引起了一阵轰动。

据悉,Vidu支持一键生成长达16秒、分辨率高达1080P的高清视频内容,它不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生成、时空一致性高等特点。

Vidu发布后,生数科技对外表示,Vidu的视频时长会继续突破,面向未来,Vidu灵活的模型架构也将能够兼容更广泛的多模态能力。同时,对于被称为“中国版Sora”,生数科技并不算满意,因为他们的野心远比这更大。

而这种底气则来自生数科技是全球首个提出Diffusion Transformer融合架构U-ViT,在这一架构下,生数科技完成了大模型在图像、3D、视频等多模态生成任务下的性能边界的探索。

如果说这样并能让人直观感受到生数科技的技术优势,那么其实Sora背后采用的融合架构Diffusion Transformer即DiT,与生数科技的路线几乎相同。

一个插曲是,生数科技是在2002年9月就提出了该融合架构,比DiT早两个多月,由于发布时间更早,当年计算机视觉顶会CVPR 2023只收录了U-ViT论文,并以“缺乏创新”为由拒绝了由伯克利团队发表的DiT论文。似乎在理论方面,生数科技在视频大模型上的布局是完全早于OpenAI的。

只不过,提出U-ViT架构的生数科技并没有第一时间把资源都放在视频上,而是先放在了图像和3D上。

这是因为生数科技认为,真正的智能一定是通用多模态的,以人为例,声音、视觉、动作这些多模态信息同时输入和输出,人类才能够将一个事物或者概念认识和表达得足够准确。

2023年,生数科技表示,图像生成效果已经超过了Stable Diffusion最新版基础模型,并声称在年内赶超Midjourney。3D内容生成方面,也实现了文生3D和图生3D的能力。

此外,在今年,生数科技才开始在视频上的集中发力,一方面基于上述两个产品的成熟,其次也是有Sora的催化。回看生数科技在视频上的频频动作,1月份,正式上线4秒短视频生成,2月份Sora发布之后,生数科技一个月后完成了8秒的视频生成,4月份视频长度再次翻倍来到16秒。

在具体打法上,生数科技目前采取模型层和应用层两条路走路的模式。一方面,构建覆盖文本、图像、视频、3D 模型等多模态能力的底层通用大模型,面向B端提供模型服务能力;另一方面,面向图像生成、视频生成等场景打造垂类应用,按照订阅等形式收费,应用方向主要是游戏制作、影视后期等内容创作场景。

围绕这种模式,生数科技发布了自主研发的多模态通用大模型UniDiffuser,同时推出了两款应用产品视觉创意设计平台 PixWeaver 和3D 资产创建工具 VoxCraft,以及视频大模型Vidu。

又一支清华创业团队

为何生数科技能在如此短时间内,实现多模态领域的布局?这还得从其创始团队说起。

成立于2023年3月的生数科技,由人工智能方案提供商瑞莱智慧RealAI、蚂蚁集团和BV百度风投共同孵化。

生数科技核心研究团队主要来自清华大学人工智能研究院,其首席科学家朱军,现任清华大学计算机系教授,同时也是清华人工智能研究院副院长、清华智能技术与系统国家重点实验室主任、智源首席科学家。

生数科技CEO唐家渝,曾任腾讯优图实验室高级产品经理和瑞莱智慧RealAI副总裁,先后负责瑞莱智慧产品团队、AI安全产研团队及业务。CTO鲍凡则是清华大学计算机系的博士生,并作为朱军教授课题组的成员,共同推进研发工作。

此外,生数科技对多模态生成式模型的探索,最早可以追溯到2013年。彼时,早期成员在清华实验室,开始了生成式模型理论基础、高效学习和推理算法,以及音乐生成、人脸合成等多方面的研究工作。

生数科技目前已于ICML、NeurIPS、ICLR等人工智能顶会发表相关论文近30篇,其中提出的免训练推理算法Analytic-DPM、DPM-Solver等突破性成果,获得ICLR杰出论文奖,并被OpenAI、苹果、Stability.ai等国外前沿机构采用,应用于DALL·E 2、Stable Diffusion等明星项目中。

值得一提的是,这并非清华人工智能研究院首次孵化AI项目,上文提到的瑞莱智慧RealAI,也是由清华大学人工智能研究院创立,该公司由毕业于清华大学的田天博士担任公司CEO,清华大学AI研究院首任院长张钹与朱军共同担任公司首席科学家。

多家明星机构入股

清华明星创业团队,正确的技术路线选择以及快速的产品能力,让生数科技自成立起就备受资本关注。

2023年6月,生数科技宣布完成了近亿元的天使轮融资。此轮融资由蚂蚁集团领投,BV百度风投、卓源资本跟投,投后估值达1亿美金。

生数科技的天使轮资方均是瑞莱智慧RealAI的老股东,对此,唐家渝此前在接受媒体采访时透露,生数科技是在2023年2月开启的天使轮融资,基本没有到市场上融资,当时瑞莱智慧RealAI多家老股东就表示了足够的兴趣,所以整轮融资很快就敲定了。

不久后,生数科技又完成了由锦秋基金独家投资数千万元的天使+轮融资。

时间来到2024年,生数科技又完成了两轮高节奏融资:

3月,生数科技完成了新一轮数亿元融资,由启明创投领投,达泰资本、鸿福厚德、智谱AI以及老股东BV百度风投和卓源亚洲继续跟投。

6月,生数科技完成了数亿元Pre-A轮融资,由北京市人工智能产业投资基金、百度联合领投,中关村科学城公司等跟投,启明创投、卓源亚洲等老股东继续支持。

经过四轮融资,生数科技累计获得了数亿元人民币的投资,这使得它成为除了“大模型五虎”外,目前国内多模态大模型中估值最高的初创公司之一。

可以看到,在生数科技的四次融资中,百度、卓源资本、启明创投参与了多轮,除了老股东,这些资方中还有北京人工智能产投基金这样的国家队,以及智谱AI这样的创业企业。另外,生数科技成也是蚂蚁集团投资的首个AIGC项目。

据悉,上文提到的哈勃入股生数科技也并非是新开的一轮,其也是生数科技Pre-A轮融资的资方,只不过在近期才完成了工商变更。

在大模型公司激战的当下,算力能力成为了关键赛点,不过生数科技暂时没有算力忧虑,此前其曾表示,未来算力问题不会持续太久,产品构成也决定了生数科技并不需要像语言模型,使用上千甚至上万张卡,另外股东也给了相当的算力和资源支持。当然,我认为除了财务和技术外,有了百度、哈勃、启明、蚂蚁等资方的加持,让生数科技一直保持在台前,这在当下的大模型浪潮中,可能是最重要的。

本文来自微信公众号“东四十条资本”(ID:DsstCapital),作者:张雪,36氪经授权发布。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

生数科技 多模态大模型 U-ViT Vidu Sora 人工智能 AI
相关文章