富途牛牛头条 2024年10月05日
Sora黯然失色!Meta AI視頻模型Movie Gen炸裂登場:可以配音、編輯
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Meta Platforms发布大模型Movie Gen,进军文生视频领域。该模型能生成带精准配乐的视频,可根据文本提示生成长达16秒的高清视频,还能进行精确编辑,应用前景广阔。其受到业界广泛关注,展示了Meta的技术实力,指明行业新方向。

🎬 Movie Gen能直接生成带精准配乐的视频,这是其最大技术亮点,目前其他一线产品无法提供该功能。它可根据文本生成长达16秒的1080p高清视频,帧率达16fps,满足个性化需求。

💻 用户可上传自己图像,生成包含自身形象的个性化视频,这种深度个性化体验前所未有。该模型能理解物体运动等各种概念的合理运动,还能进行精确的视频编辑,包括元素增减、背景和风格修改等。

🔧 Movie Gen采用最新的Llama 3架构,引入流匹配技术,用6144个H100 GPU进行大规模训练,提高了生成效率和视频细节表现。其在视频生成、个性化、编辑和音频生成方面比业内类似模型表现更好。

🌈 Movie Gen应用前景广泛,可用于媒体娱乐生成电影预告片等,辅助教育领域制作教学视频,在广告行业快速生成吸引人的视频广告,为各领域提供丰富和个性化体验。

来源:格隆汇

全球社交巨头 Meta Platforms (META.US) 发布最新大模型Movie Gen,正式进军文生视频领域!

就在昨晚,Meta首次公开展示了自家的“用于媒体的突破性生成式 AI 研究”:Meta Movie Gen。而就在这关键时刻,10月4日讯,OpenAI 的 Sora 负责人突然宣布离职,下一站加入谷歌 Deepmind!

精准剪辑、还能配乐

最大技术亮点是,Movie Gen能直接生成带精准配乐的视频,目前Sora、Runway、Luma等一线产品都无法提供该功能。它可以根据文本提示生成长达16秒的高清视频(1080p),帧率高达16fps,满足用户对视频内容的个性化需求。

更令人惊叹的是,用户可以通过上传自己的图像,生成包含自己形象的个性化视频,这种深度的个性化体验是前所未有的。

能理解物体运动、主体-客体交互和摄像机运动,各种概念的合理运动都不在话下。具体来看,该模型能进行精确的视频编辑,包括添加、移除或替换元素,以及修改背景和风格等全局性修改。

尽管今年陆续已有不少视频模型相继亮相,但大多只能生成“哑剧”,食之无味弃之可惜,而这也是Movie Gen最引人注目的,Movie Gen能够根据视频内容和文本指令生成高质量的音效和音乐,与视频内容高度匹配并同步。

技术层面上,Movie Gen采用了最新的Llama 3架构,并引入了流匹配技术,这一创新的训练方法不仅提高了生成效率,还提升了视频的细节表现。

Meta公司使用了多达6144个H100 GPU进行大规模训练,确保了Movie Gen的高性能。

Movie Gen的应用前景非常广阔。

媒体娱乐领域,它可以用于生成电影预告片、音乐视频等内容,为用户提供更加丰富和个性化的娱乐体验。

教育领域,Movie Gen可以辅助教师制作教学视频,提高学生的学习兴趣和效果。

而在广告行业,Movie Gen可以根据广告创意快速生成吸引人的视频广告,提高广告的传播效果。

同时,Meta 对 Movie Gen 的性能非常自信, 他们进行了一系列的人工评估,结果表明,在视频生成、视频个性化、视频编辑和音频生成这四个方面,Movie Gen 都比业内类似模型表现更好!

开启全民视频创作者的时代

Meta的Movie Gen模型发布后,受到了业界的广泛关注。

它不仅展示了Meta在AI领域的技术实力,也为整个行业的发展指明了新的方向。随着技术的不断进步和应用的不断拓展,AI视频生成将成为未来媒体内容创作的重要趋势。

Meta CEO扎克伯格称,Movie Gen明年会上线Meta旗下的社交媒体Instagram。

有意思的是,他也在个人Instagram账号发布了一段Movie Gen生成的视频,显示他在用腿部推举机,随着他开始锻炼,背景发生了变化。

先是显示,他在一家霓虹灯照耀的未来风格健身房锻炼,然后变为,他穿着角斗士盔甲锻炼,接着变为他推动一台燃烧的纯金机器,最后变为,他用腿部推举一盒鸡块,周围是一片薯条。

看完演示 demo 的 Lex Fridman 言简意赅地表达了赞叹。许多网友再次“拉踩”OpenAI 的期货 Sora,但更多翘首以待的网友已经开始期待测试体验资格的开放了。

有网友对Movie Gen的全面化功能相当震惊,表示,Meta比OpenAI更高的发布了Sora。

Meta AI 首席科学家 Yann LeCun 也在线为 Meta Movie Gen 站台宣传。 在社交媒体上,用户们对Movie Gen的讨论同样热烈。

一位名为@VideoCreator的网友表示,"Meta的Movie Gen让我看到了视频创作的未来,它让制作视频变得像写文章一样简单。"

编辑/jayden

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Meta Movie Gen 文生视频 视频编辑 个性化体验 应用前景
相关文章