智源社区 04月02日 11:52
Gen-4掀翻AI视频牌桌!一条龙制作故事短片,只需提示词和参考图
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Runway发布新一代视频生成模型Gen-4,主打世界一致性、高动态高保真和可控性,仅需几张参考图和简单提示词就能生成电影级别视频。该模型在物理规律理解上表现出色,能真实还原固液表面、柔性物体以及光学现象。Gen-4专为讲故事而设计,Runway展示了多个纯Gen-4制作的微电影,并开放图生视频功能给付费用户,Reference功能即将上线,引发创作者期待。

🎬 Gen-4的核心优势在于其强大的视频生成能力,仅需少量参考图和简单提示词,即可创作出电影级视频,并保持主题、对象和风格的一致性。

🌍 Gen-4在世界一致性方面表现出色,角色形象在不同视角和场景中保持一致,同时对物理规律有更好的理解,能够生成更符合真实世界规律的视频,例如固液表面、柔性物体以及光学现象。

💡 Gen-4引入生成式视觉特效(GVFX)技术,允许用户通过简单的操作将物体融入不同场景,例如将玩具融入街景,并使其在不同场景中移动。Runway展示了利用该技术制作的多个短片。

🎬 Runway展示了多个纯Gen-4制作的微电影,证明了该模型在故事创作方面的潜力。图生视频功能已向付费用户和企业用户开放,Reference功能即将上线,创作者们期待其带来的更多可能性。

Runway带着新一代视频生成模型Gen-4杀回来了!

功能强大到只要几张参考图和简单提示词,就可以生成电影级别的大片。

性能上则是主打世界一致性、高动态高保真和可控性,自称是新的SOTA模型。

比如在这段半分钟的视频里,女主先后进行了开车等一系列动作,出现了不同的视角,但角色形象始终都保持一致。

并且在物理规律理解上也表现出色,用Runway自己的话说是“理解物理世界的重要里程碑”。

不管是固液表面还是柔性物体,以及光学中的透射反射,Gen-4都能真实还原。

当然Runway的野心不止于此,在他们看来,Gen-4专为讲故事而设计,并指出“会讲故事”才是AI的新基准

并且还放出了几个纯Gen4制作的微电影,每个时长都超过了100秒。

比如这段《The Lonely Little Flame》,讲述了主角渴望寻找朋友并最终得偿所愿的故事,整段视频从头到尾都是用Gen-4完成。

有网友评论说,之前自己并不看好Runway,但是现在Gen-4让他刮目相看,直接把牌桌掀翻了。

纯AI制作两分钟故事片

据Runway介绍,此次Gen-4主要有这样几个亮点:

    可生成具有逼真动作的高度动态视频,
    仅需单个参考图像,就能创造不同场景的视频,并且主题、对象和风格一致;
    具有出色的即时一致性和一流的世界理解能力,可控性强;
    对物理规律有更好的理解,能够生成更符合真实规律的视频;
    支持生成式视觉特效(GVFX)。

Runway发布的宣传片中,演示了用两张照片生成影像级视频的整个过程。

创始人兼CEO Cristóbal Valenzuela拍摄了手中的玩具,然后上传了一张之前拍摄的街景图片,通过简单的指令就将玩具融入到了街景当中。

接着,Cristóbal利用得到的照片,生成了人们从玩具旁边走过的视频。

更精彩的在后面,随着玩具上的红色小球滚落,画面变成了雪地、沙漠等各种不同场景。

这就是Gen-4此次引入的生成式视觉特效(GVFX)技术。

结合这次Gen-4主推的一致性、高保真等特性,可以从头到尾只用Gen-4就能完成故事影片的制作。

包括开头展示的微电影“小火苗”在内,Runway这波一口气展示了五段作品。

《The Herd》讲述了一个讲述了一个年轻人在夜间被牛群追赶的故事。

关键在于,其画面仅通过简单的参考图和提示词就能得到,然后通过Act-One技术,这些镜头被串联成了完整故事。

《NYC is a Zoo》则将纽约变成了一个大型动物园,看上去十分有趣。

Runway介绍,影片中的每个场景都是通过Gen-4的Reference功能,将动物的真实照片与纽约街景照片相结合,然后用提示词描述每个场景的具体动作而创建的。

同样是动物题材的还有这段音乐舞蹈《Scimmia Vede》,不过跳舞的演员可不是人,而是一只猴子。

从画风上看,动漫风格也能轻松驾驭,并且比实景风格看上去更加没有AI感。

下面这段《The Retrieval》,就讲述了几位主角不断探险,寻找神秘之花的整个过程。

总之,Runway表示,Gen-4将成为一种故事创作的全新方式。

目前,Gen-4的图生视频功能已向付费用户和企业用户开放,制作短片时用到的Reference功能也即将上线。

BTW,创作者们已经在期待Reference的正式上线了。

参考链接:
[1]https://runwayml.com/research/introducing-runway-gen-4
[2]https://runwayml.com/gen-4-bts
[3]https://x.com/runwayml/status/1906718935778545964

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  —

速抢席位!中国AIGC产业峰会观众报名通道已开启 🙋‍♀️

首批嘉宾曝光啦 🔥 百度、无问芯穹、数势科技、生数科技、像素绽放等十数位AI领域创变者将齐聚峰会,让更多人用上AI、用好AI,与AI一同加速成长~

4月16日,就在北京一起来深度求索AI怎么用 🙌 点击报名参会


🌟 一键星标 🌟

科技前沿进展每日见


内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Runway Gen-4 AI视频生成 人工智能
相关文章