富途牛牛头条 2024年12月05日
接力李飛飛,谷歌虛擬世界生成器上線,將和馬斯克聯手做AI遊戲?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌DeepMind近日发布了大型基础世界模型Genie 2,该模型能够根据单张图片或文字描述生成可交互的3D场景。Genie 2具备空间记忆能力,可以持续保持场景一致性,并拥有扩图能力,实时创造符合逻辑的新场景内容。与李飞飞团队的World Labs类似,但Genie 2更侧重于游戏制作,并可为具身智能研究提供丰富的虚拟训练数据,有望解锁具身智能体的下一波能力。Genie 2的发布引发了业界关注,DeepMind CEO也邀请马斯克合作开发AI游戏,展现了其在游戏领域的应用潜力。

🤔 **一张图生成可交互3D场景:** Genie 2可根据用户提供的图片和文字描述,生成一个可交互的3D场景,用户可自由探索,并以720p清晰度呈现,大多数场景能稳定运行10-20秒。

🧠 **空间记忆能力:** Genie 2在生成3D场景时,即使用户视角离开某个区域,系统也能保持该区域的一致性,确保场景完整性。

🚀 **扩图能力与应用方向:** Genie 2可以实时创造符合逻辑的新场景内容,并保持场景一致性,类似于World Labs的'扩图'能力。谷歌将Genie 2的应用方向侧重于游戏制作,并与游戏开发者合作研究通用智能体。

🤖 **具身智能研究的潜力:** Genie 2能够快速创建无限多样的3D环境,为具身智能研究提供丰富的虚拟训练数据,有望解锁具身智能体的下一波能力,例如通过语言指令控制智能体在场景中执行任务。

🎮 **与World Labs的差异:** Genie 2与World Labs的功能相似,但后者更侧重于影视制作,且在生成3D环境时更注重物理世界的本质,而Genie 2则通过视频扩散和像素预测生成场景。

①时间仅相隔一天,两个AI工具的功能非常相似;②谷歌侧重于游戏制作;③Genie 2为代表的大世界模型能为具身智能研究提供丰富的虚拟训练数据,有望解锁具身智能体的下一波能力。

前有“AI教母”李飞飞,后有 谷歌-A (GOOGL.US) / 谷歌-C (GOOG.US) DeepMind,大模型的热度还在,大世界模型又成为焦点。

继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界模型Genie 2,可通过单张图片或文字描述生成3D场景。

相关论文

时间仅相隔一天,两个AI工具的功能非常相似,核心在于:

1、一张图生成可交互3D场景:据谷歌介绍,用户只需提供一张图片(由Imagen 3生成)和文字描述,Genie 2就能生成一个可交互的3D场景,并以720p的清晰度呈现。通过鼠标和键盘控制,用户可以在其中自由探索长达1分钟,大多数能稳定运行10到20秒。

2、空间记忆能力:Genie 2生成的内容能让当用户在虚拟环境中移动时,即使某些区域暂时不在视野范围内,系统也能保持这些区域的一致性。World Labs同样可以做到这一点,即使你把视线移开然后又回来,已生成的3D场景也不会改变。

3、扩图能力:Genie 2能在过程中实时创造出符合逻辑的新场景内容,并且可以在长达一分钟的时间内保持整个世界的一致性。这指该AI工具的可预测3D场景能力,World Labs也能让AI工具仅凭部分图片就能“扩图”,想象出整个3D场景。

下面是谷歌给出的demo范例:

2D图生3D场景(可多个视角)
可交互(包括与生成的NPC交互)
空间记忆能力

不过,似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道,普林斯顿AI创新中心创始人、主任,终身教授王梦迪表示:“李飞飞的World Labs和谷歌的Genie2看上去都是从一张图片生成可以交互的三维场景,但有本质区别。Genie2还是video diffusion(视频扩散),每一帧的生成都是pixel prediction(像素预测),并通过额外的用户输入的guidance(引导)来影响下一帧的概率分布。而飞飞的World Labs是更进一步挖掘世界的物理本质:从图片出发,估计图片中不同景物的深度和相对关系,生成了更加物理世界的3D环境建模,不仅仅是可互动视频”。

另外,一个细微区别是,World Labs将应用领域侧重于影视制作,而谷歌侧重于游戏制作。Genie 2发布后,DeepMind CEO Demis Hassabis直接邀请马斯克一起制作AI游戏,马斯克回复:Cool。马斯克此前声称,xAI将开办一家AI游戏工作室。

重视游戏场景并不意外,DeepMind也承认了这点:“从我们早期与Atari游戏的合作,到AlphaGo和AlphaStar等突破性成果,再到我们与游戏开发者合作研究通用智能体,游戏一直是我们研究的重心。”

作为Youtube的母公司,谷歌还拥有Youtube里上亿小时的游戏视频数据。

值得注意的是,Genie 2为代表的大世界模型能快速创建无限多样的、可操控的3D环境,这些3D环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。

谷歌研究人员Jack Parker-Holder给出了两个实例,其中,一张图上有一个红门和一个蓝门,向模型输入不同的语言指令,可以生成不同的3D场景,走向红门或蓝门。

在更复杂的三门场景中,Genie 2依然很好地理解了指令并生成了研究人员想要的3D动图。

上述研究人员表示,相信Genie 2可以解锁具身智能体的下一波能力。

编辑/jayden

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Genie 2 大世界模型 具身智能 3D场景生成 AI游戏
相关文章