谷歌DeepMind联合多所大学开发了CAT4D AI系统，该系统能将普通视频转化为动态3D场景，降低了3D内容创作的门槛。CAT4D利用扩散模型，将单视角视频转换为多视角视图，构建出可从不同角度观看的动态3D场景。这项技术简化了以往需要多机位拍摄的复杂流程，仅需普通视频素材即可实现。CAT4D的出现有望革新游戏开发、电影制作和增强现实等领域，为这些行业带来新的可能性。该系统通过混合真实世界镜头与计算机生成内容进行训练，并采用扩散模型学习，在特定时刻从特定角度创建图像。虽然现阶段生成的3D场景比原始素材短，但成像质量已优于同类系统。

🎬CAT4D系统利用扩散模型，将单视角拍摄的普通视频转化为多视角视图，并构建成动态3D场景，使用户能从不同角度观看视频中的主体，如同身临其境。

🕹️该技术简化了传统3D内容制作流程，无需多台摄像机同时录制，仅需普通视频素材即可实现，大幅降低了3D内容创作的门槛。

💡CAT4D通过混合真实世界的镜头与计算机生成的内容进行训练，解决了训练数据不足的问题，并采用扩散模型学习，在特定时刻从特定角度创建图像，从而生成高质量的3D场景。

🎮CAT4D技术具有广泛的应用前景，游戏开发者可以利用它创建虚拟环境，电影制作人和AR开发者也可以将其融入到工作流程中，有望革新多个行业。

IT之家 1 月 4 日消息，科技媒体 The Decoder 昨日（1 月 3 日）发布博文，报道称谷歌 DeepMind 联合哥伦比亚大学、加州大学圣地亚哥分校的研究人员，开发了一款名为 CAT4D 的 AI 系统，可以将普通视频转化为动态 3D 场景，降低了 3D 内容创作的门槛，为多个行业带来了新的可能性。

CAT4D 系统利用扩散模型，将单视角拍摄的视频转换为多视角视图，并将其构建成动态 3D 场景，用户可以从不同角度观看视频中的主体，如同置身其中。IT之家附上演示图如下：

以往，实现类似效果需要多台摄像机同时录制同一场景，而 CAT4D 则简化了这一流程，只需普通视频素材即可，这项技术有望革新游戏开发、电影制作和增强现实等领域。

在训练 AI 过程中，谷歌 DeepMind 团队发现没有太多现有数据，为了解决这个问题，团队混合真实世界的镜头与计算机生成的内容，训练数据包括静态场景的多视图图像、单视角视频和合成 4D 数据，通过扩散模型学习，在特定时刻从特定角度创建图像。

该系统现阶段所生成的 3D 场景，比原始素材要短，但 CAT4D 的成像质量已优于同类系统。CAT4D 技术具有广泛的应用前景。游戏开发者可以利用它创建虚拟环境，电影制作人和 AR 开发者也可以将其融入到工作流程中。