智源社区 01月03日
大规模3D场景2分钟生成,效率提升30倍!中科院发布空间智能新框架 | AAAI 2025
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

SceneX是由中国科学院自动化研究所和北京科技大学联合团队提出的新型3D场景生成框架。它通过简单的文本描述,快速生成高质量的3D虚拟场景,无论是自然风光还是城市街道都能轻松应对。SceneX的核心在于PCGHub和PCGPlanner两大模块,前者提供多样化的程序化资产和布局生成,后者则负责智能场景规划。相较于传统方法,SceneX大幅缩短了场景建模时间,从数周压缩至数小时,并支持通过文字指令精确控制场景细节,为虚拟世界构建、游戏开发等领域带来高效便捷的体验。

🧩PCGHub:作为多样化程序化资产与布局生成平台,集成了172个涵盖自然环境、建筑等多领域的程序化资产,并配备了多种灵活的布局生成器,支持通过调整几何和材质参数实现多样化变化,极大地丰富了资源库的多样性。

🧠PCGPlanner:作为智能场景生成与布局规划模块,利用PCGHub提供的资源,实现高效的自动化场景生成,其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段,确保生成结果的连贯性与几何一致性。

⏱️高效性:SceneX框架将大规模场景建模时间从传统方法的数周缩短至数小时,并且通过文本指令可以精确控制场景细节,大大提升了生成效率。

🎨高质量:通过用户和专业设计师的测试,SceneX生成的场景在质量上获得了高度认可,美学评分几乎持平,说明其生成结果无论是普通用户还是行业专家都非常满意。

✨可控性:SceneX具有卓越的语义理解和生成能力,能够根据文本描述完美复现用户想象的场景,实现“所见即所得”的效果,同时支持用户对场景进行个性化编辑。

编辑:LRST
「空间智能」和「世界模型」是最近学术界和产业界非常火热的研究方向,走向虚实结合、模拟世界机理的关键一步,就是创造出一个生动的虚拟世界。

然而,想要打造丰富多样、充满细节,同时具备高度可编辑性和物理真实性的3D虚拟世界,仍然困难重重。

为了解决这些难题,来自中国科学院自动化研究所和北京科技大学的联合团队,首次提出了一种全新的3D场景生成框架SceneX,只需简单的文字描述,就能快速生成高质量的3D虚拟场景。

不论是辽阔的自然风景,还是充满活力的城市街道,模型都能轻松应对。

网站:https://zhouzq1.github.io/SceneX/

论文:https://arxiv.org/abs/2403.15698

更重要的是,SceneX还能根据需求灵活调整,让场景更贴合用户设想。

有了SceneX,虚拟世界的构建也会更轻松,简单且高效。

SceneX开启高效、逼真场景生成新时代

SceneX以创新的方式打破传统局限,全面提升效率与真实感,主要包括两个核心模块:

PCGHub:通过集成多种程序化生成模块并封装为标准化API,PCGHub提供了一个灵活的平台,解决单一生成模块因固有算法和规则受限而导致的局限性,大幅扩展了资源生成的多样性和灵活性。

PCGPlanner:作为智能规划器,PCGPlanner高效协调PCGHub的资源完成场景生成。其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段。通过模块化设计,确保生成结果的连贯性与几何一致性。

相比传统方法需要数周完成的大规模场景建模,SceneX将时间压缩至数小时,同时支持通过简单的文字指令精确控制场景的细节。SceneX的跨模态协同能力,赋予场景生成前所未有的灵活性与可控性。

图1:SceneX可根据文本指令自动生成大规模3D自然场景或城市。生成的模型具备精细的几何结构、真实的材质纹理和自然的光照效果,可无缝应用于工业流程

PCGHub:多样化程序化资产与布局生成平台

场景的多样性离不开资产的多样性。
为此,PCGHub提供了一个集成丰富程序化生成模块和3D资产的平台,旨在解决传统方法的局限性并提升内容真实感。
PCGHub提供了172个涵盖自然环境、建筑等多领域的程序化资产,并配备了散射、网格、线性等多种灵活的布局生成器,使开发者能够轻松创建丰富多样的3D场景。

表1:PCGHub中各元素功能概览

这些资产可通过调整几何和材质参数实现多样化变化。

从2,362个原始参数中提取了263个核心参数,并封装为标准化API,每个API配有详尽文档,包括功能描述和参数规格,方便用户调用和扩展。

此外,PCGHub还包含11,284个高质量3D静态资产,极大地丰富了资源库的多样性。

PCGHub的推出,为生成多样化且真实感强的场景提供了高效而灵活的解决方案。

图2:某个树木程序化生成模块的API文档、API功能及生成结果示例

PCGPlanner:智能场景生成与布局规划

PCGPlanner利用PCGHub提供的资源,实现高效的自动化场景生成。整个生成过程包括四个关键阶段:
(1)场景分解:根据用户需求分析场景并列出所需资产;
(2)地形生成:构建基础地形并应用适当的材质;
(3)物体生成与检索:根据需求生成或导入场景所需的资产;
(4)资产放置:根据不同的布局类型和程序化生成器,在场景中安排资产。

图3:SceneX框架通过四个阶段将用户文本输入转换为不同的3D场景:场景分解阶段、地形生成阶段、物体生成和检索阶段以及资产放置阶段

一系列实验验证了SceneX在质量、效率和场景编辑上的全方位优势。主要成果如下:

在对场景质量进行评分时,邀请了用户和专业设计师参与测试。
结果表明,SceneX生成的场景获得了用户和专家的一致认可,评分结果几乎持平。
这意味着,无论是普通用户还是行业专家,都对SceneX生成的场景赞不绝口。

表2:美学平均得分(AS)和美学专家平均得分(AES)的比较分析

图4:不同场景下个性化编辑结果的可视化

图5:SceneX场景生成效果对比

通过提示词与场景匹配度评估,SceneX展现了卓越的语义理解和生成能力。

无论是静谧的河边风光,还是繁华的城市景象,SceneX都能完美复现用户想象,实现「所见即所得」。

图6:大规模场景和城市生成结果

时间就是一切,而SceneX让场景生成变得又快又准。

实验结果显示,生成一片壮丽的自然景观只需要短短几分钟,打造一座大型城市也快得令人惊讶。

结语

SceneX框架展示了程序化内容生成与多Agent工作流结合的巨大潜力,为大规模场景生成提供了全新的解决方案。
通过其强大的可控性和高质量的生成能力,SceneX为虚拟世界构建、游戏开发、影视制作等领域开辟了新的可能性。

未来,SceneX将进一步优化生成过程,为用户提供更加高效便捷的场景生成体验。

参考资料:
https://arxiv.org/abs/2403.15698



内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

SceneX 3D场景生成 程序化生成 虚拟世界 人工智能
相关文章