新智元报道
新智元报道
背后的目标，直指一个关键命题：在未来的真实世界中，人类和AI如何共存？这个世界模拟器将颠覆你的想象——人类、机器人及其鲜活的社会形态，正在全球三维真实地理空间场景中，栩栩展开！在这里，人类角色与机器人智能体可以在从伦敦到纽约、乃至更广阔的开放世界里互动、成长、共同演进！不久的将来，人类与机器人将共存于世。「虚拟社区」项目亮点令人振奋，这是未来的一次提前预演——1. 它是一个开源的多智能体物理模拟器，不仅能真实模拟人与机器人之间的互动，还覆盖了室外城市街区、室内复杂空间、甚至完整社区结构。2. 平台中智能体角色丰富，外观各异，为研究带来极大多样性。3. 首次引入两个前沿任务：多智能体活动任务：衡量如何建立联系、影响他人；多智能体社区助手任务：测试机器人在协作推理与规划中的实际能力。来自马萨诸塞大学阿默斯特分校、约翰霍普金斯大学和卡内基梅隆大学的研究者共同探讨了未来世界中，人、机器人以及整体社会是如何协作共生的。论文地址：https://virtual-community-ai.github.io/paper.pdf开源地址：https://github.com/UMass-Embodied-AGI/Virtual-Community项目主页：https://virtual-community-ai.github.io/下面这张图，揭开了「虚拟社区」背后真正的秘密武器——它的生成流程框架。这个框架不仅重构了现实世界的数字映射，更将AI与地理信息系统、生成模型和大语言模型（LLMs）无缝融合，打造出一个前所未有的社会智能实验场。该框架核心模块有三个：1. 场景生成组件：从真实地理信息数据出发，通过生成模型在线增强纹理、简化几何结构，让粗糙的3D数据焕然一新。更妙的是，它还能创造出交互式对象和高度还原的室内细节。
2. 智能体生成组件：基于LLM，从场景描述中自动构建出丰富的角色设定及其社会关系网络，每一个智能体都不是「孤岛」，而是社区关系链的一环。3. Genesis引擎模拟：最终，这些生成的场景和角色被统一接入Genesis引擎，在开放世界中实现真实社区和机器人互动模拟。一句话：这不是简单的虚拟建模，而是一个由AI赋能、可不断自我演化的「数字社会孵化器」。未来的人机共居社会，或许就从这里悄然长出第一片绿芽。Virtual Community虚拟社区虚拟社区将地理空间数据与生成模型相结合，以创建具有社交基础的智能体社区的交互式、可扩展的开放世界场景。
尽管现有3D地理空间数据API数量众多、类型丰富，却因噪声太多、街道视觉质量不足而难以直接用于具身AI模拟。原因在于：原始数据中混杂着行人、车辆等临时物体，还有不真实的地形起伏；而且这些场景大多由航拍图像重建而成，缺乏从地面视角所需的纹理与几何细节。为解决这些痛点，研究团队提出了一条全新的在线流水线，专为具身AI模拟打造。该流程包括四大步骤——网格简化、纹理优化、对象放置与自动标注，旨在彻底清理并增强原始数据，使其既真实又适配AI交互。目前，团队已通过这一流水线构建了涵盖全球多个城市的35个带标注高质量场景。这一次，真实世界的复杂性与AI模拟的严谨性，终于找到了理想的连接方式。一个完全自动化的在线流程，利用真实世界地理空间数据和生成模型创建3D场景。基于真实世界的地理空间场景，地理空间数据确保了户外3D场景的多样性和规模。· 实现自动语义标注，场景中自动标注的位置和物体。· 交互式室内场景与物体根据位置标注创建的室内场景和物体。
研究团队成功借助大语言模型，实现了基于场景的智能体角色与社交网络自动生成系统。只需输入场景信息与角色外观细节，LLM就能生成包含姓名、年龄、职业、个性与爱好的完整角色档案，并自动构建他们之间的社交群组。每个群组都对应特定活动场所，模拟真实社区互动，打造出一个有机社交生态。
更厉害的是，为确保生成角色的准确性，系统还引入了「关联验证器」机制，一旦发现地点引用有误，LLM会根据反馈自动修复！角色视觉形象也同样不含糊：通过整合Mixamo的20款通用皮肤与AvatarSDK的高保真现实建模，系统已支持跨五大领域的62位名人形象生成，连真人照片都能转为虚拟角色！· 利用基础模型和真实世界标注生成社区，使用Genesis物理引擎进行模拟· 智能体社区生成，由LLM驱动的个性化社交档案· 自动驾驶交通系统，行人流量、车流、公共交通系统
人机交互，虚拟社区依托Genesis实现了物理上逼真的机器人交互，还能实现机器人模拟与可视化接触。
除真实的仿真场景和智能体以外，还有丰富的机器人智能体。· Bitcraze Crazyflie 2· UniTree H1· UniTree Go2· Husky Robot· Boston Dynamics Spot· Google Robot
在这个数字世界，人与人、人与机器、机器与机器的社交同样遵循真实物理世界规律。有时，你会看到三三两两的人站在在街头聊天。或者，一起在广场上跳舞。人们可以在街上「遛」机器狗。甚至还可以和机器人做互动。
模拟器支持输入经纬度创建对应的多样化世界，包括大规模3D环境和基于场景的智能体社区，比如：· 佛罗伦萨· 马德里· 丹佛· 伦敦· 纽约· 阿姆斯特丹
以下空间场景完全基于真实世界构建。作者介绍
Virtual Community是首个基于真实三维世界构建的开放给人类、机器人与整个社会的沉浸式实验场。 由UMass研究者基于通用物理引擎Genesis重磅打造，重新定义具身智能社会化研究。作者希望虚拟社区能推动具身AI研究朝着具备处理现实世界复杂性并与人类社区共存的具身通用智能发展。虚拟社区中提出的开放世界模拟框架为研究具身智能体的社会智能开辟了多个有意义但具有挑战性的研究方向。Qinhong Zhou（周沁泓）周沁泓是麻省大学阿默斯特分校（UMass Amherst）的博士生，师从淦创教授。他的研究方向是AI智能体与人类及其他智能体之间的对齐、合作与决策能力。研究领域涵盖具身AI模拟、多智能体/模型协作、LLM对齐和知识蒸馏等。目标是使人工智能系统能够在物理世界中与人类价值观保持一致，促进人机之间以及各人工智能智能体之间的更有效协作。Hongxin Zhang (张洪鑫)张洪鑫是麻省大学阿默斯特分校计算机科学专业的二年级博士生，师从淦创教授。
文章原文
