苹果机器学习团队联合南京大学和香港科技大学，推出了名为Matrix3D的3D AI模型，该模型能够仅通过几张2D照片重建真实世界的物体和场景。与传统的摄影测量技术不同，Matrix3D整合了图像、相机参数和深度数据等所有过程，通过统一架构处理这些元素，减少了中间环节，从而实现更流畅、更可靠的3D重建。此外，该模型还采用了掩码学习方法，即使在数据集较小或不完整的情况下，也能有效学习关键特征。该技术在Apple Vision Pro等头显设备中具有巨大的应用潜力，能够创建逼真的虚拟场景，加速元宇宙和增强现实的发展。

📸Matrix3D模型由苹果机器学习团队与南京大学和香港科技大学合作研发，旨在通过少量2D照片重建真实世界的3D物体和场景。

⚙️Matrix3D采用统一架构，整合了图像、相机参数（如角度和焦距）以及深度数据等所有过程，简化了传统摄影测量技术中繁琐的步骤，提高了重建效率和可靠性。

👓在训练策略上，Matrix3D采用了掩码学习方法，通过随机隐藏部分输入数据，迫使模型学会“填充空白”，从而增强了模型的适应性，使其在数据集较小或不完整的情况下也能有效学习关键特征。

🚀Matrix3D只需三张输入图像，就能生成详细的3D重建，包括物体和整个环境，为Apple Vision Pro等头显设备创建逼真的虚拟场景，具有加速元宇宙和增强现实发展的潜力。

IT之家 5 月 14 日消息，科技媒体 9to5Mac 昨日（5 月 13 日）发布博文，报道称苹果机器学习团队携手南京大学和香港科技大学，推出名为 Matrix3D 的 3D AI 模型，专注于从少数 2D 照片中重建真实世界的物体和场景。

用户只需提供几张图像，模型就能自动生成高质量的 3D 输出。这不仅简化了操作，还为应用领域打开了新机遇，进一步推动了 AI 领域的协作。

摄影测量技术利用照片进行测量，从而创建 3D 模型或地图。目前的流程依赖姿态估计和深度预测等多个独立模型来处理具体步骤，而这种分段方法容易导致低效和错误。

Matrix3D 则革新了这一体系。它一次性整合图像、相机参数（如角度和焦距）以及深度数据等所有过程，通过统一架构处理这些元素，减少了中间环节，让重建过程更流畅、更可靠。研究者指出，这种整合设计显著降低了人为错误的风险，并提高了整体性能。

在训练策略方面，研究者采用了掩码学习方法，类似于早期 Transformer 基础 AI 系统。这种技术借鉴了 ChatGPT 早期版本的训练理念，在训练过程中随机隐藏部分输入数据，迫使模型学会“填充空白”。这强化了模型的适应性。即使数据集较小或不完整，Matrix3D 也能有效学习关键特征。

测试结果证明了 Matrix3D 的强大表现。用户只需三张输入图像，该模型就能生成详细的 3D 重建，包括物体和整个环境，为沉浸式技术带来了实际应用潜力。IT之家附上演示视频如下：

例如，在 Apple Vision Pro 等头显设备中，Matrix3D 可以创建逼真的虚拟场景，提升用户体验。研究者表示，这种能力将加速元宇宙和增强现实的发展。

参考

• Matrix3D: Large Photogrammetry Model All-in-One