掘金 人工智能 07月16日 17:53
全链路开源+PBR物理渲染!Hunyuan3D-2.1本地部署教程:重新定义工业级3D生成
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

腾讯混元3D-2.1是一个可扩展的三维资产生成系统,通过全开源框架和基于物理的渲染(PBR)纹理合成实现了技术突破。该系统开源了模型权重与训练代码,方便开发者进行微调和扩展,加速研究与应用。PBR管线的应用使得生成的纹理具备更真实的光效交互。文章还提供了详细的部署过程,包括环境配置、依赖安装和运行示例。

💡 腾讯混元3D-2.1的核心在于其全开源框架,允许开发者直接访问和修改模型,从而加速模型在不同应用场景的部署和优化。

🎨 该系统采用了基于物理的渲染(PBR)纹理合成技术,能够生成具有逼真光影效果的三维资产,如金属反射和次表面散射等,显著提升了视觉表现。

⚙️ 部署过程详细介绍了基础环境配置,包括Ubuntu系统环境、CUDA版本、Python版本等,并提供了安装Miniconda、配置pip源、创建虚拟环境等步骤的详细指导。

💻 文章提供了运行Gradio应用的文件,展示了如何通过该界面生成三维形状,验证了模型的可用性和功能性。

一、介绍

腾讯混元 3D-2.1 作为可扩展的三维资产生成系统,通过两大突破性创新推动前沿三维生成技术发展:全开源框架与基于物理的渲染(PBR)纹理合成。该系统首次完整公开模型权重与训练代码,使社区开发者能够直接微调并扩展模型,满足多样化下游应用需求,显著加速学术研究与工业部署进程。升级后的 PBR 管线取代了先前的 RGB 纹理模型,通过基于物理原理的材质模拟技术,生成具备真实感光效交互的纹理(如金属反射、次表面散射等)。

混元 3D 2.1 与其他开源及闭源三维生成方案的对比评测。数值评估结果表明,该系统在生成带纹理三维资产的质量与条件遵循能力方面全面超越所有基线模型。

ModelULIP-T(⬆)ULIP-I(⬆)Uni3D-T(⬆)Uni3D-I(⬆)
Michelangelo0.07520.11520.21330.2611
Craftsman0.07450.12960.23750.2987
TripoSG0.07670.12250.25060.3129
Step1X-3D0.07350.11830.25540.3195
Trellis0.07690.12670.24960.3116
Direct3D-S20.07060.11340.23460.2930
Hunyuan3D-Shape-2.10.07740.13950.25560.3213
ModelCLIP-FiD(⬇)CMMD(⬇)CLIP-I(⬆)LPIPS(⬇)
SyncMVD-IPA28.392.3970.88230.1423
TexGen28.242.4480.88180.1331
Hunyuan3D-2.026.442.3180.88930.1261
Hunyuan3D-Paint-2.124.782.1910.92070.1211

二、部署过程

基础环境最低要求说明:

环境名称版本信息 1
Ubuntu22.04.4 LTS
CudaV12.4
Python3.10
NVIDIA CorporationA100

1. 更新基础软件包

查看系统版本信息

# 查看系统版本信息,包括ID(如ubuntu、centos等)、版本号、名称、版本号ID等cat /etc/os-release

配置 apt 国内源

# 更新软件包列表apt-get update

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息,但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤,因为它确保了您获取的是最新版本的软件包。

# 安装 Vim 编辑器apt-get install -y vim

这个命令用于安装 Vim 文本编辑器。-y 选项表示自动回答所有的提示为“是”,这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器,广泛用于编程和配置文件的编辑。

为了安全起见,先备份当前的 sources.list 文件之后,再进行修改:

# 备份现有的软件源列表cp /etc/apt/sources.list /etc/apt/sources.list.bak

这个命令将当前的 sources.list 文件复制为一个名为 sources.list.bak 的备份文件。这是一个好习惯,因为编辑 sources.list 文件时可能会出错,导致无法安装或更新软件包。有了备份,如果出现问题,您可以轻松地恢复原始的文件。

# 编辑软件源列表文件vim /etc/apt/sources.list

这个命令使用 Vim 编辑器打开 sources.list 文件,以便您可以编辑它。这个文件包含了 APT(Advanced Package Tool)用于安装和更新软件包的软件源列表。通过编辑这个文件,您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中,您可以使用方向键来移动光标,i 键进入插入模式(可以开始编辑文本),Esc 键退出插入模式,:wq 命令保存更改并退出 Vim,或 :q! 命令不保存更改并退出 Vim。

编辑 sources.list 文件时,请确保您了解自己在做什么,特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定,最好先搜索并找到可靠的源信息,或者咨询有经验的 Linux 用户。

使用 Vim 编辑器打开 sources.list 文件,复制以下代码替换 sources.list 里面的全部代码,配置 apt 国内阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiversedeb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiversedeb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiversedeb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiversedeb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

安装常用软件和工具

# 更新源列表,输入以下命令:apt-get update# 更新系统软件包,输入以下命令:apt-get upgrade# 安装常用软件和工具,输入以下命令:apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出现以下页面,说明国内 apt 源已替换成功,且能正常安装 apt 软件和工具

2. 安装 Miniconda

# 下载 Miniconda 安装脚本wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 运行 Miniconda 安装脚本bash Miniconda3-latest-Linux-x86_64.sh# 初次安装需要激活 base 环境source ~/.bashrc

按下回车键(enter)

输入 yes

输入 yes

安装成功如下图所示

pip 配置清华源加速

# 编辑 /etc/pip.conf 文件vim  /etc/pip.conf

加入以下代码

[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事项:

3. 从 github 仓库 克隆项目

# 克隆项目git clone https://github.com/Tencent-Hunyuan/Hunyuan3D-2.1

请注意,如果 git clone https://github.com/tencent/Hunyuan3D-2.1.git 这个链接不存在或者无效,git clone 命令将不会成功克隆项目,并且会报错。确保链接是有效的,并且您有足够的权限访问该存储库。

4. 创建虚拟环境

# 创建一个名为 hy3d_2_1 的新虚拟环境(名字可自定义),并指定 Python 版本为 3.10conda create -n hy3d_2_1 python=3.10 -y

5. 安装模型依赖库

# 切换到 Hunyuan3D-2 项目工作目录cd /Hunyuan3D-2.1# 激活 hy3d_2_1 虚拟环境conda activate hy3d_2_1# 在 hy3d_2_1 环境中安装依赖pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124pip install -r requirements.txt# for texturecd hy3dpaint/custom_rasterizerpip install -e .cd ../..cd hy3dpaint/DifferentiableRendererbash compile_mesh_painter.shcd ../..wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth -P hy3dpaint/ckpt

6. 运行 gradio_app.py 文件

# 第一次运行gradio.py会自动从Hagging Face下载预训练模型,如没有设置代理加速,可进行如下设置# 运行gradio_app.py之前设置 Hugging Face 的镜像地址export HF_ENDPOINT=https://hf-mirror.com#运行gradio_app.pycd /Hunyuan3D-2.1conda activate hy3d_2_1python gradio_app.py

三、网页演示

出现以下 Gradio 页面,代表模型已搭建完成。

图片生成形状示例:

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

腾讯混元 3D生成 PBR 开源
相关文章