AI生成3D大势所趋,教你轻松部署ComfyUI-3D-Pack

B站影视 2024-12-20 09:34 2

摘要:ComfyUI-3D-Pack是一套全面的节点套件,用于支持ComfyUI处理3D输入(如Mesh和UV Texture等),采用先进算法(如3DGS、NeRF等)。该项目支持从单张图片到3D高斯模型的快速转换,并提供3DGS和3D网格的可视化。

Hello . 大家好

我是车子

1

ComfyUI-3D-Pack是一套全面的节点套件,用于支持ComfyUI处理3D输入(如Mesh和UV Texture等),采用先进算法(如3DGS、NeRF等)。该项目支持从单张图片到3D高斯模型的快速转换,并提供3DGS和3D网格的可视化。

2集成应用范围

角色生成: zjp-shadow/CharacterGen

任意姿势的角色生成三视图

即时 NGP : nerfacc

多视图图像作为输入

使用移动立方体导出至 3D 网格

3D 高斯溅射

改进的差分高斯光栅化

Gsgen提出的基于紧凑性的更佳致密化方法,

支持从给定的 3D 网格初始化高斯(可选)

支持小批量优化

多视图图像作为输入

支持导出为标准 3DGS .ply 格式

高斯溅射轨道渲染器

给定 3DGS 文件和由Stack Orbit Camera Poses节点生成的相机姿势,将 3DGS 渲染为图像序列或视频

网格轨道渲染器

给定网格文件和由Stack Orbit Camera Poses节点生成的相机姿势,将 3D 网格渲染为图像序列或视频

使用多视图图像拟合网格

使用Nvdiffrast将多视图图像烘焙到给定 3D 网格的 UVTexture 中,支持:

导出为 .obj、.ply、.glb

保存并加载 3D 文件

.obj、.ply、.glb 用于 3D 网格

.ply 用于 3DGS

切换 3DGS 和 3D 网格的轴

由于不同的算法可能使用不同的坐标系,因此重新映射坐标轴的能力对于在不同节点之间传递生成的结果至关重要。


3运行环境ComfyUI-3D-Pack运行所需的环境非常复杂需要配置两套独立环境和对应依赖,而且会与其他扩展产生依赖冲突,相信这也是困扰很多人的问题,对于很多没有编程基础的朋友基本无法搞定,我这提供了封装好3D pack的官方独立整合包,想要运行的话还需要VS组件支持,可以跟着我下面步骤来点击进入对应github页面找到如何使用指引,点击软件包文件地址

下载对应的两个分卷压缩包并解压,解压第一个就可以了

2.安装Visual Studio

使用3D Pack还需电脑安装Visual Studio2017-2022,我这里建议安装VS2019的社区版,安装时要勾选使用C++的桌面开发,安装完成后还需来到电脑终端,我们这里按win+R,输入cmd,打开windows命令行输入:

winget install--id=Microsoft.VisualStudio.2019.BuildTools -e

然后敲击回车安装Buildtools组件

3.检查环境变量

C:\Program FileslNVIDlA GPU Computing Toolkit\CUDAlv12.1\bin

C:\Program Files\NVlDlA GPU Computing Toolkit\CUDAlv12.1\libnvvp

C:\3D\ComfyUl_Windows_portable\python_embeded\Lib\site-packages\ninjaldata\bin

确保这三个路径添加到环境变量中,我安装的是C盘,找到自己的对应路径

4模型下载

Unique3D模型下载地址:

Unique3D模型存放路径:

主目录\ComfyUI_Windows_portable\ComfyUI\custom_nodes\ComfyUI-3D-Pack\Checkpoints\Diffusers\Wuvin\Unique3D

来源:小千科技每日一讲

相关推荐