摘要:在传统工作流中,建模师必须构建占位模型、低精度资产来填充 3D 场景,优化核心资产以完成场景。之后,可以优化、细化并最终完成视觉效果。
3D 艺术家们不断进行原型设计
在传统工作流中,建模师必须构建占位模型、低精度资产来填充 3D 场景,优化核心资产以完成场景。之后,可以优化、细化并最终完成视觉效果。
原型设计非常耗时,且通常是一次性工作,艺术家不得不将时间花费在繁琐的建模而不是创意探索上。
生成式 AI 可加速中间任务来辅助艺术家工作,例如建议和生成草稿对象来设计场景原型。但要连接多个 AI 模型以释放这些加速工作流,在技术上可能具有挑战。
NVIDIA AI Blueprint 可帮助应对这一挑战,它可提供示例工作流,以便用户可以跳过过于技术化的阶段,并快速受益于先进的生成式 AI 技术。此外,AI Blueprint 可以根据每个用户的特定需求量身定制。
NVIDIA 今天发布了用于 3D 模型生成的 AI Blueprint,该工作流让 3D 艺术家只需输入简单的文本提示,即可创建多达 20 个 3D 模型来设计场景原型。
此外,全新的 Microsoft TRELLIS NVIDIA NIM 微服务可在用于 3D 模型生成的 AI Blueprint 中运行来生成高质量 3D 资产,速度比原生应用快 20%。
生成、原型设计、重复
3D 项目始于创意的萌生,随后要仔细考虑视觉细节,如主题、位置、装饰、颜色、纹理等。即使在场景布景后,艺术家们仍必须多次检查和编辑单独和整体的视觉效果。
全新用于 3D 模型生成的 NVIDIA AI Blueprint 为用户提供了自动化原型设计的工作流。
由 3D 模型生成 AI Blueprint 生成的示例模型预览。
NVIDIA SANA 是一个文本转图像框架,可快速合成高分辨率图像,并生成预览以展示可能的物体效果。每个对象都可以重新生成、修改或丢弃,让艺术家完全掌控创意。
专业提示:由 Llama 3.1 8B NIM 微服务提供支持的 LLM 可以为场景中要包含的物体生成创意,并提供提示建议,即使没有丰富提示词经验的艺术家也可以提高创意效率。
然后,艺术家可以通过全新的 Microsoft TRELLIS NVIDIA NIM 微服务将每个对象从高质量预览转换为随时可用的 3D 模型,这简化了该先进模型的部署,并将其加速 20%。
此外,由多达 20 个 3D 资产组成的集合可供立即使用或在开源 3D 平台 Blender 中进一步优化,用于 3D 模型生成的 AI Blueprint 会自动导出到该平台。艺术家们还可以导出到其他流行的 3D 应用。
Blender 中的这个 3D 场景中布置了在 3D 模型生成 AI Blueprint 中生成的对象。
设置这一系列工作流通常会耗费大量时间并且需要技术知识,还要试验不同的模型以选择合适的工作流。NVIDIA AI Blueprint 通过预先选择经过验证的工作流来简化入门流程,并通过将所需组件打包在一起,简化在 NVIDIA GeForce RTX 和 RTX PRO GPU 上的部署。
Microsoft TRELLIS
Microsoft TRELLIS 是由 Microsoft Research 开发的尖端 3D 资产生成模型,能够根据文本或图像提示生成细节丰富、包含复杂形状和纹理的 3D 资产。
由于它可以生成可即时预览的材质和产品级模型,因此特别适用于游戏设计、建筑和数字媒体制作。
供消费者使用的高质量文本转图像 3D 模型往往很难设置。Microsoft TRELLIS NIM 微服务可无缝集成到用于 3D 模型生成的 NVIDIA AI Blueprint 中,为艺术家节省大量时间。
在 Blueprint 中使用时,得益于 PyTorch 的推理速度优化,Microsoft TRELLIS NIM 微服务的速度可提高 20%。remove 对于为数十个场景生成数百个资产的 3D 自由职业者来说,节省下来的时间是非常可观的。
所有配备 16GB 或更大显存的 NVIDIA GeForce RTX 50 系列和 40 系列 GPU(台式机和笔记本电脑)均支持 Microsoft TRELLIS NIM 微服务。
准备、瞄准目标、部署
「链接」,按照视频说明开始使用用于 3D 模型生成的 NVIDIA AI Blueprint:
1. 加载 Blueprint,包括模型。
2. 输入简单的场景创意(例如“夜市”或“阳光明媚的沙滩”)。
3. 将自动生成 20 个图像预览。
4. 点击图像下方的刷新图标可替换任何不需要的对象。
a. 提示:点击图像下方的铅笔图标可编辑原始提示,从而更好地控制替换图像。
5. 点击图像下方的垃圾桶图标可删除不需要的对象。
6. 使用图像下方的“->3D”图标可转换单个图像。
7. 使用底部的“Convert all to 3D”(全部转换为 3D)按钮可将所有预览转换为 3D。
a. 提示:点击“Start over with a new scene prompt”(使用新场景提示重新开始)可开始新场景。这将清除当前进度,因此请务必先保存。
8. 使用页面底部的内置按钮可将文件导出到 Blender,以继续优化 3D 模型。
「链接」,立即探索各种精心策划的 AI Blueprint,包括 3D 引导生成式 AI Blueprint 和 NIM 微服务。
来源:NVIDIA英伟达中国