摘要：在 AI 领域，扩散模型（Diffusion Model）已经成为生成高质量 3D 内容的核心技术之一。从二维图像的辉煌到三维创造的新大陆，扩散模型不仅能够生成逼真的 3D 模型，还能根据文本描述进行创意生成。本文将深入剖析扩散模型的工作原理，探讨其在 3D

在 AI 领域，扩散模型（Diffusion Model）已经成为生成高质量 3D 内容的核心技术之一。从二维图像的辉煌到三维创造的新大陆，扩散模型不仅能够生成逼真的 3D 模型，还能根据文本描述进行创意生成。本文将深入剖析扩散模型的工作原理，探讨其在 3D 内容生成中的应用路径，以及产品经理如何利用这一技术推动产品创新。

在上一篇笔记（S2E04）中，我们深度剖析了 NeRF（神经辐射场）这一革命性的技术，理解了它如何通过”记忆”光线来高保真地重建和渲染三维场景。NeRF 的强大之处在于其无与伦比的真实感和对现有场景的精确复现能力，使其在三维重建和数字化领域扮演着举足轻重的角色。然而，当我们谈论 AI 的”创造力”，特别是从无到有、根据高层语义（如文本）进行创作时，另一位主角则当仁不让地走上了舞台中央——它就是 Diffusion Model (扩散模型)。

如果说 NeRF 更像一位技艺高超的”数字摄影师兼修复师”，致力于忠实还原现实；那么 Diffusion 模型则更像一位想象力丰富的”数字雕塑家”，能够从混沌中塑造出前所未见的形态。正是 Diffusion 模型在文本到图像（Text-to-Image）领域的巨大成功（催生了 Midjourney, Stable Diffusion, DALL-E 等现象级应用），彻底点燃了 AIGC 的火焰，并将其强大的生成能力迅速”辐射”到了三维领域。

理解 Diffusion 模型的工作原理，以及它如何被巧妙地应用于驱动 3D 内容的生成，对于产品经理而言至关重要。这不仅关系到我们能否把握当前 AI 生成 3D 领域最核心、最活跃的技术脉搏，更直接影响到我们对相关工具能力的评估、产品功能的定义以及对未来技术趋势的判断。

本篇笔记（S2E05）将聚焦于为产品经理揭开 Diffusion 模型的神秘面纱。我们将共同探讨：

Diffusion 模型的核心思想究竟是什么？它是如何实现从”混沌”到”秩序”的有序生成的？

强大的 2D 图像扩散模型是如何被”降维打击”，用来创造 3D 物体的？（即 Score Distillation Sampling 的奥秘）

直接在 3D 数据上进行扩散的另一条技术路径又是怎样的？

从产品视角看，基于 Diffusion 的 3D 生成方法带来了哪些独特的优势，又面临着哪些严峻的挑战？

我们的目标是，让产品经理不仅能对 Diffusion 模型”知其然”，更能”知其所以然”，从而在产品实践中做出更明智、更具前瞻性的决策。

初次接触 Diffusion 模型，其数学原理可能显得有些晦涩。但其核心思想却非常直观，甚至带有一丝哲学意味。它模拟了一个从有序到无序，再从无序中学习如何恢复有序的过程。

1. 一个直观的比喻：冰雕的融化与重塑

想象一下，我们有一个晶莹剔透的冰雕（代表一个清晰、高质量的数据样本，如一张图片或一个 3D 模型）。

这个比喻虽然不完全精确，但形象地揭示了 Diffusion 模型的核心：通过学习一个可控的”破坏”（加噪）过程的逆过程，来获得从”无”（纯噪声）中进行”创造”（生成样本）的能力。

2. 前向过程 (Forward Process)：有序的”破坏”

在数学上，这个过程被称为扩散过程 (Diffusion Process)。它定义了一个马尔可夫链，从一个原始的干净数据样本 x_0（例如，一张图片）开始，在 T 个离散的时间步中，逐步向其添加少量的高斯噪声。

a. 逐步加噪：

在每个时间步 t，从 t-1 时刻的数据 x_{t-1} 生成 t 时刻的数据 x_t，是通过添加一个均值为 0、方差为 β_t 的高斯噪声来实现的。这个 β_t 是一个预先设定的、通常随时间 t 增大的小常数，这个序列 {β_1, …, β_T} 被称为方差表 (Variance Schedule)。

b. 过程确定性：

整个前向加噪过程是固定的、非学习的。给定 x_0 和方差表，我们可以精确地计算出任意时刻 t 的带噪数据 x_t 的分布。一个重要的数学特性是，x_t 可以直接由 x_0 表示，而无需一步步计算，这极大地简化了训练过程。

c. 最终状态：

当时间步 T 足够大时（例如 T=1000），最终的 x_T 将会无限接近于一个标准的各向同性高斯分布，即纯粹的随机噪声，与原始数据 x_0 无关。

这个前向过程的意义在于，它为我们创造了大量的、带有不同程度噪声的”半成品”数据 x_t，以及它们与原始干净数据 x_0 之间的对应关系，为接下来的反向过程学习提供了完美的训练样本。

3. 反向过程 (Reverse Process)：学习”修复”的艺术

这是 Diffusion 模型的核心学习任务。我们的目标是训练一个神经网络 ε_θ（其参数为 θ，通常采用类似 U-Net 的架构），来学习前向过程的逆过程。

a. 学习目标：

理论上，反向过程是要求解一个难以直接计算的后验概率 p(x_{t-1} | x_t)。但通过数学推导可以证明，如果 β_t 足够小，这个逆过程也可以近似为一个高斯分布。更进一步，可以证明，训练神经网络直接预测在时刻 t 添加到 x_{t-1} 上的噪声 ε 是一个等价且更稳定的学习目标。

b. 训练过程：

随机从数据集中抽取一个干净样本 x_0。

随机选择一个时间步 t (从 1 到 T)。

根据前向过程的公式，直接从 x_0 计算出 t 时刻对应的带噪样本 x_t，并得到此时添加的真实噪声 ε。

将带噪样本 x_t 和时间步 t 输入到神经网络 ε_θ 中，得到网络预测的噪声 ε_θ(x_t, t)。

计算预测噪声 ε_θ(x_t, t) 和真实噪声 ε 之间的差异（通常是均方误差 L2 Loss）。

使用梯度下降优化网络参数 θ，以最小化这个损失。

重复以上过程，直到网络能够对任意时间步的任意带噪样本，都准确地预测出其中所含的噪声。

c. 生成新样本 (采样)：

一旦网络 ε_θ 训练完成，我们就可以从一个纯粹的随机噪声 x_T 开始，迭代 T 次，一步步地进行去噪：

从 t=T 到 t=1，在每个时间步 t：

将当前的带噪数据 x_t 输入到网络中，得到预测的噪声 ε_θ(x_t, t)。

根据预测的噪声，使用一个特定的更新公式从 x_t 计算出上一个时间步的、更干净的数据 x_{t-1}。这个更新公式中通常还会加入一些随机性，以增加生成的多样性。

经过 T 步迭代，最终得到的 x_0 就是一个全新的、由模型生成的高质量样本。

4. 引导 (Guidance)：从”随机创作”到”按需生成”

上述过程描述的是一个无条件生成 (Unconditional Generation) 模型，它能生成符合训练数据分布的随机样本，但我们无法控制它具体生成什么。为了实现”文本到图像”或”文本到三维”，我们需要引入条件生成 (Conditional Generation)，即引导 (Guidance)。

a. 早期方法 (Classifier Guidance)：

一种早期的方法是额外训练一个分类器，在去噪的每一步，用分类器的梯度来”引导”生成过程朝着目标类别（如”猫”）的方向进行。

b. 分类器无关引导 (Classifier-Free Guidance – CFG)：

这是当前最主流、效果也最好的引导方法，由 Ho & Salimans 在 2022 年提出。其思想非常巧妙：

训练阶段：在训练时，以一定的概率（例如 10%）将条件信息 c（如文本 Prompt 的 embedding）置为空（即无条件）。这样，同一个去噪网络 ε_θ 就同时学会了无条件预测 ε_θ(x_t, t) 和有条件预测 ε_θ(x_t, t, c)。

采样阶段：在生成时，我们可以同时计算出无条件预测的噪声和有条件预测的噪声。最终用来更新的噪声，是有条件预测的噪声与”有条件预测与无条件预测之差”的一个加权和。

ε_final = ε_unconditional + w * (ε_conditional – ε_unconditional)

其中 w 就是引导强度 (Guidance Scale)。

直观理解：(ε_conditional – ε_unconditional) 可以被看作是”条件信息 c 带来的纯粹方向”。通过调整 w，我们可以控制生成过程在多大程度上”遵从”条件指引。w 越大，生成结果与条件的关联性越强（但也可能牺牲一些多样性和真实感）；w 越小，模型”自由发挥”的空间越大。CFG 是 Midjourney, Stable Diffusion 等模型能够生成如此贴合文本描述的图像的关键技术之一。

5. 代表性技术/模型/工具/案例/文献与讨论

核心论文:

分类器无关引导论文:

优秀的可视化解释:

U-Net 架构论文:

Stable Diffusion 实现参考:

将 Diffusion 模型成功应用于二维图像生成后，研究者们自然而然地将目光投向了更具挑战性的三维领域。然而，直接将 2D 的成功经验平移到 3D 面临着巨大挑战：

为了应对这些挑战，研究者们主要探索了两条不同的技术路径。

1. 路径一：直接在 3D 表示上进行扩散 (Direct 3D Diffusion)

这条路径的思路最为直接：将扩散模型的核心机制应用于某种三维数据的表示形式上，训练一个专门用于生成 3D 数据的扩散模型。

a. 基于体素 (Voxel-based) 的扩散：

原理：将 3D 空间离散化为规则的体素网格（Voxel Grid），每个体素可以存储占用信息（0 或 1）或更丰富的特征（如 SDF 值、颜色）。然后训练扩散模型来生成这些体素网格。

优缺点：概念简单，易于与 2D 卷积网络（扩展为 3D 卷积）结合。但主要缺点是计算和内存成本随分辨率成立方增长，导致难以生成高分辨率、细节丰富的模型。生成的模型也往往带有明显的”块状感”。

b. 基于点云 (Point-Cloud-based) 的扩散：

原理：将 3D 物体表示为一系列无序的三维点的集合（Point Cloud）。训练扩散模型来生成这些点的坐标。

代表工作：OpenAI 的 Point-E 是一个典型例子。它采用两阶段生成：首先，一个扩散模型根据文本或图像输入，快速生成一个低分辨率（例如 1024 个点）的点云；然后，另一个更强大的扩散模型以低分辨率点云为条件，生成一个高分辨率（例如 4096 个点）的点云。

优缺点：点云表示相对灵活，不受分辨率限制。Point-E 的生成速度非常快（在 GPU 上只需几秒钟）。但主要缺点是点云本身没有表面拓扑信息，从生成的点云重建出高质量的表面网格（Mesh）是一个额外的、有挑战性的步骤，且最终模型的细节通常比较有限。

c. 基于隐式函数参数 (Implicit Function Parameter-based) 的扩散：

原理：这种方法更为巧妙。它首先训练一个自编码器（Autoencoder），该编码器可以将 3D 模型编码为一个低维的隐式函数表示（或者说一个紧凑的特征向量），解码器则能从这个表示中重建出 3D 模型（通常是 SDF 或其他形式）。然后，训练一个扩散模型来生成这个低维的、紧凑的特征向量。

代表工作：OpenAI 的 Shap-E 是这方面的杰出代表。它展示了直接在隐式函数参数的潜在空间中进行扩散，能够生成比 Point-E 质量更高、细节更丰富的 3D 模型，并且生成速度同样非常快。

优缺点：结合了隐式表示的强大能力和扩散模型的生成优势。推理速度快，生成质量相对较好。但训练这样的自编码器和扩散模型仍然需要大量的 3D 数据，且生成模型的质量上限受限于自编码器的重建能力。

d. 产品经理视角下的”直接 3D 扩散”：

核心优势：速度快。 由于是直接生成目标 3D 表示，其推理过程（采样过程）通常比下面要讲的优化方法快得多，甚至可能实现近乎实时的生成。这对于需要快速响应、交互式生成的应用场景极具吸引力。

核心挑战：质量与数据依赖。 目前直接 3D 扩散生成的模型，在几何细节和纹理真实感上，普遍还无法与顶级的优化方法相媲美。更重要的是，它们高度依赖大规模、高质量的 3D 训练数据集。获取和处理这些数据是巨大的工程和成本挑战。

2. 路径二：利用 2D 扩散模型进行”知识蒸馏” (Knowledge Distillation via 2D Diffusion)

这条路径是当前能够生成最高质量 Text-to-3D 结果的主流方法。其核心思想是：与其从头训练一个昂贵且困难的 3D 扩散模型，不如巧妙地利用已经训练好的、能力极其强大的 2D 文本到图像扩散模型（如 Imagen, Stable Diffusion）作为”万能的艺术评论家”或”知识源泉”，来指导一个三维表示的优化过程。 这个过程被称为知识蒸馏 (Knowledge Distillation)。

a. Score Distillation Sampling (SDS) 详解：

由 Google Research 在 DreamFusion 论文中提出的 Score Distillation Sampling (SDS) 是实现这种知识蒸馏的关键算法。我们可以将其理解为一个迭代的”雕刻”过程：

第一步：准备”石料”。 我们首先初始化一个**可微分的三维表示**。这块”石料”可以是 NeRF，也可以是 SDF（符号距离函数）场，或者是基于可微渲染的 Mesh 表示。关键在于，我们必须能够从这个 3D 表示中，通过可微分的渲染过程，得到任意视角的 2D 图像。

第二步：找一位”艺术大师”。 我们请来一位已经功成名就的”艺术大师”——一个强大的预训练 2D Text-to-Image 扩散模型。这位大师看过海量的图像和文本，知道”一辆红色的法拉利跑车”从各个角度看大概应该是什么样子。

第三步：开始”雕刻”循环。

○ 随机选择一个角度: 在每次优化迭代中，我们随机选择一个虚拟相机的视角（方位角、俯仰角、距离等）。

○ 拍一张”快照”: 从这个随机视角，通过可微分渲染，将我们当前的 3D”石料”渲染成一张 2D 图像。

○ 请大师”点评”: 我们将这张渲染出的”快照”和我们的创作目标（例如文本 Prompt “a red Ferrari sports car”）一起拿给”艺术大师”（2D 扩散模型）看。我们对”快照”模拟一次加噪过程，然后问大师：”如果要让这张带噪的’快照’更像’一辆红色的法拉利跑车’，应该如何修改（去噪）？”

○ 获取”雕刻”方向: “艺术大师”会给出一个”点评”——一个指向”更优图像”的梯度方向（这个梯度就是所谓的”Score”）。这个梯度告诉我们，当前这张”快照”的哪些像素需要变亮、变暗、变红，才能更符合文本描述。

○ “凿一小刀”: 我们将这个从 2D 图像空间得到的”点评”（梯度），通过反向传播，传递回我们的三维”石料”（可微分 3D 表示）的参数上，对其进行一次微小的更新。这次更新的目的，就是让我们的”石料”在下一次从同一个角度被”拍照”时，能拍出更令”大师”满意的照片。

第四步：重复千万次。 我们不断地重复第三步，从成千上万个不同的随机视角去”拍照”和”请大师点评并雕刻”。经过长时间的迭代优化，这块最初毫无形状的”石料”就会被逐渐雕刻成一个在**所有视角**下看起来都像”一辆红色的法拉利跑车”的三维模型。

b. 代表性工作与演进：

c. 产品经理视角下的”知识蒸馏”：

核心优势：质量高，不依赖 3D 数据。 这是其最大优势。它能够利用互联网规模的 2D 图像数据训练出的强大 T2I 模型的知识，生成目前细节最丰富、语义最准确的 Text-to-3D 结果，且理论上不需要任何 3D 训练数据。

核心挑战：速度极慢，计算成本高。 这种基于优化的方法需要对单个模型进行数小时甚至更长时间的迭代训练，计算成本非常高昂。这使得它很难被用于需要快速响应或实时交互的应用。此外，它也面临着三维一致性（Janus 问题）、可控性、输出可用性等一系列挑战。

3. 代表性技术/模型/工具/案例/文献与讨论

直接 3D 扩散代表:

隐式函数参数扩散:

知识蒸馏 (SDS) 代表:

SDS 方法改进:

变分得分蒸馏:

理解了 Diffusion 模型在 3D 生成领域的两种主要技术路径后，作为产品经理，我们需要退后一步，从更高维度审视这项技术带来的机遇与挑战，并思考如何将其有效地产品化。

1. 核心优势解读 (Key Advantages)

基于 Diffusion 的 3D 生成技术，特别是通过 SDS 路径，展现了几个超越以往方法的显著优势：

a. 生成质量与多样性的天花板极高：

扩散模型本身在保真度和多样性上优于 GANs 等早期生成模型。通过利用强大的 2D T2I 模型作为先验，SDS 类方法能够生成具有惊人细节、复杂几何和逼真纹理的 3D 模型，其质量上限远超此前的技术。同时，生成结果也展现出丰富的多样性。

b. 强大的语义理解与创作能力：

它们继承了大型语言模型和 T2I 模型对自然语言的深刻理解能力，能够很好地捕捉 Prompt 中的抽象概念、艺术风格、复杂组合关系，并将其转化为三维形态。这使得它能够进行真正的”创意生成”，而不仅仅是几何重建。

c. 灵活性与可扩展性：

Diffusion 模型的核心机制非常灵活，可以应用于各种不同的数据表示，并可以方便地引入各种形式的条件引导（文本、图像、草图、分割图等）。这为其未来的功能扩展和多模态交互产品设计留下了巨大的想象空间。

d. 不依赖 3D 训练数据（SDS 路径）：

SDS 路径的一个革命性优势在于它理论上不需要配对的 3D 数据集进行训练，这极大地降低了数据获取的门槛，使得模型能够生成训练集中从未见过的、甚至现实中不存在的物体。

2. 面临的严峻挑战 (Significant Challenges)

机遇总是与挑战并存，Diffusion 模型在 3D 应用中也面临着一系列亟待解决的难题：

a. 速度与成本的尖锐矛盾：

这是目前产品化最大的障碍。基于 SDS 的方法虽然质量高，但其以小时计的生成时间（优化时间）和高昂的 GPU 资源消耗，使其难以满足大多数需要快速迭代或即时反馈的用户场景。而直接 3D 扩散方法虽然速度快，但质量又往往不尽如人意。如何在质量、速度和成本之间找到平衡点，是所有相关产品的核心挑战。

b. 可控性难题依旧突出：

尽管 Classifier-Free Guidance 提供了一定程度的语义控制，但对于三维模型而言，用户需要的控制远不止于此。如何精确控制模型的尺寸、比例、拓扑结构、部件之间的连接关系、特定区域的材质等，仍然非常困难。目前的生成过程很大程度上仍是”不可预测”的。

c. 输出可用性的”最后一公里”问题：

这是一个共性问题。无论是哪种路径，最终输出的 3D 模型（无论是从 NeRF/SDF 提取的 Mesh，还是直接生成的 Mesh/点云）往往都存在严重的拓扑错误、UV 缺失或混乱等问题，无法直接被用于专业的动画、游戏、或工业设计流程。它们需要大量、甚至比重新建模更耗时的”人工后处理”才能变得”可用”。

d. “过拟合”与”偏见”风险：

SDS 类方法有时会”过度优化”以匹配 2D 渲染结果，导致生成的三维模型出现一些不自然的、扁平化的”贴纸感”或伪影。同时，它们也完全继承了所依赖的 2D T2I 模型的全部数据偏见，可能生成带有刻板印象或文化偏见的内容。

3. 产品化思考与机会点 (Productization Thoughts & Opportunities)

面对这些优势和挑战，产品经理可以从以下几个角度思考产品化的机会：

a. 精准定位目标用户与应用场景：

b. 创新交互设计以提升可控性：

c. 优化工作流与管理用户预期：

d. 混合技术路径的探索：

结合不同技术路径的优势可能是一种有效的产品策略。例如，先用快速的直接 3D 扩散方法（如 Shap-E）生成一个基础形状，然后让用户在此基础上进行初步修改，最后再用耗时但高质量的 SDS 方法对这个形状进行细节和纹理的精炼。

4. 代表性技术/模型/工具/案例/文献与讨论

商业化产品案例:

AI+3D 创作工具分析:

交互设计研究:

自动化后处理技术:

AIGC 产品设计指南:

Diffusion 扩散模型，以其从混沌中孕育秩序的强大生成能力，无疑已成为驱动当前 AI+3D 创造力浪潮的核心引擎之一。我们剖析了它精巧的工作原理——通过学习”破坏”的逆过程来掌握”创造”的艺术，并探讨了它在三维领域主要的两条应用路径：一条是追求速度、依赖 3D 数据的”直接扩散”，另一条是追求质量、巧妙利用 2D 知识的”蒸馏优化”(SDS)。

我们看到，这条技术路径充满了激动人心的可能性：它能以前所未有的质量和多样性响应人类的语言创意，极大地降低了三维创作的门槛，并为解决规模化内容生产瓶颈带来了希望。但同时，我们也必须正视其作为一项新兴技术所面临的严峻挑战：速度与成本的矛盾、可控性的难题、以及输出结果距离直接”生产可用”的”最后一公里”。

对于我们产品经理而言，驾驭 Diffusion 模型这一强大的创造力引擎，意味着一场在机遇与挑战之间进行的精妙平衡。我们的任务，不仅仅是展示其神奇的生成能力，更是要深刻理解其背后的技术权衡，并围绕其局限性来设计产品、构建工作流、管理用户预期。真正的产品价值，往往就蕴藏在如何为用户解决那些最棘手的挑战之中——如何让生成更快、更可控？如何让输出更”可用”？如何设计出能激发并引导用户创意的最佳交互体验？

理解了 Diffusion 模型这一强大的生成工具，再结合我们之前对 NeRF 这一强大重建工具的认知，我们就对当前 AI+3D 技术的两大支柱有了更全面的把握。在下一篇笔记（S2E06）中，我们将暂时从具体的生成算法中抽离，转而探讨一个更基础但同样重要的话题：支撑这些 AI 模型的不同三维数据表示（Mesh, Voxel, Point Cloud, SDF 等）各自有何特点，它们的选择又将如何深刻地影响 AI 模型的表现和产品设计的方向。

来源：人人都是产品经理