摘要：过去一年，AI视频生成领域彻底“起飞”了。OpenAI 的Sora、谷歌DeepMind 的Veo 3、Runway 的Gen-4，一个接一个地登场，生成的视频质量高到几乎可以以假乱真。不仅画面真实，连光影、动作、镜头语言都越来越接近专业级影视制作。Netfl

过去一年，AI视频生成领域彻底“起飞”了。OpenAI 的 Sora、谷歌DeepMind 的 Veo 3、Runway 的 Gen-4，一个接一个地登场，生成的视频质量高到几乎可以以假乱真。不仅画面真实，连光影、动作、镜头语言都越来越接近专业级影视制作。Netflix 也在剧集《永恒宇航员》中，首次大规模使用 AI 视频技术，打破了 AI 视频只停留在实验室里的印象。

但这场技术狂欢背后，隐藏着许多容易被忽略的技术细节、资源消耗问题和创作生态的剧变。

AI 视频生成的技术基础，说白了就是一种特殊的“修复”模型——扩散模型（diffusion model）。

它的工作原理其实很好理解：先把原始图像或视频加上“噪声”，直到变成雪花点一样的乱码；然后训练一个模型，逆着这个过程把乱码一步步“还原”成你想要的图像。训练的过程，就是让模型学会“从混乱中识别出秩序”。

而在视频生成中，这个过程又更复杂了一些。因为视频不是一张图，而是一帧帧连续的画面。这就意味着模型不仅要生成每一帧画面，还要保证前后帧之间的连贯性。

视频生成计算量极大。如果直接处理原始像素，生成一分钟视频的数据量可以轻松突破数十亿级别。因此，最常见的方式是使用 潜在扩散模型（Latent Diffusion Model，LDM）。

潜在扩散模型的巧妙之处在于，它并不直接修复图像或视频，而是先把它们压缩成“潜在空间”的数学编码，再在这个空间中进行扩散和还原，最后再解码回真实画面。就像你用压缩包传电影，生成模型也在“压缩空间”里省力操作。

此外，OpenAI 在 Sora 中提出的另一个关键技术，就是把 Transformer 引入扩散模型中。原本 Transformer 是用在处理文本的（比如 GPT 系列），但它处理“长序列信息”非常擅长。视频正是一个时间序列，于是 Transformer 被用来保证视频各帧之间的逻辑一致、动作连贯，这样就不会出现“人突然消失”或“物体漂移”的问题。

视频生成的演进不止于画面质量提升。DeepMind 的 Veo 3 迈出了关键一步：音视频同步生成。

Veo 3 能在生成视频的同时，自动匹配对白、环境音和背景音乐，不再是“哑巴视频”。技术上，它的做法是把音频和视频都压缩到同一个潜在空间，并在扩散过程中同步生成，确保声画同步。

这里还有一个值得注意的趋势：扩散模型和大型语言模型（LLM）之间的界限正在模糊。

传统上，文本生成靠 Transformer（比如 GPT-4、Gemini）；但 DeepMind 最近透露，他们正在用扩散模型尝试构建语言模型。因为在某些场景下，扩散模型比 Transformer 更节能，未来可能会出现“更高效的 LLM”，由扩散模型驱动。

AI 视频生成技术的飞跃，确实令人兴奋。但它也带来了不小的挑战：

AI 视频生成不再是“未来技术”，它已经是这代内容创造者不得不面对的现实。

但理解它的底层逻辑，或许是我们站稳脚跟、发挥创造力的第一步。毕竟，技术本身没有好坏，关键看我们怎么用。

来源：亓钦