摘要：当深度学习进入以“感知整合”为核心的新时代，“多模态”一词迅速成为当前人工智能发展的前沿方向。传统的单一输入形式（如文本、图像、音频）已无法满足人机交互、知识建构、推理能力全面发展的要求。在此背景下，CLIP、Flamingo、Gemini 以及 GPT-4V
当深度学习进入以“感知整合”为核心的新时代，“多模态”一词迅速成为当前人工智能发展的前沿方向。传统的单一输入形式（如文本、图像、音频）已无法满足人机交互、知识建构、推理能力全面发展的要求。在此背景下，CLIP、Flamingo、Gemini 以及 GPT-4V 等多模态模型陆续被提出，它们或借助对比学习强化图文协同，或通过视觉语言桥接泛化能力，亦或以庞大参数量和跨模态对齐机制争夺通用智能的主导位置。
这些模型的架构不再单纯追求单一模态的信息处理能力，而是着重处理模态间的信息配对、联合建模、语义统一、任务泛化等复杂问题。然而，这些系统在设计时所采用的结构策略、预训练目标、输入处理方式、下游任务适配机制却有显著分歧。我们应该怎样对这些系统进行结构性比对？其技术选择背后所代表的认知路径、工程实现与推理范式是否彼此兼容？模型的“看图说话”或“图文问答”能力是否已经超越了浅层语义配对？
1 架构设计的技术出发点差异
1.1 CLIP：以对比学习实现图文对齐
CLIP（Contrastive Language-Image Pretraining）由 OpenAI 在 2021 年提出，其核心在于同时训练两个 Transformer 编码器：一个处理图像，一个处理文本。训练目标并非传统分类任务，而是最大化图像与文本在语义空间中的相似性，即构建一个图文联合语义空间。CLIP 不做图文交叉注意力融合，图像与文本编码各自独立，之后通过对比损失函数（InfoNCE）进行配对学习。
其基本结构包括：
图像编码器：通常使用 ViT（Vision Transformer）或 ResNet。文本编码器：通常使用标准 Transformer，输入为自然语言。相似度匹配模块：使用 cosine similarity，训练时匹配正样本并排斥负样本。强调全局语义对齐，而非细粒度区域交互。强泛化能力：预训练后无需再训练，仅用文本提示可进行 zero-shot 任务。不具备序列生成能力，仅能进行匹配、检索等任务。CLIP 的设计选择强调模型构建语义嵌入空间的能力，但其忽略了图像中各个区域与文本成分的细致交互，对于复杂问答、推理任务无直接适配力。
1.2 Flamingo：通过跨模态注意力实现上下文融合
Flamingo 是 DeepMind 提出的视觉语言模型，旨在处理多模态输入并生成语言输出。其核心机制是视觉感知与语言生成之间引入一个跨模态注意力桥接模块，构建“可插拔”的视觉前端，并将其嵌入到已经训练好的大型语言模型（如 Chinchilla）中。
结构主要包括：
视觉编码器：预训练的 ResNet 或 ViT，输出图像 patch 的嵌入向量。Perceiver Resampler：将图像 patch 压缩成固定长度的 latent。多模态交叉注意力层：插入到语言模型中的注意力层后面，用于融合图文信息。冻结语言模型参数，仅训练图文融合模块。Flamingo 强调灵活的组合能力与训练样本效率，其结构允许高效适配多样任务，在理解复杂语言指令方面有显著提升。
1.3 Gemini：一体化的大规模多模态建模系统
Gemini（前身为 Bard）是 Google DeepMind 最新的大规模多模态架构，目标是构建统一的文本、图像、音频、代码等处理能力的系统，其底层设计融合了 PaLM、Flamingo 和 AlphaCode 的核心机制，试图统一不同模态的语义、表示与推理机制。
Gemini 的特点包括：
其结构更加统一，消除模态间的明确边界，其一体化 Transformer 可以并行处理不同模态的上下文信息。
Gemini 的重大突破在于：
Gemini 显然定位于更高层次的智能交互，其架构指向一个“模态不可分”的统一语义世界。
来源：in点科技
