摘要：我是编程乐趣，一个10年.Net开发经验老程序员，点击右上方“关注”，每天为你分享开源项目和编程知识。私信回复：888，领取.Net学习资料！

大家好，我是编程乐趣。

前面文章，我们已经初步感受到Phi的魅力了，见《Phi小模型开发教程：用C#开发本地部署AI聊天工具，只需CPU，不需要GPU，3G内存就可以运行，不输GPT-3.5》。

今天我们以Phi为例子来学习大模型的各种专业性的术语。

Phi-3 系列包括 mini、small、medium 和 vision 版本，基于不同的参数量进行训练，以满足各种应用场景。

而其中有38亿、70亿、140亿参数，提供两种上下文长度：128K 和 4K等各种概念。

1、参数规模

大模型的参数规模是指模型中用于存储权重和偏差信息的参数数量。参数规模通常以“亿”为单位，例如38亿参数、7B参数等。这里的“B”代表“Billion”，即十亿，7B就是70亿。

参数规模越大，模型的能力通常越强，能够处理更复杂的任务，但对硬件要求也越高。

2、上下文长度

大模型的上下文长度是指在自然语言处理（NLP）的大型语言模型中，模型在处理输入信息时能够考虑的最大文本量（一次处理的最大Tokens数量）。不同的大模型有不同的上下文长度，常见的有128K、8K和4K等。

128K上下文长度意味着模型可以一次性处理最多128,000个tokens的输入。

Token通常指代文本中的一个基本单元。在不同的上下文中，Token的含义可能会有所不同，但最常见的理解是将文本分割成有意义的最小单位，这些单位可以是单词、标点符号、数字等。

比如：

3、Phi-3-mini

Phi-3-mini 是一个拥有 38 亿参数的语言模型。它提供两种上下文长度：128K 和 4K。

4、Phi-3-small

Phi-3-small 是一个拥有 70 亿参数的语言模型，提供两种上下文长度 128K 和 8K，在各种语言、推理、编码和数学基准测试中表现优于 GPT-3.5T。

5、Phi-3-medium

Phi-3-medium 是一个拥有 140 亿参数的语言模型，提供两种上下文长度 128K 和 4K，继续保持在性能上优于 Gemini 1.0 Pro 的趋势。

6、Phi-3-vision

Phi-3-vision 是一个拥有 42 亿参数的多模态模型，具备语言和视觉能力，在一般视觉推理、OCR 和表格及图表理解任务上表现优于更大的模型如 Claude-3 Haiku 和 Gemini 1.0 Pro V。

7、Phi-3.5-MoE

Phi-3.5-MoE该模型支持多语言，并具有 128K token 的上下文长度。具有 16x3.8B 参数，在使用 2 个专家时具有 6.6B 活跃参数。

8、onnx

Phi为我们提供了多种onnx版本。

模型 “cpu-int4-rtn-block-32” 和 “cpu-int4-rtn-block-32-acc-level-4” 之间的主要区别在于准确性水平。带有 “acc-level-4” 的模型旨在平衡延迟与准确性，在准确性上略有妥协以获得更好的性能，这特别适合移动设备。

onnx-cuda：针对NVIDIA GPU优化的ONNX模型。

onnx-web：

ONNX模型Web版本，用于浏览器内推理。ONNX Runtime Web是一个JavaScript库，使Web开发人员能够直接在Web浏览器中部署机器学习模型，提供多种后端支持硬件加速。

支持WebGPU的设备和浏览器：Mac、Windows、ChromeOS的Chrome 113+和Edge 113+，以及Android的Chrome 121+。

onnx-Directml：

用于通过DirectML和ONNX Runtime加速GPU设备上的推理。

directml是微软开发的高性能机器学习加速库，专注于为机器学习模型提供底层的硬件加速。与DirectX 12无缝集成，适用于对实时性和低延迟有较高要求的场景。

onnx-directml格式的ONNX，能与DirectML一起运行。这使开发人员能够在AMD、Intel和NVIDIA GPU上大规模地为Windows设备带来硬件加速。

好了，今天就分享到这边了，此系列会持续更新，欢迎关注我！

- End -

来源：编程乐趣