摘要：现在大家日常在谈及大模型话题时，提到最多的就是大模型的参数规模是多大啊？特别是想做私有化部署大模型的行业人士，因为大家都关心要怎样的硬件配置资源才能跑起来，并且能支持多少QPS等。

首先，基本常识想必大家都了解，那就是参数量越大，模型越聪明，也就是推理的能力肯定越强，同时需要的硬件资源要求也越高。那么你真的理解我们天天谈论的这个参数，到底是什么吗？想必80%以上的朋友其实并不清楚。

哈哈，所以今天，我努力用最通俗易懂的方式，给你讲清楚到底什么是大模型的参数。以后再和同事、客户吹牛，又显得更专业点了~

本质：权重与偏置

在神经网络架构（别问，后面几期内容我再说，哈哈）中，大模型的参数，说白了其实就是模型在训练过程中学习到的 权重和 偏置，它们决定了模型如何处理输入数据并生成输出。再通俗易懂地解释：

参数是模型内部的“可调节旋钮”，用于控制模型的行为。通过调整这些参数，模型可以更好地拟合数据。

大家想象一个巨大的调音台，每个旋钮控制声音的某个方面（如高音、低音）。参数就是这些旋钮，模型通过调整它们来“调出”最佳结果。

这让我联想到《三体》，看过《三体》那部电视剧的朋友不知道还记得不，叶文洁操作的那些发射无线电信号的发射器，是不是有很多开关、旋钮要调节。调对了频率，你就可以和外星人对上话了，啊哈哈，跑题了~

但确实道理很相似。

上面说的权重，其实就是决定输入数据对输出的影响程度。例如，在判断一张图片是否是猫时，某些像素（如耳朵形状）的权重可能更大。

而偏置，可以调整模型的输出，使其更灵活地拟合数据。例如，即使输入全为零，偏置也能让模型输出非零值。

我举个示例：

输入：一段文本（如“今天天气很好”）。

参数作用：

输出：预测下一个词（如“适合出去玩”）。

大模型的参数数量通常以亿（100M）、十亿（1B）甚至万亿（1T）计。例如，GPT-3有1750亿个参数。理论上来讲，参数越多，模型能捕捉的细节和复杂性越高，但计算成本和训练难度也越大。

参数是如何得到的？

三体里，调参数都是靠科学家、工程师，凭借自己的经验不断的尝试。大模型的参数也是类似，只是不是主要靠人去尝试，而是靠计算机自己学习，自己调试自己。这个过程，通常我们就叫训练。

大模型在训练时，其实就是通过海量的互联网数据，和反向传播算法（不懂的话有个印象就行），让计算机不断地调整模型参数，使预测结果更接近真实值。

训练的过程中，有两个概念很重要，分别是损失函数、梯度下降。前者用于衡量模型预测与真实值的差距，后者根据损失函数的梯度，逐步调整参数以减少误差。

举个例子，教模型识别猫的图片时，模型会不断调整参数，直到能准确区分猫和非猫。

参数和大模型的关系

从表现能力上来说，参数越多，模型能学习的模式越复杂，处理多样化任务的能力越强。但是，参数过多可能导致模型过度依赖训练数据，降低泛化能力。而且，参数数量直接影响模型的计算量、存储需求和训练时间。

所以现在最新的一些模型就不全靠堆参数、堆算力提升模型的智慧程度了，改为优化大模型架构、算法、训练思路等方式换道超车，比如持续热度的DeepSeek。

总结来说，大家可以这么理解：参数中其实就是存储了模型从数据中学到的“知识”。例如，语言模型的参数中包含了语法规则、词汇关系等。

并且，参数还可以通过微调 - Fine-tuning 技术，调整预训练模型的参数，使其适应特定任务（如翻译、问答）。

还可以通过量化技术，将参数从高精度（如32位浮点数）压缩到低精度（如1位或4位），可以显著减少存储空间和计算需求。

来源：李金锐