AI大模型不一定是最优解！AI小模型更适合企业？

摘要：随着人工智能技术的迅速发展，越来越多的企业开始采用大型语言模型（LLM）来解决各种问题。然而，大型模型通常意味着巨大的计算和能源成本，这对许多公司来说是一项负担。事实上，小型语言模型（SLM）逐渐成为越来越多企业的首选解决方案，它们不仅能降低成本，还能提高准确

随着人工智能技术的迅速发展，越来越多的企业开始采用大型语言模型（LLM）来解决各种问题。然而，大型模型通常意味着巨大的计算和能源成本，这对许多公司来说是一项负担。事实上，小型语言模型（SLM）逐渐成为越来越多企业的首选解决方案，它们不仅能降低成本，还能提高准确性，且在数据安全和合规性方面具有明显优势。

在 NeurIPS 2024 上，OpenAI 的联合创始人之一 Ilya Sutskever 分享了一个想法：“我们所知道的预训练无疑将结束”。似乎扩展的时代即将结束，这意味着是时候专注于改进当前的方法和算法了。

最有前景的领域之一是使用具有多达 10B 个参数的小型语言模型 (SLM)。这种方法在行业中真正开始流行起来。例如，Hugging Face 的首席执行官 Clem Delangue 预测，高达 99% 的用例可以使用 SLM 来解决。

GPT-4，尽管在许多任务中表现出色，但其运行和维护的成本是一个不容忽视的问题。根据研究，训练 GPT-3 这样的庞大模型（175B）所消耗的电力相当于美国普通家庭 120 年的用电量，且产生的二氧化碳排放量也相当于上百辆燃油车的年排放。

OpenAI o3 模型的碳排放：

使用 7B 参数的 SLM 的能耗仅为 LLM 的 5%。

对于需要高频次使用的应用，使用大模型的 API 将带来巨大的费用，特别是在访问量大时。例如，OpenAI 推出的 200 美元/月的 Pro 计划，意味着很多公司需要支付数千甚至更多的费用。这也导致了一些初创公司，如儿童陪伴机器人Moxie，在高昂的 API 成本下不得不关闭产品。

相比之下，SLM（例如参数量为10B以下的模型）能够大大降低这些费用。它们所需的计算资源较少，运行成本更低，而且可以在更便宜的硬件（普通的 GPU 甚至智能手机）上部署。

不同参数数量模型的利用率比较：

虽然 LLM 在多领域的应用上表现出色，但对于对于高度专业化的任务，SLM 反而能更高效地完成，比如：

医学：Diabetica-7B 模型在糖尿病测试中的准确率为87.2%，而 GPT-4 为79.17%。Diabetica-7B 模型远小于 GPT-4，并能在普通消费级 GPU 上运行。法律领域：一个只有 0.2B 参数的 SLM 在合同分析中的准确率为 77.2%，接近 GPT-4 的 82.4%，且在识别用户协议中的“不公平”条款时，SLM 超越了 GPT-3.5 和 GPT-4。数学任务：Google DeepMind 的研究表明，使用 Gemma2–9B 训练出的数据，比使用 Gemma2–27B 的数据效果更好。SLM 更专注于细节，而不会像 LLM 那样追求“展示所有知识”。内容审核：LLaMA 3.1 8B 在审核 15 个流行子版块的内容时，比 GPT-3.5 的准确率高出 11.5%，召回率高出 25.7%。

这些模型不仅在准确性上具有竞争力，而且运行所需的资源远远少于大型模型，非常适合用于专门任务。

在一些简单任务中，经典的 NLP 方法（如 TF-IDF 与简单分类器）往往能表现出意外的良好效果。使用传统方法分类超过 1000 条消息，发现比使用 GPT-4o mini 更具成本效益，并且精度提升。

LLM 适合于快速启动，尤其是在没有标签数据且需求不断变化的情况下。然而，对于那些任务明确且稳定的场景，精准性和成本控制是关键，SLM（包括经典 NLP 方法）往往是更有效的解决方案。

所以建议使用 LLM 进行原型开发，待任务明确且稳定后，切换到更小、更便宜、更精准的模型。这个混合方法不仅能保持高质量，还能显著降低成本，避免过度依赖通用模型的冗余性。

在使用 LLM 时，企业通常需要通过 API 向外部服务提供商传输敏感数据，这增加了数据泄露的风险并且使得合规性变得复杂，尤其是当企业需要遵守严格的法规（如 GDPR、HIPAA 等）时。SLM 的另一个优势就是能够在本地部署，这样企业可以完全控制自己的数据，不必依赖第三方服务，降低数据泄露的风险并更好地应对合规性挑战。

如果你的公司处于高度监管的领域（如医疗、金融或法律），考虑使用 SLM。SLM 不仅能提高合规性，还能更好地控制数据流转，减少成本并提高系统的灵活性。

回到“做一件事并做到最好”的原则，AI Agent 正是这一理念的现代体现。Ilya Sutskever 在 NeurIPS 上提到“预训练的时代将无可避免地结束”，并认为下一代模型将是“真正具有代理功能的”。

Y Combinator 预测，AI Agent 将创造一个比 SaaS 市场大 10 倍的市场。分析师还预测，AI Agent 将成为下一波 AI 转型的浪潮，不仅会影响 4000 亿美元的软件市场，还可能影响 10 万亿美元的美国服务经济。

SLM 是理想的 Agent 模型候选者。尽管单个模型可能有局限，但多个小型模型协同工作可以逐步解决复杂任务，速度更快、质量更高、成本更低。

例如，在分析金融文档时，使用多个 SLM Agent，每个 Agent 专注于不同的子任务，而不是依赖一个 LLM。这种方法不仅更加经济，而且更可靠。

Liquid AI：获得了 2.5 亿美元融资，专注于开发高效的企业级模型。其 1.3B 参数的模型超越了所有同类模型，并且其 LFM-3B 模型在性能上与 7B 和 13B 模型相媲美，但内存需求更低。Cohere：推出了专为 RAG 应用设计的 Command R7B 模型，可在 CPU 上运行，并支持 23 种语言，表现出色，尤其在推理和问答任务中取得了最佳成绩。Reforma Health：该公司正在开发针对不同医疗领域的专门 SLM，旨在遵守 HIPAA 要求并处理医疗信息。高度专业化的 SLM 为公司带来了竞争优势，尤其在受监管的领域。

任务灵活性有限
SLM 的最大局限性在于其任务的专一性。与 LLM 能够处理广泛任务不同，SLM 仅能在其训练过的特定任务上表现出色。例如，Diabetica-7B 在糖尿病相关测试中超越 LLM，但在其他医学领域仍需要额外的微调或全新架构

上下文窗口的限制

与 LLM（如 Gemini 2.0）可以达到百万个 token 的上下文长度不同，SLM 通常只有较短的上下文。尽管一些小型 LLaMA 3.2 模型（如 3B、1B）在上下文长度上能达到 128k token，但有效的上下文长度往往不如预期，可能会丧失文本开始与结束之间的“连接”。因此，SLM 难以高效处理多年的患者医疗历史或大型法律文件。

能力突现差距

许多“突现能力”只有当模型达到某个参数阈值时才会出现。SLM 通常无法达到所需的参数水平，难以进行高级的逻辑推理或深度的上下文理解。例如，Google Research 的研究表明，SLM 在基本算术运算上困难重重，而 LLM 则能展示复杂的数学推理能力。

提示

如果你的工作环境中，任务会每周变化，要求分析大型文档，或者涉及解决复杂的逻辑问题，那么更大的 LLM 通常在可靠性和多样性方面表现得更好。

写在最后的话任务变化与需求的平衡：如果任务不断变化、缺乏明确的专业化，或者需要快速原型开发，LLM 是一个不错的起点。它们提供了快速启动的优势，适用于不确定的、灵活的需求。逐步过渡到SLM：随着目标的逐渐明确，转向小型、专业化的 SLM Agent 模型可以显著降低成本、提高准确性，并简化合规性。这并非为了追随趋势，而是解决具体问题的务实方法，可以更精确、更具成本效益地完成任务。灵活的模型组合：SLM 并不需要完全替代 LLM。根据任务的需要，可以逐步用 SLM 替换部分 LLM 组件，或结合经典 NLP 方法。关键在于根据你的指标、预算和任务的性质，找到最适合的方案。IBM 的多模型策略：IBM 采用了多模型策略，结合了不同任务的较小模型，证明了“更大不一定更好”，专门化的模型在基础设施需求较低的情况下，能够超越通用模型。