摘要：自2024年起，全球人工智能领域的企业竞相推出了一系列参数规模相对较小的人工智能模型，即AI小模型（SLM），这一赛道的竞争态势愈发激烈，呈现出白热化的趋势。尽管这些小模型的参数数量相对较少，通常介于数百万至数亿之间，但通过一系列精细的定向优化措施，它们展现出
自2024年起，全球人工智能领域的企业竞相推出了一系列参数规模相对较小的人工智能模型，即AI小模型（SLM），这一赛道的竞争态势愈发激烈，呈现出白热化的趋势。尽管这些小模型的参数数量相对较少，通常介于数百万至数亿之间，但通过一系列精细的定向优化措施，它们展现出了与AI大模型（LLM）相抗衡的卓越性能。
与此同时，小模型以其紧凑灵活、高度专业化、快速响应以及低能耗等显著特点，在应用成本和端侧部署方面展现出了巨大的优势。这些优势使得小模型在推动AI技术落地应用方面展现出了非凡的潜力。相较于大模型，小模型更加易于集成到各种设备和系统中，从而降低了AI技术的应用门槛，加速了AI技术的普及进程。
鉴于此，我们有理由相信，未来将有越来越多的企业和机构投身于小模型技术的研发与应用之中。他们将通过探索小模型赋能的技术路径，加速实现AI技术的私有化和端侧部署，进一步推动AI技术在各行各业的广泛应用。这一趋势不仅将促进AI技术的快速发展，还将为人类社会带来更加便捷、高效和智能的生活方式。
一、大模型局限凸显，小模型迎来发展良机
在大模型发展步伐相对放缓的当下，小模型作为大模型的有效补充，正日益受到广泛关注，各方力量纷纷涌入，共同掀起了一股小模型的发展热潮。
随着“规模竞赛”的热潮逐渐平息，AI大模型的发展似乎进入了一个“平台期”。在这个阶段，人们开始意识到，参数数量并非衡量AI大模型性能的唯一标尺，数据质量、训练技术以及投入成本等因素同样至关重要。例如，根据信通院发布的《大模型基准测试体系研究报告（2024年）》，阿里巴巴集团推出的Qwen-7B模型在评测中得分仅为25.8分，而参数规模更小的Qwen1.5-7B模型，通过改进训练技术和使用更高质量的数据，得分显著提升至51.8分。这一结果充分展示了在参数数量之外，其他因素对于提升模型性能的重要性。
另一方面，尽管AI大模型在处理复杂任务时具有显著优势，但其对计算资源的超高需求却成为其在实际应用中落地的巨大障碍。大模型的训练所需的计算资源与模型参数数量成正比，且随着模型参数的增加，故障率也可能成倍增长。以Meta公司的Llama3 4050亿参数超大规模模型为例，其训练过程耗时54天，使用了16384块英伟达H100 GPU芯片，期间发生了446次运行中断，其中419次为意外报错，平均每3小时就会出现一次错误。此外，大模型的“通用性”也使其在专业领域的表现不尽如人意，往往需要采用高成本的模型微调来提升性能，这进一步增加了其在实际应用中的难度和成本。
相比之下，小模型以其更低的技术门槛、更广的应用场景以及更低的投入成本，成为了人工智能领域的新宠。在技术开发方面，小模型领域呈现出更加多元化的趋势。与大模型“大力出奇迹”的发展路径不同，小模型领域的技术优化更加注重针对性和实效性。例如，模型剪枝、量化、知识蒸馏等技术手段被广泛应用于小模型的优化过程中，有效提升了模型的性能和效率。
从成果上看，近年来，全球范围内涌现出了众多高性能的小模型。阿里巴巴集团推出的Qwen2-7B模型（70亿参数）在端侧小模型测评榜单中荣获第一，充分展示了其在性能方面的卓越表现。vivo公司发布的蓝芯端侧模型3B（30亿参数）在保持高性能的同时，实现了功耗和内存占用的显著优化。微软公司发布的Phi系列模型中的Phi-3-mini模型（38亿参数）则允许针对不同用例进行性能优化，提高了模型的灵活性和适用性。英伟达公司推出的Minitron小语言模型（40亿和80亿参
数版本）在保持相当性能水平的同时，将模型大小缩小了2-4倍，训练成本降低了1.8倍，进一步降低了小模型的应用门槛和成本。
综上所述，随着大模型发展进入“平台期”，小模型正以其独特的优势成为人工智能领域的新热点。未来，随着技术的不断进步和应用场景的不断拓展，小模型有望在人工智能领域发挥更加重要的作用。
二、小模型彰显三大核心优势，引领端侧部署新篇章
小模型凭借其卓越的高效能、低廉的成本以及高度的专业性，在端侧部署领域展现出了无比广阔的应用前景，有望成为推动AI技术普及的重要力量。
（一）小模型以低成本实现高性能，展现“以小胜大”的独特魅力
面对大模型高昂的训练和使用成本以及复杂的调校流程，许多企业和组织深感力不从心。而低成本且高性能的小模型则为这些成本敏感型企业提供了实现AI私有化的宝贵机遇。从成本角度来看，斯坦福大学以人为本人工智能研究所发布的《2024年人工智能指数报告》揭示了一个惊人的事实：先进AI模型的训练成本正以惊人的速度增长，从2017年Transformer模型的约900美元训练成本，到2023年谷歌Gemini Ultra模型的近2亿美元，这一变化令人咋舌。而美国Anthropic公司的CEO达里奥·阿莫迪更是预测，未来三年内，AI大模型的训练成本将飙升至100甚至1000亿美元的天文数字。然而，在性能方面，低成本、小规模的小模型却并未因此逊色。相反，基于特定应用场景进行精细调整的小模型，其使用效果甚至可能超越大模型。Google Research团队的一项实验就充分证明了这一点：在同等的采样预算下，较小模型有着超越较大模型的潜力。人工智能领域的知名专家吴恩达也指出，随着高质量训练数据的不断积累，未来的AI将朝着更小、更智能的方向发展。
（二）小模型计算资源需求低且利用率高，显著降低模型部署难度
尽管大模型在性能方面表现出色，但在性能与资源消耗之间却难以找到完美的平衡点。在资源受限的背景下，以“高效”为核心设计理念的小模型无疑成为了更具可操作性的选择。首先，小模型在数据需求上远低于大模型。从参数规模上看，小模型堪称大模型的“精简版”，其参数量一般介于几百万至几亿之间，模型结构也更为简洁。无论是数据收集还是数据训练，其难度都远低于大模型。其次，小模型在资源利用率上表现出色。一方面，小模型所需的计算资源和存储空间较少，这有助于避免内存溢出问题，从而实现在移动设备、物联网设备等资源受限的设备上稳定运行。
另一方面，通过剪枝、量化、知识蒸馏等优化技术，小模型可以进一步降低计算需求。同时，其
模型数据、开发和应用都具有较强的针对性，这可以显著减少数据资源的浪费。此外，小模型在能耗方面也具有显著优势。由于其计算复杂度较低，小模型对算力和高性能硬件资源的需求也相应降低。加之其轻量级的特性，这些因素共同作用下使得小模型的能耗大幅降低。
（三）小模型专业性强且应用场景广泛，更易满足端侧多样化需求
相较于大模型，小模型在端侧部署方面的优势尤为突出，这为其在商业领域的变现提供了更多可能性。首先，小模型不仅能够在硬件资源有限的设备上运行（如智能手机、个人电脑、嵌入式系统等），还因其简单性而更易于部署和维护。这使得小模型能够快速适应快速迭代和开发的需求。特别是，在执行语音识别、图像处理、问答等实时性要求较高的任务时，小模型以其更快的响应速度展现出了明显优势。其次，小模型可以针对特定专业领域或具体业务需求进行聚焦训练，从而提供“定制化服务”。目前，小模型已在办公、医疗保健、零售、智能家居等多个特定场景中实现了商业化落地。例如，美国生物技术公司Path AI就利用小模型的图像处理优势对病理图像进行自动化分析，以辅助医生进行精确的疾病诊断。再次，从实际部署的角度来看，高性价比的小模型对于企业而言更具吸引力。据《华尔街日报》报道，考虑到成本效益，越来越多的企业正倾向于部署中小型模型，而非昂贵的大模型。
三、大模型与小模型的融合之道：启示、建议与未来展望
总体而言，大模型与小模型各自以其鲜明的优势特点，在人工智能的广阔舞台上各领风骚，呈现出一种“百花齐放，百家争鸣”的态势，而非简单的“东风压倒西风”。展望未来，垂直化、领域化的大模型与小模型，或是轻量化混合应用，或将开辟出更为广阔的发展空间，引领人工智能迈向新的高度。
深入剖析，新技术的诞生与发展往往遵循着一条从技术驱动到应用驱动的演变路径。在技术萌芽与成长初期，技术的突破与创新是推动其发展的核心动力；而当技术逐渐成熟，应用场景的拓展与深化则成为其持续发展的不竭源泉。从商业视角审视，相较于纯粹的技术驱动，应用驱动无疑更具可持续性与吸引力，能够为企业与社会创造更为丰富的价值。
当前，大模型正步入一个发展的“冷静期”，众多科技企业纷纷将目光投向小模型，这既是技术发展的必然趋势，也是市场需求的真实反映。在我国，AI的发展路径以应用驱动为主导，与美西方倾向于技术驱动的发展模式形成鲜明对比。这一差异在一定程度上导致了我国在AI深层技术层面的相对落后。然而，这同时也为我们提供了弯道超车、实现跨越式发展的宝贵机遇。
鉴于此，我们应充分利用我国数字人口基数庞大、数字基础设施普及率高、移动互联网发展迅速、电子商务领先及应用场景丰富等多重优势，加快“大模型+小模型”协同发展的布局与探索。具体而言，可以从以下几个方面入手：
1、加强技术创新与研发，推动大模型与小模型的深度融合。通过算法优化、模型压缩、知识蒸馏等技术手段，实现大模型与小模型在性能与效率上的优势互补，打造更加高效、智能、灵活的人工智能系统。
2、拓展应用场景，推动AI技术的普及与深化。结合不同行业、不同领域的实际需求，开发定制化、个性化的AI应用，满足用户多样化的需求。同时，加强跨领域、跨行业的合作与交流，推动AI技术的跨界融合与创新发展。
3、加强人才培养与引进，构建高水平的人工智能创新团队。通过加强高等教育、职业培训等方式，培养更多具备AI技术背景与创新能力的人才。同时，积极引进国际优秀人才，为AI技术的研发与应用提供有力的人才支撑。
4、加强国际合作与交流，推动全球AI技术的共同发展。积极参与国际AI组织与合作项目，加强与国际同行的交流与合作，共同推动AI技术的创新与发展。同时，加强国际规则制定与标准制定，推动全球AI技术的规范化、标准化发展。
5、加强政策引导与支持，营造良好的AI创新与发展环境。通过制定相关政策、提供资金支持等方式，鼓励企业、高校、科研机构等加大AI技术的研发与应用力度。同时，加强知识产权保护，为AI技术的创新与发展提供有力的法律保障。
在未来，随着人工智能技术的不断发展与深化，大模型与小模型的融合应用将成为推动社会进步与经济发展的重要力量。我们应把握机遇、迎接挑战，加快“大模型+小模型”协同发展的步伐，力争在原创性应用和国际推广方面实现领先，在AI深层技术实现“弯道超车”，赢得全球人工智能竞争的主动权。同时，我们也应关注人工智能技术的伦理与社会影响，推动其健康、可持续地发展，为人类社会创造更加美好的未来。
华远系统是致力于人工智能（AI算法以及流媒体技术），信息软件技术，新能源、物联网等领域的集成商，在智慧社区，智慧园区，智慧停车，充电桩（储能充电站/光储充）及充电桩软件管理平台，储能系统集成，车联网有整套解决方案以及成功的项目案例。
来源：华远系统一点号