摘要：在探索生成性人工智能（AI）的征途中，我们发现了一个苦涩的启示：相较于投入大量资源于模型的训练和微调，依靠检索增量生成（RAG）和快速工程策略显得更为明智，至少作为初期的采用路径而言。生成性AI技术的迅猛进步，给持续的训练和微调带来了前所未有的挑战。

在探索生成性人工智能（AI）的征途中，我们发现了一个苦涩的启示：相较于投入大量资源于模型的训练和微调，依靠检索增量生成（RAG）和快速工程策略显得更为明智，至少作为初期的采用路径而言。生成性AI技术的迅猛进步，给持续的训练和微调带来了前所未有的挑战。

在《Generative Artificial Intelligence Revealed》一书中，Rich Heimann和Clayton Pummill阐述了这一观点。他们指出，若组织不断为特定任务微调新模型，可能会陷入一个代价高昂且永无止境的追逐新技术的循环。相反，RAG和快速工程聚焦于优化信息的检索与整合，这一过程能持续受益于生成技术的革新，构成了一个更为可持续的短期采用策略。

训练与微调的困境

一个深刻的教训是，依赖训练或微调往往比等待更新、可能更强大的模型出现，效率更低且风险更高。微调不仅消耗大量资源，而且每当数据分布出现新领域或重大变化时，都可能需要重新训练或更新模型。这一过程成本高昂，且若不进行进一步微调，模型在不同任务或数据集上的泛化能力有限，导致新技术出现时转换效率低下。RAG和快速工程则使组织能够在不培训技术堆栈中任何组件的情况下，迅速采纳生成技术，从而加速采用进程，降低成本，并有助于规避锁定风险。

新模型的涌现，往往伴随着更高质量的训练数据、更强的泛化能力以及如无限上下文窗口等高级功能，这些都减少了微调的需求。因此，软件工程师应在现有模型上构建抽象层，这比训练和微调语言模型更为迅速且经济。这些抽象层能够轻松迁移至新模型，而训练和调整则无法做到这一点。投资RAG和快速工程，赋予了组织灵活采用技术的能力，无需持续的再培训，这与强调计算和通用方法（如检索机制）优于专业解决方案的苦涩教训原则相契合。

避免技术锁定的风险

技术的快速迭代和新模型的普及，引发了人们对技术锁定风险的担忧。当企业过度依赖特定模型及其定制支架时，其适应创新的能力将受到限制。以GPT系列为例，从GPT-4到GPT-4o，再到Gemini 1.5，性能不断提升的同时，成本也在显著下降。尽管完全消除技术锁定或许不可能，但企业可以通过采用灵活的商业模式，在短期内减轻对技术采用的控制，从而降低锁定风险。

苦涩的教训实际上是关于锁定风险这一更广泛讨论的一部分。我们预计，这种讨论还将持续数次迭代。除非企业拥有具有明确商业潜力的特定用例，或在高风险、高度监管的行业内运营，否则在技术的全部扩展潜力得到充分挖掘之前，过早采用可能是不明智的。

归根结底，训练语言模型或采用开源模型，就如同用皮带束缚自己，限制了灵活性。无论选择哪种方式，都意味着在某种程度上投入风险。在狭窄领域内训练或调整一个具备专业语言和特定知识的模型，需要投入大量时间、计算资源和财务成本。模型训练的非线性缩放定律更是加剧了经济负担，性能的提升往往需要成倍增加的计算资源，这凸显了此类尝试的不确定性和风险。

然而，即便训练成功，也可能陷入投资困境。训练可能会阻碍企业采用性能更优、功能更全的新模型，甚至阻碍新缩放规律和策略的应用。在决定训练模型之前，企业应确保存在明确且令人信服的需求，这些需求是现有预训练模型或复杂的提示策略（如Everything of Thoughts（XoT）和Medprompt）无法满足的，或者无法通过RAG等较简单的修改来更抽象地满足的。

安娜·卡列尼娜原则与人工智能采用

人工智能的采用，可以类比于列夫·托尔斯泰在《安娜·卡列尼娜》中的名言：“所有幸福的家庭都是相似的；每个不幸的家庭都有各自的不幸。”在人工智能领域，我们或许可以说：“所有成功的人工智能采用都是相似的；每个失败的采用都有其独特的原因。”Jared Diamond在《枪支、细菌和钢铁》一书中推广了“安娜·卡列尼娜原则”，用以解释为何历史上只有少数野生动物被成功驯化。同样，人工智能的成功采用并非因为其具备特定的积极特征，而是因为它避免了任何潜在的负面特征。

人工智能的采用是一个复杂的过程，远非简单地从Hugging Face下载开源模型所能完成。成功的采用始于明确的目标，以及对企业需实现目标的准确理解。追求人工智能不应仅仅因为其流行，而应基于具体的目标。成功的采用需要强有力的领导者，他们对技术如何影响业务有清晰的愿景，并致力于制定战略、管理风险、预测未来需求，实现无缝集成和增长。同时，他们还需处理变革管理，确保员工理解并接受变革，并考虑道德因素，确保人工智能得到负责任的使用。

利比希定律与人工智能部署

在指导人工智能采用方面，利比希定律（或最小定律）提供了一个有用的框架。这一源于农业科学的原则指出，增长不是由可用资源的总量决定的，而是由最稀缺的资源或限制因素决定的。在人工智能部署中，成功同样受到采用过程中最限制因素的制约，这些因素包括数据、人力资本、计算资源、治理和合规性等。然而，即便如此，企业也可能以限制其潜力或创造难以摆脱的依赖性的方式采用该技术。

因此，企业必须平衡创新与实用性，避免供应商锁定，并专注于模块化、灵活的技术，以保持敏捷并响应新发展。这种方法确保企业能够快速、经济高效地适应不断变化的人工智能格局。

来源：AI中国