摘要：核心结构：基于自注意力机制（Self-Attention），并行处理序列数据，解决长距离依赖问题。关键组件：多头注意力（Multi-Head Attention）、前馈网络（FFN）、层归一化（LayerNorm）和残差连接。优势：高效并行训练，适合大规模预训
本文约3000字，建议阅读6分钟
本文介绍了 Transformer 与 MoE、5 种微调技术、RAG 演进、智能体模式及 KV 缓存等大模型关键技术。
Transformer提供基础架构，MoE通过稀疏化计算扩展模型规模，二者结合推动大模型发展（如GPT-4、Mixtral）。
应用场景：LoRA通用性强；VeRA适合超轻量化；Delta-LoRA和LoRA+侧重性能优化。
将RAG流程赋予自主决策能力，通过智能体（Agent）动态管理检索与生成。
关键改进：动态检索：基于生成内容的反馈调整检索策略（如改写查询、多轮检索）；支持复杂查询的多跳推理（自动分解子问题并迭代检索）。任务感知：根据任务类型（问答、摘要等）选择检索工具或生成策略；可调用外部API或工具补充知识（如计算、实时数据）。自我验证：对生成结果进行事实性检查（如二次检索验证）、逻辑一致性评估。对比总结维度传统RAGAgentic RAG检索方式单次、静态多轮、动态优化推理能力单跳，依赖人工设计多跳，自主分解任务上下文管理固定拼接动态筛选与精炼错误处理无自检机制结果验证与修正适用场景简单问答、文档摘要复杂推理、实时交互、工具调用演进本质：Agentic RAG将RAG从“管道流程”升级为“自主决策系统”，更贴近人类问题解决模式。
5 种经典的智能体设计模式核心思想：智能体通过自我评估与迭代修正优化输出。
流程：生成结果 → 分析错误/不足 → 调整策略重新生成。
核心思想：智能体调用外部工具（如API、计算器、搜索引擎）扩展能力边界。动态选择工具并解析工具返回结果。
核心思想：结合推理（Reasoning）与行动（Action）的交互式决策。
流程：
Reason：分析当前状态（如“需要查询天气”）；Act：执行动作（如调用天气API）；循环直至解决问题。核心思想：智能体预先制定分步计划再执行，而非即时反应。长期目标分解为子任务，动态调整计划。
核心思想：多个智能体通过协作/竞争完成复杂任务。角色分工（如管理者、执行者）、通信机制（如投票、辩论）。
5大文本分块策略传统RAG（Retrieval-Augmented Generation）和HyDE（Hypothetical Document Embeddings）都是检索增强生成（RAG）技术的变体，但它们在检索策略和性能优化上有显著差异。以下是两者的对比：
维度传统RAGHyDE检索方式直接对用户查询（Query）进行向量检索先让LLM生成假设答案（Hypothetical Answer），再检索相似文档匹配逻辑Query-to-Document 相似度匹配Answer-to-Document 相似度匹配生成阶段直接使用检索到的文档生成答案结合假设答案+检索文档生成最终答案关键区别：
传统RAG依赖查询与文档的语义匹配，但用户问题（如“什么是ML？”）可能与答案（如“机器学习是一种方法”）表述不同，导致检索失败。HyDE通过生成假设答案（如“ML是让计算机学习数据的方法”），使嵌入更接近真实答案的语义，从而提高检索精度。指标传统RAGHyDE检索精度较低（依赖查询表述）显著提升（如ARAGOG实验显示优于基线）答案质量可能因检索失败而错误更准确（利用假设答案引导检索）计算成本低（仅需一次检索）较高（需LLM生成假设答案）实验数据：
OpenAI测试显示，传统RAG准确率仅45%，HyDE可提升至65%。ARAGOG研究表明，HyDE与LLM重排序结合后，检索精度显著优于朴素RAG。场景传统RAGHyDE简单问答适用（如事实型问题）适用，但可能过度复杂复杂查询易失败（表述差异大）更优（如多跳推理）实时性要求更高效延迟较高（需生成步骤）核心区别：
KV Cache是Transformer推理时的关键优化技术，通过缓存注意力层计算过的键值矩阵（Key-Value），避免对历史token的重复计算，将生成过程的计算复杂度从二次方O(n²)降至线性（O(n)），显著提升大模型生成速度（3-5倍加速）。它以显存占用为代价（需存储每层的KV矩阵），成为所有主流推理框架（如vLLM、TGI）的核心优化手段，支撑了长文本生成和实时交互的高效实现。
来源：数据派THU一点号