大模型面试八股大纲一、基础概念1. 大模型定义参数规模（10亿+）、训练数据量、算力需求典型代表：GPT、BERT、LLaMA、PaLM2. 核心架构Transformer结构：SelfAttention、FFN、LayerNorm解码器 vs. 编码器（GPT vs. BERT）二、关键技术1. 注意力机制Scaled DotProduct Attention计算流程多头注意力（MultiHead）的优势2. 训练优化预训练任务：MLM（BERT）、自回归（GPT）微调方法：Adapter、LoRA、Prompt Tuning3. 推理加速KV Cache、Flash Attention、量化（INT8/FP4）推测解码（Speculative Decoding）三、训练与数据1. 数据工程数据清洗、去重、质量评估（如CCNet）数据配比（代码/文本/多语言）2. 分布式训练并行策略：数据并行、张量并行、流水线并行框架：MegatronLM、DeepSpeed（ZeRO优化）四、性能与评估1. 评价指标困惑度（Perplexity）、BLEU、ROUGE人类评估（Alignment）2. 能力边界幻觉（Hallucination）、长上下文遗忘数学/逻辑推理短板五、应用与伦理1. 落地场景对话系统、代码生成、搜索增强垂直领域微调（医疗/法律）2. 安全与伦理偏见缓解、红队测试（Red Teaming）开源协议（如LLaMA的商业限制）六、前沿趋势1. 技术方向MoE架构（如Mixtral）、多模态（GPT4V）小模型优化（Phi、Orca）2. 行业动态闭源vs开源生态、API商业化七、高频面试题示例1. 解释Transformer的梯度消失如何缓解？2. 如何降低大模型推理显存占用？3. LoRA的原理和适用场景？4. 为什么RMSNorm取代LayerNorm？5. 大模型训练为什么需要混合精度？八、学习资源论文：《Attention is All You Need》《LLaMA》工具：HuggingFace、vLLM、LangChain#大模型 #大模型应用 #大模型微调 #大模型训练 #大模型面试 #大模型学习 #ai大模型 #大语言模型 #AIGC #强化学习摘要：大模型面试八股大纲一、基础概念1. 大模型定义参数规模（10亿+）、训练数据量、算力需求典型代表：GPT、BERT、LLaMA、PaLM2. 核心架构Transformer结构：SelfAttention、FFN、LayerNorm解码器 vs. 编码器（GP
来源：梦之教育