大模型推理引擎采用了多种定制化的优化技术，针对预填充和解码阶段进行优化。大多数引擎都使用了 KV Caching 避免解码阶段的重复计算，使用缓存的上下文，只计算最新一个 Token。引入连续批处理和混合批处理，进一步优化解码阶段性能；对多个请求的分组预填充、

模型 pdf 推理 pdf文档 deepseek资料 2025-05-26 12:40  4