Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术，该技术现在可与NVIDIA TensorRT-LLM一起使用。ReDrafter 帮助开发者大幅提升了 NVIDIA

llm nvidia llm推理 2024-12-25 17:32  1

大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部

推理 llm llm推理 2024-12-01 09:34  1