摘要：单插槽版本（32 核）V0.2git clone https://github.com/kvcache-ai/ktransformers.gitcd ktransformersgit submodule initgit submodule updatenuma
想在单张RTX 4090上跑通671亿参数的DeepSeek-R1？清华KTransformers项目
3步极简操作+避坑指南，硬件方案
官方文档：ktransformers/doc/en/DeepseekR1_V3_tutorial.md at main · kvcache-ai/ktransformers · GitHub
① 环境安装
单插槽版本（32 核）V0.2git clone https://github.com/kvcache-ai/ktransformers.gitcd ktransformersgit submodule initgit submodule updatenumactl -N 1 -m 1 python ./ktransformers/local_chat.py --model_path --gguf_path --prompt_file --cpu_infer 33 --max_new_tokens 1000双插槽版本（64 核）V0.2在安装之前 make suer （使用 install.sh 或 ），设置环境变量 （如果已经安装，请使用此环境变量集重新安装它）我们local_chat测试命令是：make dev_installUSE_NUMA=1export USE_NUMA=1git clone https://github.com/kvcache-ai/ktransformers.gitcd ktransformersgit submodule initgit submodule updateexport USE_NUMA=1make dev_install # or sh ./install.shpython ./ktransformers/local_chat.py --model_path --gguf_path --prompt_file --cpu_infer 65 --max_new_tokens 1000双插槽版本（64 核）V0.3wget https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whlpip install ./ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whlpython -m ktransformers.local_chat --model_path --gguf_path --prompt_file --cpu_infer 65 --max_new_tokens 1000② 魔改启动命令（防爆显存）
from ktransformers import KTransformer model = KTransformer.from_pretrained( "deepseek/DeepSeek-R1-671B", low_cpu_mem_usage=True, # 内存救星 device_map="auto", # 自动分配计算资源 offload_folder="tmp" # 溢出数据存硬盘 )③ 推理黑科技
开启8bit量化：显存直降40%绑定CPU卸载：临时转移非活跃数据强制分块加载：模型拆解成碎片运行❓你敢用家用电脑挑战千亿模型吗？评论区晒出你的配置！
来源：吃汤圆的抹香鲸一点号