摘要:在本系列文章中,我们将使用 检索增强生成(RAG) 系统,结合 DeepSeek R1(一个开源的推理大模型)和 Ollama(一个轻量级的本地 AI 模型运行框架)来构建这样一个系统。
在本系列文章中,我们将使用 检索增强生成(RAG) 系统,结合 DeepSeek R1(一个开源的推理大模型)和 Ollama(一个轻量级的本地 AI 模型运行框架)来构建这样一个系统。
下面将探讨 DeepSeek R1——一个在性能上可与 OpenAI 的 o1 相媲美,但成本低 95% 的模型——如何为 RAG 系统注入强大动力。让我们来分析为什么开发者纷纷涌向这项技术,以及你如何构建自己的 RAG 流水线。
如下是需要使用的组件,以及对应的成本:
DeepSeek R1 的 1.5B 模型在这里表现出色,因为:
专注检索:每个答案只输入 3 个文档片段严格提示:“我不知道”防止幻觉本地执行:与云 API 相比零延迟Ollama 让我们可以在本地运行像 DeepSeek R1 这样的模型。
DeepSeek R1 有从 1.5B 到 671B 参数的不同大小。在这个演示中,我们将使用 1.5B 模型——非常适合轻量级 RAG:
可以通过以下命令运行模型:
ollama run 模型名称
ollama run deepseek-r1:1.5b
小贴士:更大的模型如 70B 提供更好的推理能力,但需要更多的 RAM。先从小的开始,然后逐步扩展!
要查看可用的模型列表,可以使用命令:ollama list
ollama list
NAME ID SIZE MODIFIED
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 2 days ago
qwen2:7b e0d4e1163c58 4.4 GB 6 months ago
qwen:latest d53d04290064 2.3 GB 8 months ago
llama3:latest a6990ed6be41 4.7 GB 8 months ago
未完待续...
来源:软件架构