使用 DeepSeek R1 大模型和 Ollama 构建本地 RAG 系统-1

B站影视 2025-01-31 20:55 3

摘要:在本系列文章中,我们将使用 检索增强生成(RAG) 系统,结合 DeepSeek R1(一个开源的推理大模型)和 Ollama(一个轻量级的本地 AI 模型运行框架)来构建这样一个系统。

在本系列文章中,我们将使用 检索增强生成(RAG) 系统,结合 DeepSeek R1(一个开源的推理大模型)和 Ollama(一个轻量级的本地 AI 模型运行框架)来构建这样一个系统。

下面将探讨 DeepSeek R1——一个在性能上可与 OpenAI 的 o1 相媲美,但成本低 95% 的模型——如何为 RAG 系统注入强大动力。让我们来分析为什么开发者纷纷涌向这项技术,以及你如何构建自己的 RAG 流水线。

如下是需要使用的组件,以及对应的成本:

DeepSeek R1 的 1.5B 模型在这里表现出色,因为:

专注检索:每个答案只输入 3 个文档片段严格提示:“我不知道”防止幻觉本地执行:与云 API 相比零延迟

Ollama 让我们可以在本地运行像 DeepSeek R1 这样的模型。

DeepSeek R1 有从 1.5B 到 671B 参数的不同大小。在这个演示中,我们将使用 1.5B 模型——非常适合轻量级 RAG:

可以通过以下命令运行模型:

ollama run 模型名称

ollama run deepseek-r1:1.5b

小贴士:更大的模型如 70B 提供更好的推理能力,但需要更多的 RAM。先从小的开始,然后逐步扩展!

要查看可用的模型列表,可以使用命令:ollama list

ollama list

NAME ID SIZE MODIFIED

deepseek-r1:1.5b a42b25d8c10a 1.1 GB 2 days ago

qwen2:7b e0d4e1163c58 4.4 GB 6 months ago

qwen:latest d53d04290064 2.3 GB 8 months ago

llama3:latest a6990ed6be41 4.7 GB 8 months ago

未完待续...

来源:软件架构

相关推荐