让DeepSeek-R1在16G内存,无GPU的Windows笔记本上本地运行

B站影视 日本电影 2025-02-12 17:45 1

摘要:在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介

16G内存笔记本也能跑ChatGPT❗︎

Ollama+DeepSeek-R1+LeetTools=简化版ChatGPT❗︎手把手教程来了❗︎

在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介绍过Ollama与LeetTools的安装教程。

Ollama:https://github.com/ollama/ollama

LeetTools:https://github.com/leettools-dev/leettools

工具环境准备

按照安装Vscode,安装Anaconda3

在Anaconda3中创建一个新的Python环境(python版本选择3.11),例如:命名为leettools。

在Vscode中将Python解释环境选择为在Anaconda3中创建的leettools环境。

从Vscode中拉取Ollama源码以及Leettools源码

打开Ollama的Readme,点击其中windows下载的链接,下载适合Ollama的exe文件

在机器上执行Ollama.exe进行Ollama的安装。执行完成后,退出Vscode,并重新打开Vscode。

本机执行Answer问答

在Terminal中执行:

ollama serve

再新建一个Terminal,其中执行:

ollama pull deepseek-r1:1.5b

继续执行:

ollama pull nomic-embed-text

执行以下几条命令:

set "LEET_HOME=/Users/myhome/leettools" set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1set EDS_LLM_API_KEY=sk-mykeyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-chatset EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1set EDS_EMBEDDING_API_KEY=dummy-keyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bset EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textset EDS_EMBEDDING_MODEL_DIMENSION=76

注意:需要把第一条命令中的myhome替换成你自己的目录,第三条命令的mykey替换成你自己的DeepSeek API key

通过leet命令来执行,使用answer这个flow进行一个问题的问答。命令为:

leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info

产生的最后结果是用md格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是R1的think的推理说明部分

下面输出的是问答结果部分

有兴趣的可以试试其它的flow类型,看看源码。

来源:智领云科技

相关推荐