摘要:在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介
16G内存笔记本也能跑ChatGPT❗︎
Ollama+DeepSeek-R1+LeetTools=简化版ChatGPT❗︎手把手教程来了❗︎
在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介绍过Ollama与LeetTools的安装教程。
Ollama:https://github.com/ollama/ollama
LeetTools:https://github.com/leettools-dev/leettools
工具环境准备
按照安装Vscode,安装Anaconda3
在Anaconda3中创建一个新的Python环境(python版本选择3.11),例如:命名为leettools。
在Vscode中将Python解释环境选择为在Anaconda3中创建的leettools环境。
从Vscode中拉取Ollama源码以及Leettools源码
打开Ollama的Readme,点击其中windows下载的链接,下载适合Ollama的exe文件
在机器上执行Ollama.exe进行Ollama的安装。执行完成后,退出Vscode,并重新打开Vscode。
本机执行Answer问答
在Terminal中执行:
ollama serve再新建一个Terminal,其中执行:
ollama pull deepseek-r1:1.5b继续执行:
ollama pull nomic-embed-text执行以下几条命令:
set "LEET_HOME=/Users/myhome/leettools" set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1set EDS_LLM_API_KEY=sk-mykeyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-chatset EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1set EDS_EMBEDDING_API_KEY=dummy-keyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bset EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textset EDS_EMBEDDING_MODEL_DIMENSION=76注意:需要把第一条命令中的myhome替换成你自己的目录,第三条命令的mykey替换成你自己的DeepSeek API key
通过leet命令来执行,使用answer这个flow进行一个问题的问答。命令为:
leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info产生的最后结果是用md格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是R1的think的推理说明部分
下面输出的是问答结果部分
有兴趣的可以试试其它的flow类型,看看源码。
来源:智领云科技