林子雨:在自己本地计算机上部署DeepSeek R1大模型实战

B站影视 2025-02-07 08:55 2

摘要:2025年1月,中国春节期间,DeepSeek爆火,称为全球最炙手可热的大模型。这里以DeepSeek为例介绍在自己本地计算机上部署大模型的方法。操作过程中,遇到很多错误,借助于豆包大模型,把每个错误都解决了,顺利完成了安装过程。我的笔记本电脑是联想Think

2025年1月,中国春节期间,DeepSeek爆火,称为全球最炙手可热的大模型。这里以DeepSeek为例介绍在自己本地计算机上部署大模型的方法。操作过程中,遇到很多错误,借助于豆包大模型,把每个错误都解决了,顺利完成了安装过程。我的笔记本电脑是联想ThinkPad X13,安装了Windows10操作系统,硬件配置是,16GB内存,1TB硬盘。

实际上,只要电脑具有8GB内存和30GB可用磁盘空间即可安装最小版本的DeepSeek R1大模型。本教程提供了全套软件下载(同时也在文中给出了这些软件的官方下载地址),请从百度网盘下载:
https://pan.baidu.com/s/1oFbAMubmvyj29_wbeuX0lQ?pwd=ziyu
提取码是ziyu
备注:我的百度网盘分享链接没有设置人数限制,但是百度依然对这个链接进行人数限制,所以,如果无法访问该链接,可以在阅读正文过程中,根据正文中给出的各个软件的官网地址去官网下载软件,就是速度会稍微慢一些。

特别强调,在自己本地计算机上部署DeepSeek R1大模型,不需要读者具备任何计算机基础知识,也不需要掌握任何编程知识,只要会使用Windows操作系统就可以,按照本文给出的步骤,一步步执行,就可以顺利完成所有操作。也就是说,即使是一个大学一年级的文科生,也可以顺利完成本文的所有操作。

一般而言,DeepSeek、文心一言、豆包、Kimi等在线的大模型,功能非常强大,完全可以很好满足我们的需求。所以,大多数情况下,我们不需要在本地部署大模型。但是,当我们需要保护个人数据隐私时,也可以考虑在本地部署大模型。


和直接使用在线大模型(豆包、Kimi等)相比,在本地部署大模型具有以下优势:
(1)数据隐私与安全性。第一,数据本地存储:所有数据运算和存储均在本地完成,不会上传至云端,有效避免了数据在传输和云端存储过程中可能带来的隐私泄露风险。第二,完全掌控数据:用户可以完全掌控数据的使用和存储,确保数据不被未经授权的访问或用于其他目的。第三,隐私保护机制:支持访问权限控制,进一步增强数据安全性。
(2)定制化与灵活性。第一,自定义知识库训练:用户可以根据自己的需求对模型进行自定义知识库训练,进一步提升模型在特定领域的性能。第二,灵活调整模型参数:根据业务需求灵活调整模型参数和功能,满足不同场景下的个性化需求。第三,开源灵活性:开源模型一般都允许用户无限制地进行微调或将其集成到自己的项目中。


(3)离线与高效使用。第一,离线访问:本地部署后,无需依赖网络连接,适合旅行或网络不稳定的场景,随时随地可用。第二,避免服务器繁忙:再也不用担心“服务器繁忙”的问题,提升使用体验。
(4)成本与资源优化。第一,成本可控:长期使用比云服务更经济,尤其适合高频调用场景。第二,硬件友好:对硬件资源要求较低,可在较少GPU或高级CPU集群上运行,资源效率显著。
(5)避免使用限制。本地部署避免了可能出现的使用限制,不受未来商业化影响,可永久免费使用。通过本地部署开源大模型,用户不仅能够享受强大的AI功能,还能在数据隐私、定制化需求和使用成本等方面获得显著优势。

首先需要说明的是,大模型的训练过程需要耗费大量的计算资源(比如投入上亿元构建计算机集群去训练大模型),训练成本比较昂贵,个人是无法承担的。但是,训练得到的大模型,部署到计算机上,就不需要那么高的计算资源要求。但是,即使如此,在DeepSeek出现之前,很多市场上的大模型产品都是“贵族”模型,“段位”很高,通常需要依赖高端的硬件,配置大量的GPU,普通个人计算机一般很难运行大模型。

2025年1月20日,我国杭州深度求索公司的DeepSeek R1大模型正式发布,它是一个基于深度学习的推荐系统模型,通常用于处理推荐任务,如商品推荐、内容推荐等。Deepseek R1的发布,标志着大模型产品的“平民”时代已经到来,它大大降低了对计算机硬件的要求,可以部署在普通的个人计算机上,甚至部署在手机等便携式设备中。Deepseek采用了较为简洁高效的模型架构,去除了一些不必要的复杂结构和计算,在保证模型性能的基础上,降低了对计算资源的需求,使模型在本地计算机上运行更加轻松。通过先进的量化压缩技术,Deepseek将模型的参数进行压缩存储和计算,大大减少了模型所需的存储空间和计算量。2025年1月30日,微软公司宣布支持在Win11电脑本地运行DeepSeek R1大模型。


DeepSeek R1对硬件资源比较友好,对不同硬件配置有良好的适应性,能根据用户计算机硬件配置选择合适的模型版本。入门级设备拥有4GB 存和核显就能运行1.5B(Billion,十亿,大模型参数的数量)版本;进阶设备8GB内存搭配4GB显存就能驾驭7B版本;高性能设备则可选择32B版本。而且,DeepSeek R1支持低配置电脑,即使是没有独立显卡的低配置电脑,只要有足够的空余硬盘空间,如部署最大的6710亿参数的大模型需要至少1TB的空余空间,也能完成部署。


DeepSeek R1可以满足用户的数据隐私需求,本地部署能将所有数据运算都限制在本地,数据不会上传至云端,可有效避免数据传输和存储在云端可能带来的隐私泄露风险,满足用户对数据安全和隐私保护的要求。DeepSeek R1还可以满足定制需求,用户可以根据自己的需求对模型进行自定义知识库训练,进一步提升模型在特定领域的性能。

本节将详细介绍如何通过Ollama和Open WebUI在本地计算机环境中部署DeepSeek R1 大模型。本地计算机至少需要8GB内存和30GB剩余磁盘空间。

Ollama是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与OpenAI兼容的API接口,适合开发者和企业快速搭建私有化AI服务。
访问Ollama官网(https://ollama.com/), 点击“Download”(如图1所示),根据操作系统(Windows、macOS或Linux)下载自己操作系统对应的安装包(如图2所示),比如,Windows用户可以点击“Windows”图标,然后,点击“Download for Windows”下载安装包。需要注意的是,对于Windows系统,这里仅支持Windows10及其以上版本。


下载完成以后,双击安装包文件“OllamaSetup.exe”完成安装。安装完成后,在Windows系统中,右键单击开始菜单按钮,在弹出的菜单中选择“运行”,再在弹出的对话框中输入“cmd”并回车,打开cmd命令行工具窗口,输入以下命令验证是否安装成功:

ollama --version

如果显示Ollama版本号,说明安装成功(如图3所示)。

Ollama已经在第一时间支持DeepSeek R1,模型下载地址是https://ollama.com/library/deepseek-r1。 请根据自己的显存选择对应的模型,建议选择参数较少、体积最小的1.5B版本(如果计算机的配置较高,也可以选择参数较大的版本),这里的B是英文Billion(十亿),表示参数模型的参数规模,1.5B表示大模型的参数量是15亿。当然,我们可以不用到这个下载地址手动下载,只需要在cmd命令行窗口中执行如下命令就可以自动下载DeepSeek R1大模型:

ollama run deepseek-r1:1.5b

该命令会自动下载并加载模型,下载时间取决于网络速度和模型大小。注意,如果在下载过程中,出现长时间停滞不动,可以敲击几次回车键。
下载完成后,可以使用以下命令查看模型信息:

ollama list

该命令会列出本地已下载的模型及其状态。

可以在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型:

启动后,模型会进入交互模式,用户可以直接输入问题并获取回答。
在交互模式下,可以测试DeepSeek R1的多种功能(如图4所示),例如:
(1)智能客服:输入常见问题,如“如何学习人工智能?”。
(2)内容创作:输入“请为我撰写一篇介绍沙县小吃的宣传文案”。
(3)编程辅助:输入“用Python绘制一个柱状图”。
(4)教育辅助:输入“解释牛顿第二定律”。


cmd窗口关闭以后,DeepSeek R1大模型就停止运行了。下次再次使用时,需要再次在cmd窗口中执行如下命令启动DeepSeek R1大模型:

这种以命令行的方式与大模型进行对话,显然不太友好,因此,下面介绍如何通过浏览器来与大模型进行对话,这里就需要安装Open WebUI,由于Open WebUI依赖于Python环境,因此,在安装Open WebUI之前,需要首先安装Python环境(注意,只是需要安装Python环境,并不需要学习Python语言,读者可以完全不会Python语言,大模型的安装和使用过程完全不会用到Python语言)。如果读者没有使用浏览器与大模型对话的需求,可以不用学习下面的安装步骤。

Python(发音[ˈpaɪθən])是1989年由荷兰人吉多·范罗苏姆(Guido van Rossum)发明的一种面向对象的解释型高级编程语言。Python的第一个公开发行版于 1991 年发行,在 2004 年以后,Python 的使用率呈线性增长,并获得“2021年TIOBE最佳年度语言”称号,这是Python第5次被评为“TIOBE最佳年度语言”,它也是获奖次数最多的编程语言。发展到今天,Python已经成为最受欢迎的程序设计语言之一。


Python可以用于多种平台,包括Windows、Linux和macOS等。这里使用的Python版本是3.12.2(该版本于2024年2月6日发布),不要安装最新的3.13版本。请到Python官方网站下载(官网下载地址)与自己计算机操作系统匹配的安装包,比如,64位Windows操作系统可以下载python-3.12.2-amd64.exe。运行安装包开始安装,在安装过程中,要注意选中“Add python.exe to PATH”复选框,如图5所示,这样可以在安装过程中自动配置PATH环境变量,避免了手动配置的烦琐过程。


然后,点击“Customize installation”继续安装,在选择安装路径时,可以自定义安装路径,比如设置为“C:\python312”,并在“Advanced Options”下方选中“Install Python 3.12 for all users”(如图6所示)。


安装完成以后,需要检测是否安装成功。可以打开Windows操作系统的cmd命令界面,然后执行如下命令打开Python解释器:

cd C:\python312python

如果出现图7所示信息,则说明Python已经安装成功。

5.安装Microsoft Visual C++ Build Tools

备注:对于不同的计算机环境,本步骤可能不是必须的,读者可以先跳到第6步继续操作,如果在下面的第6步遇到报错信息说“缺少Microsoft Visual C++ Build Tools”,可以再回到本步骤安装Microsoft Visual C++ Build Tools,然后再执行第6步的安装。
在安装Open WebUI之前,在有些计算机上可能还需要安装Microsoft Visual C++ Build Tools,否则,安装Open WebUI过程会报错。可以到如下网址下载该工具安装包vs_BuildTools.exe:
https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/
下载完成以后,双击安装包文件vs_BuildTools.exe进行安装,在弹出的安装界面中(如图8所示),在界面左上角的“桌面应用和移动应用”下方,选中“使用C++的桌面开发”,然后,点击界面右下角的“安装”按钮,完成安装。

只要是支持Ollama的WebUI都可以,如Dify、AnythingLLM等。这里使用比较简单而且也是与Ollama结合比较紧密的Open WebUI。
可以在cmd命令行窗口中执行如下命令安装Open WebUI(这里使用国内清华大学的安装源镜像,这样可以加快安装速度):

pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

注意,如果在下载和安装过程中,出现长时间停滞不动,可以敲击几次回车键。
可以执行如下命令启动Open WebUI服务:

Open-webui serve

注意,如果启动以后,看到下面界面,说明还没有启动成功,需要继续等待。可以敲击几次回车。


在继续等待过程中,可能屏幕上会出现一些错误信息,里面会包含如下内容:

requests.exceptions.ConnectTimeout: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)

这个错误信息说明,启动过程连接Hugging Face Hub失败。Hugging Face Hub网站在国外,所以,经常会连接失败,所以,导致open-webui启动过程始终停止不动。
直到出现下面屏幕信息以后,才说明启动成功了。


启动后,在浏览器中访问http://localhost:8080/即可进入Open WebUI界面。如果网页显示“拒绝连接”,无法访问Open WebUI界面,一般是由于你的计算机开启了Windows防火墙,可以点击“开始”菜单按钮,在弹出的界面中,在顶部的搜索框中输入“安全中心”(如图9-所示),打开“Windows安全中心”,点击左侧的“防火墙和网络保护”,在右侧的“域网络”中,关闭防火墙。


Open WebUI支持中文界面,可以在设置中调整语言,默认是你的Windows系统当前正在使用的语言。首先,需要注册一个管理员账号(如图10所示),然后,就可以开始使用了。


在Open WebUI界面中,选择已下载的DeepSeek R1模型,即可开始对话测试。如图11所示,可以在对话框中输入“请介绍如何学习人工智能”然后回车,页面就会给出DeepSeek R1的回答结果(如图12所示)。

当我们本次使用完大模型时,只需要关闭各个cmd命令行窗口,大模型就停止运行了。下次要再次使用时,还是按照一样的步骤进行操作:
(1)启动大模型
新建一个cmd命令行窗口,在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型:

(2)启动Open WebUI
再新建一个cmd命令行窗口,在cmd命令行窗口中执行如下命令启动Open WebUI服务:

前面步骤已经完成了DeepSeek R1大模型的部署,但是,你会发现,每次计算机关机以后,再次启动计算机时,Ollama会开机自动启动,导致占用计算机系统资源。当我们平时不使用DeepSeek R1时,为了让Ollama不占用计算机系统资源,我们需要禁止Ollama开机自动启动。
在Windows10系统中,右键单击开始菜单按钮,在弹出的菜单中选择“运行”,再在弹出的对话框中输入“msconfig”并回车,进入如图13所示系统设置界面,点击“启动”选项卡,在这个选项卡中点击“打开任务管理器”,进入如图14所示的任务管理器界面,在界面中,找到“ollama.exe”,把鼠标指针放到“已启动”上面,单击鼠标右键,在弹出的菜单中点击“禁用”,然后关闭任务管理器界面。经过这样设置以后,Ollama以后就不会开机自动启动了。

来源:正正杂说

相关推荐