随时随地的AI助手:轻薄笔记本上的本地大模型应用

B站影视 内地电影 2025-03-19 09:51 1

摘要:这几个月,随着DeepSeek等AI大语言模型的普及,越来越多的人开始认识到这些助手在日常生活和工作中的巨大潜力。尽管云端提供的AI助手能够提供随时随地的服务,但隐私问题始终是用户关注的焦点。因此,能够在本地部署的大语言模型逐渐成为一种需求。

这几个月,随着DeepSeek等AI大语言模型的普及,越来越多的人开始认识到这些助手在日常生活和工作中的巨大潜力。尽管云端提供的AI助手能够提供随时随地的服务,但隐私问题始终是用户关注的焦点。因此,能够在本地部署的大语言模型逐渐成为一种需求。

以往我们在谈论本地部署AI大模型的应用的时候基本上都是基于搭载了独显的台式机,但实际上用笔记本的人比用台式机多得多,配备高性能独显的游戏本自然可以轻松运行大模型,但更多人用的还是没有独显的轻薄本。以往的旧款产品其核显AI算力有限,让它们去跑本地模型确实有点为难,但英特尔最新酷睿Ultra 200V和200H系列处理器的核显都具备XMX矩阵引擎,可提供强劲的AI算力,用搭载这些处理器的轻薄本部署本地AI大语言模型是可行的。

今天我们就用华硕新推出的灵耀14 2025款来实战一下,它搭载了刚推出没多久的Arrow Lake-H酷睿Ultra 9 285H处理器,这款新处理器采用Lion Cove架构P核,Skymont架构E核,拥有6P+8E+2LP E核共20线程,并配备锐炫140T核显,升级为Xe-LPG+,和上代产品所用的Xe-LPG相比增加了XMX矩阵引擎,让核显的AI算力增加了4倍达到77 TOPS,还有一个13 TOPS的NPU,让这颗处理器可以胜任一定的AI任务。

华硕灵耀14 2025款简介

测试所用的华硕灵耀14 2025款是专为追求高效率与高品质的办公人群设计的主流轻薄本,它除了使用酷睿Ultra 9 285H处理器之外,还搭载了32GB LPDDR5x-7467内存,1TB的PCIe 4.0 SSD,14英寸2880 x 1800@120Hz高刷屏,搭载75Whr的电池,整机重量只有1.19千克,厚度也只有13.9毫米,相当便于携带。


华硕灵耀14 2025款的HWiNFO信息截图

机器采用全铝合金机身,有夜空蓝和冰川银两种配色可选,通过简洁的线条设计出“A”字母Logo覆盖了A面大部分区域,左下角还有ASUS Zenbook标志,这外观设计继承了前代的简约时尚风格。

灵耀14 2025款使用14英寸OLED屏幕,屏幕长宽比是16:10,分辨率是2880 x 1800,峰值亮度600nits,支持HDR Ture Black 600,10bits色深,提供100% P3色域覆盖,并且拥有120Hz刷新率和0.2ms响应时间,确保了色彩准确性和流畅的视觉体验。屏幕上方搭载了1080p全高清摄像头和红外摄像头,具备红外人脸识别功能,能用人脸识别的Windows Hello,旁边还有个物理黒阀,可以物理遮蔽摄像头防止隐私渗漏。

触控板采用下凹设计,尺寸比较大,整合了虚拟数字小键盘,通过右上角的触控开关可以开启,左上角的触控开关则可调节这个小键盘的亮度。

机器的右侧提供了两个雷电4接口,一个3.5mm二合一音频口以及HDMI视频输出口,电源指示灯和充电提示灯也在这边,左侧只有一个USB 5Gbps Type-A口,它旁边就是散热器的出风口。

在轻薄本上部署Ollama

Ollama是一个比较轻松上手的开源的大型语言模型服务工具,可帮助用户快速在本地运行大语言模型。现在有基于IPEX-LLM的Ollama英特尔优化版,使用Xe架构的英特尔GPU上可以直接免安装直接运行Ollama,有兴趣的朋友可以在魔塔社区下载。

下载下来解压缩,然后双击“start-ollama.bat”文件就可以启动了,但在启动前请确保自己显卡的驱动版本是高于6559的,低于此版本的请去英特尔官网下载最新驱动。


看到这个弹窗就说明Ollama服务已经正确驱动

Ollama的默认模型安装位置是在C盘用户文件夹下的,如果需要改位置的话就得去改环境变量,具体位置在系统属性=》高级=》环境变量,在系统变量那里选择新建一个叫“OLLAMA_MODELS”的条目,变量值填你指定的模组下载文件夹即可,这样Ollama算是设置好了。

接下来打开命令提示符也就是CMD窗口,并进入你挤压后的文件夹路径,然后输入指令ollama run+你需要的模型名字,比如我们上面输入的是ollama run deepseek-r1:7b就是运行DeepSeek R1 7B模型,由于首次运行没有检测到本地模型,Ollama会帮你把模型自动下载并安装,下载完成后你可以直接在这里输入你想问的问题。

当然了用命令行和模型聊天不是长久办法,你还得套一层UI。这里我就选择了使用浏览器插件Page Assist,该插件在Edge和Chrome的应用商店都有,除了本地的Ollama外,它还支持Chrome AI和OpenAI兼容的API。

安装完Page Assist后,在Ollama Library上的模型页面会多个下载标识,这样你就可以通过插件直接在浏览器上下载模型,方便得多。

Page Assist并不需要做什么特殊设置,最多改下软件语言,有语音输入输出需求的还可以自行修改对应设置,它是支持网络搜索的,可以选择搜索引擎,这样就能让AI帮你筛选网上的信息了。插件还带有模型管理功能,可以查看或删除Ollama已经下载好了的模型。

设置好后把Page Assist开打,在左上角选择你下好的模型,然后就可以问机器人各种问题了,Ollama会自动检测并使用可用的GPU资源,无需额外配置。我们在这台轻薄本上试用了DeepSeek-R1-Distill-Qwen-7B和DeepSeek-R1-Distill-Qwen-14B这两个模型,均使用同一道数学题提问,在使用DeepSeek R1 7B模型时的生成速度是14.02 tokens/s,而使用DeepSeek R1 14B模型时的生成速度是7 tokens/s。

如果在cmd窗口用命令行ollama run deepseek-r1:7b(或14b) --verbose 的话,同样可以得到运行速度DeepSeek R1 7B是17token/s,DeepSeek R1 14B能到9.7tokens/s,由此可见,虽然14B模型提供了更高的准确性,但在性能方面略逊一筹。

使用7B的模型时的生成速度是可以的,14B模型速度是有点慢,但实际上最为常见的8GB显存独显因为显存不够的原因跑不了这个模型,而酷睿Ultra 9 285H最大共享内存能到17.9GB,跑这个参数的模型是没问题的。

如果不喜欢用浏览器插件的话,也可以尝试使用Chatbox AI应用程序,它一款AI客户端应用和智能助手,支持众多先进的AI模型和API,首次启动时请选择“使用自己的API Key或本地模型”,然后选择OLLAMA API后一般会自动添加域名,如果没有的话可以将API域名设置为http://127.0.0.1:11431,保存后应该就选择Ollama下载好的模型了。

设置好后会到聊天窗口,输入问题后看任务管理器里面的GPU占用,如果占满的话正面已经成功运行了,与Page Assist相比,Chatbox作为应用程序功能更强大,可接入其他在线AI API,支持多模态,但搜索功能依赖AI模型提供方,而Ollama本身没提供这功能,要添加比较麻烦。

Flowy AI PC助手

如果看完上面的教程还是觉得太复杂的话,可以试下这个Flowy AI PC助手,它同样支持本地部署AI大模型,自带图形界面,无需通过命令行结合其他Web UI。一键安装后即可通过图像UI部署离线模型使用,且内置多种会议助手、翻译助手等特定场景助手,可辅助完成任务。

Flowy AI PC助手下载模型相当便利,进入模型市场就能找到本地模型的下载,提供了llama3.1 8B、DeepSeed R1 7B到32B以及Qwen 2.5 0.5B和7B这些模型的下载。


同时它还提供了DeepSeek V3与R1、GLM-4 Flash和豆包这些云端模型服务

这个软件实际在本地跑的也是Ollama,实际上我们什么模型都没下,就已经在聊天窗口的模型切换中找到了此前在Ollama里装好的模型,此外我们能够在聊天窗口实时切换。

Flowy在使用本地AI模型的时候同样会调用锐炫140T GPU来进行推理,文本生成速度其实还可以,虽然本地模型由于规模较小的关系,生成的东西其实没云端模型那样细腻和准确,但胜在私密性和安全性更好,而且断网状态下也可使用。

本地部署Moonlight MoE模型

Moonlight作为月之暗面Moonshot开源的第一款大模型,拥有16B的完整参数和3B的激活参数。也就是说这是一个MoE(Mixture of Experts)模型,这类模型采用了“专家”系统的设计理念,其中包含多个子模型(称为“专家”)。每个专家负责学习数据的一个特定方面。在预测时,通过一个门控网络决定哪个或哪些专家参与决策过程,从而实现动态分配计算资源。

MoE模型推理阶段可以只激活部分专家,而不是整个模型的所有组件。这意味着即使是在资源有限的设备上,也可以部署较大规模的模型,并以较低的计算成本运行,也就是说MoE模型其实非常适合算力有限,但可共享大量内存的轻薄本。

该模型运行需要用到Miniforge这个程序,由于安装和运行过程都是在命令行中执行的,所以需要一定基础,这里就不写具体教程了,想了解的朋友可以自行到Github学习。

模型的名字是moonlight-16B-A3B-instruct,前面的16B是它的完整参数是160亿,后面的A3B代表激活参数是30亿。运行是基于ipex-LLM库的,它作为Intel专为大语言模型在Intel平台(CPU/GPU/NPU)加速的PyTorch库,对于新模型的适配速度很快,且运行效果优秀,十分契合酷睿Ultra200H平台本地部署大语言模型的需求。

可以看到它运行速度要远比我们上面运行Ollama更快,首token耗时14.52ms,平均生成速度是43token/s,在轻薄本上也能实现如此生成速度确实了得,接下来就看开发者什么时候为它套上图形界面了,现阶段用命令行确实挺难受的。

全文总结

本文的实践充分证明,搭载新一代酷睿Ultra处理器的轻薄本已不再是AI部署的“局外人”。借助Ollama、Flowy AI等工具的优化与简化,用户无需复杂配置或昂贵硬件,即可在无独显的轻薄本上流畅运行7B至16B参数的本地大语言模型。无论是通过浏览器插件快速调用模型,还是借助图形化界面实现一键部署,这些方案都大幅降低了技术门槛,让AI真正触手可及。

更重要的是,这种“轻量化+本地化”的模式,不仅解决了隐私安全的核心痛点,还为用户提供了高性价比的AI普及路径——无需依赖云端算力或专业设备,日常办公本即可成为私有化AI助手的中枢。随着英特尔XMX引擎、NPU算力的持续升级,以及MoE等高效模型的涌现,未来轻薄本的AI能力还将进一步突破。

总之,随着硬件的进步和技术的发展,现在每个人都可以在自己熟悉的设备上享受AI带来的便利。无论是在家中的休闲时光,还是办公室里的忙碌时刻,AI大语言模型都将成为不可或缺的一部分,帮助我们更好地完成任务,提升生活质量。

来源:超能网

相关推荐