摘要：在 Windows 11 版本 24H2 中，Microsoft 允许在 Copilot+ PC 上访问神经处理单元 （NPU）。尽管 Copilot+ PC 支持 Intel Core Ultra 200V 和 AMD Ryzen AI 300 系列处理器，
在 Microsoft 的新 Copilot+ PC 上运行 DeepSeek 模型代表了本地 AI 处理能力的重大进步。
在 Windows 11 版本 24H2 中，Microsoft 允许在 Copilot+ PC 上访问神经处理单元 （NPU）。尽管 Copilot+ PC 支持 Intel Core Ultra 200V 和 AMD Ryzen AI 300 系列处理器，但最初的 Copilot+ PC 型号配备了高通骁龙 X Elite 和骁龙 X Plus 处理器。这些基于 ARM 的处理器具有先进的神经处理单元 （NPU），能够每秒执行超过 40 万亿次运算 （TOPS）。
最近，Microsoft 使开发人员能够在本地下载和执行针对 Copilot+ PC 优化的基础模型。Microsoft 推出了 DeepSeek R1 模型，特别是 7B 和 14B 蒸馏版本，这些模型针对在配备最新神经处理单元的设备上执行进行了优化。
在 Copilot+ PC 上运行 DeepSeek 模型代表了本地 AI 处理能力的重大进步。
型号可用性：DeepSeek R1 模型（包括最初的 1.5B 版本）现在可以通过 Azure AI Foundry 访问。较大的 7B 和 14B 型号旨在在搭载高通骁龙 X 处理器的 Copilot+ PC 上高效运行，预计很快就会支持 Intel Core Ultra 200V 和 AMD Ryzen 处理器。
效率和性能：这些提炼模型专为低位处理量身定制，使它们能够在消费级硬件上有效运行，而无需严重依赖云资源。这样可以缩短自然语言处理等任务的执行时间，从而实现实时响应并改善用户体验。
NPU 优化：Copilot+ PC 中的 NPU 经过精心设计，可高效处理 AI 工作负载。这允许持续的 AI 计算能力，同时最大限度地减少对电池寿命和热性能的影响，从而释放 CPU 和 GPU 资源用于其他任务。
开发人员访问：开发人员可以通过下载 AI Toolkit VS Code 扩展轻松访问这些模型。这些模型以 ONNX QDQ 格式提供，该格式针对在 NPU 上的部署进行了优化。此工具包有助于直接在本地计算机上试验 AI 功能，从而增强开发工作流程。
使用案例：集成 DeepSeek 模型使开发人员能够跨各个领域创建更智能的应用程序，例如虚拟助手、语音识别系统和自动化工具。由于这些 AI 模型在本地执行，用户可以期望在文档摘要和电子邮件管理等任务中提高性能。
在由 Qualcomm Snapdragon 处理器提供支持的 Copilot+ PC 上，您可以通过 VS Code 的 AI Toolkit 扩展运行 DeepSeek。安装 AI 工具包后，您可以访问 Azure 模型目录，其中显示了可用于推理的所有模型。
您可以筛选专门针对 NPU 优化的模型。
我下载了 DeepSeek R1 Distilled 1.5b 模型以在本地运行。下载文件后，您可以从 Playground 访问它。
现在，您可以更改参数并从模型生成响应。
下载的文件存储在主文件夹的 .\aitk\models 目录中。
AI Toolkit 扩展具有与 OpenAI 兼容的 API 终端节点，该终端节点公开在您的本地主机上的端口 5272 上。您可以使用标准 OpenAI 库来访问模型。您只需更改从模型目录下载的模型名称。
以下是以编程方式访问模型的代码片段：
from openai import OpenAI client = OpenAI( base_url="http://127.0.0.1:5272/v1/", api_key="x" # required by API but not used) chat_completion = client.chat.completions.create( messages=[ { "role": "user", "content": "How much is 2+2?", } ], model="qnn-deepseek-r1-distill-qwen-1.5b",) print(chat_completion.choices[0].message.content)DeepSeek 模型在 Copilot+ PC 上的推出标志着开发人员和用户都可以更轻松地访问和高效高级 AI 功能的关键时刻。开发人员可以使用这些模型进行探索和学习，并将它们直接嵌入到他们提供的应用程序中。
AIPC 和 Copilot+ PC 能够在本地运行复杂的推理模型，将结合本地计算和设备模型的功能，彻底改变 AI 在日常应用中的使用方式。
来源：AI中国