0Day适配！Qwen3-Next发布昇腾即支持

摘要：2025年9月12日，Qwen3-Next基础模型架构正式发布，并开源了基于该架构的Qwen3-Next-80B-A3B 系列模型。

2025年9月12日，Qwen3-Next基础模型架构正式发布，并开源了基于该架构的Qwen3-Next-80B-A3B 系列模型。

此前昇腾一直同步支持Qwen系列模型，此次Qwen3-Next一经发布开源，依托昇腾兼容SGLang框架内主流的分布式并行能力，快速实现在昇腾上基于SGLang推理框架部署Qwen3-Next系列模型。

昇腾一直致力于构建开放的AI技术生态，除了适配Qwen3、DeepSeek、文心4.5系列等业界最新大模型，昇腾也积极参与GitCode AI社区、魔乐社区、Gitee AI社区、启智社区等生态社区的共建，让开发者能够快速获取昇腾适配的模型、算法、工具等能力和源码。

Qwen3-Next大模型介绍

Qwen3-Next的模型结构相比Qwen3的MoE模型结构,进行了以下核心改进：混合注意力机制、高稀疏度 MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多 token 预测机制。

基于Qwen3-Next的模型结构，训练了Qwen3-Next-80B-A3B-Base模型，该模型拥有800亿参数仅激活30亿参数。基于 Qwen3-Next-80B-A3B-Base型, 同步开发并发布了Qwen3-Next-80B-A3B-Instruct与Qwen3-Next-80B-A3B-Thinking。解决了混合注意力机制+高稀疏度 MoE 架构在强化学习训练中长期存在的稳定性与效率难题,实现了RL训练效率与最终效果的双重提升。

基于昇腾快速上手Qwen3-Next模型

Qwen3-Next系列模型一经发布，昇腾即支持，欢迎广大开发者体验，以下为手把手教程：

基于SGLang推理上手指导

准备运行环境

配套版本Python3.11.10torch2.6.0torch_npu2.6.0triton_ascend3.2.0

1.1 获取CANN&Sglang安装包&环境准备

· 设备支持：

Atlas 800I/800T A3(8*64G)推理设备：

[Atlas 800I/800T A3(8*64G)]：(https://www.hiascend.com/developer/download/community/result?module=cann)

· 环境准备指导：

https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/83RC1alpha001/softwareinst/instg/instg_0002.html?Mode=PmIns&OS=openEuler&Software=cannToolKit

1.2 CANN安装

# 增加软件包可执行权限，{version}表示软件版本号，{arch}表示CPU架构，{soc}表示昇腾AI处理器的版本。chmod +x ./Ascend-cann-toolkit_{version}_linux-{arch}.runchmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.runchmod +x ./Ascend-cann-nnal_{version}_linux-{arch}.run# 校验软件包安装文件的一致性和完整性./Ascend-cann-toolkit_{version}_linux-{arch}.run --check./Ascend-cann-kernels-{soc}_{version}_linux.run --check./Ascend-cann-nnal{version}_linux-{arch}.run --check# 安装./Ascend-cann-toolkit_{version}_linux-{arch}.run --install./Ascend-cann-kernels-{soc}_{version}_linux.run --install./Ascend-cann-nnal{version}_linux-{arch}.run --torch_atb --install# 设置环境变量source /usr/local/Ascend/ascend-toolkit/set_env.shsource /usr/local/Ascend/nnal/atb/set_env.sh

· 1.3 Sglang安装

[Sglang社区代码]：

git clone https://github.com/sgl-project/sglang.gitcd sglangpip install -e "python[srt_npu]"

· 1.4 triton_ascend安装

注：triton_ascend预计10月30日正式在Ascend社区开源发布

快速安装指南：

· 安装包bisheng下载链接：

https://sglang-ascend.obs.cn-east-3.myhuaweicloud.com:443/sglang/Ascend-BiSheng-toolkit_aarch64.run?AccessKeyId=HPUAXT4YM0U8JNTERLST&Expires=1788772129&Signature=NDiPdW4C7P6Af4sog/irX8pLch0%3D)

· 安装包triton_ascend下载链接：

(https://sglang-ascend.obs.cn-east-3.myhuaweicloud.com:443/sglang/triton_ascend-3.2.0%2Bgitb0ea0850-cp311-cp311-linux_aarch64.whl?AccessKeyId=HPUAXT4YM0U8JNTERLST&Expires=1788772152&Signature=LGDphSSSRjhGtlx/F4oLADafVTI%3D) |

pip install triton_ascend-3.2.0+gitb0ea0850-cp311-cp311-linux_aarch64.whl./Ascend-BiSheng-toolkit_aarch64.run --installsource /usr/local/Ascend/ascend-toolkit/latest/bisheng_toolkit/set_env.sh

· 1.5 torch_npu安装

下载：

pytorch_v{pytorchversion}_py{pythonversion}.tar.gz

tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz# 解压后，会有whl包pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl

下载权重

Qwen3-Next-80B-A3B-Instruct 权重及配置文件说明：

模型权重Qwen3-Next-80B-A3B-InstructGitCode

运行指导

· 1.1 单机混部

cd /home/sglang# cann环境source /usr/local/Ascend/ascend-toolkit/set_env.shsource /usr/local/Ascend/nnal/set_env.sh# 运行命令python -m sglang.launch_server --model-path {权重路径} --host 127.0.0.1 --port 6688 --trust-remote-code --nnodes 1 --node-rank 0 --attention-backend hybrid_linear_attn --device npu --max-running-requests 32 --context-length 8192 --disable-radix-cache --chunked-prefill-size 32768 --max-prefill-tokens 28000 --tp-size 16 --mem-fraction-static 0.5 --disable-cuda-graph

· 1.2 curl测试结果