OpenAI开源模型,需要16GB存储

B站影视 韩国电影 2025-08-07 11:11 1

摘要:OpenAI在8月5日宣布两款开源推理模型,包括gpt-oss-120b与gpt-oss-20b,其中gpt-oss-120b可在80GB的GPU执行,而gpt-oss-20b需16GB存储,能在边缘设备顺利执行,并有趋近OpenAI 03-mini的表现。

据闪德资讯获悉,OpenAI在8月5日宣布两款开源推理模型,包括gpt-oss-120b与gpt-oss-20b,其中gpt-oss-120b可在80GB的GPU执行,而gpt-oss-20b需16GB存储,能在边缘设备顺利执行,并有趋近OpenAI 03-mini的表现。

高通宣布Snapdragon旗舰平台能够执行gpt-oss-20b,并强调可通过Ollama轻量级开源LLM框架与Snapdragon平台,开发者与企业可在搭载Snapdragon平台设备端执行包括网页搜索等创新应用。

开发者通过Hugging与Ollama等热门AI平台,搭载高通Snapdragon旗舰平台的设备存取与执行gpt-oss-20b,同时在Qualcomm AI Hub公布更多相关信息。

通过对gpt-oss-20b的Early-Access,以及与Qualcomm AI Engine、Qualcomm AI Hub的整合测试,虽然gpt-oss-20b仅有20B级参数,但依靠专家混合模型架构,展现出色的设备端思维链路推理,也意味着能更进一步实现设备端具有丰富功能的AI助手,并具备隐私与低延迟优势。

gpt-oss-20b是属于专家混合(MoE)技术,降低执行所需参数的Transformer架构模型,gpt-oss-20b实质上为21B参数,并由32种模型整合而来,实际字元启动参数仅使用当中的3.6B参数,但系统仍需要具备可载入21B参数的存储。

目前高通并未列出能够执行gpt-oss-20b的Snapdragon平台,但从OpenAI所公布的要求,显示需要搭配16GB存储的设备才能执行,意味着当前仅有12GB存储的平台可能无法执行。

闪德资讯,一个聚焦关注存储产业供应链和趋势变化的垂直媒体。

来源:随性自由的溪流qJt一点号

相关推荐