摘要:英伟达今日正式揭晓,其DeepSeek-R1模型已在build.nvidia.com平台上以NVIDIA NIM微服务的预览形式亮相。这一创新服务在NVIDIA HGX H200系统上实现了惊人的性能,每秒可处理高达3,872个tokens,标志着AI处理能力
英伟达今日正式揭晓,其DeepSeek-R1模型已在build.nvidia.com平台上以NVIDIA NIM微服务的预览形式亮相。这一创新服务在NVIDIA HGX H200系统上实现了惊人的性能,每秒可处理高达3,872个tokens,标志着AI处理能力的又一次飞跃。
据悉,开发人员现在即可通过该平台测试和体验全新的应用程序编程接口(API)。这一API预计很快将以可下载的NIM微服务形式推出,成为NVIDIA AI Enterprise软件平台的重要组成部分。通过这一平台,英伟达正不断推动AI技术的边界,为企业和个人开发者提供更多可能性。
DeepSeek-R1 NIM微服务不仅简化了部署流程,还通过支持行业标准API,进一步降低了技术门槛。企业可以在自己的加速计算基础设施上运行NIM微服务,从而确保数据的安全性和隐私性。结合NVIDIA AI Foundry和NVIDIA NeMo软件,企业还能为特定的AI代理定制专属的DeepSeek-R1 NIM微服务,实现更加个性化和高效化的AI应用。
回顾过去,英伟达在2024年3月推出了NIM(Nvidia Inference Microservices)云原生微服务,旨在帮助各种规模的企业更便捷地部署AI服务。NIM微服务经过精心优化,旨在缩短产品上市时间,并简化生成式AI模型在云、数据中心和GPU加速工作站等任何地点的部署过程。通过采用行业标准API,NIM微服务成功地将AI模型开发和生产包装的复杂性抽象化,从而吸引了更多开发者加入这一领域。
英伟达的这一系列举措不仅展示了其在AI技术领域的深厚积累,也彰显了其致力于推动AI技术普及和发展的决心。随着DeepSeek-R1 NIM微服务的推出,我们有理由相信,未来将有更多创新性的AI应用涌现,为人们的生活和工作带来更多便利和可能性。
来源:ITBear科技资讯