摘要:这些模型以NVIDIA NIM™微服务的形式提供,由GeForce RTX™ 50系列GPU加速,该GPU具有高达每秒3352万亿次AI性能和32GB VRAM。RTX 50系列基于NVIDIA Blackwell架构构建,是首批增加对FP4计算支持的消费级G
英伟达宣布在NVIDIA RTX™ AI PC上本地运行基础模型,可增强数字人类、内容创作、生产力和开发能力。
这些模型以NVIDIA NIM™微服务的形式提供,由GeForce RTX™ 50系列GPU加速,该GPU具有高达每秒3352万亿次AI性能和32GB VRAM。RTX 50系列基于NVIDIA Blackwell架构构建,是首批增加对FP4计算支持的消费级GPU,与上一代硬件相比,它将AI推理性能提高了2倍,并使生成式AI模型能够在更小的内存占用空间内本地运行。
GeForce™长期以来一直是AI开发人员的重要平台。首个GPU加速深度学习网络AlexNet于 2012年在GeForce GTX™ 580上进行训练,去年,超30%的已发表AI研究论文引用了对GeForce RTX的使用。
现在,有了生成式AI和RTX AI PC,任何人都可以成为开发者。AnythingLLM、ComfyUI、Langflow 和LM Studio等新一波低代码和无代码工具使爱好者能够通过简单的图形用户界面在复杂的工作流程中使用AI模型。
连接到这些GUI的NIM微服务将使访问和部署最新的生成式AI模型变得轻而易举。基于 NIM微服务构建的NVIDIA AI Blueprints为数字人类、内容创建等提供了易于使用、预配置的参考工作流程。
而为了满足AI开发人员和爱好者日益增长的需求,每家顶级PC制造商和系统制造商都在推出搭载GeForce RTX 50系列GPU的支持NIM RTX AI PC。
英伟达创始人兼首席执行官黄仁勋表示:“人工智能正以光速发展,从感知型人工智能到生成型人工智能,再到现在的代理型人工智能。NIM微服务和人工智能蓝图为PC开发者和爱好者提供了探索人工智能魔力的构建模块。”
英伟达将发布由Black Forest Labs、Meta、Mistral和Stability AI等顶级模型开发商为RTX AI PC 开发的NIM微服务管道。用例涵盖大型语言模型、视觉语言模型、图像生成、语音、用于检索增强生成的嵌入模型、PDF提取和计算机视觉。
Black Forest Labs首席执行官Robin Rombach表示:“具有FP4算力的GeForce RTX 50系列GPU 将解锁大量可在PC上运行的模型,而这些模型以前仅限于大型数据中心。将FLUX打造为 NVIDIA NIM微服务可提高AI的部署速度,并让更多用户体验AI,同时提供令人难以置信的性能。”
来源:93913虚拟现实