摘要:近期 Gitee AI(模力方舟)对 Serverless API 提供的 DeepSeek R1/V3 版本进行了全面性能优化,大幅提升了 R1/V3 的响应速度和输出速度,马建仓本人试用后体验十分顺畅,有一种绿皮火车换高铁的感受。
近期 Gitee AI(模力方舟)对 Serverless API 提供的 DeepSeek R1/V3 版本进行了全面性能优化,大幅提升了 R1/V3 的响应速度和输出速度,马建仓本人试用后体验十分顺畅,有一种绿皮火车换高铁的感受。
那么优化后到底有多快呢?具体结果如下:
DeepSeek-R1
在18节点环境下,输出 Token/s 提升了近 2.6 倍。首字响应时间减少 22% 。此外,DeepSeek-R1 的 TPOT(推理过程优化时间) 提升了约 61% 。
体验地址: https://ai.gitee.com/serverless-api?model=DeepSeek-R1
DeepSeek-V3
在4节点环境下,输出 Token/s 提升了近 3.4 倍。首字响应时间减少 44% 。
体验地址: https://ai.gitee.com/serverless-api?model=DeepSeek-V3
可以从上方的演示中看到,运行在国产沐曦训推一体 GPU上的 DeepSeek 在线体验速度已经几乎与官方服务无异。
本次性能优化对于普通用户来说,无疑是一次使用体验大升级,而对于开发者来说,这意味着在进行 AI 应用开发时所调用的 DeepSeek 模型能够获得更快的响应速度和更高的并发处理能力,从而提升整体用户体验。
本次性能优化已全面上线模力方舟 Serverless API 的在线体验及 API 调用,开发者可以通过模力方舟提供的 API 快速接入DeepSeek R1/V3进行 AI 应用的开发,享受更流畅、高效的 API 调用体验。
模力方舟将针对 DeepSeek 已上线和即将上线模型的全国产化进行持续适配与优化,提供更加高效、智能、可控的大模型服务,请各位开发者保持关注。
模力方舟的 Serverless API 提供了视频生成、文本生成、视觉模型、图像生成与处理、文档处理/OCR、自动语音识别、语音合成、特征抽取、代码生成、风控识别十大类共 56 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。
来源:码云Gitee