摘要：开源AI框架的爆发式增长，为开发者在部署AI模型方面提供了前所未有的灵活性。Portkey是一款开源AI网关，能够为多家AI服务商提供统一API以简化大模型编排，显著减少在应用程序中集成模型的障碍。除了大语言模型（LLM）之外，Portkey还支持视觉、音频（
Portkey AI网关允许应用开发者轻松整合生成式AI模型，在多个模型间无缝切换，并添加条件路由等功能且无需更改现有代码。
开源AI框架的爆发式增长，为开发者在部署AI模型方面提供了前所未有的灵活性。Portkey是一款开源AI网关，能够为多家AI服务商提供统一API以简化大模型编排，显著减少在应用程序中集成模型的障碍。除了大语言模型（LLM）之外，Portkey还支持视觉、音频（文生音频和语音转文本）、图像生成及其他多模态生成式AI模型。
Portkey AI网关属于开源项目及托管服务，旨在简化多模型集成体验。它提供灵活的API，允许开发者在不同服务商的商业模型间轻松切换，包括OpenAI、Anthropic、Azure OpenAI、开源推理服务（如 Hugging Face、Groq和Fireworks AI）以及在Ollama上运行的本地模型。
作为统一的中间件，Portkey可实现：
跨多服务商无缝切换AI模型；高效速率限制与缓存，优化API调用；实现大规模AI驱动应用程序的可扩展性；简化多AI后端的请求管理。Portkey特别适合强调灵活性与成本效益的AI驱动类应用程序，成为其与不同AI模型交互的优选项。
对于从事AI应用程序的开发者来说，多模型的集成和管理一直是个挑战。传统方法往往涉及以下几个痛点：
特定大模型服务商锁定；难以对不同模型的性能进行比较；缺乏内置的负载均衡和故障转移机制；不同服务商间的API不一致。目前的大模型集成环境往往支离破碎且效率低下，导致开发者面临多重挑战：
管理多家服务商的身份验证与API密钥；实现自定义负载均衡逻辑；确保不同模型间的响应格式保持一致；在保持性能的同时优化成本。这些限制尤其影响到开发人员、AI研究人员和构建大模型驱动应用程序的企业。对组织来说，管理多家大模型服务商往往涉及极高的集成复杂性，且缺乏内置优化功能。
Portkey AI网关是一套开源库，可简化Python开发者的大模型集成。它提供一个拥有统一API的强大框架，可实现与多家大模型服务商的无缝交互。
Portkey的核心功能，在于抽象出各大模型服务商间的差异。它允许开发者轻松在模型间切换，或实现负载均衡等高级功能，且无需更改现有应用程序代码。
该网关目前支持多家大模型服务商：
AnthropicAzure OpenAI谷歌GroqOpenAIPortkey AI网关还拥有以下几项独特功能：
a.使用OpenAI的GPT-4执行复杂推理任务；
b.利用Groq的Llama3-70B-8192缩短响应时间；
c.实现回退机制以确保高可用性。
d.根据自定义权重在多家服务商间分配请求；
e.出现错误时，自动故障转移至替代服务商；
f.将请求路由至最具成本效益的服务商以优化成本。
g.为不同大模型服务商提供一致的API；
h.可在测试与比较模型间轻松切换；
i.简化API密钥与身份验证管理。
负载均衡与优化：这套库允许开发者实现复杂的负载均衡策略，例如：简化开发流程：Portkey AI网关通过以下方式简化了开发流程：下面我们通过代码示例具体介绍Portkey的功能。
单服务商基础用法：
from portkey_ai import Portkeyimport osclient = Portkey( provider="openai", Authorization=os.environ["OPENAI_API_KEY"])response = client.chat.completions.create( messages=[{"role": "user", "content": "What's the meaning of life?"}], model="gpt-4o-mini")print(response.choices[0].message.content)多服务商用法：
from portkey_ai import Portkeyimport os# OpenAI clientopenai_client = Portkey( provider="openai", Authorization=os.environ["OPENAI_API_KEY"])response = openai_client.chat.completions.create( messages=[{"role": "user", "content": "What's the meaning of life?"}], model="gpt-4o-mini")print("From OpenAI:")print(response.choices[0].message.content)# Groq clientgroq_client = Portkey( provider="groq", Authorization=os.environ["GROQ_API_KEY"])response = groq_client.chat.completions.create( messages=[{"role": "user", "content": "What's the meaning of life?"}], model="llama3-70b-8192")print("From Groq:")print(response.choices[0].message.content)实现负载均衡：
from portkey_ai import Portkeyimport oslb_config = { "strategy": { "mode": "loadbalance" }, "targets": [{ "provider": 'openai', "api_key": os.environ["OPENAI_API_KEY"], "weight": 0.1 },{ "provider": 'groq', "api_key": os.environ["GROQ_API_KEY"], "weight": 0.9, "override_params": { "model": 'llama3-70b-8192' }, }],}client = Portkey(config=lb_config)response = client.chat.completions.create( messages=[{"role": "user", "content": "What's the meaning of life?"}], model="gpt-4o-mini")print(response.choices[0].message.content)实现条件路由：
from portkey_ai import Portkeyimport osopenai_api_key = os.environ["OPENAI_API_KEY"]groq_api_key = os.environ["GROQ_API_KEY"]pk_config = { "strategy": { "mode": "conditional", "conditions": [ { "query": {"metadata.user_plan": {"$eq": "pro"}}, "then": "openai" }, { "query": {"metadata.user_plan": {"$eq": "basic"}}, "then": "groq" } ], "default": "groq" }, "targets": [ { "name": "openai", "provider": "openai", "api_key": openai_api_key }, { "name": "groq", "provider": "groq", "api_key": groq_api_key, "override_params": { "model": "llama3-70b-8192" } } ]}metadata = { "user_plan": "pro"}client = Portkey(config=pk_config, metadata=metadata)response = client.chat.completions.create( messages=[{"role": "user", "content": "What's the meaning of life?"}])print(response.choices[0].message.content)上述示例使用元数据值user_plan以确定使用哪个模型进行查询。这对通过免费增值计划提供AI功能的SaaS服务商特别适用。
Portkey代表大模型集成的一项重大创新。它解决了管理多家服务商及优级性能等方面的关键挑战。通过提供一个能够与多家服务商无缝交互的开源框架，该项目填补了当前AI开发流程中的重大空白。
该项目依托社区协作实现了蓬勃发展，并欢迎来自世界各地的开发者做出贡献。凭借活跃的GitHub社区与开放讨论空间，Portkey鼓励开发者参与并扩展其功能。Portkey项目的透明开发方法与开源许可，也向个人及企业团队使用敞开了怀抱。
Portkey还提供其AI网关的商业实现，可为企业提供管理大模型集成的强大解决方案。其主要功能包括针对250多家服务商的统一API、负载均衡、条件路由、自动重试与回退、语义缓存及多模态支持等。
Portkey AI网关将易用性、完备的功能与积极的社区支持融为一体，对于希望将多家大模型服务商集成至应用程序中的开发者来说极具价值。它能够以托管服务的形式交付，起价为每月49美元，并提供免费层用于原型设计和测试。通过促进与各服务商的无缝交互，Portkey为更灵活、更强大的AI驱动应用程序奠定了重要基础。
来源：51CTO