Portkey 的 AI 网关是您的应用程序和托管 LLM 之间的接口。它通过统一的 API 简化了对 OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini 等的 API 请求。
✅ 速度极快(快 9.9 倍),占用空间小(已安装 ~45kb)
✅ 跨多个模型、提供程序和密钥的负载均衡
✅ 回退可确保应用保持复原能力
✅ 默认情况下,具有指数回退的自动重试
✅ 按需插件中间件
✅ 经过超过100B tokens 的战斗测试
支持接入的GPT产品有100+。以下只是一部分AI产品截图:
Portkey AI Gateway 设计简洁实用,以轻量级方案统一接入多源大模型,兼顾性能与稳定性;负载均衡、自动重试与回退机制 thoughtful 地提升了生产环境的可靠性,适合追求稳健迭代的开发者。