Portkey 的 AI 网关是您的应用程序和托管 LLM 之间的接口。它通过统一的 API 简化了对 OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini 等的 API 请求。

✅ 速度极快(快 9.9 倍),占用空间小(已安装 ~45kb)

✅ 跨多个模型、提供程序和密钥的负载均衡

✅ 回退可确保应用保持复原能力

✅ 默认情况下,具有指数回退的自动重试

✅ 按需插件中间件

✅ 经过超过100B tokens 的战斗测试

支持接入的GPT产品有100+。以下只是一部分AI产品截图:

Portkey AI Gateway

GitHub:https://github.com/Portkey-AI/gateway

官网:https://portkey.ai/features/ai-gateway

Portkey AI Gateway

评一下

已发表评论
登录后可发布评论哦~

    暂无数据