LLM 网关
Prism
可用一个模型名称，背后有多家供应商。
一个兼容 OpenAI 的大型语言模型网关。客户端使用一个模型名称，背后有多个供应商。当某个供应商预算耗尽、触发速率限制或宕机时，Prism 会在请求过程中故障转移到下一个供应商，而不会中断客户端。API 参考文档使用客户端二进制文件针对实时网关进行了测试，并记录了任何无法正常工作的内容。
适用对象。 适用于从自有工具调用 LLM、希望为每个供应商使用同一密钥和同一端点的团队。
- 状态
- 可用
- 所属部分
- 核心平台
- 标签
- 兼容 OpenAI故障转移Bearer 认证
功能
-
一个模型名称
客户端指定模型，由 Prism 决定由哪个供应商提供服务。
-
请求中途故障转移
如果某个供应商超出预算、受到速率限制或不可用，下一个供应商会接管，而客户端不会察觉。
-
兼容 OpenAI
现有客户端和 SDK 除基础 URL 和密钥外无需更改即可使用。
-
经过测试的 API 参考
参考中的每条说明都针对实时网关进行了测试，已知的缺口均有记录。
文档和访问详情在产品网站上，prism.rodmena.co.uk/llms.txt。如需试点、集成或采购相关问题，联系我们。