LLM 网关
Prism
可用一个模型名称，背后有多家供应商。
一款兼容 OpenAI 的大语言模型网关。客户端使用一个模型名称，背后支持多个供应商。当某个供应商预算耗尽、实施速率限制或发生故障时，Prism 会在请求处理过程中无缝故障转移至下一个供应商，而不会中断客户端。API 参考文档通过客户端二进制文件直接针对线上网关进行了测试，记录了所有无法正常工作的情况。
适用对象。 从自己的工具调用 LLM，并希望为其所有供应商使用统一密钥和统一终端节点的团队。
- 状态
- 可用
- 所属部分
- 核心平台
- 标签
- 兼容 OpenAI故障转移Bearer 认证
功能
-
一个模型名称
客户端指定模型，由 Prism 决定由哪个供应商提供服务。
-
请求中途故障转移
如果某个供应商超出预算、受到速率限制或不可用，下一个供应商会接管，而客户端不会察觉。
-
兼容 OpenAI
现有客户端和 SDK 除基础 URL 和密钥外无需更改即可使用。
-
经过测试的 API 参考
我们针对线上网关对参考文档中的语句进行了测试，并记录了我们已知的所有差距。
文档和访问详情在产品网站上，prism.rodmena.co.uk/llms.txt。如需试点、集成或采购相关问题，联系我们。