LLMゲートウェイ
Prism
利用可能1つのモデル名の背後に複数のベンダーが存在します。
大規模言語モデル向けのOpenAI互換ゲートウェイです。クライアントは1つのモデル名を使用し、その背後に複数のベンダーが存在します。ベンダーの予算が尽きた場合、レート制限が適用された場合、または停止した場合、Prismはリクエストの途中で次のベンダーにフェイルオーバーし、クライアントを中断させません。APIリファレンスは、クライアントバイナリ自体を使用して稼働中のゲートウェイに対してテストされており、動作しない事項もすべて記載されています。
対象となるお客様。 自社のツールからLLMを呼び出し、すべてのベンダーに対して1つのキーと1つのエンドポイントを求めるチーム。
- ステータス
- 利用可能
- 所属
- コアプラットフォーム
- タグ
- OpenAI互換フェイルオーバーBearer認証
できること
-
単一のモデル名
クライアントはモデルを指定し、Prismがどのベンダーがそれを提供するかを決定します。
-
リクエスト途中でのフェイルオーバー
ベンダーが予算超過、レート制限、または停止状態の場合、クライアントに気づかれることなく次のベンダーが引き継ぎます。
-
OpenAI互換
既存のクライアントとSDKは、ベースURLとキー以外は変更なしで動作します。
-
テスト済みのAPIリファレンス
リファレンスの各記述は稼働中のゲートウェイに対してテストされており、既知の不足点は文書化されています。
ドキュメントとアクセスの詳細は製品サイト、prism.rodmena.co.uk/llms.txtにあります。パイロット、統合、調達に関するご質問は、お問い合わせください。