LLMゲートウェイ
Prism
利用可能1つのモデル名の背後に複数のベンダーが存在します。
大規模言語モデル向けOpenAI互換ゲートウェイです。クライアントは1つのモデル名を使用し、その背後で複数のベンダーを利用できます。あるベンダーが予算を使い果たした場合、レート制限を適用した場合、または停止した場合でも、Prismはクライアントを中断することなくリクエストの途中で次のベンダーにフェイルオーバーします。クライアントバイナリ自体を使用して本番稼働中のゲートウェイに対してテストされたAPIリファレンスには、動作しない事項がすべて記載されています。
対象となるお客様。 自社ツールからLLMを呼び出し、すべてのベンダーに対して単一のキーと単一のエンドポイントを必要とするチーム向け。
- ステータス
- 利用可能
- 所属
- コアプラットフォーム
- タグ
- OpenAI互換フェイルオーバーBearer認証
できること
-
単一のモデル名
クライアントはモデルを指定し、Prismがどのベンダーがそれを提供するかを決定します。
-
リクエスト途中でのフェイルオーバー
ベンダーが予算超過、レート制限、または停止状態の場合、クライアントに気づかれることなく次のベンダーが引き継ぎます。
-
OpenAI互換
既存のクライアントとSDKは、ベースURLとキー以外は変更なしで動作します。
-
テスト済みのAPIリファレンス
当社はリファレンス内のステートメントを本番稼働中のゲートウェイに対してテストし、把握している差異をドキュメント化しました。
ドキュメントとアクセスの詳細は製品サイト、prism.rodmena.co.uk/llms.txtにあります。パイロット、統合、調達に関するご質問は、お問い合わせください。