LLM-Gateway
Prism
VerfügbarEin Modellname mit mehreren Anbietern dahinter.
Ein OpenAI-kompatibles Gateway für große Sprachmodelle. Clients verwenden einen Modellnamen, hinter dem mehrere Anbieter stehen. Wenn das Budget eines Anbieters erschöpft ist, der Anbieter ein Ratenlimit verhängt oder ausfällt, wechselt Prism noch während der Anfrage zum nächsten Anbieter, ohne den Client zu unterbrechen. Die API-Referenz wurde mit den Client-Binärdateien selbst gegen das Live-Gateway getestet und dokumentiert alles, was nicht funktioniert.
Für wen es gedacht ist. Teams, die LLMs aus ihren eigenen Tools aufrufen und einen einzigen Schlüssel und einen einzigen Endpunkt für alle Anbieter möchten.
- Status
- Verfügbar
- Teil von
- Kernplattform
- Produktseite
- prism.rodmena.co.uk/llms.txt
- Tags
- OpenAI-kompatibelFailoverBearer-Authentifizierung
Was es leistet
-
Ein Modellname
Clients nennen ein Modell, und Prism entscheidet, welcher Anbieter es bedient.
-
Failover noch während der Anfrage
Wenn das Budget eines Anbieters erschöpft ist, er ein Ratenlimit verhängt oder ausfällt, übernimmt der nächste Anbieter, ohne dass der Client es bemerkt.
-
OpenAI-kompatibel
Bestehende Clients und SDKs funktionieren unverändert, abgesehen von der Basis-URL und dem Schlüssel.
-
Getestete API-Referenz
Jede Aussage in der Referenz wurde gegen das Live-Gateway getestet, und bekannte Lücken sind dokumentiert.
Dokumentation und Zugangsdetails finden Sie auf der Produktseite prism.rodmena.co.uk/llms.txt. Für ein Pilotprojekt, eine Integration oder Fragen zur Beschaffung kontaktieren Sie uns.