LLM-Gateway
Prism
VerfügbarEin Modellname mit mehreren Anbietern dahinter.
Ein OpenAI-kompatibles Gateway für große Sprachmodelle. Clients verwenden einen einzigen Modellnamen, hinter dem mehrere Anbieter stehen. Wenn das Budget eines Anbieters erschöpft ist, ein Rate-Limit greift oder ein Ausfall auftritt, führt Prism mitten in der Anfrage ein Failover zum nächsten Anbieter durch, ohne den Client zu unterbrechen. Die API-Referenz, die mit den Client-Binärdateien direkt am Live-Gateway getestet wurde, dokumentiert alles, was nicht funktioniert.
Für wen es gedacht ist. Teams, die LLMs über ihre eigenen Tools aufrufen und einen einzigen Schlüssel sowie einen einzigen Endpunkt für all ihre Anbieter nutzen möchten.
- Status
- Verfügbar
- Teil von
- Kernplattform
- Produktseite
- prism.rodmena.co.uk/llms.txt
- Tags
- OpenAI-kompatibelFailoverBearer-Authentifizierung
Was es leistet
-
Ein Modellname
Clients nennen ein Modell, und Prism entscheidet, welcher Anbieter es bedient.
-
Failover noch während der Anfrage
Wenn das Budget eines Anbieters erschöpft ist, er ein Ratenlimit verhängt oder ausfällt, übernimmt der nächste Anbieter, ohne dass der Client es bemerkt.
-
OpenAI-kompatibel
Bestehende Clients und SDKs funktionieren unverändert, abgesehen von der Basis-URL und dem Schlüssel.
-
Getestete API-Referenz
Wir haben die Angaben in der Referenz am Live-Gateway getestet und die uns bekannten Lücken dokumentiert.
Dokumentation und Zugangsdetails finden Sie auf der Produktseite prism.rodmena.co.uk/llms.txt. Für ein Pilotprojekt, eine Integration oder Fragen zur Beschaffung kontaktieren Sie uns.