Gateway LLM
Prism
DisponibileUn unico nome di modello con diversi fornitori alle spalle.
Un gateway compatibile con OpenAI per modelli linguistici di grandi dimensioni. I client utilizzano un unico nome di modello supportato da diversi vendor. Quando un vendor esaurisce il budget, applica un rate limit o è offline, Prism esegue il failover al successivo a metà richiesta, senza interrompere il client. Le informazioni di riferimento per l'API, testate sul gateway attivo con gli stessi file binari del client, documentano tutto ciò che non funziona.
A chi è destinato. Team che invocano LLM dai propri strumenti e desiderano un'unica chiave e un unico endpoint per tutti i loro vendor.
- Stato
- Disponibile
- Parte di
- Piattaforma core
- Sito del prodotto
- prism.rodmena.co.uk/llms.txt
- Tag
- Compatibile con OpenAIFailoverAutenticazione Bearer
Cosa fa
-
Un nome di modello
I client indicano un modello e Prism decide quale fornitore lo serve.
-
Failover a metà richiesta
Se un fornitore è fuori budget, soggetto a limiti di frequenza o non disponibile, subentra il successivo senza che il client se ne accorga.
-
Compatibile con OpenAI
I client e gli SDK esistenti funzionano senza modifiche, a parte l'URL di base e la chiave.
-
Riferimento API testato
Abbiamo testato le indicazioni presenti nelle informazioni di riferimento sul gateway attivo e abbiamo documentato le lacune a noi note.
La documentazione e i dettagli di accesso sono sul sito del prodotto, prism.rodmena.co.uk/llms.txt. Per un progetto pilota, un'integrazione o domande sull'approvvigionamento, ci contatti.