Gateway LLM
Prism
DisponibileUn unico nome di modello con diversi fornitori alle spalle.
Un gateway compatibile con OpenAI per modelli linguistici di grandi dimensioni. I client usano un unico nome di modello con diversi fornitori dietro. Quando un fornitore esaurisce il budget, applica un limite di frequenza o non è disponibile, Prism passa al successivo a metà richiesta senza interrompere il client. Il riferimento API è stato testato sul gateway live con i binari client stessi e documenta tutto ciò che non funziona.
A chi è destinato. Team che richiamano LLM dai propri strumenti e desiderano una sola chiave e un solo endpoint per ogni fornitore.
- Stato
- Disponibile
- Parte di
- Piattaforma core
- Sito del prodotto
- prism.rodmena.co.uk/llms.txt
- Tag
- Compatibile con OpenAIFailoverAutenticazione Bearer
Cosa fa
-
Un nome di modello
I client indicano un modello e Prism decide quale fornitore lo serve.
-
Failover a metà richiesta
Se un fornitore è fuori budget, soggetto a limiti di frequenza o non disponibile, subentra il successivo senza che il cliente se ne accorga.
-
Compatibile con OpenAI
I client e gli SDK esistenti funzionano senza modifiche, a parte l'URL di base e la chiave.
-
Riferimento API testato
Ogni affermazione nella documentazione di riferimento è stata verificata sul gateway live e le lacune note sono documentate.
La documentazione e i dettagli di accesso sono sul sito del prodotto, prism.rodmena.co.uk/llms.txt. Per un pilot, un'integrazione o domande sull'approvvigionamento, contattateci.