Pasarela LLM
Prism
DisponibleUn nombre de modelo con varios proveedores detrás.
Una pasarela compatible con OpenAI para modelos de lenguaje grandes. Los clientes utilizan un único nombre de modelo respaldado por varios proveedores. Cuando un proveedor agota el presupuesto, aplica un límite de velocidad o sufre una caída, Prism conmuta por error al siguiente en mitad de la solicitud sin interrumpir al cliente. La referencia de la API, probada contra la pasarela activa con los propios binarios del cliente, documenta cualquier aspecto que no funcione.
Para quién es. Equipos que llaman a LLM desde sus propias herramientas y desean una única clave y un único endpoint para todos sus proveedores.
- Estado
- Disponible
- Forma parte de
- Plataforma principal
- Sitio del producto
- prism.rodmena.co.uk/llms.txt
- Etiquetas
- Compatible con OpenAIConmutación por errorAutenticación Bearer
Qué hace
-
Un nombre de modelo
Los clientes indican un modelo y Prism decide qué proveedor lo sirve.
-
Conmutación por error a mitad de solicitud
Si un proveedor se queda sin presupuesto, alcanza su límite de frecuencia o no está disponible, el siguiente toma el relevo sin que el cliente lo note.
-
Compatible con OpenAI
Los clientes y SDK existentes funcionan sin cambios salvo la URL base y la clave.
-
Referencia de API probada
Hemos probado las afirmaciones de la referencia contra la pasarela activa y hemos documentado las discrepancias que conocemos.
La documentación y los detalles de acceso están en el sitio del producto, prism.rodmena.co.uk/llms.txt. Para un piloto, una integración o preguntas de contratación, contacte con nosotros.