שער LLM
Prism
זמיןשם מודל אחד עם כמה ספקים מאחוריו.
שער תואם OpenAI למודלי שפה גדולים. הלקוחות משתמשים בשם מודל אחד שמאחוריו כמה ספקים. כאשר לספק נגמר התקציב, הוא מחיל הגבלת קצב או שהוא קורס, Prism עובר לספק הבא באמצע הבקשה בלי להפריע ללקוח. מדריך ה-API נבדק מול השער החי באמצעות קובצי ההרצה של הלקוחות עצמם, והוא מתעד כל דבר שאינו עובד.
למי זה מיועד. צוותים שפונים למודלי LLM מהכלים שלהם ורוצים מפתח אחד ונקודת קצה אחת לכל הספקים.
- סטטוס
- זמין
- חלק מ
- פלטפורמת ליבה
- אתר המוצר
- prism.rodmena.co.uk/llms.txt
- תגיות
- תואם OpenAIמעבר אוטומטי (failover)אימות Bearer
מה זה עושה
-
שם מודל אחד
לקוחות מציינים מודל ו-Prism מחליט איזה ספק משרת אותו.
-
מעבר כשל באמצע בקשה
אם לספק נגמר התקציב, הוא מוגבל בקצב או שהוא מושבת, הספק הבא נכנס במקומו בלי שהלקוח שם לב.
-
תואם OpenAI
לקוחות ו-SDK קיימים עובדים ללא שינוי, מלבד כתובת הבסיס (base URL) והמפתח.
-
תיעוד API נבדק
כל קביעה במסמך העזר נבדקה מול השער החי, ופערים ידועים מתועדים.
פרטי התיעוד והגישה נמצאים באתר המוצר, prism.rodmena.co.uk/llms.txt. לפיילוט, לאינטגרציה או לשאלות בנושא רכש, צרו קשר.