שער LLM
Prism
זמיןשם מודל אחד עם כמה ספקים מאחוריו.
שער (gateway) תואם OpenAI עבור מודלי שפה גדולים (LLMs). לקוחות משתמשים בשם מודל יחיד שמאחוריו עומדים מספר ספקים. כאשר ספק מנצל את מלוא התקציב, מחיל rate גבול האחריות או קורס, Prism מבצע failover לספק הבא באמצע הבקשה מבלי להפריע ללקוח. ה-API reference, שנבדק מול ה-gateway הפעיל באמצעות קובצי ה-binary של הלקוח עצמם, מתעד כל דבר שאינו פועל.
למי זה מיועד. צוותים שקוראים ל-LLMs מתוך הכלים שלהם ומעוניינים במפתח אחד ובנקודת קצה (endpoint) אחת עבור כל הספקים שלהם.
- סטטוס
- זמין
- חלק מ
- פלטפורמת ליבה
- אתר המוצר
- prism.rodmena.co.uk/llms.txt
- תגיות
- תואם OpenAIמעבר אוטומטי (failover)אימות Bearer
מה זה עושה
-
שם מודל אחד
לקוחות מציינים מודל ו-Prism מחליט איזה ספק משרת אותו.
-
מעבר כשל באמצע בקשה
אם לספק נגמר התקציב, הוא מוגבל בקצב או שהוא מושבת, הספק הבא נכנס במקומו בלי שהלקוח שם לב.
-
תואם OpenAI
לקוחות ו-SDK קיימים עובדים ללא שינוי, מלבד כתובת הבסיס (base URL) והמפתח.
-
תיעוד API נבדק
בדקנו את רשומת statement שבמדריך מול ה-gateway הפעיל ותיעדנו את הפערים הידועים לנו.
פרטי התיעוד והגישה נמצאים באתר המוצר, prism.rodmena.co.uk/llms.txt. לפיילוט, לאינטגרציה או לשאלות בנושא רכש, צרו קשר.