LLM गेटवे
Prism
उपलब्धएक मॉडल नाम, जिसके पीछे कई विक्रेता।
बड़े भाषा मॉडलों के लिए एक OpenAI-संगत गेटवे। क्लाइंट एक ही मॉडल नाम का उपयोग करते हैं जिसके पीछे कई विक्रेता होते हैं। जब किसी विक्रेता का बजट समाप्त हो जाता है, वह दर सीमा लागू करता है या बंद हो जाता है, तो Prism क्लाइंट को बाधित किए बिना अनुरोध के बीच में ही अगले विक्रेता पर फ़ेलओवर कर देता है। API संदर्भ का परीक्षण लाइव गेटवे के विरुद्ध स्वयं क्लाइंट बाइनरीज़ से किया गया था, और यह उन सब बातों का दस्तावेज़ीकरण करता है जो काम नहीं करतीं।
यह किसके लिए है। वे टीमें जो अपने स्वयं के टूल से LLM को कॉल करती हैं और प्रत्येक विक्रेता के लिए एक कुंजी और एक एंडपॉइंट चाहती हैं।
- स्थिति
- उपलब्ध
- किसका हिस्सा है
- कोर प्लेटफ़ॉर्म
- उत्पाद साइट
- prism.rodmena.co.uk/llms.txt
- टैग
- OpenAI-संगतफ़ेलओवरबियरर ऑथ
यह क्या करता है
-
एक मॉडल नाम
क्लाइंट एक मॉडल बताते हैं और Prism तय करता है कि उसे कौन सा विक्रेता परोसेगा।
-
अनुरोध के बीच फ़ेलओवर
यदि कोई विक्रेता बजट से बाहर हो, दर-सीमित हो या डाउन हो, तो अगला विक्रेता बिना क्लाइंट को पता चले कार्यभार संभाल लेता है।
-
OpenAI-संगत
मौजूदा क्लाइंट और SDK, बेस URL और कुंजी के अतिरिक्त, अपरिवर्तित रूप से काम करते हैं।
-
परीक्षित API संदर्भ
संदर्भ के प्रत्येक कथन का लाइव गेटवे के विरुद्ध परीक्षण किया गया, और ज्ञात कमियाँ प्रलेखित हैं।
दस्तावेज़ीकरण और पहुँच विवरण उत्पाद साइट prism.rodmena.co.uk/llms.txt पर हैं। पायलट, एकीकरण या खरीद संबंधी प्रश्नों के लिए, हमसे संपर्क करें।