LLM गेटवे
Prism
उपलब्धएक मॉडल नाम, जिसके पीछे कई विक्रेता।
लार्ज लैंग्वेज मॉडल्स के लिए एक OpenAI-कम्पैटिबल गेटवे। क्लाइंट्स एक मॉडल नाम का उपयोग करते हैं जिसके पीछे कई वेंडर्स होते हैं। जब किसी वेंडर का बजट समाप्त हो जाता है, वह रेट लिमिट लागू करता है या डाउन हो जाता है, तो Prism क्लाइंट को बाधित किए बिना अनुरोध के बीच में ही (mid-request) अगले वेंडर पर फ़ेलओवर कर देता है। API संदर्भ, जिसका स्वयं क्लाइंट बाइनरीज़ के साथ लाइव गेटवे पर परीक्षण किया गया है, उन सभी बातों का विवरण देता है जो काम नहीं करती हैं।
यह किसके लिए है। ऐसी टीमें जो अपने टूल्स से LLMs को कॉल करती हैं और अपने सभी वेंडर्स के लिए एक ही ‘की’ (key) और एक ही एंडपॉइंट चाहती हैं।
- स्थिति
- उपलब्ध
- किसका हिस्सा है
- कोर प्लेटफ़ॉर्म
- उत्पाद साइट
- prism.rodmena.co.uk/llms.txt
- टैग
- OpenAI-संगतफ़ेलओवरबियरर ऑथ
यह क्या करता है
-
एक मॉडल नाम
क्लाइंट एक मॉडल बताते हैं और Prism तय करता है कि उसे कौन सा विक्रेता परोसेगा।
-
अनुरोध के बीच फ़ेलओवर
यदि कोई विक्रेता बजट से बाहर हो, दर-सीमित हो या डाउन हो, तो अगला विक्रेता बिना क्लाइंट को पता चले कार्यभार संभाल लेता है।
-
OpenAI-संगत
मौजूदा क्लाइंट और SDK, बेस URL और कुंजी के अतिरिक्त, अपरिवर्तित रूप से काम करते हैं।
-
परीक्षित API संदर्भ
हमने लाइव गेटवे के साथ संदर्भ (रेफ़रेंस) के कथनों का परीक्षण किया और उन कमियों का विवरण दर्ज किया जिनके बारे में हमें जानकारी है।
दस्तावेज़ीकरण और पहुँच विवरण उत्पाद साइट prism.rodmena.co.uk/llms.txt पर हैं। पायलट, एकीकरण या खरीद संबंधी प्रश्नों के लिए, हमसे संपर्क करें।