एक ही मॉडल, अलग-अलग प्रदाताओं में क्या फर्क है
नाम एक ही है, सेवा अलग है। एक ही ओपन-सोर्स मॉडल कई सेवा प्रदाता दे सकते हैं। पिछले पाठ में जाँची गई बात थी "क्या यही मॉडल है"; इस पाठ में जाँची जाने वाली बात है "इस सेवा प्रदाता की सेवा कितनी अच्छी है": पहला शब्द कितनी जल्दी आता है, प्रति सेकंड कितने शब्द निकलते हैं, कितनी लंबी इनपुट डाली जा सकती है, टूल कॉलिंग और JSON सीधे उपयोग किए जा सकते हैं या नहीं, और बार-बार टाइमआउट तो नहीं होता।
सीखने के बाद आप क्या कर सकेंगे
- बता सकें कि "एक ही मॉडल" अलग-अलग प्रदाताओं के बीच किन-किन बातों में अलग होता है
- एक चेकलिस्ट की मदद से, उम्मीदवार प्रदाताओं का एक मूल्यांकन कर सकें
- मॉडल के नाम के बजाय अपने कार्य के आधार पर प्रदाता चुन सकें
रिसर्च क्या कहती है: मॉडल का नाम काफी नहीं है
2026 के पेपर "When Is the Same Model Not the Same Service?" (arXiv 2605.02821) ने 2025 की चौथी तिमाही में होस्ट किए गए ओपन-सोर्स मॉडल API के वास्तविक उपयोग को मापा। इसका मुख्य दावा है: प्रोडक्शन वातावरण में वास्तव में उपयोग होने वाली इकाई "मॉडल" नहीं, बल्कि सेवा है, जो इन चीज़ों से मिलकर तय होती है:
| घटक | अर्थ |
|---|---|
| मॉडल संस्करण | ठीक कौन-सा वर्ज़न |
| प्रोटोकॉल व्यवहार | कौन-से इंटरफ़ेस फ़ॉर्मैट समर्थित हैं, जैसे OpenAI संगत, Anthropic संगत |
| संदर्भ क्षमता | वास्तव में कितनी लंबी इनपुट और आउटपुट ले सकता है |
| सूची मूल्य | प्रति मिलियन token कितने पैसे |
| विलंबता और थ्रूपुट | पहला शब्द कितनी देर में आता है (TTFT), प्रति सेकंड कितने token (TPS) |
| विश्वसनीयता | क्या टाइमआउट होता है, त्रुटि के बाद रिकवरी हो पाती है या नहीं |
| कार्य व्यवहार्यता | आपका कार्य इस प्रदाता पर चल पाता है या नहीं |
और ये सब समय के साथ बदलते रहते हैं।
पेपर के तीन निष्कर्ष:
- सूची मूल्य अपेक्षाकृत समान हैं, बाकी में ज़्यादा फर्क है। सभी प्रदाताओं के सूची मूल्य काफी करीब हैं; विलंबता, थ्रूपुट, संदर्भ लंबाई, प्रोटोकॉल समर्थन और त्रुटि होने के तरीकों में ज़्यादा अंतर है
- जितने ज़्यादा लिस्टेड, उतना ज़्यादा उपयोग नहीं। एक मॉडल कई प्रदाताओं के पास उपलब्ध होता है, लेकिन वास्तविक उपयोग कुछ ही प्रदाताओं पर केंद्रित होता है
- कार्य ही चुनाव तय करता है। अलग-अलग ऐप्लिकेशन की इनपुट-आउटपुट लंबाई में बड़ा अंतर होता है, इसलिए प्रदाता चुनते समय देखें "कौन-सा मॉडल, कौन-सा प्रदाता, कौन-सा कार्य, कौन-सा समय" — मॉडल के नाम से टेबल देखकर नहीं
पेपर में दो उदाहरण भी गिने गए हैं: व्यवहार्यता (feasibility) बाधाओं को पूरा करने की शर्त पर, अनुरोधों को उपयुक्त सेवा प्रदाताओं को आवंटित करके Qwen3-32B की लागत 37.8% कम हुई; DeepSeek-V3.2 का औसत थ्रूपुट आधिकारिक सीधे कनेक्शन की तुलना में लगभग 90% अधिक रहा।
आपकी परीक्षादो सेवा प्रदाताओं का DeepSeek मूल्य एक ही है। क्या कह सकते हैं कि आपके लिए दोनों एक जैसे हैं?
- मुझे पता है कि सेवा प्रदाताओं के बीच मुख्य रूप से किन कुछ मदों में अंतर होता है
चरण 1: पहले कठोर शर्तों पर छानें
कुछ शर्तें पूरी न हों तो सीधे बाहर कर दें, अंक तुलना की ज़रूरत नहीं। पेपर की सलाह है: जब ऐप्लिकेशन को सख़्त आउटपुट फ़ॉर्मैट या टूल-कॉल संगतता की ज़रूरत हो, तो इन्हें जोड़-घटाने वाली मद नहीं बल्कि अनिवार्य रूप से पूरी करनी होने वाली शर्तें मानें।
अपने कार्य से मिलाकर एक-एक मद देखें:
- आपके कोड में इस्तेमाल होने वाले इंटरफ़ेस फ़ॉर्मैट (OpenAI Chat Completions, Anthropic Messages या OpenAI Responses) का समर्थन करता है
- संदर्भ (context) लंबाई, अधिकतम इनपुट लंबाई, अधिकतम आउटपुट लंबाई आपके सबसे लंबे अनुरोध के लिए पर्याप्त है
- जब कैश की ज़रूरत हो, तो कैश का समर्थन करता है
आपके पास यह होना चाहिए: बचे हुए उम्मीदवार सेवा प्रदाताओं की एक सूची।
चरण 2: पाँच आयामों पर परखें
कुछ मूल्यांकन प्लेटफ़ॉर्म सेवा प्रदाताओं की क्षमता को पाँच आयामों में बाँटते हैं। आप इस ढाँचे का उपयोग करके अपने अनुरोधों से परख सकते हैं:
| आयाम | क्या परखें | कैसे परखें |
|---|---|---|
| उत्तर प्रदर्शन | आवश्यकतानुसार उत्तर, तर्क प्रश्न, विशेषज्ञ प्रश्न, चित्र-पाठ प्रश्न | अपने मूल्यांकन सेट से, सही उत्तर दर दर्ज करें |
| प्रतिक्रिया दक्षता | पहली प्रतिक्रिया, मुख्य सामग्री की प्रतीक्षा, जनरेशन दर, कार्य का कुल समय | स्ट्रीमिंग अनुरोध, पहले token का समय और प्रति सेकंड token संख्या दर्ज करें |
| टूल सहयोग | सही टूल चुनना, एकाधिक टूल कॉल, टूल का ग़लत इस्तेमाल न करना, टूल परिणाम मिलने के बाद आगे बढ़ना | टूल परिभाषाओं वाले कुछ अनुरोध तैयार करें, देखें कि कॉल सही है या नहीं |
| फ़ॉर्मैट संगतता | निर्दिष्ट JSON का पालन करना, सामान्य पैरामीटर पहली बार में काम करना, जटिल पैरामीटर काम कर सकना | अपने कोड के वास्तविक अनुरोध पैरामीटर से एक बार भेजें |
| कैश पुनः उपयोग | दोहराए गए अनुरोध कैश में लगते हैं या नहीं, बहु-चरण संवाद का इनपुट पुनः उपयोग अनुपात | एक ही लंबे प्रीफ़िक्स कई बार भेजें, बिल में कैश token देखें |
परखते समय अपने अनुरोध ही इस्तेमाल करें: वही प्रॉम्प्ट, वही पैरामीटर, वही स्ट्रीमिंग सेटिंग, उसी क्षेत्र से भेजें।
आपकी परीक्षाआपका ऐप कस्टमर सपोर्ट बॉट है, यूज़र जितनी देर इंतज़ार करें, उतना जल्दी चला जाता है। पाँच आयामों में सबसे पहले कौन-सा देखें?
- मैंने अपने अनुरोधों से हर उम्मीदवार सेवा प्रदाता को परखा है
चरण 3: सिर्फ़ एक बार नहीं परखें
पेपर मापन के समय को सेवा का हिस्सा मानता है: विलंबता, थ्रूपुट और विश्वसनीयता समय के साथ बदलते रहते हैं। सिर्फ़ एक बार परखने पर आप उसी पल को देखते हैं।
- अपने वास्तविक इस्तेमाल के समय में परखें
- कम से कम कई दिनों और कई समय-खंडों में एक-एक बार परखें
- टाइमआउट और त्रुटियों की संख्या भी दर्ज करें, सिर्फ़ औसत गति नहीं
मूल्यांकन प्लेटफ़ॉर्म की रिपोर्ट में भी आम तौर पर यह नोट होता है: केवल सबसे हाल की मान्य सैंपलिंग दिखाई जाती है, अंक आउटपुट लंबाई, थिंकिंग चालू-बंद आदि से प्रभावित होते हैं, अतः केवल संदर्भ के लिए। आप स्वयं परखते समय भी ये सेटिंग दर्ज करें।
चरण 4: जोखिम को भी गिनें
पेपर "एक सेवा प्रदाता का उपयोग करने के जोखिम" को कई श्रेणियों में बाँटता है, जिसे सीधे जाँच-सूची की तरह इस्तेमाल किया जा सकता है:
| जोखिम | आपको क्या मिलेगा |
|---|---|
| टाइमआउट | अनुरोध अटक जाता है, दोबारा कोशिश करनी पड़ती है |
| फ़ॉर्मेट त्रुटि | JSON या टूल कॉल का पार्सिंग विफल |
| संदर्भ कटौती | लंबा इनपुट कट जाता है, जवाब में जानकारी छूट जाती है |
| बिलिंग | वास्तविक कटौती अपेक्षा से अलग |
| पहचान या गुणवत्ता में बदलाव | पीछे का मॉडल बदल गया, देखें पिछला पाठ |
पेपर यह भी याद दिलाता है: पूरी तुलना में सिर्फ़ लागत और गति नहीं देखें, बल्कि रीट्राई की लागत, विफलता दर, कटौती दर, टूल कॉल और JSON फ़ॉर्मेट अनुपालन दर, और कार्य की गुणवत्ता भी देखें।
चेकपॉइंट
- एक ही मॉडल अलग-अलग सेवा प्रदाताओं के यहाँ अलग-अलग सेवा होता है
- कीमतें करीब-करीब बराबर होती हैं, अंतर है विलंबता, थ्रूपुट, संदर्भ, प्रोटोकॉल और त्रुटि के तरीके में
- पहले कठोर शर्तों से छानें, फिर पाँच आयामों पर परखें, अलग-अलग समय पर कई बार परखें
- जोखिम की सूची: टाइमआउट, फ़ॉर्मेट त्रुटि, कटौती, बिलिंग, गुणवत्ता में बदलाव
आम गलतफ़हमियाँ
"सबसे सस्ती कंपनी चुन लेना काफ़ी है।" कीमतें अक्सर कंपनियों में करीब-करीब बराबर होती हैं। विफलता पर रीट्राई, कटौती और फ़ॉर्मेट त्रुटियों से आने वाली लागत, यूनिट कीमत के अंतर से बड़ी हो सकती है।
"एक बार परखने पर जो सबसे तेज़ हो, वही सबसे तेज़ है।" गति समय के साथ बदलती है। सिर्फ़ एक बार परखने पर शायद वही समय मिले जब वह कंपनी अक्सर खाली हो।
अगला भाग
इस्तेमाल करते-करते लगे कि मॉडल "मूर्ख हो गया" — क्या यह सच है? मॉडल की बुद्धिमत्ता घटना क्या है।