Skip to content

API असली है या नहीं, इसकी जाँच कैसे करें ​

सामान्य उपयोगकर्ताओं के लिए उपलब्ध तरीके केवल बड़ी अदला-बदली पकड़ सकते हैं; क्वांटाइज़ेशन जैसे सूक्ष्म बदलाव नहीं पकड़ सकते। शोधकर्ताओं का निष्कर्ष है: केवल सॉफ़्टवेयर जाँच पर भरोसा करना सिद्धांततः ही अविश्वसनीय है; सचमुच विश्वसनीय गारंटी हार्डवेयर स्तर के विश्वसनीय निष्पादन वातावरण (TEE) से मिलती है। नीचे सरल से कठोर की ओर, हर तरीके को देखते हैं कि वह किस स्तर तक पहुँच सकता है।

सीखने के बाद आप क्या कर सकेंगे ​

  • पाँच जाँच तरीकों की क्षमता की सीमा जानना
  • अपने मूल्यांकन सेट से एक बार मोटी छँटाई करना
  • जानना कि प्रदाता से कैसी गारंटी माँगनी चाहिए

पाँच तरीके, एक तालिका में ​

निष्कर्ष UC Berkeley के "Are You Getting What You Pay For?" (arXiv 2504.04715) और Stanford के "Model Equality Testing" (arXiv 2410.20247) से लिए गए हैं।

तरीकाकैसे करेंक्या पकड़ सकता हैक्या नहीं पकड़ सकता
पहचान पूछनापूछें "आप कौन सा मॉडल हैं"लगभग कुछ नहीं पकड़ सकतापैरामीटर संख्या, क्वांटाइज़ेशन; स्पेसिफ़िकेशन-प्रकार के प्रश्नों पर सही उत्तर दर 5% से कम
बेंचमार्क चलानाAPI पर सार्वजनिक बेंचमार्क चलाएँ और आधिकारिक स्कोर से तुलना करेंबड़े पैमाने की अदला-बदलीक्वांटाइज़ेशन जैसे छोटे बदलाव (अंतर एक मानक विचलन के भीतर)
ग्रीडी आउटपुट की तुलनातापमान 0 पर सेट करें, और स्थानीय रूप से चल रहे आधिकारिक वेट के साथ शब्द-दर-शब्द तुलना करेंआउटपुट भिन्नयह नहीं बता सकता कि अदला-बदली है या इन्फ़ेरेंस सेटिंग भिन्न है, ग़लत अलार्म की संभावना अधिक
दो-नमूना परीक्षणAPI और संदर्भ मॉडल दोनों से नमूने लें, जाँचें कि वितरण समान हैं या नहींकई प्रकार के बदलाव, माध्य शक्ति (मेडियन पावर) 77.4%संदर्भ मॉडल का आउटपुट प्राप्त करना आवश्यक
विश्वसनीय निष्पादन वातावरणप्रदाता TEE में मॉडल चलाता है और प्रमाण पत्र जारी करता हैक्रिप्टोग्राफ़िक गारंटीप्रदाता के सहयोग की आवश्यकता

तरीका 1: पहचान पूछना ​

सबसे आसान, और सबसे बेकार। पेपर की जाँच का परिणाम: मॉडल आम तौर पर केवल परिवार या डेवलपर का नाम बताते हैं, पैरामीटर संख्या या क्वांटाइज़ेशन स्थिति शायद ही कभी बताते हैं; सीधे स्पेसिफ़िकेशन पूछने पर सफलता दर 5% से कम रही। सिस्टम प्रॉम्प्ट को दूसरी पहचान का रूप देकर बदले जाने पर, अधिकांश मॉडल खुद को नहीं पहचान पाए।

निष्कर्ष: इसका उपयोग न करें।

तरीका 2: बेंचमार्क चलाना, या अपना मूल्यांकन सेट चलाना ​

API पर सार्वजनिक बेंचमार्क चलाएँ और आधिकारिक रूप से प्रकाशित स्कोर से तुलना करें। पेपर का निष्कर्ष: बेंचमार्क जाँच बड़े पैमाने के प्रतिस्थापन को उजागर कर सकती है, जैसे किसी बहुत छोटे मॉडल से बदलना; लेकिन क्वांटाइज़्ड संस्करण और मूल संस्करण के बीच MMLU, GSM8K, MATH, GPQA Diamond पर अंतर आमतौर पर बार-बार चलाने के एक स्टैंडर्ड डेविएशन के भीतर होता है, जिसे प्राकृतिक उतार-चढ़ाव ढक लेता है। तापमान, कैश जैसे कारक भी निर्णय को और कठिन बनाते हैं।

आप तीसरे चरण में बनाई गई मूल्यांकन सेट को सार्वजनिक बेंचमार्क की जगह इस्तेमाल कर सकते हैं: एक ही प्रश्नों को आधिकारिक चैनल और जिस API को आप सत्यापित करना चाहते हैं, दोनों पर चलाएँ, और त्रुटि सीमाओं से जाँचें कि अंतर सचमुच है या नहीं।

निष्कर्ष: आम उपयोगकर्ताओं के लिए मोटी छँटाई के लिए उपयुक्त; "कोई छोटा मॉडल बदल दिया गया" पकड़ सकता है, "क्वांटाइज़्ड संस्करण बदल दिया गया" नहीं पकड़ सकता।

आपकी परीक्षाआपने एक रिले API पर अपना इवैल्यूएशन सेट चलाया, स्कोर ऑफिशियल चैनल से सिर्फ 1 अंक कम था, जो एरर मार्जिन के भीतर है। इससे क्या पता चलता है?

  • मुझे पता है कि बेंचमार्क मेल खाना असली होने की गारंटी नहीं है

विधि तीन: ग्रीडी आउटपुट की तुलना ​

तापमान को 0 पर सेट करें, तो मॉडल हर बार सबसे संभावित अगला शब्द चुनता है, और आउटपुट निश्चित होना चाहिए। API के आउटपुट की तुलना अपने स्थानीय रूप से चलाए गए आधिकारिक वेट के आउटपुट से शब्दशः करें।

समस्या यह है: अलग-अलग प्रदाताओं के बीच अनुमान की अनिश्चितता बिल्कुल एक जैसे मॉडल को भी अलग आउटपुट दिला सकती है, जिससे गलत सकारात्मक होते हैं। इसके अलावा, इस विधि में ज़रूरी है कि आप आधिकारिक वेट स्थानीय रूप से चला सकें, यह केवल ओपन-वेट मॉडलों पर लागू होती है।

निष्कर्ष: आउटपुट का मेल खाना अच्छा संकेत है; मेल न खाने पर सीधे निष्कर्ष नहीं निकाला जा सकता।

विधि चार: दो-नमूना परीक्षण ​

Stanford की विधि समस्या को सांख्यिकीय परीक्षण मानती है: API और संदर्भ मॉडल दोनों से नमूनों का एक बैच लें, और जाँचें कि दोनों एक ही वितरण से हैं या नहीं। उनके इस्तेमाल किए गए MMD-आधारित परीक्षण, एक सरल स्ट्रिंग कर्नेल के साथ, औसतन प्रति प्रॉम्प्ट केवल लगभग 10 नमूने चाहता है, और कई तरह के बदलावों के लिए पहचान क्षमता की माध्यिका 77.4% है।

इस विधि से उन्होंने 2024 की गर्मियों में 4 Llama मॉडल देने वाले कमर्शियल API का ऑडिट किया, और पाया कि 31 एंडपॉइंट में से 11 का आउटपुट वितरण Meta द्वारा जारी संदर्भ वेट से अलग था।

निष्कर्ष: अब तक की सबसे प्रभावी सॉफ़्टवेयर विधि, लेकिन संदर्भ मॉडल के नमूनों की ज़रूरत है; तकनीकी क्षमता वाली टीमों के लिए ओपन-वेट मॉडल का ऑडिट करने हेतु उपयुक्त।

विधि पाँच: ट्रस्टेड एग्ज़ीक्यूशन एनवायरनमेंट (TEE) ​

Berkeley का पेपर मानता है कि पूरी तरह सॉफ़्टवेयर आधारित विधियाँ मूल रूप से अविश्वसनीय हैं: आउटपुट टेक्स्ट पर आधारित सांख्यिकीय परीक्षणों को बड़ी संख्या में क्वेरी चाहिए, और सूक्ष्म प्रतिस्थापन पर वे अप्रभावी हैं; लॉग-प्रोबेबिलिटी आधारित विधियाँ उत्पादन वातावरण में अंतर्निहित अनुमान अनिश्चितता के आगे हार जाती हैं।

वे ट्रस्टेड एग्ज़ीक्यूशन एनवायरनमेंट का समर्थन करते हैं: मॉडल एक हार्डवेयर-पृथक वातावरण में चलता है, और वह वातावरण क्रिप्टोग्राफ़िक प्रमाण जारी कर सकता है कि उसके अंदर कौन से वेट चल रहे हैं। पेपर के अनुसार ऐसा करने का अतिरिक्त ओवरहेड ज़्यादा नहीं है।

निष्कर्ष: एकमात्र विधि जो विश्वसनीय गारंटी दे सकती है, लेकिन प्रदाता के समर्थन की ज़रूरत है। आप यह कर सकते हैं कि प्रदाता से पूछें कि वे ऐसे प्रमाण देते हैं या नहीं।

आम उपयोगकर्ता कहाँ तक कर सकता है ​

  1. अपनी मूल्यांकन सेट इस्तेमाल करें, आधिकारिक चैनल और सत्यापित करने वाले API दोनों पर एक बार चलाएँ
  2. त्रुटि सीमाओं से अंतर जाँचें; अंतर स्पष्ट है, तो बहुत संभावना है कि यह एक ही मॉडल नहीं है
  3. अंतर स्पष्ट नहीं है, तो इसका मतलब केवल इतना है कि कोई बड़ा प्रतिस्थापन नहीं हुआ
  4. गुणवत्ता की उच्च आवश्यकता वाले मामलों में, पहले आधिकारिक चैनल इस्तेमाल करें, या प्रदाता से पूछें कि तैनात संस्करण (मूल या क्वांटाइज़्ड) क्या है और वे प्रमाण दे सकते हैं या नहीं

पेपर का कोड github.com/sunblaze-ucb/llm-api-audit पर सार्वजनिक रूप से उपलब्ध है, तकनीकी क्षमता हो तो संदर्भ के लिए देखें।

"एक ही मॉडल" का निष्कर्ष निकालने से पहले, ये कदम पूरे करें ​

2026 का पेपर "When Is the Same Model Not the Same Service?" (arXiv 2605.02821) अपने परिशिष्ट में एक ऑडिट प्रक्रिया देता है। दो प्रदाताओं के एक ही मॉडल देने का दावा करने से पहले, यह करें:

  1. प्रॉम्प्ट सेट, डिकोडिंग पैरामीटर, स्ट्रीमिंग मोड, टोकनाइज़र, अनुरोध प्रारूप और अनुरोध भेजने का क्षेत्र निश्चित रखें
  2. प्रत्येक एंडपॉइंट से बार-बार नमूने लें; जब आधिकारिक वेट उपलब्ध हों, तो संदर्भ कार्यान्वयन से भी नमूने लें
  3. दो-नमूना परीक्षण (यानी विधि चार) से वितरणों की तुलना करें
  4. अलग-अलग रिपोर्ट करें: विशिष्ट संस्करण मेल खाता है, सेवा प्रदाता द्वारा बताए गए संस्करण से मेल खाता है, या केवल एक ही परिवार से है — ये तीन निष्कर्ष अलग-अलग हैं

चेकपॉइंट ​

  • पहचान पूछना बेकार है, विनिर्देश-प्रकार के प्रश्नों पर सही उत्तर दर 5% से कम है
  • बेंचमार्क केवल बड़े प्रतिस्थापन पकड़ सकते हैं
  • ग्रीडी आउटपुट की तुलना में आसानी से गलत सकारात्मक होते हैं
  • दो-नमूना परीक्षण सबसे प्रभावी है, माध्यिका शक्ति (मेडियन पावर) 77.4%
  • केवल विश्वसनीय निष्पादन वातावरण ही विश्वसनीय गारंटी दे सकता है

आम गलतफहमियाँ ​

"कोई टूल है जो एक क्लिक में पता लगा देता है कि API असली है या नहीं।" शोध का निष्कर्ष है कि शुद्ध सॉफ़्टवेयर विधियों में सिद्धांततः सीमाएँ होती हैं। कोई भी परीक्षण केवल यह कह सकता है कि "कोई समस्या नहीं मिली", यह नहीं कि "गारंटी के साथ कोई समस्या नहीं है"।

"अंक मिल जाने पर चैन हो गए।" क्वांटाइज़्ड संस्करण के बेंचमार्क अंक मूल संस्करण के लगभग समान होते हैं।

अगला भाग ​

असली होने की पुष्टि के बाद, यह भी देखना होगा कि सेवा उपयोग में अच्छी है या नहीं: एक ही मॉडल, अलग-अलग सेवा प्रदाताओं में क्या अंतर है।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.