मॉडल का डम्ब होना क्या है
कभी-कभी सच है, कभी-कभी नहीं। "इस्तेमाल करते-करते डम्ब हो गया" के पीछे चार कारण हो सकते हैं: आधिकारिक सेवा में bug आया; मॉडल अपडेट के बाद व्यवहार बदल गया; रिले स्टेशन ने मॉडल बदल दिया; या यह सिर्फ सामान्य यादृच्छिक उतार-चढ़ाव है। पहले तीनों के सार्वजनिक रूप से दर्ज वास्तविक उदाहरण मौजूद हैं। पहचानने का एक ही तरीका है: तय सवालों से समय-समय पर दोबारा टेस्ट करें, और आँकड़ों से बात करें।
सीखने के बाद आप क्या कर सकेंगे
- "डम्ब होने" के चार आम कारण बताएँ, हर एक का वास्तविक उदाहरण दें
- अपने टेस्ट सेट से समय-समय पर दोबारा टेस्ट करें, और पता लगाएँ कि सच में खराब हुआ है या नहीं
- डम्ब होने की स्थिति में ऐसे सबूत छोड़ें जो कारण पता लगाने में मदद करें
कारण एक: आधिकारिक सेवा में bug आया
2025 की 9वीं महीने की 17 तारीख़ को, Anthropic ने एक incident पोस्टमॉर्टम प्रकाशित किया: 2025 की 8वीं महीने से 9वीं महीने की शुरुआत तक, तीन इंफ्रास्ट्रक्चर bug कभी-कभी Claude के जवाबों की गुणवत्ता घटा रहे थे।
| bug | क्या हुआ | प्रभाव |
|---|---|---|
| कॉन्टेक्स्ट राउटिंग की गलती | कुछ Sonnet 4 रिक्वेस्ट 100 लाख token कॉन्टेक्स्ट के लिए कॉन्फ़िगर किए गए सर्वर पर भेजे गए | शुरुआत में 0.8% रिक्वेस्ट; 8 महीने 31 तारीख़ के सबसे खराब एक घंटे में 16%; लगभग 30% Claude Code उपयोगकर्ताओं का कम से कम एक संदेश प्रभावित हुआ |
| आउटपुट करप्ट होना | सर्वर की गलत कॉन्फ़िगरेशन के कारण कभी-कभी ऐसे अक्षरों को ऊँची संभावना मिली जिन्हें नहीं मिलनी चाहिए थी | अंग्रेज़ी जवाबों में थाई या चीनी अक्षर आने लगे, कोड में स्पष्ट सिंटैक्स त्रुटियाँ दिखीं |
| कंपाइलर त्रुटि | शब्द-चयन सुधारने वाले कोड ने कंपाइलर का छिपा bug ट्रिगर किया | एक ही प्रॉम्प्ट एक बार सही, अगली बार गलत |
कुछ ऐसे विवरण जिन्हें याद रखना लायक है:
- शुरुआत में पहचान नहीं हुई। 8 महीने की शुरुआत से उपयोगकर्ताओं ने जवाबों के खराब होने की शिकायत की, लेकिन आधिकारिक तौर पर कहा गया कि शुरुआत में इन रिपोर्टों को सामान्य फ़ीडबैक उतार-चढ़ाव से अलग करना मुश्किल था, और 8 महीने के अंत तक जब रिपोर्टें बढ़ती गईं तब जाकर जाँच शुरू हुई
- कुछ उपयोगकर्ता लगातार प्रभावित हुए, कुछ बिल्कुल ठीक रहे। राउटिंग "स्टिकी" थी: एक बार गलत सर्वर पर पहुँचने के बाद, उसी बातचीत की आगे की रिक्वेस्ट काफ़ी संभावना से वहीं जाती थीं। इसलिए कुछ उपयोगकर्ताओं को बार-बार समस्या मिली, कुछ को कभी नहीं, और रिपोर्टें एक-दूसरे के विरोध में थीं
- नियमित मूल्यांकन में नहीं पकड़ा गया। आम बेंचमार्क टेस्ट और स्पॉट-चेक इस गिरावट को नहीं पकड़ पाए, जिसका एक कारण यह था कि मॉडल अक्सर छोटी-मोटी गलतियों से खुद ठीक हो जाता था
Anthropic ने लेख में स्पष्ट रूप से कहा: वे कभी भी मांग, समय या सर्वर लोड के कारण मॉडल की गुणवत्ता नहीं घटाते, और इस बार की समस्या पूरी तरह इंफ्रास्ट्रक्चर bug से आई थी।
आपकी परीक्षाआपको लगता है मॉडल कमज़ोर हो गया है, पर सहकर्मी कहते हैं सब ठीक है। ऊपर दिए केस के हिसाब से इसका क्या मतलब है?
- मुझे पता है कि सर्वर-साइड bug शायद केवल कुछ लोगों को प्रभावित करे
कारण दो: मॉडल अपडेट, व्यवहार बदल गया
शोधकर्ताओं Lingjiao Chen, Matei Zaharia और James Zou ने 2023 के 3 महीने और 6 महीने के दो संस्करणों — GPT-3.5 और GPT-4 — की तुलना की (पेपर arXiv 2307.09009):
- GPT-4 की एक संख्या प्राइम है या नहीं यह बताने की सटीकता 84% से घटकर 51% हो गई। इसका एक कारण यह है कि वह "एक कदम-एक कदम सोचो" वाले प्रॉम्प्ट का पालन करने के लिए कम इच्छुक हो गया
- उसी कार्य पर, GPT-3.5 6 महीने में इसके विपरीत काफी बेहतर था
- GPT-4 6 महीने में संवेदनशील सवालों के जवाब देने के लिए कम इच्छुक था, लेकिन मल्टी-हॉप रीज़निंग के सवालों में बेहतर हो गया
- दोनों मॉडलों की कोड लिखते समय फॉर्मेटिंग त्रुटियां बढ़ गईं
- GPT-4 की निर्देशों का पालन करने की क्षमता समय के साथ घटती गई
पेपर का निष्कर्ष है: "एक ही" मॉडल सेवा का व्यवहार काफी कम समय में बड़े पैमाने पर बदल सकता है, इसलिए लगातार निगरानी जरूरी है। ध्यान दें कि यह सब बिगड़ना नहीं है: कुछ कार्य बेहतर हुए, कुछ बदतर। आपको यह देखना है कि आपका अपना कार्य किस तरफ गया।
- मुझे पता है कि मॉडल अपडेट से कुछ कार्य बेहतर और कुछ बदतर हो सकते हैं
कारण तीन: मध्यस्थ (रिले स्टेशन) ने मॉडल बदल दिया
पहले पाठ में बताया गया था कि शोधकर्ताओं ने देखा कि कम कीमत वाले मध्यस्थ "पानी मिलाते" हैं: बताए गए मॉडल की जगह पुराने या सस्ते मॉडल लगा देते हैं। शोधकर्ता Zilan Qian के लेख में लिखा है कि अक्सर यह जटिल कार्यों पर ही पकड़ में आता है, और उपयोगकर्ता इसे "降智" (बुद्धि घटना) कहते हैं।
अगर आप मध्यस्थ API से उपयोग करते हैं, और केवल मध्यस्थ के वहां बुद्धि घटना दिखती है, तो पहले इसी कारण पर शक करें।
कारण चार: बस यादृच्छिक उतार-चढ़ाव
मॉडल का हर जवाब वैसे भी हर बार अलग होता है। आपको अक्सर हाल की कुछ खास बुरी जवाबें ही याद रहती हैं। Anthropic की समीक्षा में भी कहा गया कि शुरुआती रिपोर्ट्स को सामान्य उतार-चढ़ाव से अलग करना मुश्किल था।
पहचान का तरीका कितने अंक का अंतर हो तो सच में गिरावट मानें में बताया गया है: अगर अंतर एरर मार्जिन के भीतर पड़ता है, तो इसे बिगड़ना नहीं कह सकते।
स्व-परीक्षण: क्या सच में बुद्धि घटी है
चरण 1: एक निश्चित दोबारा-परीक्षण प्रश्नसेट तैयार करें
अपनी मूल्यांकन सेट से एक हिस्सा चुनें, और आगे हर बार उसी का उपयोग करें — प्रश्न न बदलें, प्रॉम्प्ट न बदलें, पैरामीटर न बदलें। प्रश्न जितने ज्यादा, छोटे बदलाव उतने ही बेहतर दिखेंगे।
आपको यह मिलना चाहिए: प्रश्नों और सेटिंग्स का एक निश्चित, अपरिवर्तित सेट।
- मेरे पास एक निश्चित दोबारा-परीक्षण प्रश्नसेट है
चरण 2: नियमित रूप से चलाएं, तारीख नोट करें
कुछ समय के अंतराल पर एक बार चलाएं, और तारीख, मॉडल का नाम, कॉल चैनल (आधिकारिक या मध्यस्थ) और स्कोर नोट करें। अगर सेवा प्रदाता तारीख के साथ निश्चित संस्करण संख्या देता है, तो नोट करें कि आप कौन सा उपयोग कर रहे हैं।
आपको यह मिलना चाहिए: एक "तारीख × स्कोर" वाली तालिका।
चरण 3: जब बुद्धि घटती लगे, तुरंत दोबारा परीक्षण करें
- उसी प्रश्नसेट से, उसी चैनल पर एक बार चलाएं, और ऐतिहासिक स्कोर से तुलना करें कि अंतर एरर मार्जिन से बाहर है या नहीं
- फिर आधिकारिक चैनल पर एक बार चलाएं। अगर केवल मध्यस्थ के वहां बिगड़ता है, तो ज्यादातर कारण तीन है
- एक नई बातचीत शुरू करके फिर से कोशिश करें। अगर नई बातचीत ठीक चल रही है लेकिन पुरानी बातचीत लगातार खराब है, तो यह ऊपर बताई गई तरह की "स्टिकी" सर्वर-साइड समस्या हो सकती है
आपकी परीक्षादोबारा टेस्ट में पाया: रिले API पिछले महीने से बहुत कम है, एरर मार्जिन से बाहर; वही सवाल ऑफिशियल चैनल पर पिछले महीने जितना ही है। सबसे संभावित कारण क्या है?
चरण 4: सबूत रखें और सेवा प्रदाता को रिपोर्ट करें
Anthropic ने अपनी पोस्टमॉर्टम में कहा कि उन्हें समस्या की जांच में मदद करने वाली चीज़ उपयोगकर्ताओं की ठोस रिपोर्टें थीं: देखे गए ठोस बदलाव, अप्रत्याशित व्यवहार के उदाहरण, और अलग-अलग उपयोग में दिखने वाले पैटर्न। रिपोर्ट करते समय शामिल करें:
- ठोस प्रॉम्प्ट और जवाब
- जिस तारीख़ और समय पर घटना हुई
- आपके पुनः परीक्षण के स्कोर का पहले-बाद की तुलना
Claude के उपयोगकर्ता Claude Code में /bug कमांड से, या Claude ऐप में "थंब्स डाउन" बटन दबाकर रिपोर्ट कर सकते हैं।
चेकपॉइंट
- बुद्धिमत्ता गिरने के चार कारण: सेवा का bug, मॉडल अपडेट, बीच में मॉडल बदलना, और यादृच्छिक उतार-चढ़ाव
- सेवा का bug सिर्फ़ कुछ अनुरोधों को प्रभावित कर सकता है, इसलिए कुछ लोग इसे झेलते हैं और कुछ नहीं
- मॉडल अपडेट से कुछ काम बेहतर और कुछ खराब हो सकते हैं
- तय प्रश्नों से समय-समय पर पुनः परीक्षण करें और चैनल व बातचीत के हिसाब से अलग-अलग तुलना करें, तभी कहा जा सकता है कि यह सचमुच कमज़ोर हुआ है या नहीं
आम गलतफहमियाँ
"बुद्धिमत्ता गिरना हमेशा वेंडर की जानबूझकर की हुई होती है, व्यस्त समय पर चुपचाप गुणवत्ता घटा देते हैं।" Anthropic ने जिस बुद्धिमत्ता गिरने की सार्वजनिक पोस्टमॉर्टम दी, वह एक bug से आई थी, और उन्होंने साफ़ कहा कि वे कभी भी मांग, समय या लोड के कारण गुणवत्ता नहीं घटाते। पुनः परीक्षण का डेटा न हो तो किसी भी कारण को अपनी भावना से जोड़ना मुश्किल है।
"बुद्धिमत्ता गिरना सब भ्रम है।" ऊपर दिए उदाहरण दिखाते हैं कि बुद्धिमत्ता गिरना सच हो सकता है, और आधिकारिक नियमित मूल्यांकन भी इसे समय पर पकड़ नहीं पाए।
"मैं मॉडल से पूछ लूँगा 'क्या तुम कमज़ोर हो गए?' तो पता चल जाएगा।" मॉडल को नहीं पता होता कि उसके पीछे की सेवा में क्या गड़बड़ हुई है। सिर्फ़ पुनः परीक्षण ही भरोसे का ज़रिया है।
अगला कदम
कोर्स के मुख्य पेज पर वापस जाएँ, अपने एक असली काम से शुरू करें, और एक पूरा चयन करें: लीडरबोर्ड देखकर दायरा छोटा करें, अपने प्रश्नों से नतीजे तुलना करें, पक्का करें कि जो खरीदा है वही मिल रहा है, एक स्थिर सेवा प्रदाता चुनें, और फिर उन्हीं प्रश्नों से समय-समय पर पुनः परीक्षण करें।