क्या लीडरबोर्ड पर पहला नंबर होना हमेशा सबसे अच्छा है
** ज़रूरी नहीं।** लीडरबोर्ड पर पहला नंबर इस बात का संकेत है कि यह मॉडल Arena के उपयोगकर्ताओं और Arena के प्रश्नों पर सबसे अधिक बार चुना गया। शोधकर्ताओं ने पाया कि इस परिणाम में कई ऐसे कारक मिश्रित हैं जो "मॉडल समग्र रूप से बेहतर" होने से संबंधित नहीं हैं। लीडरबोर्ड देख सकते हैं, लेकिन छूट के साथ।
सीखने के बाद आप क्या कर सकेंगे
- लीडरबोर्ड के तीन ज्ञात पूर्वाग्रह बता सकें
- जब कोई नया मॉडल अचानक शीर्ष पर पहुँचे, तो जानें कि कौन से प्रश्न पूछने चाहिए
पूर्वाग्रह 1: सर्वश्रेष्ठ प्रदर्शन चुनने की सुविधा
2025 के शोध पत्र "The Leaderboard Illusion" (arXiv 2504.20879) में पाया गया: Arena में अप्रकाशित निजी परीक्षण मौजूद है। कुछ कम विक्रेता सार्वजनिक रिलीज़ से पहले कई वेरिएंट परीक्षण कर सकते हैं, केवल सबसे अच्छे को प्रकाशित करते हैं, और आवश्यकता पड़ने पर स्कोर वापस भी ले सकते हैं।
शोध पत्र में दिया गया अत्यधिक उदाहरण: Llama-4 की रिलीज़ से पहले, Meta ने निजी तौर पर 27 वेरिएंट परीक्षण किए।
यह स्कोर को ऊँचा क्यों दिखाता है? एक उदाहरण: एक ही छात्र 27 बार परीक्षा दे, और केवल सर्वोच्च स्कोर बताए। हर परीक्षा में भाग्य का हिस्सा होता है, सबसे ऊँचा स्कोर अक्सर वास्तविक स्तर से अधिक होता है।
आपकी परीक्षाएक विक्रेता ने निजी तौर पर 10 लगभग एक जैसे वर्शन जमा किए और सिर्फ़ सबसे ऊँचा स्कोर सार्वजनिक किया। सार्वजनिक स्कोर का क्या होगा?
- मैं समझा सकता हूँ कि "सर्वश्रेष्ठ प्रदर्शन चुनना" स्कोर क्यों बढ़ाता है
पूर्वाग्रह 2: कुछ मॉडलों को बहुत अधिक युद्ध डेटा मिलता है
उसी शोध पत्र में गिना गया कि किसके मॉडल अधिक बार युद्ध के लिए चुने गए: बंद-स्रोत मॉडल अधिक अनुपात में चुने गए और कम हटाए गए। अनुमान है कि Google और OpenAI ने क्रमशः कुल युद्ध डेटा का 19.2% और 20.4% प्राप्त किया, जबकि 83 खुले-वज़न (open-weight) मॉडल मिलाकर केवल लगभग 29.7%।
युद्ध डेटा मूल्यवान है: इसमें दर्ज है कि उपयोगकर्ताओं ने क्या पूछा और कैसे उत्तर पसंद किए। अधिक डेटा मिलने पर, इस बोर्ड की "पसंद" को बेहतर समझा जा सकता है।
पूर्वाग्रह 3: इस बोर्ड के लिए विशेष रूप से प्रशिक्षण संभव
शोध पत्र में यह भी पाया गया कि Arena के डेटा से प्रशिक्षण स्कोर स्पष्ट रूप से बढ़ाता है: थोड़ी अतिरिक्त डेटा मात्रा ArenaHard पर सर्वाधिक 112% का सापेक्ष सुधार दे सकती है। लेखकों का निष्कर्ष: इन कारकों से Arena की विशिष्ट वितरण पर अति-अनुकूलन (overfitting) होता है, न कि मॉडल की समग्र गुणवत्ता में सुधार।
यानी मॉडल ने शायद "Arena उपयोगकर्ताओं को प्रसन्न करना" सीखा हो, न कि आपका काम बेहतर करना।
- मैं तीनों पूर्वाग्रहों को बता सकता हूँ
एक और जोड़ें: शैली
पिछले पाठ में बताया गया था कि लंबे और अधिक आकर्षक फ़ॉर्मेट वाले उत्तर अधिक लोगों द्वारा चुने जाते हैं, Arena टीम ने स्वयं इसकी पुष्टि की, इसीलिए उन्होंने स्टाइल कंट्रोल लॉन्च किया। स्टाइल कंट्रोल बंद रैंकिंग में यह अतिरिक्त अंक अब भी मौजूद है।
लीडरबोर्ड देखते समय कैसे छूट दें
| आप देखें | पहले पूछें |
|---|---|
| नया मॉडल अभी-अभी सूची में आकर पहले नंबर पर | कितने वोट? अंतराल कितना चौड़ा? स्टाइल कंट्रोल चालू करने के बाद भी पहला नंबर है? |
| दो मॉडलों के स्कोर करीब | क्या अंतराल ओवरलैप करते हैं? |
| कोई मॉडल बोर्ड पर बहुत ऊँचा, आपको उपयोग में सामान्य लगे | क्या आपका काम Arena के प्रश्नों जैसा है? |
सबसे भरोसेमंद तरीका है अपने ही काम से परीक्षण करना। यह तीसरे चरण की सामग्री है।
चेकपॉइंट
- निजी तौर पर कई वैरिएंट का परीक्षण करके सिर्फ सर्वश्रेष्ठ परिणाम रखना स्कोर को बढ़ा देता है
- मुकाबले का डेटा असमान रूप से बंटा है, बंद-स्रोत बड़ी कंपनियों को ज़्यादा मिलता है
- Arena डेटा से ट्रेनिंग करके Arena स्कोर बढ़ाया जा सकता है, लेकिन इसका मतलब समग्र सुधार नहीं है
आम गलतफहमियाँ
"चूँकि पक्षपात है, इसलिए लीडरबोर्ड बेकार है।" नहीं। यह अब भी बड़े पैमाने पर, असली लोगों की अंधी परीक्षण का परिणाम है, और उम्मीदवारों की सूची छोटी करने के लिए बहुत उपयोगी है। बस नंबर 1 और नंबर 3 के बीच के अंतर को सच न मानें।
"ओपन-सोर्स मॉडल की रैंकिंग कम है तो वे खराब हैं।" ऊपर दिए आँकड़े बताते हैं कि ओपन-वेट मॉडलों को कहीं कम मुकाबले का डेटा मिलता है, शुरुआती बिंदु ही अलग है।
अगला भाग
AI चाहिए जो कोड लिखे और काम चलाए? इसके लिए एक अलग लीडरबोर्ड भी है: काम करने वाला AI चुनें, Agent लीडरबोर्ड को कैसे देखें।