Skip to content

LMArena लीडरबोर्ड कैसे पढ़ें ​

LMArena का स्कोर कोई परीक्षा का नंबर नहीं है, बल्कि बहुत से लोगों की ब्लाइंड पसंद "कौन-सा जवाब बेहतर है" के बाद निकाली गई सापेक्ष ताकत है। इसलिए लीडरबोर्ड देखते समय तीन चीज़ें देखें: स्कोर, स्कोर की त्रुटि सीमा, और इस बार की रैंकिंग में "लंबे जवाब, चमकदार फॉर्मैट" वाला बोनस घटाया गया है या नहीं।

सीखने के बाद आप क्या कर सकेंगे ​

  • समझा सकें कि Arena का स्कोर कहाँ से आता है
  • दो मॉडलों के स्कोर करीब हों तो बता सकें कि असल में उनमें फर्क पता चलता है या नहीं
  • जानें कि "स्टाइल कंट्रोल" चालू और बंद होने पर रैंकिंग क्यों बदलती है

स्कोर कहाँ से आता है: एक-से-एक ब्लाइंड टेस्ट ​

Arena का पुराना नाम Chatbot Arena था, अब इसे Arena (arena.ai) कहते हैं। इसका तरीका है: आप एक सवाल डालते हैं, दो गुमनाम मॉडल हर एक एक जवाब देते हैं, और आप बेहतर जवाब को वोट देते हैं। वोट देने के बाद ही पता चलता है कि वे कौन थे।

पेपर प्रकाशित होने तक प्लेटफॉर्म पर 240,000 से ज़्यादा वोट जमा हो चुके थे। लेखकों ने जाँचा: क्राउडसोर्स किए गए सवाल काफी विविध हैं, और वोट के नतीजे एक्सपर्ट रेटिंग से बहुत मेल खाते हैं।

"किसने किसे हराया" की ढेर सारी रिकॉर्ड्स होने पर, सांख्यिकीय मॉडल (पेपर में Bradley-Terry मॉडल इस्तेमाल हुआ) से हर मॉडल के लिए एक स्कोर निकाला जाता है। स्कोर का केवल सापेक्ष मतलब है: यह कहता है कि "इस आबादी और इस तरह के सवालों पर यह मॉडल उस मॉडल से ज़्यादा बार चुना जाता है"।

अब Arena में सिर्फ टेक्स्ट लीडरबोर्ड नहीं है, बल्कि WebDev, Vision, Search, Document, टेक्स्ट-से-इमेज, इमेज एडिटिंग, टेक्स्ट-से-वीडियो जैसे कई अरेना भी हैं। अगर आपको कोड लिखने वाला मॉडल चुनना है, तो कुल लीडरबोर्ड की बजाय WebDev देखें; और अगर आपको ऐसा AI चाहिए जो खुद कमांड चलाकर काम पूरा कर सके, तो Agent लीडरबोर्ड देखें।

  • मैं बता सकता हूँ कि Arena का स्कोर कहाँ से आता है

स्कोर के बगल वाली वह सीमा ज़्यादा ज़रूरी है ​

हर स्कोर सीमित वोटों से अनुमानित होता है, इसलिए उसमें त्रुटि होती है। Arena कॉन्फिडेंस इंटरवल देता है; ऑफिशियल डेटासेट में हर मॉडल के लिए rating (स्कोर), rating_lower और rating_upper (इंटरवल की निचली और ऊपरी सीमा), साथ ही vote_count (वोटों की संख्या) होते हैं।

इस तरह आँकलें:

स्थितिकैसे पढ़ें
दो मॉडलों के इंटरवल ओवरलैप नहीं करतेऊँची रैंक वाला सच में ज़्यादा लोकप्रिय होने की संभावना है
दो मॉडलों के इंटरवल बहुत ओवरलैप करते हैंफर्क पता नहीं चलता; रैंकिंग का क्रम शायद सिर्फ किस्मत है
वोट बहुत कम वाला नया मॉडलइंटरवल अक्सर ज़्यादा चौड़ा होता है, रैंकिंग अभी बदलेगी
ड्रैग करके देखेंजितने ज़्यादा वोट, उतनी संकरी रेंजसिर्फ उदाहरण: स्कोर और अंतराल की चौड़ाई डेमो मान हैं
#1मॉडल A
1450 ±10.0
#2मॉडल B
1446 ±10.0

दोनों अंतराल ओवरलैप करते हैं: कौन बेहतर है, कहा नहीं जा सकता

प्रत्येक मॉडल लगभग 1000 वोट। स्कोर में सिर्फ 4 अंक का अंतर है,区间还重叠着,“第 1”和“第 2”可能只是运气。

आपकी परीक्षामॉडल A को 1450 अंक, अंतराल 1440–1460; मॉडल B को 1446 अंक, अंतराल 1436–1456। कौन बेहतर है?

  • मैं पहले इंटरवल देखूँगा, फिर रैंकिंग

स्टाइल कंट्रोल: "सुंदर कहना" और "सही कहना" को अलग करना ​

लोग वोट देते समय जवाब के रूप से प्रभावित होते हैं: ज़्यादा लंबे, हेडिंग और लिस्ट वाले जवाब ज़्यादा चुने जाते हैं। Arena टीम ने 2024 के 8 महीने 28 तारीख के ब्लॉग में इस बात का खास अध्ययन किया: जवाब की लंबाई और Markdown फॉर्मैट के प्रभाव को नियंत्रित करने पर रैंकिंग में साफ बदलाव आया। उनके शब्दों में: "Style indeed has a strong effect on models’ performance in the leaderboard" (स्टाइल सच में लीडरबोर्ड पर मॉडल की परफॉर्मेंस पर बड़ा असर डालता है)।

स्टाइल कंट्रोल का उद्देश्य शैली और सामग्री के प्रभाव को अलग करना है। इसे चालू करने पर आप जो देखते हैं वह "सामग्री अपने आप में अच्छी है या नहीं" के ज़्यादा करीब होता है; बंद करने पर आप देखते हैं कि "आम उपयोगकर्ता वास्तव में किसे ज़्यादा पसंद करते हैं"। दोनों उपयोगी हैं, यह इस पर निर्भर करता है कि आपको क्या चाहिए:

  • आप उपयोगकर्ताओं को जवाब सीधे दिखाना चाहते हैं, जैसे कस्टमर सपोर्ट, राइटिंग असिस्टेंट: दोनों बोर्ड देखें, स्टाइल कंट्रोल बंद करने वाला वास्तविक अनुभव के ज़्यादा करीब है
  • आप चाहते हैं कि मॉडल सटीक सामग्री दे, फिर आप खुद फ़ॉर्मैट करें: स्टाइल कंट्रोल के बाद की रैंकिंग को प्राथमिकता दें

आपकी परीक्षाआप एक इंटरनल टूल बना रहे हैं, मॉडल का आउटपुट प्रोग्राम द्वारा टेबल में पार्स होगा, फॉर्मेट मायने नहीं रखता। किस रैंकिंग पर ज़्यादा भरोसा करें?

  • मुझे पता है कि मुझे कौन सी रैंकिंग देखनी चाहिए

चेकपॉइंट ​

  • Arena स्कोर गुमनाम एक-से-एक तुलनाओं के वोटों से आते हैं, जिन्हें फिर सांख्यिकीय मॉडल से बदला जाता है
  • पहले देखें कि कॉन्फ़िडेंस इंटरवल ओवरलैप होते हैं या नहीं, फिर रैंकिंग का क्रम देखें
  • किसी स्पेशलाइज़्ड मॉडल का चुनाव करना हो तो उसके हिसाब का Arena देखें
  • स्टाइल कंट्रोल रैंकिंग बदल देता है, अपने उपयोग के अनुसार चुनें

आम गलतफ़हमियाँ ​

"स्कोर 10 ज़्यादा है तो 10% ज़्यादा मज़बूत है।" स्कोर सापेक्ष मज़बूती का पैमाना है, प्रतिशत नहीं, और इसे सीधे "आपके काम पर कितना बेहतर" में बदला नहीं जा सकता।

"रैंक 1 और रैंक 2 में बहुत बड़ा फ़र्क़ है।" जब इंटरवल ओवरलैप होते हैं, तो रैंक 1 और रैंक 2 में शायद कोई फ़र्क़ ही न हो। रैंकिंग लगातार स्कोर को ज़बरदस्ती पूर्णांकों में काटती है, जिससे छोटे अंतर बड़े दिखते हैं।

"कुल बोर्ड पर पहला, तो कोड लिखने में भी सबसे अच्छा।" कुल बोर्ड में तरह-तरह के सवाल मिले होते हैं। आपके काम से जुड़ा Arena या श्रेणी देखें।

अगला भाग ​

बोर्ड के शीर्ष पर अक्सर बदलाव होता रहता है। कितनी जल्दी बदलता है? अगले भाग में आधिकारिक ऐतिहासिक डेटा से इसकी गणना की गई है: पहले नंबर वाला कितने समय तक टिकता है।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.