आम बेंचमार्क क्या मापते हैं
बेंचमार्क एक निश्चित परीक्षा प्रश्नों का सेट है। मॉडल रिलीज़ के समय सूचीबद्ध MMLU-Pro, GPQA, SWE-bench, HLE — इनमें से हर एक के प्रश्न बनाने का तरीका पूरी तरह अलग है। जब आप समझ जाते हैं कि ये क्या मापते हैं, तो आपको पता चल जाता है कि कौन-सा स्कोर आपसे संबंधित है और कौन-सा छोड़ा जा सकता है।
सीखने के बाद आप क्या कर सकेंगे
- चार आम बेंचमार्क क्या मापते हैं, यह बता सकें
- अपने काम के आधार पर, देखने लायक स्कोर चुन सकें
चार बेंचमार्क एक टेबल में
| बेंचमार्क | क्या मापता है | प्रश्न | विशेषताएँ |
|---|---|---|---|
| MMLU-Pro | मल्टी-डिसिप्लिनरी ज्ञान और रीज़निंग | मल्टी-टास्क बहुविकल्पीय प्रश्न | वॉटरलू विश्वविद्यालय द्वारा प्रस्तावित, मूल MMLU से कठिन और अधिक मज़बूत |
| GPQA | जीव विज्ञान, भौतिकी, रसायन विज्ञान के कठिन प्रश्न | 448 बहुविकल्पीय प्रश्न, क्षेत्र के विशेषज्ञों द्वारा लिखे गए | इंटरनेट पर खोजने से भी जवाब नहीं मिलता |
| SWE-bench | असली कोड रिपॉज़िटरी के issue ठीक करना | 2,294 प्रश्न, 12 लोकप्रिय Python रिपॉज़िटरी से | कोड बदलना पड़ता है, टेस्ट चलाकर सही-गलत तय होता है |
| HLE | मानव ज्ञान की अग्रसीमा की मुश्किल समस्याएँ | 2,500 प्रश्न, दर्जनों विषय, चित्र वाले प्रश्न शामिल | जवाब स्पष्ट हैं, लेकिन खोजने से नहीं मिलते |
MMLU-Pro: ज्ञान और रीज़निंग
MMLU कभी सबसे आम ज्ञान बेंचमार्क था, लेकिन लोकप्रिय मॉडल इस पर पहले ही 90% से अधिक सही उत्तर दे चुके हैं, इसलिए उच्च-निम्न का पता नहीं चलता। MMLU-Pro वॉटरलू विश्वविद्यालय द्वारा प्रस्तावित अधिक कठिन, अधिक मज़बूत संस्करण है (arXiv 2406.01574)।
पेपर में मॉडल के गलत जवाब देने के कारणों का विश्लेषण किया गया: रीज़निंग की गलती 39%, विशिष्ट ज्ञान की कमी 35%, गणना की गलती 12%। इसलिए यह केवल रटना नहीं है, रीज़निंग का हिस्सा बहुत बड़ा है।
किसके लिए उपयोगी: आपका काम सामान्य प्रश्नोत्तर या ज्ञान-आधारित सहायक है।
GPQA: विज्ञान के प्रश्न जो इंटरनेट पर खोजने से भी नहीं मिलते
GPQA में 448 जीव विज्ञान, भौतिकी, रसायन विज्ञान के बहुविकल्पीय प्रश्न हैं, सभी क्षेत्र के विशेषज्ञों द्वारा लिखे गए। कितने कठिन हैं:
- संबंधित क्षेत्र के पीएचडी धारक (शोधरत शामिल) की सही उत्तर दर 65%, उनके बाद में मानी गई स्पष्ट गलतियों को हटाने के बाद 74%
- अन्य क्षेत्रों के शीर्ष स्तर के लोग, जो औसतन प्रति प्रश्न 30 मिनट से अधिक खर्च करते हैं और इंटरनेट पर खुलकर खोज करते हैं, उन्होंने भी केवल 34% अंक हासिल किए
- पेपर प्रकाशित होने के समय सबसे मजबूत GPT-4 बेसलाइन 39% थी
लेखक ऐसे प्रश्नों को "Google-proof" कहते हैं: खोज से मदद नहीं मिलती।
किसके लिए उपयोगी: आपके काम में पेशेवर विज्ञान की तर्कशक्ति (reasoning) की ज़रूरत है।
आपकी परीक्षाGPQA में गैर-विशेषज्ञ इंटरनेट का भरपूर इस्तेमाल कर सकते हैं, फिर भी सटीकता सिर्फ़ 34% है। इसका क्या मतलब है?
SWE-bench: असली bug ठीक करना
SWE-bench में 2,294 सॉफ़्टवेयर इंजीनियरिंग समस्याएँ हैं, जो 12 लोकप्रिय Python रिपॉज़िटरी के असली GitHub issue और उनसे जुड़े फ़िक्स PR से ली गई हैं। मॉडल को कोडबेस पढ़नी होती है, कोड बदलना होता है, ताकि issue हल हो जाए। पेपर ICLR 2024 में प्रकाशित हुआ था, तब सबसे अच्छे Claude 2 ने केवल 1.96% समस्याएँ हल कीं।
यह पहले दो से सबसे बड़े तरीके से अलग है: यह बहुविकल्पीय प्रश्न नहीं हैं, बल्कि असली काम है। सही-गलत का फ़ैसला रिपॉज़िटरी के अपने टेस्ट चलाकर होता है।
रिलीज़ टेबल पर SWE-bench Verified, OpenAI अब रिपोर्ट नहीं करता
मॉडल रिलीज़ टेबल में आप अधिक बार SWE-bench Verified देखेंगे: OpenAI और SWE-bench टीम ने मिलकर मूल संस्करण से साफ करके 500 सवालों का सबसेट निकाला था। यह कभी प्रोग्रामिंग क्षमता मापने का "उत्तरी तारा" था, लेकिन फ्रंटियर मॉडल इस पर आमतौर पर 80% के आसपास रिपोर्ट करने लगे, और उसके बाद यह लगभग नहीं हिला।
2026-02-23, Verified बनाने में शामिल OpenAI शोधकर्ता Mia Glaese और Olivia Watkins ने Latent Space के साक्षात्कार में घोषणा की कि OpenAI अब SWE-bench Verified की रिपोर्ट नहीं करेगा, बल्कि SWE-bench Pro को बढ़ावा देगा। इसके दो कारण हैं:
- बचे हुए सवालों में से कई असल में हल नहीं हो सकते। OpenAI ने और अधिक इंजीनियरों से 138 समस्याग्रस्त सवालों की दोबारा जांच कराई, और पाया कि 60% से अधिक हल नहीं हो सकते: 49 के टेस्ट बहुत संकरे थे, सही सुधार भी गलत माना जाता था; 26 के टेस्ट बहुत चौड़े थे, जो ऐसी सुविधाएं मांगते थे जिनका सवाल में जिक्र ही नहीं था।
- सवाल रट लिए गए थे। सवाल ओपन-सोर्स रिपॉज़िटरी से आए थे, और ये रिपॉज़िटरी पहले से ही अक्सर मॉडल ट्रेनिंग में इस्तेमाल होती थीं। OpenAI ने पाया कि हर फ्रंटियर मॉडल सवाल का नंबर पाते ही मूल फिक्स पैच को जस-का-तस लिख देता है।
इसलिए, Verified पर एक-दो अंक का फर्क अब यह नहीं बताता कि कौन ज़्यादा अच्छा कोड लिखता है। swebench.com के होमपेज पर अब भी डिफ़ॉल्ट रूप से Verified लीडरबोर्ड दिखता है, इसे देखते समय यह संदर्भ जान लें।
किसके लिए उपयोगी: आप मॉडल से कोड लिखवाना, बग ठीक करवाना या प्रोग्रामिंग असिस्टेंट बनवाना चाहते हैं। वेंडर की रिलीज़ टेबल देखते समय पहले साफ देखें कि लिखा है मूल संस्करण, Verified या Pro, और इवैल्यूएशन सेटअप एक जैसा है या नहीं।
HLE: सबसे मजबूत मॉडलों के लिए बनाए गए प्रश्न
Humanity's Last Exam (HLE) में 2,500 प्रश्न हैं, जो दर्जनों विषयों को कवर करते हैं; इसमें बहुविकल्पीय और लघु-उत्तर प्रश्न दोनों हैं, और चित्र वाले प्रश्न भी शामिल हैं। हर प्रश्न का उत्तर स्पष्ट है, लेकिन तेज़ खोज से नहीं मिल सकता।
ये प्रश्न बनाने का कारण: लोकप्रिय बेंचमार्क पर मॉडल पहले ही 90% से आगे निकल चुके हैं, इसलिए अंतर मापा नहीं जा पाता। HLE पर नवीनतम मॉडलों की सटीकता और कैलिब्रेशन (यह जानना कि वे अपने उत्तर पर कितने भरोसेमंद हैं) दोनों अभी बहुत कम हैं।
किसके लिए उपयोगी: आप जानना चाहते हैं कि सबसे कठिन प्रश्नों पर मॉडल की सीमा कहाँ तक है। रोज़मर्रा के कामों के लिए इस स्कोर को छोड़ सकते हैं।
- मुझे पता है कि चारों बेंचमार्क क्या मापते हैं
बेंचमार्क का उपयोग कैसे करें
आपकी परीक्षाआपको कोड रिव्यू असिस्टेंट के लिए एक मॉडल चुनना है। कौन-सा बेंचमार्क स्कोर सबसे ज़्यादा देखना चाहिए?
चार सिद्धांत:
- केवल वही बेंचमार्क देखें जो आपके काम के करीब हों। विज्ञान के कठिन प्रश्नों पर उच्च स्कोर का मतलब यह नहीं कि मार्केटिंग कॉपी भी अच्छी लिखेगा
- बेंचमार्क सैचुरेट हो जाते हैं। जब सब 90% से ऊपर हों, तो कुछ अंकों के अंतर का बड़ा महत्व नहीं है
- बेंचमार्क स्कोर दूषित हो सकते हैं। प्रश्न ट्रेनिंग डेटा में रिस चुके हैं, मॉडल शायद उन्हें "रट" चुका है, SWE-bench Verified इसका उदाहरण है
- बेंचमार्क स्कोर दूसरों के बनाए प्रश्न हैं। अंत में अपने ही प्रश्नों से परखना होगा, अगले स्टॉप देखें
- मुझे पता है कि SWE-bench Verified पर मिले उच्च स्कोर पर छूट क्यों लगानी चाहिए
चेकपॉइंट
- MMLU-Pro: ज्ञान और तर्कशक्ति, गलतियों में तर्कशक्ति का हिस्सा 39%
- GPQA: 448 विशेषज्ञ-स्तर के विज्ञान के प्रश्न, PhD धारक 65%, गैर-विशेषज्ञ इंटरनेट की मदद से भी केवल 34%
- SWE-bench: 2,294 वास्तविक issue, टेस्ट पास करने के लिए कोड बदलना होता है; इसके 500 प्रश्नों का सबसेट Verified को OpenAI ने बंद कर दिया है (खराब टेस्ट + दूषण)
- HLE: 2,500 अति-कठिन प्रश्न, मॉडलों के स्कोर अभी कम हैं
आम गलतफ़हमियाँ
"बेंचमार्क स्कोर जितने ज़्यादा, मॉडल उतना बेहतर।" अलग-अलग बेंचमार्क बहुत अलग-अलग चीज़ें मापते हैं, इन्हें जोड़ने का कोई मतलब नहीं है। अपने काम से जुड़े चुनकर देखें।
"बेंचमार्क सार्वजनिक हैं, तो स्कोर ज़रूर तुलनीय होंगे।" अलग-अलग विक्रेता अलग प्रॉम्प्ट, सैंपलिंग की संख्या और टूल की अनुमति के नियम इस्तेमाल कर सकते हैं। तुलना करते समय देखें कि सेटअप एक ही है या नहीं।
अगला भाग
सबसे भरोसेमंद बेंचमार्क वह है जिसके सवाल आपने खुद बनाए हों: अपना खुद का एक मूल्यांकन सेट बनाएं।