कितने अंकों का अंतर हो तो वह असली अंतर माना जाए
यह देखें कि प्रश्न कितने हैं। 100 प्रश्नों पर और सटीकता दर लगभग 80% होने पर, अंकों में अपने आप लगभग प्लस-माइनस 8 प्रतिशत बिंदु का उतार-चढ़ाव रहता है। A को 82 मिले, B को 79, तो यह 3 अंकों का अंतर संभवतः सिर्फ किस्मत है।
Anthropic का 2024 का लेख "Adding Error Bars to Evals" (arXiv 2411.00640) इसी बात पर केंद्रित है: मूल्यांकन असल में एक प्रयोग है। आपके प्रश्न "सभी संभावित प्रश्नों" में से निकाला गया एक छोटा सा हिस्सा हैं; प्रश्न बदलें तो अंक भी बदल जाएंगे।
सीखने के बाद आप क्या कर सकेंगे
- एक सूत्र से अपने मूल्यांकन अंकों की त्रुटि सीमा निकाल सकेंगे
- तय कर सकेंगे कि दो मॉडलों का अंतर असली है या नहीं
- जान सकेंगे कि कम प्रश्नों से भरोसेमंद निष्कर्ष कैसे पाया जाए
इंडस्ट्री की पुरानी आदत
लेख बताता है कि इंडस्ट्री की आदत है "सबसे ज़्यादा अंक वाला सबसे अच्छा", सबसे ऊँचे अंक को बोल्ड कर देना, पर यह जाँच नहीं करना कि अंतर सिग्निफिकेंट है या नहीं। Chatbot Arena ने कॉन्फिडेंस इंटरवल को लोकप्रिय बनाया, लेकिन पारंपरिक प्रश्नोत्तर मूल्यांकन में एरर बार स्पष्ट रूप से गायब हैं।
अपने मूल्यांकन में यह गलती मत करें।
चरण 1: त्रुटि सीमा निकालें
सही-गलत प्रश्नों (हर प्रश्न 0 या 1) के औसत अंक p के लिए स्टैंडर्ड एरर है:
स्टैंडर्ड एरर = √( p × (1 − p) ÷ n )
95% त्रुटि सीमा ≈ प्लस-माइनस 1.96 × स्टैंडर्ड एररn प्रश्नों की संख्या है। सटीकता दर 80% के हिसाब से:
| प्रश्न संख्या | स्टैंडर्ड एरर | 95% त्रुटि सीमा |
|---|---|---|
| 50 | 5.7 प्रतिशत बिंदु | लगभग ±11 |
| 100 | 4.0 प्रतिशत बिंदु | लगभग ±8 |
| 400 | 2.0 प्रतिशत बिंदु | लगभग ±4 |
| 1000 | 1.3 प्रतिशत बिंदु | लगभग ±2.5 |
प्रश्नों की संख्या 4 गुना बढ़ाने पर त्रुटि सीमा आधी ही घटती है।
फर्क पता नहीं चलता
差 4 प्रतिशत बिंदु;50 प्रश्नों पर, दोनों मॉडलों के अंतर की त्रुटि सीमा लगभग ±16.2。 फर्क एरर मार्जिन के भीतर है, सवाल बदलने पर रैंक पलट सकता है।
आज़माएँ: 80% और 76% को वैसे ही रखें, सिर्फ प्रश्नों की संख्या 50 से 1000 तक खींचें।
आपकी परीक्षाआपने 50 सवालों से दो मॉडल टेस्ट किए, A की सटीकता 80%, B की 76%। क्या कहा जा सकता है कि A बेहतर है?
- मैंने अपने मूल्यांकन की त्रुटि सीमा निकाली
चरण 2: युग्मित तुलना से त्रुटि घटाएँ
ऊपर का सूत्र दोनों मॉडलों को अलग-अलग परीक्षा देने वाला मानता है। लेकिन आपके मूल्यांकन में दोनों मॉडल एक ही प्रश्नों के सेट के उत्तर देते हैं। ऐसे में प्रश्न-दर-प्रश्न तुलना की जा सकती है: हर प्रश्न पर एक बार "A का स्कोर घटा B का स्कोर" निकालें।
लेख में युग्मित विश्लेषण की खास बात कही गई है: प्रश्न की अपनी कठिनाई दोनों मॉडलों को एक साथ प्रभावित करती है, और प्रश्न-दर-प्रश्न घटाने से यह हिस्सा कट जाता है, इसलिए त्रुटि आमतौर पर अलग-अलग गणना से छोटी होती है।
तरीका: मूल्यांकन तालिका में "A − B" का एक कॉलम जोड़ें, हर प्रश्न पर 1, 0 या −1, और इस कॉलम का औसत तथा उसकी त्रुटि देखें।
- मेरी मूल्यांकन तालिका में प्रश्न-दर-प्रश्न अंतर का कॉलम है
चरण 3: मुक्त उत्तर वाले प्रश्नों पर कई बार उत्तर दें
मॉडल हर बार अलग उत्तर देता है, यह भी उतार-चढ़ाव का स्रोत है। लेख में विचरण घटाने के तरीकों में एक है: एक ही प्रश्न का बार-बार नमूना लेकर औसत निकालना।
मुक्त उत्तर वाले प्रश्नों पर हर मॉडल से हर प्रश्न का लगभग 3 बार उत्तर लें और औसत स्कोर लें, यह सिर्फ एक बार उत्तर लेने से ज़्यादा स्थिर होता है।
चरण 4: समूह में बँटे प्रश्नों पर ध्यान दें
अगर आपके प्रश्न समूहों में हैं, जैसे एक ही लेख से 5 प्रश्न बने हों, तो इन 5 प्रश्नों के सही-गलत होने की संभावना अक्सर एक साथ बदलती है। लेख इसे "समूहबद्ध प्रश्न" (clustered) कहता है, और ऐसे में असली त्रुटि ऊपर के सूत्र से निकली त्रुटि से बड़ी होती है।
सरल उपाय: हर समूह को एक बड़ा प्रश्न मानें और त्रुटि का अनुमान प्रश्नों की संख्या नहीं बल्कि समूहों की संख्या के हिसाब से लगाएँ।
चेकपॉइंट
- त्रुटि सीमा ≈ ±1.96 × √(p(1−p)/n)
- 100 प्रश्नों पर लगभग ±8 प्रतिशत अंक, कुछ अंकों का अंतर कुछ साबित नहीं करता
- एक ही प्रश्नों के सेट पर युग्मित तुलना करें, त्रुटि छोटी होती है
- मुक्त उत्तर वाले प्रश्नों पर बार-बार नमूना लें, समूहबद्ध प्रश्नों को समूह के हिसाब से गिनें
आम गलतफहमियाँ
"मेरे मूल्यांकन में प्रश्न कम हैं, लेकिन सब बड़ी छँटाई के बाद चुने गए हैं, इसलिए भरोसेमंद हैं।" बड़ी छँटाई से प्रश्न काम के ज़्यादा करीब हो जाते हैं, लेकिन यादृच्छिक उतार-चढ़ाव नहीं घटता। प्रश्न कम हैं तो त्रुटि बड़ी होगी।
"लीडरबोर्ड पर 1 अंक का अंतर भी अर्थपूर्ण है।" पहले देखें कि उसने त्रुटि सीमा दी है या नहीं। Arena ने विश्वास अंतराल दिया है, कई बेंचमार्क तालिकाओं ने नहीं दिया।
अगला भाग
मॉडल चुन लिया, तो कैसे पक्का करें कि आप जिस API को कॉल कर रहे हैं वह सचमुच वही है? क्या API में मॉडल चुपचप बदल दिया जा सकता है।