AI से AI को अंक देना
मूल रूप से भरोसेमंद है, लेकिन इसमें कुछ निश्चित पूर्वाग्रह हैं, पहले सुधार करें फिर उपयोग करें। 2023 के शोध पत्र "Judging LLM-as-a-Judge" (arXiv 2306.05685) ने AI न्यायाधीश और मनुष्यों की तुलना की: GPT-4 जैसा मजबूत मॉडल जब न्यायाधीश बनता है, तो मानव प्राथमिकताओं से सहमति दर 80% से अधिक होती है, जो मनुष्यों के आपसी सहमति दर के बराबर है। यह डेटा 3 हज़ार विशेषज्ञ वोट और 3 हज़ार क्राउडसोर्स वोट से आया है।
उसी शोध पत्र में इसकी समस्याएँ भी सूचीबद्ध हैं।
सीखने के बाद आप क्या कर सकेंगे
- AI न्यायाधीश के तीन पूर्वाग्रह बता सकें
- अपने मूल्यांकन में संबंधित सुधार जोड़ें
पूर्वाग्रह एक: स्थान पूर्वाग्रह
न्यायाधीश किसी एक स्थान के उत्तर को पसंद करता है। शोध पत्र का उदाहरण: GPT-4 से GPT-3.5 और Vicuna-13B के उत्तरों की तुलना करवाई गई। जब GPT-3.5 का उत्तर पहले रखा गया, तो GPT-4 ने उसे अधिक विस्तृत और बेहतर माना; दोनों उत्तरों के स्थान बदलने पर निर्णय बदल गया।
सुधार: हर जोड़ी के उत्तरों की तुलना दो बार करें, दूसरी बार क्रम बदलकर। दोनों निष्कर्ष सहमत हों तभी गिनें, असहमत हों तो टाई दर्ज करें।
आपकी परीक्षाआप जज से A और B की तुलना करवाते हैं: A पहले हो तो A जीतता है, बदलकर B पहले हो तो B जीतता है। इसे कैसे दर्ज करें?
- मेरा मूल्यांकन क्रम बदलकर दो बार तुलना करता है
पूर्वाग्रह दो: लंबाई पूर्वाग्रह
न्यायाधीश लंबे उत्तरों को पसंद करता है, भले ही अतिरिक्त सामग्री बेकार हो। यह Arena पर मानव वोटिंग की शैली प्राथमिकता वही बात है।
सुधार: मूल्यांकन मानदंड में स्पष्ट लिखें कि "लंबाई के लिए अंक नहीं मिलेंगे"; या प्रॉम्प्ट में उम्मीदवार उत्तरों की लंबाई सीमित करें; तुलना करते समय दोनों ओर के शब्दों की संख्या भी नोट करें, देखें कि लंबा वाला हमेशा जीतता है या नहीं।
पूर्वाग्रह तीन: आत्म-पूर्वाग्रह
न्यायाधीश स्वयं या उसी परिवार के मॉडल द्वारा लिखे उत्तरों की ओर पूर्वाग्रह रख सकता है।
सुधार: न्यायाधीश के रूप में उम्मीदवार मॉडलों में से किसी का उपयोग न करें। यदि करना ही पड़े, तो दो अलग परिवारों के न्यायाधीश बदलकर देखें कि निष्कर्ष सहमत हैं या नहीं।
एक और: सीमित तर्क क्षमता
शोध पत्र बताता है कि जो प्रश्न न्यायाधीश स्वयं हल नहीं कर सकता, उनका सही निर्णय करना भी मुश्किल है, जैसे गणित और तर्क के प्रश्न।
सुधार: जिन प्रश्नों का मानक उत्तर है, उनकी सीधे उत्तर से तुलना करें, AI न्यायाधीश का उपयोग न करें। न्यायाधीश को लेखन, सारांश जैसे खुले प्रश्नों के लिए छोड़ें।
- मुझे पता है कि कौन से प्रश्न AI न्यायाधीश को नहीं देने चाहिए
इसे अपने मूल्यांकन में कैसे शामिल करें
- पहले मैन्युअल रूप से दर्जन भर प्रश्नों को अंक दें
- AI न्यायाधीश से उसी मानदंड पर वही प्रश्न अंकित करवाएँ
- दोनों परिणामों की तुलना करें, सहमति दर पर्याप्त ऊँची हो तभी न्यायाधीश से बाकी प्रश्न अंकित करवाएँ
- अंक देते समय: क्रम बदलकर दो बार तुलना करें, न्यायाधीश उम्मीदवार मॉडल न हो, मानक उत्तर वाले प्रश्न उसे न दें
चेकपॉइंट
- मजबूत मॉडल न्यायाधीश बने, तो मनुष्यों से सहमति दर 80% से अधिक
- तीन पूर्वाग्रह: स्थान, लंबाई, आत्म-पूर्वाग्रह
- सुधार: क्रम बदलें, लंबाई के लिए अंक न दें, दूसरे परिवार का न्यायाधीश इस्तेमाल करें
- मानक उत्तर वाले प्रश्नों की सीधे तुलना करें
आम गलतफहमियाँ
"न्यायाधीश ने 9 अंक दिए, इसका मतलब जवाब बहुत अच्छा है।" पूर्ण अंक प्रॉम्प्ट से बहुत प्रभावित होते हैं। दो मॉडलों की तुलना करते समय, "दोनों में से कौन बेहतर है" जैसी जोड़ी-तुलना, "हर एक को अलग अंक देने" की तुलना में ज़्यादा भरोसेमंद होती है।
"सहमति दर 80% है, इसलिए इस पूरी तरह मनुष्य की जगह ले सकता है।" बाकी 20% शायद ठीक उन मुश्किल सवालों पर केंद्रित हों जिन्हें आप सबसे ज़्यादा महत्व देते हैं। इस्तेमाल करने से पहले मैन्युअल रूप से जाँच करें।
अगला भाग
अंक देने के बाद, A का औसत 82 अंक है और B का औसत 79 अंक। क्या A सचमुच बेहतर है? कितने अंकों का अंतर ही असली अंतर माना जाए।