Skip to content

AI से AI को अंक देना ​

मूल रूप से भरोसेमंद है, लेकिन इसमें कुछ निश्चित पूर्वाग्रह हैं, पहले सुधार करें फिर उपयोग करें। 2023 के शोध पत्र "Judging LLM-as-a-Judge" (arXiv 2306.05685) ने AI न्यायाधीश और मनुष्यों की तुलना की: GPT-4 जैसा मजबूत मॉडल जब न्यायाधीश बनता है, तो मानव प्राथमिकताओं से सहमति दर 80% से अधिक होती है, जो मनुष्यों के आपसी सहमति दर के बराबर है। यह डेटा 3 हज़ार विशेषज्ञ वोट और 3 हज़ार क्राउडसोर्स वोट से आया है।

उसी शोध पत्र में इसकी समस्याएँ भी सूचीबद्ध हैं।

सीखने के बाद आप क्या कर सकेंगे ​

  • AI न्यायाधीश के तीन पूर्वाग्रह बता सकें
  • अपने मूल्यांकन में संबंधित सुधार जोड़ें

पूर्वाग्रह एक: स्थान पूर्वाग्रह ​

न्यायाधीश किसी एक स्थान के उत्तर को पसंद करता है। शोध पत्र का उदाहरण: GPT-4 से GPT-3.5 और Vicuna-13B के उत्तरों की तुलना करवाई गई। जब GPT-3.5 का उत्तर पहले रखा गया, तो GPT-4 ने उसे अधिक विस्तृत और बेहतर माना; दोनों उत्तरों के स्थान बदलने पर निर्णय बदल गया।

सुधार: हर जोड़ी के उत्तरों की तुलना दो बार करें, दूसरी बार क्रम बदलकर। दोनों निष्कर्ष सहमत हों तभी गिनें, असहमत हों तो टाई दर्ज करें।

आपकी परीक्षाआप जज से A और B की तुलना करवाते हैं: A पहले हो तो A जीतता है, बदलकर B पहले हो तो B जीतता है। इसे कैसे दर्ज करें?

  • मेरा मूल्यांकन क्रम बदलकर दो बार तुलना करता है

पूर्वाग्रह दो: लंबाई पूर्वाग्रह ​

न्यायाधीश लंबे उत्तरों को पसंद करता है, भले ही अतिरिक्त सामग्री बेकार हो। यह Arena पर मानव वोटिंग की शैली प्राथमिकता वही बात है।

सुधार: मूल्यांकन मानदंड में स्पष्ट लिखें कि "लंबाई के लिए अंक नहीं मिलेंगे"; या प्रॉम्प्ट में उम्मीदवार उत्तरों की लंबाई सीमित करें; तुलना करते समय दोनों ओर के शब्दों की संख्या भी नोट करें, देखें कि लंबा वाला हमेशा जीतता है या नहीं।

पूर्वाग्रह तीन: आत्म-पूर्वाग्रह ​

न्यायाधीश स्वयं या उसी परिवार के मॉडल द्वारा लिखे उत्तरों की ओर पूर्वाग्रह रख सकता है।

सुधार: न्यायाधीश के रूप में उम्मीदवार मॉडलों में से किसी का उपयोग न करें। यदि करना ही पड़े, तो दो अलग परिवारों के न्यायाधीश बदलकर देखें कि निष्कर्ष सहमत हैं या नहीं।

एक और: सीमित तर्क क्षमता ​

शोध पत्र बताता है कि जो प्रश्न न्यायाधीश स्वयं हल नहीं कर सकता, उनका सही निर्णय करना भी मुश्किल है, जैसे गणित और तर्क के प्रश्न।

सुधार: जिन प्रश्नों का मानक उत्तर है, उनकी सीधे उत्तर से तुलना करें, AI न्यायाधीश का उपयोग न करें। न्यायाधीश को लेखन, सारांश जैसे खुले प्रश्नों के लिए छोड़ें।

  • मुझे पता है कि कौन से प्रश्न AI न्यायाधीश को नहीं देने चाहिए

इसे अपने मूल्यांकन में कैसे शामिल करें ​

  1. पहले मैन्युअल रूप से दर्जन भर प्रश्नों को अंक दें
  2. AI न्यायाधीश से उसी मानदंड पर वही प्रश्न अंकित करवाएँ
  3. दोनों परिणामों की तुलना करें, सहमति दर पर्याप्त ऊँची हो तभी न्यायाधीश से बाकी प्रश्न अंकित करवाएँ
  4. अंक देते समय: क्रम बदलकर दो बार तुलना करें, न्यायाधीश उम्मीदवार मॉडल न हो, मानक उत्तर वाले प्रश्न उसे न दें

चेकपॉइंट ​

  • मजबूत मॉडल न्यायाधीश बने, तो मनुष्यों से सहमति दर 80% से अधिक
  • तीन पूर्वाग्रह: स्थान, लंबाई, आत्म-पूर्वाग्रह
  • सुधार: क्रम बदलें, लंबाई के लिए अंक न दें, दूसरे परिवार का न्यायाधीश इस्तेमाल करें
  • मानक उत्तर वाले प्रश्नों की सीधे तुलना करें

आम गलतफहमियाँ ​

"न्यायाधीश ने 9 अंक दिए, इसका मतलब जवाब बहुत अच्छा है।" पूर्ण अंक प्रॉम्प्ट से बहुत प्रभावित होते हैं। दो मॉडलों की तुलना करते समय, "दोनों में से कौन बेहतर है" जैसी जोड़ी-तुलना, "हर एक को अलग अंक देने" की तुलना में ज़्यादा भरोसेमंद होती है।

"सहमति दर 80% है, इसलिए इस पूरी तरह मनुष्य की जगह ले सकता है।" बाकी 20% शायद ठीक उन मुश्किल सवालों पर केंद्रित हों जिन्हें आप सबसे ज़्यादा महत्व देते हैं। इस्तेमाल करने से पहले मैन्युअल रूप से जाँच करें।

अगला भाग ​

अंक देने के बाद, A का औसत 82 अंक है और B का औसत 79 अंक। क्या A सचमुच बेहतर है? कितने अंकों का अंतर ही असली अंतर माना जाए।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.