अपना खुद का एक मूल्यांकन सेट बनाएं
आपके असली काम से प्रश्न बनाएं, हर उम्मीदवार मॉडल को एक ही सेटिंग में एक-एक बार उत्तर देने दें, और पहले से तय मानदंडों से अंक दें। यह किसी भी लीडरबोर्ड की तुलना में आपके वास्तविक अनुभव के ज़्यादा करीब है। यह खंड पूरा करने पर आपके पास एक तालिका होगी: कुछ दर्जन प्रश्न, कुछ मॉडल, और हर खाने में एक अंक।
शुरू करने से पहले
- एक ठोस कार्य, जैसे "ग्राहकों के ईमेल को वर्गीकृत करना" या "बैठक के नोट्स को कार्यवृत्त में बदलना"
- दो से तीन उम्मीदवार मॉडल, जिन्हें कॉल किया जा सके
- एक स्प्रेडशीट सॉफ़्टवेयर
चरण 1: असली काम से प्रश्न चुनें
खुद प्रश्न मत गढ़ें। अपने पुराने कार्य रिकॉर्ड देखें और असल में सामने आए इनपुट निकालें: ग्राहक ईमेल, बैठक के नोट्स, एरर संदेश।
प्रश्न चुनते समय तीन श्रेणियों का ध्यान रखें:
| प्रकार | सुझाया गया अनुपात | क्यों |
|---|---|---|
| आम केस | अधिकांश | रोज़मर्रा के अनुभव को तय करते हैं |
| कठिन, सीमावर्ती | एक हिस्सा | मॉडलों के बीच अंतर दिखाते हैं |
| जिनमें पहले गलती हुई हो | कुछ प्रश्न | जिन विफलताओं पर आपका सबसे ज़्यादा ध्यान है |
प्रश्नों की संख्या पहले 30 से 50 तक से शुरू करें। तीसरे पाठ में बताया जाएगा कि प्रश्न बहुत कम होने पर अंतर नहीं दिखता।
आपको यह मिलना चाहिए: प्रश्नों की एक सूची, जिसमें हर प्रश्न एक असली इनपुट है।
- मैंने कम से कम 30 असली प्रश्न चुन लिए हैं
चरण 2: पहले से स्पष्ट लिखें कि "किसे सही माना जाए"
पहले मानक लिखें, फिर उत्तर देखें। उत्तर देखकर मानक तय करेंगे तो अनजाने में अपनी पसंद की तरफ झुक जाएंगे।
कार्य के प्रकार के अनुसार अंक देने का तरीका चुनें:
| कार्य | अंक देने का तरीका |
|---|---|
| वर्गीकरण, निष्कर्षण, जिनका मानक उत्तर हो | मानक उत्तर से तुलना करें, सही हो तो 1, गलत हो तो 0 |
| कोड लिखना | टेस्ट चलाएं, पास हो तो सही |
| लेखन, सारांश, मुक्त उत्तर | 3 से 5 जांच बिंदुओं की सूची बनाएं, जैसे "निर्णय छूटा न हो" या "अंकन न गढ़े गए हों", जितने बिंदु पूरे हों उतने अंक |
आपकी परीक्षाआप पहले दो मॉडल से अलग-अलग सारांश लिखवाते हैं, पढ़कर A बेहतर लगता है, फिर उसी के आधार पर स्कोरिंग स्टैंडर्ड तय करते हैं। इसमें क्या समस्या है?
- हर प्रश्न के लिए पहले से लिखा हुआ सही मानने का मानक मौजूद है
चरण 3: हर मॉडल को एक ही सेटिंग में चलाएं
हर मॉडल को एक ही शर्तों में उत्तर देना चाहिए, वरना तुलना मॉडलों की नहीं होगी:
- एक ही प्रॉम्प्ट, एक ही सिस्टम प्रॉम्प्ट
- टेम्परेचर जैसे एक ही पैरामीटर
- हर प्रश्न एक नई बातचीत में रखें, ताकि पिछली सामग्री आगे वाली को प्रभावित न करे
ओपन-एंडेड टास्क में, एक ही सवाल को हर मॉडल से कई बार पूछा जा सकता है। मॉडल का जवाब हर बार अलग होगा, कई बार पूछने से पता चलता है कि वह स्थिर है या नहीं।
आपके पास यह होना चाहिए: हर सवाल के लिए, हर मॉडल का कम से कम एक जवाब।
- सभी मॉडलों के लिए एक ही प्रॉम्प्ट और पैरामीटर इस्तेमाल हुए
चरण 4: ब्लाइंड रेटिंग, एक टेबल में दर्ज करें
स्कोर देते समय मॉडल का नाम ढक दें, सिर्फ जवाब देखें। कोई सहकर्मी से क्रम शफल करवा सकते हैं।
टेबल का रूप:
| प्रश्न संख्या | प्रकार | मॉडल A | मॉडल B | मॉडल C |
|---|---|---|---|---|
| 1 | आम | 1 | 1 | 0 |
| 2 | कठिन | 0 | 1 | 0 |
| … | ||||
| औसत |
दो कॉलम और जोड़ें जो आपको मायने रखते हैं: हर सवाल पर कितना खर्च हुआ, कितना इंतज़ार करना पड़ा। सबसे अच्छा मॉडल ज़रूरी नहीं कि किफायती हो।
- मेरे पास प्रश्न × मॉडल का स्कोर टेबल है
चेकपॉइंट
- सवाल असली काम से आए हैं, जिनमें आम, कठिन और गलती हुए शामिल हैं
- सही मानने का मानदंड जवाब देखने से पहले लिखा गया
- हर मॉडल के लिए प्रॉम्प्ट और पैरामीटर बिल्कुल एक जैसे
- स्कोर देते समय मॉडल का नाम नहीं दिखता
सफल नहीं हुए?
स्कोर लगभग बराबर हैं। सवाल बहुत आसान या बहुत कम हैं। ज़्यादा कठिन सवाल जोड़ें, सवालों की संख्या इतनी बढ़ाएँ कि फ़र्क़ निकल आए, देखेंकितने अंकों का फ़र्क़ ही असली फ़र्क़ माना जाए।
ओपन-एंडेड सवालों पर स्कोर देना बहुत थकाऊ है। पहले दस-बारह सवालों पर खुद स्कोर दें, फिर AI से स्कोर देने में मदद करवाकर देखें, अगला सेक्शन इसके जाल बताता है।
अगला सेक्शन
ओपन-एंडेड सवालों पर खुद स्कोर देना बहुत थकाऊ है, क्या AI को जज बनाया जा सकता है? AI से AI का स्कोर करवाएँ।