Skip to content

अपना खुद का एक मूल्यांकन सेट बनाएं ​

आपके असली काम से प्रश्न बनाएं, हर उम्मीदवार मॉडल को एक ही सेटिंग में एक-एक बार उत्तर देने दें, और पहले से तय मानदंडों से अंक दें। यह किसी भी लीडरबोर्ड की तुलना में आपके वास्तविक अनुभव के ज़्यादा करीब है। यह खंड पूरा करने पर आपके पास एक तालिका होगी: कुछ दर्जन प्रश्न, कुछ मॉडल, और हर खाने में एक अंक।

शुरू करने से पहले ​

  • एक ठोस कार्य, जैसे "ग्राहकों के ईमेल को वर्गीकृत करना" या "बैठक के नोट्स को कार्यवृत्त में बदलना"
  • दो से तीन उम्मीदवार मॉडल, जिन्हें कॉल किया जा सके
  • एक स्प्रेडशीट सॉफ़्टवेयर

चरण 1: असली काम से प्रश्न चुनें ​

खुद प्रश्न मत गढ़ें। अपने पुराने कार्य रिकॉर्ड देखें और असल में सामने आए इनपुट निकालें: ग्राहक ईमेल, बैठक के नोट्स, एरर संदेश।

प्रश्न चुनते समय तीन श्रेणियों का ध्यान रखें:

प्रकारसुझाया गया अनुपातक्यों
आम केसअधिकांशरोज़मर्रा के अनुभव को तय करते हैं
कठिन, सीमावर्तीएक हिस्सामॉडलों के बीच अंतर दिखाते हैं
जिनमें पहले गलती हुई होकुछ प्रश्नजिन विफलताओं पर आपका सबसे ज़्यादा ध्यान है

प्रश्नों की संख्या पहले 30 से 50 तक से शुरू करें। तीसरे पाठ में बताया जाएगा कि प्रश्न बहुत कम होने पर अंतर नहीं दिखता।

आपको यह मिलना चाहिए: प्रश्नों की एक सूची, जिसमें हर प्रश्न एक असली इनपुट है।

  • मैंने कम से कम 30 असली प्रश्न चुन लिए हैं

चरण 2: पहले से स्पष्ट लिखें कि "किसे सही माना जाए" ​

पहले मानक लिखें, फिर उत्तर देखें। उत्तर देखकर मानक तय करेंगे तो अनजाने में अपनी पसंद की तरफ झुक जाएंगे।

कार्य के प्रकार के अनुसार अंक देने का तरीका चुनें:

कार्यअंक देने का तरीका
वर्गीकरण, निष्कर्षण, जिनका मानक उत्तर होमानक उत्तर से तुलना करें, सही हो तो 1, गलत हो तो 0
कोड लिखनाटेस्ट चलाएं, पास हो तो सही
लेखन, सारांश, मुक्त उत्तर3 से 5 जांच बिंदुओं की सूची बनाएं, जैसे "निर्णय छूटा न हो" या "अंकन न गढ़े गए हों", जितने बिंदु पूरे हों उतने अंक

आपकी परीक्षाआप पहले दो मॉडल से अलग-अलग सारांश लिखवाते हैं, पढ़कर A बेहतर लगता है, फिर उसी के आधार पर स्कोरिंग स्टैंडर्ड तय करते हैं। इसमें क्या समस्या है?

  • हर प्रश्न के लिए पहले से लिखा हुआ सही मानने का मानक मौजूद है

चरण 3: हर मॉडल को एक ही सेटिंग में चलाएं ​

हर मॉडल को एक ही शर्तों में उत्तर देना चाहिए, वरना तुलना मॉडलों की नहीं होगी:

  • एक ही प्रॉम्प्ट, एक ही सिस्टम प्रॉम्प्ट
  • टेम्परेचर जैसे एक ही पैरामीटर
  • हर प्रश्न एक नई बातचीत में रखें, ताकि पिछली सामग्री आगे वाली को प्रभावित न करे

ओपन-एंडेड टास्क में, एक ही सवाल को हर मॉडल से कई बार पूछा जा सकता है। मॉडल का जवाब हर बार अलग होगा, कई बार पूछने से पता चलता है कि वह स्थिर है या नहीं।

आपके पास यह होना चाहिए: हर सवाल के लिए, हर मॉडल का कम से कम एक जवाब।

  • सभी मॉडलों के लिए एक ही प्रॉम्प्ट और पैरामीटर इस्तेमाल हुए

चरण 4: ब्लाइंड रेटिंग, एक टेबल में दर्ज करें ​

स्कोर देते समय मॉडल का नाम ढक दें, सिर्फ जवाब देखें। कोई सहकर्मी से क्रम शफल करवा सकते हैं।

टेबल का रूप:

प्रश्न संख्याप्रकारमॉडल Aमॉडल Bमॉडल C
1आम110
2कठिन010
…
औसत

दो कॉलम और जोड़ें जो आपको मायने रखते हैं: हर सवाल पर कितना खर्च हुआ, कितना इंतज़ार करना पड़ा। सबसे अच्छा मॉडल ज़रूरी नहीं कि किफायती हो।

  • मेरे पास प्रश्न × मॉडल का स्कोर टेबल है

चेकपॉइंट ​

  • सवाल असली काम से आए हैं, जिनमें आम, कठिन और गलती हुए शामिल हैं
  • सही मानने का मानदंड जवाब देखने से पहले लिखा गया
  • हर मॉडल के लिए प्रॉम्प्ट और पैरामीटर बिल्कुल एक जैसे
  • स्कोर देते समय मॉडल का नाम नहीं दिखता

सफल नहीं हुए? ​

स्कोर लगभग बराबर हैं। सवाल बहुत आसान या बहुत कम हैं। ज़्यादा कठिन सवाल जोड़ें, सवालों की संख्या इतनी बढ़ाएँ कि फ़र्क़ निकल आए, देखेंकितने अंकों का फ़र्क़ ही असली फ़र्क़ माना जाए।

ओपन-एंडेड सवालों पर स्कोर देना बहुत थकाऊ है। पहले दस-बारह सवालों पर खुद स्कोर दें, फिर AI से स्कोर देने में मदद करवाकर देखें, अगला सेक्शन इसके जाल बताता है।

अगला सेक्शन ​

ओपन-एंडेड सवालों पर खुद स्कोर देना बहुत थकाऊ है, क्या AI को जज बनाया जा सकता है? AI से AI का स्कोर करवाएँ।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.