Skip to content

बड़े मॉडल का चयन कैसे करें ​

पहले जवाब: लीडरबोर्ड दायरा छोटा करने के लिए, अपने कार्य फ़ैसला लेने के लिए, और अंत में एक बार जाँचें कि आपने जो खरीदा है वही मॉडल है और सेवा स्थिर है या नहीं।

लीडरबोर्ड का पहला नंबर ज़रूरी नहीं कि आपके लिए ठीक हो। आप अनुबंध लिखते हैं, कोड सुधारते हैं, या कस्टमर सपोर्ट करते हैं — हर एक की ज़रूरतें अलग हैं; सूची में 10 अंकों का अंतर आपके कार्य पर शायद दिखे ही न। इसके उलट, जो मॉडल आपने मूल्यांकन में चुना, वह किसी रिले API से कॉल करते समय ज़रूरी नहीं कि वही रहे।

यह कोर्स इन्हीं तीन चरणों पर चलता है।

एक बार दबाएँमॉडल चुनने के तीन कदमसिर्फ उदाहरण: मॉडल और स्कोर डेमो हैं
  1. 1लीडरबोर्ड देखें
  2. 2अपने सवालों से
  3. 3जाँचें कि असली है या नहीं
मॉडल A
मॉडल B
मॉडल C
मॉडल D
मॉडल E
मॉडल F
मॉडल G
मॉडल H
मॉडल I
मॉडल J
मॉडल K
मॉडल L

उपयोग के लिए बहुत सारे बड़े मॉडल हैं। किससे शुरू करें? “अगला” पर क्लिक करें।

कोर्स पूरा करने के बाद आपके पास क्या होगा ​

  • LMArena लीडरबोर्ड पढ़ना: स्कोर, कॉन्फ़िडेंस इंटरवल और स्टाइल कंट्रोल का क्या मतलब है
  • कैसे देखें Agent लीडरबोर्ड: उपयोग के अनुसार उप-सूचकांक चुनें, फिर Alignment Index देखें
  • पता होगा कि MMLU-Pro, GPQA, SWE-bench, HLE जैसे बेंचमार्क क्या मापते हैं और कौन सा आपके कार्य से जुड़ा है
  • अपने कार्यों से बना एक मूल्यांकन सेट, और एक ऐसी तुलना तालिका जिससे पता चले कि "अंतर सचमुच है या नहीं"
  • API असली है या नहीं पता लगाने के कुछ तरीके, और हर तरीके से क्या पता चल सकता है और क्या नहीं
  • सेवा प्रदाताओं की एक मूल्यांकन सूची: एक ही मॉडल के लिए एक तेज़ और स्थिर प्रदाता चुनना

इस कोर्स के चार पड़ाव ​

पड़ावपाठक्या समस्या हल करता है
लीडरबोर्ड देखनाLMArena लीडरबोर्ड कैसे पढ़ेंस्कोर और रैंकिंग कैसे बनते हैं
पहला नंबर कब तक टिकता हैशीर्ष कितनी तेज़ी से बदलता है
क्या लीडरबोर्ड का पहला नंबर सबसे अच्छा हैसूची में कौन से ज्ञात पक्षपात हैं
Agent लीडरबोर्ड कैसे देखेंकोड लिखने और कार्य चलाने वाला AI चुनने के लिए कौन सा सूचकांक देखें
बेंचमार्क देखनाआम बेंचमार्क क्या मापते हैंMMLU-Pro, GPQA, SWE-bench, HLE
खुद मूल्यांकन करनाअपना मूल्यांकन सेट बनाएंअपने वास्तविक कार्यों से प्रश्न बनाएं
AI से AI को अंक देनाजज मॉडल कितना भरोसेमंद है
कितने अंकों का अंतर ही असली अंतर माना जाता हैस्कोर में एरर बार जोड़ना
असली जांचक्या API में मॉडल चुपचप बदल दिया जाता हैसब्स्टीट्यूशन कैसे होता है
API के असली होने की जांच कैसे करेंकई डिटेक्शन विधियों की क्षमता की सीमाएं
एक ही मॉडल, अलग-अलग सेवा प्रदाताओं में क्या अंतर हैलेटेंसी, थ्रूपुट, स्थिरता कैसे मापें
मॉडल का डिग्रेड होना क्या हैक्या मॉडल सचमुच कमज़ोर हुआ है, कैसे जांचें

इस स्टेशन पर क्या करना है ​

  • सोचें कि आप मॉडल से कौन-सा एक ठोस काम करवाना चाहते हैं, जैसे "मीटिंग की रिकॉर्डिंग को कार्यवृत्त में बदलना"
  • उन दो-तीन मॉडलों को नोट करें जो आप अभी उपयोग कर रहे हैं या आज़माना चाहते हैं
  • अगला पाठ खोलें और देखें कि लीडरबोर्ड पर वे कहां पर हैं

शुरू करने से पहले की तैयारी ​

प्रोग्रामिंग का अनुभव ज़रूरी नहीं है। तीसरे स्टेशन पर मूल्यांकन करते समय स्प्रेडशीट सॉफ़्टवेयर काम आएगा; ऑटोमेशन चाहें तो कोई भी स्क्रिप्टिंग भाषा उपयोग कर सकते हैं, पर यह ज़रूरी नहीं है।

अगला कदम ​

पहले लीडरबोर्ड पढ़ना सीखें: LMArena लीडरबोर्ड कैसे पढ़ें।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.