كيف تختار النموذج اللغوي الكبير
الجواب أولًا: لوحات الترتيب لتضييق النطاق، ومهامك الخاصة لاتخاذ القرار، ثم تحقق مرة أخيرة مما إذا كان ما اشتريته هو ذلك النموذج فعلًا وهل الخدمة مستقرة.
المركز الأول في لوحة الترتيب قد لا يناسبك. كتابة العقود، أو تعديل الأكواد، أو خدمة العملاء — لكل منها متطلبات مختلفة؛ وفرق قدره 10 نقطة على اللوحة قد لا يظهر أي فرق في مهمتك. وبالعكس، النموذج الذي اخترته في التقييم قد لا يكون هو نفسه عند استدعائه عبر واجهة API وسيطة.
يسير هذا المقرر وفق هذه الخطوات الثلاث.
- 1شاهد المتصدرات
- 2أسئلة من عندك
- 3تحقق من أنه الأصلي
النماذج الكبيرة القابلة للاستخدام كثيرة. من أين تبدأ؟ اضغط "التالي".
ما الذي ستملكه بعد إتمام المقرر
- ستعرف كيف تقرأ لوحة ترتيب LMArena: ماذا تعني النتيجة، وفاصل الثقة، والتحكم في الأسلوب
- سيتعلم النظر إلى لوحة ترتيب الوكلاء: اختر المؤشرات الفرعية حسب الاستخدام، ثم انظر إلى مؤشر المحاذاة Alignment Index
- ستعرف ماذا تقيس اختبارات الأداء مثل MMLU-Pro وGPQA وSWE-bench وHLE، وأيها يتعلق بمهمتك
- مجموعة تقييم مبنية على مهامك الخاصة، وجدول مقارنة يُظهر «هل الفرق حقيقي»
- عدة طرق لتحديد ما إذا كانت واجهة API أصلية، وماذا تستطيع كل طريقة كشفه وما لا تستطيع
- قائمة تقييم لمزودي الخدمة: لنفس النموذج، اختر مزودًا سريعًا ومستقرًا
المحطات الأربع لهذا المقرر
| المحطة | الدرس | ما المشكلة التي يحلها |
|---|---|---|
| قراءة لوحة الترتيب | كيف تقرأ لوحة ترتيب LMArena | كيف تُحسب النتائج والترتيب |
| كم يصمد المركز الأول | ما مدى سرعة تغير الصدارة | |
| هل المركز الأول في لوحة الترتيب هو الأفضل دائمًا | ما الانحيازات المعروفة في لوحات الترتيب | |
| كيف تقرأ لوحة ترتيب الوكلاء | أي مؤشر تنظر إليه عند اختيار ذكاء اصطناعي لكتابة الأكواد وتشغيل المهام | |
| قراءة نتائج الاختبارات | ماذا تقيس اختبارات الأداء الشائعة | MMLU-Pro وGPQA وSWE-bench وHLE |
| التقييم بنفسك | كيف تبني مجموعة تقييم خاصة بك | صِغ الأسئلة من مهامك الحقيقية |
| استخدام الذكاء الاصطناعي لتقييم الذكاء الاصطناعي | هل نموذج الحَكَم موثوق | |
| كم فرقًا في النقاط يُعد فرقًا حقيقيًا | إضافة هوامش الخطأ إلى النتائج | |
| التحقق من الأصالة | هل يمكن استبدال نموذج واجهة API خفية | كيف يحدث الاستبدال الخفي |
| كيف تتحقق من أن واجهة API أصلية | حدود قدرة طرق الكشف المختلفة | |
| نفس النموذج، فما الفروق بين مزودي الخدمة | كيف تقيس زمن الاستجابة ومعدل النقل والاستقرار | |
| ما قصة تدهور قدرة النموذج | هل التدهور حقيقي، وكيف تتحقق |
ماذا نفعل في هذه المحطة
- فكّر بوضوح في مهمة محددة واحدة تريد استخدام النموذج لها، مثل «تحويل تسجيل الاجتماع إلى محضر»
- دوّن نموذجين أو ثلاثة تستخدمها حاليًا أو ترغب في تجربتها
- افتح الدرس التالي، وشاهد أين تُرتّب هذه النماذج في لوحة الترتيب
ما يجب تحضيره قبل البدء
لا حاجة إلى أساسيات البرمجة. في المحطة الثالثة ستستخدم برنامج جداول بيانات عند إجراء التقييم؛ وإذا أردت الأتمتة يمكنك استخدام أي لغة برمجة نصية، لكن هذا ليس إلزاميًا.
الخطوة التالية
تعلّم أولًا كيفية قراءة لوحات الترتيب: كيف تقرأ لوحة ترتيب LMArena.