هل المركز الأول في لوحة الترتيب هو الأفضل بالضرورة
ليس بالضرورة. المركز الأول في لوحة الترتيب يعني أن هذا النموذج هو الأكثر اختيارًا من قبل مستخدمي Arena وعلى أسئلة Arena. اكتشف الباحثون أن هذه النتيجة تختلط فيها عدة عوامل لا علاقة لها بـ«النموذج أفضل بشكل عام». يمكنك الاطلاع على اللوحة، لكن خذ نتائجها بتخفيض.
ماذا ستستطيع أن تفعل بعد التعلم
- ذكر ثلاثة انحيازات معروفة في لوحات الترتيب
- عندما ترى نموذجًا جديدًا يتصدر فجأة، تعرف الأسئلة التي يجب طرحها
الانحياز الأول: إمكانية اختيار أفضل نتيجة
اكتشفت ورقة بحثية من عام 2025 بعنوان «The Leaderboard Illusion» (arXiv 2504.20879) أن Arena تسمح باختبار سري غير معلن. عدد قليل من الشركات يمكنه اختبار عدة نسخ قبل الإصدار العلني، ونشر الأفضل منها فقط، مع إمكانية سحب الدرجات عند الحاجة.
المثال المتطرف الذي تذكره الورقة: قبل إصدار Llama-4، اختبرت Meta سرًّا 27 نسخة.
لماذا يؤدي هذا إلى تضخيم الدرجات؟ تشبيه بسيط: طالب يخضع للاختبار 27 مرة، ولا يُبلَّغ إلا عن أعلى درجة. كل اختبار يحتوي على عنصر حظ، والمحاولة الأعلى غالبًا تتجاوز المستوى الحقيقي.
اختبر معرفتكقدّم أحد الموردين سرًا 10 نسخ متطابهقة تقريبًا، ونشر النتيجة الأعلى فقط. كيف ستكون النتائج المنشورة؟
- أستطيع أن أشرح لماذا يؤدي «اختيار أفضل نتيجة» إلى تضخيم الدرجات
الانحياز الثاني: بعض النماذج تحصل على بيانات مواجهات أكثر بكثير
أحصت الورقة نفسها من تُختار نماذجه للمواجهات أكثر: النماذج المغلقة المصدر تُختار بنسبة أعلى، ويُستبعد أقل. وتقدَّر أن Google وOpenAI حصلتا على 19.2% و20.4% من إجمالي بيانات المواجهات على التوالي، بينما حصلت 83 نموذجًا مفتوح الأوزان مجتمعة على نحو 29.7% فقط.
بيانات المواجهات ذات قيمة: فهي تسجل ما سأله المستخدمون وأي نوع من الإجابات يفضلونه. من يحصل على المزيد، يفهم «أذواق» هذه اللوحة بشكل أفضل.
الانحياز الثالث: يمكن التدريب خصيصًا لهذه اللوحة
اكتشفت الورقة أيضًا أن التدريب على بيانات Arena يرفع الدرجات بشكل ملحوظ: كمية صغيرة من البيانات الإضافية يمكن أن تحقق تحسنًا نسبيًا يصل إلى 112% على ArenaHard. واستنتج المؤلفون أن هذه العوامل تؤدي إلى فرط تخصيص للتوزيع الخاص بArena، وليس إلى تحسن في جودة النموذج بشكل عام.
بعبارة أخرى، ما يتعلمه النموذج قد يكون «إرضاء مستخدمي Arena»، وليس أداء مهامك بشكل أفضل.
- أستطيع أن أذكر ما هي الانحيازات الثلاثة
أضف واحدًا آخر: الأسلوب
كما ذُكر في الدرس السابق، الإجابات الأطول والأكثر تنسيقًا تُختار أكثر، وقد أكد فريق Arena ذلك بنفسه، ولهذا أطلق خاصية التحكم في الأسلوب. في الترتيبات التي لا يكون التحكم في الأسلوب مفعّلًا فيها، هذه الأفضليات ما زالت قائمة.
كيف تأخذ نتائج اللوحة بتخفيض
| عندما ترى | اسأل أولًا |
|---|---|
| نموذج جديد يتصدر فور دخوله اللوحة | كم عدد الأصوات؟ ما مدى اتساع فترة الثقة؟ هل يبقى الأول بعد تفعيل التحكم في الأسلوب؟ |
| نموذجان متقاربان في الدرجة | هل تتداخل فترتا الثقة؟ |
| نموذج متصدر في اللوحة لكن أداؤه عادي عندك | هل تشبه مهامك أسئلة Arena؟ |
الطريقة الأكثر موثوقية هي اختباره بنفسك على مهامك الخاصة. هذا هو موضوع المحطة الثالثة.
نقاط مراجعة
- اختبار عدة نسخ سرًّا والاحتفاظ بأفضل نتيجة فقط يضخم الدرجات
- توزيع غير متكافئ لبيانات المواجهات، فالشركات الكبرى مغلقة المصدر تحصل على المزيد
- التدريب على بيانات Arena يرفع درجات Arena، لكنه لا يعني تحسنًا شاملًا
مفاهيم خاطئة شائعة
«بما أن هناك انحيازات، فلوحات الترتيب بلا فائدة.» لا. فهي ما زالت نتائج اختبارات عمياء واسعة النطاق بأشخاص حقيقيين، ومفيدة جدًا لتضييق نطاق المرشحين. فقط لا تأخذ الفرق بين المركزين 1 و3 على محمل الجد.
«انخفاض ترتيب النماذج مفتوحة المصدر يعني أنها غير مؤهلة.» الأرقام أعلاه تبيّن أن النماذج مفتوحة الأوزان تحصل على بيانات مواجهات أقل بكثير، فنقطة البداية مختلفة أصلًا.
القسم التالي
تبحث عن ذكاء اصطناعي لكتابة الأكواد وتنفيذ المهام؟ هناك تصنيف مخصص لذلك: اختيار ذكاء اصطناعي للعمل، كيف تقرأ تصنيف الوكلاء.