Skip to content

كيف تقرأ لوحة ترتيب LMArena ​

درجة LMArena ليست نتيجة اختبار، بل هي قوة نسبية محسوبة بعد أن يختار كثير من الناس بشكل أعمى "أي إجابة أفضل". لذلك عند قراءة اللوحة انظر إلى ثلاثة أشياء: الدرجة، وهامش الخطأ في الدرجة، وما إذا كان هذا الترتيب قد استبعد نقاط الإضافة الناتجة عن "طول الإجابة وتنسيقها المبهر".

ماذا ستستطيع أن تفعل بعد التعلم ​

  • أن تشرح من أين تأتي درجات Arena
  • عندما ترى درجتي نموذجين متقاربتين، أن تحكم على ما إذا كان لا يمكن فصل بينهما فعليًا
  • أن تعرف لماذا يتغير الترتيب عندما يكون "التحكم في الأسلوب" مفعّلًا أو معطّلًا

من أين تأتي الدرجات: مقارنات عمياء ثنائية ​

كان اسم Arena سابقًا Chatbot Arena، والآن تسمى Arena (arena.ai). طريقتها هي: تُدخل سؤالًا، فيجيب نموذجان مجهولان كل منهما بإجابة، ثم تصوّت لاختيار الأفضل. بعد التصويت يُكشف عن هوية النموذجين.

عند نشر الورقة البحثية، كانت المنصة قد جمعت أكثر من 240 ألف صوت. وقد تحقق المؤلفون: الأسئلة القادمة من الجمهور متنوعة بما يكفي، ونتائج التصويت متوافقة بدرجة عالية مع تقييمات الخبراء.

بعد توفر عدد كبير من سجلات "من تغلّب على من"، يُستخدم نموذج إحصائي (استخدمت الورقة نموذج Bradley-Terry) لتحويلها إلى درجة واحدة لكل نموذج. للدرجة معنى نسبي فقط: إنها تقول "هذا النموذج يُختار أكثر من ذاك لدى هذه الفئة من الناس وفي هذا النوع من الأسئلة".

الآن لم يعد Arena يحتوي فقط على لوحة تصنيفات نصية، بل يشمل أيضًا العديد من الميادين الأخرى مثل WebDev وVision وSearch وDocument وتوليد الصور من النص وتحرير الصور وتوليد الفيديو من النص وغيرها. إذا كنت تريد اختيار نموذج لكتابة الأكواد، فاذهب إلى WebDev بدلًا من اللوحة العامة؛ وإذا كنت تريد ذكاءً اصطناعيًا قادرًا على تشغيل الأوامر بنفسه وإنجاز العمل حتى النهاية، فراجع لوحة تصنيفات Agent.

  • أستطيع أن أقول من أين تأتي درجات Arena

النطاق المجاور للدرجة أهم ​

كل درجة تُقدَّر من عدد محدود من الأصوات، لذلك فيها خطأ. تقدم Arena فترات ثقة، وفي مجموعة البيانات الرسمية لكل نموذج rating (الدرجة) وrating_lower وrating_upper (الحد الأدنى والحد الأعلى للفترة)، بالإضافة إلى vote_count (عدد الأصوات).

احكم بهذه الطريقة:

الحالةكيف تقرأها
فترتا النموذجين لا تتداخلانالأعلى ترتيبًا مرجّح أنه فعلًا أكثر شعبية
فترتا النموذجين تتداخلان كثيرًالا يمكن فصل الأعلى من الأدنى، وترتيبهما قد يكون مجرد حظ
نموذج جديد بعدد أصوات قليلغالبًا ما تكون فترته أعرض، وترتيبه سيتغير بعد
اسحبهاكلما زاد التصويت، ضاق النطاقللتوضيح: الدرجات وعرض الفواصل هي قيم تجريبية
#1النموذج A
1450 ±10.0
#2النموذج B
1446 ±10.0

الفاصلان يتداخلان: لا يمكن تحديد الأقوى

حوالي 1000 صوتًا. فرق الدرجات 4 نقاط فقط،区间还重叠着,“第 1”和“第 2”可能只是运气。

اختبر معرفتكالنموذج A سجل 1450 نقطة، بفاصل 1440–1460؛ النموذج B سجل 1446 نقطة، بفاصل 1436–1456. أيهما أقوى؟

  • سأنظر إلى الفترة أولًا ثم إلى الترتيب

التحكم في الأسلوب: فصل "القول الجميل" عن "القول الصحيح" ​

يتأثر المصوّتون بمظهر الإجابة: الإجابات الأطول والتي تحتوي على عناوين وقوائم يُرجَّح اختيارها أكثر. درس فريق Arena هذا الأمر تحديدًا في تدوينة بتاريخ 2024/8/28: بعد التحكم في تأثير طول الإجابة وتنسيق Markdown، تغيّر الترتيب تغيّرًا واضحًا. كلمتهم الأصلية: "Style indeed has a strong effect on models' performance in the leaderboard" (الأسلوب فعلًا له تأثير قوي على أداء النماذج في اللوحة).

الهدف من التحكم في الأسلوب هو فصل تأثير الأسلوب عن تأثير المحتوى. عند تفعيله، يصبح ما تراه أقرب إلى "هل المحتوى نفسه جيد"؛ وعند تعطيله، ترى "من يفضّله المستخدمون العاديون فعليًا". كلاهما مفيد، حسب ما تريده:

  • إذا كنت ستعرض الإجابات على المستخدمين مباشرة، مثل خدمة العملاء أو مساعد الكتابة: انظر إلى اللوحتين معًا، واللوحة مع تعطيل التحكم في الأسلوب أقرب إلى الشعور الحقيقي
  • إذا أردت من النموذج محتوى دقيقًا ثم تقوم بالتنسيق بنفسك: أعطِ الأولوية للترتيب بعد التحكم في الأسلوب

اختبر معرفتكأنت تبني أداة داخلية، سيقوم البرنامج بتحليل مخرجات النموذج إلى جدول، والتنسيق غير مهم. أي ترتيب يجب أن تثق به أكثر؟

  • أعرف أي نوع من الترتيب ينبغي أن أنظر إليه

نقاط مراجعة ​

  • درجات Arena تأتي من تصويت على مقارنات ثنائية مجهولة، ثم تُحوَّل بنموذج إحصائي
  • انظر أولًا إلى تداخل فترات الثقة، ثم إلى ترتيب المراتب
  • عند اختيار نموذج متخصص اذهب إلى الساحة المقابلة له
  • التحكم في الأسلوب يغيّر الترتيب، اختر حسب استخدامك

مفاهيم خاطئة شائعة ​

"ارتفاع الدرجة بمقدار 10 نقاط يعني أنها أقوى بنسبة 10%." الدرجة مقياس للقوة النسبية، وليست نسبة مئوية، ولا يمكن تحويلها مباشرة إلى "كم أفضل في مهمتك".

"المرتبة 1 والمرتبة 2 تختلفان كثيرًا." عند تداخل الفترات، قد لا يمكن التمييز أصلًا بين المرتبتين 1 و2. الترتيب يقطع الدرجات المتصلة قطعًا قسريًا إلى أعداد صحيحة، مما يضخّم الفجوات الصغيرة.

"الأول في التصنيف العام، والأفضل أيضًا في كتابة الأكواد." التصنيف العام يمزج أنواعًا مختلفة من الأسئلة. راجع الساحة أو الفئة المقابلة لمهمتك.

القسم التالي ​

المتصدر الأول يتغير كثيرًا. ما مدى سرعة التغيير؟ القسم التالي يحسب ذلك باستخدام البيانات التاريخية الرسمية: كم يمكن للمركز الأول أن يصمد.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.