Skip to content

كم فرق النقاط يُعد فرقًا حقيقيًا ​

انظر إلى عدد الأسئلة. مع 100 سؤال ومعدل إجابة صحيحة حوالي 80%، تتذبذب النقاط نفسها بحوالي 8 نقاط مئوية موجبة وسالبة. إذا حصل A على 82 و B على 79، فمن المرجح أن هذا الفرق البالغ 3 نقاط مجرد حظ.

تناول مقال Anthropic لعام 2024 بعنوان «Adding Error Bars to Evals» (arXiv 2411.00640) هذه المسألة تحديدًا: التقييم هو في الواقع تجربة. أسئلتك ليست سوى حفنة صغيرة مستخرجة من «جميع الأسئلة الممكنة»، وإذا غيّرت مجموعة الأسئلة، ستتغيّر النقاط.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • حساب نطاق الخطأ لنقاط تقييمك بمعادلة واحدة
  • تحديد ما إذا كان الفرق بين نموذجين حقيقيًا
  • معرفة كيفية الحصول على استنتاجات أكثر موثوقية بعدد أقل من الأسئلة

مشكلة الصناعة المزمنة ​

يشير المقال إلى أن العادة السائدة في الصناعة هي «الأعلى نقاطًا هو الأفضل»، حيث يُغلَّظ الخط على أعلى نتيجة دون فحص ما إذا كان الفرق ذا دلالة. وقد روّج Chatbot Arena لفواصل الثقة، لكن خطوط الخطأ غائبة بوضوح في تقييمات الأسئلة والأجوبة التقليدية.

لا ترتكب هذا الخطأ في تقييماتك الخاصة.

الخطوة 1: حساب نطاق الخطأ ​

بالنسبة لمتوسط النقاط p في أسئلة الصح والخطأ (كل سؤال 0 أو 1)، يكون الخطأ المعياري:

الخطأ المعياري = √( p × (1 − p) ÷ n )
نطاق الخطأ بنسبة 95% ≈ موجب وسالب 1.96 × الخطأ المعياري

n هو عدد الأسئلة. بافتراض معدل إجابة صحيحة 80%:

عدد الأسئلةالخطأ المعيارينطاق الخطأ بنسبة 95%
505.7 نقطة مئويةحوالي ±11
1004.0 نقطة مئويةحوالي ±8
4002.0 نقطة مئويةحوالي ±4
10001.3 نقطة مئويةحوالي ±2.5

يجب زيادة عدد الأسئلة 4 أضعاف حتى يصغر نطاق الخطأ إلى النصف.

اسحبهاكم نقطة فرق يُعد فرقًا حقيقيًاحساب فوري وفق صيغة الدرس

لا يمكن تحديد الأفضل

差 4 نقطة مئوية؛50 سؤالًا، يبلغ هامش الخطأ لفرق النموذجين حوالي ±16.2。 الفرق يقع ضمن نطاق الخطأ، وبمجموعة أسئلة أخرى قد ينعكس الترتيب.

جرّب: أبقِ 80% و76% كما هما، فقط اسحب عدد الأسئلة من 50 إلى 1000.

اختبر معرفتكاختبرت نموذجين بـ 50 سؤالاً، وكانت دقة A هي 80% وB هي 76%. هل يمكن القول إن A أفضل؟

  • حسبتُ نطاق الخطأ لتقييمي الخاص

الخطوة 2: تصغير الخطأ بالمقارنة الزوجية ​

المعادلة أعلاه تتعامل مع النموذجين كأن كلاً منهما خاض اختبارًا مستقلًا. لكن في تقييمك، يجيب النموذجان عن نفس مجموعة الأسئلة. هنا يمكن المقارنة سؤالًا بسؤال: احسب لكل سؤال «نقاط A ناقص نقاط B».

يتناول المقال التحليل الزوجي تحديدًا: صعوبة السؤال نفسه تؤثر على النموذجين معًا، والطرح سؤالًا بسؤال يلغي هذا الجزء، فيكون الخطأ عادةً أصغر من الحساب المنفصل.

الطريقة: أضف عمودًا «A − B» إلى جدول التقييم، تكون قيمته لكل سؤال 1 أو 0 أو −1، ثم انظر إلى متوسط هذا العمود وخطئه.

  • يوجد في جدول تقييمي عمود لفرق النقاط سؤالًا بسؤال

الخطوة 3: الإجابة عن الأسئلة المفتوحة عدة مرات ​

النموذج يجيب بشكل مختلف في كل مرة، وهذا أيضًا مصدر للتذبذب. ومن بين طرق تقليل التباين التي يذكرها المقال: أخذ عينات متكررة من نفس السؤال ثم حساب المتوسط.

في الأسئلة المفتوحة، اجعل كل نموذج يجيب عن كل سؤال حوالي 3 مرات وخذ متوسط النقاط؛ فهذا أكثر استقرارًا من الإجابة مرة واحدة فقط.

الخطوة 4: الانتباه إلى الأسئلة المتجمعة ​

إذا كانت أسئلتك متجمعة، مثلًا 5 أسئلة من نفس المقال، فإن صواب وخطأ هذه الأسئلة الـ5 يتغيّر غالبًا معًا. يسمي المقال ذلك «الأسئلة المتجمعة» (clustered)، وحينئذ يكون الخطأ الحقيقي أكبر مما تحسبه المعادلة أعلاه.

معالجة مبسطة: تعامل مع كل مجموعة كسؤال واحد كبير، وقدّر الخطأ بناءً على عدد المجموعات وليس عدد الأسئلة.

نقطة تفتيش ​

  • نطاق الخطأ ≈ ±1.96 × √(p(1−p)/n)
  • حوالي 100 سؤال تعني ±8 نقطة مئوية تقريبًا، وفرق بضع نقاط لا يعني شيئًا
  • استخدم مقارنة زوجية لنفس مجموعة الأسئلة، فالخطأ يكون أصغر
  • أعد أخذ العينات للأسئلة المفتوحة، واحسب الأسئلة المجمعة حسب المجموعات

مفاهيم خاطئة شائعة ​

"أسئلة التقييم لديّ قليلة، لكنها منتقاة بعناية، لذا فهي موثوقة." الانتقاء الدقيق يجعل الأسئلة أقرب إلى المهمة، لكنه لا يقلل التقلبات العشوائية. قلّة الأسئلة تعني خطأً أكبر.

"فرق 1 نقطة في لوحة الترتيب له معنى." تحقق أولًا مما إذا كانوا قد قدّموا نطاق خطأ. تقدم Arena فترة ثقة، بينما كثير من جداول نتائج الاختبار لا تفعل.

القسم التالي ​

بعد اختيار النموذج، كيف تتأكد من أن واجهة API التي تستدعيها هي النموذج نفسه فعلًا؟هل يمكن استبدال النموذج في واجهة API.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.