Skip to content

ماذا تقيس الاختبارات الشائعة ​

الاختبار هو مجموعة أسئلة ثابتة. تختلف طريقة إعداد الأسئلة في MMLU-Pro وGPQA وSWE-bench وHLE المدرجة عند إصدار النموذج اختلافًا كاملًا. عندما تفهم ما تقيسه، ستعرف أي درجة تخصك وأي درجة يمكنك تجاهلها.

ماذا ستستطيع فعله بعد التعلم ​

  • أن تشرح ما يقيسه كل من الاختبارات الأربعة الشائعة
  • أن تختار بناءً على مهامك الدرجة الجديرة بالاهتمام

الاختبارات الأربعة في جدول واحد ​

الاختبارماذا يقيسالأسئلةالميزات
MMLU-Proمعرفة واستدلال متعدد التخصصاتأسئلة اختيار من متعدد متعددة المهاماقترحته جامعة واترلو، أصعب وأكثر متانة من نسخة MMLU الأصلية
GPQAمسائل صعبة في الأحياء والفيزياء والكيمياء448 سؤال اختيار من متعدد، كتبها خبراء في المجاللا يمكن العثور على الإجابات عبر الإنترنت
SWE-benchإصلاح مشكلات في مستودعات أكواد حقيقية2,294 مشكلة، من 12 مستودع Python شائعيتطلب تعديل الكود، وتُحدد الصحة بتشغيل الاختبارات
HLEمسائل على حدود المعرفة الإنسانية2,500 سؤالًا، عبر عشرات التخصصات، وتشمل أسئلة بالصورالإجابات محددة لكنها غير قابلة للبحث

MMLU-Pro: معرفة بالإضافة إلى الاستدلال ​

كان MMLU أكثر اختبار معرفة شيوعًا، لكن النماذج الشائعة تجاوزت عليه نسبة 90% من الإجابات الصحيحة، فلم يعد يميز بينها. MMLU-Pro نسخة أصعب وأكثر متانة اقترحتها جامعة واترلو (arXiv 2406.01574).

حللت الورقة البحثية أسباب أخطاء النماذج: أخطاء الاستدلال تشكل 39%، ونقص معرفة معينة يشكل 35%، وأخطاء الحساب تشكل 12%. لذا فهو لا يقيس الحفظ فحسب، بل للاستدلال فيه وزن كبير.

لمن يناسب النظر إليه: تكون مهامك أسئلة وأجوبة عامة أو مساعدًا معرفيًا.

GPQA: أسئلة علمية لا يمكن العثور على إجاباتها عبر الإنترنت ​

يضم GPQA 448 سؤال اختيار من متعدد في الأحياء والفيزياء والكيمياء، كتبها جميعًا خبراء في المجال. ما مدى صعوبته:

  • حاصلو الدكتوراه في المجالات ذات الصلة (بمن فيهم طلاب الدكتوراه) نسبة إجاباتهم الصحيحة 65%، وبعد استبعاد الأخطاء الواضحة التي اعترفوا بها لاحقًا تصبح 74%
  • أشخاص ذوو مستوى عالٍ من مجالات أخرى، يقضون في المتوسط أكثر من 30 دقيقة لكل سؤال مع حرية استخدام الإنترنت، لا يصلون إلا إلى 34%
  • خط أساس GPT-4 الأقوى وقت نشر الورقة كان 39%

يسمي المؤلفون هذا النوع من الأسئلة "Google-proof": البحث لا يفيد.

لمن يناسب النظر إليه: تحتاج مهامك إلى استدلال علمي متخصص.

اختبر معرفتكفي GPQA يمكن لغير الخبراء تصفح الإنترنت بحرية، ومع ذلك نسبة إجاباتهم الصحيحة 34% فقط. ماذا يعني ذلك؟

SWE-bench: إصلاح أخطاء حقيقية ​

يضم SWE-bench 2,294 مشكلة في هندسة البرمجيات، مأخوذة من مشكلات GitHub حقيقية ومطابقاتها من طلبات دمج الإصلاح في 12 مستودع Python شائع. يجب على النموذج قراءة مستودع الكود وتعديله لحل المشكلة. نُشرت الورقة في ICLR 2024، وحلّ Claude 2 الأفضل حينها 1.96% فقط.

أكبر فرق بينه وبين الاختبارين السابقين: ليس أسئلة اختيار من متعدد، بل عمل حقيقي. تُحدد الصحة بتشغيل اختبارات المستودع نفسه.

SWE-bench Verified في جدول الإصدار، لم تعد OpenAI تُبلغ عنه ​

ما تراه أكثر في جداول إصدارات النماذج هو SWE-bench Verified: مجموعة فرعية من 500 مسألة نقّحها فريق OpenAI بالتعاون مع فريق SWE-bench من النسخة الأصلية. كانت "النجم القطبي" لقياس القدرة على البرمجة، لكن النماذج المتقدمة تسجل عليها عادة نحو 80%، وبعدها توقفت تقريبًا عن التحرك.

في 2026-02-23، أعلنت Mia Glaese و Olivia Watkins، باحثتان في OpenAI شاركتا في إعداد Verified، في مقابلة على Latent Space: لم تعد OpenAI تُبلّغ عن SWE-bench Verified، بل تروّج بدلًا منها لـ SWE-bench Pro. السببان هما:

  1. كثير من المسائل المتبقية مستحيلة الحل أصلًا. كلّفت OpenAI مزيدًا من المهندسين بمراجعة 138 مسألة إشكالية، فوجدوا أن أكثر من 60% منها بلا حل: 49 منها اختباراتها ضيقة جدًا فتُرفض حتى التعديلات الصحيحة؛ و26 منها اختباراتها واسعة جدًا وتتطلب وظائف لم يُذكر لها ذكر في نص المسألة.
  2. المسائل حُفِظت عن ظهر قلب. المسائل مأخوذة من مستودعات مفتوحة المصدر، وهذه المستودعات أصلًا تُستخدم كثيرًا في تدريب النماذج. اكتشفت OpenAI أن النماذج المتقدمة من مختلف الجهات تكتب رقعة الإصلاح الأصلية كما هي بمجرد الحصول على رقم المسألة.

لذلك، فارق نقطة أو نقطتين على Verified لم يعد يقول شيئًا عن من يكتب الكود أفضل. الصفحة الرئيسية لـ swebench.com ما تزال تعرض افتراضيًا لوحة Verified، فإذا رأيتها يجب أن تعرف هذه الخلفية.

لمن هذا: أنت تستخدم النماذج لكتابة الكود وإصلاح الأخطاء وبناء مساعد برمجي. عند قراءة جداول إصدارات الموردين، انظر أولًا بدقة هل المكتوب هو النسخة الأصلية أم Verified أم Pro، وهل إعدادات التقييم متطابقة.

HLE: أسئلة أُعدت لأقوى النماذج ​

يتضمن اختبار Humanity's Last Exam‏ (HLE) ‏2,500 سؤالًا تغطي عشرات التخصصات، وتضم أسئلة اختيار من متعدد وأسئلة إجابة قصيرة، بما في ذلك أسئلة بالصور. لكل سؤال إجابة واضحة، لكن لا يمكن الوصول إليها عبر بحث سريع.

سبب وضع هذه الأسئلة: في اختبارات الأداء الشائعة تجاوزت النماذج 90%، فلم تعد تكشف الفروق. أما في HLE، فما تزال دقة أحدث النماذج ومعايرتها (تقدير مدى ثقتها بإجاباتها) منخفضتين جدًا.

لمن هذا مفيد: أنت تريد معرفة الحد الأقصى للنماذج في أصعب الأسئلة. يمكنك تخطي هذه النتيجة للمهام اليومية.

  • أعرف الآن ما يقيسه كل اختبار من الاختبارات الأربعة

كيفية استخدام اختبارات الأداء ​

اختبر معرفتكتريد اختيار نموذج ليكون مساعدًا لمراجعة الكود. أي نتيجة تقييم يجب أن تنظر إليها أكثر؟

أربعة مبادئ:

  1. انظر فقط إلى الاختبارات القريبة من مهمتك. الدرجة العالية في مسائل العلوم الصعبة لا تعني جودة في كتابة نصوص تسويقية
  2. تتشبع درجات الاختبارات. عندما يتجاوز الجميع 90% يصبح فرق بضع نقاط بلا معنى يُذكر
  3. نتائج الاختبارات قد تتلوث. المسائل تسربت إلى بيانات التدريب، وقد يكون النموذج "يحفظ" الإجابات، وSWE-bench Verified مثال على ذلك
  4. نتائج الاختبارات مسائل وضعها آخرون. في النهاية عليك الاختبار بمسائلك أنت، انظر المحطة التالية
  • أعرف لماذا ينبغي أخذ الدرجات العالية على SWE-bench Verified بتحفظ

نقطة تفتيش ​

  • MMLU-Pro: المعرفة والاستدلال، ويشكل الاستدلال 39% من الأخطاء
  • GPQA: ‏448 سؤالًا علميًا من مستوى الخبراء، يحرز حملة الدكتوراه 65%، بينما لا يتجاوز غير الخبراء مع الإنترنت 34%
  • SWE-bench: 2,294 issue حقيقي، يتطلب تعديل الكود لاجتياز الاختبارات؛ ومجموعتها الفرعية من 500 مسألة أي Verified تخلّت عنها OpenAI (اختبارات سيئة + تلوث)
  • HLE: ‏2,500 سؤالًا متقدمًا صعبًا، ودرجات النماذج فيه ما تزال منخفضة

مفاهيم خاطئة شائعة ​

"كلما زادت درجات الاختبارات كان النموذج أفضل." ما تقيسه الاختبارات يختلف كثيرًا بينها، فالجمع بينها بلا معنى. اختر ما يتعلق بك.

"الاختبارات علنية، إذن الدرجات قابلة للمقارنة حتمًا." قد تختلف الرموز التوجيهية وعدد مرات أخذ العينات والسماح بالأدوات من مزود لآخر. عند المقارنة تحقق من أنها الإعدادات نفسها.

القسم التالي ​

أكثر اختبار أداء موثوقية هو الأسئلة التي تضعها بنفسك: أنشئ مجموعة تقييم خاصة بك.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.