أنشئ مجموعة تقييم خاصة بك
ضع الأسئلة من الأشياء التي ستقوم بها فعلاً، وأجب على كل سؤال بكل نموذج مرشح بالإعدادات نفسها، وقيّم وفق معايير محددة مسبقاً. هذا أقرب إلى تجربتك الفعلية من أي لوحة تصنيفات. بعد إكمال هذا القسم، سيكون لديك جدول: عشرات الأسئلة، وعدة نماذج، ودرجة في كل خانة.
قبل أن تبدأ
- مهمة محددة، مثل "تصنيف رسائل العملاء" أو "صياغة محضر الاجتماع في وثيقة رسمية"
- نموذجان إلى ثلاثة نماذج مرشحة، جميعها قابلة للاستدعاء
- برنامج جداول بيانات
الخطوة 1: اختر الأسئلة من عملك الحقيقي
لا تؤلّف الأسئلة بنفسك. راجع سجلات عملك السابقة واستخرج المدخلات التي ظهرت فعلاً: رسائل العملاء، ومحاضر الاجتماعات، ورسائل الأخطاء.
عند اختيار الأسئلة، راعِ ثلاث فئات:
| النوع | النسبة المقترحة | السبب |
|---|---|---|
| الأسئلة الشائعة | الأغلبية | تحدد التجربة اليومية |
| الصعبة والحدّية | جزء منها | تكشف الفروق بين النماذج |
| التي سبق أن أخطأت فيها | بضعة أسئلة | الإخفاقات التي تهمك أكثر |
ابدأ بعدد أسئلة من 30 إلى 50 سؤالاً. الدرس الثالث سيشرح لماذا لا يمكن كشف الفروق إذا كانت الأسئلة قليلة جداً.
ينبغي أن تحصل على: قائمة أسئلة، كل سؤال فيها هو مدخل حقيقي.
- اخترت ما لا يقل عن 30 سؤالاً حقيقياً
الخطوة 2: اكتب مسبقاً ما يُعتبر "إجابة صحيحة"
اكتب المعايير أولاً، ثم انظر إلى الإجابات. إذا حددت المعايير بعد رؤية الإجابات، ستميل لا شعورياً إلى النموذج الذي تفضله.
اختر طريقة التقييم حسب نوع المهمة:
| المهمة | طريقة التقييم |
|---|---|
| التصنيف والاستخراج وما له إجابة معيارية | مقارنة بالإجابة المعيارية، صحيح يعني 1 وخطأ يعني 0 |
| كتابة الشيفرة | تشغيل الاختبارات، النجاح يعني صحيح |
| الكتابة والتلخيص والإجابات المفتوحة | ضع من 3 إلى 5 بنود فحص، مثل "لم يُفوّت أي قرار" و"لم يختلق أرقاماً"، تحصل على درجة بعدد البنود المتحققة |
اختبر معرفتكطلبت أولاً من نموذجين كتابة محضر اجتماع لكل منهما، وبعد قراءتهما رأيت أن A أفضل، ثم حددت معايير التقييم بناءً على ذلك. ما المشكلة؟
- لكل سؤال معيار صحة مكتوب مسبقاً
الخطوة 3: شغّل كل نموذج بالإعدادات نفسها
يجب أن يجيب كل نموذج في الظروف نفسها، وإلا فأنت لا تقارن النماذج:
- نص المطالبة نفسه، ونظام المطالبة نفسه
- نفس درجة الحرارة وبقية المعاملات
- ضع كل سؤال في محادثة جديدة، لتجنب تأثير المحتوى السابق على ما يليه
في المهام المفتوحة، يمكنك ترك كل نموذج يجيب على السؤال نفسه عدة مرات. إجابات النموذج ستختلف في كل مرة، والإجابة عدة مرات تكشف مدى ثباته.
ينبغي أن تحصل على: إجابة واحدة على الأقل لكل سؤال ولكل نموذج.
- جميع النماذج استخدمت نص المطالبة والمعاملات نفسها
الخطوة 4: تقييم أعمى وتسجيل النتائج في جدول
أثناء التقييم، أخفِ أسماء النماذج وانظر إلى الإجابات فقط. يمكنك أن تطلب من زميل خلط الترتيب.
شكل الجدول:
| رقم السؤال | النوع | النموذج A | النموذج B | النموذج C |
|---|---|---|---|---|
| 1 | شائع | 1 | 1 | 0 |
| 2 | صعب | 0 | 1 | 0 |
| … | ||||
| متوسط |
أضف عمودين آخرين يهمّانك: كم أنفقت من المال على كل سؤال، وكم انتظرت. أفضل نموذج ليس بالضرورة الأكثر جدوى.
- لديّ جدول درجات للأسئلة × النماذج
نقطة تفتيش
- الأسئلة مأخوذة من عمل حقيقي، وتشمل أسئلة شائعة وصعبة وأسئلة سبق أن أخطأت فيها
- معيار الحكم على الإجابة الصحيحة مكتوب قبل النظر إلى الإجابات
- التوجيهات والمعاملات متطابقة تمامًا لكل نموذج
- لا يظهر اسم النموذج أثناء التصحيح
لم تنجح؟
** الدرجات متقاربة كلها.** الأسئلة سهلة جدًا أو قليلة جدًا. أضف أسئلة صعبة أكثر، وزد عدد الأسئلة إلى الحد الذي يسمح بتمييز الفروق، انظر كم فرقًا في الدرجات يُعد فرقًا حقيقيًا.
** تصحيح الأسئلة المفتوحة متعب جدًا.** صحّح يدويًا عشرة أسئلة أو نحوها أولًا، ثم جرّب الاستعانة بالذكاء الاصطناعي في التصحيح، وستتناول الفقرة التالية مخاطره.
الفقرة التالية
تصحيح الأسئلة المفتوحة يدويًا متعب، فهل يمكن أن يكون الذكاء الاصطناعي هو الحكم؟ استخدام الذكاء الاصطناعي لتقييم الذكاء الاصطناعي.