Skip to content

تقييم الذكاء الاصطناعي بواسطة الذكاء الاصطناعي ​

موثوق بشكل أساسي، لكن لديه عدة انحيازات ثابتة، يجب تصحيحها قبل الاستخدام. في ورقة 2023 بعنوان «Judging LLM-as-a-Judge» (arXiv 2306.05685) تمت مقارنة حكم الذكاء الاصطناعي بالبشر: النماذج القوية مثل GPT-4 عندما تعمل كحكم، تتجاوز نسبة توافقها مع تفضيلات البشر 80%، وهو ما يعادل نسبة التوافق بين البشر وبعضهم. البيانات مأخوذة من 3 ألف صوت من الخبراء و3 ألف صوت من المصادر الجماعية.

الورقة نفسها تسرد أيضًا عيوبه.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • ذكر ثلاثة انحيازات لحكم الذكاء الاصطناعي
  • إضافة التصحيحات المناسبة إلى تقييمك الخاص

الانحياز الأول: انحياز الموضع ​

ينحاز الحكم إلى الإجابة في موضع معين. مثال الورقة: جعل GPT-4 يقارن بين إجابات GPT-3.5 وVicuna-13B. عندما توضع إجابة GPT-3.5 في المقدمة، اعتبر GPT-4 أنها أكثر تفصيلًا وأفضل؛ وعند تبديل موضع الإجابتين، تغير الحكم.

التصحيح: قارن كل زوج من الإجابات مرتين، مع تبديل الترتيب في المرة الثانية. يُعتد بالاستنتاج فقط إذا اتفقت المرتان، وإلا يُسجل كتعادل.

اختبر معرفتكطلبت من الحَكَم مقارنة A وB: عندما تكون A في المقدمة يحكم لصالح A، وبعد التبديل عندما تكون B في المقدمة يحكم لصالح B. كيف يجب تسجيل ذلك؟

  • تقييمي يقارن مرتين مع تبديل الترتيب

الانحياز الثاني: انحياز الطول ​

يفضل الحكم الإجابات الأطول، حتى لو كان المحتوى الإضافي عديم الفائدة. وهذا هو نفس الأمر المتعلق بتفضيل الأسلوب في تصويت البشر على Arena.

التصحيح: اكتب في معايير التقييم «لا تُمنح درجات إضافية بسبب الطول»؛ أو قيّد طول الإجابات المرشحة في التعليمات؛ وعند المقارنة سجّل عدد الكلمات في الجانبين لترى إن كان الأطول يفوز دائمًا.

الانحياز الثالث: الانحياز الذاتي ​

قد ينحاز الحكم إلى الإجابات التي كتبتها نفسها أو نموذج من نفس العائلة.

التصحيح: لا تستخدم كحكم أيًا من النماذج المرشحة. إذا كان لا بد من ذلك، فاستخدم حكمين من عائلتين مختلفتين وتحقق من اتفاق الاستنتاج.

نقطة إضافية: قدرة استدلال محدودة ​

تشير الورقة إلى أن الأسئلة التي لا يستطيع الحكم نفسه حلها يصعب عليه الحكم فيها بشكل صحيح، مثل أسئلة الرياضيات والاستدلال.

التصحيح: الأسئلة ذات الإجابات النموذجية تُقارن مباشرة بالإجابة، دون استخدام حكم الذكاء الاصطناعي. اترك الحكم للأسئلة المفتوحة مثل الكتابة والتلخيص.

  • أعرف أي الأسئلة لا يجب إسنادها إلى حكم الذكاء الاصطناعي

كيف تدمجه في تقييمك ​

  1. قيّم يدويًا أولًا بضعة عشر سؤالًا
  2. دع حكم الذكاء الاصطناعي يقيّم نفس الأسئلة وفق المعايير نفسها
  3. قارن النتيجتين، وإذا كانت نسبة التوافق مرتفعة بما يكفي فدع الحكم يقيّم الأسئلة المتبقية
  4. عند التقييم: قارن مرتين مع تبديل الترتيب، ولا تستخدم النماذج المرشحة كحكم، والأسئلة ذات الإجابات النموذجية لا تُسند إليه

نقاط المراجعة ​

  • النماذج القوية كحكم، نسبة التوافق مع البشر تتجاوز 80%
  • ثلاثة انحيازات: الموضع، الطول، الانحياز الذاتي
  • التصحيحات: تبديل الترتيب، عدم منح درجات بسبب الطول، تغيير الحكم إلى عائلة أخرى
  • الأسئلة ذات الإجابات النموذجية تُقارن مباشرة

مفاهيم خاطئة شائعة ​

«حصول الإجابة على 9 درجات من الحكم يعني أنها جيدة جدًا.» تتأثر الدرجات المطلقة كثيرًا بالتعليمات. عند مقارنة نموذجين، استخدام «مقارنة ثنائية لمن هو أفضل» أكثر ثباتًا من «منح كل منهما درجة».

«نسبة التوافق 80% مرتفعة، يمكن الاستغناء تمامًا عن البشر.» قد تتركز النسبة المتبقية 20% تحديدًا في الأسئلة الصعبة التي تهمك أكثر. قم بفحص عينات يدويًا قبل الاستخدام.

القسم التالي ​

بعد انتهاء التقييم، حصل A على متوسط 82 درجة، وB على متوسط 79 درجة. هل A أفضل حقًا؟ كم فرق الدرجات يُعتبر فرقًا حقيقيًا.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.