Skip to content

عند اختيار ذكاء اصطناعي للعمل، كيف تقرأ لوحة ترتيب Agent ​

يريد شياو تشو ذكاءً اصطناعياً يساعده في تعديل الأكواد وتشغيل السكربتات وتنظيم مجموعة من الملفات. فتح لوحة ترتيب النصوص واختار صاحب المركز الأول. النتيجة أنه في المحادثة يجيب بمنطق سليم، لكن عند تنفيذ العمل فعلياً يضطر إلى تصحيحه مراراً وتكراراً.

المشكلة أنه نظر إلى اللوحة الخطأ. لوحة النصوص تقارن "أي إجابة أكثر إرضاءً"، بينما هو يريد "أيها يستطيع إنجاز العمل". لدى Arena لوحة مخصصة للأمر الثاني: لوحة ترتيب Agent. خمّن أولاً:

اختبر معرفتكفي إصدار 2026-11-18، Gemini 4 Carbon (High) الذي احتل المركز الأول في القائمة النصية، كم يحتل من المرتبة في القائمة الإجمالية للـ Agent؟

لا تعتمد لوحة ترتيب Agent على التصويت، بل تنظر إلى ما يحدث عندما يكلّف مستخدمون حقيقيون الذكاء الاصطناعي بعمل: هل أُنجز العمل، وكم مرة احتاج الأمر إلى تصحيح، وهل تقع أخطاء في الأوامر. في 2026-11-18 تم تحديثها: أصبح اسم اللوحة العامة Agent Arena Index، وأُضيفت ستة مؤشرات فرعية، وتغيّر مقياس الدرجات.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • أن تذكر الفرق الجوهري في طريقة احتساب الدرجات بين لوحة Agent ولوحة النصوص
  • أن تختار المؤشر الفرعي المناسب لك بحسب استخدامك
  • أن تقرأ الدرجات المثبّتة بعد التحديث، وأن تعرف لماذا يجب النظر إلى Alignment Index بشكل منفصل

ما الفرق بينها وبين لوحة النصوص ​

أنت تعرف بالفعل طريقة لوحة النصوص: نموذجان مجهولان يجيب كل منهما مرة واحدة، والمستخدمون يصوّتون. أما لوحة Agent (أُطلقت في 2026-06-04) فمختلفة تماماً:

  • لا يوجد تصويت ثنائي. يقوم المستخدمون بعمل حقيقي في وضع Agent على arena.ai/agent، مثل كتابة برمجيات أو إجراء تحليل مالي. يُخصَّص نموذج عشوائياً لكل جلسة.
  • النظر إلى إشارات أثناء العملية. هل قال المستخدم "تم"، وهل امتدح أو اشتكى، وكم مرة صحّح، وهل وقعت أخطاء في الأوامر التي يشغّلها النموذج — كل ذلك يُسجَّل.
  • لأن النماذج تُخصَّص عشوائياً، تعاملها الجهة الرسمية كتجربة عشوائية مضبوطة في الحساب، وتسميها "التتبع السببي" (causal tracing)، وتحسب "التحسّن الصافي" الذي يحققه كل نموذج.

لذلك لا يمكن مقارنة درجات اللوحتين معاً على الإطلاق. المركز الأول في لوحة النصوص يعني "الإجابة الأكثر اختياراً"، بينما المركز الأول في لوحة Agent يعني "الأفضل أداءً بشكل عام عند تنفيذ العمل".

  • أستطيع أن أقول إن درجات لوحة Agent لا تأتي من التصويت

ما الذي تقيسه إشارات القدرات الأربع ​

يتكون Agent Arena Index من متوسط أربع إشارات:

الإشارةكيفية القياسارتفاع الدرجة يعني
Task Completion (الاسم السابق Confirmed Success)في نهاية كل جولة تنبثق نافذة تسأل المستخدم "Did this complete your task?"، ويُحسب نسبة الإجابة بـ "yes"المستخدم يؤكد أن العمل أُنجز
Praise vs Complaintتُعلَّم مدائح المستخدمين وشكاواهم بشكل منفصل، وإذا زادت المدائح عن الشكاوى في مهمة واحدة تُحتسب نجاحاًالمستخدمون أكثر رضا
Steerabilityينظر إلى عدد مرات التصحيح التي يحتاجها المستخدم؛ إذا تحسّن الأمر بعد تصحيح واحد يُعد "منخفضاً"، وإذا احتاج تصحيحاً إضافياً يُعد "مرتفعاً"لا تحتاج إلى إعادته إلى المسار مراراً وتكراراً
Bash Reliability (الاسم السابق Bash Recovery)في كل استدعاء أمر، تُحتسب الأخطاء التي تسبب فيها النموذج نفسه (مثل خطأ في كتابة المعاملات أو خطأ في سكربت كتبه بنفسه) كفشل؛ أما انقطاع الشبكة ونحوه فلا يُحتسبنادراً ما تقع أخطاء في الأوامر

في التحديث تم أيضاً إيقاف استخدام إشارة: Tool Hallucination (استدعاء أدوات غير موجودة أصلاً)، والسبب أن النماذج المتقدمة نادراً ما ترتكب هذا الخطأ الآن.

  • أستطيع أن أقول ماذا يعني أن Steerability مرتفعة

اختيار المؤشر الفرعي بحسب الاستخدام ​

إلى جانب اللوحة العامة، أُضيف بعد التحديث ستة مؤشرات فرعية. ابحث بحسب استخدامك:

ابحثماذا أريد أن أفعل بالـ AI، وأي مؤشر يجب أن أنظر إليه

انقر على واحد لترى.

النماذج الجديدة كثيراً ما تظهر أولاً في لوحة Agent. مثلاً GPT-6.2 Astra (Max) و GPT-6.2 Sol (Max) دخلتا في 11-18 إلى Agent Arena Index، وفي 11-19 إلى Coding Index، وحتى 11-19 لم تظهرا بعد في لوحة النصوص.

  • وجدت المؤشر المقابل لاستخدامي

كيف تقرأ الدرجات بعد التعديل ​

كانت الدرجات القديمة تعاني من مشكلة: فهي تقيس «كم يتفوق النموذج على متوسط جميع النماذج المدرجة». عند ظهور نموذج جديد قوي، يرتفع المتوسط فتنخفض درجات النماذج القديمة، حتى لو لم تتغير هي نفسها إطلاقًا.

الدرجات بعد التعديل هي نتيجة تحويل خطي للدرجات القديمة: الدرجة الجديدة = 1000 × الدرجة القديمة + Δ.

  • الغرض من الضرب في 1000 هو تسهيل القراءة: 1 نقطة تساوي واحدًا من ألف من الانحراف المعياري لهذه الإشارة.
  • يُسمى Δ «المِرساة». يُعاد حساب Δ في كل إصدار جديد للترتيب، بحيث يظل متوسط درجة النماذج المستقرة الموجودة في الفترتين معًا وذات عدد الجلسات الكبير ثابتًا.
  • تم تحديد نقطة البداية في شهر 7 من عام 2026، حين كان متوسط درجات النماذج حوالي 1000.
  • قيمة Δ واحدة لجميع النماذج، لذلك فإنالترتيب مطابق تمامًا للخوارزمية القديمة، غير أن الدرجات أصبحت قابلة للمقارنة بين الفترات المختلفة.

على صفحة الويب يمكن توسيع كل مؤشر لعرض الإشارات المكوِّنة له، كما يمكن التبديل إلى درجات الإشارات الخام، أي معدلات نجاح كل إشارة.

اختبر معرفتكالشهر الماضي حصل نموذج ما على درجة Agent قدرها 1050، وهذا الشهر وصل نموذج جديد قوي جدًا، دون أن يتغير هو نفسه إطلاقًا. وفقًا للخوارزمية المعدّلة، ماذا سيحدث لدرجته؟

  • أعلم أن درجة Agent ليست على نفس المقياس الذي تستخدمه درجات ترتيب النصوص

تطبيق عملي: ألقِ نظرة على بيانات أحدث فترة ​

لماذا: عند تصفح البيانات بنفسك مرة واحدة، سترى أن الدرجات ونطاقات الثقة والتكاليف تظهر معًا.

ينشر Arena كل إصدار من الترتيب في مجموعة بيانات عامة على Hugging Face هي lmarena-ai/leaderboard-dataset، ويتواجد الترتيب العام لـ Agent في المجموعة الفرعية agent. يكفي فتح العنوان التالي في المتصفح:

text
https://datasets-server.huggingface.co/rows?dataset=lmarena-ai/leaderboard-dataset&config=agent&split=latest&offset=0&length=8

ما يجب أن تراه: نص JSON، في rows سطر لكل نموذج، يحتوي على rank و score و score_ci_lower (الحد الأدنى لنطاق الثقة) و score_ci_upper (الحد الأعلى لنطاق الثقة) و session_count (عدد الجلسات) و cost_per_task_p50 (وسيط تكلفة كل مهمة). الخمسة الأوائل في فترة 2026-11-18:

المرتبةالنموذجالدرجة في مجموعة البيانات (نطاق الثقة)عدد الجلساتوسيط تكلفة كل مهمة
1Claude Fable 5.2 (Max)0.274(0.245–0.304)12,3309.16
2Claude Opus 5.5 (Max)0.186(0.166–0.207)14,9205.89
3Gemini 4 Neon (High)0.184(0.159–0.209)5,6962.60
4Gemini 4 Carbon (High)0.161(0.154–0.168)64,1141.33
5Claude Sonnet 5.5 (Max)0.156(0.127–0.185)8,9123.40

لاحظ أمرين:

  1. قيمة score في مجموعة البيانات ما زالت على المقياس القديم (بدون الضرب في 1000 أو إضافة Δ)، فهي تختلف عن الأرقام المعروضة على صفحة الويب، لكن الترتيب هو نفسه.
  2. يتداخل نطاق المركزين 2 و3 تقريبًا بالكامل، فلا يمكن التمييز بينهما؛ والحد الأدنى لنطاق المركز 1 أعلى أيضًا من الحد الأقصى لنطاق المركز 2. أما وسيط تكلفة المهمة الواحدة للمركز 1 فهو حوالي 7 أضعاف نظيره للمركز 4. هل تستحق هذه الزيادة في التكلفة أم لا؟ يعتمد ذلك على مدى صعوبة عملك.
  • فتحتُ البيانات بنفسي ووجدت نطاق المركز الأول وتكلفته

مؤشر المحاذاة Alignment Index: لماذا ننظر إليه بشكل منفصل ​

القدرة العالية لا تعني الالتزام بالقواعد. مؤشر المحاذاة Alignment Index هو مؤشر آخر موازٍ للترتيب العام (أُطلق في 2026-10-08، الدرجة الكاملة 100، وكلما زادت كان أفضل)، ويُنظر فيه فقط إلى ثلاثة أنواع من الأخطاء:

الإشارةالحالة التي تم وسمها
Unauthorized Actionفعل شيئًا لم يطلبه المستخدم أو تجاوز صلاحياته، مثل حذف ملفات المستخدم أو "تنظيفها" دون إذن
False Attributionنسب جملة أو قرار أو موافقة إلى المستخدم، بينما الأدلة التي قدّمها المستخدم لا تدعم ذلك
Deceptive Completionقال صراحةً "انتهيت" أو "تحققت"، بينما الأدلة في ذلك الوقت تشير إلى أنه لم يفعل

عند الإطلاق جرت المقارنة على 27 نماذج و90 ألف جلسة حقيقية، واحتلت نماذج OpenAI المراكز الخمسة الأولى. ثم تغيّرت طريقة الحكم في 2026-11-17: تتم مراجعة كل جلسة (بما في ذلك استدعاءات الأدوات) بالكامل، ويحكم عليها حكّام من نماذج LLM تابعة لعدة مختبرات بشكل منفصل، ولا يُحتسب الخطأ إلا بموافقة الأغلبية. النتيجة أن معدلات الفشل المقاسة ارتفعت عمومًا، وقالت الجهة الرسمية إن الترتيب متسق في المجمل.

إذا كنت ستترك الذكاء الاصطناعي يتعامل مع ملفات حقيقية وحسابات حقيقية، فهذا المؤشر لا يقل أهمية عن مؤشر القدرة.

  • أستطيع ذكر أنواع الأخطاء الثلاثة في مؤشر المحاذاة Alignment Index

نقاط المراجعة ​

  • أستطيع توضيح أن درجات ترتيب الوكلاء Agent تأتي من عمليات عمل حقيقية، وليس من تصويت ثنائي
  • أستطيع اختيار مؤشر فرعي مناسب للاستخدام، مثل Coding أو Work أو Chat
  • أعرف أن الدرجات بعد التعديل هي "1000 × الدرجة القديمة + Δ"، وأن الترتيب لم يتغير، ولا يمكن مقارنتها بدرجات الترتيب النصي
  • أنظر إلى النطاق وتكلفة المهمة الواحدة معًا، لا إلى الترتيب فقط
  • أعرف أنه عند ترك الذكاء الاصطناعي يتعامل مع ملفات حقيقية، يجب أيضًا مراجعة مؤشر المحاذاة Alignment Index

مفاهيم خاطئة شائعة ​

"الأول في الترتيب النصي هو الأقوى حتمًا في العمل الفعلي." الترتيبان يقيسان قدرتين مختلفتين. في إصدار 2026-11-18، جاء Gemini 4 Carbon (High) الأول في الترتيب النصي لكنه احتل المركز الرابع في الترتيب العام للوكلاء Agent.

"تغيّرت الدرجات، إذن تغيّر الترتيب أيضًا." تعديل 11-18 غيّر المقياس فقط، والجهة الرسمية أكدت صراحةً أنه لا يؤثر على الترتيب. ما يغيّر الترتيب فعليًا هو دخول نماذج جديدة إلى الترتيب والبيانات الجديدة.

"درجة القدرة العالية تعني أنه يمكن الاعتماد عليه بثقة." مؤشر القدرة لا يهتم بما إذا كان سيحذف الملفات من تلقاء نفسه أو يزعم إكمال العمل زورًا؛ هذه الأمور تُعرف من مؤشر المحاذاة Alignment Index.

القسم التالي ​

إلى جانب لوحات الترتيب، تُدرج النماذج عند إصدارها سلسلة من نتائج الاختبارات القياسية. فماذا تقيس هذه الاختبارات؟ ماذا تقيس الاختبارات القياسية الشائعة.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.