Skip to content

ما قصة تدهور ذكاء النماذج ​

أحيانًا حقيقي، وأحيانًا لا. قد يأتي شعور "أصبح أغبى مع الاستخدام" من أربعة أسباب: عطل في الخدمة الرسمية؛ تغيّر سلوك النموذج بعد التحديث؛ استبدال المحطة الوسيطة للنموذج؛ أو مجرد تقلب عشوائي طبيعي. للأسباب الثلاثة الأولى حالات واقعية موثقة علنًا. لا توجد سوى طريقة واحدة للتمييز: أعد الاختبار دوريًا بأسئلة ثابتة، واحكم بالأرقام.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • تذكر أربعة أسباب شائعة لـ"تدهور الذكاء"، مع مثال واقعي لكل منها
  • أعد الاختبار دوريًا بمجموعة تقييم خاصة بك لتحديد ما إذا كان هناك تراجع حقيقي
  • عند مواجهة تدهور الذكاء، اترك أدلة تساعد على التحقيق في السبب

السبب الأول: عطل في الخدمة الرسمية ​

في 2025 سنة 9 شهر 17 يوم، نشرت Anthropic مراجعة لحادث: من 2025 سنة 8 شهر إلى أوائل 9 شهر، ثلاثة أعطال في البنية التحتية خفّضت جودة إجابات Claude بشكل متقطع.

العطلماذا حدثالتأثير
خطأ في توجيه السياقأُرسلت بعض طلبات Sonnet 4 إلى خوادم مهيأة لسياق قدره 1000 ألف (مليون) tokenفي البداية 0.8% من الطلبات؛ في أسوأ ساعة يوم 31 من الشهر 8 بلغت 16%؛ نحو 30% من مستخدمي Claude Code تأثرت لديهم رسالة واحدة على الأقل
تلف في المخرجاتخطأ في تهيئة الخادم أعطى أحيانًا احتمالية عالية جدًا لأحرف لا ينبغي أن تظهرظهور أحرف تايلاندية أو صينية في الإجابات الإنجليزية، وأخطاء نحوية واضحة في الشيفرة
خطأ في المُصرِّفشيفرة تحسّن اختيار الكلمات فعّلت خطأً كامنًا في المُصرِّفنفس الطلب يعمل بشكل طبيعي مرة ويفشل في مرة أخرى

بعض التفاصيل الجديرة بالتذكر:

  • في البداية كان التمييز صعبًا. بدأ بعض المستخدمين في أوائل 8 شهر بالإبلاغ عن تراجع الإجابات، لكن الجهة الرسمية قالت إنه كان صعبًا في البداية التمييز بين هذه التقارير والتقلبات الطبيعية للآراء، ولم تبدأ التحقيق إلا في أواخر 8 شهر عندما ازدادت التقارير
  • بعضهم تعثر باستمرار، وبعضهم لم يتأثر إطلاقًا. التوجيه "لاصق": من أُرسل مرة إلى خادم خاطئ، فمن المرجح أن تذهب طلباته اللاحقة في نفس المحادثة إلى هناك. لذلك واجه بعض المستخدمين المشكلة مرارًا ولم يواجهها آخرون أبدًا، فتعارضت التقارير
  • التقييمات المعتادة لم تكتشفه. لم تلتقط اختبارات المعايير المعتادة والفحوص العشوائية هذا التدهور، ويرجع ذلك جزئيًا إلى أن النموذج كان غالبًا يستعيد نفسه من الأخطاء الفردية

قالت Anthropic صراحة في المقال: إنها لا تخفض جودة النموذج أبدًا بسبب الطلب أو الوقت أو حمل الخوادم، وأن المشكلة هذه المرة جاءت بالكامل من أعطال البنية التحتية.

اختبر معرفتكتشعر أن النموذج أصبح أغبأ، بينما يقول زميلك إن كل شيء طبيعي. وفقًا للحالة أعلاه، ماذا يعني ذلك؟

  • أعرف أن أعطال الخادم قد تؤثر على جزء من المستخدمين فقط

السبب الثاني: تحديث النموذج وتغيّر السلوك ​

قارن الباحثون Lingjiao Chen وMatei Zaharia وJames Zou بين نسختين من GPT-3.5 وGPT-4 في 2023 سنة 3 شهر و6 شهر (الورقة arXiv 2307.09009):

  • GPT-4 في تحديد ما إذا كان العدد أوليًا، تراجعت نسبة الإجابات الصحيحة من 84% إلى 51%. ويرجع ذلك جزئيًا إلى أنه أصبح أقل استعدادًا لاتباع تلميح "فكر خطوة بخطوة"
  • في المهمة نفسها، كان GPT-3.5 أفضل بكثير في 6 شهر
  • GPT-4 في 6 شهر أصبح أقل استعدادًا للإجابة على الأسئلة الحساسة، لكنه تحسّن في مسائل الاستدلال متعدد الخطوات
  • زادت أخطاء التنسيق عند كتابة الشيفرة في كلا النموذجين
  • تراجعت قدرة GPT-4 على اتباع التعليمات مع مرور الوقت

خلاصة الورقة هي: خدمة النموذج "نفسه" يمكن أن يتغير سلوكها بشكل كبير خلال وقت قصير نسبيًا، ويلزم مراقبة مستمرة. لاحظ أن التغيير ليس نحو الأسوأ دائمًا: بعض المهام تتحسن وبعضها تسوء. ما يهمك هو معرفة أي حال أصبحت عليه مهمتك أنت.

  • أعلم أن تحديث النموذج قد يحسّن بعض المهام ويسيّء إلى أخرى

السبب الثالث: الوسيط غيّر النموذج ​

كما ورد في الدرس الأول، سجّل الباحثون أن الوسطاء منخفضي السعر "يغشّون": يستبدلون النموذج المعلَن بنسخة قديمة أو نموذج أرخص. كتبت الباحثة Zilan Qian في مقالتها أن الأمر غالبًا لا ينكشف إلا في المهام المعقدة، ووصفه المستخدمون بأنه "تراجع في الذكاء".

إذا كنت تستخدم عبر وسيط API ولا تواجه التراجع إلا عند الوسيط، فاشتبه في هذا السبب أولًا.

السبب الرابع: مجرد تقلب عشوائي ​

إجابات النموذج تختلف أصلًا من مرة إلى أخرى. وما تتذكره غالبًا هو أردأ الإجابات في المرات الأخيرة. كما ذكرت مراجعة Anthropic أن التقارير الأولى كان يصعب فصلها عن التقلب الطبيعي.

طريقة الحكم وردت في كم فرقًا يُعد تراجعًا حقيقيًا: إذا كان الفرق يقع ضمن هامش الخطأ، فلا يمكن القول إن هناك تراجعًا.

اختبار ذاتي: هل تراجع ذكاؤه حقًا ​

الخطوة 1: جهّز مجموعة أسئلة إعادة اختبار ثابتة ​

اختر جزءًا من مجموعة التقييم واستخدمه نفسه في كل مرة لاحقًا، دون تغيير الأسئلة أو التعليمات أو المعاملات. كلما زادت الأسئلة، كان اكتشاف التغيرات الصغيرة أسهل.

ينبغي أن تحصل على: مجموعة أسئلة وإعدادات ثابتة لا تتغير.

  • لدي مجموعة أسئلة إعادة اختبار ثابتة

الخطوة 2: شغّلها دوريًا وسجّل التاريخ ​

شغّلها مرة كل فترة، وسجّل التاريخ واسم النموذج وقناة الاستدعاء (رسمية أم وسيط) والدرجة. إذا كان مزوّد الخدمة يوفر رقم إصدار ثابتًا مؤرَّخًا، فسجّل أي إصدار استخدمت.

ينبغي أن تحصل على: جدول "التاريخ × الدرجة".

الخطوة 3: عند الشعور بالتراجع، أعد الاختبار فورًا ​

  • استخدم الأسئلة نفسها، وشغّلها على القناة نفسها، وقارن بالدرجات التاريخية لترى ما إذا كان الفرق يتجاوز هامش الخطأ
  • ثم شغّلها على القناة الرسمية. إذا كان التراجع عند الوسيط فقط، فالأرجح أنه السبب الثالث
  • افتح محادثة جديدة وأعد المحاولة. إذا كانت المحادثة الجديدة طبيعية والمحادثة القديمة سيئة دائمًا، فقد تكون مشكلة من نوع "الالتصاق" في جهة الخدمة كما ورد أعلاه

اختبر معرفتكأظهرت إعادة الاختبار: واجهة الوسيط انخفضت كثيرًا عن الشهر الماضي، خارج نطاق الخطأ؛ ونفس الأسئلة على القناة الرسمية كانت مثل الشهر الماضي. ما هو السبب الأكثر ترجيحًا؟

الخطوة 4: احتفظ بالأدلة وقدّم ملاحظاتك إلى مزوّد الخدمة ​

قالت Anthropic في مراجعتها إن ما ساعدها على توضيح المشكلة هو التقارير المحددة من المستخدمين: التغيرات المحددة الملاحظة، وأمثلة على السلوك غير المتوقع، والأنماط الظاهرة في استخدامات مختلفة. عند تقديم الملاحظات أرفق:

  • التعليمات والإجابات المحددة
  • التاريخ والوقت اللذان حدث فيهما الأمر
  • مقارنة درجات إعادة الاختبار قبل وبعد

يمكن لمستخدمي Claude استخدام أمر /bug داخل Claude Code، أو الضغط على زر "غير مفيد" في تطبيق Claude لتقديم الملاحظات.

نقاط مراجعة ​

  • أربعة أسباب للتراجع في الذكاء: خطأ في الخدمة، تحديث النموذج، تغيير الوسيط للنموذج، تقلب عشوائي
  • خطأ الخدمة قد يؤثر على جزء من الطلبات فقط، لذلك يواجهه البعض ولا يواجهه آخرون
  • تحديث النموذج قد يحسّن بعض المهام ويسيّء إلى أخرى
  • أعد الاختبار دوريًا بأسئلة ثابتة، وقارن مفصلًا حسب القناة والمحادثة، حتى تستطيع تحديد ما إذا كان التراجع حقيقيًا

مفاهيم خاطئة شائعة ​

"التراجع في الذكاء كله متعمّد من الشركات، وعند الانشغال تخفّض الجودة سرًا." حالة التراجع التي راجعتها Anthropic علنًا سببها خطأ برمجي، وقد صرّحوا بأنهم لا يخفضون الجودة أبدًا بسبب الطلب أو التوقيت أو الحمل. وبدون بيانات إعادة اختبار، يصعب إرجاع الإحساس إلى أي سبب بعينه.

"التراجع في الذكاء كله وهم." الحالات أعلاه تُظهر أن التراجع قد يكون حقيقيًا، وأن التقييمات الرسمية الاعتيادية لم تكتشفه في الوقت المناسب أيضًا.

"أسأل النموذج: هل تراجع ذكاؤك؟ فأعرف." النموذج لا يعرف ما الذي حدث في الخدمة التي تعمل خلفه. الوسيلة الوحيدة هي إعادة الاختبار.

الخطوة التالية ​

ارجع إلى الصفحة الرئيسية للدورة، وابدأ من مهمة حقيقية لك، وقم بعملية اختيار كاملة: استخدم المتصدرات لتضييق النطاق، وقارن النتائج بأسئلتك الخاصة، وتأكد أن ما اشتريته هو نفسه، واختر مزوّد خدمة مستقرًا، ثم أعد الاختبار دوريًا بالأسئلة نفسها.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.