Skip to content

كيف تتحقق مما إذا كان الـ API أصليًا ​

الطرق التي يمكن للمستخدم العادي تنفيذها تكشف فقط الاستبدالات الكبيرة، ولا تكشف التغييرات الدقيقة مثل التكميم. استنتاج الباحثين هو أن الاعتماد على الكشف البرمجي وحده غير موثوق من حيث المبدأ؛ والضمان الموثوق حقًا يتطلب بيئة تنفيذ موثوقة (TEE) على مستوى العتاد. فيما يلي، من الأبسط إلى الأكثر صرامة، نظرة على ما يمكن لكل طريقة من الطرق الخمس أن تحققه.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • معرفة حدود قدرة كلٍّ من طرق الكشف الخمس
  • إجراء فرز أولي باستخدام مجموعة التقييم الخاصة بك
  • معرفة نوع الضمان الذي ينبغي مطالبة المزوّد به

الطرق الخمس في جدول واحد ​

تأتي الاستنتاجات من ورقة UC Berkeley بعنوان «Are You Getting What You Pay For?» (arXiv 2504.04715) وورقة Stanford بعنوان «Model Equality Testing» (arXiv 2410.20247).

الطريقةكيف تُنفَّذما تكشفهما لا تكشفه
سؤال الهويةسؤال النموذج «ما هو نموذجك؟»لا يكشف تقريبًا شيئًاعدد المعاملات، التكميم؛ نسبة الإجابة الصحيحة عن أسئلة المواصفات أقل من 5%
تشغيل المعايير القياسيةتشغيل معايير قياسية عامة على الـ API ومقارنتها بالدرجات الرسميةالاستبدال واسع النطاقالتغييرات الصغيرة مثل التكميم (فرق ضمن انحراف معياري واحد)
مقارنة المخرجات الجشعةضبط درجة الحرارة على 0، ومقارنة حرفية مع الأوزان الرسمية المشغّلة محليًااختلاف المخرجاتلا يفرّق بين الاستبدال واختلاف إعدادات الاستدلال، ويسهل أن يعطي إنذارات خاطئة
اختبار العينتينأخذ عينات من الـ API ومن النموذج المرجعي واختبار ما إذا كان التوزيعان متطابقينأنواع متعددة من التغييرات، وسيط القدرة الإحصائية 77.4%يتطلب الوصول إلى مخرجات النموذج المرجعي
بيئة التنفيذ الموثوقةيشغّل المزوّد النموذج داخل TEE ويصدر إثباتًاضمان تشفيرييتطلب تعاون المزوّد

الطريقة الأولى: سؤال الهوية ​

الأسهل، والأقل فائدة أيضًا. نتائج اختبارات الورقة: عادةً يذكر النموذج العائلة أو المطوّر فقط، ونادرًا ما يذكر عدد المعاملات أو حالة التكميم؛ وعند سؤاله مباشرة عن المواصفات، تكون نسبة النجاح أقل من 5%. وعندما يُعاد صياغة موجه النظام لانتحال هوية أخرى، لا تتعرف معظم النماذج على نفسها.

الاستنتاج: لا تستخدمها.

الطريقة الثانية: تشغيل المعايير القياسية، أو تشغيل مجموعة التقييم الخاصة بك ​

شغّل المعايير القياسية العامة على الـ API وقارنها بالدرجات المعلنة رسميًا. استنتاج الورقة: الكشف عبر المعايير القياسية يمكن أن يكشف الاستبدالات واسعة النطاق، مثل الاستبدال بنموذج أصغر بكثير؛ لكن الفرق بين النسخة المكمَّمة والنسخة الأصلية على MMLU وGSM8K وMATH وGPQA Diamond يكون عادةً ضمن انحراف معياري واحد من التشغيلات المتكررة، فيغطيه التقلب الطبيعي. كما أن عوامل مثل درجة الحرارة والتخزين المؤقت تجعل الحكم أصعب.

يمكنك استخدام مجموعة التقييم من الموقع الثالث بدلًا من المعايير القياسية العامة: شغّل الأسئلة نفسها على القناة الرسمية وعلى الـ API الذي تريد التحقق منه، واستخدم خطوط الخطأ للحكم على ما إذا كان الفرق حقيقيًا.

الاستنتاج: مناسبة لقيام المستخدم العادي بفرز أولي؛ تكشف «تم استبداله بنموذج صغير»، ولا تكشف «تم استبداله بنسخة مكمَّمة».

اختبر معرفتك你在中转 API 上跑了自己的评测集,分数和官方渠道只差 1 分,在误差范围之内。能说明什么?

  • أعلم أن تطابق درجات المعايير القياسية لا يعني أنه أصلي

الطريقة الثالثة: مقارنة المخرجات الجشعة ​

اضبط درجة الحرارة على 0، فيختار النموذج في كل مرة الكلمة التالية الأكثر احتمالًا، وينبغي أن تكون المخرجات حتمية. قارن مخرجات الـ API حرفيًا بمخرجات الأوزان الرسمية التي تشغّلها محليًا.

المشكلة هي أن عدم اليقين في الاستدلال بين المزوّدين المختلفين يجعل نموذجًا متطابقًا تمامًا يعطي مخرجات مختلفة، مما يسبب إنذارات خاطئة. كما أن هذه الطريقة تتطلب أن تكون قادرًا على تشغيل الأوزان الرسمية محليًا، فهي تنطبق فقط على النماذج ذات الأوزان المفتوحة.

الاستنتاج: تطابق المخرجات مؤشر جيد؛ أما الاختلاف فلا يعني الاستنتاج المباشر.

الطريقة الرابعة: اختبار العينتين ​

يتعامل أسلوب Stanford مع المسألة كاختبار إحصائي: تُؤخذ عيّنة من كل من الـ API والنموذج المرجعي، ويُختبر ما إذا كان الاثنان من التوزيع نفسه. الاختبار المستند إلى MMD الذي يستخدمونه، مع نواة سلاسل نصية بسيطة، يحتاج في المتوسط إلى نحو 10 عيّنة لكل موجه فقط، مع قوة إحصائية وسيطها 77.4% في كشف أنواع متعددة من الاستبدالات.

باستخدام هذه الطريقة، قاموا بتدقيق الـ APIs التجارية التي كانت تقدم 4 نماذج Llama في صيف 2024، فوجدوا أن 11 من بين 31 نقطة نهاية لها توزيع مخرجات مختلف عن الأوزان المرجعية التي أصدرتها Meta.

الخلاصة: الطريقة البرمجية الأكثر فعالية حاليًا، لكنها تحتاج إلى عيّنات من النموذج المرجعي، وهي مناسبة للفرق ذات القدرات التقنية لتدقيق النماذج ذات الأوزان المفتوحة.

الطريقة الخامسة: بيئات التنفيذ الموثوقة (TEE) ​

ترى ورقة Berkeley أن الطرق البرمجية البحتة غير موثوقة من حيث المبدأ: الاختبارات الإحصائية المستندة إلى النصوص المخرَجة تتطلب عددًا كبيرًا من الاستعلامات وغير فعّالة مع الاستبدالات الدقيقة؛ أما الطرق المستندة إلى اللوغاريتمات الاحتمالية فتُهزَم بسبب عدم اليقين المتأصل في الاستدلال في بيئات الإنتاج.

يدعون إلى استخدام بيئات التنفيذ الموثوقة: يعمل النموذج في بيئة معزولة عتاديًا، وتستطيع هذه البيئة إصدار إثبات تشفيري يوضح أي أوزان تعمل داخلها. ترى الورقة أن التكلفة الإضافية لذلك ليست كبيرة.

الخلاصة: الطريقة الوحيدة القادرة على تقديم ضمانات موثوقة، لكنها تتطلب دعم المزوّد. ما يمكنك فعله هو أن تسأل المزوّد عما إذا كان يقدم هذا النوع من الإثباتات.

إلى أي مدى يمكن للمستخدم العادي الوصول ​

  1. استخدم مجموعة تقييم خاصة بك وشغّلها مرة على القناة الرسمية ومرة على الـ API المراد التحقق منه
  2. احكم على الفرق باستخدام أشرطة الخطأ؛ إذا كان الفرق واضحًا فالأرجح أنه ليس النموذج نفسه
  3. عدم وضوح الفرق لا يعني سوى غياب الاستبدالات الكبيرة
  4. للسيناريوهات عالية المتطلبات في الجودة، أعطِ الأولوية للقناة الرسمية، أو اطلب من المزوّد توضيح النسخة المنشورة (أصلية أم مكمَّمة) وما إذا كان بإمكانه تقديم إثبات

كود الورقة متاح للعموم على github.com/sunblaze-ucb/llm-api-audit، ويمكن لأصحاب القدرات التقنية الرجوع إليه.

قبل استنتاج أنه "النموذج نفسه"، قم بهذه الخطوات ​

ورقة عام 2026 بعنوان "When Is the Same Model Not the Same Service?" (arXiv 2605.02821) تقدم في ملحقها مجموعة إجراءات للتدقيق. قبل الادعاء بأن المزوّدين يقدمان النموذج نفسه، قم بما يلي:

  1. ثبّت مجموعة المطالبات ومعاملات فك الترميز ووضع البث والمقطّع وصيغة الطلبات والمنطقة التي تُرسل منها الطلبات
  2. خذ عيّنات متكررة من كل نقطة نهاية؛ وعندما يمكنك الحصول على الأوزان الرسمية، خذ عيّنات أيضًا من التطبيق المرجعي
  3. استخدم اختبار العيّنتين (أي الطريقة الرابعة) لمقارنة التوزيعات
  4. أبلغ عن النتائج منفصلة: تطابق النسخة المحددة، وتطابق النسخة التي يصرّح بها المزوّد، ومجرد الانتماء إلى العائلة نفسها؛ هذه الاستنتاجات الثلاثة مختلفة

نقاط للمراجعة ​

  • سؤال الهوية لا فائدة منه، فنسبة الإجابات الصحيحة عن الأسئلة المواصفاتية أقل من 5%
  • الاختبارات القياسية تكشف الاستبدالات الكبيرة فقط
  • مقارنة المخرجات الجشعة عرضة للإنذارات الخاطئة
  • اختبار العيّنتين هو الأكثر فعالية، بقوة إحصائية وسيطها 77.4%
  • بيئات التنفيذ الموثوقة وحدها قادرة على تقديم ضمانات موثوقة

مفاهيم خاطئة شائعة ​

"هناك أدوات تكشف بنقرة واحدة ما إذا كان الـ API أصليًا." خلاصة البحوث أن الطرق البرمجية البحتة محدودة من حيث المبدأ. أي كشف لا يمكنه إلا أن يقول "لم نجد مشكلة"، لا أن يقول "نضمن عدم وجود مشكلة".

"تطابقت الدرجات فاطمأننت." درجات النسخة المكمَّمة في الاختبارات القياسية تكاد تكون مطابقة للنسخة الأصلية.

القسم التالي ​

بعد التأكد من أن المنتج أصلي، يبقى أن تنظر في جودة الخدمة: النموذج نفسه، فما الفروق بين المزوّدين المختلفين.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.