Confidence درجة الثقة: ماذا تفعل عندما يقول النموذج «لست متأكدًا»
لقد رأيت confidence في إجابات الدروس الأربعة السابقة: تذكرة Choice التي تنقسم بين returns و billing كانت 0.42، وتقرير الأخطاء في Score المتأرجح بين مستويين كان 0.35، و Noul لا يمنحه أصلًا. من أين يأتي هذا الرقم، وكيف يُستخدم، ومتى لا يجب الاستماع إليه — هذا الدرس يشرح Jev confidence كاملًا في 12 دقيقة.
الخلاصة أولًا: confidence هو رقم يُحسب من توزيع الاحتمالات الخاص بالإجابة نفسها، وليس اعترافًا ذاتيًا من النموذج. أنت تستخدمه في الكود لغرض واحد — تقرير ما إذا كان ينبغي تنفيذ هذه الإجابة تلقائيًا.
ماذا ستستطيع أن تفعل بعد هذا الدرس
- التحقق اليدوي من أي confidence بدءًا من
probabilitiesباستخدام الصيغة الرسمية: لـ Choice و Score صيغة لكل منهما، وكلتاهما قابلة لإعادة التنفيذ في Python - كتابة كود بالاستخدام ثلاثي المستويات: الثقة العالية تُنفَّذ تلقائيًا، والمتوسطة تُوضع عليها علامة للمراجعة، والمنخفضة تُحوَّل إلى الإنسان
- تكبير أو تصغير العتبات حسب المخاطر: حد أدنى 0.5 احتياطي، والعمليات عالية الخطورة مثل
approve_transferتتطلب > 0.9 للعمل دون إشراف - شرح سبب عدم وجود confidence لدى Noul، وكيف تحسبه بنفسك
|2p − 1|عندما تريد توحيد العتبة - عدم الإصرار على confidence عندما تكون
probabilitiesهي الأنسب: متى يكون مؤشرا احتمال الأعلى ونسبة الأعلى إلى الثاني أنسب
مأزقك الحالي
- الأتمتة تعمل بسلاسة، وفجأة يدخل أحد المدخلات في فرع مُريب — وبعد النظر يتضح أن النموذج كان في الواقع «غير متأكد» آنذاك، لكن كودك لم يكن لديه مكان ليعرف ذلك
- تسأل GPT «هل أنت متأكد؟» فيرد بمقال نثري «أنا واثق تمامًا، لكن لا يمكن استبعاد...»، و
ifلا يمكن كتابته - فكرت أيضًا في ابتكار «درجة يقين» من توزيع الاحتمالات بنفسك، لكن شكل التوزيع يختلف باختلاف نوع السؤال، فلا يمكن تثبيت الصيغة، ولا توحيد العتبات من باب أولى
متى تستخدم هذه الطريقة
عندما تحتاج إلى:
- إجراء بوابة بين «التنفيذ التلقائي / التحويل إلى الإنسان»: الإجابة تخبرك ما هو، و confidence يخبرك ما إذا كان ينبغي فعله
- معالجة جميع إجابات Choice / Score بمقياس موحد من 0 إلى 1، بحيث يمكنك ضبط العتبات بدءًا من الطلب الأول
- فحص شامل للمواد الصينية وغير الإنجليزية قبل الإطلاق: الوثائق الرسمية تنص صراحة على أن دقة CJK أقل، لذا راقب confidence بعناية عند التوجيه
ولا تريد:
- ضبط العتبات في كل مكان — إذا كان كل ما يهمك هو اختيار الأفضل، يكفي أخذ الخيار ذي الاحتمال الأعلى مباشرة (انظر التنبيه رقم 4)
- إرسال طلب إضافي أو استدعاء نموذج آخر فقط لمعرفة «مدى تأكد النموذج»
- إجبار النموذج على التنفيذ التلقائي وهو نفسه غير واثق
🎒 التحضير قبل البدء
- أكملت درس أسئلة التقييم Score: لديك
score_bug.pyقابل للتشغيل، وقد رأيت الإجابة 1.43 / 0.35 - اطلعت على درس أسئلة الاختيار Choice: تعرف أن
probabilitiesهو توزيع على جميع الخيارات يبلغ مجموعه نحو 1 - نجحت في تشغيل الطلب الأول:
.venvيحتوي علىtypesafe-sdkمثبت، وTYPESAFE_API_KEYموجود في متغيرات البيئة
الفكرة الجوهرية
confidence هو ملخص رقمي واحد لشكل التوزيع. كل إجابة Choice / Score تأتي مع probabilities — كيف تنتشر الاحتمالات هو كل المعلومات عن مدى تأكد النموذج: كل شيء على نتيجة واحدة = تأكد كبير، وانتشار متساوٍ = عدم تأكد. confidence يضغط هذا الأمر ببساطة في رقم واحد من 0 إلى 1، حتى لا تضطر إلى إجراء الحسابات بنفسك.
| شكل التوزيع | confidence | معنى النموذج |
|---|---|---|
| كله على نتيجة واحدة | 1 | «إنه هذا» |
| مركّز لكن منقسم | 0.4 تقريبًا | «الأرجح أنه هو، لكن مع وجود بدائل» |
| موزّع بالتساوي | 0 | «لا أستطيع الجزم» |
فكرتان أساسيتان، نضعهما هنا أولًا:
- إنه ليس ضمانًا لـ«صحة الإجابة». فـ confidence 1.0 يصف حقيقة أن «التوزيع يراهن بالكامل على نتيجة واحدة»، دون أن يضمن صحة تلك النتيجة — فعندما تكون صياغة السؤال غامضة، قد يراهن النموذج بثقة كبيرة على إجابة خاطئة
- لا يتطلب منك أي تكلفة إضافية. TypeSafe يعيده مباشرة مع كل إجابة من نوع Choice / Score، فلا يتطلب الاستخدام الشائع أي عمل إضافي
لماذا يستحق تخصيص رقم له؟ النص الحرفي من الوثائق الرسمية: النظام الذكي — سواء أكان إنسانًا أم آلة — إذا لم يستطع التعبير عن عدم يقين صادق، فهو لا يستحق الثقة. confidence هو الآلية المدمجة التي يقول بها النموذج «هذه النقطة لست متأكدًا منها» — ومن خلالها يستطيع الكود الخاص بك أن يتصرف بشكل مختلف حسب درجة اليقين. هذا هو أساس بناء أنظمة «موثوقة حقًا».
علاقة أنواع الأسئلة الثلاثة بـ confidence يوضحها جدول واحد:
| نوع السؤال | هل يوجد confidence | لماذا |
|---|---|---|
| Choice | ✅ | الاحتمالات موزعة على n خيارًا، وتحتاج إلى تلخيص |
| Score | ✅ | الاحتمالات موزعة على درجات مرتبة، وتحتاج إلى تلخيص |
| Noul | ❌ | لا توجد سوى نتيجتين نعم/لا، واحتمال واحد noul يكفي لوصف التوزيع بالكامل |
| Box | ✅ | تحديد الصور يحمل أيضًا رقمًا في نطاق 0–1 |
تابعني خطوة بخطوة
الخطوة 1: احسب يدويًا قيمة confidence لإجابة تذكرة Score
لماذا: إذا لم تثق بالصيغة فلن تستطيع الثقة بالعتبات. تحقق من إجابة حقيقية سبق أن شغّلناها في درس Score وسجّلتها الوثائق الرسمية — إذا أمكن حساب 0.35، فإن جميع العتبات اللاحقة تصبح راسخة.
الإجابة الكاملة لدرس Score score_bug.py (مثال رسمي، bug_severity):
{
"type": "score",
"score": 1.43,
"confidence": 0.35,
"probabilities": {
"0": 0.0,
"1": 0.57,
"2": 0.43
}
}أنت تعرف بالفعل من أين جاءت الدرجة 1.43 (رقم الدرجة × الترجيح بالاحتمال). وماذا عن confidence 0.35؟ دالة Python الرسمية، صالحة للاستخدام حرفيًا:
def score_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
m = probabilities.index(max(probabilities))
spread = sum(p * abs(i - m) for i, p in enumerate(probabilities))
even_spread = sum(abs(i - (n - 1) / 2) for i in range(n)) / n
return max(0.0, 1 - spread / even_spread)
levels = sorted(answer.probabilities)
score_confidence([answer.probabilities[level] for level in levels])أضف هذه الأسطر في نهاية score_bug.py (answer = response.answers["bug_severity"])، ثم شغّل:
.venv/bin/python score_bug.pyيجب أن ترى: الدالة تُرجع 0.355 — وهو مطابق للقيمة التي أعادتها واجهة API 0.35 (0.355 مقربًا إلى منزلتين عشريتين يساوي 0.35). التحقق من الوثائق الرسمية لنفس التوزيع: الدرجة الأكثر احتمالًا هي 1، وspread يساوي 0.43، ومتوسط المسافة للتوزيع المتساوي على ثلاث درجات هو 2/3، إذن 1 − 0.43 ÷ (2/3) ≈ 0.35.
الآن تعرف أمرًا مهمًا: confidence ليس تقييمًا صندوقًا أسود، بل دالة خالصة — يمكن إعادة حسابه في أي وقت من probabilities الخاصة بالإجابة نفسها. حدس الصيغة يختلف قليلًا بين Score و Choice، وسننظر في كل منهما في الخطوتين التاليتين.
- حصلت على 0.355، وأعرف أنه نفس الرقم الذي أعادته واجهة API 0.35
الخطوة 2: تحقق من صيغة confidence في Choice: النظر إلى أعلى احتمال فقط
لماذا: Choice هو إشارة البوابة التي تستخدمها أكثر من غيرها يوميًا (التوجيه الذكي مبني عليها)، وصيغته أبسط بكثير من Score، ويمكن حسابها ذهنيًا في سطر واحد.
لإجابة Choice بـ n خيارًا وأعلى احتمال لها p_max:
confidence = (p_max − 1/n) / (1 − 1/n)طريقة القراءة: يقيس مدى تجاوز أعلى احتمال لـ«خط التوزيع المتساوي» (كل خيار 1/n) — توزيع متساوٍ = 0، راهن بالكامل = 1. بالتعويض بثلاثة خيارات، تحصل على الصيغة التي رأيتها في درس Choice:
confidence = (3 × 最大概率 − 1) / 2تحقق باستخدام الدالة الرسمية. إنها تنظر فقط إلى الاحتمال الأعلى — كلا التوزيعين (0.6, 0.3, 0.1) و (0.6, 0.2, 0.2) لهما confidence يساوي 0.4:
def choice_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
return (max(probabilities) - 1 / n) / (1 - 1 / n)
choice_confidence(list(answer.probabilities.values()))يجب أن ترى:
choice_confidence([0.6, 0.3, 0.1]) # 0.4
choice_confidence([0.6, 0.2, 0.2]) # 0.4احسب بنفسك قيمة department للتذكرة الغامضة في درس Choice (returns 0.61، billing 0.35، shipping 0.04): (0.61 − 1/3) / (2/3) ≈ 0.42 — وهي بالضبط 0.42 التي أعادتها الوثائق الرسمية آنذاك.
عليك أن تتذكر طبع هذه الصيغة: confidence في Choice يتظاهر بالعمى — ينظر إلى المركز الأول فقط، بغض النظر عن كيفية توزيع المراكز الثاني والثالث والخامس. هذا هو الفاصل بين Choice (الخيارات بلا ترتيب) و Score (الدرجات مرتبة)، وهو أيضًا موضوع الخطوة التالية.
- أستطيع حساب confidence لثلاثة خيارات ذهنيًا: (3 × الاحتمال الأقصى − 1) / 2
الخطوة 3: فهم لماذا تحسب صيغة Score «المسافة»
لماذا: درجات Score لها ترتيب — «خطير نوعًا ما» و«خطير جدًا» جارتان، بينما «غير مهم» و«قاتل» في الطرفين. الانقسام نفسه على درجتين، لكن في موضعين مختلفين، يجب أن يعطي درجات يقين مختلفة. صيغة Choice لا تستطيع فعل ذلك.
المقارنة الرسمية تستحق أن تحدّق فيها عشر ثوانٍ:
| الاحتمالات على مقياس ثلاثي الدرجات | confidence | حالة النموذج |
|---|---|---|
| (0, 0.5, 0.5) | 0.25 | يتردد بين درجتين متجاورتين |
| (0.5, 0, 0.5) | 0 | ممزق بين طرفي الطيف |
| (0.6, 0.2, 0.2) (محسوبة كـ Choice) | 0.4 | تنظر إلى المركز الأول فقط |
صيغة Choice تحسب للتوزيعين الأولين نفس القيمة 0.25 — فهي لا ترى «المسافة». صيغة Score تراها:
confidence = max(0, 1 − الترجيح بالاحتمال × متوسط المسافة عن الدرجة الأكثر احتمالًا ÷ متوسط مسافة التوزيع المتساوي)القيمة spread في كود الخطوة 1 هي ذلك «متوسط المسافة المُرجَّح بالاحتمال»، وeven_spread هو المسافة المرجعية للتوزيع المتساوي، وعندما يكون التوزيع أكثر تشتتًا من المتساوي يُؤخذ الحد الأدنى 0. الأثر في جملة واحدة: الاحتمال الواقع على درجة مجاورة يُخصم قليلًا، والواقع على درجة بعيدة يُخصم كثيرًا.
متى ينبغي أن تستحضر هذه المجموعة من المقارنات؟ عند رؤية confidence منخفض، قدّمت الوثائق الرسمية ثلاثة تفسيرات: تداخل المستويات مع هذا المدخل، السؤال يقيس أكثر من شيء واحد، معلومات state غير كافية. تحقق منها واحدًا تلو الآخر: عدّل وصف المستوى، فكّك السؤال، أضف المواد — شرح درس Score للمزالق هذه الطريقة بالتفصيل.
يجب أن ترى: باستخدام الدالة من الخطوة 1 للتحقق من score_confidence([0, 0.5, 0.5]) نحصل على 0.25، ومن score_confidence([0.5, 0, 0.5]) نحصل على 0.0 — وهي مطابقة لأرقام الوثائق الرسمية.
- أستطيع أن أقول ما هي قيمة confidence لكل من (0, 0.5, 0.5) و (0.5, 0, 0.5) ولماذا تختلفان
الخطوة 4: تحويل Jev confidence إلى سلوك برمجي باستخدام الاستخدام ثلاثي المستويات
لماذا: بعد التحقق من الصيغة، نعود إلى المسألة الأكثر عملية — عند الحصول على رقم بين 0 و 1، كيف تكتب if. النمط الذي قدمته الوثائق الرسمية كنقطة بداية: قسّمه إلى ثلاثة مستويات، ولكل مستوى سلوك واحد.
| المستوى | السلوك البرمجي | معنى العبارة الرسمية الأصلية |
|---|---|---|
| مرتفع | تنفيذ تلقائي | النموذج يرى بوضوح، لا حاجة لتدخل بشري |
| متوسط | التصرف بحذر — اطلب تأكيد المستخدم، ضع علامة للمراجعة، اجمع المعلومات أولًا قبل التحرك | الإجابة معقولة، لكن النموذج غير متأكد |
| منخفض | عدم التنفيذ — حوّل إلى شخص، اطلب توضيحًا، ارجع إلى نظام آخر | النموذج يقول: المعلومات غير كافية، أو هذا السؤال غير مناسب |
طبّق ذلك على الوجوه المألوفة (الأسئلة الخمسة من الخطوة 3 في درس Choice، بقيم المثال الرسمية):
| السؤال | confidence | كيف يقع ضمن المستويات الثلاثة |
|---|---|---|
return_reason (wrong_size 1.0) | 1.0 | مرتفع: يُعتمد مباشرة |
tone (frustrated 0.84) | 0.76 | حد مرتفع/متوسط: قابل للاستخدام تلقائيًا |
shipping_issue (delayed 0.74) | 0.67 | متوسط: القسم ليس shipping على أي حال، يتجاهله الكود مباشرة |
department (returns 0.61) | 0.42 | متوسط: يُعالج وفق returns، لكن مع إرسال نسخة إلى billing |
requested_resolution (refund 0.40) | 0.2 | منخفض: اسأل العميل، لا تخمّن |
يجب أن ترى: نفس مجموعة الإجابات تقع ضمن المستويات الثلاثة حسب confidence، ولكل مستوى سلوك برمجي واضح — وليس مجرد مفتاح واحد «تنفيذ / عدم تنفيذ».
أين تُرسم حدود التقسيم؟ الجملة الرسمية التالية هي الجواب — يعتمد على المخاطرة، أي الخطوة التالية.
- أستطيع لأي قيمة confidence أن أقول في أي مستوى تقع، وماذا ينبغي فعله في ذلك المستوى
الخطوة 5: جعل عتبة الثقة تتدرج مع المخاطرة (الكود الرسمي الكامل)
لماذا: حدود المستويات الثلاثة ليست ثلاثة ثوابت عامة. جملة رسمية واحدة تكشف الأمر: في النظام نفسه، ينبغي أن تُحدد الإجراءات المختلفة عتبات مختلفة وفق «عواقب الخطأ». هذا هو الفرق بين عتبة الثقة (confidence threshold) ورقم سحري عادي.
المثال الرسمي الكامل — تحديد النية لمساعد بنكي صوتي، ثلاث نوايا تختلف مخاطرها اختلافًا كبيرًا:
response = client.system_one(
state=user_message,
questions={
"action": Choice(
instructions="What is the user trying to do?",
criteria={
"check_balance": "View account balance",
"approve_transfer": "Approve the pending withdrawal request",
"support": "Get help with an issue",
},
),
},
)
action = response.answers["action"]
confidence = action.confidence
if confidence < 0.5:
# Model is genuinely unsure. Don't guess.
route_to_human(user_message)
elif action.choice == "check_balance":
# Low stakes. Showing the wrong screen is recoverable.
show_balance(account_id)
elif action.choice == "approve_transfer":
if confidence > 0.9:
# High stakes, high confidence. Proceed with confirmation.
confirm_then_execute(account_id)
else:
# High stakes, moderate confidence. Verify first.
ask_user_to_confirm(account_id)افتح البوابات واحدة تلو الأخرى (كلها من الكود الرسمي):
| البوابة | القيمة | المنطق |
|---|---|---|
| الحد الأدنى الاحتياطي floor | 0.5 | يلتقط أولًا كل ما يقول فيه النموذج «لست متأكدًا» — لا يُسمح بالتخمين |
check_balance | 0.5 يكفي أن يكون فوقها | مخاطرة منخفضة: أسوأ احتمال شاشة خطأ، ويمكن استرجاع الوضع |
approve_transfer | > 0.9 عندئذ فقط يُنفَّذ مباشرة | مخاطرة عالية: التحويل الجماعي الخاطئ لا رجعة فيه، يلزم تأكيد مسبق |
ترميز المخاطرة موجود في كودك، وليس في النموذج — هذا موقف تؤكد عليه الوثائق الرسمية مرارًا. ومعه توصيتان عمليتان:
- ابدأ من التشدد: اضبط العتبات مرتفعة أولًا، اختبرها ببياناتك، ثم عدّلها بعد رؤية الأداء الفعلي — نص NOTE الرسمي الأصلي: العتبة الصحيحة تعتمد على مجالك وعلى أداء النموذج في حالة استخدامك
- تعديل العتبات لا يتطلب تعديل prompt: العتبات ثوابت في الكود. توصي Agent Skill الرسمية بجمع الأسئلة وثوابت العتبات فيملف واحد، بحيث لا يحتاج المراجع البشري إلى التنقل بين الملفات
يجب أن ترى: مقطع كود للتوجيه، فيه أولًا حد أدنى احتياطي 0.5 ثم طبقات حسب نوع الإجراء — وليس عتبة عامة واحدة تُطبَّق على كل شيء.
وبالمناسبة، إجابة السؤال المتبقي من الدرس السابق: route_to_human / show_balance هذه أسماء دوال توضيحية، استبدلها بمنطق المعالجة الخاص بك.
- كود البوابات لديّ يحتوي على حد أدنى احتياطي floor، وعتبة الإجراءات عالية المخاطرة أعلى من عتبة منخفضة المخاطرة
💡 ماذا لو أراد Noul الدخول في نفس مجموعة البوابات
قدّمت التقنيات المتقدمة في درس Noul الصيغة: confidence = |2p − 1| — عندما تكون p تساوي 0.99 تنتج 0.98، وعندما تكون p تساوي 0.5 تنتج 0. توضح الوثائق الرسمية أنها ببساطة تطبيق صيغة Choice على خياري «نعم/لا»، لذا فهي على نفس مقياس confidence الخاص بـ Choice ويمكنها الدخول في نفس كود البوابات.
نقطة تحقق ✅
- لقد تحققت يدويًا من قيمة confidence واحدة على الأقل (0.35 الخاصة بـ Score أو 0.42 الخاصة بـ Choice)، وأعرف أنها دالة نقية في
probabilities - أعرف أن صيغة Choice تنظر فقط إلى أعلى احتمال، وأن (0.6, 0.3, 0.1) و (0.6, 0.2, 0.2) كلتاهما تساوي 0.4
- أستطيع أن أقول إن (0, 0.5, 0.5) هي 0.25، وإن (0.5, 0, 0.5) هي 0، ولماذا تحسب صيغة Score المسافة
- كودي يستخدم ثلاث درجات: تنفيذ تلقائي عند القيم العالية، تأكيد أو وسم عند المتوسطة، تحويل إلى البشر عند المنخفضة؛ والعتبة تتمدد حسب المخاطر (0.5 كحد أدنى، والأعمال عالية الخطورة > 0.9)
- أعرف أن confidence هو «شكل التوزيع» وليس ضمانًا لـ«صحة الإجابة»، فعندما يكون السؤال غامضًا سيراهن النموذج بثقة على الخطأ
تنبيهات من العثرات
❌ التعامل مع confidence كضمان لـ«صحة الإجابة»
الظاهرة: إجابة بـ confidence 1.0 خرجت خاطئة، فبدأ الشك أن النموذج «يتصلب في الخطأ».
لماذا هو خطأ: confidence 1.0 يصف فقط أن «توزيع هذا السؤال كله يراهن على نتيجة واحدة»، أي أنه يتحدث عن اتساق النموذجداخل هذه الإجابة نفسها، ولا يضمن صحتها. عندما تكون أوصاف الدرجات غامضة أو ينقص الـ state معلومات، قد يراهن النموذج بثقة كبيرة على خيار خاطئ — في تجربة المقياس بدرسScore ظل confidence يعطي قيمًا بمستوى 1.0.
الطريقة الصحيحة: استخدم confidence كبوابة لقرار «هل ننفذ تلقائيًا»، وقِس جودة السؤال بشكل منفصل — النص الحرفي لملاحظة الجهة الرسمية: استخدم بياناتك الخاصة واضبط وفق الأداء الملاحظ. أما التحقيق في confidence المنخفض عبر ثلاثة اتجاهات (تداخل الدرجات / السؤال يقيس عدة أمور / معلومات الـ state غير كافية) فهو الطريق لمعالجة السبب الجذري. الاتساق الذاتي تعرض صفحة السيناريو طريقًا آخر: قياس الاستقرار عبر عدة تشغيلات.
❌ عتبة واحدة للجميع، تتشاركها الأعمال عالية ومنخفضة الخطورة
الظاهرة: وضع نفس عتبة الثقة لكل الأفعال (مثل 0.6 على مستوى الموقع كله)، وبعد الإطلاق تتحول الأفعال منخفضة الخطورة بجنون إلى البشر، بينما تفلت الأفعال عالية الخطورة أحيانًا.
لماذا هو خطأ: الجهة الرسمية تقول صراحة إن عواقب الخطأ تختلف باختلاف الفعل — الخطأ في check_balance قابل للاستعادة، بينما الخطأ في approve_transfer لا رجعة فيه. عتبة واحدة لا يمكن أن تلبي نوعي المخاطر معًا.
الطريقة الصحيحة: حد أدنى 0.5 + تقسيم حسب الفعل (كود الجهة الرسمية في الخطوة 5)؛ وأيضًا لا تستخدم ثوابت مثل X-Y كعتبة عالمية، بل اكتب العتبات كثوابت مسماة معروفة مع تعليقات، وضعها في نفس ملف تعريف السؤال لتسهيل المراجعة البشرية.
❌ استخدام confidence في تحليل التوزيعات
الظاهرة: تريد حساب «كم يفصل الثاني عن الأول» أو «ما هي entroبيا الاحتمالات»، فتمد يدك إلى confidence.
لماذا هو خطأ: confidence هو ملخص واحد بعد تسطيح التوزيع، والتسطيح يعني فقدان المعلومات. قائمة الأسئلة الشائعة في Agent Skill الرسمية سمّت ذلك صراحة: عند وجود حاجة لخوارزميات إحصائية محددة، ما يجب استخدامه هو probabilities وليس confidence.
الطريقة الصحيحة: للتحليل خذ probabilities (يُعاد كاملًا في كل مرة، والجهة الرسمية تقول صراحة «يمكنك حساب أي مقياس مهم بنفسك»)؛ وللبوابة خذ confidence. الحاجتان تتعايشان غالبًا — فخذ لكل منهما ما يحتاجه من الإجابة، انظر المهارات المتقدمة.
❌ وضع عتبات confidence في كل مكان
الظاهرة: وضع عتبة لكل إجابة ولكل فرع، تزداد أكثر فأكثر حتى يتعذر ضبطها.
لماذا هو خطأ: قائمة الأسئلة الشائعة في Agent Skill الرسمية: عندما تهتم فقط باختيار الخيار الأفضل، يكفي أخذ ذي الاحتمال الأعلى مباشرة (أي choice المعاد)، دون حاجة لوضع عتبات confidence في كل مكان.
الطريقة الصحيحة: ضع العتبات فقط عند البوابات الحرجة حيث «لست متأكدًا إن كانت هذه الإجابة قابلة للتنفيذ التلقائي» (المواضع الثلاثة في الخطوة 5 مثال نموذجي)؛ ولاختيار الأفضل خذ choice / الاحتمال الأعلى مباشرة. هذا أيضًا هو الترياق لأعراض «العتبات في كل مكان» التي ذكرتها الجهة الرسمية.
❌ البحث عن حقل confidence في إجابات Noul
الظاهرة: response.answers["is_urgent"].confidence — يرمي AttributeError.
لماذا هو خطأ: توزيع Noul له نتيجتان فقط، وقيمة احتمال واحدة تصفه بالكامل، فلا يوجد شيء يحتاج إلى تلخيص، وقد أكدت الجهة الرسمية ذلك مرة في صفحة Noul ومرة في صفحة Confidence. الاقتراب من 0.5 هو بذاته إشارته إلى عدم اليقين.
الطريقة الصحيحة: استخدم مباشرة عتبات البداية من درس Noul: yes ≥ 0.7 وno ≤ 0.3، والقيم الوسطى تحوَّل إلى البشر؛ وعند الحاجة إلى نفس المقياس احسب |2p − 1| بنفسك (نصيحة الخطوة 5).
مهارات متقدمة (اختياري)
🔧 لا تريد استخدام confidence الرسمي؟ مؤشران بديلان. الجهة الرسمية تقول صراحة إن confidence مجرد «تلخيص معقول، وليس الوحيد» — المؤشران التاليان يُحسبان من نفس probabilities، وكثيرًا ما يكونان فعالين بالقدر نفسه عمليًا، ويستحقان التجربة جنبًا إلى جنب مع confidence:
| المؤشر | التعريف | متى يكون عمليًا | تنبيه الجهة الرسمية |
|---|---|---|---|
| احتمال الأول p_max | احتمال الخيار الأول، يُقرأ مباشرة كـ«احتمالية الخيار المختار» | العتبات سهلة الاستنتاج | المعنى يتغير مع عدد الخيارات — 0.5 بين خيارين إجابة ضعيفة وبين عشرة خيارات إجابة قوية، ضع عتبة لكل سؤال على حدة |
| نسبة الأول إلى الثاني p_max / p_second | كم يكون الأول أوضح من الثاني | القرارات الحقيقية كثيرًا ما تُحسم بأول خيارين فقط | يتجاهل توزيع بقية الخيارات |
لأن الصيغة دقيقة وprobabilities يُعاد كاملًا في كل مرة، يستطيع تطبيقك حساب أي مقياس إحصائي يحتاجه بنفسه — إعادة الجهة الرسمية لقيمة ثابتة هي فقط لتمنحك «قيمة افتراضية معقولة منذ أول طلب».
🔧 فحص confidence للمواد الصينية. الجهة الرسمية تقول في صفحة دعم اللغات صراحة: اللغات الأخرى بما فيها CJK قابلة للاستخدام لكن بدقة أقل، وللأحمال غير الإنجليزية «راقب confidence عن كثب عند التوجيه». قبل إطلاق المحتوى الصيني: شغّل دفعة على بياناتك الخاصة، واحسب توزيع confidence ونسبة الإجابات الواقعة في نطاق عدم اليقين، ثم حدد العتبات — وهذا أيضًا هو الخطوة الأولى التي يؤكد هذا القسم عليها مرارًا.
🔧 تذوّق الصيغة دون كتابة كود. في Playgroundأول طلب الصف (console.typesafe.ai/playground) الصق الـ state وأضف سؤال Choice، وراقب كيف يتغير confidence عند تزحزح احتمال خيار — العرض التفاعلي في رأس صفحة الوثائق الرسمية مبني على هذا المبدأ نفسه (ثلاثة خيارات، (3 × 最大概率 − 1) / 2).
خلاصة هذا الدرس
✅ Jev confidence هو مقياس إحصائي تحسبه probabilities الخاصة بالإجابة نفسها: الرهان كله على نتيجة واحدة = 1، والتوزيع المتساوي = 0؛ يأتي مدمجًا مع كل إجابة Choice / Score، ولا يوجد في Noul.
✅ الصيغة قابلة للتحقق: لـ Choice هي (p_max − 1/n) / (1 − 1/n) (تنظر فقط إلى أعلى احتمال)؛ ولـ Score مقارنة موزونة بالاحتمالات بين المسافة عن الدرجة الأكثر ترجيحًا والتوزيع المتساوي، فتخصم الدرجات المجاورة قليلًا والبعيدة كثيرًا.
✅ ثلاث درجات للاستخدام: تنفيذ تلقائي عند القيم العالية، تأكيد أو وسم عند المتوسطة، تحويل إلى البشر عند المنخفضة؛ والعتبة تتمدد حسب المخاطر — 0.5 كحد أدنى، وapprove_transfer عالية الخطورة تتطلب > 0.9.
✅ أمران لا تفعلهما: لا تتعامل مع confidence كضمان للصحة (هو يصف التوزيع)؛ ولا تستخدمه في التحليل الإحصائي (للتحليل استخدم probabilities، ولاختيار الأفضل خذ الاحتمال الأعلى مباشرة).
مراجعة حقول الإعداد الرئيسية:
| الحقل / الثابت | القيمة الموصى بها | الشرح |
|---|---|---|
confidence | 0–1، يُقرأ مباشرة | مدمج مع إجابات Choice / Score / Box؛ غير موجود في Noul |
| الحد الأدنى لـ confidence floor | 0.5 | نقطة انطلاق المثال الرسمي؛ ما دونه لا يُنفذ تلقائيًا مطلقًا |
| عتبة الأفعال عالية الخطورة | > 0.9 | خط التشغيل دون إشراف للعمليات غير القابلة للرجعة (تحويلات، حذف) |
| عتبة Noul الموحدة | abs(2 * p - 1) | على نفس مقياس confidence الخاص بـ Choice |
| مكان تخزين العتبات | نفس ملف تعريف السؤال | توصية الجهة الرسمية: لتسهيل المراجعة البشرية |
ثلاثة أماكن لاستخدام confidence في الأنظمة الحقيقية: التوجيه الذكي (تصنيف النوايا + بوابات الثقة لتشكيل نظام توجيه كامل)؛ 75 فئة من التصنيف الصناعي (عندما تكون confidence ≥ 0.9 يُبلَّغ عن الفئة الفرعية، وإلا يُبلَّغ عن الفئة الرئيسية — اختبار فعلي على 60 تقريرًا سنويًا لـ SEC: النصف الواثق كان صحيحًا بنسبة 90%، والنصف غير الواثق ارتفعت نسبته القابلة للاستخدام من 40% إلى 70% بعد الإبلاغ عن الفئة الرئيسية)؛ الاتساق الذاتي (قياس استقرار الإجابات عبر عمليات تشغيل متعددة).
إعلان الدرس القادم
كيف تُتَّخذ الأحكام خارج النص؟ الدرس القادم: Box والصور: دع Jev يجد الأشياء داخل الصورة.
ستتعلم:
- طريقتان لإدراج الصورة في state وفي السؤال، وكيفية تفعيل ترويسة طلب Danger Zone
- كيفية تحويل حواف إجابة Box الأربع (top / bottom / left / right، كل منها 0–1) إلى إحداثيات بكسل
- كيفية استخدام confidence المرفقة بإجابة Box: عند انخفاضها عن الحد المطلوب كبِّر إطار القص أو استبدلها بصورة أفضل ثم اسأل مجددًا
- لماذا تذكر الوثائق الرسمية أن Images / Box لم تصل بعد إلى مستوى الإنتاج، وأن التنسيق قد يتغير مع الإصدارات