Skip to content

التوجيه الذكي: تصنيف النوايا مع بوابات الثقة ​

حلّ الأسئلة المتوازية في الدرس السابق مشكلة «طرح جميع الأسئلة دفعة واحدة». هذا الدرس يحل ما يأتي بعدها: بعد الحصول على الإجابات، إلى مَن تُسلَّم الرسالة للمعالجة — كود حتمي، أم LLM خبير، أم بشري.

قسّمت الوثائق الرسمية هذا الأمر إلى نمطين: Intent routing (توجيه النوايا) يصنّف أولًا ثم يوزّع؛ وConfidence-gated routing (التوجيه ببوابات الثقة) يضيف بوابة إضافية — «الإجابة تخبرك ما هو، و confidence يخبرك ما إذا كان ينبغي التنفيذ». وباجتماع النمطين نحصل على التوجيه الذكي موضوع هذا الدرس. المدة الإجمالية 12 دقيقة.

في الواقع لقد قمت بالفعل بأبسط صورة للتوجيه في الطلب الأول: استخدم route_ticket.py سؤال Choice المسمى department لتوزيع التذاكر على فريق technical. هذا الدرس يوسّع ذلك إلى نظام توجيه كامل جاهز لبيئة الإنتاج.

ماذا ستستطيع أن تفعل بعد إتمام الدرس ​

  • إتمام توجيه النوايا عبر Jev باستخدام Choice: توزيع الرسائل الواردة على مجموعة نوايا ثابتة (order_status / product_question / return_exchange / complaint)، مع تقييم التعقيد في الوقت نفسه عبر Score
  • كتابة كود توجيه مع فرع احتياطي: confidence أقل من العتبة → تحويل بشري؛ تجاوز العتبة → توزيع عبر if/elif إلى ثلاثة أنواع من المعالجات
  • ضبط عتبات مختلفة حسب مخاطر الإجراء: الإجراءات منخفضة الخطورة (الاستعلام عن الرصيد) تُمرَّر عند 0.6، والإجراءات عالية الخطورة (الموافقة على التحويل) تتطلب 0.85 أو أعلى لتجاوز التأكيد
  • توضيح متى لا ينبغي ضبط عتبة confidence، ومسار الاستكشاف الرسمي عندما لا يتصرف التوجيه كما هو متوقع
  • استخدام probabilities لإنشاء مسارات فرعية خارج البوابات مثل «إرسال نسخة إلى النية الثانية»

مأزقك الحالي ​

  • أستخدم نموذجًا لغويًا كبيرًا لتوجيه النوايا، وكتبت في الـ prompt حرفيًا «أخرج أحد الخيارات الأربعة فقط»، ومع ذلك يردّ عليّ أحيانًا بجملة «هذا استعلام عن طلب» يتبعها شرح. كتبت عشرات الأسطر من التعبيرات النمطية مع try/except لالتقاط هذه الحالات، وأصبح كود التحليل أطول من كود العمل نفسه
  • جرّبت أيضًا التوجيه بقواعد الكلمات المفتاحية: «استرداد» → خدمة ما بعد البيع، «شحن» → الطلبات. كان ممتازًا في الأسبوع الأول، لكن في الأسبوع الثاني قال المستخدم «الشيء الذي اشتريته آخر مرة لم يصل بعد»، فتضخم جدول القواعد من 20 قاعدة إلى 200 قاعدة، ومعدل الإصابة لم يرتفع
  • النموذج لا يخبرني أبدًا أنه «غير متأكد»: ثقة بنسبة اثنين وخمسين بالمئة وثقة بنسبة ثمانية وتسعين بالمئة تبدوان في يدي متطابقتين، ولا خيار سوى التنفيذ على أي حال. الخطأ في الاستعلام عن طلب ينتهي بأن يعيد المستخدم السؤال، أما تنفيذ تحويل خاطئ فخسارة مالية حقيقية

متى تستخدم هذه الطريقة ​

عندما تحتاج إلى:

  • توزيع الطلبات الواردة على معالجات مختلفة: تذاكر خدمة العملاء، أوامر صوتية، اختيار مهارات الـ agent
  • تراجع آمن عندما يكون النموذج غير متأكد: تحويل إلى البشر، أو طلب تأكيد، أو إعادة صياغة السؤال
  • إنفاق الموارد المكلفة فقط على الطلبات التي تحتاجها فعلًا — لا ينبغي أن يجيب LLM خبير على «الاستعلام عن طلب»

ولا تريد:

  • تمرير كل رسالة عبر نموذج لغوي كبير ثم كتابة كود تحليل لانتزاع مخرجاته النصية
  • صيانة جدول مقابلات للكلمات المفتاحية لا يمكن إكماله أبدًا
  • نموذجًا بلا إشارات عدم يقين، فلا يكون الإصلاح إلا بعد وقوع الخطأ

🎒 تجهيزات قبل البدء ​

  • إتمام الأسئلة المتوازية والتوسع الاستباقي: معرفة أن الأسئلة المتعددة تُقيَّم بالتوازي وبشكل مستقل في طلب واحد (Choice + Score في هذا الدرس يعتمدان على ذلك)
  • تشغيل الطلب الأول بنجاح: .venv يحتوي على typesafe-sdk، و TYPESAFE_API_KEY موجود في متغيرات البيئة
  • تذكّر بصورة عامة صياغة Choice و Score (لا بأس إن نسيت، فالخطوة 1 ستتناول الكتابة معك)

الفكرة الجوهرية ​

صنّف أولًا، ثم وزّع. تعريف الوثائق الرسمية لـ Intent routing:

تصنيف الطلبات الواردة وتوجيه كل طلب إلى أفضل معالج: منطق حتمي، أو LLM خبير، أو بشري.

ليست كل رسالة تحتاج إلى النوع نفسه من المعالجة: بعضها يُجاب باستعلام بسيط في قاعدة البيانات، وبعضها يحتاج إلى LLM بسياق المجال، وبعضها لا بد أن يتولاه الإنسان. يجلس Jev أمام جميع المعالجات ليكون المصنّف «السريع والرخيص» — تقول الوثائق الرسمية إن معظم الاستدعاءات تكتمل في نحو 100 ملي ثانية (docs/concepts/how-to-build-with-system-one.md:55)، فلا يُستثار الشيء المكلف إلا من الطلبات التي تحتاجه فعلًا.

أضف بوابة أخرى. تعريف الوثائق الرسمية لـ Confidence-gated routing:

تعامل مع confidence كمحور ثانٍ. الإجابة تخبرك «ما هو»، و confidence يخبرك «ما إذا كان ينبغي التنفيذ».

كل إجابة Choice و Score في Jev تأتي مع confidence (0–1، محسوب من درجة تركّز التوزيع الاحتمالي). الاستخدام الرسمي ثلاثي المستويات:

confidenceالسلوك
عالٍتنفيذ تلقائي دون تدخل بشري
متوسطالمتابعة بحذر: طلب تأكيد من المستخدم، أو وضع علامة مراجعة، أو استكمال المعلومات أولًا
منخفضعدم اتخاذ إجراء: تحويل إلى البشر، أو طلب توضيح، أو التراجع إلى نظام آخر

وباجتماع النمطين نحصل على مسار توجيه كامل (بنية مثال توجيه خدمة العملاء الرسمي):

text
customer message
   │  طلب واحد: الرسالة + 2 من الأسئلة
   ▼
┌─────────────────────────────┐
│ intent (Choice)            │ ← تقييم متوازٍ
│ complexity (Score)         │
└─────────────────────────────┘
   │  استجابة واحدة: 2 إجابة مع confidence
   ▼
intent confidence ≥ 0.5؟──لا──▶ موظف بشري
   │نعم
   ▼ التوزيع حسب intent.choice
   ├─ order_status     → استعلام الطلب (كود حتمي، بدون LLM)
   ├─ product_question → LLM خبير المنتجات
   ├─ return_exchange  → LLM خبير الإرجاع والاستبدال
   └─ complaint        → complexity > 1 أو غير واثق من نفسه؟──نعم──▶ موظف بشري
                          │لا
                          ▼
                        LLM معالجة الشكاوى

لماذا لا تستخدم prompt لنموذج كبير للتوجيه مباشرة؟

بعد المقارنةالتوجيه عبر LLM promptJev توجيه النوايا
صيغة الإرجاعنص حر، هل سيكون الناتج order_status أم «استعلام الطلب» أمر عشوائيإجابة مُنمّطة، لا بد أن تكون أحد الخيارات المعرّفة مسبقًا
كود التحليلregex + try/except + إعادة محاولةخُذ اسم الخيار مباشرة في if/elif، بدون أي تحليل
المعلومات خارج النيةأرسل طلبًا آخر ثم حلّله مرة أخرىأضف Score إلى نفس الطلب بالتوازي
إشارة عدم اليقينلا يمكن الحصول عليهاكل إجابة تأتي مع confidence خاص بها
إضافة نية جديدةعدّل الـ prompt وأعد التصحيحأضف خيارًا في الطلب، وفرعًا في كود التوزيع

إذن لماذا نبقي على confidence كبوابة؟ بدونها، الإجابتان ذواتا الاحتمال الأعلى 1، بنسبة 0.52 و 0.98، ستبدوان متطابقتين تمامًا في يدك. إذا اختلطت في الرسائل الأربع رسالة «تسأل عن الطلب ومشحونة عاطفيًا في الوقت نفسه»، تنقسم النية بين order_status و complaint، ومع ذلك تعطيك الإجابة فائزًا واحدًا — فقط يتوزع الاحتمال ويهبط الـ confidence. يتيح لك التحكم بالبوابة في هذه اللحظات اختيار «لا تتصرف بعد».

معادلة حساب confidence والتفسير الكامل لمستوياته الثلاثة موجودان في درس Confidence 置信度؛ هذا الدرس يركّز على كيفية استخدامه في التوجيه.

تابعني خطوة بخطوة ​

الخطوة 1: تعريف سؤالين — تصنيف النية والتعقيد ​

لماذا: لكي ينجح التوجيه فعليًا، يجب أن تكون الإجابات شيئًا يستطيع الكود مطابقته مباشرة. يمنحك Choice نية «من أربعة اختيارات»، ويمنحك Score مسطرة «ما مدى التعقيد» — هاتان المعلومتان تحددان على التوالي «مَن يتولى الأمر» و«هل يمكن الأتمتة».

هذان هما تعريفا السؤالين كما وردا في Playground بصفحة الأنماط الرسمية (مستخرجان من الصفحة المعروضة، ووصف الخيارات هو النص الرسمي الأصلي):

python
from typesafe_sdk import Choice, Score

ROUTING_QUESTIONS = {
    "intent": Choice(
        instructions="The primary intent of this customer message",
        criteria={
            "order_status": "Asking about an existing order",
            "product_question": "Asking about a product before buying",
            "return_exchange": "Wants to return or exchange something",
            "complaint": "Unhappy with experience, wants resolution",
        },
    ),
    "complexity": Score(
        instructions="How complex is this request to resolve",
        criteria=[
            "Simple lookup or standard procedure",
            "Requires some judgment or multi-step process",
            "Unusual situation, edge case, or escalation needed",
        ],
    ),
}

ثلاثة تفاصيل:

  • يجب أن تكون أوصاف الخيارات قادرة على تمييز بعضها عن بعض. يرى النموذج أسماء الخيارات وأوصافها، ولا يرى معرّفات الأسئلة. اكتب الوصف «Asking about an existing order» (السؤال عن طلب قائم) وليس «متعلق بالطلبات»، حتى لا تتكدس النوايا الأربع معًا
  • المستوى الثالث من مسطرة التعقيد هو «escalation needed». كود التوجيه يستخدم تحديدًا هذه الدرجة كإشارة للتحويل إلى موظف بشري (الخطوة 4)
  • إذا كان من الممكن ألا تكون القائمة كاملة، أضف خيار other / none of the above، ليتيح للنموذج أن يقول «لا شيء من ذلك صحيح» — توصية رسمية، التفاصيل في درس Choice. في هذا المثال تغطي النوايا الأربع كل مداخل النظام التجريبي، لذلك لم تُضَف

يجب أن ترى: سؤالين في ROUTING_QUESTIONS، سؤال Choice بأربعة خيارات نوايا، وسؤال Score بمسطرة تعقيد من ثلاثة مستويات.

  • كل خيار نية عندي له وصف واحد يميّزه عن الخيارات الأخرى

الخطوة 2: الحصول على إجابتين مُنمّطتين في طلب واحد ​

لماذا: النية والتعقيد مستقلان — كما ذُكر في الدرس السابق، الأسئلة المستقلة يجب أن تُدمج في طلب واحد: لا يزيد زمن الاستجابة تقريبًا، ولا يكلّف سوى قليل من توكنات الأسئلة الإضافية.

أنشئ smart_route.py، واربطه بتعريفي السؤالين من الخطوة 1، وأرسل رسالة واضحة للتجربة:

python
from typesafe_sdk import TypeSafeClient

# ROUTING_QUESTIONS 的定义见第 1 步,此处省略

message = "Hi, where is my order? It was supposed to arrive last Tuesday and tracking hasn't updated."

with TypeSafeClient() as client:
    response = client.system_one(
        state=message,
        questions=ROUTING_QUESTIONS,
    )

intent = response.answers["intent"]
complexity = response.answers["complexity"]

print(intent.choice, intent.confidence)
print(complexity.score, complexity.confidence)

شغّله:

bash
.venv/bin/python smart_route.py

يجب أن ترى: السطر الأول هو order_status مع confidence قريب من 1.0 — لهذه الرسالة نية واضحة واحدة فقط، فسيتكدس الاحتمال كله على هذا الخيار (في مثال الـ quickstart الرسمي، التذكرة التي تتحدث فقط عن خطأ API برمز 500، كان confidence للـ department فيها 1.0). السطر الثاني هو درجة التعقيد مع confidence الخاص بها، احصل عليها في هذه الخطوة واستخدمها في الخطوة 4. القيم الفعلية تخضع لما يعيده نظامك، وقد تتغير مع إصدار Jev.

بدّلها برسالة ذات نوايا مختلطة وشغّلها مرة أخرى:

python
message = "This is the third time I'm writing and nobody has replied. Where is my order? I'm done waiting — I want my money back."

يجب أن ترى: ستظل intent.choice تعطي اسم فائز (لا بد لها — choice هو دائمًا الخيار ذو الاحتمال الأعلى)، لكن هذه المرة يتوزع الاحتمال على عدة خيارات مثل order_status / return_exchange / complaint، ويهبط intent.confidence بوضوح. وثيقة درس Choice الرسمية تسجّل حالة مماثلة: تذكرة تذكر خطأ المقاس والخصم المزدوج في آن واحد، returns 0.61 / billing 0.35، والـ confidence فقط 0.42 — الرسالة تخص فريقين، فالتوزيع ينقسم بصدق.

هذا الـ confidence الهابط هو الإشارة التي ستتغذى عليها بوابة الخطوة 3.

  • رسالة واضحة: confidence مرتفع؛ رسالة مختلطة: confidence يهبط بوضوح

الخطوة 3: كتابة كود التوزيع لتوجيه النوايا عبر Jev ​

لماذا: جوهر التوجيه هو ببساطة if/elif — بشرط أن تكون الإجابة نظيفة بما يكفي لتفادي التحليل. Jev يضمن أن choice سيكون حتمًا أحد خيارات الـ criteria، لذا يمكن لكود التوزيع أن يستوعب كل الحالات.

فيما يلي كود route_ticket كما هو في صفحة الأنماط الرسمية (docs/patterns/intent-routing.md). دوال المعالجة (handle_order_status، handle_with_llm وغيرها) أسماء رسمية مؤقتة، استبدلها بمنطق أعمالك الخاص:

python
def route_ticket(ticket_id, response):
    intent = response.answers["intent"]
    complexity = response.answers["complexity"]

    if intent.confidence < 0.5:
        # If we don't have enough confidence to classify, route to a human agent
        return route_to_human_agent(ticket_id)

    if intent.choice == "order_status":
        handle_order_status(ticket_id)

    elif intent.choice == "product_question":
        handle_with_llm(ticket_id, PRODUCT_SPECIALIST)

    elif intent.choice == "return_exchange":
        handle_with_llm(ticket_id, RETURNS_SPECIALIST)

    elif intent.choice == "complaint":
        low_confidence = complexity.confidence < 0.5
        # A higher complexity.score leans toward the "escalation needed" end of the scale.
        if complexity.score > 1 or low_confidence:
            # Too complex for safe automation, or we're not sure about the complexity; route to a human.
            route_to_human_agent(ticket_id)
        else:
            handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)

شغّله على الرسالتين من الخطوة 2:

python
route_ticket("T-1024", response)

يجب أن ترى:

  • رسالة واضحة (order_status، confidence مرتفع) → لا يُستدعى فرع التحويل إلى موظف بشري، ويُسلَّم الأمر إلى handle_order_status — كود حتمي، استعلام واحد من قاعدة البيانات يجيب، بدون أي مشاركة من LLM
  • رسالة مختلطة (هبط الـ confidence إلى ما دون 0.5) → استدعاء route_to_human_agent مباشرة، ويُحاصَر الخطأ قبل التنفيذ

اقرأ بنية هذا الكود مرة واحدة، الفروع الأربعة تقابل تمامًا ثلاث فئات من المعالجات:

النيةالمعالجالتكلفة
order_statusكود حتمي (استعلام الطلب)الأرخص، بدون LLM
product_question / return_exchangeLLM خبير لكل منهماكل منهما يحمل سياق مجال مختلفًا
complaint (معقد أو غير مؤكد)بشريالأغلى، يُترك فقط لما يحتاجه فعلاً

خلاصة الجهة الرسمية لهذا الكود: تكتمل التصنيفات في استدعاء واحد سريع، ولا تُستدعى الموارد المكلفة إلا من الطلبات التي تحتاجها فعلاً.

  • أول مسار في كود التوجيه الخاص بي هو «confidence غير كافٍ → بشري»، وليس التوزيع المباشر

الخطوة 4: إضافة بوابة ثانوية للتعقيد على فرع complaint ​

لماذا: بوابة الخطوة 3 نظرت فقط إلى الثقة في النية نفسها. لكن بعض النيات تحتاج بطبيعتها إلى طبقة سؤال إضافية: الشكوى قد تكون «تذمراً من بطء الشحن»، وقد تكون «تهديداً بالفضح على وسائل التواصل الاجتماعي» — نفس تصنيف النية، لكن كلفة المعالجة تختلف جذرياً. هذا الحكم يُسلَّم إلى إجابة complexity التي تم الحصول عليها أصلاً في نفس الطلب، دون استدعاء ثانٍ.

بالعودة إلى فرع complaint في كود الخطوة 3:

python
elif intent.choice == "complaint":
    low_confidence = complexity.confidence < 0.5
    # A higher complexity.score leans toward the "escalation needed" end of the scale.
    if complexity.score > 1 or low_confidence:
        # Too complex for safe automation, or we're not sure about the complexity; route to a human.
        route_to_human_agent(ticket_id)
    else:
        handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)

شرطا البوابة، كل منهما يعترض حالة مختلفة:

  • complexity.score > 1: الدرجة تجاوزت المستوى المتوسط، تميل نحو طرف «escalation needed» على المقياس — ما يمكن أتمتته لكن لا نجرؤ على أتمتته، يُحوَّل إلى البشر
  • complexity.confidence < 0.5: حتى التعقيد نفسه لم يُقيَّم بوضوح — المعلومات غير كافية، يُحوَّل إلى البشر أيضاً

تنبه الجهة الرسمية بعد هذا الكود خصيصاً: يجب إجراء فحص confidence على إجابة Score أيضاً، وتُقرأ دلالة confidence المنخفض في ضوء سياق النظام وكلفة القرار.

يجب أن ترى: بالنسبة لرسالة الخطوة 1 «هذه ثالث رسالة أكتبها ولا أحد يرد، أريد استرداد أموالي»، ستقع النية على الأرجح في نطاق complaint؛ وعندما يكون التعقيد مرتفعاً أو غير مؤكد، تقع في الفرع البشري بدلاً من LLM الشكاوى — كرسي بشري إضافي مقابل معالجة آمنة لا تُفاقم شكوى العميل.

  • أستطيع أن أقول ما الذي يعترضه شرطا التحويل إلى البشر في فرع complaint: «معقد جداً» و«غير مؤكد»

الخطوة 5: تحجيم عتبات الثقة حسب المخاطر (مثال البنك الصوتي) ​

لماذا: عتبة 0.5 السابقة كانت شبكة أمان لـ«عملية التصنيف» نفسها. لكن حتى لو صُنِّف بشكل صحيح، فإن مستوى تحمل الخطأ يختلف باختلاف الإجراء: خطأ في قراءة الرصيد يعني أن المستخدم يستمع مرة أخرى فقط؛ أما خطأ في الموافقة على تحويل فهو خسارة مالية. صفحة النمط الثانية الرسمية جسّدت هذه المنطق في مثال البنك الصوتي.

سؤال النية لديه (مستخرج أيضاً من الـPlayground الرسمي):

python
BANK_INTENT = Choice(
    instructions="What action is the user requesting?",
    criteria={
        "check_balance": "Check the balance of an account",
        "approve_transfer": "Approve the pending transfer request",
        "other": "Something else",
    },
)

كود البوابة (كما هو رسمياً، docs/patterns/confidence-routing.md):

python
action = response.answers["intent"]

# Below 0.6 confidence on any action, route to a human
if action.confidence < 0.6:
    route_to_support_agent(account_id)

elif action.choice == "check_balance":
    # Low stakes. 0.6 confidence is sufficient.
    show_balance(account_id)

elif action.choice == "approve_transfer":
    if action.confidence > 0.85:
        # High stakes, but high confidence. Safe to act automatically.
        approve_transfer(account_id)
    else:
        # High stakes, moderate confidence. Verify intent first.
        ask_user_to_confirm("Just to confirm: you would like to approve this transfer, is that correct?")

else:
    route_to_support_agent(account_id)

نفس مجموعة أسئلة الاختيار، أربعة مخارج، والعتبة تتبع المخاطر:

الحالةالعتبةالمخرج
أي إجراء، confidence < 0.6خط الأمانالتحويل إلى موظف خدمة عملاء
check_balance، ≥ 0.6مخاطر منخفضةقراءة الرصيد مباشرة
approve_transfer، 0.6–0.85مخاطر عالية بثقة متوسطةتأكيد شفهي من المستخدم قبل التنفيذ
approve_transfer، > 0.85مخاطر عالية بثقة عاليةموافقة تلقائية
other (نية خارج القائمة)—التحويل إلى موظف خدمة عملاء

تفسير الجهة الرسمية لهذه الأرقام: خط الأمان 0.6 يلتقط جميع الحالات التي يكون فيها النموذج غير متأكد فعلاً؛ وفوق الخط، لكل إجراء عتبته الخاصة وفق «كلفة التنفيذ الخاطئ» — التحقق من الرصيد يكفيه 0.6 لأن أسوأ حالة هي أن يستمع المستخدم للقراءة مرة إضافية؛ أما الموافقة على تحويل فتتطلب 0.85 أو أكثر، وإلا فيجب على النظام التأكيد أولاً.

جرّب هذه الأوامر الثلاثة (مع استبدال تعريف الـstate والأسئلة من الخطوة 2، وأرسل الطلبات واحداً تلو الآخر):

python
for message in [
    "What's my account balance?",               # → check_balance
    "Yes, go ahead and approve the transfer.",  # → approve_transfer
    "Can you help me with something else?",     # → other
]:
    response = client.system_one(state=message, questions={"intent": BANK_INTENT})
    # …接下面的门控代码

يجب أن ترى: الأول يقرأ الرصيد تلقائياً؛ والثاني يقع على الأرجح في أحد الفرعين — الموافقة التلقائية عند > 0.85 أو التأكيد أولاً عند 0.6–0.85 — كلا الفرعين مخرج مشروع، وهذا بالضبط معنى البوابة؛ والثالث يذهب عبر else إلى البشر.

لا تخلط بين مجموعتي الأرقام: مثال رسمي آخر لنفس السيناريو (قسم «Thresholds scale with risk» في docs/confidence.md، وسبق شرحه أيضاً في درس Confidence) يستخدم 0.5 كخط أمان / التحويل > 0.9. كلاهما مثال رسمي، أرقام مختلفة ونمط واحد — الاختلاف نفسه هو ما تريد الجهة الرسمية قوله، وتكتب بوضوح في NOTE بنفس القسم:

تعتمد العتبات الصحيحة على مجالك وعلى أداء النموذج في حالة استخدامك. ابدأ بعتبات متحفظة، واختبرها ببياناتك، ثم عدّلها تدريجياً بناءً على الملاحظة.

💡 توجيه الرسائل الصينية

توضح الجهة الرسمية أن الإنجليزية هي لغة التدريب الرئيسية وتحقق أفضل دقة، وأن اللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل إطلاق نظام توجيه للرسائل الصينية، شغّل دفعة ببياناتك أولاً وركّز على توزيع confidence — هل تعترض البوابة خطأً أو تمرر خطأً أهم من النظر إلى صحة إجابات فردية.

نقطة تحقق ✅ ​

  • أستطيع أن أقول خطوتي التوجيه الذكي: تصنيف النية والتعقيد عبر Choice/Score، وconfidence يقرر السماح بالمرور
  • أعرف أنواع المعالِجات الثلاثة: كود حتمي (بدون LLM)، وLLM متخصص، وبشري — والـintent المناسب لكل منها
  • أول مسار في كود التوجيه الخاص بي هو الاحتياط البشري (مثل intent.confidence < 0.5 → بشري)
  • أعرف أن العتبات تُحجَّم حسب المخاطر: المخاطر المنخفضة يكفيها 0.6، والمخاطر العالية (الموافقة على التحويلات) تتطلب 0.85 أو أكثر
  • أعرف ترتيب التحقق الرسمي عندما لا يتصرف التوجيه كما هو متوقع: افحص العتبات والأسئلة أولاً، بدلاً من الشك في النموذج أولاً

تنبيهات للمزالق ​

❌ وضع عتبات confidence في كل مكان ​

ملء جميع مسارات الكود بحكم «إذا كان أقل من X فحوِّل إلى البشر» هو أكثر أشكال الاستخدام الخاطئ شيوعاً. تذكير وثائق agent-skill الرسمية:

إذا كنت تهتم فقط باختيار الخيار الأفضل، فاختر مباشرة ذا confidence الأعلى (بدلاً من وضع عتبة confidence). وإذا كانت لديك حاجة محددة لخوارزمية إحصائية، فالأرجح أنه يجب عليك استخدام probabilities بدلاً من confidence.

متى تُستخدم البوابة: عندما تُطلق الإجابة إجراءً حقيقياً وتختلف كلفة الإجراءات. أما سيناريوهات الترتيب فقط أو الحصول على top1 فقط، فخذ choice مباشرة وانتهى الأمر.

❌ عندما لا يتصرف التوجيه كما هو متوقع، تبدأ بتعديل صياغة الأسئلة ​

الأعراض: معدل الاستدعاء غير صحيح — ما كان يجب تحويله إلى البشر لم يُحوَّل (سالب كاذب)، وما لم يكن يجب تحويله حُوِّل (موجب كاذب). ترتيب التحقق الرسمي هو افحص العتبات أولاً، ثم الأسئلة:

  • العتبة مرتفعة جداً → سالب كاذب (كمية كبيرة مما كان يجب أتمتته يُحوَّل إلى البشر)
  • العتبة منخفضة جداً → موجب كاذب (كمية كبيرة من غير المؤكد يُنفَّذ تلقائياً)
  • إذا كانت العتبات سليمة فعلاً، فاجعل الأسئلة أكثر تحديداً (مثلاً عندما لا تكون أوصاف الخيارات مميزة بما يكفي)

❌ نظام واحد بعتبة واحدة فقط ​

0.5 لأمان التصنيف، و0.6 للإجراءات منخفضة المخاطر، و0.85 للإجراءات عالية المخاطر — هذه الأرقام الثلاثة موجودة معاً في مثال البنك الصوتي أعلاه. تقول الجهة الرسمية بوضوح إن «confidence threshold ليس رقماً واحداً»: في نفس النظام، لكل إجراء عتبته وفق «كلفة الخطأ»، وكودك يعكس مستوى تحملك للمخاطر. النظام ذو العتبة الواحدة إما يعترض أكثر من اللازم (انفجار في حجم العمل البشري)، وإما يمرر أكثر من اللازم (إجراءات عالية المخاطر بلا حماية).

❌ قائمة النوايا بلا مخرج «لا شيء منها صحيح» ​

عندما لا تغطي قائمة الخيارات جميع المدخلات، يُجبَر النموذج على اختيار أقلها سوءاً من مجموعة خاطئة — وسيختار واحداً بثقة (النص الحرفي للجهة الرسمية في كتاب function calling cookbook حول اختيار المعاملات: «بدون سؤال stated، يجب على choice أن يختار window اختياراً قسرياً، وسيختار واحداً بثقة»). الطريقة الصحيحة: إذا كانت القائمة قد لا تكون كاملة، أضف خيار other / none of the above، وامنح other مخرجاً واضحاً في الكود (أي else → 转人工 أعلاه، أي التحويل إلى البشر). كما تذكّر الجهة الرسمية بأن none of the above يؤدي أداءً عادياً في سيناريوهات كثيرة، والبديل هو إضافة Noul مصاحب في نفس الطلب يسأل «هل تذكر هذه الرسالة أي منتج من منتجاتنا؟»، ولا يقرأ الكود إجابة Choice إلا عندما تكون Noul بـyes.

تقنيات متقدمة (اختياري) ​

استخدام probabilities لإرسال نسخة إلى النية الثانية. إلى جانب التقييد (gating)، probabilities يمكن أن يعمل أيضًا كإشارة توجيه ثانوية. في مثال الفرز (triage) ذي الأسئلة الخمسة في وثائق Choice الرسمية (تذكرة واحدة تتعلق في آن واحد بالإرجاع والاستبدال وبالخصم المزدوج) يوجد هذا المقطع:

python
# A second team with a real share of the probability gets a copy
for team, probability in answer.probabilities.items():
    if team != answer.choice and probability > 0.25:
        notify(ticket, team=team)

التوجيه الرئيسي يعيّن التذكرة لفريق returns، بينما يستلم billing نسخة لأنه حصل على حصة احتمالية 0.35 (تجاوزت عتبة 0.25) — وهو طريق ثالث أدق من «إذا انخفض confidence فحوّل كل شيء إلى الإنسان»: يُنفَّذ الجواب الرئيسي كالمعتاد، ويُبلَّغ شخص ما بالجواب الأفضل التالي. السجل الرسمي لهذه التذكرة: عُيّنت التذكرة إلى returns (issue=wrong_size)، واستلم billing نسخة، وسُئل العميل عمّا يريده (confidence لـ resolution 0.20 أدنى من 0.5) — طلب واحد، خمسة أجوبة، والتقييد اكتمل بالكامل.

مؤشران بديلان للتقييد. إذا لم يناسبك معادلة confidence في سيناريوهك، توصي الوثائق الرسمية بمؤشرين يُحسبان كذلك من probabilities: الأول هو احتمال الأعلى p_max (يُقرأ «مدى احتمال الخيار المحدد»، وتُضبط العتبة حسب عدد الخيارات — 0.5 ضعيف مع خيارين وقوي مع عشرة خيارات)؛ والثاني هو النسبة بين الأول والثاني p_max / p_second (تقيس تفوّق الأول على الثاني، وهي مخصصة لسيناريوهات التوجيه من نوع «صراع قويّين»).

أشكال أخرى لفكرة التقييد. نمط «جواب + تراجع درجة إذا لم تكفِ الثقة» هذا ليس له طريقة تراجع واحدة:

  • 75 فئة من التصنيف الصناعي: تُقسَّم التقارير السنوية لـ SEC إلى 75 مجموعة صناعية، وإذا لم يكفِ confidence 0.9 يُبلَّغ عن القسم الكبير (division) الذي تنتمي إليه — في الاختبار الرسمي لـ 60 مستندًا، حقّق النصف المؤكَّد 90% إصابة، بينما النصف غير المؤكَّد حقّق 40% فقط، وبعد الإبلاغ عن القسم الكبير ارتفع إلى 70%
  • قرار Agent: اختيار مهارة لـ agent من بين 194 مهارة — طلبان + عتبتان، ما يخفّض التحميل الخاطئ إلى النصف مباشرةً
  • يحتوي دليل how-to الرسمي أيضًا على نسخة تقييد مصغّرة (confidence < 0.8 فيُحوَّل إلى مراجعة بشرية)، أربعة أسطر من الكود، مناسبة كنسختك الأولى

خلاصة هذا الدرس ​

✅ التوجيه الذكي = توجيه نية Jev + تقييد بالثقة: يصنّف Choice النية ويقيّم Score التعقيد، ويُسترجعان بالتوازي في طلب واحد، وconfidence يقرر السماح بالتنفيذ من عدمه.

✅ الأنواع الثلاثة من المعالجات لكل منها موضعه: الكود الحتمي يعالج النوايا الميكانيكية (صفر LLM)، وLLM الخبير يعالج مسائل المجال، والإنسان يعالج انخفاض الثقة والمخاطر العالية.

✅ بنية التقييد هي «خط أمان + عتبة مخاطرة»: كل إجراء يمر أولًا بخط الأمان (مثال: 0.5 / 0.6)، وبعد اجتياز الخط تُضبط لكل إجراء عتبته حسب تكلفته (الاستعلام عن الرصيد 0.6، التحويل 0.85).

✅ إذا كانت قائمة النوايا قد لا تكون كاملة، أضف other / none of the above وامنحه مخرجًا واضحًا؛ فحين يُجبَر النموذج على الاختيار القسري يكون «واثقًا في اختيار الخطأ».

✅ اختيار الأفضل فقط لا يحتاج إلى عتبة؛ أما احتياجات مثل الترتيب وإرسال النسخ فتستخدم probabilities.

مراجعة سريعة للحقائق الأساسية:

البندالقيمةالمصدر
سؤال النية instructionsThe primary intent of this customer messagePlayground الرسمي (patterns/intent-routing)
خيارات النيةorder_status / product_question / return_exchange / complaintالمصدر نفسه
خط أمان التصنيفintent.confidence < 0.5 → إنسانdocs/patterns/intent-routing.md
التقييد الثاني لـ complaintcomplexity.score > 1 أو complexity.confidence < 0.5 → إنسانالمصدر نفسه
خط أمان البنكconfidence < 0.6 → إنسانdocs/patterns/confidence-routing.md
عتبة التحويل> 0.85 تنفيذ تلقائي، 0.6–0.85 تأكيد أولًاالمصدر نفسه

نظام التوجيه حالة نموذجية لـ «تشغيل Jev على المسار الحرج»، فقبل الإطلاق يُرجى مراجعة Jev 1.13 دليل المزالق والمرور على أنماط الفشل التسعة (خصوصًا بندي الفهم الحرفي والتفاصيل غير المرتبطة بـ state الكبير).

استعراض الدرس القادم ​

استخدمت الخطوة 4 سؤال Score واحدًا لتقييم التعقيد، وهو ما سمح بالفعل بتقليص حجم العمل البشري. الدرس القادم يدفع هذا النهج إلى أقصاه — التقييم المركّب: تفكيك الحكم المعقد إلى درجات ذرّية ثم ترجيحها.

ستتعلم:

  • تفكيك الأحكام المعقدة مثل «ما مدى خطورة هذه الشكوى» إلى أسئلة Score ذرّية متعددة
  • التطبيع (القسمة على رقم أعلى مستوى) لسحب درجات المقاييس المختلفة إلى مقياس واحد
  • الدمج المرجّح في الكود لإخراج الدرجة الكلية، فالأوزان هي موقفك من المخاطر
  • عندما لا يطابق الترتيب التوقعات، عدّل ثوابت الأوزان فقط دون لمس أي prompt
gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.