स्मार्ट राउटिंग: इंटेंट क्लासिफिकेशन प्लस कॉन्फिडेंस गेटिंग
पिछले पाठ की समानांतर प्रश्न ने "सभी प्रश्न एक साथ पूछने" की समस्या हल की। यह पाठ उसके बाद की बात हल करता है: उत्तर मिलने के बाद, संदेश किसे सौंपा जाए — नियतिवादी कोड, विशेषज्ञ LLM, या मानव।
आधिकारिक रूप से इसे दो पैटर्न में विभाजित किया गया है: Intent routing (इंटेंट राउटिंग) पहले वर्गीकृत करता है फिर डिस्पैच करता है; Confidence-gated routing (कॉन्फिडेंस-गेटेड राउटिंग) एक और गेट जोड़ता है — "उत्तर बताता है क्या है, confidence बताता है क्या करना है"। दोनों पैटर्न मिलकर इस पाठ की स्मार्ट राउटिंग हैं। पूरा 12 मिनट।
वास्तव में आपने पहले अनुरोध में पहले ही सबसे सरल राउटिंग कर ली थी: route_ticket.py department नामक Choice से टिकट को technical टीम को सौंपा गया था। यह पाठ इसे एक पूर्ण, प्रोडक्शन-तैयार राउटिंग सिस्टम में विस्तारित करता है।
सीखने के बाद आप क्या कर सकते हैं
- Choice के साथ Jev इंटेंट राउटिंग पूरी करें: आने वाले संदेशों को निश्चित इंटेंट सेट (order_status / product_question / return_exchange / complaint) में बाँटें, Score से साथ-साथ जटिलता का मूल्यांकन करें
- फ़ॉलबैक शाखा वाला राउटिंग कोड लिखें: confidence थ्रेशोल्ड से कम → मानव; थ्रेशोल्ड पार → if/elif से तीन प्रकार के हैंडलर को डिस्पैच करें
- क्रिया के जोखिम के अनुसार अलग थ्रेशोल्ड सेट करें: कम जोखिम वाली क्रिया (बैलेंस पूछना) 0.6 पर पार कर दें, उच्च जोखिम वाली क्रिया (ट्रांसफर स्वीकृति) 0.85 या अधिक होने पर ही पुष्टि के बिना निष्पादित हो
- स्पष्ट करें कि कब confidence थ्रेशोल्ड नहीं सेट करना चाहिए, और राउटिंग अपेक्षा के अनुरूप न होने पर आधिकारिक समस्या-निवारण पथ क्या है
- probabilities से गेटिंग से परे ऐसे सहायक राउटिंग के लिए उपयोग करें जैसे 「दूसरे इंटेंट का CC」
आपकी वर्तमान दुविधा
- मैं बड़े मॉडल से इंटेंट राउटिंग करता हूँ, prompt में सख्ती से लिखा है 「केवल चार विकल्पों में से एक आउटपुट करें」, फिर भी वह समय-समय पर मुझे 「यह एक ऑर्डर क्वेरी है」 जवाब देता है और पीछे एक व्याख्या जोड़ देता है। मैंने पकड़ने के लिए कई दर्जन पंक्तियों के regex और try/except लिखे, पार्सिंग कोड बिज़नेस कोड से भी लंबा हो गया
- मैंने कीवर्ड नियम-आधारित राउटिंग भी आज़माई: "रिफंड"→बिक्री-बाद सेवा, "लॉजिस्टिक्स"→ऑर्डर। पहले सप्ताह अच्छा चला, दूसरे सप्ताह उपयोगकर्ता बोले "मैंने पिछली बार जो खरीदा वह अभी तक नहीं आया", नियम तालिका 20 से बढ़कर 200 हो गई, हिट दर फिर भी नहीं बढ़ी
- मॉडल कभी नहीं बताता कि उसे 「भरोसा नहीं है」: बावन्न प्रतिशत और अट्ठानवे प्रतिशत का भरोसा, मेरे हाथ में लौटकर बिल्कुल एक जैसे दिखते हैं, दोनों पर ही हिम्मत करके निष्पादित करना पड़ता है। ऑर्डर क्वेरी गलत हो तो उपयोगकर्ता दोबारा पूछ लेता है और बात खत्म, लेकिन एक ट्रांसफर गलत निष्पादित होने पर सचमुच असली पैसे का नुकसान होता है
कब इस तरकीब का उपयोग करें
जब आपको आवश्यकता हो:
- आने वाले अनुरोधों को अलग-अलग हैंडलर को डिस्पैच करना: कस्टमर सर्विस टिकट, वॉइस कमांड, agent कौशल चयन
- मॉडल को भरोसा न होने पर सुरक्षित रूप से पीछे हट सकना: मानव को ट्रांसफर, पुष्टि माँगना, या प्रश्न बदलना
- महँगे संसाधन केवल वास्तव में आवश्यक अनुरोधों पर खर्च हों — विशेषज्ञ LLM को 「ऑर्डर क्वेरी」 का जवाब देने की ज़रूरत नहीं है
और आप नहीं चाहते:
- हर संदेश को बड़े मॉडल से गुज़ारना और फिर उसके टेक्स्ट आउटपुट को निकालने के लिए पार्सिंग कोड लिखना
- एक ऐसी कीवर्ड तुलना-सूची का रखरखाव करना जो कभी पूरी न हो
- मॉडल के पास अनिश्चितता का संकेत न होना, गलती होने पर बाद में ही आग बुझाना
🎒 शुरू करने से पहले की तैयारी
- समानांतर प्रश्न और स्पेकुलेटिव फैन-आउट पूरा किया है: पता है कि कई प्रश्न एक ही अनुरोध में समानांतर, स्वतंत्र रूप से मूल्यांकित होते हैं (इस पाठ का Choice + Score इसी पर निर्भर है)
- पहला अनुरोध सफलतापूर्वक चलाया है:
.venvमेंtypesafe-sdkइंस्टॉल है,TYPESAFE_API_KEYपर्यावरण चर में मौजूद है - मोटे तौर पर याद है Choice और Score का लेखन तरीका (भूल गए तो कोई बात नहीं, चरण 1 में साथ लिखेंगे)
मूल विचार
पहले वर्गीकृत करें, फिर डिस्पैच करें। Intent routing की आधिकारिक परिभाषा:
आने वाले अनुरोधों को वर्गीकृत करें, और प्रत्येक अनुरोध को सर्वोत्तम हैंडलर को रूट करें: नियतिवादी लॉजिक, विशेषज्ञ LLM, या मानव।
हर संदेश को एक ही प्रकार के हैंडलर की आवश्यकता नहीं होती: कुछ डेटाबेस से पूछने पर ही उत्तर मिल जाता है, कुछ को डोमेन संदर्भ वाले LLM की आवश्यकता होती है, कुछ के लिए मानव ज़रूरी है। Jev सभी हैंडलर के सामने बैठकर वह "तेज़ और सस्ता" क्लासिफायर है — आधिकारिक दस्तावेज़ कहता है कि अधिकांश कॉल लगभग 100 मिलीसेकंड में पूरे होते हैं (docs/concepts/how-to-build-with-system-one.md:55), महंगी चीज़ें केवल उन अनुरोधों द्वारा ट्रिगर होती हैं जिन्हें वास्तव में उसकी आवश्यकता है।
फिर एक और गेट जोड़ें। Confidence-gated routing की आधिकारिक परिभाषा:
confidence को दूसरे अक्ष के रूप में लें। उत्तर बताता है 「यह क्या है」, confidence बताता है 「क्या करना है या नहीं」।
Jev के प्रत्येक Choice और Score उत्तर में confidence स्वतः शामिल होता है (0–1, प्रायिकता वितरण की एकाग्रता से गणना की जाती है)। आधिकारिक तीन-स्तरीय उपयोग:
| confidence | व्यवहार |
|---|---|
| उच्च | स्वचालित निष्पादन, मानव की भागीदारी की आवश्यकता नहीं |
| मध्यम | सावधानी से आगे बढ़ें: उपयोगकर्ता से पुष्टि लें, समीक्षा के लिए चिह्नित करें, या पहले जानकारी पूरक करें |
| निम्न | कोई क्रिया न करें: मानव को ट्रांसफर करें, स्पष्टीकरण माँगें, या किसी अन्य सिस्टम पर वापस जाएँ |
दोनों पैटर्न मिलकर एक पूर्ण राउटिंग पाइपलाइन बनाते हैं (आधिकारिक कस्टमर सर्विस राउटिंग उदाहरण की संरचना):
customer message
│ एक अनुरोध: संदेश + 2 प्रश्न
▼
┌─────────────────────────────┐
│ intent (Choice) │ ← समानांतर मूल्यांकन
│ complexity (Score) │
└─────────────────────────────┘
│ एक रिस्पॉन्स: 2 confidence वाले उत्तर
▼
intent confidence ≥ 0.5?──नहीं──▶ मानव एजेंट
│हाँ
▼ intent.choice के अनुसार डिस्पैच
├─ order_status → ऑर्डर क्वेरी (डिटरमिनिस्टिक कोड, कोई LLM नहीं)
├─ product_question → प्रोडक्ट एक्सपर्ट LLM
├─ return_exchange → रिटर्न/एक्सचेंज एक्सपर्ट LLM
└─ complaint → complexity > 1 या इसे खुद भरोसा नहीं?──हाँ──▶ मानव एजेंट
│नहीं
▼
शिकायत निपटान LLMLLM prompt से सीधे रूटिंग क्यों नहीं करें?
| तुलना का आयाम | LLM prompt रूटिंग | Jev इंटेंट रूटिंग |
|---|---|---|
| रिटर्न फॉर्मैट | फ्री टेक्स्ट, आउटपुट order_status हो या "ऑर्डर क्वेरी" हो, भाग्य पर निर्भर | टाइप्ड उत्तर, अनिवार्यतः पूर्व-परिभाषित विकल्पों में से एक |
| पार्सिंग कोड | regex + try/except + रीट्राई | विकल्प का नाम लेकर सीधे if/elif, ज़ीरो पार्सिंग |
| इंटेंट के अलावा की जानकारी | एक और रिक्वेस्ट भेजकर फिर से पार्स करें | उसी रिक्वेस्ट में समानांतर एक Score जोड़ें |
| अनिश्चितता का संकेत | नहीं मिलता | हर उत्तर के साथ confidence आता है |
| नया इंटेंट जोड़ना | prompt बदलकर दोबारा डिबग करें | रिक्वेस्ट में एक विकल्प जोड़ें, डिस्पैच कोड में एक ब्रांच जोड़ें |
तो confidence का यह गेट क्यों रखें? इसे हटा दें, तो top1 प्रॉबेबिलिटी 0.52 और 0.98 वाले दोनों उत्तर आपके हाथ में एक जैसे दिखेंगे। चार तरह के मैसेज में एक "ऑर्डर के बारे में पूछते हुए और भावनात्मक रूप से उग्र" मैसेज घुस जाए, तो इंटेंट order_status और complaint के बीच बँट जाता है, फिर भी उत्तर आपको एक winner देगा—बस प्रॉबेबिलिटी बँट जाती है, confidence गिर जाता है।गेटिंग आपको ऐसे क्षण में "अभी मत करो" चुनने देती है।
confidence की गणना का फॉर्मूला और तीन स्तरों की पूरी व्याख्या Confidence कॉन्फिडेंस पाठ में है; यह पाठ इस बात पर केंद्रित है कि इसे रूटिंग में कैसे इस्तेमाल करें।
मेरे साथ करें
चरण 1: इंटेंट वर्गीकरण और जटिलता—दो प्रश्न परिभाषित करें
क्यों: रूटिंग लागू हो सकती है, इसकी शर्त यह है कि उत्तर वैसी चीज़ हो जिसे कोड सीधे मिला सके।Choice आपको "चार में से एक" इंटेंट देता है, Score आपको "कितना जटिल" का मापदंड देता है—ये दो जानकारियाँ क्रमशः तय करती हैं कि "किसे सौंपें" और "स्वचालित कर सकते हैं या नहीं"।
ये आधिकारिक पैटर्न पेज के Playground में दिए गए दो प्रश्नों की परिभाषाएँ हैं (रेंडर किए गए पेज से निकाली गईं, विकल्प विवरण आधिकारिक मूल पाठ हैं):
from typesafe_sdk import Choice, Score
ROUTING_QUESTIONS = {
"intent": Choice(
instructions="The primary intent of this customer message",
criteria={
"order_status": "Asking about an existing order",
"product_question": "Asking about a product before buying",
"return_exchange": "Wants to return or exchange something",
"complaint": "Unhappy with experience, wants resolution",
},
),
"complexity": Score(
instructions="How complex is this request to resolve",
criteria=[
"Simple lookup or standard procedure",
"Requires some judgment or multi-step process",
"Unusual situation, edge case, or escalation needed",
],
),
}तीन बारीकियाँ:
- विकल्प विवरण एक-दूसरे से अलग किए जा सकने योग्य होने चाहिए। मॉडल विकल्प के नाम और विवरण देख पाता है, प्रश्न ID नहीं। विवरण में "Asking about an existing order" (पहले से मौजूद ऑर्डर के बारे में पूछना) लिखें, "ऑर्डर संबंधित" नहीं, तभी चारों इंटेंट एक साथ नहीं भिड़ेंगे
- जटिलता स्केल का तीसरा स्तर "escalation needed" है। रूटिंग कोड इसी सिरे को मानव एजेंट को एस्केलेट करने का संकेत मानता है (चरण 4)
- सूची अधूरी हो सकती है तो
other/none of the aboveविकल्प जोड़ें, ताकि मॉडल कह सके "इनमें से कोई नहीं"—आधिकारिक सुझाव, विवरण के लिए देखें Choice पाठ। इस उदाहरण के चार इंटेंट उदाहरण सिस्टम के सभी प्रवेश बिंदुओं को कवर करते हैं, इसलिए नहीं जोड़े गए
आपको दिखना चाहिए: ROUTING_QUESTIONS में दो प्रश्न, एक Choice चार इंटेंट विकल्पों के साथ, एक Score तीन स्तरों की जटिलता स्केल के साथ।
- मेरे प्रत्येक इंटेंट विकल्प का एक विवरण है जो उसे अन्य विकल्पों से अलग करता है
चरण 2: एक रिक्वेस्ट में दो टाइप्ड उत्तर पाएं
क्यों: इंटेंट और जटिलता एक-दूसरे पर निर्भर नहीं हैं—पिछले पाठ में बताया गया, स्वतंत्र प्रश्नों को एक ही रिक्वेस्ट में मिला देना चाहिए: रिस्पॉन्स टाइम लगभग नहीं बढ़ता, बस थोड़े प्रश्न token ज़्यादा खर्च होते हैं।
नई फाइल smart_route.py बनाएं, चरण 1 की प्रश्न परिभाषा जोड़ें, और एक साफ़ मैसेज भेजकर आज़माएं:
from typesafe_sdk import TypeSafeClient
# ROUTING_QUESTIONS 的定义见第 1 步,此处省略
message = "Hi, where is my order? It was supposed to arrive last Tuesday and tracking hasn't updated."
with TypeSafeClient() as client:
response = client.system_one(
state=message,
questions=ROUTING_QUESTIONS,
)
intent = response.answers["intent"]
complexity = response.answers["complexity"]
print(intent.choice, intent.confidence)
print(complexity.score, complexity.confidence)इसे चलाएं:
.venv/bin/python smart_route.pyआपको दिखना चाहिए: पहली पंक्ति order_status है और उसके साथ लगभग 1.0 का confidence—इस मैसेज में केवल एक साफ़ इंटेंट है, प्रॉबेबिलिटी पूरी तरह इसी विकल्प पर केंद्रित होगी (आधिकारिक quickstart उदाहरण में वह टिकट जो केवल API 500 एरर की बात करता था, department का confidence 1.0 ही था)। दूसरी पंक्ति जटिलता स्कोर और उसका अपना confidence है, इस चरण में पहले हाथ में लें, चरण 4 में इस्तेमाल करें। सटीक मान आपके वास्तविक रिटर्न पर निर्भर हैं, Jev संस्करण के साथ बदल सकते हैं।
मिश्रित इंटेंट वाला एक और मैसेज लेकर दोबारा चलाएं:
message = "This is the third time I'm writing and nobody has replied. Where is my order? I'm done waiting — I want my money back."आपको दिखना चाहिए: intent.choice फिर भी एक winner का नाम देगा (उसे देना ही होगा—choice हमेशा सबसे अधिक प्रॉबेबिलिटी वाला विकल्प होता है), लेकिन इस बार प्रॉबेबिलिटी order_status / return_exchange / complaint कई विकल्पों पर बँटी होगी, intent.confidence स्पष्ट रूप से गिर जाएगा। आधिकारिक Choice पाठ दस्तावेज़ में ऐसी ही स्थिति का उल्लेख: एक टिकट जो साथ-साथ साइज़ की गलती और डुप्लिकेट चार्ज की बात करता था, returns 0.61 / billing 0.35, confidence केवल 0.42—मैसेज दो टीमों का है, तो डिस्ट्रीब्यूशन ईमानदारी से बँट जाता है।
यह गिरा हुआ confidence ही वह संकेत है जिसे चरण 3 की गेटिंग खाएगी।
- साफ़ मैसेज: confidence ऊँचा; मिश्रित मैसेज: confidence स्पष्ट रूप से गिरता है
चरण 3: Jev इंटेंट रूटिंग का डिस्पैच कोड लिखें
क्यों: रूटिंग का सार ही if/elif है—शर्त यह है कि उत्तर इतने साफ़ हों कि पार्स करने की ज़रूरत न हो।Jev गारंटी देता है कि choice अनिवार्यतः criteria में से एक विकल्प होगा, इसलिए डिस्पैच कोड सभी मामलों की पूरी सूची रख सकता है।
नीचे आधिकारिक पैटर्न पेज का route_ticket कोड जस का तस है (docs/patterns/intent-routing.md)। हैंडलिंग फंक्शन (handle_order_status, handle_with_llm आदि) आधिकारिक प्लेसहोल्डर नाम हैं, इन्हें अपने बिज़नेस लॉजिक से बदलें:
def route_ticket(ticket_id, response):
intent = response.answers["intent"]
complexity = response.answers["complexity"]
if intent.confidence < 0.5:
# If we don't have enough confidence to classify, route to a human agent
return route_to_human_agent(ticket_id)
if intent.choice == "order_status":
handle_order_status(ticket_id)
elif intent.choice == "product_question":
handle_with_llm(ticket_id, PRODUCT_SPECIALIST)
elif intent.choice == "return_exchange":
handle_with_llm(ticket_id, RETURNS_SPECIALIST)
elif intent.choice == "complaint":
low_confidence = complexity.confidence < 0.5
# A higher complexity.score leans toward the "escalation needed" end of the scale.
if complexity.score > 1 or low_confidence:
# Too complex for safe automation, or we're not sure about the complexity; route to a human.
route_to_human_agent(ticket_id)
else:
handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)चरण 2 के दोनों मैसेज पर चलाएं:
route_ticket("T-1024", response)आपको दिखना चाहिए:
- साफ़ मैसेज (order_status, ऊँचा confidence) → मानव एजेंट वाला ब्रांच ट्रिगर नहीं होता,
handle_order_statusको सौंपा जाता है—डिटरमिनिस्टिक कोड, एक डेटाबेस क्वेरी से ही उत्तर मिल जाता है, शून्य LLM भागीदारी - मिश्रित मैसेज (confidence 0.5 से नीचे गिर जाता है) → सीधे
route_to_human_agent, एरर निष्पादन से पहले ही रुक जाता है
इस कोड की संरचना एक बार पढ़ें, चारों ब्रांच ठीक तीन तरह के हैंडलरों से मेल खाते हैं:
| intent | हैंडलर | लागत |
|---|---|---|
order_status | डिटरमिनिस्टिक कोड (ऑर्डर क्वेरी) | सबसे सस्ता, कोई LLM नहीं |
product_question / return_exchange | अपना-अपना एक्सपर्ट LLM | हर एक में अलग डोमेन कॉन्टेक्स्ट भरा है |
complaint (जटिल या अनिश्चित) | मानव | सबसे महंगा, केवल वास्तव में ज़रूरी मामलों के लिए रखें |
इस कोड पर आधिकारिक सारांश: वर्गीकरण एक ही तेज़ कॉल में पूरा हो जाता है, और महंगे संसाधन केवल उन्हीं अनुरोधों द्वारा ट्रिगर होते हैं जिन्हें वास्तव में उनकी आवश्यकता है।
- मेरे राउटिंग कोड का पहला पथ है 「confidence कम → मानव」, सीधे वितरित करने के बजाय
चरण 4: complaint शाखा में जटिलता का द्वितीयक गेटिंग जोड़ें
क्यों: चरण 3 की गेटिंग केवल इरादे के अपने आत्मविश्वास को देखती थी। लेकिन कुछ इरादों में स्वाभाविक रूप से एक और स्तर पर पूछना पड़ता है: शिकायत 「शिपिंग धीमी है, एक शिकायती वाक्य」 हो सकती है, या 「सोशल मीडिया पर उजागर करने की धमकी」 भी — एक ही इरादा लेबल, प्रबंधन की कीमत में आसमान-ज़मीन का अंतर। यह निर्णय उसी अनुरोध में पहले से प्राप्त complexity उत्तर को सौंपा जाता है, दूसरी कॉल की ज़रूरत नहीं।
चरण 3 के कोड में complaint शाखा को फिर से देखें:
elif intent.choice == "complaint":
low_confidence = complexity.confidence < 0.5
# A higher complexity.score leans toward the "escalation needed" end of the scale.
if complexity.score > 1 or low_confidence:
# Too complex for safe automation, or we're not sure about the complexity; route to a human.
route_to_human_agent(ticket_id)
else:
handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)दो गेटिंग शर्तें, हर एक एक स्थिति रोकती है:
complexity.score > 1: स्कोर मध्य स्तर को पार कर गया, पैमाने के 「escalation needed」 छोर की ओर झुका है — स्वचालित हो सकता है, लेकिन स्वचालित होने का साहस नहीं, मानव को भेजेंcomplexity.confidence < 0.5: जटिलता का आकलन ही ठीक से नहीं हुआ — जानकारी अपर्याप्त, इसे भी मानव को भेजें
आधिकारिक स्रोत इस कोड के बाद विशेष रूप से चेताता है: Score उत्तर पर भी confidence जाँच करें, और कम confidence का अर्थ सिस्टम के संदर्भ और निर्णय की कीमत के साथ पढ़ें।
आपको दिखना चाहिए: चरण 1 के उस 「तीसरी बार पत्र लिख रहा हूँ, कोई ध्यान नहीं दे रहा, मुझे पैसे वापस चाहिए」 संदेश के लिए, इरादा संभवतः complaint क्षेत्र में पड़ेगा; जब जटिलता ऊँची हो या भरोसा न हो, तो यह शिकायत LLM के बजाय मानव शाखा में जाएगा — एक मानव सीट का अतिरिक्त खर्च, बदले में ग्राहक शिकायत को भड़कने से बचाकर सुरक्षित प्रबंधन।
- मैं बता सकता हूँ कि complaint शाखा की दो मानव-हस्तांतरण शर्तें क्रमशः 「बहुत जटिल」 और 「अनिश्चित」 को रोकती हैं
चरण 5: जोखिम के अनुसार confidence थ्रेशोल्ड स्केल करना (वॉइस बैंकिंग उदाहरण)
क्यों: पहले 0.5 की सीमा 「वर्गीकरण इस काम」 के लिए सुरक्षा-जाल थी। लेकिन वर्गीकरण सही होने पर भी, अलग-अलग क्रियाओं की गलती-सहनशीलता अलग होती है: बैलेंस गलत बजाने पर उपयोगकर्ता दोबारा सुन लेता है; ट्रांसफ़र गलत स्वीकृत करने पर सीधे धन हानि होती है। आधिकारिक दूसरा पैटर्न पेज इस तर्क को वॉइस बैंकिंग उदाहरण में बनाता है।
इसका इरादा प्रश्न (इसी तरह आधिकारिक Playground से निकाला गया):
BANK_INTENT = Choice(
instructions="What action is the user requesting?",
criteria={
"check_balance": "Check the balance of an account",
"approve_transfer": "Approve the pending transfer request",
"other": "Something else",
},
)गेटिंग कोड (आधिकारिक, जस का तस, docs/patterns/confidence-routing.md):
action = response.answers["intent"]
# Below 0.6 confidence on any action, route to a human
if action.confidence < 0.6:
route_to_support_agent(account_id)
elif action.choice == "check_balance":
# Low stakes. 0.6 confidence is sufficient.
show_balance(account_id)
elif action.choice == "approve_transfer":
if action.confidence > 0.85:
# High stakes, but high confidence. Safe to act automatically.
approve_transfer(account_id)
else:
# High stakes, moderate confidence. Verify intent first.
ask_user_to_confirm("Just to confirm: you would like to approve this transfer, is that correct?")
else:
route_to_support_agent(account_id)एक ही बहुविकल्पीय प्रश्न-सेट, चार निकास, threshold जोखिम के साथ चलता है:
| स्थिति | थ्रेशोल्ड | निकास |
|---|---|---|
| कोई भी क्रिया, confidence < 0.6 | न्यूनतम सुरक्षा-रेखा | मानव कर्मचारी को भेजें |
check_balance, ≥ 0.6 | कम जोखिम | बैलेंस सीधे बजाएँ |
approve_transfer, 0.6–0.85 | उच्च जोखिम, मध्यम भरोसा | पहले उपयोगकर्ता से मौखिक पुष्टि करें, फिर निष्पादित करें |
approve_transfer, > 0.85 | उच्च जोखिम, उच्च भरोसा | स्वचालित स्वीकृति |
other (सूची-बाह्य इरादा) | — | मानव कर्मचारी को भेजें |
आधिकारिक स्रोत इन संख्याओं की व्याख्या: 0.6 की न्यूनतम सुरक्षा-रेखा उन सभी स्थितियों को पकड़ती है जहाँ मॉडल वास्तव में अनिश्चित है; रेखा से ऊपर, हर क्रिया का 「गलत निष्पादन की कीमत」 के अनुसार अपना थ्रेशोल्ड है — बैलेंस देखने के लिए 0.6 पर्याप्त है, क्योंकि सबसे बुरा मामला केवल उपयोगकर्ता का बैलेंस दोबारा सुनना है; ट्रांसफ़र स्वीकृति के लिए 0.85 से ऊपर चाहिए, वरना सिस्टम को पहले पुष्टि करनी चाहिए।
इन तीन कमांड आज़माएँ (चरण 2 की state और प्रश्न परिभाषा बदलें, एक-एक करके अनुरोध भेजें):
for message in [
"What's my account balance?", # → check_balance
"Yes, go ahead and approve the transfer.", # → approve_transfer
"Can you help me with something else?", # → other
]:
response = client.system_one(state=message, questions={"intent": BANK_INTENT})
# …接下面的门控代码आपको दिखना चाहिए: पहली स्वचालित रूप से बैलेंस बजाती है; दूसरी संभवतः > 0.85 स्वचालित स्वीकृति या 0.6–0.85 पहले पुष्टि — इन दो शाखाओं में से एक में पड़ेगी — दोनों शाखाएँ उचित निकास हैं, यही गेटिंग का अर्थ है; तीसरी else से होकर मानव को जाती है।
दोनों संख्या-सेटों को न मिलाएँ: आधिकारिक दूसरा उसी परिदृश्य का उदाहरण (docs/confidence.md का 「Thresholds scale with risk」 अनुभाग, जिसे Confidence पाठ में भी पढ़ा गया था) 0.5 सुरक्षा-जाल / ट्रांसफ़र > 0.9 का उपयोग करता है। दोनों आधिकारिक उदाहरण हैं, संख्याएँ अलग, पैटर्न एक ही — यही अंतर स्वयं वह संदेश है जो आधिकारिक स्रोत देना चाहता है, वह उसी अनुभाग के NOTE में स्पष्ट लिखता है:
सही थ्रेशोल्ड आपके डोमेन और आपके उपयोग-मामले पर आपके मॉडल के प्रदर्शन पर निर्भर करता है। रूढ़िवादी थ्रेशोल्ड से शुरू करें, अपने डेटा से परीक्षण करें, और फिर अवलोकन के साथ समायोजित करें।
💡 चीनी संदेश राउटिंग
आधिकारिक स्रोत बताता है कि अंग्रेज़ी प्राथमिक प्रशिक्षण भाषा है और सर्वाधिक सटीक है; चीनी सहित अन्य भाषाएँ काम करती हैं लेकिन सटीकता कम होती है। चीनी संदेशों का राउटिंग सिस्टम लॉन्च करने से पहले अपने डेटा पर एक बैच चलाएँ, और confidence के वितरण पर ध्यान दें — गेटिंग गलत रोक रही है या गलत छोड़ रही है, यह देखना एक-एक उत्तर के सही-गलत से ज़्यादा महत्वपूर्ण है।
चेकपॉइंट ✅
- मैं बुद्धिमान राउटिंग के दो चरण बता सकता हूँ: Choice/Score इरादा और जटिलता का वर्गीकरण करते हैं, confidence तय करता है कि छोड़ना है या नहीं
- मैं तीन प्रकार के प्रबंधक जानता हूँ: नियतिवादी कोड (कोई LLM नहीं), विशेषज्ञ LLM, मानव — और प्रत्येक के लिए उपयुक्त intent
- मेरे राउटिंग कोड का पहला पथ मानव सुरक्षा-जाल है (जैसे
intent.confidence < 0.5→ मानव) - मैं जानता हूँ कि थ्रेशोल्ड जोखिम के साथ स्केल होता है: कम जोखिम के लिए 0.6 पर्याप्त है, उच्च जोखिम (ट्रांसफ़र स्वीकृति) के लिए 0.85 से ऊपर चाहिए
- मैं जानता हूँ राउटिंग की अपेक्षा के अनुरूप न होने पर आधिकारिक जाँच क्रम: पहले थ्रेशोल्ड और प्रश्न जाँचें, मॉडल पर शक करने से पहले
खड्डों से बचने की चेतावनी
❌ हर जगह confidence थ्रेशोल्ड लगाना
「X से कम हो तो मानव को भेजें」 का निर्णय सभी कोड पथों में भरना सबसे आम दुरुपयोग है। आधिकारिक agent-skill दस्तावेज़ की चेतावनी:
अगर आप केवल सर्वोत्तम विकल्प चुनने की परवाह रखते हैं, तो सीधे सबसे अधिक confidence वाला चुन लें (confidence थ्रेशोल्ड लगाने के बजाय)। अगर आपकी कोई विशिष्ट सांख्यिकीय एल्गोरिद्म आवश्यकता है, तो संभवतः confidence के बजाय probabilities का उपयोग करना चाहिए।
गेटिंग कब उपयोग करें: जब उत्तर वास्तविक क्रिया ट्रिगर करे, और क्रियाओं में कीमत का अंतर हो। केवल क्रमबद्ध करने या केवल top1 चाहने वाले परिदृश्यों में सीधे choice लेना ही काफ़ी है।
❌ राउटिंग अपेक्षा के अनुरूप न हो तो पहले प्रश्न की भाषा बदलना
लक्षण: रिकॉल गलत — जिन्हें मानव को भेजना चाहिए वे नहीं गए (फ़ॉल्स निगेटिव), जिन्हें नहीं भेजना चाहिए वे गए (फ़ॉल्स पॉज़िटिव)। आधिकारिक जाँच क्रम है पहले थ्रेशोल्ड जाँचें, फिर प्रश्न:
- थ्रेशोल्ड बहुत ऊँचा → फ़ॉल्स निगेटिव (बहुत सारे स्वचालित होने योग्य मामले मानव को भेजे गए)
- थ्रेशोल्ड बहुत कम → फ़ॉल्स पॉज़िटिव (बहुत सारे अनिश्चित मामले स्वचालित रूप से निष्पादित हुए)
- थ्रेशोल्ड वास्तव में ठीक हो, तब प्रश्न को और विशिष्ट बनाएँ (जैसे विकल्प विवरणों में भेद की कमी होना)
❌ एक सिस्टम में केवल एक थ्रेशोल्ड
0.5 वर्गीकरण के लिए सुरक्षा-जाल, 0.6 कम जोखिम क्रियाओं के लिए, 0.85 उच्च जोखिम क्रियाओं के लिए — ऊपर के वॉइस बैंकिंग उदाहरण में ये तीनों संख्याएँ एक साथ मौजूद हैं। आधिकारिक स्रोत स्पष्ट कहता है 「confidence threshold एक संख्या नहीं है」: एक ही सिस्टम में अलग-अलग क्रियाओं के लिए 「गलती की कीमत」 के अनुसार अलग-अलग सीमाएँ रखें; आपका कोड जोखिम-सहनशीलता दर्शाता है। केवल एक थ्रेशोल्ड वाला सिस्टम या तो बहुत ज़्यादा रोकता है (मानव भार विस्फोट), या बहुत ज़्यादा छोड़ता है (उच्च जोखिम क्रियाएँ बिना सुरक्षा के)।
❌ इरादा सूची में 「कोई भी सही नहीं」 का निकास न होना
जब विकल्प सूची सभी इनपुट को कवर नहीं करती, तो मॉडल मजबूरन गलत सेट में से सबसे कम बुरा चुनता है — और आत्मविश्वास से एक चुनता है (आधिकारिक function calling cookbook में पैरामीटर चयन पर मूल शब्द: 「कोई stated समस्या न होने पर choice को ज़बरदस्ती कोई window चुननी पड़ती है, और वह आत्मविश्वास से चुनती है」)। सही तरीका: सूची अधूरी हो सकती है तो other / none of the above विकल्प जोड़ें, और कोड में other को एक स्पष्ट निकास दें (ऊपर का else → 转人工)। आधिकारिक स्रोत यह भी चेताता है कि none of the above कई परिदृश्यों में सामान्य प्रभाव देता है; विकल्प है कि उसी अनुरोध में एक साथ Noul जोड़ें और पूछें 「क्या इस संदेश में हमारे उत्पादों में से किसी का उल्लेख है」, और कोड केवल Noul = yes होने पर Choice उत्तर पढ़े।
उन्नत तकनीकें (वैकल्पिक)
probabilities से दूसरे इरादे की CC करना। गेटिंग के अलावा, probabilities इसे एक सहायक रूटिंग सिग्नल के रूप में भी इस्तेमाल किया जा सकता है। आधिकारिक Choice दस्तावेज़ के पाँच-प्रश्न triage उदाहरण (एक ऐसा टिकट जो एक साथ वापसी/अदला-बदली और डुप्लिकेट चार्ज दोनों से जुड़ा है) में ऐसा एक हिस्सा है:
# A second team with a real share of the probability gets a copy
for team, probability in answer.probabilities.items():
if team != answer.choice and probability > 0.25:
notify(ticket, team=team)मुख्य रूटिंग इसे returns टीम को देती है, और billing को भी CC मिलता है क्योंकि उसे 0.35 का संभाव्यता हिस्सा मिला (0.25 थ्रेशोल्ड से ऊपर) — यह "confidence कम हो तो सब मनुष्य को भेज दो" से ज़्यादा बारीक तीसरा रास्ता है: मुख्य उत्तर सामान्य रूप से निष्पादित होता है, दूसरा सर्वोत्तम उत्तर व्यक्ति तक सूचित किया जाता है। आधिकारिक रिपोर्ट में उस टिकट का विवरण: टिकट returns को सौंपा गया (issue=wrong_size), billing को CC मिला, ग्राहक से पूछा गया कि वह क्या चाहता है (resolution का confidence 0.20 था, जो 0.5 से नीचे था) — एक अनुरोध, पाँच उत्तर, सब कुछ गेटिंग के साथ पूरा।
दो वैकल्पिक गेटिंग मेट्रिक्स। अगर confidence का फ़ॉर्मूला आपके परिदृश्य में पसंद नहीं आता, तो आधिकारिक रूप से दो मेट्रिक्स की सिफ़ारिश की गई है जो इसी probabilities से निकलते हैं: पहला, टॉप संभाव्यता p_max (इसे "चुने गए विकल्प की संभावना कितनी है" पढ़ें, थ्रेशोल्ड विकल्पों की संख्या के अनुसार सेट करें — 0.5 दो विकल्पों में कमज़ोर, दस विकल्पों में मज़बूत); दूसरा, top-to-second अनुपात p_max / p_second (पहले नंबर का दूसरे पर बढ़त मापता है, "दो मज़बूत दावेदारों की टक्कर" वाले रूटिंग परिदृश्यों के लिए ख़ास)।
गेटिंग विचार के अन्य रूप। यह "उत्तर + confidence कम होने पर एक स्तर नीचे जाने" वाला पैटर्न एक ही तरीके से नीचे नहीं जाता:
- 75 जैसे उद्योग वर्गीकरण: SEC वार्षिक रिपोर्टें 75 उद्योग समूहों में बँटी हैं; confidence 0.9 से कम होने पर उसके बड़े वर्ग (division) की ओर रिपोर्ट की जाती है — आधिकारिक परीक्षण में 60 दस्तावेज़, निश्चित आधे में 90% हिट, अनिश्चित आधे में सिर्फ़ 40%, और बड़े वर्ग की ओर रिपोर्ट करने पर 70% तक
- Agent निर्णय: 194 कौशलों में से agent के लिए कौशल चुनना — दो अनुरोध + दो थ्रेशोल्ड, ग़लत लोडिंग सीधे आधी
- आधिकारिक how-to मैनुअल में एक न्यूनतम संस्करण की गेटिंग भी है (
confidence < 0.8होने पर मानव समीक्षा को भेजें), चार पंक्तियों का कोड, आपके पहले संस्करण के लिए उपयुक्त
इस पाठ का सारांश
✅ स्मार्ट रूटिंग = Jev इरादा रूटिंग + confidence गेटिंग: Choice इरादे का वर्गीकरण करता है, Score जटिलता आँकता है, एक अनुरोध में समानांतर दोनों वापस मिलते हैं, confidence तय करता है कि आगे बढ़ना है या नहीं।
✅ तीन तरह के हैंडलर अपना-अपना स्थान पाते हैं: नियतिवादी कोड यांत्रिक इरादे संभालता है (शून्य LLM), विशेषज्ञ LLM क्षेत्रीय प्रश्न संभालता है, मनुष्य कम confidence और उच्च जोखिम संभालता है।
✅ गेटिंग संरचना "न्यूनतम रेखा + जोखिम थ्रेशोल्ड" है: हर कार्य पहले न्यूनतम रेखा से गुज़रता है (उदाहरण: 0.5 / 0.6), रेखा पार करने के बाद हर कार्य की लागत के अनुसार अलग थ्रेशोल्ड (बैलेंस देखना 0.6, ट्रांसफ़र 0.85)।
✅ इरादों की सूची अधूरी हो सकती है तो other / none of the above जोड़ें और उसे स्पष्ट निकास दें; मॉडल को मजबूरन चुनने पर वह "आत्मविश्वास के साथ ग़लत चुनता है"।
✅ केवल सर्वोत्तम चुनने में थ्रेशोल्ड ज़रूरी नहीं; रैंकिंग, CC जैसी ज़रूरतों के लिए probabilities का इस्तेमाल करें।
मुख्य तथ्यों की त्वरित सूची:
| मद | मान | स्रोत |
|---|---|---|
| इरादा प्रश्न instructions | The primary intent of this customer message | आधिकारिक Playground (patterns/intent-routing) |
| इरादा विकल्प | order_status / product_question / return_exchange / complaint | वही |
| वर्गीकरण फ़ॉलबैक | intent.confidence < 0.5 → मनुष्य | docs/patterns/intent-routing.md |
| complaint द्वितीय गेटिंग | complexity.score > 1 या complexity.confidence < 0.5 → मनुष्य | वही |
| बैंक न्यूनतम रेखा | confidence < 0.6 → मनुष्य | docs/patterns/confidence-routing.md |
| ट्रांसफ़र थ्रेशोल्ड | > 0.85 स्वतः निष्पादन, 0.6–0.85 पहले पुष्टि | वही |
रूटिंग सिस्टम "क्रिटिकल पाथ पर Jev चलाने" का क्लासिक उदाहरण है; लॉन्च से पहले Jev 1.13 ख़ामी-निवारण मैनुअल के साथ नौ विफलता मोड ज़रूर देखें (ख़ासकर शाब्दिक अर्थ लेना और बड़ state के अप्रासंगिक विवरण वाले दो)।
अगले पाठ की झलक
चरण 4 एक Score से जटिलता आँकता है और पहले ही मानवीय कार्य काट देता है। अगला पाठ इस विचार को पूरा उकसाता है — संयुक्त स्कोरिंग: जटिल निर्णय को परमाणु स्कोरों में तोड़कर भारित करना।
आप सीखेंगे:
- "यह शिकायत कितनी गंभीर है" जैसे जटिल निर्णय को कई परमाणु Score प्रश्नों में तोड़ना
- सामान्यीकरण (सबसे ऊँचे स्तर के नंबर से भाग देना) से अलग-अलग पैमानों के स्कोर एक ही स्केल पर लाना
- कोड में भारित करके कुल स्कोर निकालना — भार यानी जोखिम के प्रति रुख़
- रैंकिंग अपेक्षित न होने पर केवल भार स्थिरांक बदलें, कोई prompt नहीं