Confidence कॉन्फिडेंस: जब मॉडल कहे 「मुझे यकीन नहीं है」 तो क्या करें
पिछले चार पाठों के उत्तरों में आप confidence पहले ही देख चुके हैं: Choice का टिकट जब returns और billing के बीच बंटता है तो यह 0.42 होता है, Score का bug रिपोर्ट जब दो स्तरों के बीच झूलता है तो यह 0.35 होता है, और Noul इसे देता ही नहीं। यह संख्या कहाँ से आती है, कैसे उपयोग करें, और कब इसकी न सुनें—यह पाठ Jev confidence को एक ही बार में साफ कर देता है, कुल 12 मिनट में।
पहले निष्कर्ष: confidence उत्तर के अपने प्रायिकता वितरण से निकाला गया एक अंक है, मॉडल का आत्म-प्रकटन नहीं। कोड में आप इससे एक ही काम करते हैं—तय करना कि यह उत्तर स्वचालित रूप से निष्पादित होगा या नहीं।
सीखने के बाद आप क्या कर सकेंगे
- आधिकारिक फॉर्मूले से
probabilitiesकी मदद से किसी भी confidence को हाथ से सत्यापित करना: Choice और Score दोनों के अपने फॉर्मूले हैं, दोनों Python में पुनः बनाए जा सकते हैं - तीन-स्तरीय उपयोग से कोड लिखना: उच्च confidence पर स्वचालित निष्पादन, मध्यम confidence पर फ्लैग कर समीक्षा, निम्न confidence पर मानव को भेजना
- जोखिम के अनुसार थ्रेशोल्ड स्केल करना: 0.5 फॉलबैक,
approve_transferजैसे उच्च-जोखिम कार्यों के लिए बिना मानव निगरानी के निष्पादन हेतु > 0.9 अनिवार्य - समझाना कि Noul में confidence क्यों नहीं है, और एकीकृत थ्रेशोल्ड चाहने पर स्वयं
|2p − 1|कैसे निकालें - जब
probabilitiesउपयुक्त हो तब confidence पर ज़बरदस्ती न चलना: top प्रायिकता और top-to-second अनुपात—इन दो वैकल्पिक संकेतकों का कौन-से संदर्भ में उपयोग बेहतर है
आपकी वर्तमान दुविधा
- स्वचालन ठीक चल रहा था, तभी एक इनपुट बेतुकी शाखा में चला गया—बाद में पता चला कि मॉडल तब वास्तव में 「अनिश्चित」 था, पर आपके कोड को यह जानने का कोई रास्ता नहीं था
- GPT से पूछें 「क्या आप निश्चित हैं」, तो वह 「मुझे काफी भरोसा है, लेकिन यह भी संभव है…」 जैसा गद्य लौटाता है, जिसे
ifमें लिखा नहीं जा सकता - खुद प्रायिकता वितरण से कोई 「निश्चितता मान」 बनाने का भी विचार आया, पर हर प्रश्न-प्रकार के वितरण का आकार अलग है—फॉर्मूला तय नहीं हो पाता, थ्रेशोल्ड एकीकृत करना तो और भी मुश्किल
यह तरीका कब उपयोग करें
जब आपको यह चाहिए:
- 「स्वचालित निष्पादन / मानव को भेजने」 के बीच गेटिंग: उत्तर बताता है क्या है, confidence बताता है क्या करना है या नहीं
- एक ही 0 से 1 पैमाने से सभी Choice / Score उत्तरों को संभालना, ताकि पहले ही अनुरोध से थ्रेशोल्ड सेट किए जा सकें
- चीनी जैसी गैर-अंग्रेज़ी सामग्री को लॉन्च से पहले जाँचना: आधिकारिक रूप से कहा गया है कि CJK की सटीकता कम होती है, राउटिंग के समय confidence पर नज़र रखें
और जब आप यह नहीं चाहते:
- हर जगह थ्रेशोल्ड लगाना—यदि केवल सर्वोत्तम चुनना है तो सीधे सर्वोच्च प्रायिकता वाला विकल्प उठा लें (सावधानी सूची का बिंदु संख्या 4 देखें)
- 「मॉडल कितना निश्चित है」 जानने के लिए दोबारा अनुरोध भेजना या दूसरा मॉडल बुलाना
- जब मॉडल खुद अनिश्चित हो तब भी ज़बरदस्ती स्वचालित निष्पादन कराना
🎒 शुरू करने से पहले की तैयारी
- Score स्कोरिंग प्रश्न पूरा कर लिया है: चलने योग्य
score_bug.pyआपके पास है, 1.43 / 0.35 वाला उत्तर देख चुके हैं - Choice बहुविकल्पीय प्रश्न देख चुके हैं: जानते हैं कि
probabilitiesसभी विकल्पों का वितरण है जिसका कुल योग लगभग 1 होता है - पहला अनुरोध सफलतापूर्वक चला चुके हैं:
.venvमेंtypesafe-sdkइंस्टॉल है,TYPESAFE_API_KEYपर्यावरण चर में मौजूद है
मूल विचार
confidence वितरण के आकार का एक-अंकीय सारांश है। हर Choice / Score उत्तर के साथ probabilities आता ही है—प्रायिकता कैसे फैली है, यही मॉडल की निश्चितता की सारी जानकारी है: पूरा भार एक परिणाम पर = बहुत निश्चित, समान रूप से बंटा हुआ = अनिश्चित।confidence बस इसे 0 से 1 के बीच के एक अंक में समेट देता है, ताकि आपको खुद गणित न करना पड़े।
| वितरण का आकार | confidence | मॉडल का आशय |
|---|---|---|
| पूरा भार एक परिणाम पर | 1 | 「यही है」 |
| केंद्रित लेकिन विभाजित | 0.4 ऊपर-नीचे | 「संभवतः यही है, पर विकल्प मौजूद हैं」 |
| समान रूप से फैला हुआ | 0 | 「मैं नहीं कह सकता」 |
दो प्रमुख बातें, पहले यहाँ स्थापित कर देते हैं:
- यह 「जवाब सही है」 की गारंटी नहीं है। confidence 1.0 उस बात का वर्णन करता है कि 「पूरा वितरण एक ही परिणाम पर दांव लगाता है」, यह गारंटी नहीं देता कि वह परिणाम सही है—प्रश्न अस्पष्ट लिखा हो तो मॉडल बड़े आत्मविश्वास से गलत दांव लगा सकता है
- इसके लिए आपको अतिरिक्त पैसे देने की ज़रूरत नहीं है। TypeSafe हर Choice / Score जवाब पर यह सीधे लौटाया जाता है, सामान्य उपयोग में शून्य अतिरिक्त कार्य
एक अलग संख्या के लिए यह खास क्यों है? आधिकारिक दस्तावेज़ के मूल शब्द: एक बुद्धिमान प्रणाली—मनुष्य हो या मशीन—अगर ईमानदार अनिश्चितता व्यक्त नहीं कर सकती, तो वह भरोसे लायक नहीं है।confidence वह अंतर्निहित तंत्र है जिससे मॉडल कहता है 「इस बात में मुझे निश्चितता नहीं है」—आपका कोड इसी से अलग-अलग निश्चितता स्तरों के साथ अलग-अलग काम कर सकता है।यह 「वास्तव में भरोसेमंद」 प्रणालियाँ बनाने की नींव है।
तीन प्रश्न-प्रकारों और confidence के रिश्ते को एक ही तालिका में साफ़ करते हैं:
| प्रश्न-प्रकार | confidence है या नहीं | क्यों |
|---|---|---|
| Choice | ✅ | प्रायिकता n विकल्पों पर फैली होती है, संक्षेप चाहिए |
| Score | ✅ | प्रायिकता क्रमबद्ध स्तरों पर फैली होती है, संक्षेप चाहिए |
| Noul | ❌ | केवल हाँ/नहीं दो परिणाम, एक प्रायिकता noul पूरे वितरण को बता देती है |
| Box | ✅ | छवि-स्थानन के साथ भी 0–1 रेंज की एक संख्या आती है |
मेरे साथ करें
चरण 1: Score टिकट जवाब का confidence हाथ से गणना करके सत्यापित करें
क्यों: सूत्र पर भरोसा न करें तो सीमा-मान पर भरोसा नहीं कर सकते।Score पाठ में चलाए गए, आधिकारिक रूप से रिकॉर्ड किए गए असली जवाब से एक बार गणना करके देखें—0.35 निकल आता है, तभी आगे के सारे सीमा-मान टिकते हैं।
Score पाठ score_bug.py का पूरा जवाब (आधिकारिक उदाहरण, bug_severity):
{
"type": "score",
"score": 1.43,
"confidence": 0.35,
"probabilities": {
"0": 0.0,
"1": 0.57,
"2": 0.43
}
}अंक 1.43 कैसे आया, यह आप जानते हैं (स्तर क्रमांक × प्रायिकता-भारित)।confidence 0.35? आधिकारिक Python फ़ंक्शन, शब्दशः उपयोग योग्य:
def score_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
m = probabilities.index(max(probabilities))
spread = sum(p * abs(i - m) for i, p in enumerate(probabilities))
even_spread = sum(abs(i - (n - 1) / 2) for i in range(n)) / n
return max(0.0, 1 - spread / even_spread)
levels = sorted(answer.probabilities)
score_confidence([answer.probabilities[level] for level in levels])score_bug.py के अंत में ये पंक्तियाँ जोड़ें (answer = response.answers["bug_severity"]), फिर चलाएँ:
.venv/bin/python score_bug.pyआपको यह दिखना चाहिए: फ़ंक्शन 0.355 लौटाता है—API द्वारा लौटाए गए 0.35 के समान (0.355 को दो दशमलव तक पूर्ण करने पर 0.35 ही है)।आधिकारिक दस्तावेज़ में उसी वितरण का सत्यापन: सबसे संभावित स्तर 1 है, spread 0.43 है, तीन स्तरों के समान वितरण की औसत दूरी 2/3 है, इसलिए 1 − 0.43 ÷ (2/3) ≈ 0.35।
अब आप एक ज़रूरी बात जानते हैं: confidence कोई ब्लैक-बॉक्स स्कोर नहीं, एक शुद्ध फ़ंक्शन है—किसी भी समय जवाब की अपनी probabilities से पुनर्गणना की जा सकती है।सूत्र की सहज बात Score और Choice में थोड़ी अलग है, अगले दो चरणों में अलग-अलग देखेंगे।
- मैंने 0.355 निकाला, और जानता हूँ कि यह API द्वारा लौटाए गए 0.35 वही संख्या है
चरण 2: Choice के confidence सूत्र का सत्यापन: केवल सर्वोच्च प्रायिकता देखें
क्यों: Choice वह गेटिंग सिग्नल है जिसका आप रोज़ सबसे ज़्यादा उपयोग करते हैं (स्मार्ट राउटिंग इसी पर बनी है), इसका सूत्र Score से कहीं सरल है, एक पंक्ति में मन से गणना हो जाती है।
n विकल्पों वाले, सर्वोच्च प्रायिकता p_max वाले Choice के लिए:
confidence = (p_max − 1/n) / (1 − 1/n)पढ़ने का तरीका: यह मापता है कि सर्वोच्च प्रायिकता 「समान-विभाजन रेखा」 (हर विकल्प 1/n) से कितनी आगे है—समान विभाजन = 0, पूरा दांव = 1।तीन विकल्प रखने पर, वही रूप आता है जो आपने Choice पाठ में देखा था:
confidence = (3 × 最大概率 − 1) / 2आधिकारिक फ़ंक्शन से सत्यापन करें।यह केवल top प्रायिकता देखता है—(0.6, 0.3, 0.1) और (0.6, 0.2, 0.2) दोनों का confidence 0.4 है:
def choice_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
return (max(probabilities) - 1 / n) / (1 - 1 / n)
choice_confidence(list(answer.probabilities.values()))आपको यह दिखना चाहिए:
choice_confidence([0.6, 0.3, 0.1]) # 0.4
choice_confidence([0.6, 0.2, 0.2]) # 0.4Choice पाठ वाली उस अस्पष्ट टिकट का department (returns 0.61, billing 0.35, shipping 0.04) स्वयं गणना करें: (0.61 − 1/3) / (2/3) ≈ 0.42—ठीक वही जो आधिकारिक रूप से तब लौटाया गया 0.42।
इस सूत्र का स्वभाव याद रखिए: Choice का confidence आँख मूँद लेता है—केवल पहले स्थान को देखता है, दूसरे, तीसरे, पाँचवें स्थान का बँटवारा कैसे भी हो, उससे कुछ लेना-देना नहीं।यही Choice (विकल्प बिना क्रम के) और Score (स्तर क्रम में) की विभाजन-रेखा है, और यही अगले चरण की सामग्री है।
- मैं तीन विकल्पों का confidence मन से गणना कर सकता हूँ: (3 × सर्वाधिक प्रायिकता − 1) / 2
चरण 3: समझें कि Score सूत्र 「दूरी」 क्यों गणना करता है
क्यों: Score के स्तरों में क्रम है—「थोड़ा गंभीर」 और 「बहुत गंभीर」 पड़ोसी हैं, 「मामूली」 और 「घातक」 दो छोर हैं।दो स्तरों पर विभाजित होने पर भी, विभाजन की जगह अलग हो तो निश्चितता भी अलग होनी चाहिए।Choice सूत्र यह नहीं कर सकता।
आधिकारिक तुलना, दस सेकंड टकटकी बाँधकर देखने लायक:
| तीन-स्तरीय पैमाने पर प्रायिकता | confidence | मॉडल की स्थिति |
|---|---|---|
| (0, 0.5, 0.5) | 0.25 | दो पड़ोसी स्तरों के बीच उलझन |
| (0.5, 0, 0.5) | 0 | स्पेक्ट्रम के दो छोरों के बीच दो भागों में फटा हुआ |
| (0.6, 0.2, 0.2) (जब Choice की तरह गणना हो) | 0.4 | केवल पहले स्थान को देखता है |
Choice सूत्र पहले दो वितरणों के लिए दोनों पर 0.25 ही निकालता है—वह 「दूरी」 नहीं देख पाता।Score सूत्र देख पाता है:
confidence = max(0, 1 − प्रायिकता-भारित·सबसे संभावित स्तर से औसत दूरी ÷ समान वितरण की औसत दूरी)चरण 1 के कोड में spread वही 「प्रायिकता-भारित औसत दूरी」 है, even_spread समान वितरण की संदर्भ दूरी है, और वितरण समान से भी ज़्यादा बिखरा हो तो निचली सीमा 0 ली जाती है।प्रभाव एक वाक्य में: प्रायिकता पड़ोसी स्तर पर गिरे तो कम कटता है, दूर छोर पर गिरे तो ज़्यादा कटता है।
इस तुलना-समूह का ध्यान कब आना चाहिए? कम confidence देखकर आधिकारिक दस्तावेज़ तीन कारण देते हैं: इस इनपुट के लिए श्रेणियाँ ओवरलैप करती हैं, प्रश्न एक से ज़्यादा चीज़ मापता है, state की जानकारी अपर्याप्त है। एक-एक करके जाँचें: श्रेणी विवरण बदलें, प्रश्न तोड़ें, सामग्री जोड़ें—Score पाठ की गलतियों से बचने की चेतावनी में तरीके विस्तार से बताए गए हैं।
आपको यह दिखना चाहिए: चरण 1 के फ़ंक्शन से score_confidence([0, 0.5, 0.5]) की जाँच करने पर 0.25 मिलता है, score_confidence([0.5, 0, 0.5]) की जाँच करने पर 0.0 मिलता है—आधिकारिक दस्तावेज़ के अंकों से मेल खाता है।
- मैं बता सकता/सकती हूँ कि (0, 0.5, 0.5) और (0.5, 0, 0.5) का confidence कितना है और अलग क्यों है
चरण 4: तीन-स्तरीय उपयोग से Jev confidence को कोड व्यवहार में बदलें
क्यों: सूत्र की जाँच के बाद, सबसे व्यावहारिक प्रश्न पर लौटें—0 से 1 का कोई संख्या मिलने पर if कैसे लिखें। आधिकारिक दस्तावेज़ का प्रारंभिक पैटर्न: तीन स्तरों में बाँटें, हर स्तर का एक व्यवहार।
| स्तर | कोड व्यवहार | आधिकारिक मूल कथन का अर्थ |
|---|---|---|
| उच्च | स्वचालित रूप से निष्पादित करें | मॉडल स्पष्ट देखता है, मानवीय हस्तक्षेप की ज़रूरत नहीं |
| मध्य | सतर्कता से आगे बढ़ें—उपयोगकर्ता से पुष्टि कराएँ, पुनर्विलोकन के लिए चिह्नित करें, पहले जानकारी जोड़ें फिर कार्रवाई करें | उत्तर तर्कसंगत है, पर मॉडल निश्चित नहीं है |
| निम्न | निष्पादित न करें—मानव को भेजें, स्पष्टीकरण माँगें, अन्य सिस्टम पर वापस जाएँ | मॉडल कह रहा है: जानकारी अपर्याप्त है, या यह प्रश्न उपयुक्त नहीं है |
इसे परिचित चेहरों पर लागू करें (Choice पाठ के चरण 3 के पाँच प्रश्न, आधिकारिक उदाहरण मान):
| प्रश्न | confidence | तीन स्तरों में कैसे बाँटें |
|---|---|---|
return_reason(wrong_size 1.0) | 1.0 | उच्च: सीधे अपनाएँ |
tone(frustrated 0.84) | 0.76 | उच्च/मध्य सीमा: स्वचालित रूप से उपयोग करने योग्य |
shipping_issue(delayed 0.74) | 0.67 | मध्य: विभाग वैसे भी shipping नहीं है, कोड सीधे नज़रअंदाज़ करता है |
department(returns 0.61) | 0.42 | मध्य: returns के अनुसार चलें, पर billing को एक प्रति भेजें |
requested_resolution(refund 0.40) | 0.2 | निम्न: ग्राहक से पूछें, अंदाज़ा न लगाएँ |
आपको यह दिखना चाहिए: उत्तरों का वही समूह confidence के अनुसार तीन स्तरों में बँटता है, हर स्तर एक स्पष्ट कोड व्यवहार से मेल खाता है—सिर्फ़ «निष्पादित करें / न करें» वाला एक स्विच नहीं।
स्तरों की सीमा कहाँ खींचें? आधिकारिक दस्तावेज़ का अगला वाक्य ही उत्तर है—यह जोखिम पर निर्भर करता है, यानी अगला चरण।
- मैं किसी भी confidence के लिए बता सकता/सकती हूँ कि वह किस स्तर में आता है और उस स्तर में क्या करना चाहिए
चरण 5: विश्वास सीमा (confidence threshold) को जोखिम के अनुसार स्केल करें (आधिकारिक संपूर्ण कोड)
क्यों: तीन स्तरों की सीमाएँ तीन वैश्विक स्थिरांक नहीं हैं। आधिकारिक दस्तावेज़ एक वाक्य में स्पष्ट करता है: एक ही सिस्टम में, अलग-अलग क्रियाओं के लिए «ग़लती के परिणाम» के अनुसार अलग-अलग सीमाएँ निर्धारित होनी चाहिए। यही विश्वास सीमा (confidence threshold) और साधारण जादुई संख्या (magic number) का अंतर है।
आधिकारिक संपूर्ण उदाहरण—वॉयस बैंकिंग सहायक का इरादा-निर्धारण, तीन इरादों का जोखिम भिन्न है:
response = client.system_one(
state=user_message,
questions={
"action": Choice(
instructions="What is the user trying to do?",
criteria={
"check_balance": "View account balance",
"approve_transfer": "Approve the pending withdrawal request",
"support": "Get help with an issue",
},
),
},
)
action = response.answers["action"]
confidence = action.confidence
if confidence < 0.5:
# Model is genuinely unsure. Don't guess.
route_to_human(user_message)
elif action.choice == "check_balance":
# Low stakes. Showing the wrong screen is recoverable.
show_balance(account_id)
elif action.choice == "approve_transfer":
if confidence > 0.9:
# High stakes, high confidence. Proceed with confirmation.
confirm_then_execute(account_id)
else:
# High stakes, moderate confidence. Verify first.
ask_user_to_confirm(account_id)हर गेट को अलग-अलग खोलें (सब आधिकारिक कोड से):
| गेट | मान | तर्क |
|---|---|---|
| अंतिम फ़ॉलबैक floor | 0.5 | पहले «मॉडल कहता है कि निश्चित नहीं है» वाली हर चीज़ पकड़ें—अंदाज़ा लगाने की अनुमति नहीं |
check_balance | 0.5 इतना या अधिक होने पर पर्याप्त | निम्न जोखिम: सबसे बुरा होगा तो ग़लत स्क्रीन दिखेगी, ठीक किया जा सकता है |
approve_transfer | > 0.9 होने पर ही सीधे निष्पादित करें | उच्च जोखिम: थोक ट्रांसफ़र ग़लत होने पर अपरिवर्तनीय है, पहले पुष्टि करें |
जोखिम आपके कोड में एन्कोड होता है, मॉडल में नहीं—यह आधिकारिक दस्तावेज़ की बार-बार दोहराई गई पोज़िशन है। साथ में दो व्यावहारिक सुझाव:
- संरक्षण से शुरू करें: सीमा पहले ऊँची रखें, अपने डेटा से परखें, वास्तविक प्रदर्शन देखकर समायोजित करें—आधिकारिक NOTE का मूल कथन: सही सीमा आपके डोमेन और आपके उपयोग-मामले पर मॉडल के प्रदर्शन पर निर्भर करती है
- सीमा बदलने के लिए prompt बदलने की ज़रूरत नहीं: सीमा एक कोड स्थिरांक है। आधिकारिक Agent Skill सलाह देता है कि प्रश्न और सीमा स्थिरांक एक ही फ़ाइल में रखें, ताकि मानवीय समीक्षा में हर जगह खोजना न पड़े
आपको यह दिखना चाहिए: एक राउटिंग कोड, जिसमें पहले 0.5 फ़ॉलबैक है, फिर क्रिया के प्रकार के अनुसार परतें हैं—एक वैश्विक सीमा से पूरा काटना नहीं।
पिछले पाठ के छोड़े प्रश्न का उत्तर भी दे दें: route_to_human / show_balance ये केवल उदाहरण फ़ंक्शन नाम हैं, इन्हें अपनी प्रोसेसिंग लॉजिक से बदलें।
- मेरे गेटिंग कोड में एक अंतिम फ़ॉलबैक floor है, और उच्च-जोखिम क्रियाओं की सीमा निम्न-जोखिम से ऊँची है
💡 Noul को उसी सीमा-प्रणाली में कैसे शामिल करें
Noul पाठ की उन्नत तकनीक में सूत्र दिया गया है: confidence = |2p − 1|—p के 0.99 होने पर 0.98 निकलता है, p के 0.5 होने पर 0 निकलता है। आधिकारिक दस्तावेज़ बताता है कि यह Choice का सूत्र «हाँ/नहीं» दो विकल्पों पर लगाना है, इसलिए यह Choice के confidence के ही पैमाने पर है और उसी गेटिंग कोड में शामिल हो सकता है।
चेकपॉइंट ✅
- मैंने कम से कम एक confidence की हाथ से जाँच की है (Score का 0.35 या Choice का 0.42), और मुझे पता है कि यह
probabilitiesका शुद्ध फ़ंक्शन है - मुझे पता है कि Choice का सूत्र केवल उच्चतम प्रायिकता देखता है, (0.6, 0.3, 0.1) और (0.6, 0.2, 0.2) दोनों 0.4 हैं
- मैं बता सकता हूँ कि (0, 0.5, 0.5) 0.25 है, (0.5, 0, 0.5) 0 है, और क्यों Score सूत्र दूरी की गणना करता है
- मेरा कोड तीन-स्तरीय उपयोग है: उच्च = स्वचालित निष्पादन, मध्यम = पुष्टि या चिह्नित करना, निम्न = मानव को भेजना; थ्रेशोल्ड जोखिम के साथ स्केल होता है (0.5 फ़ॉलबैक, उच्च जोखिम > 0.9)
- मुझे पता है कि confidence "वितरण का आकार" है, "उत्तर सही है" की गारंटी नहीं; जब प्रश्न अस्पष्ट होता है तो मॉडल आत्मविश्वास से गलत विकल्प पर दांव लगाता है
आम गलतियों की चेतावनी
❌ confidence को "उत्तर सही है" की गारंटी मानना
लक्षण: confidence 1.0 वाला उत्तर गलत निकला, और आपने सोचना शुरू किया कि मॉडल "ज़िद पकड़कर गलत जवाब दे रहा है"।
क्यों गलत है: confidence 1.0 केवल यह बताता है कि "इस प्रश्न का वितरण पूरा एक ही परिणाम पर दांव लगाता है"; यह कहता है कि मॉडलइस उत्तर के भीतर सहमत है, यह गारंटी नहीं देता कि वह सही है। जब स्तर का विवरण अस्पष्ट हो या state में जानकारी कम हो, तो मॉडल बड़े आत्मविश्वास से गलत विकल्प पर दांव लगा सकता है—Score पाठ के स्केल प्रयोगों में, confidence फिर भी 1.0 स्तर का मान दे सकता है।
सही तरीका: confidence को "स्वचालित रूप से निष्पादित करना है या नहीं" का गेटिंग मानें; प्रश्न की गुणवत्ता अलग से जांचें—आधिकारिक NOTE के मूल शब्द: अपने डेटा का उपयोग करें, देखे गए प्रदर्शन के आधार पर समायोजित करें। कम confidence की जांच की तीन दिशाएं (स्तरों का अतिव्यापन / प्रश्न कई बातें मापना / state में जानकारी कम होना) ही मूल कारण दूर करने का रास्ता हैं। स्व-संगति परिदृश्य पृष्ठ दूसरा रास्ता दिखाता है: कई रनों में स्थिरता को मापना।
❌ सभी के लिए एक ही थ्रेशोल्ड, उच्च और निम्न जोखिम एक ही संख्या साझा करते हैं
लक्षण: सभी क्रियाओं के लिए एक ही confidence थ्रेशोल्ड सेट किया (जैसे पूरी साइट पर 0.6), और लॉन्च के बाद निम्न-जोखिम क्रियाएं बड़ी संख्या में मानव को ट्रांसफर होने लगीं, जबकि उच्च-जोखिम क्रियाएं कभी-कभी छूट गईं।
क्यों गलत है: आधिकारिक रूप से कहा गया है कि अलग-अलग क्रियाओं की गलती के परिणाम अलग-अलग होते हैं—check_balance की गलती ठीक की जा सकती है, approve_transfer की गलती अपरिवर्तनीय है। एक ही थ्रेशोल्ड दोनों जोखिमों को एक साथ पूरा नहीं कर सकता।
सही तरीका: 0.5 फ़ॉलबैक + क्रिया के अनुसार परतें (चरण 5 का आधिकारिक कोड); साथ ही X-Y जैसे स्थिरांक को वैश्विक थ्रेशोल्ड के रूप में मत रखें, थ्रेशोल्ड को सुपरिचित नामित स्थिरांक और टिप्पणी के रूप में लिखें, और उन्हें समस्या की परिभाषा के साथ एक ही फ़ाइल में रखें ताकि मानव समीक्षा आसान हो।
❌ confidence से वितरण विश्लेषण करना
लक्षण: "दूसरे स्थान वाला पहले से कितना पीछे है" या "प्रायिकताओं की एन्ट्रॉपी कितनी है" जैसी गणनाएं करने के लिए confidence की ओर हाथ बढ़ाया।
क्यों गलत है: confidence वितरण को चपटा करने के बाद का एक अकेला सारांश है; चपटा करने का मतलब जानकारी खोना है। आधिकारिक Agent Skill सामान्य प्रश्न सूची में स्पष्ट कहा गया है: जब विशिष्ट सांख्यिकीय एल्गोरिदम की आवश्यकता हो, तो उपयोग करने योग्य चीज़ probabilities है, confidence नहीं।
सही तरीका: विश्लेषण के लिए probabilities लें (यह हर बार पूरी तरह लौटाया जाता है; आधिकारिक रूप से कहा गया है "आप कोई भी महत्वपूर्ण मीट्रिक स्वयं गणना कर सकते हैं"); गेटिंग के लिए confidence लें। दोनों ज़रूरतें अक्सर साथ होती हैं—तब उत्तर में से अपनी-अपनी चीज़ लें, उन्नत तकनीकें देखें।
❌ हर जगह confidence थ्रेशोल्ड सेट करना
लक्षण: हर उत्तर पर, हर शाखा पर एक थ्रेशोल्ड रखा, संख्या बढ़ती गई, समायोजित नहीं हो पाया।
क्यों गलत है: आधिकारिक Agent Skill सामान्य प्रश्न सूची: जब केवल सर्वोत्तम विकल्प चुनने की चिंता हो, सीधे सबसे अधिक प्रायिकता वाला ले लें (यानी लौटाया गया choice), हर जगह confidence थ्रेशोल्ड सेट करने की ज़रूरत नहीं।
सही तरीका: थ्रेशोल्ड केवल उन महत्वपूर्ण गेटिंग पर सेट करें जहाँ "इस उत्तर को स्वचालित रूप से निष्पादित किया जा सकता है या नहीं" अनिश्चित हो (चरण 5 के तीन स्थान इसके प्रतिनिधि उदाहरण हैं); सर्वोत्तम चुनने के लिए सीधे choice / सर्वोच्च प्रायिकता लें। यही आधिकारिक रूप से बताई गई "हर जगह थ्रेशोल्ड" विकृति का इलाज भी है।
❌ Noul उत्तर पर confidence फ़ील्ड खोजना
लक्षण: response.answers["is_urgent"].confidence—AttributeError मिलता है।
क्यों गलत है: Noul के वितरण में केवल दो परिणाम होते हैं; एक प्रायिकता मान पहले से ही इसे पूरी तरह वर्णित करता है, सारांशित करने के लिए कुछ बचता ही नहीं—आधिकारिक रूप से Noul पृष्ठ और Confidence पृष्ठ दोनों पर यह बताया गया है। 0.5 के पास होना ही इसका अनिश्चितता संकेत है।
सही तरीका: सीधे Noul पाठ के शुरुआती थ्रेशोल्ड का उपयोग करें—yes ≥ 0.7, no ≤ 0.3, बीच के मान मानव को भेजें; एक ही स्केल चाहिए तो |2p − 1| स्वयं गणना करें (चरण 5 का tip)।
उन्नत तकनीकें (वैकल्पिक)
🔧 आधिकारिक confidence नहीं इस्तेमाल करना चाहते? दो वैकल्पिक मीट्रिक। आधिकारिक रूप से स्पष्ट कहा गया है कि confidence केवल "एक उचित सारांश है, अकेला नहीं"—नीचे दोनों उसी probabilities से गणना किए जाते हैं, व्यवहार में अक्सर उतनी ही प्रभावी होते हैं, और confidence के साथ समानांतर में आज़माने लायक हैं:
| मीट्रिक | परिभाषा | किस स्थिति में सहज | आधिकारिक चेतावनी |
|---|---|---|---|
| top प्रायिकता p_max | पहले स्थान की प्रायिकता, सीधे "चुने गए विकल्प की संभावना" के रूप में पढ़ें | थ्रेशोल्ड की तर्क-संगति आसान | अर्थ विकल्पों की संख्या के साथ बदलता है—0.5 दो विकल्पों में कमज़ोर उत्तर है, दस विकल्पों में मज़बूत उत्तर, हर प्रश्न के लिए अलग थ्रेशोल्ड सेट करें |
| top-to-second अनुपात p_max / p_second | पहला स्थान दूसरे से कितना स्पष्ट आगे है | वास्तविक निर्णय अक्सर केवल शीर्ष दो पर टिकते हैं | बाकी विकल्पों के वितरण की अनदेखी |
चूंकि सूत्र सटीक है और probabilities हर बार पूरी तरह लौटाया जाता है, आपका ऐप्लिकेशन जो भी सांख्यिकीय मात्रा चाहता है आप स्वयं गणना कर सकते हैं—आधिकारिक रूप से एक निश्चित मान लौटाने का मतलब केवल यह है कि "पहले अनुरोध से ही आपके पास एक उचित डिफ़ॉल्ट हो"।
🔧 चीनी सामग्री के लिए confidence स्वास्थ्य जांच। आधिकारिक भाषा समर्थन पृष्ठ पर स्पष्ट कहा गया है: CJK सहित अन्य भाषाएं काम करती हैं लेकिन सटीकता कम होती है; गैर-अंग्रेज़ी पेलोड के लिए "रूटिंग के समय confidence पर कड़ी नज़र रखें"। चीनी सामग्री लॉन्च करने से पहले: अपने डेटा पर एक बैच चलाएं, confidence वितरण और अनिश्चितता बैंड में गिरने वाले उत्तरों का अनुपात जांचें, फिर थ्रेशोल्ड तय करें—यही इस कॉलम में बार-बार ज़ोर दिया गया पहला कदम भी है।
🔧 कोड लिखे बिना पहले सूत्र को महसूस करें। पहला अनुरोध पाठ के Playground (console.typesafe.ai/playground) में state चिपकाएं, Choice प्रश्न जोड़ें, और देखें कि किसी विकल्प की प्रायिकता सरकाने पर confidence कैसे बदलता है—आधिकारिक दस्तावेज़ पृष्ठ के शीर्ष पर दिया गया इंटरैक्टिव डेमो इसी सिद्धांत पर आधारित है (तीन विकल्प, (3 × 最大概率 − 1) / 2 अर्थात् (3 × अधिकतम प्रायिकता − 1) / 2)।
इस पाठ का सारांश
✅ Jev confidence उत्तर के अपने probabilities से गणना किया गया सांख्यिकीय मान है: पूरा एक ही परिणाम पर दांव = 1, समान रूप से फैला हुआ = 0; हर Choice / Score उत्तर में साथ आता है, Noul में नहीं होता।
✅ सूत्र की जांच की जा सकती है: Choice है (p_max − 1/n) / (1 − 1/n) (केवल सर्वोच्च प्रायिकता देखता है); Score संभावित स्तर से प्रायिकता-भारित दूरी की तुलना समान वितरण से करता है—पास के स्तरों पर कम कटौती, दूर के स्तरों पर अधिक कटौती।
✅ तीन-स्तरीय उपयोग: उच्च = स्वचालित निष्पादन, मध्यम = पुष्टि या चिह्नित, निम्न = मानव को भेजना; थ्रेशोल्ड जोखिम के साथ स्केल होता है—0.5 फ़ॉलबैक, approve_transfer जैसे उच्च-जोखिम के लिए > 0.9।
✅ दो काम मत करें: confidence को सही होने की गारंटी मत मानें (यह वितरण का वर्णन करता है); सांख्यिकीय विश्लेषण मत करें (विश्लेषण के लिए probabilities, सर्वोत्तम चुनने के लिए सीधे सर्वोच्च प्रायिकता लें)।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड / स्थिरांक | अनुशंसित मान | विवरण |
|---|---|---|
confidence | 0–1, सीधे पढ़ें | Choice / Score / Box उत्तरों में साथ आता है; Noul में नहीं |
| फ़ॉलबैक floor | 0.5 | आधिकारिक उदाहरण का प्रारंभिक बिंदु; इससे नीचे होने पर कभी स्वचालित निष्पादन नहीं |
| उच्च-जोखिम क्रिया थ्रेशोल्ड | > 0.9 | अपरिवर्तनीय संचालन (ट्रांसफर, डिलीट) की बिना-मानव निष्पादन रेखा |
| Noul एकीकृत थ्रेशोल्ड | abs(2 * p - 1) | Choice confidence के समान स्केल |
| थ्रेशोल्ड कहाँ रखें | समस्या की परिभाषा के साथ एक ही फ़ाइल | आधिकारिक सुझाव: मानव समीक्षा आसान |
confidence के वास्तविक सिस्टम में उपयोग के तीन स्थान: स्मार्ट राउटिंग (इंटेंट वर्गीकरण + confidence गेटिंग को मिलाकर एक पूर्ण राउटिंग सिस्टम बनाना); 75 जैसी उद्योग वर्गीकरण (confidence ≥ 0.9 होने पर छोटा वर्ग बताना, उससे कम होने पर बड़ा वर्ग बताना — 60 SEC वार्षिक रिपोर्टों पर वास्तविक परीक्षण: आधे मामलों में जिनका confidence था वे 90% सही रहे, और बिना confidence वाले आधे मामलों में बड़ा वर्ग बताने के बाद 40% से 70% उपयोग योग्य हो गए); सेल्फ-कंसिस्टेंसी (कई बार चलाकर उत्तरों की स्थिरता मापना)।
अगले पाठ की झलक
टेक्स्ट के अलावा के निर्णय कैसे किए जाते हैं? अगला पाठ: Box और इमेज: Jev को चित्र में चीज़ें खोजने देना।
आप सीखेंगे:
- इमेज को state और प्रश्न में रखने के दो तरीके, और Danger Zone रिक्वेस्ट हेडर कैसे चालू किया जाता है
- Box उत्तर के चार किनारों (top / bottom / left / right, प्रत्येक 0–1) को पिक्सेल निर्देशांक में कैसे बदलें
- Box उत्तर के साथ आने वाले confidence का उपयोग कैसे करें: थ्रेशोल्ड से कम होने पर क्रॉप बॉक्स को बड़ा करें या बेहतर चित्र लेकर दोबारा पूछें
- क्यों आधिकारिक तौर पर कहा गया है कि Images / Box अभी उत्पादन स्तर तक नहीं पहुँचे हैं, और फ़ॉर्मैट संस्करण के साथ बदल सकता है