Noul हां-ना प्रश्न: 0 से 1 के बीच की वास्तविक प्रायिकता पाएं
पिछले पाठ का Score «किस हद तक» मापता है। लेकिन कई निर्णयों में हद तक पूछने की भी ज़रूरत नहीं होती, बस एक सीधा हां या ना: यह संदेश मानव हस्तक्षेप के लिए भेजना है या नहीं, इस रिज़्यूमे में वितरित सिस्टम का उल्लेख है या नहीं, इस टिप्पणी में व्यक्तिगत जानकारी है या नहीं।
ऐसे प्रश्न Jev Noul को दें: एक हां-ना प्रश्न बनाएं, Jev «उत्तर हां है» की प्रायिकता लौटाता है—0 से 1 के बीच की एक संख्या।
वास्तव में आप पहले अनुरोध में इसका उपयोग पहले ही कर चुके हैं—टिकट उदाहरण का is_urgent ही एक Noul था, और वह «API पूरी तरह 500» वाला टिकट 0.99 लेकर आया था। यह पाठ इसे पूरी तरह समझाता है, कुल 8 मिनट।
सीखने के बाद आप क्या कर सकेंगे
- एक साफ़ Jev Noul हां-ना प्रश्न लिखें: एक हां-ना के लिए एक प्रश्न, 1 के करीब का मान स्थिर रूप से «हां» दर्शाता है, और जब सीमा सूक्ष्म हो तो
criteriaसे true / false स्पष्ट लिखें noulमान समझें: 1 के करीब मजबूत «हां», 0 के करीब मजबूत «ना», 0.5 के करीब बराबर-बराबर, और समझाएं कि कोई अलग confidence क्यों नहीं होती- 0.7 / 0.3 शुरुआती थ्रेशोल्ड से प्रायिकता को कोड शाखाओं में बदलें, गलती की कीमत के अनुसार ऊपर-नीचे करें
- एक ही अनुरोध में एक श्रृंखला Noul भेजकर चेकलिस्ट का बैच सत्यापन करें, संरचित
instructionsसे कोड को प्रश्न बैच में उत्पन्न करने दें - समझाएं कि कब Noul इस्तेमाल करें और कब Score पर जाएं—0.5 «मध्यम स्तर» नहीं है
आपकी मौजूदा दुविधा
- GPT से हां-ना प्रश्न का उत्तर पूछें, तो वह पहले तीन पैराग्राफ़ विश्लेषण करता है फिर निष्कर्ष देता है, और «कुल मिलाकर हां, लेकिन पूरी तरह नहीं» जैसी बातें करता है—कोड में इस्तेमाल नहीं हो सकता
- एक ही संदेश दो बार पूछें, एक बार «हां» एक बार «ना», कोई स्थिर प्रायिकता नहीं, थ्रेशोल्ड कभी तय नहीं होता
- ज़बरदस्ती केवल संख्या मांगें, तो 0.9 और 0.6 दोनों कह सकता है, लेकिन किसी को नहीं पता कि ये दोनों संख्याएं एक ही तरह की «निश्चितता» हैं या नहीं, क्या समीक्षा करनी है यह पूरा अंदाज़े पर है
यह तरीका कब इस्तेमाल करें
जब आपको चाहिए:
- साफ़ हां-ना निर्णय: संदेश रिफ़ंड मांग रहा है या नहीं, रिज़्यूमे में वितरित सिस्टम का उल्लेख है या नहीं, टिप्पणी में व्यक्तिगत जानकारी है या नहीं
- प्रायिकता सीधे कोड में जाए: थ्रेशोल्ड पार होने पर
ifचले, प्रायिकता के अनुसार क्रमबद्ध करें, कई प्रश्नों को जोड़कर भारित करें - हां-ना शर्तों की एक श्रृंखला एक ही बार में पूछें: चेकलिस्ट-शैली सत्यापन, एक शर्त के लिए एक प्रश्न
और आप नहीं चाहते:
- चैट मॉडल की अपनी मर्ज़ी से लिखी «हां, लेकिन…» को पार्स करना
- हां-ना के मानदंड को prompt में मिलाना, मॉडल का वर्शन बदलते ही मानदंड बहने लगते हैं
- जब मॉडल खुद निश्चित न हो (मान 0.5 के आसपास हो) तब भी उसे अपने आप चलने देना
🎒 शुरू करने से पहले की तैयारी
- State स्थिति पूरा किया है: पता है कि निर्णय लेने वाली सामग्री
stateमें रखी जाती है (स्ट्रिंग, JSON ऑब्जेक्ट, टेक्स्ट सरणी—कोई भी चलेगा) - पहला अनुरोध चला चुके हैं:
.venvमेंtypesafe-sdkलगा हुआ है,TYPESAFE_API_KEYपर्यावरण चर में मौजूद है
मूल विचार
Noul «है या नहीं» का उत्तर देता है। आधिकारिक रूप से बताए गए उपयोग के मामले: यह संदेश रिफ़ंड मांग रहा है या नहीं, इस रिज़्यूमे में वितरित सिस्टम का उल्लेख है या नहीं, इस टिप्पणी में व्यक्तिगत जानकारी है या नहीं—उत्तर केवल दो होते हैं, और प्रायिकता अपने आप में उपयोगी संकेत है। यह प्रायिकता कैलिब्रेटेड है: Jev कैलिब्रेटेड निर्णयों के लिए ट्रेन की गई है, प्रायिकता वास्तविक परिणामों से मेल खाती है, 0.7 जैसी संख्याएं ही थ्रेशोल्ड के रूप में इस्तेमाल होने लायक हैं।
एक TypeSafe Noul प्रश्न में केवल तीन फ़ील्ड होते हैं:
| फ़ील्ड | क्या लिखें | उदाहरण |
|---|---|---|
type | स्थिर "noul" | — |
instructions | पूरा हां-ना प्रश्न, या मॉडल से निर्णय मांगने वाला एक कथन | Is the customer asking for a human agent? |
criteria | वैकल्पिक: true / false प्रत्येक एक वाक्य में, स्पष्ट करें कि किसे «हाँ» माना जाए और किसे «नहीं» | चरण 1 देखें |
प्रश्न ID अपनी इच्छा से रखें (जैसे is_human_escalation), यह मॉडल को नहीं भेजा जाता — पूरा प्रश्न instructions में लिखा जाना चाहिए, भले ही ID पहले से स्पष्ट लगे।
रिटर्न बस एक संख्या है। noul = उत्तर «हाँ» होने की प्रायिकता: 0 नहीं, 1 हाँ। कोई अलग confidence नहीं है — हाँ/नहीं में केवल दो परिणाम होते हैं, एक प्रायिकता पूरे वितरण को बता देती है; Choice / Score की प्रायिकता कई विकल्पों या स्तरों पर फैली होती है, इसलिए वितरण के आकार को सारांशित करने के लिए confidence चाहिए।
तीनों प्रश्न-प्रकारों में से कैसे चुनें।
| प्रश्न-प्रकार | उत्तर का रूप | कोड में उपयोग |
|---|---|---|
| Choice | निश्चित विकल्पों में से एक चुनना, विकल्पों के बीच कोई क्रम नहीं | N कोड पथों पर मैप |
| Score | स्पेक्ट्रम पर स्थिति, प्रत्येक स्तर आप वर्णन कर सकते हैं | थ्रेशोल्ड पार करना, क्रमबद्ध करना |
| Noul (इस पाठ में) | साफ हाँ/नहीं, प्रायिकता अपने आप में संकेत है | एक if |
आधिकारिक मानदंड: निश्चित विकल्प, कोई क्रम नहीं → Choice; स्पेक्ट्रम पर प्रत्येक स्तर वर्णन योग्य → Score; साफ हाँ/नहीं और प्रायिकता उपयोगी → Noul। जब दोनों समान लगें, वह चुनें जिसका उत्तर कोड सीधे कार्रवाई कर सके।
noul एक मात्रा (डिग्री) का पैमाना नहीं है। यह केवल इसकी प्रायिकता मापता है कि «आपके द्वारा पूछा गया प्रस्ताव सत्य है»।0.5 = पचास-पचास, «मध्यम» नहीं — जब «क्या उम्मीदवार का Python मजबूत है» में «मजबूत» स्पष्ट रूप से परिभाषित न हो, तो 0.5 कुछ भी नहीं बताता। मात्रा मापने के लिए, Score के परिभाषित स्तरों का उपयोग करें (आधिकारिक तुलना प्रयोग के लिए चेतावनी बिंदु 3 देखें)।
मेरे साथ करें
चरण 1: एक साफ Jev Noul हाँ/नहीं प्रश्न लिखें (instructions और वैकल्पिक criteria)
क्यों: एक Jev हाँ/नहीं प्रश्न के noul मान का अर्थ पूरी तरह शब्दों से तय होता है। एक प्रश्न में दो शर्तें, उलटी दिशा, धुंधली सीमा — मान समझ नहीं आएगा, थ्रेशोल्ड भी व्यर्थ जाएगा।
आधिकारिक प्रश्न-लेखन नियम:
- एक Noul केवल एक हाँ/नहीं पूछता है। «क्या ग्राहक नाराज़ भी है और रिफंड भी मांग रहा है?» दो निर्णय हैं, मॉडल दोनों को केवल एक साथ ही आंक सकता है, मान का अर्थ धुंधला हो जाता है। दो प्रश्नों में बाँटें, कोड में संयोजित करें (चरण 4 में ऐसा ही किया गया है)
- 1 के करीब का मान स्थिर रूप से «हाँ» दर्शाए। Does the message contain personal data? बिल्कुल स्पष्ट है; Is the message free of personal data? दिशा उलटी है, मान पढ़ने वाला कोड पूरा उलट जुड़ जाएगा
- वक्तव्य और प्रश्न दोनों चलेंगे। The customer is requesting a refund — 1 के करीब का मान वक्तव्य के सत्य होने का संकेत है। दोनों शब्दावलियाँ अपने डेटा पर आज़माएँ, बेहतर प्रदर्शन वाली रखें
- सीमा पर कोई मध्य-भूमि न छोड़ें। Does this candidate have any Python experience? में any सीमा को पक्का कर देता है; सीमा सूक्ष्म हो तो
criteriaजोड़कर स्पष्ट करें कि true / false किसे माना जाए
सीमा सूक्ष्म होने का आधिकारिक उदाहरण — «क्या बार-बार संपर्क» में criteria जोड़ा गया:
from typesafe_sdk import Noul, NoulCriteria
Noul(
instructions="Has the customer contacted support about this before?",
criteria=NoulCriteria(
true="Mentions a prior attempt, ticket, or that they have asked before",
false="No sign of any previous contact",
),
)दो पूरक बातें:
- आधिकारिक मूल शब्द: instruction is enough for most Nouls — अधिकांश प्रश्नों के लिए एक वाक्य काफ़ी है, पहले
criteriaजोड़े बिना एक संस्करण चलाएँ, उत्तर संतोषजनक न हों तब जोड़ें - जब state एक संरचित ऑब्जेक्ट हो, तो बैकटिक में लिखे पथ से उस फ़ील्ड को नाम दें जिस पर निर्णय लेना है: Does
ticket.messages[0].textrequest a refund?
आपको यह दिखना चाहिए: एक साफ शब्दों वाला हाँ/नहीं प्रश्न — केवल एक निर्णय, 1 के करीब का मान स्पष्ट रूप से «हाँ» दर्शाता है, सीमा पर कोई अस्पष्टता नहीं।
- मेरे प्रश्न में केवल एक हाँ/नहीं निर्णय है, और 1 के करीब का मान स्पष्ट रूप से «हाँ» दर्शाता है
चरण 2: typesafe-sdk से पहला Noul अनुरोध भेजें
क्यों: पहले आधिकारिक दो-प्रश्न उदाहरण को जस-का-तस चलाएँ, «ज्ञात सही» का आधार बनाएँ — अपने प्रश्न लगाने के बाद त्रुटि-निवारण में तुलना का आधार मिलेगा।
noul_support.py नया बनाएँ, आधिकारिक उदाहरण चिपकाएँ (एक ग्राहक संदेश जो मानव-एजेंट पर ले जाने की मांग करता है, एक साथ दो बातें पूछता है):
from typesafe_sdk import Noul, NoulCriteria, TypeSafeClient
with TypeSafeClient() as client:
response = client.system_one(
model="jev-latest",
state="I have asked three times now. Can I please just talk to a real person?",
questions={
"is_human_escalation": Noul(
instructions="Is the customer asking for a human agent?",
),
"is_repeat_contact": Noul(
instructions="Has the customer contacted support about this before?",
criteria=NoulCriteria(
true="Mentions a prior attempt, ticket, or that they have asked before",
false="No sign of any previous contact",
),
),
},
)
print(response.answers["is_human_escalation"].noul)
print(response.answers["is_repeat_contact"].noul)चलाएँ:
.venv/bin/python noul_support.pyआपको यह दिखना चाहिए:
0.99
0.93आधिकारिक व्याख्या: संदेश स्पष्ट रूप से talk to a real person कहता है, «मानव चाहिए» 0.99 है; I have asked three times now, is_repeat_contact की true विवरण (पहले भी पूछा था) से मेल खाता है, यह 0.93 है। उदाहरण के मान Jev संस्करण के साथ बदल सकते हैं, दशमलव के बाद के अंतर पर ध्यान न दें।
- मुझे 1 के करीब के दो मान मिले (उदाहरण मान 0.99 / 0.93)
💡 क्या चीनी सामग्री पर निर्णय लिया जा सकता है
हाँ। आधिकारिक विवरण: अंग्रेज़ी मुख्य प्रशिक्षण भाषा है, सर्वोत्तम सटीकता; चीनी सहित अन्य भाषाएँ काम करती हैं पर सटीकता कम है। चीनी परिदृश्य लॉन्च करने से पहले अपने डेटा पर एक बैच चलाएँ; confidence न होने वाले Noul के लिए, देखें कि कितने मान 0.3–0.7 की अनिश्चित पट्टी में गिरते हैं (चरण 4)।
चरण 3: noul के मान समझें: 0, 0.5, 1 प्रत्येक किसका प्रतिनिधित्व करता है
क्यों: एक अकेली संख्या बिना संदर्भ के समझ नहीं आती। आधिकारिक रूप से उसी प्रश्न (is_human_escalation) के लिए छह अलग संदेशों के उत्तर रिकॉर्ड किए गए हैं, यह सबसे सहज पैमाना है।
पहले चरण 2 के अनुरोध का पूरा रिटर्न देखें:
{
"model": "jev-1.13.0",
"answers": {
"is_human_escalation": {
"type": "noul",
"noul": 0.99
},
"is_repeat_contact": {
"type": "noul",
"noul": 0.93
}
},
"usage": {
"input_tokens": 360,
"output_tokens": 39
}
}आपको यह दिखना चाहिए: प्रत्येक उत्तर ऑब्जेक्ट में केवल type और noul दो फ़ील्ड हैं, noul आपके print किए 0.99 / 0.93 से मेल खाता है।"model": "jev-1.13.0" आधिकारिक उदाहरण रिकॉर्ड करते समय का संस्करण है; आप अब jev-latest से चला रहे हैं, यहाँ वर्तमान मॉडल संस्करण दिखेगा।
छह संदेशों की तुलना (आधिकारिक रूप से रिकॉर्ड किए गए jev-1.13.0 उत्तर, संदेश मूल अंग्रेज़ी state हैं):
| ग्राहक संदेश (state) | noul |
|---|---|
| Thanks, that fixed it! | 0.02 |
| How do I reset my password? | 0.07 |
| I need this sorted today, whatever it takes. | 0.26 |
| Are you a bot? | 0.40 |
| Is there any way to speak to someone about my invoice? | 0.84 |
| I have asked three times now. Can I please just talk to a real person? | 0.99 |
कैसे पढ़ें:
- यह संख्या जवाब और निश्चितता को एक साथ जोड़ती है। 1 के पास मतलब पक्का «हाँ», 0 के पास पक्का «नहीं», 0.5 के पास मतलब मॉडल हाँ/नहीं को लगभग बराबर संभावना दे रहा है—वह खुद भी अनिश्चित है
- 0.26: बहुत जल्दबाजी है, लेकिन किसी इंसान की माँग नहीं। I need this sorted today तात्कालिकता बताता है, पर कभी सीधे तौर पर इंसान नहीं माँगा—दोनों निर्णय अलग-अलग हैं, इसलिए मान कम है
- 0.40: इशारा है, साफ नहीं कहा। Are you a bot? इंसान ढूँढने का इशारा देता है पर सीधे नहीं कहता, मॉडल लगभग आधे-आधे में बँटा है
- आधिकारिक तौर पर स्पष्ट: 0.26 और 0.40 जैसे «बीच में पड़ने वाले» मान, बिल्कुल वही संदेश हैं जिनका फैसला आपके कोड के थ्रेशोल्ड से होना है
confidence क्यों नहीं है? Choice / Score की संभावनाएँ कई विकल्पों या स्तरों पर फैली होती हैं, confidence उस वितरण के आकार को एक संख्या में समेटता है; हाँ-नहीं में केवल दो नतीजे होते हैं, एक noul पूरे वितरण का पूरा वर्णन कर देता है। Choice / Score जैसे ही दहलीज़ें चाहने पर खुद गणना कर सकते हैं, देखें एडवांस टिप्स का |2p − 1|।
💡 मान निकालने का एक और रास्ता
क्विक स्टार्ट के पाठ का उदाहरण response.nouls["is_urgent"].noul का उपयोग करता है, इस पाठ का primitives उदाहरण response.answers["id"].noul का—दोनों रास्ते उन्हीं जवाबों तक ले जाते हैं, आधिकारिक उदाहरण की नकल कर लें।
चरण 4: noul संभावना थ्रेशोल्ड सेट करें, संभावना को कोड ब्रांच में बदलें
क्यों: संभावना तभी उपयोग में आती है जब वह कार्रवाई बने। Noul का सबसे आम उपयोग है थ्रेशोल्ड से बूलियन बनाकर एक if जोड़ना।
सबसे सरल रूप (आधिकारिक उदाहरण):
wants_human = response.answers["is_human_escalation"].noul > 0.9
if wants_human:
route_to_agent(ticket)
else:
route_to_bot(ticket)थ्रेशोल्ड कहाँ रखें? आधिकारिक रूप से दिया गया शुरुआती बिंदु और समायोजन नियम:
| नियम | कैसे |
|---|---|
| शुरुआत | yes ≥ 0.7, no ≤ 0.3 |
| केवल «हाँ» मायने रखता है | 0.7 एक थ्रेशोल्ड काफी है |
| झूठे «हाँ» की कीमत ऊँची | ऊँचा करें—जैसे ड्यूटी वाले को जगाना, सीधे रिफंड देना |
| असली «हाँ» छूटने की कीमत ऊँची | कम करें—जैसे सुरक्षा समस्या बिना टैग के छूटना |
| 0.3–0.7 के बीच | कोड पथ पर न चलें, इंसान को भेजें |
| बचें | मुट्ठी भर टेस्ट केस के हिसाब से थ्रेशोल्ड को «सब सही» होने तक बारीकी से छेड़ना |
पूरा राउटिंग उदाहरण (आधिकारिक): दो सवाल एक साथ पूछे जाते हैं, कोई भी बीच में पड़े तो इंसान को भेजें, बार-बार संपर्क प्राथमिकता बढ़ाता है:
from typesafe_sdk import Noul, NoulCriteria, TypeSafeClient
SUPPORT_QUESTIONS = {
"is_human_escalation": Noul(
instructions="Is the customer asking for a human agent?",
),
"is_repeat_contact": Noul(
instructions="Has the customer contacted support about this before?",
criteria=NoulCriteria(
true="Mentions a prior attempt, ticket, or that they have asked before",
false="No sign of any previous contact",
),
),
}
YES = 0.7
NO = 0.3
def route(message: str) -> None:
with TypeSafeClient() as client:
response = client.system_one(
model="jev-latest",
state=message,
questions=SUPPORT_QUESTIONS,
)
answers = response.answers
wants_human = answers["is_human_escalation"].noul
repeat = answers["is_repeat_contact"].noul
if NO < wants_human < YES or NO < repeat < YES:
# The model isn't sure either way. Let a person decide.
send_to_review(message)
return
priority = "high" if repeat >= YES else "normal"
if wants_human >= YES:
route_to_agent(message, priority=priority)
else:
route_to_bot(message, priority=priority)route_to_agent / route_to_bot / send_to_review आपके अपने हैंडलिंग फ़ंक्शन हैं, आधिकारिक उदाहरण केवल निर्णय लॉजिक दिखाता है।
आपको यह दिखना चाहिए:
- वह «asked three times» संदेश: 0.99 / 0.93 दोनों YES पार करते हैं → इंसान को भेजें, और repeat ≥ 0.7 प्राथमिकता को high कर देता है
- How do I reset my password?: दोनों सवाल 0.07 → बॉट पर चलता है
लॉन्च के बाद कैसे समायोजित करें? आधिकारिक रूप से दो दिशाएँ दी गई हैं, साथ में एक अपरिवर्तनीय नियम:
समीक्षा करने वाले लोग लोड संभाल नहीं पाते → NO और YES के बीच का अंतराल सिकोड़ें, ताकि ज़्यादा संदेश कोड पथ में आएँ
गलत राउटिंग बढ़ जाती है → अंतराल चौड़ा करें, ताकि ज़्यादा संदेश इंसान को भेजे जाएँ
नया निर्णय जोड़ना चाहें (भुगतान का ज़िक्र है या नहीं, निजी जानकारी है या नहीं) →
SUPPORT_QUESTIONSमें एक और Noul जोड़ें, अनुरोध संख्या फिर भी 1मेरे कोड में साफ YES / NO थ्रेशोल्ड हैं, 0.3–0.7 के बीच के मानों के लिए इंसानी रास्ता है
चरण 5: एक अनुरोध में एक श्रृंखला Noul भेजें: सूची की बैच जाँच और संरचित instructions
क्यों: कई निर्णय स्वाभाविक रूप से सूचियाँ हैं—रिज़्यूमे और कैंडिडेट डेटाबेस की हर रिकॉर्ड एक ही व्यक्ति है या नहीं, दस्तावेज़ की हर आसन्न पंक्ति-जोड़ी लाइन-ब्रेक से कटी है या नहीं। आधिकारिक तरीका: एक शर्त पर एक Noul, सब एक ही अनुरोध में; सवाल समानांतर में आँके जाते हैं, सवाल जोड़ने से रिस्पॉन्स समय लगभग नहीं बढ़ता, केवल थोड़े सवाल टोकन ज़्यादा लगते हैं (एक अनुरोध में 13 सवाल बैच में भेजने का वास्तविक लाभ देखें समानांतर प्रश्न)।
हर सवाल के साथ डेटा भी देना हो तो instructions को ऑब्जेक्ट बनाएँ: सवाल एक फ़ील्ड में स्थिर, डेटा बाकी फ़ील्ड में, कोड से बैच में बनता है। आधिकारिक रिज़्यूमे डुप्लिकेट-जाँच उदाहरण—नई आई रिज़्यूमे की तुलना कैंडिडेट डेटाबेस की उन रिकॉर्ड से जो उसी व्यक्ति के हो सकते हैं:
from typesafe_sdk import Noul, TypeSafeClient
SAME_PERSON = "Is the resume for the same person as `potential_duplicate`?"
def duplicate_questions(candidates: list[dict]) -> dict[str, Noul]:
"""One Noul per candidate record, all asking the same question."""
return {
f"same_as_record_{candidate['id']}": Noul(
instructions={
"potential_duplicate": {
"name": candidate["name"],
"location": candidate["location"],
"last_employer": candidate["last_employer"],
},
"question": SAME_PERSON,
},
)
for candidate in candidates
}
def find_duplicates(resume: dict, candidates: list[dict]) -> list[str]:
with TypeSafeClient() as client:
response = client.system_one(
model="jev-latest",
state={"resume": resume},
questions=duplicate_questions(candidates),
)
return [
question_id
for question_id, answer in response.answers.items()
if answer.noul > 0.7
]तीन बारीकियाँ:
- सवाल ID कोड से रिकॉर्ड की डेटाबेस ID जोड़कर बनाता है (
same_as_record_18), जवाब उसी ID पर जस का तस लौटता है questionफ़ील्ड सभी सवालों में एक जैसा, बदलता है केवलpotential_duplicateका डेटाfind_duplicatesमें 0.7 से «हाँ» छाँटें—बीच के मानों को भी इंसान को भेजना चाहिए, चरण 4 वाला ही सिद्धांत
आधिकारिक उदाहरण का रिटर्न (तीन कैंडिडेट रिकॉर्ड):
{
"model": "jev-1.13.0",
"answers": {
"same_as_record_18": {
"type": "noul",
"noul": 0.74
},
"same_as_record_42": {
"type": "noul",
"noul": 0.09
},
"same_as_record_77": {
"type": "noul",
"noul": 0.08
}
},
"usage": {
"input_tokens": 535,
"output_tokens": 58
}
}आधिकारिक व्याख्या: रिकॉर्ड 18 नाम की वर्तनी अलग, पर जगह और नियोक्ता मेल खाते हैं → 0.74; रिकॉर्ड 42 एक नाम, अलग शहर अलग नियोक्ता → 0.09; रिकॉर्ड 77 नाम मिलता-जुलता, जगह एक, नियोक्ता अलग → 0.08।
आपको यह दिखना चाहिए: find_duplicates() ['same_as_record_18'] लौटाता है—केवल 0.74 0.7 थ्रेशोल्ड पार करता है।
वही संरचित instructions सस्ते मॉडल के एक्सट्रैक्शन नतीजों की फ़ील्ड-दर-फ़ील्ड जाँच भी कर सकते हैं—कैस्केड एक्सट्रैक्शन सिनेरियो पेज इस उपयोग को खोलता है (हर फ़ील्ड के लिए एक ही सवाल, main_question में सवाल पाठ, field_spec, extracted_field फ़ील्ड-दर-फ़ील्ड बदलते हैं)।
चेकपॉइंट ✅
- मैं जानता हूँ कि
noul«जवाब हाँ है» की संभावना है: 1 के पास पक्का हाँ, 0 के पास पक्का नहीं, 0.5 के पास आधे-आधे - मैंने आधिकारिक उदाहरण का 0.99 / 0.93 चलाया, बता सकता हूँ कि वे संदेश के किस वाक्य से मेल खाते हैं
- मैं जानता हूँ कि Noul जवाब का अलग confidence नहीं होता, और क्यों
- मेरा शुरुआती थ्रेशोल्ड yes ≥ 0.7, no ≤ 0.3 है, 0.3–0.7 इंसान को भेजा जाता है, और गलती की कीमत के हिसाब से समायोजित करता हूँ
- मेरा एक Noul केवल एक हाँ-नहीं पूछता है, बैच जाँच में एक शर्त पर एक सवाल, सब एक ही अनुरोध में भेजे जाते हैं
सावधानी की चेतावनी
❌ एक Noul में दो शर्तें ठूँसना
instructions: "Is the customer angry and asking for a refund?"「गुस्सा」 और 「रिफंड माँगना」 दो अलग-अलग निर्णय हैं; एक ही सवाल में ठूँस देने पर मॉडल दोनों को साथ-साथ ही आँक सकता है: एक शर्त सच और दूसरी झूठी वाले संदेश के लिए कोई जगह नहीं बचती, 0.6 यह साफ नहीं कह पाता कि संदेश 「थोड़ा गुस्सा है लेकिन पैसे नहीं माँगे」 या 「गुस्सा नहीं है लेकिन पैसे माँगे」।
सही तरीका: एक शर्त के लिए एक Noul, एक ही अनुरोध में समानांतर भेजें, और कोड में जोड़ें — चरण 4 का route() 「मानवीय समीक्षा × बार-बार संपर्क」 दोनों सवालों के मेल का उदाहरण है।
❌ उल्टा पूछना, 1 के पास 「नहीं」 हो जाना
प्रतिकूल उदाहरण: Is the message free of personal data? # 1 के पास = कोई व्यक्तिगत जानकारी नहीं, रीडिंग की सहज धारणा के उलट
सही उदाहरण: Does the message contain personal data? # 1 के पास = व्यक्तिगत जानकारी मौजूददिशा उलट देने पर भी संख्याएँ चल जाती हैं, लेकिन तीन महीने बाद इस कोड को पढ़ने वाला व्यक्ति (आप खुद भी) सहज धारणा से ऊँचे मान को 「समस्या है」 मान लेगा — पूरा लॉजिक उलट जुड़ जाता है। आधिकारिक नियम: शब्दों की ऐसी छँटाई करें कि 1 के पास का मान स्थिर रूप से 「हाँ」 दर्शाए।
❌ noul को मात्रा का पैमाना बनाना: 0.5 「मध्यम」 नहीं है
「उम्मीदवार Python में मजबूत है या नहीं」 मापना चाहते हैं? आधिकारिक रूप से एक ही उम्मीदवारों के समूह पर Noul और चार-स्तरीय Score की तुलना की गई:
| उम्मीदवार का स्वयं-विवरण (state) | Noul: Is the candidate strong in Python? | Score: चार-स्तरीय अनुभव पैमाना |
|---|---|---|
| My experience is in Java and Go. I have not used Python. | 0.03 | 0.0(No experience) |
| I have used Python occasionally for small scripts alongside my main Java work. | 0.14 | 1.0(Some familiarity) |
| I used Python every day for two years in my last job, mostly data pipelines. | 0.81 | 2.05(Regular use in a job) |
| I have written Python daily for eight years, including maintaining a large Django codebase. | 0.92 | 2.89(Deep expertise) |
Noul केवल 「मजबूत」 इस एक ही कथन का निर्णय लेता है; मान उसके सच होने की संभावना है। आप कोड में 0.3–0.7 को 「कुछ अनुभव」 परिभाषित कर सकते हैं, लेकिन मॉडल आपकी परिभाषा नहीं देखता — मध्य मान 「मध्यम अनुभव」 हो सकता है या 「कहा नहीं जा सकता」 भी, और उम्मीदवारों के बीच की दूरी भी आपकी चुनी हुई नहीं है। Score आपके लिखे विवरण से स्तर-दर-स्तर मिलान करता है; हर उम्मीदवार आपकी परिभाषित श्रेणी पर या उसके पास आता है; किसी श्रेणी से सहमत नहीं हैं तो विवरण बदलकर दोबारा चलाएँ।
सही तरीका: यदि निर्णय हाँ/नहीं का है, तो शर्त साफ परिभाषित करके पूछें — आधिकारिक उदाहरण-वाक्य Does the resume state that the candidate has used Python at work?; मात्रा मापनी हो तो Score की परिभाषित श्रेणियों का उपयोग करें।
❌ थ्रेशोल्ड को कुछ टेस्ट केस के हिसाब से बारीकी से छेड़-छाड़
पाँच-छह टेस्ट संदेश बार-बार चलाकर थ्रेशोल्ड इस तरह ट्यून करना कि हर संदेश सही बँट जाए — आधिकारिक रूप से स्पष्ट रूप से खंडन किया गया है: केस बदलते ही यह 「संपूर्ण थ्रेशोल्ड」 अक्सर भरोसेमंद नहीं रहता। सही तरीका: 0.7 / 0.3 से शुरू करें, चरण 4 के लागत नियमों के अनुसार समायोजित करें, मध्य मान मनुष्य के पास भेजें, और लॉन्च के बाद समीक्षा-मात्रा व त्रुटि-दर के अनुसार सँकरा या चौड़ा करें।
आम विफलता-पैटर्न (शाब्दिक अर्थ लेना, गिनती अविश्वसनीय, तारीख तुलना कोड में रखना) के लिए Jev 1.13 ख़ाक-मैनुअल देखें।
उन्नत तकनीकें (वैकल्पिक)
Noul के लिए स्वयं एक 「विश्वास-स्तर」 निकालना। Noul में confidence नहीं होता, लेकिन जब Noul और Choice / Score को एक ही थ्रेशोल्ड कोड से संभालना हो, तो आधिकारिक रूप से सूत्र दिया गया है — 0.5 से दूरी लें:
p = answer.noul
confidence = abs(2 * p - 1) # p=0.5 时为 0,p=0 或 1 时为 1यह Choice के confidence सूत्र को 「हाँ/नहीं」 दो विकल्पों पर लागू करने जैसा ही है, इसलिए यह Choice के confidence के ही पैमाने पर है। सूत्र की व्युत्पत्ति अगले पाठ Confidence विश्वास-स्तर में है।
प्रश्नवाचक और विधानवाचक दोनों आज़माएँ। The customer is requesting a refund जैसा विधानवाचक वाक्य प्रश्न जितना ही प्रभावी है — 1 के पास का मान यानी कथन सच है। आधिकारिक सलाह: दोनों शब्द-रचनाएँ अपने डेटा पर चलाकर देखें और बेहतर प्रदर्शन वाली को रखें।
कोड लिखे बिना पहले अनुभव लें। कंसोल के Playground(https://console.typesafe.ai/playground)में state चिपकाएँ, सवाल जोड़ें, और बिना कोड के उत्तर देखें।
SDK को छोड़कर सीधे API से जुड़ें। POST https://api.typesafe.ai/v1/systemone, noul सवाल का कच्चा JSON ऐसा दिखता है (क्विक-स्टार्ट पाठ का is_urgent):
{
"state": "Our API integration started returning 500 errors on every request about 20 minutes ago, and we can't process any customer orders until this is fixed.",
"model": "jev-latest",
"questions": {
"is_urgent": {
"type": "noul",
"instructions": "The message conveys urgency or time-sensitivity"
}
}
}रिस्पॉन्स में is_urgent का उत्तर {"type": "noul", "noul": 0.99} है (आधिकारिक उदाहरण का रिकॉर्ड किया मान)। अनुरोध फ़ील्ड प्रतिबंधों की पूरी परिभाषा API क्विक-रेफ़रेंस में देखें।
पाठ-सारांश
✅ Jev Noul का उपयोग: एक हाँ/नहीं प्रश्न के लिए एक सवाल, instructions में पूरा सवाल लिखें (वैकल्पिक criteria से हाँ/नहीं की सीमा परिभाषित करें), Jev 「उत्तर हाँ है」 की प्रायिकता लौटाता है।
✅ रीडिंग: 1 के पास पक्का हाँ, 0 के पास पक्का नहीं, 0.5 के पास पचास-पचास; कोई अलग confidence नहीं — दो परिणामों के वितरण को एक ही संख्या कह देती है।
✅ थ्रेशोल्ड: शुरुआत yes ≥ 0.7, no ≤ 0.3; झूठे 「हाँ」 की कीमत ऊँची हो तो ऊपर, छूटे सच्चे 「हाँ」 की कीमत ऊँची हो तो नीचे; 0.3–0.7 मनुष्य को भेजें; कुछ केस पर बारीकी से ट्यून न करें।
✅ बैच: सूची-शैली के निर्णयों में एक शर्त = एक सवाल, उसी अनुरोध में; instructions ऑब्जेक्ट के रूप में लिखा जा सकता है, कोड सवालों को बैच में बनाता है।
✅ चुनाव: साफ हाँ/नहीं और प्रायिकता उपयोगी → Noul; मात्रा मापनी हो → Score; निश्चित विकल्प → Choice।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड | अनुशंसित लेखन | विवरण |
|---|---|---|
type | "noul" | निश्चित मान |
instructions | एक हाँ/नहीं सवाल या एक कथन; 1 के पास = हाँ | जटिल state में बैकटिक-पाथ से फ़ील्ड नाम लें |
criteria | वैकल्पिक NoulCriteria(true=…, false=…) | सीमा सूक्ष्म हो तो जोड़ें, ज़्यादातर सवालों में ज़रूरत नहीं |
| उत्तर-पहुँच | response.answers["id"].noul | यह भी संभव response.nouls["id"].noul |
Jev Noul का वास्तविक परिदृश्यों में उपयोग देखने के लिए: स्व-संगति(बीमा दावों को 14 rubric शर्तों पर हाँ/नहीं अंक, कई रन में स्थिरता मापना); खोज और मिलान(पुनर्क्रमण में सीधे noul प्रायिकता से क्रम, थ्रेशोल्ड का उपयोग नहीं); कैस्केड एक्सट्रैक्शन(संरचित instructions से फ़ील्ड-दर-फ़ील्ड निकाले परिणामों की जाँच)।
अगले पाठ की झलक
Noul में confidence नहीं होता, तो Choice / Score का confidence प्रायिकता वितरण (probability distribution) से कैसे निकाला जाता है, और थ्रेशोल्ड को जोखिम के साथ कैसे स्केल करना चाहिए? अगला पाठ: Confidence: जब मॉडल कहे 「मुझे यकीन नहीं है」 तब क्या करें।
आप सीखेंगे:
- confidence का गणना सूत्र: Choice और Score दोनों के लिए अलग-अलग, दोनों को probabilities से हाथ से सत्यापित किया जा सकता है
- तीन स्तर का उपयोग: उच्च पर स्वचालित निष्पादन, मध्यम पर पुष्टि या फ्लैगिंग, निम्न पर मानव हस्तांतरण
- जोखिम के साथ थ्रेशोल्ड स्केल करना: 0.5 न्यूनतम सीमा (fallback),
approve_transferजैसे उच्च-जोखिम वाले ऑपरेशन के लिए > 0.9 चाहिए - जब आधिकारिक confidence न इस्तेमाल करें तो वैकल्पिक संकेतक: top प्रायिकता, top-to-second अनुपात