Score स्कोरिंग प्रश्न: आपके द्वारा परिभाषित स्केल पर स्कोर करें
पिछले पाठ का Choice निश्चित विकल्पों में से एक चुनने के बारे में था। लेकिन कई निर्णय «कौन-सा चुनें» नहीं, बल्कि «किस हद तक» होते हैं: बग कितना गंभीर है, ग्राहक कितना नाराज़ है, उम्मीदवार को Python कितनी अच्छी तरह आता है।
ऐसे प्रश्नों के लिए Score का उपयोग करें: आप एक क्रमबद्ध स्केल देते हैं, Jev सामग्री को स्केल पर एक स्थिति पर रखता है, हर स्तर की प्रायिकता और विश्वास के साथ लौटाता है।
वास्तव में आप इसे पहले अनुरोध में देख चुके हैं—टिकट उदाहरण का frustration एक तीन-स्तरीय Score प्रश्न था, जिसने 0.67 लौटाया। यह पाठ इसे पूरी तरह समझाता है, कुल 10 मिनट।
सीखने के बाद आप क्या कर सकेंगे
criteriaसे एक क्रमबद्ध स्केल परिभाषित करें (कम से कम दो स्तर, अधिकतम 10 स्तर अनुशंसित), और Jev Score को आपके स्केल पर किसी भी सामग्री का स्कोर करने दें- लौटाए गए पाँच फ़ील्ड समझें:
score,legend,probabilities,confidence,type - समझाएँ कि 1.43 जैसा «दो स्तरों के बीच गिरने वाला» स्कोर कैसे निकाला जाता है
- score से थ्रेशोल्ड पार करें, confidence से तय करें कि मानव को भेजना है या नहीं
- बहु-आयामी निर्णय को कई Score प्रश्नों में विभाजित करें, कोड में सामान्यीकृत भारित मर्ज करें
आपकी वर्तमान समस्या
- GPT से टिकट पर 1–10 अंक दिलाएँ, एक ही टिकट इस बार 6 अंक, अगली बार 8 अंक, «कितने अंक से ऊपर हो तो मानव को भेजें» वाला थ्रेशोल्ड तय ही नहीं होता
- मूल्यांकन मानदंड मॉडल की मर्ज़ी पर होते हैं: मेरा कहा «मध्यम गंभीरता» और उसकी समझ मेल नहीं खाती, prompt का एक वर्ज़न बदलने पर सभी पुराने स्कोर दोबारा देने पड़ते हैं
- एक 7 अंक मिलते ही बात खत्म—पता नहीं होता कि यह पक्का 7 है, या 6 अंक और 8 अंक आधे-आधे मिलकर बना 7 है, किन्हें मानव समीक्षा देनी है यह अंदाज़े से ही तय होता है
यह तरीक़ा कब अपनाएँ
जब आपको चाहिए:
- सामग्री को स्पेक्ट्रम पर स्थिति देना: गंभीरता, निराशा का स्तर, कौशल स्तर, रिपोर्ट की गुणवत्ता
- स्कोर सीधे कोड में जाए: थ्रेशोल्ड पार, क्रमबद्ध, भारित योग
- हर स्तर की प्रायिकता और समग्र विश्वास, «मानव की एक नज़र डालनी चाहिए या नहीं» का संकेत
और आप नहीं चाहते:
- चैट मॉडल को मर्ज़ी से «1–10 अंक देने» देना, फिर उसके आउटपुट टेक्स्ट को पार्स करने का कोड लिखना
- मूल्यांकन मानदंड को prompt में मिलाना, मॉडल वर्ज़न बदलने पर मानदंड साथ में बहने लगते हैं
- मॉडल के अनिश्चित होने पर भी उसे स्वचालित चलने देना
🎒 शुरू करने से पहले की तैयारी
- State स्थिति पूरा कर चुके हैं: जानते हैं कि स्कोर की जाने वाली सामग्री
stateमें रखी जाती है (स्ट्रिंग, JSON ऑब्जेक्ट, टेक्स्ट ऐरे सब चलते हैं) - पहला अनुरोध चला चुके हैं:
.venvमेंtypesafe-sdkइंस्टॉल है,TYPESAFE_API_KEYपर्यावरण चर में मौजूद है
मूल विचार
Score «किस हद तक» का उत्तर देता है। आधिकारिक रूप से बताए गए उपयोग के मामले: बग कितना गंभीर, ग्राहक कितना संतुष्ट, उम्मीदवार की Python का अनुभव कितना। उत्तर एक स्पेक्ट्रम पर होता है, और आप उस स्पेक्ट्रम को स्तर-दर-स्तर वर्णित कर सकते हैं—यही Score का उपयोग करने की शर्त है।
स्केल ही criteria है। एक Score प्रश्न में केवल तीन फ़ील्ड होते हैं:
| फ़ील्ड | क्या लिखें | उदाहरण |
|---|---|---|
type | निश्चित "score" | — |
instructions | एक वाक्य में बताएँ कि क्या मूल्यांकित करना है | How severe is the reported issue? |
criteria | क्रमबद्ध स्तरों की सूची, निम्न से उच्च, हर स्तर का एक विवरण | चरण 1 का तीन-स्तरीय स्केल देखें |
स्तरों का क्रमांक ऐरे इंडेक्स है, 0 से शुरू: तीन-स्तरीय स्केल में 0, 1, 2। मॉडल को केवल हर स्तर का टेक्स्ट विवरण दिखता है—उसे स्तर क्रमांक नहीं दिखता, आसन्न स्तर भी नहीं।
पाँच फ़ील्ड लौटाए जाते हैं।
| फ़ील्ड | क्या है |
|---|---|
score | स्केल पर स्थिति, 0 से उच्चतम स्तर क्रमांक तक; दो स्तरों के बीच गिर सकता है, जैसे 1.43 |
legend | स्तर क्रमांक → स्तर विवरण का मैपिंग, स्कोर की व्याख्या में मदद करता है |
probabilities | हर स्तर की प्रायिकता, कुल मिलाकर लगभग 1 |
confidence | 0–1; जितना अधिक संभावना एक ही स्तर पर केंद्रित होगी, उतना अधिक |
type | "score" |
score की गणना की जाती है, इसे मनगढ़ंत नहीं अंकित किया जाता। प्रत्येक स्तर संख्या को उसकी संभावना से गुणा करके जोड़ा जाता है: 0×0.0 + 1×0.57 + 2×0.43 = 1.43।
तीनों प्रश्न प्रकारों में से चयन कैसे करें।
| प्रश्न प्रकार | उत्तर का रूप | कोड में उपयोग |
|---|---|---|
| Choice | निश्चित विकल्पों में से एक चुनना, विकल्पों के बीच कोई क्रम नहीं | N कोड पथों पर मैप होता है |
| Score (यह पाठ) | स्पेक्ट्रम पर स्थिति, प्रत्येक स्तर का आप वर्णन कर सकते हैं | थ्रेशोल्ड पार करना, क्रमबद्ध करना |
| Noul | स्पष्ट हाँ/नहीं, संभावना स्वयं संकेत है | एक if |
आधिकारिक मानदंड: उत्तर स्पेक्ट्रम पर हो और प्रत्येक स्तर का वर्णन संभव हो → Score; निश्चित विकल्प, कोई क्रम नहीं → Choice; स्पष्ट हाँ/नहीं → Noul। जब दोनों समान लगें, वह चुनें जिसके उत्तर पर कोड सीधे कार्रवाई कर सके। Noul से यह भी न पूछें कि 「क्या उम्मीदवार Python में मजबूत है」— जब 「मजबूत」 परिभाषित नहीं है, तो noul 0.5 केवल आधा सही आधा गलत होता है, 「मध्यम स्तर」 नहीं; स्तर मापने के लिए Score की परिभाषित श्रेणियों का उपयोग करें।
मेरे साथ करें
चरण 1: अपना Jev Score पैमाना परिभाषित करें (criteria क्रमबद्ध श्रेणियाँ)
क्यों: मॉडल निर्णय करते समय केवल आपके लिखे श्रेणी विवरण ही देख पाता है—वह स्तर संख्या नहीं देखता, आसन्न स्तर नहीं देखता। विवरण को 「परिस्थिति」 के रूप में लिखें, तभी मॉडल state से मिलान कर पाएगा; संख्या या 「मध्यम गंभीर」 जैसे मात्रा शब्द लिखें, तो उसके पास तुलना के लिए कुछ नहीं होगा (परिणाम के लिए चूक-चेतावनी देखें, बिंदु 1)।
इस पाठ में आधिकारिक दस्तावेज़ का bug गंभीरता पैमाना उपयोग होता है, तीन श्रेणियाँ:
0: Cosmetic; no impact to functionality
1: Broken or degraded feature, but workaround exists
2: Blocking issue; no workaround existsनिम्न से उच्च तक: 0 स्तर 「दिखावट की समस्या, कार्यक्षमता प्रभावित नहीं」、1 स्तर 「कार्यक्षमता टूटी है लेकिन विकल्प उपलब्ध」、2 स्तर 「पूर्ण रूप से अवरुद्ध, कोई विकल्प नहीं」।
पैमाना लिखने के आधिकारिक नियम:
- परिस्थिति का वर्णन करें, मात्रा का नहीं: 「कार्यक्षमता टूटी है लेकिन विकल्प उपलब्ध」 की तुलना सेटअप से की जा सकती है, 「मध्यम गंभीर」 से नहीं
- जितनी श्रेणियाँ स्पष्ट रूप से वर्णित कर सकें उतनी लिखें, ऊपरी सीमा 10 श्रेणियाँ; तीन श्रेणियाँ बहुत प्रचलित हैं
- एक प्रश्न केवल एक आयाम मापे—「समयनिष्ठ, बुद्धिमान, अनुभवी」 तीन प्रश्न हैं (चूक-चेतावनी देखें, बिंदु 2)
- पैमाने के शीर्ष पर ऐसी दुर्लभ स्थितियाँ जिन्हें विशेष निपटान चाहिए, उन्हें अलग श्रेणी दें (चूक-चेतावनी देखें, बिंदु 4)
आपको यह दिखना चाहिए: तीन श्रेणी विवरण, प्रत्येक एक ऐसी ठोस परिस्थिति है जिसकी सीधे bug रिपोर्ट से तुलना की जा सकती है।
- मेरे प्रत्येक स्तर का वर्णन परिस्थिति है, 「हल्का/मध्यम/भारी」 जैसे मात्रा शब्द नहीं, और न ही कोई खाली संख्या
चरण 2: typesafe-sdk से पहला Score मूल्यांकन अनुरोध भेजें
क्यों: पहले आधिकारिक एकल-प्रश्न उदाहरण को जस का तस चलाएँ, फिर अपना पैमाना और तर्क लगाएँ—त्रुटि-निवारण के समय हमेशा एक 「ज्ञात सही」 आधार-रेखा मौजूद रहेगी।
नई फ़ाइल score_bug.py बनाएँ, आधिकारिक उदाहरण चिपकाएँ:
from typesafe_sdk import Score, TypeSafeClient
with TypeSafeClient() as client:
response = client.system_one(
state="The export button crashes the settings page in Safari. It works in Chrome, but a few of our customers only use Safari.",
questions={
"bug_severity": Score(
instructions="How severe is the reported issue?",
criteria=[
"Cosmetic; no impact to functionality",
"Broken or degraded feature, but workaround exists",
"Blocking issue; no workaround exists",
],
),
},
)
print(response.answers["bug_severity"].score)इसे चलाएँ:
.venv/bin/python score_bug.pyआपको यह दिखना चाहिए:
1.431.43 स्तर 1 और स्तर 2 के बीच आता है। आधिकारिक व्याख्या: निर्यात Safari में क्रैश हो जाता है, अधिकांश ग्राहक Chrome से बच निकल सकते हैं (1 स्तर), लेकिन केवल Safari उपयोग करने वाले ग्राहक नहीं बच सकते (2 स्तर)—मॉडल दो स्तरों के बीच विभाजित है, 1 स्तर की ओर झुकाव। उदाहरण मान Jev संस्करण के साथ बदल सकते हैं, दशमलव के बाद के अंतर पर ध्यान न दें।
- मैंने दो स्तरों के बीच गिरती एक संख्या देखी (उदाहरण मान 1.43 है)
💡 क्या चीनी सामग्री का मूल्यांकन किया जा सकता है
हाँ। आधिकारिक विवरण: अंग्रेज़ी प्राथमिक प्रशिक्षण भाषा है, सर्वोच्च सटीकता; चीनी सहित अन्य भाषाएँ उपयोग की जा सकती हैं लेकिन सटीकता कम है। चीनी परिदृश्य को लॉन्च करने से पहले अपने डेटा से एक बैच चलाकर परिणाम देखें, विशेष रूप से confidence वितरण पर ध्यान दें।
चरण 3: लौटाए गए score, legend और संभावना वितरण को समझें
क्यों: वास्तविक प्रोजेक्ट में स्कोर कभी अकेले उपयोग नहीं होता—legend व्याख्या में मदद करता है, probabilities और confidence बताते हैं कि यह स्कोर कितना 「ठोस」 है।
आधिकारिक उदाहरण का पूर्ण लौटाया गया डेटा:
{
"model": "jev-1.13.0",
"answers": {
"bug_severity": {
"type": "score",
"score": 1.43,
"confidence": 0.35,
"legend": {
"0": "Cosmetic; no impact to functionality",
"1": "Broken or degraded feature, but workaround exists",
"2": "Blocking issue; no workaround exists"
},
"probabilities": {
"0": 0.0,
"1": 0.57,
"2": 0.43
}
}
},
"usage": {
"input_tokens": 332,
"output_tokens": 18
}
}आपको यह दिखना चाहिए: उत्तर ऑब्जेक्ट में पाँच फ़ील्ड हैं, score आपके print किए 1.43 से मेल खाता है, legend 0/1/2 को आपके लिखे तीन श्रेणी विवरणों पर वापस मैप करता है। उदाहरण का "model": "jev-1.13.0" आधिकारिक उदाहरण रिकॉर्ड करते समय का संस्करण है; आप अब jev-latest से चलाएँ तो यह फ़ील्ड वर्तमान मॉडल संस्करण दिखाता है।
एक-एक करके तोड़ें:
| फ़ील्ड | इस उदाहरण का मान | कैसे पढ़ें |
|---|---|---|
score | 1.43 | 0×0.0 + 1×0.57 + 2×0.43: संभावना-भारित स्थिति |
legend | 0 → दिखावट, 1 → विकल्प उपलब्ध, 2 → अवरुद्ध | स्तर संख्या को श्रेणी विवरण पर वापस मैप करता है |
probabilities | 1 स्तर 0.57、2 स्तर 0.43 | मॉडल दो स्तरों के बीच विभाजित |
confidence | 0.35 | संभावना दो स्तरों पर फैली है, इसलिए कम |
HTTP प्रतिक्रिया में legend और probabilities की कुंजियाँ स्ट्रिंग हैं "0"/"1"/"2"; Python SDK उन्हें पहले से पूर्णांक कुंजियों में बदल चुका है (answer.legend[1]、answer.probabilities[1]), ScoreAnswer के सभी फ़ील्ड टाइप किए गए हैं।
एक ही प्रश्न, पाँच अलग-अलग टिकट (आधिकारिक दस्तावेज़ का तुलना उदाहरण):
| टिकट सामग्री | score | confidence | संभावना (0/1/2 स्तर) |
|---|---|---|---|
| निर्यात बटन कुछ पिक्सेल विस्थापित है | 0.0 | 1.0 | 1.0 / 0.0 / 0.0 |
| PDF निर्यात पर क्लिक करने से कोई प्रतिक्रिया नहीं; CSV निर्यात करके स्वयं बदला जा सकता है, लेकिन बहुत समय लगता है | 1.0 | 1.0 | 0.0 / 1.0 / 0.0 |
| एक्सपोर्ट लगातार घूमता रहता है और खत्म नहीं होता; कुछ सहकर्मियों का CSV अभी भी चल रहा है, कुछ का भी खराब हो गया | 1.11 | 0.84 | 0.0 / 0.89 / 0.11 |
| Safari क्रैश हो रहा है, Chrome सामान्य चल रहा है, एक ग्राहक केवल Safari ही इस्तेमाल करता है | 1.43 | 0.35 | 0.0 / 0.57 / 0.43 |
| पूरी टीम आज सुबह से सिस्टम में लॉग इन नहीं कर पा रही, हर बार 500 | 2.0 | 1.0 | 0.0 / 0.0 / 1.0 |
दो मुख्य बातें:
- एक ही स्कोर अलग-अलग डिस्ट्रीब्यूशन से आ सकता है। 1.0 हो सकता है कि 「सब 1 लेवल पर」 डाला गया हो, या 「0 लेवल और 2 लेवल आधे-आधे」 हों——स्कोर एक जैसा, मतलब बिल्कुल अलग। इसलिए
probabilitiesऔरconfidenceको साथ में पढ़ना चाहिए। - confidence 1.0 डिस्ट्रीब्यूशन का वर्णन करता है, यह 「जवाब सही है」 की गारंटी नहीं है। जब डिस्ट्रीब्यूशन पूरा पहले लेवल पर हो तो यह 1.0 होता है; जब मॉडल लेवल में अंतर नहीं कर पाता तो यह गिर जाता है।
डेसिमल score बस एक पोज़िशन है: इसे सीधे सॉर्टिंग (गंभीरता के क्रम) में इस्तेमाल किया जा सकता है; जब कोड को साफ लेवल चाहिए, तो निकटतम लेवल पर राउंड करके आगे बढ़ें——सर्च और मैचिंग सीनेरियो पेज पर 「निकटतम लेवल पर राउंड करके फैसला」 का व्यावहारिक उदाहरण है।
चरण 4: score और confidence पर थ्रेशोल्ड सेट करें, ऑटोमैटिक प्रोसेस करें या मानव को भेजें
क्यों: स्कोर तभी इस्तेमाल में आता है जब वह कार्रवाई बने। आधिकारिक पैटर्न: score थ्रेशोल्ड पार करे तो ऑटोमैटिक फ्लो चले; confidence कम होने का मतलब है मॉडल को भरोसा नहीं, मानव को भेजें।
चरण 2 के response के आगे लिखें:
answer = response.answers["bug_severity"]
if answer.score >= 1.5:
action = "P1:立即处理"
elif answer.confidence < 0.5:
action = "转人工复核"
else:
action = "进正常队列"
print(action)आपको यह दिखना चाहिए (Safari वाले टिकट पर):
转人工复核score 1.43 ने 1.5 पार नहीं किया, और confidence 0.35 भी 0.5 से कम है——मॉडल दो लेवल के बीच बंटा हुआ है, यही वह संकेत है जब इंसान को एक नज़र डालनी चाहिए।
1.5 और 0.5 उदाहरण मान हैं। आधिकारिक तीन-स्तरीय इस्तेमाल: ऊँची confidence पर सीधे ऑटोमैटिक निष्पादन; मध्यम पर पुष्टि, टैगिंग या जानकारी जोड़ना; कम पर कुछ न करें, मानव को भेजें या फॉलबैक करें।
थ्रेशोल्ड जोखिम के अनुसार स्केल होते हैं: आधिकारिक उदाहरण में 0.5 न्यूनतम बेसलाइन है, approve_transfer जैसे उच्च-जोखिम ऑपरेशनों के लिए बिना मानवीय हस्तक्षेप के निष्पादन हेतु > 0.9 चाहिए। पूरा फॉर्मूला और उदाहरण Confidence कॉन्फिडेंस पाठ में हैं।
चरण 5: कई अणु Score प्रश्नों में तोड़ें, कोड में वेटेड मर्ज करें
क्यों: 「क्या यह टिकट प्राथमिकता से देखा जाए」 एक बहु-आयामी निर्णय है——गंभीरता, ग्राहक की निराशा, रिपोर्ट की क्वालिटी सबका कुछ हिस्सा है। आधिकारिक तरीका: एक आयाम = एक Score, एक ही रिक्वेस्ट में समानांतर भेजें, कोड में वेटेड मर्ज करें। वेट बदलना है तो बस कोड बदलें, कोई prompt दोबारा ट्यून नहीं करना पड़ता।
from typesafe_sdk import Score, TypeSafeClient
TRIAGE_QUESTIONS = {
"severity": Score(
instructions="How severe is the reported issue?",
criteria=[
"Cosmetic; no impact to functionality",
"Broken or degraded feature, but workaround exists",
"Blocking issue; no workaround exists",
],
),
"frustration": Score(
instructions="How frustrated is the customer?",
criteria=[
"Calm, just stating facts",
"Frustrated but civil",
"Very angry, strong language or threatening to leave",
],
),
"report_quality": Score(
instructions="How much does the report give an engineer to work with?",
criteria=[
"No detail; just says something is broken",
"Names the feature but no steps or environment",
"Steps to reproduce or environment, but not both",
"Steps to reproduce and environment",
],
),
}
def normalized(answers, question_id: str) -> float:
"""Put a score on 0 to 1 by dividing by its top level number."""
top_level = len(TRIAGE_QUESTIONS[question_id].criteria) - 1
return answers[question_id].score / top_level
def priority(ticket: str) -> float:
with TypeSafeClient() as client:
response = client.system_one(
state=ticket,
questions=TRIAGE_QUESTIONS,
)
answers = response.answers
severity = normalized(answers, "severity")
frustration = normalized(answers, "frustration")
report_quality = normalized(answers, "report_quality")
# A detailed report helps an engineer investigate, so it raises priority a little.
return 0.6 * severity + 0.3 * frustration + 0.1 * report_qualityदो बारीकियाँ:
- पहले नॉर्मलाइज़ करें, फिर मर्ज करें। तीन-लेवल स्केल का पूर्णांक 2 है, चार-लेवल का 3——नॉर्मलाइज़ न करें तो चार-लेवल वाला प्रश्न स्वाभाविक रूप से ज़्यादा भारी हो जाता है। हर प्रश्न को उसके सबसे ऊँचे लेवल नंबर
len(criteria) - 1से भाग दें, सब 0–1 पर आ जाएगा, तभी वेट का मतलब बनता है: वेट 0.6 वाला severity ठीक 0.3 वाले frustration का दोगुना होता है। - प्रश्न जोड़ें, रिक्वेस्ट नहीं। आधिकारिक उदाहरण (वही चरण 3 वाला 「घूमता」 टिकट, ज़्यादा संदर्भ जोड़कर) लौटाता है: severity 1.24 (confidence 0.64), frustration 1.28 (0.58), report_quality 3.0 (1.0); नॉर्मलाइज़ करने पर 0.62 / 0.64 / 1.0, प्राथमिकता =
0.6×0.62 + 0.3×0.64 + 0.1×1.0 = 0.66। कई प्रश्न समानांतर में आँके जाते हैं, रिस्पॉन्स टाइम लगभग नहीं बढ़ता, बस थोड़े प्रश्न token ज़्यादा खर्च होते हैं।
आपको यह दिखना चाहिए: priority() 0–1 का एक नंबर लौटाता है; आधिकारिक उदाहरण टिकट पर यह 0.66 निकलता है। बाद में लगे कि क्रम गलत है, तो बस वेट बदलकर दोबारा चलाएँ; नया आयाम जोड़ना हो तो TRIAGE_QUESTIONS में एक प्रश्न जोड़ें, रिक्वेस्ट की संख्या नहीं बदलती।
यह 「एटॉमिक स्कोर में तोड़ो, कोड में वेट लगाओ」 वाला तरीका ही आधिकारिक Composite scoring (कंपोज़िट स्कोरिंग) पैटर्न है, पूरा विवरण 组合打分 पाठ में।
चेकपॉइंट ✅
- मैं जानता/जानती हूँ कि लेवल नंबर criteria ऐरे का इंडेक्स है, 0 से शुरू
- मैंने 1.43 निकाला, मैं हाथ से जाँच सकता/सकती हूँ:
0×0.0 + 1×0.57 + 2×0.43 - मैं जानता/जानती हूँ कि एक जैसा स्कोर अलग-अलग डिस्ट्रीब्यूशन से आ सकता है, इसलिए probabilities और confidence को साथ पढ़ना चाहिए
- मेरे स्केल का हर लेवल संदर्भ का वर्णन है, एक प्रश्न एक ही आयाम नापता है
- मैं जानता/जानती हूँ कि बहु-आयामी निर्णय में पहले नॉर्मलाइज़ (÷ सबसे ऊँचा लेवल नंबर) करके वेटेड मर्ज करना है
आम गलतियों की चेतावनी
❌ स्केल में सिर्फ नंबर लिखना
instructions: "Rate severity from 0 to 2, where 2 is worst"
criteria: ["0", "1", "2"]
→ score 0.55, confidence 0.33, probabilities 0: 0.45, 1: 0.55, 2: 0.0आधिकारिक रूप से यह प्रयोग किया गया: एक ही 「बटन गलत जगह」 टिकट पर सिर्फ-नंबर स्केल ने 0.55, confidence 0.33 दिया——प्रॉबेबिलिटी 0, 1 दो लेवल के बीच बिखरी हुईं; तीन-लेवल संदर्भ वर्णन पर बदलने पर score 0.0, confidence 1.0।
मॉडल केवल वर्णन से state की तुलना करता है, 「1–10 में से अंक दो」 जैसा सवाल Jev खुद भी अच्छे से नहीं कर पाता। सही तरीका: हर लेवल पर एक तुलना करने योग्य संदर्भ लिखें, और उम्मीद न रखें कि instructions में लिखे नंबर काम करेंगे।
❌ एक ही प्रश्न से कई चीज़ें नापना
स्तर का विवरण「समय का पालन करने वाला, तेज़, अनुभवी」लिख दें तो यह प्रश्न एक साथ तीन चीज़ें माप रहा होता है——एक आयाम ऊँचा, दूसरा नीचा वाले इनपुट के लिए कोई जगह नहीं बचती, confidence गिर जाता है, और score का अर्थ भी धुँधला हो जाता है। सही तरीका: एक चीज़ = एक Score, परिणाम कोड में मर्ज करें (कदम 5 का तरीका)।
❌ स्कोर मिलते ही इस्तेमाल कर लेना, डिस्ट्रीब्यूशन न देखना
score 1.0 हो सकता है पूरा 1 लेवल पर हो (confidence ऊँची), या 0 लेवल और 2 लेवल आधे-आधे (confidence कम)। आधिकारिक रूप से यह भी दिखाया गया कि बंटवारे की जगह confidence को कैसे प्रभावित करती है: तीन-लेवल स्केल पर प्रॉबेबिलिटी (0, 0.5, 0.5) की confidence 0.25 है, (0.5, 0, 0.5) की 0 है——आसपास के दो लेवल में बंटवारा हल्का होता है, स्पेक्ट्रम के दोनों सिरों पर बंटवारा ज़्यादा भारी।
सही तरीका: score को probabilities और confidence के साथ मिलकर पढ़ें। confidence का कम होना आम तौर पर बताता है कि स्तरों में ओवरलैप है, प्रश्न ने एक से ज़्यादा चीज़ें मापी हैं, या state की जानकारी अपर्याप्त है — ऐसे में मानव हस्तक्षेप पर भेजें या जानकारी जोड़ें, ज़बरदस्ती स्वचालित निष्पादन न करें।
❌ दुर्लभ चरम स्थितियों का अपना कोई स्तर नहीं होता
भावना पैमाने के शीर्ष पर「बहुत अधिक क्रोधित」है, और अपमानजनक तथा धमकी भरे संदेश भी शीर्ष के पास ही जमा हो जाते हैं — केवल score देखकर उन्हें अलग नहीं किया जा सकता, जबकि यही वे संदेश हैं जिन्हें सबसे ज़्यादा विशेष प्रबंधन चाहिए। आधिकारिक तरीका: दुर्लभ चरम स्थितियों के लिए एक अलग स्तर दें, जैसे「बहुत अधिक क्रोधित」के ऊपर「अपमान या धमकी」जोड़ना।
और असफलता के तरीके (शाब्दिक अर्थ लेना, गिनती अविश्वसनीय होना, तिथियों की तुलना कोड में करना चाहिए) के लिए Jev 1.13 आम गलतियों की मार्गदर्शिका देखें।
उन्नत तकनीकें (वैकल्पिक)
स्तरों को ऑब्जेक्ट के रूप में लिखा जा सकता है। अगर मॉडल उन इनपुट पर जिन्हें आप स्पष्ट मानते हैं, बार-बार दो स्तरों के बीच अंक देता है, तो हर स्तर को स्ट्रिंग से ऑब्जेक्ट में बदलें — एक फ़ील्ड बताए कि यह स्तर क्या कवर करता है, और एक फ़ील्ड में कुछ उदाहरण स्थितियाँ दें (हर स्तर के फ़ील्ड नाम एक जैसे रखें):
"1": {
"what": "Broken or degraded feature, but workaround exists",
"examples": ["export fails in one browser but works in another"]
}आधिकारिक रूप से एक ही Safari टिकट पर तुलना की गई: केवल स्ट्रिंग होने पर score 1.43, confidence 0.35; उपयुक्त उदाहरण (「एक ब्राउज़र में निर्यात विफल, दूसरे में सामान्य」) जोड़ने के बाद यह 1.03, 0.96 हो गया; जोड़ा गया उदाहरण ब्राउज़र से असंबंधित होने पर यह 1.43, 0.35 ही रहा।
उदाहरण तभी काम करते हैं जब वे आपके वास्तविक इनपुट जैसे दिखें; confidence बढ़ना भी जवाब के सही होने की गारंटी नहीं — स्तरों के विवरण ठीक करने के बाद दूसरे इनपुट पर दोबारा परखें और फिर अंतिम रूप तय करें।
कोड लिखे बिना पैमाना आज़माएँ। कंसोल के Playground (https://console.typesafe.ai/playground) में state पेस्ट करें, प्रश्न जोड़ें, और बिना कोड के अनुभव लें।
SDK को छोड़कर सीधे API से जुड़ें। POST https://api.typesafe.ai/v1/systemone, score प्रश्न का कच्चा JSON ऐसा दिखता है (आधिकारिक उदाहरण):
{
"model": "jev-latest",
"state": "I was charged twice for my subscription this month. Please refund the extra charge.",
"questions": {
"urgency": {
"type": "score",
"instructions": "How urgent is this message?",
"criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
}
}
}फ़ील्ड प्रतिबंधों की पूरी परिभाषा (criteria सरणी की आइटम संख्या की ऊपरी सीमा, उत्तर के पाँच फ़ील्ड) के लिए API त्वरित संदर्भ देखें।
इस पाठ का सारांश
✅ Jev Score का उपयोग: criteria में क्रमबद्ध पैमाना परिभाषित करें (कम से कम दो स्तर अनुशंसित, ऊपरी सीमा 10 स्तर), Jev सामग्री को पैमाने पर रखता है और पाँच फ़ील्ड लौटाता है।
✅ पाँच फ़ील्ड: score (प्रायिकता-भारित स्थिति, दो स्तरों के बीच भी आ सकती है), legend, probabilities, confidence, type।
✅ स्कोर कोड में ले जाएँ: सीमा पार होने पर क्रिया, क्रमबद्ध करना; confidence कम हो तो मानव हस्तक्षेप पर भेजें, ज़बरदस्ती स्वचालित निष्पादन न करें।
✅ जटिल निर्णयों को एक-आयामी Score में तोड़ें: सामान्यीकरण (÷ उच्चतम स्तर क्रमांक) के बाद भारित मिलान — यही संयुक्त स्कोरिंग पैटर्न है।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड | अनुशंसित लेखन शैली | विवरण |
|---|---|---|
type | "score" | निश्चित मान |
instructions | एक वाक्य में स्पष्ट करें कि क्या मापा जा रहा है | जैसे How severe is the reported issue? |
criteria | संदर्भ विवरण, निम्न से उच्च तक; अनुशंसित ≥ 2 स्तर, ऊपरी सीमा 10 स्तर | स्तर क्रमांक = सरणी अनुक्रमणिका, 0 से शुरू; एक प्रश्न में एक ही आयाम |
| उत्तर तक पहुँच | response.answers["id"].score | SDK में legend / probabilities पूर्णांक स्तर क्रमांक को कुंजी के रूप में |
Score का वास्तविक परिदृश्यों में उपयोग देखने के लिए: खोज और मिलान (Score से पुनः क्रमबद्ध करना, निकटतम स्तर तक पूर्णांकित करना); प्रश्न-प्रकारों के संयोजन से संदर्भ में जाने वाली सामग्री की जाँच के विचार के लिए RAG अनुच्छेद जाँच देखें।
अगले पाठ की झलक
वर्णक्रम के दूसरे छोर पर साफ़ हाँ-ना है: Noul हाँ/ना प्रश्न: 0 से 1 तक वास्तविक प्रायिकता पाएँ।
आप सीखेंगे:
noul, 0–1 की प्रायिकता है; उत्तर में अलग से कोई confidence नहीं होता- 0.5 समान संभावना (पचास-पचास) को दर्शाता है,「मध्यम स्तर」नहीं — स्तर इस पाठ के Score से मापें
- शुरुआती सीमाएँ: yes ≥ 0.7, no ≤ 0.3
- कब Score को Noul से बदलें, और कब दोनों प्रश्न एक साथ पूछें