सेल्फ-कंसिस्टेंसी: निर्धारण प्रणाली को「अनिश्चित」निकास दें
💡 एक वाक्य में सारांश: Jev से निर्धारण प्रणाली को「नहीं जानता」कहने का साहस रखने वाला निर्णय निकास दें —— दोहराए गए हेल्थ-चेक से लेबल बदलने वाले प्रश्न पकड़ें, top प्रायिकता पर सीमा लगाएं, बीच का पूरा क्षेत्र मानव को भेजें।
「सेल्फ-कंसिस्टेंसी (self-consistency)」एक ही बात पूछती है: वही कंटेंट, वही प्रश्न, दो बार पूछें, तो उत्तर एक जैसा होता है? आधिकारिक रूप से इसके लिए प्रयोगों का एक सेट किया गया (choices संस्करण, nouls संस्करण): एक ऐसी कम्युनिटी पोस्ट लेकर जो किसी ओर झुकती नहीं, 8 Choice निर्धारण प्रश्नों से 15 बार चलाया गया; फिर एक विवादित वाहन बीमा क्लेम फॉर्म लेकर 14 Noul प्रश्नों से 15 बार चलाया गया।
निष्कर्ष दो पहलूओं में है। स्थिर प्रश्न सचमुच स्थिर हैं: यह पोस्ट किसकी ओर इशारा करती है, गंभीरता कितनी है, 15 बार पूरी तरह संगत रहे। सीमावर्ती प्रश्न लेबल बदलते हैं: मुख्य जोखिम का एक प्रश्न Harassment और Violence के बीच 11:4 पर विभाजित हुआ——और जब लेबल बदला, प्रायिकता निम्न थी। इसलिए आधिकारिक समाधान डगमगाहट मिटाना नहीं, बल्कि प्रणाली को「अनिश्चित (uncertain)」निकास देना है: प्रायिकता पर्याप्त ऊँची न हो तो उत्तर अपने आप निष्पादित न करें, मानव को भेजें। यह पाठ लगभग 15 मिनट का है, और पूरे सेट को चलाना सिखाता है।
सीखने के बाद आप क्या कर सकेंगे
- 「अनिश्चित」निकास वाला कंटेंट निर्णय स्क्रिप्ट बनाएं: 4 Choice निर्धारण प्रश्न, top प्रायिकता 0.60 से नीचे होने पर अपने आप मानव को भेजें
- सेल्फ-कंसिस्टेंसी हेल्थ-चेक स्क्रिप्ट लिखें: वही कंटेंट नया uid लेकर 15 बार दोहराकर पूछें, गिनें कि कौन से प्रश्न लेबल बदलते हैं
- Noul हाँ-ना निर्णय को अनिश्चितता पट्टी दें: प्रायिकता 0.30–0.70 के बीच पड़े तो सब मानव को भेजें
- आधिकारिक प्रयोग की सीमाएँ समझें: 99.2%「संगति」है「सटीकता दर」नहीं, 25.8% का मानव-हस्तांतरण अनुपात समझौते के लिए दिया गया है
Jev क्यों, साधारण LLM दोहराव नमूनन क्यों नहीं?
| क्षमता | साधारण LLM दोहराव नमूनन | Jev |
|---|---|---|
| प्रायिकता कहाँ से आती है | मॉडल से प्रायिकता JSON में लिखवाकर पार्स करें, 0–1% पार्सिंग विफल, कोड फेंस भी हटानी पड़ती है | हर प्रश्न में probabilities वितरण अंतर्निहित, choice ही सर्वाधिक-प्रायिकता विकल्प है |
| अनिश्चित निकास | एकल-चयन मोड में केवल ठोस लेबल, अनिश्चितता अनुमान नहीं, कभी नहीं मना करता | top प्रायिकता 0.60 से कम हो तो uncertain दर्ज करें, शुद्ध कोड लॉजिक, कोई मॉडल कॉल नहीं |
| एक अनुरोध में कई प्रश्न | 8 प्रश्न एक ही prompt में भरे जाते हैं, एक प्रश्न का उत्तर दूसरे का संदर्भ बनता है | एक ही state का समानांतर, स्वतंत्र मूल्यांकन, प्रश्न जोड़ने से प्रतिक्रिया समय लगभग नहीं बढ़ता |
| निकास के बाद संगति दर | 84.2%–94.2% (Haiku t=0 पर 100%, पर वह कभी मना नहीं करता) | 99.2% (कीमत: 25.8% मानव-हस्तांतरण) |
| गति और लागत | प्रायिकता मोड लगभग 2–13 सेकंड, $0.002–$0.041 प्रति बार | 114ms, $0.000046 प्रति बार |
| प्रायिकता की विश्वसनीयता | प्रशिक्षण लक्ष्य टेक्स्ट जनन है, प्रायिकता की कैलिब्रेशन गारंटी नहीं | RLCD कैलिब्रेशन प्रशिक्षण: 0.2 चिह्नित घटनाएँ लगभग 20% घटित होती हैं |
सभी संख्याएँ आधिकारिक cookbook के एक ही स्थान वाले तुलना (2026-09-11 नमूनन) से हैं, LLM नियंत्रण समूह में claude-haiku-4-5, gpt-5.4-mini (t=0 और डिफ़ॉल्ट तापमान), gpt-5.5, claude-opus-4-8 शामिल हैं। निष्पक्षता के तीन बिंदु: शुल्क प्रयोग के समय की ऐतिहासिक कीमत धारणाएँ हैं, वर्तमान दरें नहीं, वर्तमान दरेंमॉडल और मूल्य में देखें; LLM समूह की विलंबता 16 थ्रेड समवर्तीता पर मापी गई, Jev समूह क्रमबद्ध मापा गया——फिर भी अंतर आदेश-परिमाण का है; कैलिब्रेशन पूर्वानुमानों के एक सेट की हिट दर बताता है (0.2 चिह्नित घटनाएँ लगभग 20% घटित होती हैं), किसी एक उत्तर की गारंटी नहीं।
एक सच और: आधिकारिक आँकड़ों में claude-haiku-4-5 की t=0 पर प्रायिकता उतार-चढ़ाव (0.0012) Jev (0.0098) से भी कम है, 15 बार पूरी तरह संगत। पर वह कभी मना नहीं करता——आपके पास कोई संकेत नहीं कि कब मानव को भेजना चाहिए। Jev का मूल्य「ज़्यादा स्थिर」नहीं, बल्कि「स्थिर है या नहीं दिखता है, निकास संभव है」है।
आपकी वर्तमान दुविधा
- 「वही रिपोर्ट की गई पोस्ट, एक दौर के निर्धारण में पारित, अगले दौर में हटा दी गई। उपयोगकर्ता स्क्रीनशॉट लेकर पूछता है: क्या आपके मानक पासे फेंकने जैसे हैं?」
- 「थ्रेशोल्ड 0.5 पर रखा गया, प्रायिकता 0.49 पर दावा अस्वीकार, 0.51 पर भुगतान——लेकिन ये दोनों संख्याएँ शुरू से ही एक ही बात कह रही हैं」
- 「3 बार वोटिंग चलाकर अलाइन करना चाहते हैं, एक 8 सवाल पूछने वाला prompt 2 से 13 सेकंड लेता है, पीक आवर में कतार सीधी जाम हो जाती है, और बार-बार JSON पार्सिंग फेल होती है」
इस तरकीब का उपयोग कब करें
जब आपको चाहिए:
- मॉडरेशन सिस्टम एक ही कंटेंट के लिए हर बार एक ही निर्णय दे
- बॉर्डरलाइन कंटेंट का स्पष्ट ठिकाना हो: ह्यूमन रिव्यू, न कि रैंडम दो में से एक
- प्रायिकता सीधे कोड ब्रांच चलाए, न कि मॉडल के थूके टेक्स्ट को फिर से पार्स करे
और नहीं चाहते:
- कीवर्ड रूल हार्डकोड करना, जिन्हें शब्दावली बदलने से आसानी से बायपास किया जा सके
- हर कंटेंट पर N बार वोटिंग चलाना——महँगा और धीमा भी, साथ ही नए पार्सिंग फेल्योर पॉइंट भी लाता है
- मॉडल के अनिश्चित होने पर उसे पोस्ट डिलीट या अकाउंट बैन जैसे अपरिवर्तनीय ऑपरेशन अपने आप चलाने देना
🎒 शुरू करने से पहले की तैयारी
- पूरा कर चुके हैं Noul हाँ-ना प्रश्न: पता है कि
noulएक 0–1 प्रायिकता है, कोई confidence फील्ड नहीं है, शुरुआती थ्रेशोल्ड yes ≥ 0.7 / no ≤ 0.3 - पूरा कर चुके हैं Confidence विश्वास स्तर: तीन स्तरों का उपयोग पता है——उच्च विश्वास पर ऑटो-एक्जीक्यूट, मध्यम पर कन्फर्म या फ्लैग, निम्न विश्वास पर ह्यूमन रिव्यू
- चला चुके हैंपहला रिक्वेस्ट:
.venvमेंtypesafe-sdkइंस्टॉल है,TYPESAFE_API_KEYएनवायरनमेंट वेरिएबल में है
मेरे साथ करें
चरण 1: मॉडरेशन rubric डिज़ाइन करें (4 Choice प्रश्नों से एक बॉर्डरलाइन पोस्ट साफ़ पूछें)
क्यों: एग्ज़िट कहाँ लगाना है और कहाँ नहीं, यह हर प्रश्न के उत्तर के रूप पर निर्भर करता है। ऑफिशियल 8 प्रश्नों वाले rubric में कुछ स्थिर हैं (target, severity, 15 बार पूरी तरह संगत), और कुछ पलटते हैं (primary_risk, link_handling)। हम पहले 4 प्रतिनिधि प्रश्न चुनते हैं, पूरा 15 मिनट में चला लेते हैं।
नई फ़ाइल moderation_uncertain.py बनाएँ, नीचे का कोड पेस्ट करें। पोस्ट ऑफिशियल cookbook का मूल बॉर्डरलाइन डेटा है: भाषा तीखी है, आधा व्यक्ति पर और आधा राय पर, बाहरी आमंत्रण लिंक के साथ, एक पिछला उल्लंघन, यूज़र रिपोर्ट 4 बार——इसका कोई एकमात्र सही उत्तर नहीं है, और यही बात है: छोटे शब्दावली अंतर से इसका निर्णय पथ रैंडम नहीं बदलना चाहिए।
# moderation_uncertain.py —— 给审核系统加「不确定」出口
# 依赖:pip install typesafe-sdk(Python 3.10+),环境变量里已有 TYPESAFE_API_KEY
from typesafe_sdk import Choice, TypeSafeClient
# 自动执行阈值:最高概率 >= 0.60 才动手,否则转人工。
# 官方原注释:illustrative automatic-action threshold(示例策略,不是标定保证)
MIN_CHOICE_PROBABILITY = 0.60
# ── 1. 边界帖子:官方 cookbook 原样数据 ──
POST = {
"post_id": "P-88213",
"author": {
"user_id": "u/4471",
"account_age_days": 38,
"prior_strikes": 1,
"followers": 210,
},
"context": {
"surface": "public reply",
"in_reply_to": "another user defending a game patch",
"community": "r/gamedebates",
},
"content": {
"text": (
"Are you seriously this dense? Anyone who defends that patch is a complete clown and "
"should be embarrassed to even post here. People like you are what's ruining this "
"community and honestly you need to be dealt with. Come say it to my face, invite's "
"right here. Keep it up and I'll end your whole channel."
),
"has_link": True,
"link_domain": "discord.gg",
"language": "en",
},
"reports": {"user_reports": 4, "report_reasons": ["harassment", "spam", "threat"]},
}
# ── 2. 审核题:从官方 8 问里挑 4 道 ──
# category 是临界题,primary_risk 是必转人工题,target / severity 是「稳」的对照
QUESTIONS = {
"category": Choice(
instructions="What is the single most applicable content-policy category for this post?",
criteria={
"None": "No policy violation of any kind.",
"Harass": "Insults or demeans a person, with no threat of harm and no protected-class attack.",
"Hate": "Attacks a person or group over a protected characteristic (race, religion, gender, ...).",
"Violence": "Makes a credible threat of harm or incites violence against someone.",
"Spam": "Unsolicited promotion or link spam, with no personal attack.",
"Sexual": "Sexual or adult content.",
},
),
"primary_risk": Choice(
instructions="What is the primary moderation risk that should drive triage for this post?",
criteria={
"Harassment": "Personal attack or targeted abuse is the main risk.",
"Violence": "A threat of harm or intimidation is the main risk.",
"LinkAbuse": "External-link or off-platform coordination risk is the main risk.",
"AccountHistory": "Prior account history or repeat behavior is the main risk.",
"LowRisk": "No meaningful moderation risk is present.",
},
),
"target": Choice(
instructions="Who or what is the content primarily directed at?",
criteria={
"None": "Not directed at anyone in particular.",
"Person": "Directed at one specific individual.",
"Group": "Directed at a protected group or class.",
"Platform": "Directed at the community or platform itself, not a person.",
},
),
"severity": Choice(
instructions="What is the overall severity of this post?",
criteria={
"None": "No violation.",
"Low": "Rude or dismissive, but essentially harmless.",
"Medium": "Personal harassment with no clearly credible threat.",
"High": "Harassment together with a threat that could be read as credible.",
},
),
}
# ── 3. 客户端:自动读环境变量 TYPESAFE_API_KEY,默认走官方端点 ──
client = TypeSafeClient(model="jev-latest")instructions और विकल्प विवरण ऑफिशियल cookbook से अक्षरशः हैं। हर प्रश्न के विकल्प परस्पर अनन्य हैं और मुख्य स्थितियाँ कवर करते हैं——प्रश्न id (category वगैरह) मॉडल को नहीं भेजे जाते, पूरे प्रश्न instructions में हैं, यही ऑफिशियल rubric की लिखाई का तरीका है।
चरण 2: एक ही रिक्वेस्ट में 4 प्रश्न पूछें, top प्रायिकता से तय करें「एक्जीक्यूट या ह्यूमन रिव्यू」
क्यों: एक ही state के सभी प्रश्न एक साथ भेजे जाते हैं, Jev हर प्रश्न का समानांतर, स्वतंत्र मूल्यांकन करता है——प्रश्न जोड़ने से रिस्पॉन्स टाइम लगभग नहीं बढ़ता, बस कुछ टोकन ज़्यादा खर्च होते हैं। यही इसकी「एक prompt में 8 सवाल ठूँसने」से मौलिक भिन्नता है: एक प्रश्न का उत्तर दूसरे प्रश्न का संदर्भ नहीं बनता। ऊपर के कोड के आगे लिखें:
# ── 4. 出口判定:top 概率 >= 0.60 → 自动执行;否则 uncertain → 转人工 ──
# answer.choice 本身就是最高概率选项,answer.probabilities 是完整概率分布
def choice_decision_with_uncertainty(answer) -> str:
p_max = max(answer.probabilities.values())
return answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"
def run_once() -> None:
response = client.system_one(
state={"post": POST},
questions=QUESTIONS,
)
for key in QUESTIONS:
answer = response.answers[key]
p_max = max(answer.probabilities.values())
decision = choice_decision_with_uncertainty(answer)
if decision == "uncertain":
print(f"{key:<13} uncertain(p_max={p_max:.2f})→ 转人工")
# 换成你的转人工逻辑,比如 create_review_ticket(POST, key)
else:
print(f"{key:<13} {decision}(p_max={p_max:.2f})→ 自动执行")
# 换成你的执行逻辑,比如 enforce(POST, key, decision)
if __name__ == "__main__":
run_once()चलाएँ:
.venv/bin/python moderation_uncertain.pyआपको दिखना चाहिए(सैंपल आउटपुट——लेबल की दिशा ऑफिशियल वास्तविक परीक्षण से मेल खाती है, प्रायिकता संख्याएँ हर बार थोड़ी भिन्न होंगी):
category Violence (p_max=0.63) → ऑटो-एक्जीक्यूट
primary_risk uncertain (p_max=0.55) → ह्यूमन रिव्यू
target Person (p_max=0.97) → ऑटो-एक्जीक्यूट
severity High (p_max=0.91) → ऑटो-एक्जीक्यूटtarget और severity की प्रायिकता ऊँची, सीधे एक्जीक्यूट; primary_risk की प्रायिकता 0.60 पार नहीं करती, एग्ज़िट ने पकड़ लिया——ऑफिशियल 15 बार के वास्तविक परीक्षण में, इस प्रश्न की अधिकतम प्रायिकता हर बार 0.60 से नीचे रही। साथ ही: response.answers["category"] और response.choices["category"] एक ही उत्तर ऑब्जेक्ट की ओर इशारा करते हैं, इस पेज पर एकरूपता से answers उपयोग किया गया है, ऑफिशियल cookbook के अनुरूप।
💡 यही Jev का अनूठा मूल्य है
एग्ज़िट निर्णय में लौटाए गए probabilities का उपयोग होता है, API के अलग confidence फील्ड का नहीं, और मॉडल कॉल की भी कोई अतिरिक्त ज़रूरत नहीं। साधारण LLM को यही काम करने के लिए पहले मॉडल से प्रायिकता「कहलवाकर」टेक्स्ट में पार्स करना पड़ता है, ऑफिशियल प्रयोग में LLM ग्रुप की पार्सिंग फेल्योर दर 0–1% रही। प्रश्न जोड़ने पर रिक्वेस्ट नहीं बढ़ती, एग्ज़िट जोड़ने पर कॉल नहीं बढ़ती——ये दोनों「न बढ़ने」टाइप्ड प्रायिकता से सीधे मिलते हैं। समानांतर प्रश्नों का पूरा विस्तारसमानांतर प्रश्न और स्पेक्युलेटिव फैन-आउट पाठ में देखें।
💡 चीनी कंटेंट का ध्यान रखें
ऑफिशियल कथन: अंग्रेज़ी मुख्य ट्रेनिंग भाषा है, चीनी सहित अन्य भाषाएँ चलती हैं पर सटीकता कम होती है। चीनी मॉडरेशन सीनेरियो को लाइव करने से पहले, अपने असली डेटा का एक बैच चलाएँ, confidence और प्रायिकता वितरण पर ध्यान दें, फिर थ्रेशोल्ड तय करें।
- मुझे 4 पंक्तियों का निर्णय मिला, जिनमें से कम से कम एक पंक्ति uncertain है (अगर 4 पंक्तियाँ सभी ऑटो-एक्जीक्यूट हैं, तो पोस्ट को अपने बिज़नेस के ज़्यादा बॉर्डरलाइन सैंपल से बदलकर फिर चलाएँ)
चरण 3: 15 बार दोहराएँ, Jev सेल्फ-कंसिस्टेंसी चेकअप करें
क्यों: एग्ज़िट कहाँ लगाना है, यह अंदाज़े से नहीं तय होना चाहिए। ऑफिशियल तरीका है एक ही कंटेंट, एक ही प्रश्न-सेट जस का तस 15 बार दोहराकर पूछना, और देखना कि किन प्रश्नों के लेबल पलटते हैं——पलटने वाले प्रश्न को या तो एग्ज़िट दें, या फिर से लिखें। हर कॉल state में एक नया uid (एक बार का रैंडम मान) डालती है: पोस्ट और प्रश्न अक्षरशः अपरिवर्तित, केवल यह अप्रासंगिक फील्ड बदला जाता है, ताकि हर कॉल स्वतंत्र सैंपलिंग हो।
नई फ़ाइल consistency_probe.py बनाएँ (पिछली फ़ाइल की परिभाषाएँ पुनः उपयोग करते हुए——run_once को __main__ सुरक्षित रखता है, import से फिर रिक्वेस्ट नहीं जाएगी):
# consistency_probe.py —— 自一致性体检:同一条帖子重复问 15 次
from collections import Counter
from secrets import token_hex
from moderation_uncertain import (
MIN_CHOICE_PROBABILITY,
POST,
QUESTIONS,
client,
)
NUM_SAMPLES = 15 # 官方实验的重复次数
raw_counts = {key: Counter() for key in QUESTIONS} # 每次调用的原始最高概率标签
decision_counts = {key: Counter() for key in QUESTIONS} # 加 0.60 出口后的应用决策
for sample_index in range(NUM_SAMPLES):
# 帖子与题目一字不改,只换 state 里的一次性 uid —— 让每次调用都是独立抽样
response = client.system_one(
state={"uid": f"{sample_index}:{token_hex(4)}", "post": POST},
questions=QUESTIONS,
)
for key in QUESTIONS:
answer = response.answers[key]
p_max = max(answer.probabilities.values())
raw_counts[key][answer.choice] += 1
decision = answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"
decision_counts[key][decision] += 1
print(f"requested: jev-latest, returned: {response.model}")
for key in QUESTIONS:
raw = dict(raw_counts[key])
decisions = dict(decision_counts[key])
status = "标签翻转!" if len(raw) > 1 else "标签稳定"
print(f"{key:<13} 原始标签 {raw} 应用决策 {decisions} {status}")चलाएँ:
.venv/bin/python consistency_probe.pyआपको दिखना चाहिए(एक सैंपल रन; सटीक गिनती हर बार भिन्न। ऑफिशियल 8 प्रश्नों वाले संस्करण के वास्तविक परीक्षण: primary_risk, Harassment 11 बार / Violence 4 बार के बीच विभाजित, target 15 बार सभी Person, severity 15 बार सभी High, category का अनुप्रयोग निर्णय Violence और uncertain के बीच झूलता है):
requested: jev-latest, returned: jev-1.14.0
category मूल लेबल {'Violence': 15} अनुप्रयोग निर्णय {'Violence': 12, 'uncertain': 3} लेबल स्थिर
primary_risk मूल लेबल {'Harassment': 11, 'Violence': 4} अनुप्रयोग निर्णय {'uncertain': 15} लेबल पलटा!
target मूल लेबल {'Person': 15} अनुप्रयोग निर्णय {'Person': 15} लेबल स्थिर
severity मूल लेबल {'High': 15} अनुप्रयोग निर्णय {'High': 15} लेबल स्थिरतीन बातें नज़र में रखने लायक हैं:
- मूल लेबल पलटते हैं या नहीं:
primary_riskका मूल लेबल दो लेबलों के बीच विभाजित है——एग्ज़िट न लगाएँ तो एक ही पोस्ट अलग-अलग कतारों में रूट होगी, यही मॉडरेशन सिस्टम के「पासा फेंकने」की जड़ है। - क्या एग्ज़िट ने इसे पकड़ा: 0.60 एग्ज़िट जोड़ने के बाद, यह प्रश्न सभी 15 बार uncertain हो गया——अब दो ठोस लेबल आपस में नहीं लड़ते, बल्कि सब एकसाथ मानव-हस्तक्षेप को चले जाते हैं।
- वापस लौटाया गया मॉडल संस्करण: आधिकारिक प्रयोग का सैंपलिंग 2026-09-11 से था, तब
jev-latest,jev-1.13.0पर रिज़ॉल्व होता था; आज उस एलियास ने नए संस्करण की ओर इशारा कर दिया है, इसलिए आपको दिखने वाली गिनती अलग होगी——यह असफलता नहीं, बल्कि सामान्य स्थिति है।response.modelहर जवाब को संस्करण-सत्यापन योग्य बनाता है; जिन सिस्टम में थ्रेशोल्ड ट्यून किया गया हो, उनके लिए आधिकारिक सलाह एलियास की जगह संस्करण ID लॉक करने की है।
uid एक हेल्थ-चेक उपकरण है, API पैरामीटर नहीं——यह state का एक साधारण फ़ील्ड है। आधिकारिक रूप से यह भी चेतावनी दी गई है: यह सेटअप «मॉडल इस अप्रासंगिक फ़ील्ड के प्रति संवेदनशील है» और «एक ही अनुरोध का अंतर्निहित उतार-चढ़ाव» को अलग नहीं कर सकता, इसलिए uid को प्रोडक्शन कॉल में मत लाइए।
चरण 4: हेल्थ-चेक परिणामों से एग्ज़िट रणनीति तय करें
क्यों: हेल्थ-चेक का मकसद कोई स्कोर लेना नहीं, बल्कि प्रश्नों को दो वर्गों में बाँटना है——स्थिर प्रश्न सीधे ऑटो-एग्ज़ीक्यूट कराकर मेहनत बचाइए, और जो प्रश्न पलट सकते हैं उन्हीं को एग्ज़िट या रीराइट चाहिए। आधिकारिक 8-प्रश्न संस्करण का पूरा डेटा सीधे देखा जा सकता है:
| मीट्रिक | मान | अर्थ |
|---|---|---|
| मूल संगति-दर | 90.8% | एग्ज़िट के बिना, हर प्रश्न में सबसे बार-बार आने वाले लेबल के अनुपात का औसत |
| एग्ज़िट के बाद संगति-दर | 99.2% | top प्रायिकता 0.60 से कम होने पर uncertain मानने के बाद की संगति-दर |
| मानव-हस्तक्षेप का अनुपात | 25.8% | 8 प्रश्न × 15 बार में, एग्ज़िट द्वारा पकड़ा गया अनुपात |
| ऑटो-एग्ज़ीक्यूशन का अनुपात | 74.2% | प्रायिकता 0.60 पार कर जाने पर सीधे कार्रवाई का अनुपात |
मुख्य बात: एग्ज़िट ने «दो ठोस लेबलों की लड़ाई» को «सबका एकसाथ मानव-हस्तक्षेप» बना दिया। आधिकारिक टेस्ट में, एग्ज़िट जोड़ने के बाद एक भी प्रश्न अलग-अलग दोहरावों में दो अलग ठोस लेबल नहीं देता (conflicts = 0)——जिन प्रश्नों का मूल लेबल पलटता था, वे सब एग्ज़िट में पकड़े गए। इसकी कीमत है कि चौथाई जवाब मानव कतार में जाते हैं; यह अनुपात वाजिब है या नहीं, यह आपके अपने बिज़नेस की «गलत ऑटो-एग्ज़ीक्यूशन की कीमत» और «एक आइटम मानव द्वारा देखने की कीमत» से आँकना होगा।
आपको यह दिखना चाहिए: आपका अपना rubric दो समूहों में बँट गया——जिन प्रश्नों का मूल लेबल 15 बार नहीं बदला (सीधे ऑटो-एग्ज़ीक्यूट करें), और जो पलटते हैं या बार-बार पकड़े जाते हैं (एग्ज़िट जोड़ें, या वापस जाकर प्रश्न रीराइट करें)।
- मैं अपने rubric के किन प्रश्नों को एग्ज़िट चाहिए और किन्हें सीधे ऑटो-एग्ज़ीक्यूट किया जा सकता है, यह बता सकता हूँ
चरण 5: Noul हाँ-ना प्रश्नों में अनिश्चितता-बैंड जोड़ें (0.30–0.70 मानव-हस्तक्षेप)
क्यों: हाँ-ना प्रश्नों में कई विकल्पों का वितरण नहीं होता, 0.5 के दोनों ओर बस दो कार्रवाइयाँ हैं। आधिकारिक noul cookbook के क्लेम उदाहरण में, «नुकसान कवर में है या नहीं» प्रश्न की प्रायिकता 15 बार 0.43–0.53 के बीच झूलती रही——0.49 क्लेम अस्वीकार, 0.51 भुगतान, कार्रवाइयाँ पूरी तरह उलट हैं, जबकि दोनों असल में एक ही बात हैं। समाधान है थ्रेशोल्ड को एक अनिश्चितता-बैंड में बदलना: 0.30 से कम हो तो no, 0.30 से 0.70 (दोनों सिरे शामिल) हो तो uncertain मानकर मानव-हस्तक्षेप, और 0.70 से ऊपर ही yes माना जाए। यह उसी सेट के मुताबिक है जो Noul पाठ का शुरुआती थ्रेशोल्ड है (yes ≥ 0.7, no ≤ 0.3)।
नई फ़ाइल बनाएँ noul_uncertain.py:
# noul_uncertain.py —— Noul 版出口:0.30–0.70 闭区间 → uncertain 转人工
from typesafe_sdk import Noul
from moderation_uncertain import POST, client
# 两个边界值逐字来自官方 noul cookbook
NOUL_UNCERTAINTY_LOW = 0.30
NOUL_UNCERTAINTY_HIGH = 0.70
def noul_decision_with_uncertainty(probability: float) -> str:
"""把 noul 概率映射成三段决策;0.30–0.70(含两端)算 uncertain。"""
if probability < NOUL_UNCERTAINTY_LOW:
return "no"
if probability > NOUL_UNCERTAINTY_HIGH:
return "yes"
return "uncertain"
# 问句方向要正:yes = 命中你要检查的事
NOUL_QUESTIONS = {
"threat": Noul(
instructions="Does the post make a credible threat of harm against a person?"
),
"targeted_insult": Noul(
instructions="Does the post insult or demean a specific person?"
),
}
response = client.system_one(
state={"post": POST},
questions=NOUL_QUESTIONS,
)
for key in NOUL_QUESTIONS:
probability = response.answers[key].noul
decision = noul_decision_with_uncertainty(probability)
if decision == "uncertain":
# 转人工是纯应用层逻辑:不加问题、不加第二次 API 调用(官方原话)
print(f"{key:<15} noul={probability:.2f} → uncertain,转人工")
else:
print(f"{key:<15} noul={probability:.2f} → {decision},自动执行")चलाएँ:
.venv/bin/python noul_uncertain.pyआपको यह दिखना चाहिए(उदाहरण आउटपुट):
threat noul=0.48 → uncertain,转人工
targeted_insult noul=0.93 → yes,自动执行threat का 0.48 इसी पोस्ट की तस्वीर है——धमकी वाली भाषा कभी साफ़ नहीं कही गई, मॉडल किसी पक्ष पर नहीं खड़ा हुआ, और एग्ज़िट ने उसे मानव कतार में भेज दिया। आधिकारिक दो चेतावनियाँ जस की तस आपके लिए: पहली, इस बैंड का भी किनारा है, 0.71 और 0.69 yes और uncertain के बीच झूलेंगे, बैंड जोड़ने का मतलब मॉडल का निश्चित हो जाना नहीं; दूसरी, 0.30/0.70 भी बस उदाहरण मान हैं, प्रोडक्शन की सीमाएँ अपने एनोटेट किए डेटा से, «गलत निर्णय की कीमत» और «मानव समीक्षा की कीमत» को मिलाकर तय करनी होंगी।
📋 मैजिक Prompt
इस पृष्ठ का «Prompt» API के लिए एक प्रश्न टेम्पलेट है——इसे कॉपी करके 【】 प्लेसहोल्डर बदल लें (? वाले वैकल्पिक हैं), और इस्तेमाल कर सकते हैं।
📝 कंटेंट मॉडरेशन rubric (Choice संस्करण)
अपेक्षित परिणाम: किसी कम्युनिटी/प्लेटफ़ॉर्म के मॉडरेशन मानकों को परस्पर अनन्य Choice प्रश्नों में तोड़ें, एक ही अनुरोध में समानांतर मूल्यांकन करें, हर प्रश्न के साथ प्रायिकता मिले, और सीधे 0.60 एग्ज़िट से जोड़ें।
from typesafe_sdk import Choice
# 必填项:【】里换成你平台的真实规则
MODERATION_QUESTIONS = {
"category": Choice(
instructions="【一句话问题:这条内容最适用哪条平台政策?】",
criteria={
"【选项 A】": "【什么情形算 A——写成可对照的情境,不写「轻微」「严重」这类程度词】",
"【选项 B】": "【什么情形算 B】",
"【选项 C】": "【什么情形算 C】",
"other": "【以上都不是、但确实需要有人看的情形?】",
},
),
"action": Choice(
instructions="【这条内容该做什么处置?】",
criteria={
"Allow": "【放行,不动作】",
"Warn": "【放行但挂警示标签】",
"Remove": "【删除内容,不动账号】",
"Escalate": "【不自动处置,等人工判断】",
},
),
"severity": Choice(
instructions="【整体严重程度如何?每级写成情境】",
criteria={
"None": "【没有违规的情形】",
"Low": "【粗鲁但基本无害的情形】",
"Medium": "【人身攻击、但无明确可信威胁的情形】",
"High": "【攻击伴随可信威胁的情形】",
},
),
# 选填项:链接处置、目标对象、队列路由——官方 8 问都是现成参考?
}
# 输出规范:response.answers["category"].choice / .probabilities / .confidence
# 约束条件:
# ✅ 一道题只测一个维度;选项互斥、并集覆盖常见情形
# ✅ 每个选项描述写成「可对照的情境」,和 state 里的内容对得上
# ❌ 不要把「uncertain」做成一个选项——出口是代码层的,不是模型标签
# ❌ 不要在 instructions 里塞数字量表——测程度是 Score 的活✅ हाँ-ना क्यूसी चेकलिस्ट (Noul संस्करण)
अपेक्षित परिणाम: मॉडरेशन की लाल रेखाओं को हाँ-ना प्रश्नों की श्रृंखला में तोड़ें, हर प्रश्न को 0–1 प्रायिकता मिले; 0.30–0.70 बैंड के भीतर सब मानव-हस्तक्षेप में जाएँ, दोनों ओर ऑटो-एग्ज़ीक्यूट हों।
from typesafe_sdk import Noul, NoulCriteria
# 必填项:每句都问「是否命中要查的事」,yes 就是命中
NOUL_QUESTIONS = {
"threat": Noul(
instructions="【内容是否对具体的人发出可信的伤害威胁?】"
),
"doxxing": Noul(
instructions="【内容是否泄露他人未公开的个人信息(住址、电话、证件号)?】"
),
"spam": Noul(
instructions="【内容是否为未经请求的推广或引流?】",
# 选填项:边界模糊的题加 criteria,把 yes/no 的定义钉死?
# criteria=NoulCriteria(
# true="【什么算命中】",
# false="【什么算不命中】",
# ),
),
# 选填项:往清单里加题不影响请求结构,Jev 对每题并行独立评估?
}
# 输出规范:response.answers["threat"].noul → 0–1 概率,没有 confidence
# 约束条件:
# ✅ 问句方向要正:yes = 命中要检查的事
# ✅ 「多严重」这类程度问题交给 Score 题,别硬塞给 Noul
# ❌ 不要拿 0.5 当硬阈值——0.49 和 0.51 会触发相反动作🔧 सेल्फ-कंसिस्टेंसी हेल्थ-चेक स्क्रिप्ट
अपेक्षित परिणाम: सीमावर्ती सैंपलों के एक बैच पर वही rubric बार-बार चलाकर हर प्रश्न के लेबल-पलटने के आँकड़े निकालें——लॉन्च से पहले वे प्रश्न ढूँढें जिन्हें एग्ज़िट या रीराइट चाहिए।
from collections import Counter
from secrets import token_hex
# 必填项:【】里换成你的体检参数
NUM_SAMPLES = 【重复次数,官方用 15】
SAMPLES = 【你的边界样本列表:挑真实业务里最难判的 10–30 条】
flip_report = []
for sample_index, sample in enumerate(SAMPLES):
raw_counts = {key: Counter() for key in QUESTIONS} # QUESTIONS 用上面两个模板之一
for i in range(NUM_SAMPLES):
response = client.system_one(
model="【jev-latest,或锁定的版本 ID】",
state={"uid": f"{i}:{token_hex(4)}", "post": sample},
questions=QUESTIONS,
)
for key in QUESTIONS:
raw_counts[key][response.answers[key].choice] += 1
flip_report.append({
"sample_index": sample_index,
"labels": {key: dict(counts) for key, counts in raw_counts.items()},
})
# 输出规范:每条样本 × 每道题的标签计数;出现超过 1 个标签 = 该题对该样本会翻
# 约束条件:
# ✅ 每次调用换新 uid,样本与题目一字不改
# ✅ 体检结果只用于「改问题、定出口」,别当准确率宣传
# ❌ 别把 uid 带进生产调用——它是实验装置चेकपॉइंट ✅
moderation_uncertain.pyसे 4 पंक्तियों का निर्णय निकला, प्रायिकता 0.60 पार न करने वाले प्रश्न uncertain मार्क हुएconsistency_probe.pyमें मैंने हर कॉल में नया uid इस्तेमाल किया, पोस्ट और प्रश्न एक अक्षर भी नहीं बदले- मुझे पता है कि 0.60 और 0.30/0.70 दोनों आधिकारिक उदाहरण थ्रेशोल्ड (illustrative) हैं, प्रोडक्शन थ्रेशोल्ड एनोटेट किए डेटा से खुद तय करने होंगे
- मुझे पता है कि आधिकारिक प्रयोग ने «स्थिरता» टेस्ट की, «सही होना» नहीं——99.2% संगति-दर है, सटीकता-दर नहीं
- मानव-हस्तक्षेप कतार में मूल प्रायिकता दिखती है, सिर्फ़ एक uncertain लेबल नहीं
सावधानियाँ
❌ temperature 0 को मुक्ति-पत्र समझना
आधिकारिक डेटा: t=0 वाला LLM भी झूलता है——gpt-5.4-mini के t=0 पर मूल संगति-दर 99.2% थी, लेकिन एग्ज़िट जोड़ने के बाद रणनीति की संगति-दर गिरकर 87.5% रह गई (12.5% जवाब uncertain मार्क हुए, निर्णय लेबल और uncertain के बीच डोलते रहे); claude-haiku-4-5 की डिफ़ॉल्ट तापमान पर मूल संगति-दर सिर्फ़ 87.5% है। और भी चुभने वाली बात वह उलटा उदाहरण है: Haiku के t=0 पर प्रायिकता-उतार-चढ़ाव सबसे कम था, 15 बार पूरी संगति, लेकिन आधिकारिक रूप से चार्ट में खास नोट किया गया——«100% दोहराव योग्य होना सही होना नहीं है, यह प्रयोग सटीकता नहीं मापता»।स्थिर ≠ सही।
❌ uncertain को मॉडल आउटपुट का चौथा विकल्प समझना
uncertain आपके कोड की प्रायिकता के आधार पर की गई श्रेणी-बाँट है, मॉडल से लौटाया गया लेबल नहीं। दो ठेठ गलतियाँ: पहली, इसे Choice का एक विकल्प बनाकर मॉडल से «uncertain चुनने» को कहना——आधिकारिक तरीका कोड में top प्रायिकता की तुलना है; दूसरी, यह सोचना कि एग्ज़िट जोड़ते ही मॉडल निश्चित हो गया——प्रायिकता 0.60 से चिपकी हो तो वही प्रश्न फिर भी ठोस लेबल और uncertain के बीच झूलेगा (आधिकारिक मूल शब्द: यह रणनीति मॉडल को नियतिवादी नहीं बनाती)। एग्ज़िट से मिलती चीज़ निश्चितता नहीं, बल्कि «अनिश्चित जवाबों को एक निश्चित जगह मिलना» है।
❌ हर जगह confidence थ्रेशोल्ड सेट करना
आधिकारिक agent-skill की सामान्य समस्याओं की सूची में यह बिंदु है: अगर आपको सिर्फ़ «सबसे अच्छा चुनना» चाहिए, तो सीधे सबसे अधिक संभावना वाला विकल्प ले लें, हर जगह confidence थ्रेशोल्ड सेट करने की ज़रूरत नहीं; जब सांख्यिकीय एल्गोरिदम की ज़रूरत हो तब probabilities का उपयोग करें। इस पेज का एग्ज़िट जानबूझकर top संभावना का उपयोग करता है, confidence फ़ील्ड का नहीं—यह पढ़ने में सबसे सीधा लगता है («पहले नंबर वाले की संभावना कितनी है»), और थ्रेशोल्ड को विकल्पों की संख्या के अनुसार प्रति-प्रश्न सेट किया जा सकता है। दो सिग्नल में से कैसे चुनें, यह देखें Confidence कॉन्फ़िडेंस।
❌ सैंपल थ्रेशोल्ड सीधे प्रोडक्शन पर लगाना
0.60 और 0.30/0.70 आधिकारिक cookbook की सैंपल स्ट्रैटेजी हैं: ये कैलिब्रेटेड वैल्यू नहीं हैं, और न ही इन्हें एक्सपेरिमेंट के नंबर अच्छे दिखाने के लिए ट्यून किया गया है। आधिकारिक सलाह है कि अपने स्वयं के एनोटेटेड सैंपलों के साथ, «गलत एक्शन की कीमत» और «मैनुअल समीक्षा की कीमत» के बीच संतुलन खोजें। साथ ही एलियासेस नए वर्ज़न के साथ ड्रिफ्ट हो सकते हैं—आधिकारिक शब्दों में, जिन रिक्वेस्ट में थ्रेशोल्ड ट्यून किए गए हैं वे वर्ज़न ID लॉक कर दें; response.model फ़ील्ड लॉग में हर जवाब का वर्ज़न ट्रेस करने योग्य बनाता है। Jev के और फ़ेलियर मोड्स (शाब्दिक अर्थ लेना, गिनती अविश्वसनीय होना, तारीख़ों की तुलना) देखें Jev 1.13 जाल से बचने की मैनुअल।
एडवांस्ड टिप्स (वैकल्पिक)
सिर्फ़ उन प्रश्नों पर एग्ज़िट लगाएं जो पलट सकते हैं। हेल्थ-चेक पूरा होने पर आपको दो तरह के प्रश्न मिलते हैं: 15 बार पूरी तरह सुसंगत (target, severity) और पलटने वाले (primary_risk)। पहले वाले सीधे ऑटोमेटिक चलाएं और मानव-श्रम बचाएं, दूसरों को ही एग्ज़िट चाहिए। सभी प्रश्नों पर बिना भेद के एग्ज़िट लगाने से 25.8% जैसा मैनुअल-ट्रांसफ़र अनुपात बेवजह बढ़ जाएगा—हेल्थ-चेक का नतीजा यही है कि आप अपना मैनुअल बजट उन प्रश्नों पर खर्च करें जो सच में पलट सकते हैं।
एग्ज़िट को दूसरे सिग्नल से ट्यून करें। top संभावना के अलावा, आधिकारिक रूप से वैकल्पिक मेट्रिक्स भी सूचीबद्ध हैं: पहले और दूसरे स्थान की संभावना का अनुपात (p_max / p_second, «दो प्रबल प्रतिद्वंद्वी» वाले प्रश्नों के लिए उपयुक्त), और Noul का |2p − 1| (हाँ-ना प्रश्न की संभावना को Choice confidence के उसी 0–1 स्केल पर लाता है, आपका गेटिंग कोड एकजुट रहता है)। फ़ॉर्मूला और ट्रेड-ऑफ़ देखें Confidence कॉन्फ़िडेंस।
बिना कोड पहले आज़माएं। कंसोल Playground (https://console.typesafe.ai/playground) में state पेस्ट करें, प्रश्न जोड़ें और अनुभव करें; आधिकारिक cookbook पेज पर इस पोस्ट और उस क्लेम-रसीद का तैयार शेयर लिंक भी है, खोलते ही वही state + प्रश्न मिलता है।
इस पाठ का सारांश
✅ Jev सेल्फ़-कंसिस्टेंसी हेल्थ-चेक: एक ही कंटेंट, एक ही प्रश्न-सेट, नया uid लेकर 15 बार दोहराकर पूछें, और गिनें कि कौन से प्रश्न लेबल पलटते हैं।
✅ Choice एग्ज़िट: top संभावना ≥ 0.60 हो तो ऑटोमेटिक चलाएं, 0.60 से कम हो तो uncertain दर्ज करके मैनुअल-ट्रांसफ़र करें—लौटाई गई probabilities से, confidence फ़ील्ड से नहीं, बिना कोई मॉडल कॉल जोड़े।
✅ Noul एग्ज़िट: 0.30 से नीचे को no मानें, 0.30–0.70 (दोनों सिरे शामिल) को मैनुअल-ट्रांसफ़र, और 0.70 से ऊपर ही yes मानें।
✅ आधिकारिक मापन: एग्ज़िट ने Jev की निर्णय-संगति दर 90.8% से 99.2% तक बढ़ाई, कीमत चुकाई 25.8% जवाबों का मैनुअल-ट्रांसफ़र; एक्सपेरिमेंट में स्थिरता मापी गई, सही होना नहीं।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड | इस पेज की वैल्यू | विवरण |
|---|---|---|
MIN_CHOICE_PROBABILITY | 0.60 | सैंपल थ्रेशोल्ड; ठीक 0.60 होने पर लेबल लिया जाता है |
NOUL_UNCERTAINTY_LOW / HIGH | 0.30 / 0.70 | बंद अंतराल, दोनों सिरे uncertain माने जाते हैं |
NUM_SAMPLES | 15 | हेल्थ-चेक दोहराव की संख्या, आधिकारिक एक्सपेरिमेंट वैल्यू |
uid | f"{i}:{token_hex(4)}" | state में एक बार इस्तेमाल होने वाला फ़ील्ड, केवल एक्सपेरिमेंट के लिए |
| निर्णय इनपुट | answer.choice / answer.probabilities / answer.noul | यानी सबसे अधिक संभावना वाला विकल्प choice |
संबंधित ट्यूटोरियल:
- 75 वर्ग की इंडस्ट्री क्लासिफ़िकेशन: कॉन्फ़िडेंस कम हो तो बड़ी क्लास में रिपोर्ट करें — वही «पक्का न हो तो एस्केलेट करो» वाला ट्राइएज विचार, इंडस्ट्री क्लासिफ़िकेशन पर लागू
- लाइव चैट फ़िल्टरिंग: गाली-गलौज, स्पॉइलर, स्पैम एक साथ रोकें — हर मैसेज 1 रिक्वेस्ट 3 प्रश्न, कोड रूल्स तय करते हैं कि क्या दिखाना है
- स्मार्ट राउटिंग: इंटेंट क्लासिफ़िकेशन में कॉन्फ़िडेंस गेटिंग — कॉन्फ़िडेंस गेटिंग का पूरा वर्कफ़्लो विस्तार से
अगले पाठ की झलक
जब समीक्षा का विषय LLM ऐप खुद हो, तो सुरक्षा-जांच और भी पूरी होनी चाहिए: LLM गार्डरेल: इनपुट-आउटपुट की पूरी सुरक्षा-जांच।
आप सीखेंगे:
- एक TypeSafe रिक्वेस्ट से, LLM ऐप में आने-जाने वाले हर मैसेज की पूरी सुरक्षा-जांच करना
- Noul प्रश्न-समूह से हर रिस्क की संभावना पाना, Score प्रश्न से किए गए नुक़सान की डिग्री आँकना
- आपके सेट किए थ्रेशोल्ड के अनुसार मैसेज को बाँटना: पास करें, मैनुअल-ट्रांसफ़र, सीधे ब्लॉक, सपोर्ट टीम को भेजें
- इस पेज जैसा ही विचार—संभावना + थ्रेशोल्ड से बँटवारा, बस इस बार रोके जा रहे हैं जेलब्रेक और हानिकारक रिक्वेस्ट