Skip to content

الاتساق الذاتي: إضافة مخرج «غير مؤكد» لنظام الإشراف ​

💡 خلاصة بجملة واحدة: استخدم Jev لبناء مخرج قرار «يجرؤ على قول لا أعرف» لنظام الإشراف — فحص متكرر لمعرفة الأسئلة التي تنقلب، وعتبة على الاحتمال الأعلى، والمنطقة الوسطى كلها تُحوَّل إلى مراجعة بشرية.

«الاتساق الذاتي (self-consistency)» يسأل عن أمر واحد: نفس المحتوى، ونفس مجموعة الأسئلة، تُسأل مرتين، فهل الإجابة واحدة؟ أجرت الجهة الرسمية لذلك مجموعة تجارب (نسخة choices، ونسخة nouls): أخذوا منشورًا مجتمعيًا لا ينحاز لأي طرف، وشغّلوا 8 أسئلة Choice للإشراف 15 مرة؛ ثم أخذوا مطالبة تأمين سيارات مثيرة للجدل، وشغّلوا 14 سؤال Noul 15 مرة.

النتيجة على وجهين. الأسئلة المستقرة مستقرة فعلًا: من يشير إليه هذا المنشور، وما درجة الخطورة، كانت متطابقة في كل الـ 15 مرة. الأسئلة الحدودية تنقلب: سؤال المخاطرة الرئيسي انقسم بين Harassment وViolence بنسبة 11:4 — وعند الانقلاب كانت الاحتمالات منخفضة. لذلك فالحل الرسمي ليس القضاء على التذبذب، بل إضافة مخرج «غير مؤكد (uncertain)» للنظام: الإجابة التي احتمالها ليس مرتفعًا بما يكفي، لا تُنفَّذ تلقائيًا، بل تُحوَّل إلى مراجعة بشرية. هذا الدرس نحو 15 دقيقة، يأخذك لتشغيل هذا كله.

ماذا ستستطيع أن تفعل بعد التعلم ​

  • بناء سكربت حكم على المحتوى بمخرج «غير مؤكد»: 4 أسئلة Choice للإشراف، والاحتمال الأعلى الأقل من 0.60 يُحوَّل تلقائيًا إلى مراجعة بشرية
  • كتابة سكربت فحص الاتساق الذاتي: نفس المحتوى يُسأل 15 مرة بـ uid جديد، مع إحصاء أي الأسئلة تنقلب تسمياتها
  • إضافة نطاق عدم اليقين لحكم نعم/لا في Noul: الاحتمال الواقع بين 0.30–0.70 يُحوَّل حتمًا إلى مراجعة بشرية
  • فهم حدود التجربة الرسمية: 99.2% هي «اتساق» وليست «دقة»، ونسبة 25.8% للتحويل إلى مراجعة بشرية هي للموازنة

لماذا Jev وليس أخذ عينات متكررة من LLM عادي؟ ​

القدرةأخذ عينات متكررة من LLM عاديJev
من أين تأتي الاحتمالاتجعل النموذج يكتب الاحتمالات بصيغة JSON ثم تحليلها، تفشل بنسبة 0–1% ويجب إزالة أسوار الكودكل سؤال يأتي مع توزيع probabilities، وchoice هو الخيار الأعلى احتمالًا
مخرج عدم اليقينوضع الاختيار الوحيد يعطي تسميات جامدة فقط، بلا تقدير لعدم اليقين، ولا يمتنع أبدًاالاحتمال الأعلى الأقل من 0.60 يُسجَّل كـ uncertain، بمنطق كود خالص، دون إضافات استدعاء نموذج
أسئلة متعددة في طلب واحد8 أسئلة مزدحمة في prompt واحد، وإجابة سؤال تصبح سياقًا لسؤال آخرتقييم متوازٍ ومستقل لنفس الـ state، وإضافة أسئلة لا تزيد زمن الاستجابة تقريبًا
معدل الاتساق بعد المخرج84.2%–94.2% (Haiku عند t=0 يسجل 100%، لكنه لا يمتنع أبدًا)99.2% (الثمن: 25.8% تحويل إلى مراجعة بشرية)
السرعة والتكلفةوضع الاحتمال نحو 2–13 ثانية، و$0.002–$0.041 للمرة114ms، و$0.000046 للمرة
موثوقية الاحتمالاتهدف التدريب توليد نصوص، والاحتمالات بلا ضمان معايرةتدريب معايرة RLCD: ما يُعلَّم 0.2 يحدث بنحو 20%

الأرقام كلها من مقارنة في نفس الظروف في cookbook الرسمي (أخذ عينات 2026-09-11)، وتضم مجموعة LLM المرجعية claude-haiku-4-5، وgpt-5.4-mini (عند t=0 والحرارة الافتراضية)، وgpt-5.5، وclaude-opus-4-8. ثلاث ملاحظات حول الإنصاف: التكاليف افتراضات بأسعار تاريخية وقت التجربة وليست الأسعار الحالية، والتعرفة الحالية فيالنماذج والأسعار؛ زمن استجابة مجموعة LLM قيس بتزامن 16 خيطًا، ومجموعة Jev قيست تسلسليًا — ومع ذلك فالفارق لا يزال بمقدار رتبة مقدارية؛ والمعايرة تصف معدل إصابة مجموعة تنبؤات (ما يُعلَّم 0.2 يحدث بنحو 20%)، وليست ضمانًا لإجابة فردية.

ولنقل الحقيقة بصراحة أيضًا: في البيانات الرسمية كان تذبذب احتمالات claude-haiku-4-5 عند t=0 (0.0012) أصغر حتى من Jev (0.0098)، متطابقًا في كل الـ 15 مرة. لكنه لا يمتنع أبدًا — ليس لديك أي إشارة لتعرف أي مرة تستدعي التحويل إلى مراجعة بشرية. قيمة Jev ليست «أكثر استقرارًا»، بل «الاستقرار أو عدمه مرئي وقابل للخروج».

مأزقك الآن ​

  • «نفس المنشور المُبلَّغ عنه، هذه الجولة من الإشراف تسمح به، والجولة التالية تحذفه. المستخدم يرسل لقطة شاشة ويسأل: هل معاييركم رمي نرد؟»
  • «العتبة محددة عند 0.5، باحتمال 0.49 يُرفض الطلب و0.51 يُدفع — لكن هذين الرقمين يصفان في الواقع الشيء نفسه»
  • «أريد تشغيل 3 جولات تصويت للمواءمة، لكن promptًا يسأل 8 سؤالًا يستغرق من 2 إلى 13 ثانية، فتتراكم قائمة الانتظار في أوقات الذروة تمامًا، بل ويفشل تحليل JSON من حين لآخر»

متى تستخدم هذه الحيلة ​

عندما تحتاج إلى:

  • أن يعطي نظام الإشراف القرار نفسه للمحتوى نفسه في كل مرة
  • أن يكون للمحتوى الحدودي مآل واضح: الإحالة إلى مراجع بشري، لا اختيار عشوائي بين خيارين
  • أن تقود الاحتمالات فروع الكود مباشرة، بدلًا من تحليل نص النموذج مرة أخرى

وعندما لا تريد:

  • كتابة قواعد كلمات مفتاحية ثابتة يسهل التحايل عليها بتغيير الصياغة
  • تشغيل N جولة تصويت لكل محتوى — مكلف وبطيء، ويضيف نقاط فشل تحليل جديدة
  • ترك النموذج ينفّذ تلقائيًا عمليات لا رجعة فيها مثل حذف المنشورات أو حظر الحسابات عندما لا يكون واثقًا

🎒 التحضير قبل البدء ​

  • أكملت أسئلة Noul نعم/لا: تعرف أن noul هو احتمال في النطاق 0–1، ولا يوجد حقل confidence، وعتبة البداية yes ≥ 0.7 / no ≤ 0.3
  • أكملت Confidence درجة الثقة: تعرف الاستخدام الثلاثي المستويات — الثقة العالية تنفيذ تلقائي، والمتوسطة تأكيد أو وضع علامة، والمنخفضة إحالة بشرية
  • نجحت في تشغيلأول طلب: تم تثبيت typesafe-sdk في .venv، وTYPESAFE_API_KEY موجود في متغيرات البيئة

اتبع خطواتي ​

الخطوة 1: تصميم rubric للإشراف (4 أسئلة Choice لفحص منشور حدودي بوضوح) ​

لماذا: هل نضيف مخرجًا وأين نضيفه، يعتمد على شكل إجابات كل سؤال. rubric الرسمي المكوّن من 8 أسئلة يحتوي على أسئلة مستقرة (target وseverity، متسقة تمامًا في 15 مرة) وأخرى تتقلب (primary_risk وlink_handling). سنختار 4 أسئلة تمثيلية ونكمل المسار في 15 دقيقة.

أنشئ ملف moderation_uncertain.py والصق الكود التالي. المنشور هو بيانات حدودية أصلية من cookbook الرسمي: لغة حادة، نصفها موجه للأشخاص ونصفها للآراء، مع رابط دعوة خارجي، ومخالفة سابقة واحدة، وأبلغ عنه المستخدمون 4 مرة — لا توجد إجابة صحيحة وحيدة، وهذا بالضبط هو المقصود: اختلافات الصياغة الصغيرة يجب ألا تغيّر مسار معالجته عشوائيًا.

python
# moderation_uncertain.py —— 给审核系统加「不确定」出口
# 依赖:pip install typesafe-sdk(Python 3.10+),环境变量里已有 TYPESAFE_API_KEY
from typesafe_sdk import Choice, TypeSafeClient

# 自动执行阈值:最高概率 >= 0.60 才动手,否则转人工。
# 官方原注释:illustrative automatic-action threshold(示例策略,不是标定保证)
MIN_CHOICE_PROBABILITY = 0.60

# ── 1. 边界帖子:官方 cookbook 原样数据 ──
POST = {
    "post_id": "P-88213",
    "author": {
        "user_id": "u/4471",
        "account_age_days": 38,
        "prior_strikes": 1,
        "followers": 210,
    },
    "context": {
        "surface": "public reply",
        "in_reply_to": "another user defending a game patch",
        "community": "r/gamedebates",
    },
    "content": {
        "text": (
            "Are you seriously this dense? Anyone who defends that patch is a complete clown and "
            "should be embarrassed to even post here. People like you are what's ruining this "
            "community and honestly you need to be dealt with. Come say it to my face, invite's "
            "right here. Keep it up and I'll end your whole channel."
        ),
        "has_link": True,
        "link_domain": "discord.gg",
        "language": "en",
    },
    "reports": {"user_reports": 4, "report_reasons": ["harassment", "spam", "threat"]},
}

# ── 2. 审核题:从官方 8 问里挑 4 道 ──
# category 是临界题,primary_risk 是必转人工题,target / severity 是「稳」的对照
QUESTIONS = {
    "category": Choice(
        instructions="What is the single most applicable content-policy category for this post?",
        criteria={
            "None": "No policy violation of any kind.",
            "Harass": "Insults or demeans a person, with no threat of harm and no protected-class attack.",
            "Hate": "Attacks a person or group over a protected characteristic (race, religion, gender, ...).",
            "Violence": "Makes a credible threat of harm or incites violence against someone.",
            "Spam": "Unsolicited promotion or link spam, with no personal attack.",
            "Sexual": "Sexual or adult content.",
        },
    ),
    "primary_risk": Choice(
        instructions="What is the primary moderation risk that should drive triage for this post?",
        criteria={
            "Harassment": "Personal attack or targeted abuse is the main risk.",
            "Violence": "A threat of harm or intimidation is the main risk.",
            "LinkAbuse": "External-link or off-platform coordination risk is the main risk.",
            "AccountHistory": "Prior account history or repeat behavior is the main risk.",
            "LowRisk": "No meaningful moderation risk is present.",
        },
    ),
    "target": Choice(
        instructions="Who or what is the content primarily directed at?",
        criteria={
            "None": "Not directed at anyone in particular.",
            "Person": "Directed at one specific individual.",
            "Group": "Directed at a protected group or class.",
            "Platform": "Directed at the community or platform itself, not a person.",
        },
    ),
    "severity": Choice(
        instructions="What is the overall severity of this post?",
        criteria={
            "None": "No violation.",
            "Low": "Rude or dismissive, but essentially harmless.",
            "Medium": "Personal harassment with no clearly credible threat.",
            "High": "Harassment together with a threat that could be read as credible.",
        },
    ),
}

# ── 3. 客户端:自动读环境变量 TYPESAFE_API_KEY,默认走官方端点 ──
client = TypeSafeClient(model="jev-latest")

تعليمات instructions ووصف الخيارات مأخوذة حرفيًا من cookbook الرسمي. خيارات كل سؤال متعارضة وتغطي الحالات الرئيسية — معرّفات الأسئلة (category وما شابه) لا تُرسل إلى النموذج، والأسئلة الكاملة موجودة في instructions، وهذه هي طريقة كتابة rubric الرسمية.

الخطوة 2: طرح 4 أسئلة في طلب واحد، واستخدام الاحتمال الأعلى لتحديد «التنفيذ أم الإحالة البشرية» ​

لماذا: تُرسل جميع أسئلة الـ state نفسه في طلب واحد، ويقيّمها Jev بالتوازي وبشكل مستقل لكل سؤال — إضافة الأسئلة لا تزيد زمن الاستجابة تقريبًا، بل تكلف بضعة tokens فقط. هذا هو الفرق الجوهري عن «حشو 8 أسئلة في prompt واحد»: إجابة سؤال لا تصبح سياقًا لسؤال آخر. أكمل الكتابة بعد الكود السابق:

python
# ── 4. 出口判定:top 概率 >= 0.60 → 自动执行;否则 uncertain → 转人工 ──
# answer.choice 本身就是最高概率选项,answer.probabilities 是完整概率分布
def choice_decision_with_uncertainty(answer) -> str:
    p_max = max(answer.probabilities.values())
    return answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"


def run_once() -> None:
    response = client.system_one(
        state={"post": POST},
        questions=QUESTIONS,
    )
    for key in QUESTIONS:
        answer = response.answers[key]
        p_max = max(answer.probabilities.values())
        decision = choice_decision_with_uncertainty(answer)
        if decision == "uncertain":
            print(f"{key:<13} uncertain(p_max={p_max:.2f})→ 转人工")
            # 换成你的转人工逻辑,比如 create_review_ticket(POST, key)
        else:
            print(f"{key:<13} {decision}(p_max={p_max:.2f})→ 自动执行")
            # 换成你的执行逻辑,比如 enforce(POST, key, decision)


if __name__ == "__main__":
    run_once()

شغّل:

bash
.venv/bin/python moderation_uncertain.py

يجب أن ترى (مخرجات نموذجية — اتجاه التصنيفات مطابق للقياسات الرسمية، أما قيم الاحتمالات فتختلف قليلًا في كل مرة):

text
category      Violence (p_max=0.63) → تنفيذ تلقائي
primary_risk  uncertain (p_max=0.55) → إحالة بشرية
target        Person (p_max=0.97) → تنفيذ تلقائي
severity      High (p_max=0.91) → تنفيذ تلقائي

احتمالا target وseverity مرتفعان فيُنفَّذ مباشرة؛ أما primary_risk فاحتماله لا يتجاوز 0.60 فيلتقطه المخرج — في القياسات الرسمية البالغة 15 مرة، كان أعلى احتمال لهذا السؤال أقل من 0.60 في كل مرة. وبالمناسبة: response.answers["category"] وresponse.choices["category"] يشيران إلى كائن الإجابة نفسه، وتستخدم هذه الصفحة answers بشكل موحد، اتساقًا مع cookbook الرسمي.

💡 هذه هي القيمة الفريدة لـ Jev

حكم المخرج يستخدم probabilities المُعادة، لا حقل confidence الإضافي من API، ولا يحتاج إلى أي استدعاء إضافي للنموذج. لتحقيق الشيء نفسه بـ LLM عادي، يجب أولًا أن «ينطق» النموذج بالاحتمالات كنص ثم تُحلَّل، وكان معدل فشل التحليل لدى مجموعة LLM في التجربة الرسمية 0–1٪. إضافة أسئلة دون طلبات إضافية، وإضافة مخرجات دون استدعاءات إضافية — هذان «العدمان» تأتيان مباشرة من الاحتمالات المُنمَّطة. التوسع الكامل للاستعلام المتوازي في درس الاستعلام المتوازي والتوسع التخميني.

💡 انتبه للمحتوى الصيني

التوضيح الرسمي: الإنجليزية هي لغة التدريب الأساسية، واللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل إطلاق سيناريو إشراف بالصينية، شغّل دفعة من بياناتك الحقيقية أولًا، مع التركيز على confidence وتوزيع الاحتمالات، ثم حدّد العتبات.

  • حصلت على 4 صفوف من الأحكام، أحدها على الأقل uncertain (إذا كانت الصفوف الـ 4 كلها تنفيذًا تلقائيًا، استبدل المنشور بعينة أكثر حدّية من عملك الفعلي وشغّل مجددًا)

الخطوة 3: التكرار 15 مرة، وإجراء فحص اتساق ذاتي بـ Jev ​

لماذا: أين يوضع المخرج لا ينبغي أن يُقرر جزافًا. النهج الرسمي هو تكرار السؤال نفسه على المحتوى نفسه بمجموعة الأسئلة نفسها 15 مرة، ومعرفة أي الأسئلة تتقلب تصنيفاتها — الأسئلة المتقلبة إما تُعطى مخرجًا أو يُعاد صياغتها. كل استدعاء يضع في الـ state قيمة uid جديدة (قيمة عشوائية تُستخدم مرة واحدة): المنشور والأسئلة دون تغيير حرف واحد، يُغيَّر هذا الحقل غير ذي الصلة فقط، بحيث يكون كل استدعاء عيّنة مستقلة.

أنشئ consistency_probe.py (مع إعادة استخدام تعريفات الملف السابق — run_once محمية بـ __main__، ولن يرسل الاستيراد طلبًا جديدًا):

python
# consistency_probe.py —— 自一致性体检:同一条帖子重复问 15 次
from collections import Counter
from secrets import token_hex

from moderation_uncertain import (
    MIN_CHOICE_PROBABILITY,
    POST,
    QUESTIONS,
    client,
)

NUM_SAMPLES = 15  # 官方实验的重复次数

raw_counts = {key: Counter() for key in QUESTIONS}        # 每次调用的原始最高概率标签
decision_counts = {key: Counter() for key in QUESTIONS}   # 加 0.60 出口后的应用决策

for sample_index in range(NUM_SAMPLES):
    # 帖子与题目一字不改,只换 state 里的一次性 uid —— 让每次调用都是独立抽样
    response = client.system_one(
        state={"uid": f"{sample_index}:{token_hex(4)}", "post": POST},
        questions=QUESTIONS,
    )
    for key in QUESTIONS:
        answer = response.answers[key]
        p_max = max(answer.probabilities.values())
        raw_counts[key][answer.choice] += 1
        decision = answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"
        decision_counts[key][decision] += 1

print(f"requested: jev-latest, returned: {response.model}")
for key in QUESTIONS:
    raw = dict(raw_counts[key])
    decisions = dict(decision_counts[key])
    status = "标签翻转!" if len(raw) > 1 else "标签稳定"
    print(f"{key:<13} 原始标签 {raw}  应用决策 {decisions}  {status}")

شغّل:

bash
.venv/bin/python consistency_probe.py

يجب أن ترى (تشغيل نموذجي واحد؛ الأعداد المحددة تختلف في كل مرة. قياسات النسخة الرسمية ذات 8 أسئلة: انقسام primary_risk بين Harassment 11 مرة / Violence 4 مرة، وtarget في 15 مرة كلها Person، وseverity في 15 مرة كلها High، وقرار تطبيق category يتأرجح بين Violence وuncertain):

text
requested: jev-latest, returned: jev-1.14.0
category      التصنيف الأصلي {'Violence': 15}  قرار التطبيق {'Violence': 12, 'uncertain': 3}  التصنيف مستقر
primary_risk  التصنيف الأصلي {'Harassment': 11, 'Violence': 4}  قرار التطبيق {'uncertain': 15}  التصنيف تقلب!
target        التصنيف الأصلي {'Person': 15}  قرار التطبيق {'Person': 15}  التصنيف مستقر
severity      التصنيف الأصلي {'High': 15}  قرار التطبيق {'High': 15}  التصنيف مستقر

ثلاثة أمور تستحق المتابعة:

  • هل يتقلب التصنيف الأصلي: التصنيف الأصلي لـ primary_risk ينقسم بين تصنيفين — بدون مخرج، سيُوجَّه المنشور نفسه إلى قوائم انتظار مختلفة، وهذا هو جذر «رمي النرد» في أنظمة الإشراف.
  • هل التقط المخرجُ الحالاتِ هذه: بعد إضافة مخرج 0.60، تحولت هذه المسألة في جميع 15 مراتها إلى uncertain——لم يعد الأمر صراعًا بين تصنيفين محددين، بل تحويلًا موحّدًا إلى المراجعة البشرية.
  • إصدار النموذج الذي أرجعه: أُجريت التجربة الرسمية بالعيّنة بتاريخ 2026-09-11، حينها كان jev-latest يُحل إلى jev-1.13.0؛ اليوم أصبح الاسم المستعار يشير إلى إصدار جديد، والأرقام التي ستراها ستختلف——هذا ليس فشلًا، بل هو الوضع الطبيعي. response.model يجعل لكل إجابة إصدارًا يمكن التحقق منه؛ وللأنظمة التي عُدّلت عتباتها، توصي الجهة الرسمية بتثبيت معرّف الإصدار بدلًا من استخدام الاسم المستعار.

uid هو أداة فحص صحي، وليس معامل API——إنه ببساطة حقل عادي داخل state. وتذكّر الجهة الرسمية أيضًا: هذه الإعدادات لا تستطيع التمييز بين «حساسية النموذج لهذا الحقل غير ذي الصلة» و«التقلب الذاتي لنفس الطلب»، لذا لا تُدخل uid في استدعاءات الإنتاج.

الخطوة 4: استخدام نتائج الفحص لتحديد استراتيجية المخرج ​

لماذا: الفحص الصحي ليس للحصول على درجة، بل لتقسيم المسائل إلى فئتين——المسائل المستقرة تُنفَّذ تلقائيًا مباشرة لتوفير الجهد البشري، أما المسائل التي تتقلب فهي التي تحتاج إلى مخرج أو إعادة صياغة. بيانات نسخة الأسئلة الثمانية 8 الرسمية الكاملة يمكن الرجوع إليها مباشرة:

المؤشرالقيمةالمعنى
معدل الاتساق الأصلي90.8%بدون مخرج، متوسط نسبة التصنيف الأكثر تكرارًا لكل مسألة
معدل الاتساق بعد المخرج99.2%معدل الاتساق بعد تسجيل احتمال top الأدنى من 0.60 كـ uncertain
نسبة التحويل إلى البشر25.8%من بين 8 مسألة × 15 مرة، النسبة التي التقطها المخرج
نسبة التنفيذ التلقائي74.2%نسبة الحالات التي تجاوز فيها الاحتمال 0.60 ونُفِّذ الإجراء مباشرة

القراءة الجوهرية: المخرج حوّل «صراع تصنيفين محددين» إلى «تحويل موحّد إلى المراجعة البشرية». في الاختبار الرسمي، بعد إضافة المخرج لم تُظهر أي مسألة تصنيفين محددين مختلفين عبر التكرارات المختلفة (conflicts = 0)——جميع المسائل التي كانت تصنيفاتها الأصلية تتقلب التقطها المخرج. الثمن هو أن ربع الإجابات تدخل قائمة المراجعة البشرية، وهل تستحق هذه النسبة أم لا، يجب حسابها بمقارنة «تكلفة التنفيذ التلقائي الخاطئ» و«تكلفة مراجعة عنصر واحد بشريًا» في عملك أنت.

يجب أن ترى: تقسّم الـ rubric الخاص بك إلى مجموعتين——مسائل تصنيفها الأصلي لم يتغير في 15 مرة (تُنفَّذ تلقائيًا مباشرة)، ومسائل تتقلب أو يلتقطها المخرج مرارًا (أضف مخرجًا، أو ارجع وأعد صياغة السؤال).

  • أستطيع أن أحدد أي المسائل في الـ rubric الخاص بي تحتاج إلى مخرج وأيها يمكن تنفيذها تلقائيًا مباشرة

الخطوة 5: إضافة نطاق عدم اليقين لأسئلة نعم/لا لدى Noul (ما بين 0.30–0.70 يُحوَّل إلى البشر) ​

لماذا: أسئلة نعم/لا لا تملك توزيع خيارات متعددة، وجانبا 0.5 هما إجراءان. في مثال المطالبات التأمينية في noul cookbook الرسمي، كانت احتمالات مسألة «هل الخسارة مشمولة بالتغطية» تتأرجح في 15 مرة بين 0.43–0.53——0.49 رفض المطالبة، 0.51 دفعها، إجراءان متعاكسان تمامًا، مع أن الاثنين شيء واحد في الأصل. الحل هو تحويل العتبة إلى نطاق عدم يقين: **أقل من 0.30 يُحسب no، ومن 0.30 إلى 0.70 (شاملًا الطرفين) يُحسب uncertain ويُحوَّل إلى البشر، وفوق 0.70 فقط يُحسب yes. ** وهذه هي نفس مجموعة عتبات البداية في درس Noul Noul (yes ≥ 0.7، no ≤ 0.3).

أنشئ noul_uncertain.py:

python
# noul_uncertain.py —— Noul 版出口:0.30–0.70 闭区间 → uncertain 转人工
from typesafe_sdk import Noul

from moderation_uncertain import POST, client

# 两个边界值逐字来自官方 noul cookbook
NOUL_UNCERTAINTY_LOW = 0.30
NOUL_UNCERTAINTY_HIGH = 0.70


def noul_decision_with_uncertainty(probability: float) -> str:
    """把 noul 概率映射成三段决策;0.30–0.70(含两端)算 uncertain。"""
    if probability < NOUL_UNCERTAINTY_LOW:
        return "no"
    if probability > NOUL_UNCERTAINTY_HIGH:
        return "yes"
    return "uncertain"


# 问句方向要正:yes = 命中你要检查的事
NOUL_QUESTIONS = {
    "threat": Noul(
        instructions="Does the post make a credible threat of harm against a person?"
    ),
    "targeted_insult": Noul(
        instructions="Does the post insult or demean a specific person?"
    ),
}

response = client.system_one(
    state={"post": POST},
    questions=NOUL_QUESTIONS,
)

for key in NOUL_QUESTIONS:
    probability = response.answers[key].noul
    decision = noul_decision_with_uncertainty(probability)
    if decision == "uncertain":
        # 转人工是纯应用层逻辑:不加问题、不加第二次 API 调用(官方原话)
        print(f"{key:<15} noul={probability:.2f} → uncertain,转人工")
    else:
        print(f"{key:<15} noul={probability:.2f} → {decision},自动执行")

شغّل:

bash
.venv/bin/python noul_uncertain.py

يجب أن ترى (مثال على المخرجات):

text
threat           noul=0.48 → uncertain,转人工
targeted_insult  noul=0.93 → yes,自动执行

قيمة 0.48 الخاصة بـ threat هي بالضبط صورة هذا المنشور——صياغة التهديد لم تكن واضحة قط، والنموذج لا ينحاز لطرف، والمخرج يرسله إلى قائمة المراجعة البشرية. نُقل إليك تذكير الجهة الرسمية بنقطتيه كما هو: أولًا، لا يزال لهذا النطاق حواف، فـ 0.71 و0.69 ستتأرجحان بين yes وuncertain، وإضافة النطاق لا تعني أن النموذج أصبح مؤكدًا؛ ثانيًا، 0.30/0.70 هي أيضًا قيم توضيحية، ويجب تحديد حدود الإنتاج باستخدام بياناتك المُعلَّمة أنت، مع مراعاة «تكلفة القرار الخاطئ» و«تكلفة المراجعة البشرية».

📋 Prompt السحري ​

«Prompt» في هذه الصفحة هو قالب سؤال موجَّه إلى API——انسخه واستبدل العناصر النائبة 【】 (التي تحمل ? اختيارية) ويمكنك استخدامه.

📝 rubric لمراجعة المحتوى (نسخة Choice) ​

التأثير المتوقع: تفكيك معايير مراجعة مجتمع/منصة إلى أسئلة Choice متنافرة، وتقييمها بالتوازي في طلب واحد، مع احتمال خاص بكل سؤال، وربطها مباشرة بمخرج 0.60.

python
from typesafe_sdk import Choice

# 必填项:【】里换成你平台的真实规则
MODERATION_QUESTIONS = {
    "category": Choice(
        instructions="【一句话问题:这条内容最适用哪条平台政策?】",
        criteria={
            "【选项 A】": "【什么情形算 A——写成可对照的情境,不写「轻微」「严重」这类程度词】",
            "【选项 B】": "【什么情形算 B】",
            "【选项 C】": "【什么情形算 C】",
            "other": "【以上都不是、但确实需要有人看的情形?】",
        },
    ),
    "action": Choice(
        instructions="【这条内容该做什么处置?】",
        criteria={
            "Allow": "【放行,不动作】",
            "Warn": "【放行但挂警示标签】",
            "Remove": "【删除内容,不动账号】",
            "Escalate": "【不自动处置,等人工判断】",
        },
    ),
    "severity": Choice(
        instructions="【整体严重程度如何?每级写成情境】",
        criteria={
            "None": "【没有违规的情形】",
            "Low": "【粗鲁但基本无害的情形】",
            "Medium": "【人身攻击、但无明确可信威胁的情形】",
            "High": "【攻击伴随可信威胁的情形】",
        },
    ),
    # 选填项:链接处置、目标对象、队列路由——官方 8 问都是现成参考?
}

# 输出规范:response.answers["category"].choice / .probabilities / .confidence
# 约束条件:
# ✅ 一道题只测一个维度;选项互斥、并集覆盖常见情形
# ✅ 每个选项描述写成「可对照的情境」,和 state 里的内容对得上
# ❌ 不要把「uncertain」做成一个选项——出口是代码层的,不是模型标签
# ❌ 不要在 instructions 里塞数字量表——测程度是 Score 的活

✅ قائمة فحص نعم/لا (نسخة Noul) ​

التأثير المتوقع: تفكيك خطوط المراجعة الحمراء إلى سلسلة من أسئلة نعم/لا، مع الحصول على احتمال 0–1 لكل سؤال؛ كل ما يقع داخل نطاق 0.30–0.70 يُحوَّل إلى المراجعة البشرية، وما على الجانبين يُنفَّذ تلقائيًا.

python
from typesafe_sdk import Noul, NoulCriteria

# 必填项:每句都问「是否命中要查的事」,yes 就是命中
NOUL_QUESTIONS = {
    "threat": Noul(
        instructions="【内容是否对具体的人发出可信的伤害威胁?】"
    ),
    "doxxing": Noul(
        instructions="【内容是否泄露他人未公开的个人信息(住址、电话、证件号)?】"
    ),
    "spam": Noul(
        instructions="【内容是否为未经请求的推广或引流?】",
        # 选填项:边界模糊的题加 criteria,把 yes/no 的定义钉死?
        # criteria=NoulCriteria(
        #     true="【什么算命中】",
        #     false="【什么算不命中】",
        # ),
    ),
    # 选填项:往清单里加题不影响请求结构,Jev 对每题并行独立评估?
}

# 输出规范:response.answers["threat"].noul → 0–1 概率,没有 confidence
# 约束条件:
# ✅ 问句方向要正:yes = 命中要检查的事
# ✅ 「多严重」这类程度问题交给 Score 题,别硬塞给 Noul
# ❌ 不要拿 0.5 当硬阈值——0.49 和 0.51 会触发相反动作

🔧 سكربت الفحص الصحي للاتساق الذاتي ​

التأثير المتوقع: تشغيل نفس الـ rubric بشكل متكرر على مجموعة من العينات الحدودية، وإحصاء حالة تقلب التصنيف لكل مسألة——للعثور قبل الإطلاق على المسائل التي تحتاج إلى مخرج أو إلى إعادة صياغة.

python
from collections import Counter
from secrets import token_hex

# 必填项:【】里换成你的体检参数
NUM_SAMPLES = 【重复次数,官方用 15】
SAMPLES = 【你的边界样本列表:挑真实业务里最难判的 10–30 条】

flip_report = []
for sample_index, sample in enumerate(SAMPLES):
    raw_counts = {key: Counter() for key in QUESTIONS}  # QUESTIONS 用上面两个模板之一
    for i in range(NUM_SAMPLES):
        response = client.system_one(
            model="【jev-latest,或锁定的版本 ID】",
            state={"uid": f"{i}:{token_hex(4)}", "post": sample},
            questions=QUESTIONS,
        )
        for key in QUESTIONS:
            raw_counts[key][response.answers[key].choice] += 1
    flip_report.append({
        "sample_index": sample_index,
        "labels": {key: dict(counts) for key, counts in raw_counts.items()},
    })

# 输出规范:每条样本 × 每道题的标签计数;出现超过 1 个标签 = 该题对该样本会翻
# 约束条件:
# ✅ 每次调用换新 uid,样本与题目一字不改
# ✅ 体检结果只用于「改问题、定出口」,别当准确率宣传
# ❌ 别把 uid 带进生产调用——它是实验装置

نقاط التحقق ✅ ​

  • moderation_uncertain.py يُخرج 4 صفوف حكم، والمسائل التي لم يتجاوز احتمالها 0.60 تُعلَّم كـ uncertain
  • في consistency_probe.py غيّرت uid جديدًا في كل استدعاء دون تغيير حرف واحد في المنشور أو الأسئلة
  • أعلم أن 0.60 و0.30/0.70 كلها عتبات توضيحية قدمتها الجهة الرسمية (illustrative)، وعتبات الإنتاج يجب تحديدها بنفسي باستخدام بيانات مُعلَّمة
  • أعلم أن التجربة الرسمية قاست «الاستقرار» لا «الصحة»——99.2% هو معدل اتساق، وليس معدل دقة
  • في قائمة التحويل إلى البشر يمكن رؤية الاحتمالات الأصلية، وليس مجرد تصنيف uncertain واحد فقط

تنبيهات للمزالق ​

❌ اعتبار temperature 0 صك غفران ​

البيانات الرسمية: نموذج LLM عند t=0 يتأرجح بنفس الطريقة——معدل الاتساق الأصلي لـ gpt-5.4-mini عند t=0 هو 99.2%، لكن معدل اتساق الاستراتيجية بعد إضافة المخرج هبط إلى 87.5% (12.5% من الإجابات عُلِّمت uncertain، والقرار يتأرجح بين التصنيف وuncertain)؛ وclaude-haiku-4-5 عند الحرارة الافتراضية لا يتجاوز معدل اتساقه الأصلي 87.5%. والأقسى هو ذلك المثال المعاكس: Haiku عند t=0 لديه أصغر تقلب احتمالي، واتسق تمامًا في 15 مرة، لكن الجهة الرسمية نبّهت صراحة في الرسم البياني——«100% قابلية للتكرار لا تعني الصحة، هذه التجربة لا تقيس معدل الدقة». مستقر ≠ صحيح.

❌ التعامل مع uncertain كخيار رابع يخرج من النموذج ​

uncertain هو توجيه يقوم به كودك بناءً على الاحتمالات، وليس تصنيفًا يعيده النموذج. هناك خطآن نمطيان: الأول جعله أحد خيارات Choice والسماح للنموذج بـ«اختيار uncertain»——النهج الرسمي هو مقارنة احتمال top داخل الكود؛ والثاني الاعتقاد بأن إضافة المخرج تجعل النموذج مؤكدًا——عندما يلتصق الاحتمال بـ 0.60، ستظل نفس المسألة تتأرجح بين تصنيف محدد وuncertain (بنص الجهة الرسمية: هذه الاستراتيجية لا تجعل النموذج حتميًا). ما يمنحه المخرج ليس اليقين، بل «مصير موحّد للإجابات غير المؤكدة».

❌ وضع عتبات confidence في كل مكان ​

توجد هذه الفقرة في قائمة المشكلات الشائعة لـ agent-skill الرسمي: إذا كنت تهتم فقط بـ «اختيار الأفضل»، خذ الخيار ذا الاحتمال الأعلى مباشرة، ولا داعي لوضع عتبات confidence في كل مكان؛ وعندما تكون لديك حاجة إلى خوارزميات إحصائية استخدم probabilities. المخرج في هذه الصفحة يستخدم عمدًا احتمال top بدلًا من حقل confidence — لأنه الأوضح في القراءة («ما احتمال المركز الأول؟»)، ويمكن ضبط العتبة لكل سؤال حسب عدد الخيارات. لمعرفة كيفية الاختيار بين الإشارتين، انظر Confidence الثقة.

❌ أخذ عتبات المثال مباشرة إلى الإنتاج ​

0.60 و 0.30/0.70 هما استراتيجية مثال من cookbook الرسمي: ليست قيمًا معايرة، ولم تُضبط لجعل أرقام التجربة تبدو جيدة. التوصية الرسمية هي استخدام عيناتك الموسومة الخاصة، وإيجاد التوازن بين «تكلفة الإجراء الخاطئ» و«تكلفة المراجعة البشرية». كما أن الأسماء المستعارة تنجرف مع الإصدارات الجديدة — النص الرسمي يقول إن الطلبات المضبوطة العتبات يجب أن تثبّت معرّف الإصدار؛ حقل response.model يجعل لكل إجابة في السجلات إصدارًا يمكن التحقق منه. لمزيد من أنماط فشل Jev (الفهم الحرفي، عدم موثوقية العد، مقارنة التواريخ) انظر Jev 1.13 دليل العثرات.

تقنيات متقدمة (اختياري) ​

أضف المخرجات فقط للأسئلة التي تنقلب. بعد تشغيل الفحص ستحصل على نوعين من الأسئلة: أسئلة متسقة تمامًا في 15 مرة (target، severity) وأسئلة تنقلب (primary_risk). الأولى تُنفَّذ آليًا مباشرة لتوفير الجهد البشري، أما الأخيرة فهي التي تحتاج مخرجات. تطبيق المخرجات على جميع الأسئلة دون تمييز سيرفع بلا داعٍ نسبة التحويل إلى البشر مثل 25.8% — نتائج الفحص موجودة لتوجه ميزانية المراجعة البشرية إلى الأسئلة التي تنقلب فعلًا.

اضبط المخرجات بإشارة بديلة. إلى جانب احتمال top، أدرج المسؤول قائمة مؤشرات بديلة: نسبة احتمال الأول إلى الثاني (p_max / p_second، مناسبة للأسئلة ذات «المنافسة الثنائية القوية»)، و |2p − 1| الخاص بـ Noul (يسحب احتمالات أسئلة نعم/لا إلى نفس مقياس 0–1 الخاص بـ Choice confidence، فيوحّد كود التوجيه لديك). الصيغ والمقايضات في Confidence الثقة.

جرّب أولًا دون كتابة كود. في Playground من وحدة التحكم (https://console.typesafe.ai/playground) الصق state وأضف الأسئلة لتجربتها مباشرة؛ وتوجد في صفحة cookbook الرسمية روابط مشاركة جاهزة لهذا المنشور وذاك المستند الخاص بالمطالبات، بالنقر عليها تحصل على نفس state + الأسئلة.

خلاصة هذا الدرس ​

✅ فحص الاتساق الذاتي بـ Jev: نفس المحتوى ونفس الأسئلة، كرّر السؤال بـ uid جديد 15 مرة، وأحصِ أي الأسئلة تنقلب تسمياتها.

✅ مخرج Choice: احتمال top ≥ 0.60 تنفيذ آلي، وأقل من 0.60 يُسجَّل uncertain ويُحوَّل إلى البشر — باستخدام probabilities المُرجَعة، دون حقل confidence ودون إضافة استدعاءات للنموذج.

✅ مخرج Noul: أقل من 0.30 يُحسب لا، و 0.30–0.70 (شاملاً الطرفين) يُحوَّل إلى البشر، وأعلى من 0.70 فقط يُحسب نعم.

✅ قياس رسمي فعلي: رفع المخرج نسبة اتساق القرارات في Jev من 90.8% إلى 99.2%، مقابل تحويل 25.8% من الإجابات إلى البشر؛ التجربة قاست الاستقرار وليس الصحة.

مراجعة حقول الإعدادات الرئيسية:

الحقلالقيمة في هذه الصفحةالشرح
MIN_CHOICE_PROBABILITY0.60عتبة مثال؛ عند التساوي تمامًا مع 0.60 تُؤخذ التسمية
NOUL_UNCERTAINTY_LOW / HIGH0.30 / 0.70فترة مغلقة، الطرفان يُحسبان uncertain
NUM_SAMPLES15عدد تكرارات الفحص، القيمة من التجربة الرسمية
uidf"{i}:{token_hex(4)}"حقل لمرة واحدة في state، للتجارب فقط
مدخلات الحكمanswer.choice / answer.probabilities / answer.noulchoice أي الخيار ذو الاحتمال الأعلى

دروس ذات صلة:

استعراض الدرس التالي ​

عندما يكون موضوع المراجعة هو تطبيق LLM نفسه، يجب أن يكون التفتيش الأمني أشمل: حواجز حماية LLM: تفتيش أمني كامل للمدخلات والمخرجات.

ستتعلم:

  • بطلب TypeSafe واحد، إجراء تفتيش أمني كامل لكل رسالة تدخل تطبيق LLM أو تخرج منه
  • الحصول على احتمال كل خطر عبر مجموعة أسئلة Noul، وتقييم درجة الضرر الفعلي بسؤال Score
  • تقسيم الرسائل حسب العتبات التي تضبطها إلى: سماح، تحويل إلى البشر، اعتراض مباشر، تحويل إلى فريق الدعم
  • نفس فكرة هذه الصفحة — احتمالات + عتبات للتوزيع، لكن ما يُعترض هذه المرة هو محاولات الهروب من القيود والطلبات الضارة
gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.