Skip to content

75 فئة صناعية: عند عدم كفاية الثقة يتم الإبلاغ عن الفئة الكبرى ​

💡 خلاصة بجملة واحدة: استخدام Jev لبناء خط معالجة لتصنيف النصوص «يخفض المستوى تلقائياً عند عدم اليقين» — سؤال Choice واحد يصنّف إلى 75 مجموعة صناعية، وعند confidence ≥ 0.9 يُبلَّغ عن المجموعة الصناعية، وإذا لم تكن كافية يُبلَّغ بالكود الخالص عن الفئة الكبرى.

كل شركة تقدم تقريراً سنوياً (10-K) لدى SEC تشرح في Item 1 «وصف الأعمال» ما تفعله. وقد استخدم الـ cookbook الرسمي هذه المواد الحقيقية لطرح مسألة كلاسيكية في تصنيف النصوص بـ Jev: تصنيف كل وصف وفق تصنيف الصناعات القياسي (SIC) إلى 75 مجموعة صناعية — سؤال Choice واحد لكل ملف، وجدول الفئات كاملاً يتسع له طلب واحد.

معظم الملفات سهلة التصنيف: البنك الإقليمي هو بنك إقليمي. الصعب هو الشركة التي باعت للتو أحد قطاعي أعمالها، والشركة الناشئة التي تصف صناعة «تنوي الدخول إليها». على النموذج في كل الأحوال أن يختار مجموعة بقوة، بينما تبدو إجابات الحالات الصعبة مطابقة تماماً للحالات السهلة. والتمييز بين الصعب والسهل هو تحديداً مصدر التكلفة: نموذج ثانٍ، استدعاءات إضافية، مراجعة بشرية.

إجابة Choice في Jev تأتي مع confidence مدمج (classification confidence، ثقة التصنيف) — رقم واحد يفصل «الإجابة الموثوقة» عن «الإجابة غير الموثوقة». ووسوم SIC هرمية بطبيعتها: فوق المجموعات الصناعية 10 فئة كبرى أوسع (division). والنهج الرسمي هو: عندما لا يكون النموذج واثقاً من المجموعة الصناعية، يُبلَّغ عن الفئة الكبرى التي تنتمي إليها — والفئة الكبرى تُستخرج من رقم المجموعة عبر جدول، بدون استدعاء ثانٍ.

اختبر المسؤول رسمياً على 60 تقريراً سنوياً: عتبة confidence البالغة 0.9 تقسم الملفات إلى نصفين متساويين تماماً. النصف الواثق صحيح بنسبة 90%؛ والنصف غير الواثق، عند فرض الإبلاغ عن المجموعة الصناعية، صحيح بنسبة 40% فقط — وبعد الإبلاغ عن الفئة الكبرى ارتفعت نسبة القابلية للاستخدام إلى 70%. يستغرق هذا الدرس نحو 15 دقيقة، ويرافقك لإعادة إنتاج هذه البوابة كاملة بالبيانات الرسمية العامة (صنّف الـ cookbook الرسمي صعوبتها كمبتدئ).

ماذا ستستطيع فعله بعد التعلم ​

  • استخدام سؤال Choice بـ 75 خياراً لتصنيف وصف الشركة بـ Jev، والحصول على توزيع احتمالات كامل وconfidence
  • كتابة كود البوابة «confidence ≥ 0.9 يُبلَّغ عن المجموعة الصناعية، وأقل من ذلك يُبلَّغ عن الفئة الكبرى» — يتم عبر جدول، بدون استدعاء API ثانٍ
  • إعادة إنتاج تجربة تصنيف التقارير السنوية لـ SEC بالبيانات الرسمية العامة: 60 تقريراً سنوياً، عند فرض الإبلاغ عن المجموعة الصناعية 39/60 صحيح ← وبعد إضافة البوابة 48/60 قابل للاستخدام
  • نقل «الترقية إلى الفئة الأعلى عند عدم كفاية الثقة» إلى شجرة فئاتك الخاصة: ينطبق على تصنيف الصناعات بالذكاء الاصطناعي، وفئات التجارة الإلكترونية، ونظم التذاكر

لماذا Jev وليس تصنيف نصوص LLM العادي؟ ​

القدرةتصنيف LLM العاديJev
درجة عدم اليقينسؤال «هل أنت متأكد؟» يعيد نصاً إنشائياً؛ وإن طُلب منه كتابة الاحتمالات كنص، يضاف نقطة فشل إضافية للتحليلكل إجابة تأتي مع confidence مدمج (0–1)، محسوب من توزيع الاحتمالات، ويمكن ضبط العتبة مباشرة
التحكم في الخياراتيخترع أسماء الفئات بحرية، ومصطلحات مثل «وسيط قروض» و«سمسار إقراض» تنزلق يومياًالإجابة دائماً واحدة من 75 خياراً، وchoice أي الخيار ذي الاحتمال الأعلى
قوائم الخيارات الكبيرةحشو 75 خياراً مع أوصافها في prompt، مع ضرورة التحقق من الإخراج مقابل الجدولسؤال Choice واحد يقبل حتى 255 خياراً، وموثوق حتى نحو 240 خياراً — 75 في المنطقة الآمنة تماماً
معايرة الاحتمالاتمحسّن لتوليد النصوص، والاحتمالات المُبلَّغة ذاتياً بلا ضمان معايرةتدريب معايرة RLCD، والاحتمالات متوافقة مع النتائج الحقيقية
شبكة أمان الحالات الصعبةالإبلاغ القسري عن وسم خاطئ، أو استدعاء النموذج مرة أخرى لسؤال «هل أنت متأكد؟»الفئة الكبرى تُستنتج من رقم المجموعة عبر جدول، والإبلاغ مجرد ربط بالكود الخالص، بدون استدعاء ثانٍ

قول صادق: بوابة confidence تخفض نسبة «اعتبار الوسم الخاطئ حقيقياً» ولا تقضي على الأخطاء — في الاختبار الرسمي، النصف الواثق أيضاً كان 3/30 منه خاطئاً. لمصدر المعايرة وتفاصيل الصيغ انظر Confidence الثقة.

معضلتك الحالية ​

  • «طلبت من LLM تصنيف 200 عميلاً إلى 75 صناعة، فأجاب عن كل عنصر بثقة مطلقة — العناصر المصنفة خطأ تبدو مطابقة تماماً للمصنفة صحيحاً، والفحص العشوائي محض حظ»
  • «أريد إضافة مراجعة بشرية، لكن مراجعة 60 عنصراً بالكامل أغلى من التصنيف نفسه؛ وإذا سألت النموذج ‹هل أنت متأكد؟› فهو يقول دائماً متأكد»
  • «الفئات هرمية بطبيعتها، وعندما يتعذر الوصول إلى أدق مستوى يكون جواب عام أفضل من جواب خاطئ — لكن النموذج يكتفي باختيار مجموعة بقوة، ولا يقول ‹لا أستطيع تجاوز هذا المستوى›»

متى تستخدم هذه الحيلة ​

عندما تحتاج إلى:

  • الوسوم نفسها ذات تسلسل هرمي (تصنيف القطاعات، فئات التجارة الإلكترونية، الهيكل التنظيمي)، وعندما يتعذر الوصول إلى المستوى الدقيق يمكن استخدام المستوى العام
  • لكل قطعة بيانات وجهة تذهب إليها — فلا يُسمح بإسقاطها مباشرة بحجة «لا أعرف»، ولا نريد تحويلها جميعًا إلى معالجة بشرية
  • معرفة أي الإجابات يمكن اعتمادها تلقائيًا وأيها يحتاج إلى مراجعة، وإنفاق ميزانية المراجعة حيث تستحق

وأيضًا لا نريد:

  • إرسال طلب إضافي أو استدعاء نموذج آخر فقط للسؤال «هل النموذج متأكد؟»
  • تحليل أسماء الفئات والاحتمالات من النص الذي يبصق به النموذج
  • الإبلاغ قسرًا عن مستوى دقيق عندما لا يكون النموذج واثقًا، فيتعامل الطرف اللاحق مع الوسم الدقيق الخاطئ على أنه صحيح

🎒 التحضير قبل البدء ​

  • أكملت درس Choice للاختيار من متعدد: تعرف أن criteria هو خريطة الخيارات، وprobabilities هو توزيع جميع الخيارات، وأن الإجابة هي دائمًا أحد الخيارات
  • أكملت درس Confidence الثقة: تعرف أن confidence يُحسب من توزيع الاحتمالات، وطريقة الاستخدام بثلاث درجات، وأن العتبة تتدرج مع درجة المخاطرة
  • نجحت في تشغيل الطلب الأول: تم تثبيت typesafe-sdk داخل .venv، وتم ضبط متغير البيئة TYPESAFE_API_KEY

لا حاجة لإنشاء البيانات بنفسك: وضعت الجهة الرسمية جدول قطاعات SIC و60 تقريرًا سنويًا حقيقيًا في متناول الجميع في مستودع typesafe-public-examples، والخطوة 1 تأخذك لتنزيلها.

تابعني خطوة بخطوة ​

الخطوة 1: أنشئ جدول الربط «المجموعة القطاعية → القسم الكبير» (تنزيل بيانات SIC الرسمية) ​

لماذا: منطق الإبلاغ يحتاج إلى جدول ربط «من الدقيق إلى العام». ترميز SIC نفسه هرمي بطبيعته: الرقمان الأولان من رمز القطاع الرباعي يشكلان المجموعة القطاعية (major group، وهي 75 مجموعة)، وتُجمع المجموعات في نطاقات ثابتة ضمن 10 قسمًا كبيرًا (division) — وهذه الطبقة من الربط تُستنبط بالكود وحده من قواعد الترميز، دون أي مشاركة من النموذج.

نزّل حزمة البيانات الرسمية المكونة من ملفين في مجلد المشروع (تم التحقق من إمكانية الوصول محليًا في 2026-11-03):

bash
curl -sL -o sic_codes.tsv "https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/classification_using_confidence/sic_codes.tsv"
curl -sL -o filings.jsonl "https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/classification_using_confidence/filings.jsonl"

أنشئ ملف classify_sic.py والصق فيه جزء الربط:

python
# classify_sic.py —— 75 类行业分类:置信度不够就上报大类
# 依赖:pip install typesafe-sdk(Python 3.10+),环境变量里已有 TYPESAFE_API_KEY
from collections import defaultdict
from pathlib import Path

# 十个大类:SIC 行业组编码的固定区间(官方 cookbook 原表)
DIVISIONS = [
    (1, 9, "agriculture, forestry and fishing"),
    (10, 14, "mining"),
    (15, 17, "construction"),
    (20, 39, "manufacturing"),
    (40, 49, "transportation, communications and utilities"),
    (50, 51, "wholesale trade"),
    (52, 59, "retail trade"),
    (60, 67, "finance, insurance and real estate"),
    (70, 89, "services"),
    (91, 99, "public administration"),
]

# 444 个四位行业码 -> 75 个行业组(前两位)-> 10 个大类,全程零模型参与
INDUSTRIES: dict[str, str] = {}
for line in Path("sic_codes.tsv").read_text().splitlines()[1:]:
    code, _office, title = line.split("\t")
    INDUSTRIES[code] = title.lower()

GROUPS: dict[str, list[str]] = defaultdict(list)
for code in sorted(INDUSTRIES):
    GROUPS[code[:2]].append(code)


def division(group: str) -> str:
    """行业组组号 -> 所属大类,纯查表。"""
    number = int(group)
    return next(name for low, high, name in DIVISIONS if low <= number <= high)


print(f"{len(INDUSTRIES)} industries -> {len(GROUPS)} major groups -> {len(DIVISIONS)} divisions")
print(f"  group 35 = {division('35')} / {', '.join(INDUSTRIES[c] for c in GROUPS['35'][:3])} ...")

شغّل:

bash
.venv/bin/python classify_sic.py

يفترض أن ترى (تحقق محلي بالبيانات الرسمية في 2026-11-03):

text
444 industries -> 75 major groups -> 10 divisions
  group 35 = manufacturing / engines & turbines, farm machinery & equipment, lawn & garden tractors & home lawn & gardens equip ...
  • حصلت على 444 → 75 → 10، والمجموعة 35 تقع في manufacturing

الخطوة 2: اكتب 75 مجموعة قطاعية كسؤال Choice واحد ​

لماذا: الأسماء وحدها لا تكفي كخيارات — من بين 75 مجموعة قطاعية لا يحمل سوى 42 منها «اسمًا شاملًا» في قائمة SEC (مثل food and kindred products للمجموعة 20)، أما المجموعات الـ33 الأخرى فليس لديها سوى رقم المجموعة. الأسلوب الرسمي هو وصف كل خيار بتفاصيل القطاعات داخل المجموعة — وهي التفاصيل التي يقارن بها قارئ التقارير السنوية أصلًا. تُذكر لكل مجموعة 8 تفاصيل كحد أقصى: تشير الملاحظات الرسمية إلى أن ذلك يكفي لتوصيف السمات دون أن تتحول إلى جدار نصي.

الصق متابعةً للكود أعلاه:

python
from typesafe_sdk import Choice

MAX_NAMED = 8  # 每组列出的细目数;官方值


def describe(group: str) -> str:
    """选项描述 = 伞名 + 组内细目;没有伞名的组只列细目。"""
    umbrella = INDUSTRIES.get(f"{group}00")
    inside = [INDUSTRIES[c] for c in GROUPS[group] if c != f"{group}00"][:MAX_NAMED]
    listed = "; ".join(inside)
    return (
        f"{umbrella} — includes: {listed}"
        if umbrella and listed
        else (umbrella or listed)
    )


print(f"group 20: {describe('20')[:150]}")
print(f"\ngroup 65: {describe('65')[:150]}")

# 问题原文来自官方 cookbook;完整问题写在 instructions 里
QUESTION = (
    "Which broad industry does this company operate in? Judge the company's own operations "
    "as this filing describes them."
)


def questions() -> dict:
    return {
        "group": Choice(
            instructions=QUESTION,
            criteria={group: describe(group) for group in sorted(GROUPS)},
        )
    }

شغّل مرة أخرى، يفترض أن ترى (المخرجات الجديدة كما يلي، وهي مطابقة للمخرجات المسجلة رسميًا؛ وتظل مطبوعات الخطوات السابقة دون تغيير):

text
group 20: food and kindred products — includes: meat packing plants; sausages & other prepared meat products; poultry slaughtering and processing; dairy product

group 65: real estate — includes: real estate operators (no developers) & lessors; operators of nonresidential buildings; operators of apartment buildings; less

هل 75 خيارًا كثيرة جدًا؟ لا. ذكر درس Choice أن الحد الأقصى هو 255 خيارًا للسؤال الواحد؛ وخبرة كتاب الوصفات الرسمي أن الأداء يظل موثوقًا حتى نحو 240 خيارًا، و75 تقع بعمق داخل المنطقة الآمنة — فجدول الفئات بأكمله يدخل في طلب واحد.

💡 هذه هي القيمة الفريدة لـJev

تُسلَّم 75 خيارًا مع أوصافها إلى النموذج بشكل مهيكل داخل criteria، ولا يمكن للإجابة أن تكون سوى أحد أرقام المجموعات ال75 هذه — لا انزياح في المفردات، ولا تحليل للمخرجات. والأهم هو الخطوة التالية: كل إجابة تأتي مع confidence الخاص بها، فلا تحتاج إلى إرسال أي طلب إضافي للسؤال «هل هي متأكدة؟».

  • أستطيع تحديد أي جزء في وصف خيار المجموعة 20 هو «الاسم الشامل» وأي جزء هو «التفاصيل»

الخطوة 3: تقرير سنوي واحد بطلب واحد، وإتمام تصنيف النصوص بـJev ​

لماذا: يحتوي filings.jsonl على 60 تقرير 10-K حقيقيًا، حُتفظ في كل منها فقط بالبند Item 1 «وصف الأعمال» — وهو الجزء الذي تصف فيه الشركة أعمالها بنفسها، وهو أيضًا الجزء الوحيد الذي يهم رمز القطاع، بمعدل 1438 كلمة. لكل ملف يُرسل طلب واحد ويُطرح سؤال Choice واحد: تعيد الإجابة choice (رقم المجموعة الفائزة)، وprobabilities (وزن كل من 75 خيارًا)، وconfidence (رقم واحد يعبر عن درجة تركّز التوزيع).

الخطوتان 4 و5 ستسحبان الإجابة مرارًا من الملف نفسه، لذا أضِف أولًا مخبأً صغيرًا يخزّن النتائج في my_cache.json — فإعادة تشغيل السكربت لا تُفوتر حسابًا جديدًا، وإن أردت فرض إعادة التشغيل فاحذفه (يستخدم الـnotebook الرسمي JsonCache من cooksafe للغرض نفسه):

python
import json

from typesafe_sdk import TypeSafeClient

client = TypeSafeClient(model="jev-latest")

FILINGS = [json.loads(line) for line in Path("filings.jsonl").read_text().splitlines()]
_cache: dict[str, dict] = {}
if Path("my_cache.json").exists():
    _cache.update(json.loads(Path("my_cache.json").read_text()))


def ask(filing_id: str, text: str) -> dict:
    if filing_id not in _cache:
        response = client.system_one(state=text, questions=questions())
        answer = response.answers["group"]
        _cache[filing_id] = {
            "group": answer.choice,
            "confidence": answer.confidence,
            "probabilities": dict(answer.probabilities),
        }
        Path("my_cache.json").write_text(json.dumps(_cache))
    return _cache[filing_id]


# 拿一份好分的文件先跑通:一家人寿保险公司
example = next(f for f in FILINGS if f["id"] == "33416_1998")
print(f"{len(FILINGS)} filings, {sum(f['words'] for f in FILINGS) // len(FILINGS)} words on average")
print(f"\n{example['id']} (filed {example['year']}, accession {example['accession']}):")
print(f"  {example['text'][:230]}...")
print(f"  filer's code: {example['sic']} {INDUSTRIES[example['sic']]}")

answer = ask(example["id"], example["text"])
print(f"\nmodel's answer: group {answer['group']} ({describe(answer['group']).split(' — ')[0][:46]}), conf {answer['confidence']:.2f}")

شغّل:

bash
.venv/bin/python classify_sic.py

يفترض أن ترى (المخرجات الجديدة كما يلي؛ أسطر المعاينة تم التحقق منها محليًا في 2026-11-03، والسطر الأخير هو القيمة المسجلة رسميًا — عند اختبار jev-1.12 لهذا الملف كانت conf 1.00 → group 63. إذا شغّلته بـjev-latest، فالأرجح أن اتجاه الوسم لن يتغير لملف بهذا الوضوح في وصف الأعمال، مع احتمال اختلاف طفيف في قيم الثقة):

text
60 filings, 1438 words on average

33416_1998 (filed 1998, accession 0000033416-99-000001):
  ITEM 1. BUSINESS Erie Family Life Insurance Company (hereinafter referred to as "The Company", the "Company" or "Erie Family Life") was incorporated in the Commonwealth of Pennsylvania on May 23, 1967 and commenced business on Sep...
  filer's code: 6311 life insurance

model's answer: group 63 (life insurance; accident & health insurance; h), conf 1.00

شركة تصف أعمالها بوضوح تام، يصل confidence لديها إلى القمة مباشرة. من بين الإجابات ال60 المسجلة رسميًا، تتراوح قيم confidence من 0.22 إلى 1.00 — توزّع منفتح، وهو بالضبط الشرط الذي يتيح للبوابة أن تعمل. تذكير بالتكلفة: تشغيل الكمية كاملة يعني 60 ملفًا = 60 طلبًا، والفوترة على الرموز المدخلة والمخرجات مجانية، والأسعار المعمول بها حاليًا في النماذج والأسعار.

  • أعاد طلب الملف الواحد choice وprobabilities وconfidence، وكانت الإجابة أحد خياراتي ال75

الخطوة 4: أضِف بوابة الثقة: عند الثقة ≥ 0.9 أبلغ عن المجموعة القطاعية، وعند الثقة < 0.9 أبلغ عن القسم الكبير الذي تنتمي إليه ​

لماذا: هذا هو بطل هذا الدرس. عندما تكون confidence ≥ 0.9، تُرفع الإجابة على مستوى المجموعة القطاعية؛ وعندما تقل عن 0.9، تُرفع الإجابة نفسها على مستوى القسم الكبير الذي تنتمي إليه — يتم ذلك عبر division(组号) ببحث في الجدول، دون أي استدعاء ثانٍ. كل ملف يعود ومعه وسم قابل للاستخدام: لا إسقاط، ولا إبلاغ قسري، ولا تحويل كامل إلى معالجة بشرية.

الصق متابعةً:

python
CONFIDENT = 0.9  # 高于它报行业组组号;低于它上报所属大类(官方 SEC 场景实验值)


def classify(filing: dict) -> dict:
    answer = ask(filing["id"], filing["text"])
    sure = answer["confidence"] >= CONFIDENT
    return {
        "level": "group" if sure else "division",
        "label": answer["group"] if sure else division(answer["group"]),
        "confidence": answer["confidence"],
        "group": answer["group"],
    }


def show(filing: dict) -> None:
    result = classify(filing)
    named = describe(result["group"]).split(" — ")[0][:46]
    print(
        f"  {filing['id']:>13}  conf {result['confidence']:.2f}  -> {result['level']:<8} "
        f"{result['label']:<14} (group {result['group']}: {named})"
    )


results = [(f, classify(f)) for f in FILINGS]  # 60 份各一次请求,缓存防重复
by_conf = sorted(results, key=lambda fr: fr[1]["confidence"], reverse=True)

print("three filings the model was sure about:")
for f, _ in by_conf[:3]:
    show(f)
print("\nthree it was not:")
for f, _ in by_conf[-3:]:
    show(f)

شغّل:

bash
.venv/bin/python classify_sic.py

يفترض أن ترى (المخرجات الجديدة كما يلي، مسجلة رسميًا بـjev-1.12 و2026-08-12؛ قائمتك الأولى والأخيرة وقيمك ستختلف بحسب الإصدار والبيانات، لكن النمط «السهل الفصل ثقته عالية والصعب الفصل ثقته منخفضة» يظل ثابتًا):

text
three filings the model was sure about:
    310158_1996  conf 1.00  -> group    28             (group 28: chemicals & allied products)
     33416_1998  conf 1.00  -> group    63             (group 63: life insurance; accident & health insurance; h)
    352541_1996  conf 1.00  -> group    49             (group 49: electric, gas & sanitary services)

three it was not:
   1372167_2013  conf 0.22  -> division manufacturing  (group 38: search, detection, navagation, guidance, aeron)
   1398633_2009  conf 0.23  -> division wholesale trade (group 50: wholesale-durable goods)
     46653_1999  conf 0.29  -> division services       (group 87: services-engineering, accounting, research, ma)

راقب الأسطر الثلاثة في كل من الطرفين، تجد confidence متطابقة تمامًا مع «مدى صعوبة فصل هذا الملف»:

  • الثلاثة الأعلى بثقة 1.00: شركة أدوية، وشركة تأمين على الحياة، وشركة مرافق — جميعها على الورق شركات قابضة، لكن تقرير كل منها يذكر صراحة نشاطًا مهيمنًا واحدًا.
  • الثلاثة في القاع: اثنتان شركتان في مرحلة التطوير، تصفان أعمالًا «تنوي القيام بها» (تقول إحداهما عن نفسها «intends to operate as a software developer»، وتقول الأخرى «organized to enter into the computer security software industry»)؛ والثالثة كانت تملك قطاعي أعمال أصلاً وباعت أحدهما قبل أسابيع قليلة من الإيداع.
  • ولهذا لم يعد لهذه الثلاث وسم المجموعة الدقيقة، بل ثلاث وسوم أقسام كبيرة: manufacturing / wholesale trade / services.

💡 انتبه للمحتوى الصيني

البيان الرسمي حول دعم اللغات: الإنجليزية هي لغة التدريب الأساسية، واللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل استخدام ملفات تعريف الشركات الصينية للتصنيف القطاعي بالذكاء الاصطناعي، شغّل أولًا دفعة على بياناتك الخاصة وركّز على توزيع confidence، ثم حدد العتبة — وهذا هو أيضًا الخطوة الأولى التي يؤكد عليها هذا القسم بأكمله مرارًا.

  • في الأسطر الثلاثة الأولى والأخيرة، أبلغ عن group عند الثقة وأبلغ عن division عند عدم اليقين (في التسجيلات الرسمية، الثقة في الملفات الثلاثة السفلية كلها أقل من 0.3)

الخطوة 5: قياس ما تشتريه «الإبلاغ عن الفئة العريضة» ​

لماذا: هل تستحق البوابة أم لا، يجب أن تتحدث الأرقام. قارنت الجهة الرسمية إجابات 60 تسجيلًا بالرموز التي أبلغ عنها المودعون بأنفسهم، وسجّلت النقاط وفق استراتيجيتين: الاستراتيجية A تفرض الإبلاغ عن المجموعة الصناعية في كل مرة؛ والاستراتيجية B تبلغ عن الفئة العريضة عند عدم اليقين (confidence < 0.9).

الصق متابعةً:

python
def correct(filing: dict, result: dict) -> bool:
    gold_group = filing["sic"][:2]
    if result["level"] == "group":
        return result["label"] == gold_group
    return result["label"] == division(gold_group)


sure = [(f, r) for f, r in results if r["level"] == "group"]
unsure = [(f, r) for f, r in results if r["level"] == "division"]

forced = sum(r["group"] == f["sic"][:2] for f, r in results)
broadened = sum(correct(f, r) for f, r in results)

print(f"forced to name a group every time      {forced}/{len(results)} right")
print(
    f"  of those, the {len(sure)} it was sure about  "
    f"{sum(r['group'] == f['sic'][:2] for f, r in sure)}/{len(sure)} right"
)
print(
    f"  and the {len(unsure)} it was not           "
    f"{sum(r['group'] == f['sic'][:2] for f, r in unsure)}/{len(unsure)} right"
)
print(f"\nletting it answer coarsely when unsure  {broadened}/{len(results)} useful answers")

بعد التشغيليجب أن ترى (المخرجات الجديدة كما يلي، تسجيل رسمي، jev-1.12):

text
forced to name a group every time      39/60 right
  of those, the 30 it was sure about  27/30 right
  and the 30 it was not           12/30 right

letting it answer coarsely when unsure  48/60 useful answers

لنقسمها في جدول واحد ليتضح الأمر (النسب محسوبة من الأرقام الرسمية الأربعة):

الاستراتيجيةالمؤكدة 30 ملفًاغير المؤكدة 30 ملفًاالإجمالي 60 ملفًا
فرض الإبلاغ عن المجموعة الصناعية27/30 صحيح (90%)12/30 صحيح (40%)39/60 (65%)
عند عدم اليقين أبلغ عن الفئة العريضة27/30 صحيح (90%)21/30 قابل للاستخدام (70%)48/60 (80%)

ثلاث قراءات:

  • النصف المؤكد: الإبلاغ عن المجموعة الصناعية صحيح بنسبة 90% — يمكن اعتماد هذه تلقائيًا بكل اطمئنان.
  • النصف غير المؤكد: الإبلاغ القسري عن المجموعة الصناعية صحيح بنسبة 40% فقط؛ بعد الإبلاغ عن الفئة العريضة من المستوى الأول يصبح 70% قابلًا للاستخدام. المستوى الأعرض أسهل في الإصابة طبيعيًا — فئة manufacturing واحدة تغطي عشرين مجموعة صناعية ضمن نطاق 20–39، فما دام الفائز يقع في النطاق الصحيح، تكون التسمية بعد الاستعلام من الجدول صحيحة.
  • الثمن: تسميات تلك 30 ملفًا أصبحت أعرض. الكلمة الرسمية الأصلية: إذا كانت الفئة العريضة أعرض من أن تُبنى عليها إجراءات في تطبيقك، فهذا الفرع هو المكان الذي تسلّم فيه الأمر إلى البشر.

لا تنسَ المطابقة: حتى النصف المؤكد فيه 3/30 خاطئة — ما تخفضه البوابة هو نسبة «اعتبار التسمية الخاطئة صحيحة»، وليس القضاء على الأخطاء.

  • أستطيع أن أشرح معاني الأرقام الأربعة 39/60 و27/30 و12/30 و48/60

📋 Prompt السحري ​

«Prompt» في هذه الصفحة هو قالب سؤال موجه إلى API — انسخه واستبدل العناصر النائبة 【】 (تلك التي تحمل ? اختيارية) ويمكنك استخدامه.

📝 قالب التصنيف ذي المستويين مع بوابة الثقة (لأي شجرة فئات) ​

التأثير المتوقع: حوّل أي نظام تسميات هرمي إلى مصنّف يعمل بمنطق «إن كان متأكدًا أبلغ عن المستوى الدقيق، وإن لم يكن متأكدًا أبلغ عن المستوى الأعرض» — طلب واحد، صفر استدعاءات ثانية.

python
from typesafe_sdk import Choice

# 必填项:【】里换成你的类目树
CONFIDENT = 【置信度门槛:官方 SEC 场景用 0.9;从保守值起步,用自己的数据调】
FINE_LABELS = {
    "【细级标签 A】": "【什么内容算 A——写成可对照的情境描述】",
    "【细级标签 B】": "【什么内容算 B】",
    # 细级标签总数 ≤ 255(硬上限),约 240 内可靠
}
COARSE_OF = {
    "【细级标签 A】": "【A 所属的粗级标签】",
    "【细级标签 B】": "【B 所属的粗级标签】",
}

QUESTIONS = {
    "label": Choice(
        instructions="【一句话问题:这条内容最属于哪个标签?只根据给定材料判断】",
        criteria=FINE_LABELS,
    ),
}

# 输出规范:answer.choice / answer.confidence / answer.probabilities
# 门控:confidence >= CONFIDENT 报 answer.choice;否则报 COARSE_OF[answer.choice]
# 约束条件:
# ✅ 粗级映射用纯代码查表——不发第二次请求
# ✅ 每个细级标签写「可对照的情境描述」,光有名字往往不够
# ❌ 不要把「不确定」做成一个选项——门控是代码层的,不是模型标签
# ❌ 单级标签超过约 240 个别硬塞一题——改走逐层分类(见相关教程)

✅ مولّد أوصاف الخيارات (يجمّع criteria من ملف الفئات الخاص بك) ​

التأثير المتوقع: تصف الجهة الرسمية كل خيار بـ«اسم شامل + حتى 8 بندًا تفصيليًا داخل المجموعة» — افعل الشيء نفسه مع شجرة فئاتك، واجمع وصف كل خيار تلقائيًا من بيانات الفئات.

python
# 必填项:【】里换成你的类目数据源(伞名和子项列表)
# 选填项:没有伞名的标签 umbrella 传空串?,函数自动只列子项
def describe_label(umbrella: str, children: list[str], max_named: int = 8) -> str:
    """官方 describe() 的通用版:伞名 + 最多 max_named 个子项。"""
    listed = "; ".join(children[:max_named])
    if umbrella and listed:
        return f"{umbrella} — includes: {listed}"
    return umbrella or listed


# 约束条件:
# ✅ 子项挑最有代表性的(官方按编码顺序取前 8 个)
# ✅ 描述统一大小写风格——官方代码把全部行业标题统一转小写
# ❌ 别堆全部子项——官方注释:足够刻画特征即可,不堆文字墙
# ❌ 没有伞名的标签别硬造——官方 describe() 对 33 个无伞名组只列子项

🔧 سكربت معايرة العتبة (حدّد CONFIDENT ببياناتك الموسومة الخاصة) ​

التأثير المتوقع: 0.9 قيمة تجريبية للسيناريو الرسمي لدى SEC على jev-1.12. عند تغيير الفئات أو اللغة أو إصدار النموذج، يجب معايرة العتبة من جديد — هذا السكربت يُخرج لكل عتبة مرشحة بطاقتين: «نسبة الاعتماد التلقائي × نسبة الصحة».

python
# 必填项:【】里换成你的标注样本(挑真实业务里最难判的一批:代表性案例 + 难例 + 反例)
GOLD = [
    ("【文本 1】", "【正确细级标签】"),
    ("【文本 2】", "【正确细级标签】"),
]
THRESHOLDS = [0.5, 0.6, 0.7, 0.8, 0.9, 0.95]

answers = {}
for text, _gold in GOLD:
    response = client.system_one(state=text, questions=QUESTIONS)
    a = response.answers["label"]
    answers[text] = {"choice": a.choice, "confidence": a.confidence}

for t in THRESHOLDS:
    auto = [(gold, answers[text]) for text, gold in GOLD if answers[text]["confidence"] >= t]
    fine = sum(a["choice"] == gold for gold, a in auto)
    coarse = sum(
        COARSE_OF[a["choice"]] == COARSE_OF[gold]
        for gold, a in auto
        if a["choice"] != gold
    )
    print(f"threshold {t:.2f}: 自动采信 {len(auto)}/{len(GOLD)}, 细级正确 {fine}/{len(auto)}, 上报后粗级可用 {fine + coarse}/{len(auto)}")

# 约束条件:
# ✅ 标定样本要覆盖难例——全是好分的样本会把你骗到过低的门槛
# ✅ 门槛和问题定义放同一个文件,方便人审(官方 Agent Skill 建议)
# ❌ 别拿官方 0.9 直接上生产——官方 NOTE:正确阈值取决于你的领域和用例表现
# ❌ 金标先抽检再标定——过期的标签会把门槛带偏(官方实验前先筛样本)

نقاط التحقق ✅ ​

  • classify_sic.py ينتج التعيين 444 → 75 → 10، مع وقوع group 35 داخل manufacturing
  • 60 ملفًا تُشغَّل جميعها، ويظهر كل من group وdivision في عمود level، والثقة في الدفعة غير المؤكدة أوطأ بوضوح
  • إجابة الملف الواحد تحمل الحقول الثلاثة choice وprobabilities وconfidence، والإجابة دائمًا واحدة من 75 خيارًا
  • أعرف معاني 39/60 و27/30 و12/30 و48/60، وأنها من تسجيلات jev-1.12 الرسمية (2026-08-12)
  • أعرف أن 0.9 عتبة تجريبية لسيناريو SEC — عند تغيير الفئات أو اللغة أو الإصدار يجب معايرتها من جديد ببيانات موسومة

تنبيهات من المزالق ​

❌ جعل «الإبلاغ عن الفئة العريضة» طلبًا ثانيًا ​

الظاهرة: عندما تقل الثقة عن العتبة، تُرسَل طلبًا آخر تسأل فيه «إذن إلى أي فئة عريضة ينتمي؟»

لماذا هو خطأ: الفئة العريضة محددة بشكل فريد برقم المجموعة — يكفي division(组号) للاستعلام من الجدول. الطلب الثاني يكلّف أكثر ويُدخل عدم يقين جديدًا. الكلمة الرسمية الأصلية: الفئة العريضة تُستنتج من المجموعة الصناعية، لذلك لا يوجد استدعاء ثانٍ.

الطريقة الصحيحة: أنجز الإبلاغ في فرع البوابة بكود خالص. وبالمنطق نفسه، لا تجعل «غير متأكد» الخيار رقم 76 ليختاره النموذج — قرار الإبلاغ من عدمه يتخذه الكود بناءً على confidence، وليس تسمية من النموذج.

❌ التهاون في وصف الخيارات والاكتفاء بأسماء التسميات ​

الظاهرة: في criteria يُكتب لكل خيار كلمات مفردة مثل "manufacturing" و"services" فقط، فتتدنى جودة الإجابات وتنخفض الثقة عمومًا.

لماذا هو خطأ: من بين 75 مجموعة صناعية، 33 منها بلا اسم شامل في قائمة SEC، وإذا أعطيت رقم المجموعة أو كلمة مفردة فقط، فلن يملك النموذج سوى التخمين. تصف الجهة الرسمية كل خيار بـ«اسم شامل + حتى 8 بندًا تفصيليًا داخل المجموعة» — فمن يقرأ التقارير السنوية يقارن بهذه البنود التفصيلية أصلًا.

الطريقة الصحيحة: بمنهجية الخطوة 2 في describe()، اكتب لكل خيار «وصفًا سياقيًا قابلًا للمقارنة»؛ يُرسَل اسم التسمية والوصف معًا إلى النموذج، لكن الوصف هو مفتاح التمييز بين الخيارات.

❌ اعتبار confidence ضمانًا لـ«صحة الإجابة» ​

الظاهرة: الإجابات ذات conf 1.00 تُخزَّن مباشرة دون فحص عشوائي لاحق.

لماذا هو خطأ: confidence تصف درجة تركّز التوزيع الاحتمالي، لا احتمال صحة الإجابة. في الاختبارات الرسمية الفعلية، حتى 3 من الملفات المؤكدة الـ30 كانت خاطئة (27/30). عندما تكون أوصاف الخيارات غامضة أو تنقص المادة معلومات، يمكن للنموذج أن يخطئ بثقة عالية.

الطريقة الصحيحة: تعامل مع confidence كبوابة لقرار «هل يُعتمد عليها تلقائيًا»؛ وجودة السؤال تُقاس بشكل منفصل — الاتجاهات الثلاثة لتحري الثقة المنخفضة (تداخل الخيارات / السؤال يختبر أكثر من أمر واحد / معلومات state غير كافية) تجدها في Confidence الثقة.

❌ نسخ العتبة 0.9 كما هي مع انجراف الإصدار خلف الاسم المستعار ​

الظاهرة: تثبيت 0.9 حرفيًا في نظامك مع الاستمرار في استخدام jev-latest، ثم يتغير السلوك بعد إصدار نسخة جديدة في يوم ما.

لماذا هو خطأ: 0.9 قيمة تجريبية للسيناريو الرسمي لدى SEC على jev-1.12، وتقول ملاحظة NOTE الرسمية صراحة إن العتبة الصحيحة تعتمد على مجالك وأداء حالتك الاستخدامية؛ كما أن الاسم المستعار jev-latest يتحرك مع الإصدارات الجديدة، وتوصي الجهة الرسمية بتثبيت معرّف الإصدار للطلبات التي عُدّلت عتبتها.

الطريقة الصحيحة: عيّر العتبة ببياناتك الموسومة الخاصة (القالب رقم 3 من الـ Prompt السحري)؛ وفي طلبات الإنتاج ثبّت معرّف الإصدار عبر response.model بحيث يكون لكل إجابة في السجلات إصدار يمكن الرجوع إليه. لمزيد من أنماط الفشل الخاصة بـ Jev راجع Jev 1.13 دليل العثرات.

❌ عدم التحقق الذاتي من بيانات المعيار الذهبي يجعل «الدقة» المقيسة بلا معنى ​

الظاهرة: تُحسب نسبة الصواب على دفعة من «إجابات النموذج مقابل تسميات بشرية»، فتأتي الأرقام سيئة وتبدأ بالشك في النموذج.

لماذا هذا خطأ: رموز القطاع لدى SEC يختارها المودِع نفسه وقد تنتهي صلاحيتها — إذ تبقى الشركة محتفظة بالرمز بعد بيعها للنشاط الذي يشير إليه. قبل إجراء التجارب، قلّصت الجهة الرسمية العينة من 60 إلى «نص يدعم الرمز المرفق» قبل القياس: فالمُقاس هو هذه المنهجية، لا جودة بيانات EDGAR الوصفية.

الطريقة الصحيحة: قبل المعايرة والتقييم، افحص عينة من المعيار الذهبي — إما أن تصلح العينات ذات التسميات منتهية الصلاحية أو أرشفها على حدة، ولا تدع التسميات الملوثة تفسد عتبتك.

تقنيات متقدمة (اختيارية) ​

🔧 ضبط البوابة بإشارات بديلة. إلى جانب confidence، أوردت الجهة الرسمية مؤشرين بديلين: احتمال الخيار الأول p_max (يتغير معناه بتغير عدد الخيارات، فيجب ضبط العتبة حسب السؤال) ونسبة الأول إلى الثاني p_max / p_second (الأنسب للأسئلة التي يتنافس فيها خياران قويان).

حدس هندسي: عند 75 خيارًا تتطابق قيمتا confidence و p_max تقريبًا — وقيمته في تطبيع عدد الخيارات، إذ تحمل العتبة الواحدة 0.9 المعنى نفسه عند 3 خيارات وعند 75 خيارًا. الصيغة والمقايضات في Confidence الثقة.

🔧 عندما لا يتسع مستوى واحد للفئات، انتقل إلى التصنيف الهرمي. السقف الصلب لسؤال واحد هو 255 خيارًا، مع موثوقية تقريبًا حتى 240. إذا تجاوزت شجرة فئاتك هذا العدد في مستوى واحد، أو احتجت تسميات لكل مستوى، فراجع الدرس السابق التصنيف العميق الهرمي: تستخدم الجهة الرسمية احتمالات Choice لإجراء beam search متوازٍ ينزل في شجرة الفئات مستوى بمستوى. أما نهج هذا الدرس «الطرح المسطح بسؤال واحد + الإبلاغ عن الثقة» فيناسب سيناريوهات مثل 75 حيث يتسع مستوى واحد — والمساران متكاملان.

🔧 قبل كتابة أي كود، جرّب المثال الرسمي. تركت الجهة الرسمية على صفحة cookbook رابط مشاركة Playground — سؤال كامل بتقرير سنوي واحد و75 خيارًا، افتحه لترى توزيع الاحتمالات و confidence دون كتابة كود. الـ Playground في وحدة التحكم على console.typesafe.ai/playground.

خلاصة الدرس ​

✅ سؤال Choice واحد بـ 75 خيارًا ينجز تصنيف نصوص Jev: criteria صِف كل خيار بـ«اسم مظلة + حتى 8 من التفاصيل»، فتكون الإجابة دائمًا أحد الخيارات.

✅ بوابة الثقة: إذا كانت confidence ≥ 0.9 يُبلَّغ عن مجموعة الصناعة، وإلا يُبلَّغ عن الفئة الأوسع المنتمية إليها — ببحث في جدول، دون استدعاء ثانٍ؛ كل بيانات تعود بوسم قابل للاستخدام.

✅ اختبار رسمي على 60 تقريرًا سنويًا من SEC: بالإبلاغ الإجباري عن مجموعة الصناعة 39/60 (65%)، ومع البوابة 48/60 (80%) — الواثق صحيح بنسبة 90%، وغير الواثق يرتفع من 40% إلى 70%.

✅ 0.9 هي العتبة التجريبية لسيناريو SEC على jev-1.12: عند تغيير الفئات أو اللغة أو الإصدار، يجب إعادة المعايرة ببياناتك المُوسومة الخاصة.

مراجعة حقول الإعداد الأساسية:

الحقل / الثابتالقيمة في هذه الصفحةالشرح
CONFIDENT0.9≥ يُبلَّغ عن مجموعة الصناعة، < يُبلَّغ عن الفئة الأوسع؛ قيمة تجريبية لسيناريو SEC الرسمي
MAX_NAMED8الحد الأقصى لعدد التفاصيل المدرجة في وصف كل خيار
عدد الخيارات75السقف الصلب لـ Choice 255، وموثوقية تقريبًا حتى 240
مدخلات الحكمanswer.choice / .confidence / .probabilitieschoice أي الخيار الأعلى احتمالًا
division(group)بحث في جدولرقم مجموعة الصناعة → 10 من الفئات الأوسع، كود خالص

دروس ذات صلة:

استعراض الدرس القادم ​

إذا سألت السؤال نفسه مرة واحدة فقط، كيف تعرف إن كان «مستقرًا»؟ الدرس القادم: التناسق الذاتي: إضافة مخرج «غير متأكد» لنظام الإشراف.

ستتعلم:

  • فحص التناسق الذاتي: تكرار السؤال على المحتوى نفسه بـ uid جديد 15 مرة لاكتشاف الأسئلة التي قد تنقلب تسميتها
  • تحويل تلقائي لإنسان عندما يكون احتمال الخيار الأول في أسئلة Choice أقل من 0.60، ووضع نطاق عدم يقين للأسئلة من نوع Noul عند 0.30–0.70
  • قياس رسمي: بعد إضافة المخرج ارتفع معدل اتساق القرارات من 90.8% إلى 99.2%، مقابل تحويل 25.8% إلى إنسان
  • العلاقة بهذا الدرس: هذا الدرس يستخدم confidence للإجابة الواحدة ليقرر «الإبلاغ بدقة خشنة أم دقيقة»، والدرس القادم يستخدم أخذ العينات المتكرر ليقرر «أي سؤال لا ينبغي أصلًا تنفيذه تلقائيًا»
gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.