Skip to content

التحقق من الاقتباسات: إيقاف الاقتباسات الوهمية ​

💡 الخلاصة في سطر واحد: استخدم Jev لبناء خط تحقق من اقتباسات الذكاء الاصطناعي — مطابقة النصوص توقف الاقتباسات المُختلَقة، وسؤال Choice واحد يحدد ما إذا كان السياق يدعم الادعاء، والأحكام منخفضة الثقة تُحوَّل تلقائيًا إلى مراجعة بشرية.

يحب LLM عند الإجابة على الأسئلة أن يرفق اقتباسات: لكل ادعاء مقطع من المستند المصدر، بالإضافة إلى الاقتباس الذي يستند إليه. لكن بعضها خاطئ، بل مُختلَق: قد لا يكون الاقتباس في المستند أصلًا؛ أو قد يكون موجودًا حرفيًا في المستند، بينما يقول سياقه شيئًا مختلفًا تمامًا.

كم هو مرهق التحقق اليدوي من اقتباس واحد، يسرد cookbook الرسمي ثلاث خطوات: العثور على المستند، والعثور على الاقتباس داخل المستند، ثم قراءة سياق كافٍ للحكم على ما إذا كان يدعم الادعاء. إذا كان هذا حال اقتباس واحد، فماذا عن 8 اقتباسات، أو 80، أو 800؟

الحل الآلي في cookbook الرسمي هذا (Double-checking citations) هو بوّابتان: أولًا مطابقة نصوص عادية للعثور على الاقتباسات «غير الموجودة في النص الأصلي» — هذه مُختلَقة (fabricated) ولا حاجة أصلًا لتدخل النموذج؛ والاقتباسات التي تنجو تخضع لسؤال Choice واحد يقرأ السياق ويحدد علاقته بالادعاء.

في الدرس السابق حواجز حماية LLM أوقفنا «ما لا ينبغي قوله»، وفي هذا الدرس نوقف «ما لا ينبغي اقتباسه» — بنفس فكرة «الاحتمال + العتبة + التوجيه بالكود»، وهذه المرة نحرس «هل لكل جملة ادعاء مصدر». يستغرق هذا الدرس حوالي 12 دقيقة، ويأخذك لتشغيل حزمة البيانات الرسمية بالكامل: المستند المصدر هو RFC 7519 (JSON Web Token، مايو 2015 عام 5)، و8 اقتباسات كتبها LLM بالاستناد إليه — 4 منها دقيقة و4 عُدِّلت رسميًا، وكلها تُدقَّق مقابل الأرقام المنشورة رسميًا (jev-1.12، 2026-08-16 sampling).

text
اقتباس واحد (claim + quote + section)
        │
        ▼
البوابة 1: مطابقة النصوص — هل الاقتباس موجود في المستند المصدر؟
        │                    │
     غير موجود              موجود (يُسجَّل القسم) / أُشير إلى القسم فقط
        │                    │
        ▼                    ▼
    fabricated        البوابة 2: سؤال Choice واحد
   (مُختلَق، صفر طلبات)      ما علاقة السياق بالادعاء؟
                         supports      → verified
                         contradicts   → contradicted
                         says_nothing  → unsupported
                              │
                              ▼
                    confidence ≥ 0.8 → يسري الحكم
                    confidence < 0.8 → تأكيد بشري

ماذا ستستطيع فعله بعد إتمام الدرس ​

  • الحكم تلقائيًا على كل اقتباس في مخرجات الذكاء الاصطناعي بأنه واحد من أربعة: verified يُسمح بمروره، fabricated / contradicted يُرفض، unsupported يُحوَّل إلى مراجعة بشرية
  • استخدام مطابقة النصوص بتكلفة API صفرية لإيقاف الاقتباسات الوهمية «غير الموجودة أصلًا في النص» أولًا
  • استخدام سؤال Choice واحد لقراءة سياق الاقتباس وتحديد ما إذا كان supports / contradicts / says_nothing الادعاء
  • التوجيه التلقائي حسب عتبة confidence: الأحكام عالية الثقة تسري مباشرة، والمنخفضة تدخل قائمة المراجعة البشرية (النقطة الرسمية 0.8)

لماذا استخدام Jev بدلًا من التحقق اليدوي واحدًا واحدًا؟ ​

القدرةالتحقق اليدوي واحدًا واحدًاالتحقق من اقتباسات Jev
زمن اقتباس واحد❌ العثور على المستند والاقتباس وقراءة سياق كافٍ، واحدًا تلو الآخر✅ قياس فعلي من ذاكرة التخزين الرسمية: حكم واحد 0.08–0.25 ثانية
معيار الحكم❌ يختلف حسب الشخص والوقت، وغالبًا ما يُخلط بين «النص لم يذكر» و«النص قال العكس» في فئة واحدة✅ العلاقات الثلاث معرّفة في criteria، وتُطوى إلى أربعة أحكام ثابتة
الاقتباسات المُختلَقة❌ يجب أولًا الوصول إلى الموضع المقابل في النص الأصلي لاكتشافها✅ مطابقة النصوص توقفها أولًا، دون إرسال أي طلب
كيفية التعبير عن درجة الثقة❌ «يبدو سليمًا» — لا يمكن إدخاله في سير العمل✅ احتمالات معايرة + confidence، وما دون 0.8 يُحوَّل تلقائيًا إلى مراجعة بشرية
المعالجة الدفعية والتدقيق❌ سجلات التحقق تبقى في الرأس وسجل المحادثات✅ كل حكم يحمل الاحتمال ودرجة الثقة وعدد الرموز، قابل للأرشفة وإعادة التشغيل

معضلتك الحالية ​

  • «اقتباسات التقرير الذي كتبه الذكاء الاصطناعي تبدو حقيقية أكثر فأكثر، ولا يمكن بالتأكيد الرجوع إلى النص الأصلي لكل واحدة — لكن آخر مرة فاتني اقتباس مُختلَق»
  • «الأخبث هو ذلك النوع من الاقتباسات: موجود حرفيًا في النص الأصلي، لكن سياقه يقول العكس تمامًا، ولا يمكن اكتشافه بمسح بصري سريع»
  • «أريد تحققًا دفعيًا، لكني لا أجرؤ على جعل LLM آخر حكمًا — فطريقة خطئه في الحكم مطابقة تمامًا لطريقة هلوسة الاقتباسات»

متى تستخدم هذه الطريقة ​

عندما تحتاج إلى:

  • إجراء فحص جودة دفعي لـ «مخرجات الذكاء الاصطناعي المرفقة باقتباسات» مثل أسئلة وأجوبة RAG ومساعدات الكتابة بالذكاء الاصطناعي ومراجعات الأدبيات
  • الحكم على كل اقتباس بأنه واحد من أربعة، ولكل منها معالجتها الخاصة: السماح بالمرور، أو الرفض، أو التحويل إلى مراجعة بشرية
  • إيقاف الاقتباسات المُختلَقة بتكلفة صفرية، مع وجود ضمان بشري للأحكام منخفضة الثقة

ولا تريد:

  • الرجوع يدويًا إلى النص الأصلي لكل اقتباس للعثور عليه وقراءة سياقه واحدًا واحدًا
  • أن تكون نتيجة التحقق مجرد نص حر لا يمكن إدخاله في سير العمل
  • أن تفلت اقتباسات تستشهد بنص حقيقي لتقول كلامًا زائفًا من الفحص وتصل إلى المسودة الرسمية

🎒 التحضير قبل البدء ​

  • أكملت Choice أسئلة الاختيار: تعرف أن criteria هي خريطة خيارات، وأن الإجابة تأتي مع probabilities و confidence — خط الحكم بالكامل في هذه الصفحة يعتمد على سؤال Choice واحد
  • (اختياري لكن موصى به) قرأت Confidence درجة الثقة: من الاستخدامات الثلاث «تحويل الثقة المنخفضة إلى مراجعة بشرية» وهي فكرة عتبة AUTO_ACCEPT في هذه الصفحة
  • نجحت في تشغيل التثبيت وأول طلب: يوجد typesafe-sdk داخل .venv، و TYPESAFE_API_KEY موجود بالفعل في متغيرات البيئة
  • تعرف أن حزمة البيانات الرسمية تتضمن ذاكرة تخزين مؤقت للنتائج: إعادة التشغيل تعيد تشغيل الأرقام المنشورة ولا ترسل أي طلب؛ لا تتم الاستدعاءات الحقيقية إلا بعد حذف الذاكرة المؤقتة (7 مرات — الاقتباس رقم 8 خرج في مرحلة مطابقة السلاسل). تتم الفوترة حسب رموز الإدخال والإخراج مجاني، والأسعار في النماذج والأسعار

نفّذ معي ​

الخطوة 1: الحصول على حزمة البيانات الرسمية (RFC 7519 + 8 اقتباسات + ذاكرة النتائج المؤقتة) ​

لماذا: للتحقق من الاقتباسات تحتاج مستندات حقيقية واقتباسات حقيقية. يجهّز الـ cookbook الرسمي الأشياء الثلاثة كلها: rfc7519.txt (نص RFC 7519 الأصلي، مجلوب من rfc-editor.org)، citations.json (8 اقتباسات كتبها LLM استنادًا إلى RFC — 4 منها دقيقة و 4 منها عبث بها المسؤولون ومصيرها الفشل)، json_cache.json (ذاكرة النتائج التي أنتجها المسؤولون). كلها موجودة في مجلد cookbooks/citation_check بمستودع typesafe-public-examples.

في المجلد الذي شغّلت فيه درس التثبيت (حيث يوجد .venv) نزّل الملفات الثلاثة، ثم ثبّت الحزمتين اللتين يستخدمهما الـ notebook الرسمي:

bash
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/rfc7519.txt
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/citations.json
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/json_cache.json
.venv/bin/pip install ipython 'cooksafe>=0.2.0,<0.3.0'

ثم أنشئ السكربت الرئيسي لهذا الدرس citation_check.py، واكتب الهيكل أولًا (العميل والذاكرة المؤقتة منسوخان حرفيًا من الـ cookbook الرسمي):

python
# citation_check.py —— 引用核查:拦住幻觉引文
# 依赖:.venv 里已有 typesafe-sdk(安装课装过),本课另装 ipython 和 cooksafe
import json
import os
import re
from pathlib import Path
from time import perf_counter

from cooksafe import JsonCache
from typesafe_sdk import Choice, TypeSafeClient

# 官方 cookbook 锁定的版本:本页核对的所有数字出自 jev-1.12(2026-08-16 采样)。
# 阈值是对着具体版本调的——jev-latest 别名会随新版本漂移,调过阈值的系统要锁版本 ID。
TYPESAFE_MODEL = "jev-1.12"
AUTO_ACCEPT = 0.8  # 官方注释:起步设高,多转人工;对模型的信任建立起来再往下调

client = TypeSafeClient(
    api_key=os.environ.get("TYPESAFE_API_KEY", "cache-only"),
    base_url=os.environ.get("TYPESAFE_ENDPOINT"),
    timeout=120.0,
)
json_cache = JsonCache(Path("json_cache.json"))

تحقق من أن الملفات كلها في مكانها:

bash
.venv/bin/python -c "from pathlib import Path; import json; print(Path('rfc7519.txt').stat().st_size, 'bytes'); print(len(json.loads(Path('citations.json').read_text())), 'citations')"

يجب أن ترى:

text
63039 bytes
8 citations

تفصيل لطيف: كتب المسؤولون القيمة الافتراضية لـ api_key على شكل "cache-only" — ما دام json_cache.json موجودًا، فإن إعادة التشغيل تعيد تشغيل الأرقام الرسمية بالكامل دون إرسال أي طلب، لذلك يمكنك إتمام هذا الدرس كاملًا حتى دون مفتاح API مؤقتًا؛ عند حذف ملف الذاكرة المؤقتة لتشغيل الاستدعاءات الحقيقية فقط، يصبح المفتاح إلزاميًا.

  • نُزّلت الملفات الثلاثة بنجاح، والأمر أعلاه يطبع 63039 bytes و 8 citations

الخطوة 2: تحميل المستند المصدر وتقسيمه إلى أقسام مرقمة ​

لماذا: لا ينبغي للنموذج أن يقرأ RFC بطول 58 ألف حرف كاملًا. الطريقة الرسمية: load_source() يزيل أولًا رؤوس وتذييلات كل صفحة (وإلا فسيقطّع الفقرات)، ثم split_sections() يقسم النص حسب عناوين الأقسام المرقمة إلى 45 قسمًا؛ لاحقًا يُرسل لكل اقتباس فقط القسم الذي يقع فيه إلى الحالة. «حالة كبيرة مليئة بالتفاصيل غير ذات الصلة» فخ معروف في Jev — وهذه الخطوة تحجب التفاصيل غير ذات الصلة مسبقًا عند الباب.

تابع الكتابة في citation_check.py (دوال التحليل منسوخة حرفيًا من الـ cookbook الرسمي):

python
def load_source() -> str:
    """RFC 7519 verbatim, minus the page headers and footers that interrupt its paragraphs."""
    lines = []
    for line in Path("rfc7519.txt").read_text().splitlines():
        bare = line.lstrip("\f")
        if re.match(r"Jones, et al\.\s.*\[Page \d+\]$", bare):
            continue
        if re.match(r"RFC 7519\s+JSON Web Token \(JWT\)\s+May 2015$", bare):
            continue
        lines.append(bare)
    return re.sub(r"\n{3,}", "\n\n", "\n".join(lines))


def split_sections(source: str) -> dict[str, str]:
    """Map each numbered section ("4.1.3") to its text, split on the RFC's header lines."""
    boundary = re.compile(r"(?m)^(?:(\d+(?:\.\d+)*)\.  .+|Appendix [A-Z]\..*)$")
    marks = list(boundary.finditer(source))
    sections = {}
    for mark, nxt in zip(marks, marks[1:] + [None]):
        if mark.group(1) is None:  # an appendix header only terminates the section before it
            continue
        sections[mark.group(1)] = source[mark.start() : nxt.start() if nxt else len(source)].strip()
    return sections


SOURCE = load_source()
SECTIONS = split_sections(SOURCE)
CITATIONS = json.loads(Path("citations.json").read_text())

انظر إلى شكل نتيجة التحميل والاقتباسات:

bash
.venv/bin/python -c "from citation_check import SOURCE, SECTIONS, CITATIONS; print(f'{len(SOURCE):,} characters, {len(SECTIONS)} numbered sections, {len(CITATIONS)} citations')"

يجب أن ترى:

text
58,365 characters, 45 numbered sections, 8 citations

ثم انظر إلى شكل اقتباسين (أحدهما مع اقتباس نصي والآخر يشير فقط إلى قسم):

bash
.venv/bin/python -c "import json; from citation_check import CITATIONS; print(json.dumps(CITATIONS[1], indent=2)); print(json.dumps(next(c for c in CITATIONS if c['quote'] is None), indent=2))"

يجب أن ترى:

text
{
  "id": "aud_reject",
  "claim": "If a validator does not find itself in a token's audience list, it has to reject the token.",
  "quote": "If the principal processing the claim does not identify itself with a value in the \"aud\" claim when this claim is present, then the JWT MUST be rejected.",
  "section": "4.1.3"
}
{
  "id": "iat_future",
  "claim": "The \"iat\" claim requires validators to reject tokens whose issue time is in the future.",
  "quote": null,
  "section": "4.1.6"
}

لكل اقتباس أربعة حقول: id (المعرف الذي تختاره)، claim (الجملة الادعائية في مخرجات الذكاء الاصطناعي)، quote (المقطع الأصلي الذي يستشهد به)، section (رقم القسم). quote بقيمة null يعني «يشير فقط إلى قسم دون اقتباس نصي» — لا توجد سلسلة للمطابقة، فيُرسل القسم المذكور مباشرة إلى النموذج.

  • الطباعتان كلتاهما مطابقتان: 58,365 characters, 45 numbered sections, 8 citations، وكذلك aud_reject (مع quote) و iat_future (quote بقيمة null)

الخطوة 3: مطابقة السلاسل تعترض أولًا الاقتباسات «غير الموجودة في النص الأصلي» ​

لماذا: إذا لم يكن الاقتباس في المستند فهو مختلق — هذه الحالة لا تحتاج إلى نموذج، ومطابقة سلاسل عادية تكفي، دون إرسال أي استدعاء API واحد. قبل المطابقة يتم التسوية: نص RFC يلتف كل سطر عند حوالي 72 حرفًا، فالاقتباس بفواصل الأسطر كما هو لن يتطابق؛ بطي المسافات البيضاء إلى مسافة واحدة وتحويل علامات الاقتباس المنحنية إلى مستقيمة، تتطابق أيضًا الاقتباسات الممتدة عبر الأسطر.

تابع الكتابة (منسوخ حرفيًا من الـ cookbook الرسمي):

python
def normalize(text: str) -> str:
    """Collapse whitespace and fold curly quotes, so a quote matches across line wraps."""
    table = str.maketrans({"“": '"', "”": '"', "‘": "'", "’": "'"})
    return re.sub(r"\s+", " ", text.translate(table)).strip()


def find_quote(sections: dict[str, str], quote: str) -> str | None:
    """The number of the section that contains the quote verbatim, or None."""
    needle = normalize(quote)
    for number in sorted(sections, key=lambda n: [int(p) for p in n.split(".")]):
        if needle in normalize(sections[number]):
            return number
    return None


def locate(sections: dict[str, str], citation: dict) -> tuple[str, str | None]:
    """Step 1 for one citation: a status, plus the section step 2 will read."""
    if citation["quote"] is None:
        return "section-only", sections[citation["section"]]
    number = find_quote(sections, citation["quote"])
    if number is None:
        return "missing", None
    return "found", sections[number]

locate() يعيد شيئين: حالة (found موجود / missing غير موجود / section-only يشير إلى قسم فقط)، ونص القسم الذي سيُرسل إلى النموذج في الخطوة التالية. أنشئ locate_report.py لرؤية نتائج مطابقة 8 اقتباسات:

python
# locate_report.py —— 第 3 步检查:8 条引文的字符串匹配结果
from citation_check import CITATIONS, SECTIONS, locate

for citation in CITATIONS:
    status, section = locate(SECTIONS, citation)
    where = f"section of {len(section):,} chars" if section else "not in the source"
    print(f"{citation['id']:<18}{status:<14}{where}")
bash
.venv/bin/python locate_report.py

يجب أن ترى (الأرقام المنشورة رسميًا):

text
epoch_seconds     found         section of 3,122 chars
aud_reject        found         section of 761 chars
sig_reporting     missing       not in the source
clock_skew        found         section of 529 chars
exp_required      found         section of 529 chars
pii_encryption    found         section of 1,653 chars
iat_future        section-only  section of 270 chars
duplicate_names   found         section of 918 chars

sig_reporting خرج هنا: «اقتباسه» غير موجود أصلًا في RFC — ورخصة البيانات الرسمية (DATA_LICENSE.md) توضح أيضًا أن هذا الـ quote كتبوه هم وليس نصًا من RFC. لن تُصرف عليه أي طلبات بعد الآن. iat_future من نوع آخر: يشير فقط إلى القسم 4.1.6 دون اقتباس، فلا توجد سلسلة للمطابقة، ويؤخذ ذلك القسم مباشرة للمتابعة.

  • من 8 أسطر الحالة يوجد سطر missing (sig_reporting) وسطر section-only (iat_future)، و 6 الأسطر المتبقية كلها found

الخطوة 4: استخدام سؤال Choice واحد للحكم على ما إذا كان السياق يدعم الادعاء ​

لماذا: الاقتباسات التي وصلت إلى هذه الخطوة موجودة حرفيًا في النص الأصلي — لكن هذا لا يكفي: قد يكون الاقتباس دقيقًا ويظل الادعاء المبني عليه خاطئًا. الحكم على هذا يتطلب قراءة سياق الاقتباس (القسم الذي وجدته الخطوة 3). يستخدم المسؤولون سؤال Choice واحدًا يغطي العلاقات الثلاث بين القسم والادعاء؛ الخيار الأعلى احتمالًا هو الحكم، و confidence ≥ 0.8 يجعل الحكم ساريًا مباشرة، وأقل من 0.8 يُحوَّل إلى تأكيد بشري.

تابع الكتابة (تعريف السؤال وطي الحكم منسوخان حرفيًا من الـ cookbook الرسمي):

python
QUESTIONS = {
    "relation": Choice(
        instructions="How does the section relate to the claim?",
        criteria={
            "supports": "The section states the claim or directly implies that it is true",
            "contradicts": "The section states the opposite of the claim or implies it is false",
            "says_nothing": "The section does not address what the claim asserts, either way",
        },
    ),
}

RELATION_TO_VERDICT = {
    "supports": "verified",
    "contradicts": "contradicted",
    "says_nothing": "unsupported",
}


@json_cache
def ask(claim: str, section: str) -> dict:
    started = perf_counter()
    response = client.system_one(
        state={"claim": claim, "section": section},
        questions=QUESTIONS,
        model=TYPESAFE_MODEL,
    )
    answer = response.answers["relation"]
    return {
        "choice": answer.choice,
        "probabilities": answer.probabilities,
        "confidence": answer.confidence,
        "seconds": round(perf_counter() - started, 2),
        "input_tokens": response.usage.input_tokens or 0,
        "output_tokens": response.usage.output_tokens or 0,
    }


def verdict(status: str, answer: dict | None) -> dict:
    """Fold step 1 and step 2 into one of the four labels, plus an auto-or-review flag."""
    if status == "missing":
        # confidence None: no model was called, so there is no model confidence to report
        return {"verdict": "fabricated", "confidence": None, "auto": True}
    return {
        "verdict": RELATION_TO_VERDICT[answer["choice"]],
        "confidence": answer["confidence"],
        "auto": answer["confidence"] >= AUTO_ACCEPT,
    }


def check_citation(sections: dict[str, str], citation: dict) -> dict:
    status, section = locate(sections, citation)
    answer = ask(citation["claim"], section) if section is not None else None
    return {"id": citation["id"], "status": status, "answer": answer, **verdict(status, answer)}

ثلاث نقاط تصميم تستحق الانتباه:

  • الحالة فيها شيئان فقط: claim و section. مهمة «أي مقطع يُقرأ» أنجزتها الخطوة 3 بالفعل، وما يحصل عليه النموذج مادة حكم نظيفة.
  • @json_cache المُزيِّن: عند إصابة الذاكرة المؤقتة يعيد تشغيل الأرقام الرسمية دون استدعاء API؛ وما ليس في الذاكرة فقط هو ما يُرسل له طلب حقيقي.
  • كيف تُطوى الأحكام الأربعة: missing → fabricated (يُسجَّل confidence بقيمة None — لم يُستدعَ النموذج، فلا توجد درجة ثقة نموذج للإبلاغ عنها)؛ والبقية تُحوَّل وفق RELATION_TO_VERDICT إلى verified / contradicted / unsupported، وعلامة auto يحددها AUTO_ACCEPT.

💡 هذه هي القيمة الفريدة لـ Jev

«وجود الاقتباس حرفيًا في النص الأصلي» لا يعني «صحة الادعاء». اقتباس exp_required منقول بحروفه دون أي تغيير من القسم 4.1.4، والادعاء يقول «كل JWT يجب أن يحمل exp، والـ token بلا exp غير صالح» — بينما القسم نفسه يكتب "Use of this claim is OPTIONAL". في توزيع الاحتمالات contradicts=1.0 و confidence 0.99، فتُعتَرض دفعة واحدة هذه الحالة من «الاستشهاد بنص حقيقي لقول العكس». الحكم حقل مهيكل + احتمال معايَر، والكود يفرّع مباشرة؛ أما لو طلبت من نموذج توليدي كتابة «رأي تحقق» فسيتعين عليك تحليل النص، ناهيك عن أنه هو نفسه يهلوس أيضًا.

💡 انتبه للمحتوى الصيني

البيان الرسمي: الإنجليزية هي اللغة الرئيسة في تدريب Jev، واللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل إجراء تحقق اقتباسات على مستندات صينية وادعاءات صينية، أو ترجمة الأسئلة إلى الصينية، شغّل أولًا دفعة على بياناتك الحقيقية وراقب توزيع الاحتمالات و confidence ثم حدد العتبة.

يجب أن ترى: لا يوجد مخرجات في هذه الخطوة، اترك الكود بعد كتابته — الخطوة التالية تشغّل الكل.

الخطوة 5: تشغيل تحقق الاقتباسات بالذكاء الاصطناعي بالكامل، ومَن تعترضه الأحكام الأربعة ​

لماذا: النظرة الفردية تكشف المنطق، والنظرة الشاملة تكشف النتيجة. راجعت الجهة الرسمية جميع الاقتباسات الـ8 واحدة واحدة: تم تصديق جميع الاقتباسات الدقيقة البالغة 4 (verified) (بثقة تتجاوز 0.93)، وتم اعتراض جميع الاقتباسات الـ4 التي عُدّلت — اقتباس مُختلَق 1 (fabricated)، واقتباس متناقض 1 (contradicted)، واقتباسان غير مدعومين 2 (unsupported) حُوِّلا إلى المراجعة البشرية.

أنهِ citation_check.py بإضافة البرنامج الرئيسي:

python
if __name__ == "__main__":
    print(f"{'citation':<18}{'quote':<14}{'relation':<14}{'conf':>6}  {'verdict':<13}{'action':>7}")
    for citation in CITATIONS:
        result = check_citation(SECTIONS, citation)
        answer = result["answer"]
        relation = answer["choice"] if answer else "-"
        conf = f"{answer['confidence']:.2f}" if answer else "-"
        action = "auto" if result["auto"] else "review"
        print(
            f"{result['id']:<18}{result['status']:<14}{relation:<14}{conf:>6}"
            f"  {result['verdict']:<13}{action:>7}"
        )

شغّله (ملف التخزين المؤقت موجود، فيعيد إنتاج الأرقام الرسمية دون إرسال أي طلب؛ احذف التخزين المؤقت لتصبح 7 استدعاءات حقيقية):

bash
.venv/bin/python citation_check.py

ينبغي أن ترى (الأرقام المنشورة رسميًا، jev-1.12، عينة 2026-08-16؛ بعد حذف ملف التخزين المؤقت تكون الاستدعاءات حقيقية):

text
citation          quote         relation        conf  verdict       action
epoch_seconds     found         supports        0.93  verified        auto
aud_reject        found         supports        0.95  verified        auto
sig_reporting     missing       -                  -  fabricated      auto
clock_skew        found         supports        0.99  verified        auto
exp_required      found         contradicts     0.99  contradicted    auto
pii_encryption    found         says_nothing    0.27  unsupported   review
iat_future        section-only  says_nothing    0.56  unsupported   review
duplicate_names   found         supports        0.99  verified        auto

اقرأ هذا الجدول سطرًا سطرًا؛ أربعة تفاصيل فيه رتّبتها الجهة الرسمية عن قصد:

  • جميع الاقتباسات الدقيقة الـ4 مصدَّقة verified: epoch_seconds وaud_reject وclock_skew وduplicate_names، بثقة تتجاوز 0.93، أي أعلى بكثير من خط السريان 0.8.
  • sig_reporting لم يستهلك أي طلب: الاقتباس غير موجود في RFC، فحكمت عليه خطوة مطابقة السلاسل بـ fabricated قبل حتى الوصول إلى النموذج.
  • exp_required هو حالة «الاقتباس من نص حقيقي مع قول العكس»: الاقتباس منقول حرفيًا من 4.1.4، لكن القسم نفسه يقول "Use of this claim is OPTIONAL" — contradicts 1.0، بثقة 0.99.
  • pii_encryption وiat_future دخلا قائمة المراجعة البشرية: says_nothing وبثقة لا تتجاوز 0.27 و0.56 فقط، وكلاهما أدنى من 0.8. pii_encryption هو بالضبط الدليل الرسمي على أن «مطابقة السلاسل وحدها لا تكفي» — الاقتباس موجود حرفيًا في النص الأصلي، لكن القسم رقم 3 الذي يقع فيه لا يحسم مسألة «يجب التشفير».

ألقِ نظرة أخرى على التكلفة: 7 استدعاء نموذج مسجلة في التخزين المؤقت، بمعدل 0.08–0.25 ثانية لكل استدعاء، بإجمالي 4,420 رمز إدخال (token) و281 رمز إخراج — الإخراج مجاني؛ وبحساب الإدخال وفق السعر الحالي $0.042/Mtok (راجعالنماذج والأسعار)، تبلغ كلفة هذه الجولة الكاملة من التحقق نحو $0.0002.

  • في الجدول الذي حصلت عليه ظهرت الأحكام الأربعة جميعها: verified / fabricated / contradicted / unsupported
  • كلا الاقتباسين غير المدعومين (unsupported) يحملان علامة review، والبقية كلها auto

📋 Prompt السحري ​

«Prompt» في هذه الصفحة هو قالب للسؤال والحكم يُرسَل إلى API — انسخه واستبدل العناصر النائبة 【】 (ما يحمل ? اختياري) ويمكنك استخدامه مباشرة.

📝 سؤال Choice لعلاقة الاقتباس (حكم بثلاثة خيارات) ​

النتيجة المتوقعة: تحويل «ما علاقة هذا السياق بهذا الادعاء» إلى سؤال Choice ثابت بثلاثة خيارات، مع تثبيت معايير الحكم داخل criteria.

python
from typesafe_sdk import Choice

QUESTIONS = {
    "relation": Choice(
        instructions="【一句话问上下文与论断的关系,官方原文:How does the section relate to the claim?】",
        criteria={
            "supports": "【什么算支持:章节陈述了论断,或直接暗示它为真】",
            "contradicts": "【什么算相抵触:章节说的是论断的反面,或暗示它为假】",
            "says_nothing": "【什么算没提到:章节对论断的断言不置可否】",
        },
    ),
}
# 必填项:三个选项的方向要正——supports = 引文真的撑得住论断
# 选填项:需要更多判定档位(如「部分支持」)就加选项;选项数变了 confidence 的读法也跟着变?

# 输出规范:answer.choice → 最高概率选项;answer.probabilities → 每个选项的概率;answer.confidence → 0–1
# 约束条件:
# ✅ 选项定义写成可对照的情境,边界情形放进 criteria
# ❌ 不要只给 supports / not_supports 两档——「原文说了相反的话」和「原文没提」必须分开处理

✅ طي الأحكام الأربعة + عتبة التحويل إلى المراجعة البشرية ​

النتيجة المتوقعة: طي نتيجة مطابقة السلاسل وحكم النموذج في verified / unsupported / contradicted / fabricated، مع تحويل تلقائي للمراجعة البشرية عند انخفاض الثقة.

python
AUTO_ACCEPT = 【0.8】  # 官方起点:先高后低,低于它就转人工

RELATION_TO_VERDICT = {
    "supports": "verified",
    "contradicts": "contradicted",
    "says_nothing": "unsupported",
}


def verdict(status: str, answer: dict | None) -> dict:
    """status: missing / found / section-only(字符串匹配那步的输出)"""
    if status == "missing":
        return {"verdict": "fabricated", "confidence": None, "auto": True}  # 没调模型,confidence 记 None
    return {
        "verdict": RELATION_TO_VERDICT[answer["choice"]],
        "confidence": answer["confidence"],
        "auto": answer["confidence"] >= AUTO_ACCEPT,
    }
# 必填项:AUTO_ACCEPT 用你自己文档上跑出的分布定,0.8 只是官方起点
# 选填项:想更严可以给 contradicted 单独设一条更低的转人工线?

# 输出规范:{"verdict": "verified|unsupported|contradicted|fabricated", "confidence": float|None, "auto": bool}
# 约束条件:
# ✅ auto=False 的一律进人工队列——官方就是这么处理 pii_encryption(0.27)和 iat_future(0.56)的
# ❌ 不要拿 confidence 改判定本身——它只决定「谁来看」,不决定「是什么」

🔧 citations.json: استبدله بمستنداتك واقتباساتك الخاصة ​

النتيجة المتوقعة: توجيه التحقق نحو منتج RAG / الكتابة الخاص بك: غيّر المستند المصدر وقائمة الاقتباسات، دون تغيير أي سطر في خط أنابيب الحكم.

json
[
  {
    "id": "【引文 id,用你产品里的引文主键,判定结果好回写】",
    "claim": "【AI 输出里的那句论断,原文照抄】",
    "quote": "【它引用的原文片段;只指章节不给引文时填 null】",
    "section": "【章节号,如 4.1.4;quote 为 null 时必填,模型读这一节】"
  }
]
  • الحقول الإلزامية: claim + quote (أو quote: null مع section)
  • الحقول الاختيارية: id كمفتاح أساسي للمنتج، لتسهيل إعادة كتابة الحكم إلى المستند الأصلي?
  • مواصفات الإخراج: كل اقتباس → أحد الأحكام الأربعة + الثقة (confidence) + علامة auto
  • شروط القيود:
    • ✅ انسخ quote حرفيًا من المستند المصدر — المطابقة الرسمية هي مطابقةدقيقة بعد التطبيع
    • ❌ لا تتوقع أن يتسامح مع الاقتباسات «المتشابهة تقريبًا» — الاقتباس المقتطع أو المعاد صياغته لا يُعد found ويُحكم عليه بـ fabricated؛ لتحمّل الاقتباسات المهملة في الإنتاج يجب التحول إلى المطابقة التقريبية (النص الحرفي للجهة الرسمية)

نقاط التحقق ✅ ​

  • شغّل citation_check.py فحصلت على جدول أحكام بـ 8 صفوف، وظهرت الأحكام الأربعة verified / fabricated / contradicted / unsupported جميعها
  • أستطيع تفسير سبب حكم sig_reporting بـ fabricated دون استهلاك أي طلب — مطابقة السلاسل لم تجد ذلك «الاقتباس» في RFC
  • أعرف أن اقتباس exp_required موجود حرفيًا في 4.1.4، ولماذا كان الحكم contradicted — القسم نفسه يقول "Use of this claim is OPTIONAL"
  • أعرف لماذا دخلا pii_encryption (0.27) وiat_future (0.56) قائمة المراجعة البشرية — كلاهما أدنى من عتبة 0.8 للـ AUTO_ACCEPT
  • أعرف أن الأرقام الرسمية صادرة من jev-1.12 (عينة 2026-08-16): إذا كان ملف التخزين المؤقت موجودًا يُعاد إنتاجها، ولا تُرسل طلبات حقيقية إلا بعد حذفه

تنبيهات للمزالق ​

❌ الظن أن «وجود الاقتباس في النص الأصلي» يعني «صحة الادعاء» ​

pii_encryption هو مثال مضاد رتّبته الجهة الرسمية: اقتباسه موجود حرفيًا في القسم 3 من RFC، ومطابقة السلاسل تعطيه found بلا شك — لكن ذلك القسم يتحدث عن بنية JWT (ترميز الـ claims في JWS/JWE)، ولا يحسم مسألة «يجب تشفير البيانات الشخصية»، فحكم عليه النموذج بـ says_nothing بثقة لا تتجاوز 0.27. مطابقة السلاسل تعترض «الاختلاق» فقط، ولا تعترض «الاقتباس من نص حقيقي مع قول الكلام الزائف» — ولهذا وُجد سؤال Choice في الخطوة 4.

❌ استخدام المطابقة الدقيقة كمطابقة تقريبية ​

النص الحرفي للجهة الرسمية: المطابقة بعد التطبيع مطابقة دقيقة — إذا قُطع الاقتباس أو أُعيدت صياغة كلمة واحدة، فالنتيجة هي missing → fabricated. إذا كان نظامك يحتاج إلى تحمّل الاقتباسات المهملة، فعليك التحول إلى المطابقة التقريبية. فكّر جيدًا قبل الإطلاق: كيف تُولَّد «الاقتباسات» في منتجك، وكم شيوعًا هو الاقتطاع وإعادة الصياغة.

❌ الاكتفاء بتقسيم ثنائي «ناجح / غير ناجح» ​

لكل حكم من الأحكام الأربعة وجهته: verified يُمرَّر مباشرة؛ fabricated وcontradicted يُعادان لإعادة الكتابة — الأول مختلق والثاني يقول النص الأصلي عكسه؛ unsupported حسب الحالة — قد يحتاج إضافة مصدر، وقد يحتاج تعديل الادعاء نفسه. عند ضغطها في درجتين، لن يجد المصبّ سوى معاملة واحدة للجميع، وسيُعامَل exp_required (النص الأصلي يقول العكس) وpii_encryption (النص الأصلي لم يقل شيئًا) معاملة واحدة.

❌ ضبط العتبة ثم عدم العودة إليها ​

التعليق الرسمي واضح تمامًا: AUTO_ACCEPT = 0.8 هو نقطة انطلاق «ابدأ مرتفعًا وحوّل أكثر إلى المراجعة البشرية»؛ شغّله فترة وراقب أداء النموذج على مستنداتك الخاصة قبل خفضه. كما أن تثبيت الجهة الرسمية لـ TYPESAFE_MODEL على jev-1.12 ليس اعتباطًا — الاسم المستعار jev-latest يتغير مع الإصدارات الجديدة، والعتبة المضبوطة على إصدار قديم قد تصبح شيئًا آخر تمامًا مع تغيير الإصدار (راجعالنماذج والأسعار).

نصائح متقدمة (اختياري) ​

جرّبه أولًا في المتصفح (دون كتابة كود). يستخدم الـ cookbook الرسمي cooksafe مع make_playground_link() لتحويل الـ claim + section الخاص بـ exp_required مع السؤال إلى رابط مشاركة، وبفتحه يُشغَّل الطلب نفسه في Playground:

افتح مثال playground الخاص بـ exp_required ←

الكود الذي يولّد الروابط قصير (يُشغَّل في notebook الرسمي، وقيمتا example و example_section مأخوذتان من الاقتباس الخاص بـ exp_required):

python
from cooksafe import make_playground_link
from IPython.display import Markdown, display

playground_link = make_playground_link(
    {"claim": example["claim"], "section": example_section}, QUESTIONS
)

يجب أن يشير إلى بياناتك الخاصة. تقول الخاتمة الرسمية بصراحة: يكفي استبدال rfc7519.txt و citations.json — لكن load_source() و split_sections() مكتوبتان وفق تنسيق RFC (إزالة الترويسة والتذييل، والتقسيم حسب عناوين الفصول المرقّمة)، أما المستندات ذات الأشكال الأخرى فتحتاج إلى تحليل خاص بها. صفحات الويب، وتحويل PDF إلى نص، وأدلة Markdown — منطق تقسيم «الأقسام» يختلف في كل منها، لكن مبدأ «كل اقتباس يُرسَل مع الفقرة التي يقع فيها فقط» يبقى ثابتًا.

إعادة تشغيل الذاكرة المؤقتة مقابل الاستدعاء الحقيقي. ما دام json_cache.json موجودًا، فإن إعادة التشغيل تعيد عرض الأرقام الرسمية (api_key افتراضيًا "cache-only"، ويمكن إعادة الإنتاج حتى بدون Key)؛ احذفه، وستُحتسب 7 استدعاءات حقيقية بحسب رموز الإدخال، بينما الإخراج مجاني. إذا أردت في مشروعك أيضًا أسلوب «إعادة العرض أولًا ثم التشغيل الفعلي»، فإن أداة الديكوريتور JsonCache في cooksafe هي المخصصة لذلك.

خلاصة هذا الدرس ​

✅ بوابتان للتحقق من اقتباسات الذكاء الاصطناعي: مطابقة السلاسل النصية توقف الاقتباسات «غير الموجودة في النص الأصلي» (fabricated، بتكلفة API صفرية)؛ وسؤال Choice واحد يحدد ما إذا كان السياق يدعم الادعاء.

✅ أربعة أحكام كلٌّ في موضعه: verified يُمرَّر، وcontradicted يُرفض (النص الأصلي قال العكس)، وunsupported يُحوَّل إلى مراجعة بشرية (النص الأصلي لم يذكر)، وfabricated يُرفض (الاقتباس مُختلَق) — يُعالَج «الاقتباس من نص حقيقي لقول كلام زائف» و«النص الأصلي لم يقل» بشكل منفصل.

✅ تحكم confidence: عند ≥ 0.8 يسري الحكم، وما دون ذلك يُحوَّل إلى المراجعة البشرية — من أصل 8 حالة رسمية، دخل 2 حالة (0.27، 0.56) إلى قائمة المراجعة البشرية.

✅ القياس الرسمي: 4 اقتباسات صحيحة صارت جميعها verified (فوق 0.93)، و4 اقتباسات إشكالية أُوقفت جميعها؛ إجمالي 7 استدعاء للنموذج نحو 4.4k رمز إدخال، أي ما يعادل تقريبًا $0.0002 وفق الأسعار الحالية.

مراجعة حقول الإعداد الأساسية:

الحقلالقيمة في هذه الصفحةالشرح
TYPESAFE_MODELjev-1.12الإصدار المثبَّت في cookbook الرسمي؛ الأسماء المستعارة تتغير، فعند ضبط العتبة يجب تثبيت المعرف
AUTO_ACCEPT0.8خط سريان الحكم، وما دونه يُحوَّل إلى المراجعة البشرية؛ ابدأ مرتفعًا ثم خفّض تدريجيًا
QUESTIONS["relation"]خيارات Choice الثلاثةsupports / contradicts / says_nothing
تعيين الأحكامsupports→verified وهكذاmissing→fabricated دون المرور بالنموذج، ويُسجَّل confidence بقيمة None
state{"claim": …, "section": …}النموذج يقرأ الادعاء + القسم الذي يقع فيه فقط، والتفاصيل غير ذات الصلة لا تدخل السياق
الذاكرة المؤقتةjson_cache.jsonيعيد عرض الأرقام الرسمية؛ حذفه يعني استدعاءات حقيقية

دروس ذات صلة:

استعراض الدرس التالي ​

التحقق من الاقتباسات يحرس «الكلام المقتبَس»، والدرس التالي يحرس «المقاطع المُدخَلة إلى السياق»: فرز مقاطع RAG: لا يُدخَل إلى السياق إلا المحتوى ذو الصلة.

ستتعلم:

  • طلب واحد لكل مقطع مسترجَع لإعطاء درجة صلة، والكود يحدد أي المقاطع تدخل answering model
  • استخدام سؤال Noul نعم/لا لإعطاء كل مقطع درجة احتمالية 0–1 — وهو مكمّل تمامًا لحكم Choice في هذه الصفحة
  • إبقاء المقاطع غير ذات الصلة خارج السياق، فلا تتذبذب جودة الإجابات مع جودة الاسترجاع
gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.