التحقق من الاقتباسات: إيقاف الاقتباسات الوهمية
💡 الخلاصة في سطر واحد: استخدم Jev لبناء خط تحقق من اقتباسات الذكاء الاصطناعي — مطابقة النصوص توقف الاقتباسات المُختلَقة، وسؤال Choice واحد يحدد ما إذا كان السياق يدعم الادعاء، والأحكام منخفضة الثقة تُحوَّل تلقائيًا إلى مراجعة بشرية.
يحب LLM عند الإجابة على الأسئلة أن يرفق اقتباسات: لكل ادعاء مقطع من المستند المصدر، بالإضافة إلى الاقتباس الذي يستند إليه. لكن بعضها خاطئ، بل مُختلَق: قد لا يكون الاقتباس في المستند أصلًا؛ أو قد يكون موجودًا حرفيًا في المستند، بينما يقول سياقه شيئًا مختلفًا تمامًا.
كم هو مرهق التحقق اليدوي من اقتباس واحد، يسرد cookbook الرسمي ثلاث خطوات: العثور على المستند، والعثور على الاقتباس داخل المستند، ثم قراءة سياق كافٍ للحكم على ما إذا كان يدعم الادعاء. إذا كان هذا حال اقتباس واحد، فماذا عن 8 اقتباسات، أو 80، أو 800؟
الحل الآلي في cookbook الرسمي هذا (Double-checking citations) هو بوّابتان: أولًا مطابقة نصوص عادية للعثور على الاقتباسات «غير الموجودة في النص الأصلي» — هذه مُختلَقة (fabricated) ولا حاجة أصلًا لتدخل النموذج؛ والاقتباسات التي تنجو تخضع لسؤال Choice واحد يقرأ السياق ويحدد علاقته بالادعاء.
في الدرس السابق حواجز حماية LLM أوقفنا «ما لا ينبغي قوله»، وفي هذا الدرس نوقف «ما لا ينبغي اقتباسه» — بنفس فكرة «الاحتمال + العتبة + التوجيه بالكود»، وهذه المرة نحرس «هل لكل جملة ادعاء مصدر». يستغرق هذا الدرس حوالي 12 دقيقة، ويأخذك لتشغيل حزمة البيانات الرسمية بالكامل: المستند المصدر هو RFC 7519 (JSON Web Token، مايو 2015 عام 5)، و8 اقتباسات كتبها LLM بالاستناد إليه — 4 منها دقيقة و4 عُدِّلت رسميًا، وكلها تُدقَّق مقابل الأرقام المنشورة رسميًا (jev-1.12، 2026-08-16 sampling).
اقتباس واحد (claim + quote + section)
│
▼
البوابة 1: مطابقة النصوص — هل الاقتباس موجود في المستند المصدر؟
│ │
غير موجود موجود (يُسجَّل القسم) / أُشير إلى القسم فقط
│ │
▼ ▼
fabricated البوابة 2: سؤال Choice واحد
(مُختلَق، صفر طلبات) ما علاقة السياق بالادعاء؟
supports → verified
contradicts → contradicted
says_nothing → unsupported
│
▼
confidence ≥ 0.8 → يسري الحكم
confidence < 0.8 → تأكيد بشريماذا ستستطيع فعله بعد إتمام الدرس
- الحكم تلقائيًا على كل اقتباس في مخرجات الذكاء الاصطناعي بأنه واحد من أربعة: verified يُسمح بمروره، fabricated / contradicted يُرفض، unsupported يُحوَّل إلى مراجعة بشرية
- استخدام مطابقة النصوص بتكلفة API صفرية لإيقاف الاقتباسات الوهمية «غير الموجودة أصلًا في النص» أولًا
- استخدام سؤال Choice واحد لقراءة سياق الاقتباس وتحديد ما إذا كان supports / contradicts / says_nothing الادعاء
- التوجيه التلقائي حسب عتبة confidence: الأحكام عالية الثقة تسري مباشرة، والمنخفضة تدخل قائمة المراجعة البشرية (النقطة الرسمية 0.8)
لماذا استخدام Jev بدلًا من التحقق اليدوي واحدًا واحدًا؟
| القدرة | التحقق اليدوي واحدًا واحدًا | التحقق من اقتباسات Jev |
|---|---|---|
| زمن اقتباس واحد | ❌ العثور على المستند والاقتباس وقراءة سياق كافٍ، واحدًا تلو الآخر | ✅ قياس فعلي من ذاكرة التخزين الرسمية: حكم واحد 0.08–0.25 ثانية |
| معيار الحكم | ❌ يختلف حسب الشخص والوقت، وغالبًا ما يُخلط بين «النص لم يذكر» و«النص قال العكس» في فئة واحدة | ✅ العلاقات الثلاث معرّفة في criteria، وتُطوى إلى أربعة أحكام ثابتة |
| الاقتباسات المُختلَقة | ❌ يجب أولًا الوصول إلى الموضع المقابل في النص الأصلي لاكتشافها | ✅ مطابقة النصوص توقفها أولًا، دون إرسال أي طلب |
| كيفية التعبير عن درجة الثقة | ❌ «يبدو سليمًا» — لا يمكن إدخاله في سير العمل | ✅ احتمالات معايرة + confidence، وما دون 0.8 يُحوَّل تلقائيًا إلى مراجعة بشرية |
| المعالجة الدفعية والتدقيق | ❌ سجلات التحقق تبقى في الرأس وسجل المحادثات | ✅ كل حكم يحمل الاحتمال ودرجة الثقة وعدد الرموز، قابل للأرشفة وإعادة التشغيل |
معضلتك الحالية
- «اقتباسات التقرير الذي كتبه الذكاء الاصطناعي تبدو حقيقية أكثر فأكثر، ولا يمكن بالتأكيد الرجوع إلى النص الأصلي لكل واحدة — لكن آخر مرة فاتني اقتباس مُختلَق»
- «الأخبث هو ذلك النوع من الاقتباسات: موجود حرفيًا في النص الأصلي، لكن سياقه يقول العكس تمامًا، ولا يمكن اكتشافه بمسح بصري سريع»
- «أريد تحققًا دفعيًا، لكني لا أجرؤ على جعل LLM آخر حكمًا — فطريقة خطئه في الحكم مطابقة تمامًا لطريقة هلوسة الاقتباسات»
متى تستخدم هذه الطريقة
عندما تحتاج إلى:
- إجراء فحص جودة دفعي لـ «مخرجات الذكاء الاصطناعي المرفقة باقتباسات» مثل أسئلة وأجوبة RAG ومساعدات الكتابة بالذكاء الاصطناعي ومراجعات الأدبيات
- الحكم على كل اقتباس بأنه واحد من أربعة، ولكل منها معالجتها الخاصة: السماح بالمرور، أو الرفض، أو التحويل إلى مراجعة بشرية
- إيقاف الاقتباسات المُختلَقة بتكلفة صفرية، مع وجود ضمان بشري للأحكام منخفضة الثقة
ولا تريد:
- الرجوع يدويًا إلى النص الأصلي لكل اقتباس للعثور عليه وقراءة سياقه واحدًا واحدًا
- أن تكون نتيجة التحقق مجرد نص حر لا يمكن إدخاله في سير العمل
- أن تفلت اقتباسات تستشهد بنص حقيقي لتقول كلامًا زائفًا من الفحص وتصل إلى المسودة الرسمية
🎒 التحضير قبل البدء
- أكملت Choice أسئلة الاختيار: تعرف أن criteria هي خريطة خيارات، وأن الإجابة تأتي مع probabilities و confidence — خط الحكم بالكامل في هذه الصفحة يعتمد على سؤال Choice واحد
- (اختياري لكن موصى به) قرأت Confidence درجة الثقة: من الاستخدامات الثلاث «تحويل الثقة المنخفضة إلى مراجعة بشرية» وهي فكرة عتبة AUTO_ACCEPT في هذه الصفحة
- نجحت في تشغيل التثبيت وأول طلب: يوجد
typesafe-sdkداخل.venv، وTYPESAFE_API_KEYموجود بالفعل في متغيرات البيئة - تعرف أن حزمة البيانات الرسمية تتضمن ذاكرة تخزين مؤقت للنتائج: إعادة التشغيل تعيد تشغيل الأرقام المنشورة ولا ترسل أي طلب؛ لا تتم الاستدعاءات الحقيقية إلا بعد حذف الذاكرة المؤقتة (7 مرات — الاقتباس رقم 8 خرج في مرحلة مطابقة السلاسل). تتم الفوترة حسب رموز الإدخال والإخراج مجاني، والأسعار في النماذج والأسعار
نفّذ معي
الخطوة 1: الحصول على حزمة البيانات الرسمية (RFC 7519 + 8 اقتباسات + ذاكرة النتائج المؤقتة)
لماذا: للتحقق من الاقتباسات تحتاج مستندات حقيقية واقتباسات حقيقية. يجهّز الـ cookbook الرسمي الأشياء الثلاثة كلها: rfc7519.txt (نص RFC 7519 الأصلي، مجلوب من rfc-editor.org)، citations.json (8 اقتباسات كتبها LLM استنادًا إلى RFC — 4 منها دقيقة و 4 منها عبث بها المسؤولون ومصيرها الفشل)، json_cache.json (ذاكرة النتائج التي أنتجها المسؤولون). كلها موجودة في مجلد cookbooks/citation_check بمستودع typesafe-public-examples.
في المجلد الذي شغّلت فيه درس التثبيت (حيث يوجد .venv) نزّل الملفات الثلاثة، ثم ثبّت الحزمتين اللتين يستخدمهما الـ notebook الرسمي:
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/rfc7519.txt
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/citations.json
curl -sfLO https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/citation_check/json_cache.json
.venv/bin/pip install ipython 'cooksafe>=0.2.0,<0.3.0'ثم أنشئ السكربت الرئيسي لهذا الدرس citation_check.py، واكتب الهيكل أولًا (العميل والذاكرة المؤقتة منسوخان حرفيًا من الـ cookbook الرسمي):
# citation_check.py —— 引用核查:拦住幻觉引文
# 依赖:.venv 里已有 typesafe-sdk(安装课装过),本课另装 ipython 和 cooksafe
import json
import os
import re
from pathlib import Path
from time import perf_counter
from cooksafe import JsonCache
from typesafe_sdk import Choice, TypeSafeClient
# 官方 cookbook 锁定的版本:本页核对的所有数字出自 jev-1.12(2026-08-16 采样)。
# 阈值是对着具体版本调的——jev-latest 别名会随新版本漂移,调过阈值的系统要锁版本 ID。
TYPESAFE_MODEL = "jev-1.12"
AUTO_ACCEPT = 0.8 # 官方注释:起步设高,多转人工;对模型的信任建立起来再往下调
client = TypeSafeClient(
api_key=os.environ.get("TYPESAFE_API_KEY", "cache-only"),
base_url=os.environ.get("TYPESAFE_ENDPOINT"),
timeout=120.0,
)
json_cache = JsonCache(Path("json_cache.json"))تحقق من أن الملفات كلها في مكانها:
.venv/bin/python -c "from pathlib import Path; import json; print(Path('rfc7519.txt').stat().st_size, 'bytes'); print(len(json.loads(Path('citations.json').read_text())), 'citations')"يجب أن ترى:
63039 bytes
8 citationsتفصيل لطيف: كتب المسؤولون القيمة الافتراضية لـ api_key على شكل "cache-only" — ما دام json_cache.json موجودًا، فإن إعادة التشغيل تعيد تشغيل الأرقام الرسمية بالكامل دون إرسال أي طلب، لذلك يمكنك إتمام هذا الدرس كاملًا حتى دون مفتاح API مؤقتًا؛ عند حذف ملف الذاكرة المؤقتة لتشغيل الاستدعاءات الحقيقية فقط، يصبح المفتاح إلزاميًا.
- نُزّلت الملفات الثلاثة بنجاح، والأمر أعلاه يطبع
63039 bytesو8 citations
الخطوة 2: تحميل المستند المصدر وتقسيمه إلى أقسام مرقمة
لماذا: لا ينبغي للنموذج أن يقرأ RFC بطول 58 ألف حرف كاملًا. الطريقة الرسمية: load_source() يزيل أولًا رؤوس وتذييلات كل صفحة (وإلا فسيقطّع الفقرات)، ثم split_sections() يقسم النص حسب عناوين الأقسام المرقمة إلى 45 قسمًا؛ لاحقًا يُرسل لكل اقتباس فقط القسم الذي يقع فيه إلى الحالة. «حالة كبيرة مليئة بالتفاصيل غير ذات الصلة» فخ معروف في Jev — وهذه الخطوة تحجب التفاصيل غير ذات الصلة مسبقًا عند الباب.
تابع الكتابة في citation_check.py (دوال التحليل منسوخة حرفيًا من الـ cookbook الرسمي):
def load_source() -> str:
"""RFC 7519 verbatim, minus the page headers and footers that interrupt its paragraphs."""
lines = []
for line in Path("rfc7519.txt").read_text().splitlines():
bare = line.lstrip("\f")
if re.match(r"Jones, et al\.\s.*\[Page \d+\]$", bare):
continue
if re.match(r"RFC 7519\s+JSON Web Token \(JWT\)\s+May 2015$", bare):
continue
lines.append(bare)
return re.sub(r"\n{3,}", "\n\n", "\n".join(lines))
def split_sections(source: str) -> dict[str, str]:
"""Map each numbered section ("4.1.3") to its text, split on the RFC's header lines."""
boundary = re.compile(r"(?m)^(?:(\d+(?:\.\d+)*)\. .+|Appendix [A-Z]\..*)$")
marks = list(boundary.finditer(source))
sections = {}
for mark, nxt in zip(marks, marks[1:] + [None]):
if mark.group(1) is None: # an appendix header only terminates the section before it
continue
sections[mark.group(1)] = source[mark.start() : nxt.start() if nxt else len(source)].strip()
return sections
SOURCE = load_source()
SECTIONS = split_sections(SOURCE)
CITATIONS = json.loads(Path("citations.json").read_text())انظر إلى شكل نتيجة التحميل والاقتباسات:
.venv/bin/python -c "from citation_check import SOURCE, SECTIONS, CITATIONS; print(f'{len(SOURCE):,} characters, {len(SECTIONS)} numbered sections, {len(CITATIONS)} citations')"يجب أن ترى:
58,365 characters, 45 numbered sections, 8 citationsثم انظر إلى شكل اقتباسين (أحدهما مع اقتباس نصي والآخر يشير فقط إلى قسم):
.venv/bin/python -c "import json; from citation_check import CITATIONS; print(json.dumps(CITATIONS[1], indent=2)); print(json.dumps(next(c for c in CITATIONS if c['quote'] is None), indent=2))"يجب أن ترى:
{
"id": "aud_reject",
"claim": "If a validator does not find itself in a token's audience list, it has to reject the token.",
"quote": "If the principal processing the claim does not identify itself with a value in the \"aud\" claim when this claim is present, then the JWT MUST be rejected.",
"section": "4.1.3"
}
{
"id": "iat_future",
"claim": "The \"iat\" claim requires validators to reject tokens whose issue time is in the future.",
"quote": null,
"section": "4.1.6"
}لكل اقتباس أربعة حقول: id (المعرف الذي تختاره)، claim (الجملة الادعائية في مخرجات الذكاء الاصطناعي)، quote (المقطع الأصلي الذي يستشهد به)، section (رقم القسم). quote بقيمة null يعني «يشير فقط إلى قسم دون اقتباس نصي» — لا توجد سلسلة للمطابقة، فيُرسل القسم المذكور مباشرة إلى النموذج.
- الطباعتان كلتاهما مطابقتان:
58,365 characters, 45 numbered sections, 8 citations، وكذلكaud_reject(مع quote) وiat_future(quote بقيمة null)
الخطوة 3: مطابقة السلاسل تعترض أولًا الاقتباسات «غير الموجودة في النص الأصلي»
لماذا: إذا لم يكن الاقتباس في المستند فهو مختلق — هذه الحالة لا تحتاج إلى نموذج، ومطابقة سلاسل عادية تكفي، دون إرسال أي استدعاء API واحد. قبل المطابقة يتم التسوية: نص RFC يلتف كل سطر عند حوالي 72 حرفًا، فالاقتباس بفواصل الأسطر كما هو لن يتطابق؛ بطي المسافات البيضاء إلى مسافة واحدة وتحويل علامات الاقتباس المنحنية إلى مستقيمة، تتطابق أيضًا الاقتباسات الممتدة عبر الأسطر.
تابع الكتابة (منسوخ حرفيًا من الـ cookbook الرسمي):
def normalize(text: str) -> str:
"""Collapse whitespace and fold curly quotes, so a quote matches across line wraps."""
table = str.maketrans({"“": '"', "”": '"', "‘": "'", "’": "'"})
return re.sub(r"\s+", " ", text.translate(table)).strip()
def find_quote(sections: dict[str, str], quote: str) -> str | None:
"""The number of the section that contains the quote verbatim, or None."""
needle = normalize(quote)
for number in sorted(sections, key=lambda n: [int(p) for p in n.split(".")]):
if needle in normalize(sections[number]):
return number
return None
def locate(sections: dict[str, str], citation: dict) -> tuple[str, str | None]:
"""Step 1 for one citation: a status, plus the section step 2 will read."""
if citation["quote"] is None:
return "section-only", sections[citation["section"]]
number = find_quote(sections, citation["quote"])
if number is None:
return "missing", None
return "found", sections[number]locate() يعيد شيئين: حالة (found موجود / missing غير موجود / section-only يشير إلى قسم فقط)، ونص القسم الذي سيُرسل إلى النموذج في الخطوة التالية. أنشئ locate_report.py لرؤية نتائج مطابقة 8 اقتباسات:
# locate_report.py —— 第 3 步检查:8 条引文的字符串匹配结果
from citation_check import CITATIONS, SECTIONS, locate
for citation in CITATIONS:
status, section = locate(SECTIONS, citation)
where = f"section of {len(section):,} chars" if section else "not in the source"
print(f"{citation['id']:<18}{status:<14}{where}").venv/bin/python locate_report.pyيجب أن ترى (الأرقام المنشورة رسميًا):
epoch_seconds found section of 3,122 chars
aud_reject found section of 761 chars
sig_reporting missing not in the source
clock_skew found section of 529 chars
exp_required found section of 529 chars
pii_encryption found section of 1,653 chars
iat_future section-only section of 270 chars
duplicate_names found section of 918 charssig_reporting خرج هنا: «اقتباسه» غير موجود أصلًا في RFC — ورخصة البيانات الرسمية (DATA_LICENSE.md) توضح أيضًا أن هذا الـ quote كتبوه هم وليس نصًا من RFC. لن تُصرف عليه أي طلبات بعد الآن. iat_future من نوع آخر: يشير فقط إلى القسم 4.1.6 دون اقتباس، فلا توجد سلسلة للمطابقة، ويؤخذ ذلك القسم مباشرة للمتابعة.
- من 8 أسطر الحالة يوجد سطر
missing(sig_reporting) وسطرsection-only(iat_future)، و 6 الأسطر المتبقية كلهاfound
الخطوة 4: استخدام سؤال Choice واحد للحكم على ما إذا كان السياق يدعم الادعاء
لماذا: الاقتباسات التي وصلت إلى هذه الخطوة موجودة حرفيًا في النص الأصلي — لكن هذا لا يكفي: قد يكون الاقتباس دقيقًا ويظل الادعاء المبني عليه خاطئًا. الحكم على هذا يتطلب قراءة سياق الاقتباس (القسم الذي وجدته الخطوة 3). يستخدم المسؤولون سؤال Choice واحدًا يغطي العلاقات الثلاث بين القسم والادعاء؛ الخيار الأعلى احتمالًا هو الحكم، و confidence ≥ 0.8 يجعل الحكم ساريًا مباشرة، وأقل من 0.8 يُحوَّل إلى تأكيد بشري.
تابع الكتابة (تعريف السؤال وطي الحكم منسوخان حرفيًا من الـ cookbook الرسمي):
QUESTIONS = {
"relation": Choice(
instructions="How does the section relate to the claim?",
criteria={
"supports": "The section states the claim or directly implies that it is true",
"contradicts": "The section states the opposite of the claim or implies it is false",
"says_nothing": "The section does not address what the claim asserts, either way",
},
),
}
RELATION_TO_VERDICT = {
"supports": "verified",
"contradicts": "contradicted",
"says_nothing": "unsupported",
}
@json_cache
def ask(claim: str, section: str) -> dict:
started = perf_counter()
response = client.system_one(
state={"claim": claim, "section": section},
questions=QUESTIONS,
model=TYPESAFE_MODEL,
)
answer = response.answers["relation"]
return {
"choice": answer.choice,
"probabilities": answer.probabilities,
"confidence": answer.confidence,
"seconds": round(perf_counter() - started, 2),
"input_tokens": response.usage.input_tokens or 0,
"output_tokens": response.usage.output_tokens or 0,
}
def verdict(status: str, answer: dict | None) -> dict:
"""Fold step 1 and step 2 into one of the four labels, plus an auto-or-review flag."""
if status == "missing":
# confidence None: no model was called, so there is no model confidence to report
return {"verdict": "fabricated", "confidence": None, "auto": True}
return {
"verdict": RELATION_TO_VERDICT[answer["choice"]],
"confidence": answer["confidence"],
"auto": answer["confidence"] >= AUTO_ACCEPT,
}
def check_citation(sections: dict[str, str], citation: dict) -> dict:
status, section = locate(sections, citation)
answer = ask(citation["claim"], section) if section is not None else None
return {"id": citation["id"], "status": status, "answer": answer, **verdict(status, answer)}ثلاث نقاط تصميم تستحق الانتباه:
- الحالة فيها شيئان فقط:
claimوsection. مهمة «أي مقطع يُقرأ» أنجزتها الخطوة 3 بالفعل، وما يحصل عليه النموذج مادة حكم نظيفة. @json_cacheالمُزيِّن: عند إصابة الذاكرة المؤقتة يعيد تشغيل الأرقام الرسمية دون استدعاء API؛ وما ليس في الذاكرة فقط هو ما يُرسل له طلب حقيقي.- كيف تُطوى الأحكام الأربعة:
missing→fabricated(يُسجَّل confidence بقيمةNone— لم يُستدعَ النموذج، فلا توجد درجة ثقة نموذج للإبلاغ عنها)؛ والبقية تُحوَّل وفقRELATION_TO_VERDICTإلى verified / contradicted / unsupported، وعلامةautoيحددها AUTO_ACCEPT.
💡 هذه هي القيمة الفريدة لـ Jev
«وجود الاقتباس حرفيًا في النص الأصلي» لا يعني «صحة الادعاء». اقتباس exp_required منقول بحروفه دون أي تغيير من القسم 4.1.4، والادعاء يقول «كل JWT يجب أن يحمل exp، والـ token بلا exp غير صالح» — بينما القسم نفسه يكتب "Use of this claim is OPTIONAL". في توزيع الاحتمالات contradicts=1.0 و confidence 0.99، فتُعتَرض دفعة واحدة هذه الحالة من «الاستشهاد بنص حقيقي لقول العكس». الحكم حقل مهيكل + احتمال معايَر، والكود يفرّع مباشرة؛ أما لو طلبت من نموذج توليدي كتابة «رأي تحقق» فسيتعين عليك تحليل النص، ناهيك عن أنه هو نفسه يهلوس أيضًا.
💡 انتبه للمحتوى الصيني
البيان الرسمي: الإنجليزية هي اللغة الرئيسة في تدريب Jev، واللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل إجراء تحقق اقتباسات على مستندات صينية وادعاءات صينية، أو ترجمة الأسئلة إلى الصينية، شغّل أولًا دفعة على بياناتك الحقيقية وراقب توزيع الاحتمالات و confidence ثم حدد العتبة.
يجب أن ترى: لا يوجد مخرجات في هذه الخطوة، اترك الكود بعد كتابته — الخطوة التالية تشغّل الكل.
الخطوة 5: تشغيل تحقق الاقتباسات بالذكاء الاصطناعي بالكامل، ومَن تعترضه الأحكام الأربعة
لماذا: النظرة الفردية تكشف المنطق، والنظرة الشاملة تكشف النتيجة. راجعت الجهة الرسمية جميع الاقتباسات الـ8 واحدة واحدة: تم تصديق جميع الاقتباسات الدقيقة البالغة 4 (verified) (بثقة تتجاوز 0.93)، وتم اعتراض جميع الاقتباسات الـ4 التي عُدّلت — اقتباس مُختلَق 1 (fabricated)، واقتباس متناقض 1 (contradicted)، واقتباسان غير مدعومين 2 (unsupported) حُوِّلا إلى المراجعة البشرية.
أنهِ citation_check.py بإضافة البرنامج الرئيسي:
if __name__ == "__main__":
print(f"{'citation':<18}{'quote':<14}{'relation':<14}{'conf':>6} {'verdict':<13}{'action':>7}")
for citation in CITATIONS:
result = check_citation(SECTIONS, citation)
answer = result["answer"]
relation = answer["choice"] if answer else "-"
conf = f"{answer['confidence']:.2f}" if answer else "-"
action = "auto" if result["auto"] else "review"
print(
f"{result['id']:<18}{result['status']:<14}{relation:<14}{conf:>6}"
f" {result['verdict']:<13}{action:>7}"
)شغّله (ملف التخزين المؤقت موجود، فيعيد إنتاج الأرقام الرسمية دون إرسال أي طلب؛ احذف التخزين المؤقت لتصبح 7 استدعاءات حقيقية):
.venv/bin/python citation_check.pyينبغي أن ترى (الأرقام المنشورة رسميًا، jev-1.12، عينة 2026-08-16؛ بعد حذف ملف التخزين المؤقت تكون الاستدعاءات حقيقية):
citation quote relation conf verdict action
epoch_seconds found supports 0.93 verified auto
aud_reject found supports 0.95 verified auto
sig_reporting missing - - fabricated auto
clock_skew found supports 0.99 verified auto
exp_required found contradicts 0.99 contradicted auto
pii_encryption found says_nothing 0.27 unsupported review
iat_future section-only says_nothing 0.56 unsupported review
duplicate_names found supports 0.99 verified autoاقرأ هذا الجدول سطرًا سطرًا؛ أربعة تفاصيل فيه رتّبتها الجهة الرسمية عن قصد:
- جميع الاقتباسات الدقيقة الـ4 مصدَّقة verified:
epoch_secondsوaud_rejectوclock_skewوduplicate_names، بثقة تتجاوز 0.93، أي أعلى بكثير من خط السريان 0.8. sig_reportingلم يستهلك أي طلب: الاقتباس غير موجود في RFC، فحكمت عليه خطوة مطابقة السلاسل بـ fabricated قبل حتى الوصول إلى النموذج.exp_requiredهو حالة «الاقتباس من نص حقيقي مع قول العكس»: الاقتباس منقول حرفيًا من 4.1.4، لكن القسم نفسه يقول "Use of this claim is OPTIONAL" — contradicts 1.0، بثقة 0.99.pii_encryptionوiat_futureدخلا قائمة المراجعة البشرية: says_nothing وبثقة لا تتجاوز 0.27 و0.56 فقط، وكلاهما أدنى من 0.8.pii_encryptionهو بالضبط الدليل الرسمي على أن «مطابقة السلاسل وحدها لا تكفي» — الاقتباس موجود حرفيًا في النص الأصلي، لكن القسم رقم 3 الذي يقع فيه لا يحسم مسألة «يجب التشفير».
ألقِ نظرة أخرى على التكلفة: 7 استدعاء نموذج مسجلة في التخزين المؤقت، بمعدل 0.08–0.25 ثانية لكل استدعاء، بإجمالي 4,420 رمز إدخال (token) و281 رمز إخراج — الإخراج مجاني؛ وبحساب الإدخال وفق السعر الحالي $0.042/Mtok (راجعالنماذج والأسعار)، تبلغ كلفة هذه الجولة الكاملة من التحقق نحو $0.0002.
- في الجدول الذي حصلت عليه ظهرت الأحكام الأربعة جميعها: verified / fabricated / contradicted / unsupported
- كلا الاقتباسين غير المدعومين (unsupported) يحملان علامة
review، والبقية كلهاauto
📋 Prompt السحري
«Prompt» في هذه الصفحة هو قالب للسؤال والحكم يُرسَل إلى API — انسخه واستبدل العناصر النائبة 【】 (ما يحمل ? اختياري) ويمكنك استخدامه مباشرة.
📝 سؤال Choice لعلاقة الاقتباس (حكم بثلاثة خيارات)
النتيجة المتوقعة: تحويل «ما علاقة هذا السياق بهذا الادعاء» إلى سؤال Choice ثابت بثلاثة خيارات، مع تثبيت معايير الحكم داخل criteria.
from typesafe_sdk import Choice
QUESTIONS = {
"relation": Choice(
instructions="【一句话问上下文与论断的关系,官方原文:How does the section relate to the claim?】",
criteria={
"supports": "【什么算支持:章节陈述了论断,或直接暗示它为真】",
"contradicts": "【什么算相抵触:章节说的是论断的反面,或暗示它为假】",
"says_nothing": "【什么算没提到:章节对论断的断言不置可否】",
},
),
}
# 必填项:三个选项的方向要正——supports = 引文真的撑得住论断
# 选填项:需要更多判定档位(如「部分支持」)就加选项;选项数变了 confidence 的读法也跟着变?
# 输出规范:answer.choice → 最高概率选项;answer.probabilities → 每个选项的概率;answer.confidence → 0–1
# 约束条件:
# ✅ 选项定义写成可对照的情境,边界情形放进 criteria
# ❌ 不要只给 supports / not_supports 两档——「原文说了相反的话」和「原文没提」必须分开处理✅ طي الأحكام الأربعة + عتبة التحويل إلى المراجعة البشرية
النتيجة المتوقعة: طي نتيجة مطابقة السلاسل وحكم النموذج في verified / unsupported / contradicted / fabricated، مع تحويل تلقائي للمراجعة البشرية عند انخفاض الثقة.
AUTO_ACCEPT = 【0.8】 # 官方起点:先高后低,低于它就转人工
RELATION_TO_VERDICT = {
"supports": "verified",
"contradicts": "contradicted",
"says_nothing": "unsupported",
}
def verdict(status: str, answer: dict | None) -> dict:
"""status: missing / found / section-only(字符串匹配那步的输出)"""
if status == "missing":
return {"verdict": "fabricated", "confidence": None, "auto": True} # 没调模型,confidence 记 None
return {
"verdict": RELATION_TO_VERDICT[answer["choice"]],
"confidence": answer["confidence"],
"auto": answer["confidence"] >= AUTO_ACCEPT,
}
# 必填项:AUTO_ACCEPT 用你自己文档上跑出的分布定,0.8 只是官方起点
# 选填项:想更严可以给 contradicted 单独设一条更低的转人工线?
# 输出规范:{"verdict": "verified|unsupported|contradicted|fabricated", "confidence": float|None, "auto": bool}
# 约束条件:
# ✅ auto=False 的一律进人工队列——官方就是这么处理 pii_encryption(0.27)和 iat_future(0.56)的
# ❌ 不要拿 confidence 改判定本身——它只决定「谁来看」,不决定「是什么」🔧 citations.json: استبدله بمستنداتك واقتباساتك الخاصة
النتيجة المتوقعة: توجيه التحقق نحو منتج RAG / الكتابة الخاص بك: غيّر المستند المصدر وقائمة الاقتباسات، دون تغيير أي سطر في خط أنابيب الحكم.
[
{
"id": "【引文 id,用你产品里的引文主键,判定结果好回写】",
"claim": "【AI 输出里的那句论断,原文照抄】",
"quote": "【它引用的原文片段;只指章节不给引文时填 null】",
"section": "【章节号,如 4.1.4;quote 为 null 时必填,模型读这一节】"
}
]- الحقول الإلزامية:
claim+quote(أوquote: nullمعsection) - الحقول الاختيارية:
idكمفتاح أساسي للمنتج، لتسهيل إعادة كتابة الحكم إلى المستند الأصلي? - مواصفات الإخراج: كل اقتباس → أحد الأحكام الأربعة + الثقة (confidence) + علامة auto
- شروط القيود:
- ✅ انسخ
quoteحرفيًا من المستند المصدر — المطابقة الرسمية هي مطابقةدقيقة بعد التطبيع - ❌ لا تتوقع أن يتسامح مع الاقتباسات «المتشابهة تقريبًا» — الاقتباس المقتطع أو المعاد صياغته لا يُعد found ويُحكم عليه بـ fabricated؛ لتحمّل الاقتباسات المهملة في الإنتاج يجب التحول إلى المطابقة التقريبية (النص الحرفي للجهة الرسمية)
- ✅ انسخ
نقاط التحقق ✅
- شغّل
citation_check.pyفحصلت على جدول أحكام بـ 8 صفوف، وظهرت الأحكام الأربعة verified / fabricated / contradicted / unsupported جميعها - أستطيع تفسير سبب حكم
sig_reportingبـ fabricated دون استهلاك أي طلب — مطابقة السلاسل لم تجد ذلك «الاقتباس» في RFC - أعرف أن اقتباس
exp_requiredموجود حرفيًا في 4.1.4، ولماذا كان الحكم contradicted — القسم نفسه يقول "Use of this claim is OPTIONAL" - أعرف لماذا دخلا
pii_encryption(0.27) وiat_future(0.56) قائمة المراجعة البشرية — كلاهما أدنى من عتبة 0.8 للـ AUTO_ACCEPT - أعرف أن الأرقام الرسمية صادرة من jev-1.12 (عينة 2026-08-16): إذا كان ملف التخزين المؤقت موجودًا يُعاد إنتاجها، ولا تُرسل طلبات حقيقية إلا بعد حذفه
تنبيهات للمزالق
❌ الظن أن «وجود الاقتباس في النص الأصلي» يعني «صحة الادعاء»
pii_encryption هو مثال مضاد رتّبته الجهة الرسمية: اقتباسه موجود حرفيًا في القسم 3 من RFC، ومطابقة السلاسل تعطيه found بلا شك — لكن ذلك القسم يتحدث عن بنية JWT (ترميز الـ claims في JWS/JWE)، ولا يحسم مسألة «يجب تشفير البيانات الشخصية»، فحكم عليه النموذج بـ says_nothing بثقة لا تتجاوز 0.27. مطابقة السلاسل تعترض «الاختلاق» فقط، ولا تعترض «الاقتباس من نص حقيقي مع قول الكلام الزائف» — ولهذا وُجد سؤال Choice في الخطوة 4.
❌ استخدام المطابقة الدقيقة كمطابقة تقريبية
النص الحرفي للجهة الرسمية: المطابقة بعد التطبيع مطابقة دقيقة — إذا قُطع الاقتباس أو أُعيدت صياغة كلمة واحدة، فالنتيجة هي missing → fabricated. إذا كان نظامك يحتاج إلى تحمّل الاقتباسات المهملة، فعليك التحول إلى المطابقة التقريبية. فكّر جيدًا قبل الإطلاق: كيف تُولَّد «الاقتباسات» في منتجك، وكم شيوعًا هو الاقتطاع وإعادة الصياغة.
❌ الاكتفاء بتقسيم ثنائي «ناجح / غير ناجح»
لكل حكم من الأحكام الأربعة وجهته: verified يُمرَّر مباشرة؛ fabricated وcontradicted يُعادان لإعادة الكتابة — الأول مختلق والثاني يقول النص الأصلي عكسه؛ unsupported حسب الحالة — قد يحتاج إضافة مصدر، وقد يحتاج تعديل الادعاء نفسه. عند ضغطها في درجتين، لن يجد المصبّ سوى معاملة واحدة للجميع، وسيُعامَل exp_required (النص الأصلي يقول العكس) وpii_encryption (النص الأصلي لم يقل شيئًا) معاملة واحدة.
❌ ضبط العتبة ثم عدم العودة إليها
التعليق الرسمي واضح تمامًا: AUTO_ACCEPT = 0.8 هو نقطة انطلاق «ابدأ مرتفعًا وحوّل أكثر إلى المراجعة البشرية»؛ شغّله فترة وراقب أداء النموذج على مستنداتك الخاصة قبل خفضه. كما أن تثبيت الجهة الرسمية لـ TYPESAFE_MODEL على jev-1.12 ليس اعتباطًا — الاسم المستعار jev-latest يتغير مع الإصدارات الجديدة، والعتبة المضبوطة على إصدار قديم قد تصبح شيئًا آخر تمامًا مع تغيير الإصدار (راجعالنماذج والأسعار).
نصائح متقدمة (اختياري)
جرّبه أولًا في المتصفح (دون كتابة كود). يستخدم الـ cookbook الرسمي cooksafe مع make_playground_link() لتحويل الـ claim + section الخاص بـ exp_required مع السؤال إلى رابط مشاركة، وبفتحه يُشغَّل الطلب نفسه في Playground:
افتح مثال playground الخاص بـ exp_required ←
الكود الذي يولّد الروابط قصير (يُشغَّل في notebook الرسمي، وقيمتا example و example_section مأخوذتان من الاقتباس الخاص بـ exp_required):
from cooksafe import make_playground_link
from IPython.display import Markdown, display
playground_link = make_playground_link(
{"claim": example["claim"], "section": example_section}, QUESTIONS
)يجب أن يشير إلى بياناتك الخاصة. تقول الخاتمة الرسمية بصراحة: يكفي استبدال rfc7519.txt و citations.json — لكن load_source() و split_sections() مكتوبتان وفق تنسيق RFC (إزالة الترويسة والتذييل، والتقسيم حسب عناوين الفصول المرقّمة)، أما المستندات ذات الأشكال الأخرى فتحتاج إلى تحليل خاص بها. صفحات الويب، وتحويل PDF إلى نص، وأدلة Markdown — منطق تقسيم «الأقسام» يختلف في كل منها، لكن مبدأ «كل اقتباس يُرسَل مع الفقرة التي يقع فيها فقط» يبقى ثابتًا.
إعادة تشغيل الذاكرة المؤقتة مقابل الاستدعاء الحقيقي. ما دام json_cache.json موجودًا، فإن إعادة التشغيل تعيد عرض الأرقام الرسمية (api_key افتراضيًا "cache-only"، ويمكن إعادة الإنتاج حتى بدون Key)؛ احذفه، وستُحتسب 7 استدعاءات حقيقية بحسب رموز الإدخال، بينما الإخراج مجاني. إذا أردت في مشروعك أيضًا أسلوب «إعادة العرض أولًا ثم التشغيل الفعلي»، فإن أداة الديكوريتور JsonCache في cooksafe هي المخصصة لذلك.
خلاصة هذا الدرس
✅ بوابتان للتحقق من اقتباسات الذكاء الاصطناعي: مطابقة السلاسل النصية توقف الاقتباسات «غير الموجودة في النص الأصلي» (fabricated، بتكلفة API صفرية)؛ وسؤال Choice واحد يحدد ما إذا كان السياق يدعم الادعاء.
✅ أربعة أحكام كلٌّ في موضعه: verified يُمرَّر، وcontradicted يُرفض (النص الأصلي قال العكس)، وunsupported يُحوَّل إلى مراجعة بشرية (النص الأصلي لم يذكر)، وfabricated يُرفض (الاقتباس مُختلَق) — يُعالَج «الاقتباس من نص حقيقي لقول كلام زائف» و«النص الأصلي لم يقل» بشكل منفصل.
✅ تحكم confidence: عند ≥ 0.8 يسري الحكم، وما دون ذلك يُحوَّل إلى المراجعة البشرية — من أصل 8 حالة رسمية، دخل 2 حالة (0.27، 0.56) إلى قائمة المراجعة البشرية.
✅ القياس الرسمي: 4 اقتباسات صحيحة صارت جميعها verified (فوق 0.93)، و4 اقتباسات إشكالية أُوقفت جميعها؛ إجمالي 7 استدعاء للنموذج نحو 4.4k رمز إدخال، أي ما يعادل تقريبًا $0.0002 وفق الأسعار الحالية.
مراجعة حقول الإعداد الأساسية:
| الحقل | القيمة في هذه الصفحة | الشرح |
|---|---|---|
TYPESAFE_MODEL | jev-1.12 | الإصدار المثبَّت في cookbook الرسمي؛ الأسماء المستعارة تتغير، فعند ضبط العتبة يجب تثبيت المعرف |
AUTO_ACCEPT | 0.8 | خط سريان الحكم، وما دونه يُحوَّل إلى المراجعة البشرية؛ ابدأ مرتفعًا ثم خفّض تدريجيًا |
QUESTIONS["relation"] | خيارات Choice الثلاثة | supports / contradicts / says_nothing |
| تعيين الأحكام | supports→verified وهكذا | missing→fabricated دون المرور بالنموذج، ويُسجَّل confidence بقيمة None |
state | {"claim": …, "section": …} | النموذج يقرأ الادعاء + القسم الذي يقع فيه فقط، والتفاصيل غير ذات الصلة لا تدخل السياق |
| الذاكرة المؤقتة | json_cache.json | يعيد عرض الأرقام الرسمية؛ حذفه يعني استدعاءات حقيقية |
دروس ذات صلة:
- فرز مقاطع RAG: لا يُدخَل إلى السياق إلا المحتوى ذو الصلة — نفس أسلوب «حكم واحد لكل طلب» مطبَّقًا على مقاطع الاسترجاع، وهو موضوع الدرس التالي
- أسئلة Choice — الأساس النوعي لسؤال الحكم في هذه الصفحة
- الدرجة الموثوقية Confidence — كيف تُحسب confidence من التوزيع الاحتمالي، واستخداماتها الثلاث وضبط العتبة حسب المخاطر
استعراض الدرس التالي
التحقق من الاقتباسات يحرس «الكلام المقتبَس»، والدرس التالي يحرس «المقاطع المُدخَلة إلى السياق»: فرز مقاطع RAG: لا يُدخَل إلى السياق إلا المحتوى ذو الصلة.
ستتعلم:
- طلب واحد لكل مقطع مسترجَع لإعطاء درجة صلة، والكود يحدد أي المقاطع تدخل answering model
- استخدام سؤال Noul نعم/لا لإعطاء كل مقطع درجة احتمالية 0–1 — وهو مكمّل تمامًا لحكم Choice في هذه الصفحة
- إبقاء المقاطع غير ذات الصلة خارج السياق، فلا تتذبذب جودة الإجابات مع جودة الاسترجاع