Score أسئلة التقييم: التقييم وفق المقياس الذي تحدده أنت
في الدرس السابق كان Choice يختار من خيارات ثابتة. لكن كثيرًا من الأحكام ليست «أي خيار تختار» بل «إلى أي درجة»: كم هو خطير الخطأ، كم هو غاضب العميل، كم هو بارع المرشح في Python.
لهذا النوع من الأسئلة استخدم Score: تعطي مقياسًا مرتبًا، ويضع Jev المحتوى في موقع ما على المقياس، ويعيد معه احتمال كل مستوى ودرجة الثقة.
في الواقع لقد رأيته بالفعل في أول طلب — فـ frustration في مثال التذاكر كان سؤال Score بثلاثة مستويات، أعاد 0.67. هذا الدرس يشرحه بالكامل، في 10 دقائق.
ماذا ستستطيع أن تفعل بعد إتمام الدرس
- استخدام
criteriaلتعريف مقياس مرتب (يُنصح بمستويين على الأقل وبحد أقصى 10 مستويات)، ليدرّج Jev Score أي محتوى وفق مقياسك - قراءة الحقول الخمسة المُعادة:
score،legend،probabilities،confidence،type - شرح كيفية حساب نتيجة مثل 1.43 التي «تقع بين مستويين»
- استخدام score لتجاوز العتبات واستخدام confidence لتحديد ما إذا كان يجب التحويل إلى البشر
- فكّك الأحكام متعددة الأبعاد إلى أسئلة Score متعددة، وطبّعها وادمجها مرجّحةً في الكود
معضلتك الآن
- تجعل GPT يقيّم التذاكر بدرجات من 1–10، فالتذكرة نفسها تحصل هذه المرة على 6 والمرة القادمة على 8، وعتبة «فوق أي درجة نحوّل للبشر» لا يمكن تثبيتها أصلًا
- معايير التقييم يرتجلها النموذج بحرية: ما أعنيه بـ«متوسط الخطورة» لا يطابق فهمه، وبعد تغيير إصدار الـ prompt يجب إعادة تقييم جميع الدرجات السابقة
- تحصل على درجة 7 وتنتهي — دون أن تعرف إن كانت 7 شبه مؤكدة، أم أن 7 حُسبت من نصف 6 ونصف 8، فأيها يحتاج مراجعة بشرية أمر تخمين بحت
متى تستخدم هذه الطريقة
عندما تحتاج إلى:
- تحديد موقع المحتوى على طيف: درجة الخطورة، درجة الإحباط، مستوى المهارة، جودة التقرير
- نتائج تدخل الكود مباشرة: تجاوز العتبات، الترتيب، الجمع المرجّح
- احتمال كل مستوى ودرجة الثقة الكلية، كإشارة على «هل يستحق نظرة بشرية»
ولا تريد:
- أن تجعل نموذج الدردشة يرتجل بحرية «أعطني درجة من 1–10»، ثم تكتب كود تحليل لاستخراج النص الذي يخرجه
- أن تخلط معايير التقييم في الـ prompt، فتنجرف المعايير مع تغيّر إصدار النموذج
- أن تسمح له بالتنفيذ التلقائي حتى عندما لا يكون النموذج واثقًا
🎒 التحضير قبل البدء
- أكملت State الحالة: تعرف أن المحتوى المراد تقييمه يوضع في
state(نص، أو كائن JSON، أو مصفوفة نصوص، كلها ممكنة) - شغّلت بنجاح أول طلب:
.venvيحتوي علىtypesafe-sdk، وTYPESAFE_API_KEYموجود في متغيرات البيئة
الفكرة الجوهرية
**Score يجيب عن «إلى أي درجة». ** السيناريوهات الرسمية المناسبة: كم هو خطير الخطأ، كم هو راضٍ العميل، كم خبرة المرشح في Python. الجواب يقع على طيف، ويمكنك وصف الطيف مستوى بمستوى — هذا شرط استخدام Score.
**المقياس هو criteria. ** سؤال Score واحد لا يحتوي إلا على ثلاثة حقول:
| الحقل | ماذا يُكتب فيه | مثال |
|---|---|---|
type | ثابت "score" | — |
instructions | جملة واحدة توضح ما يُقيَّم | How severe is the reported issue? |
criteria | قائمة مستويات مرتبة، من الأدنى إلى الأعلى، وصف واحد لكل مستوى | انظر المقياس ثلاثي المستويات في الخطوة 1 |
ترقيم المستويات هو فهرس المصفوفة، يبدأ من 0: المقياس ثلاثي المستويات هو 0، 1، 2. النموذج لا يرى إلا الوصف النصي لكل مستوى — لا يرى رقم المستوى ولا المستويات المجاورة.
**إرجاع خمسة حقول. **
| الحقل | ما هو |
|---|---|
score | الموقع على المقياس، من 0 إلى أعلى رقم مستوى؛ يمكن أن يقع بين مستويين، مثل 1.43 |
legend | خريطة من رقم المستوى إلى وصفه، تساعدك على تفسير النتيجة |
probabilities | احتمال كل مستوى، ومجموعها يقارب 1 |
confidence | 0–1؛ كلما تركّز الاحتمال في مستوى واحد، ارتفع |
type | "score" |
score يُحسب، ولا يُقدَّر جزافًا. اجمع حاصل ضرب كل رقم مستوى في احتماله: 0×0.0 + 1×0.57 + 2×0.43 = 1.43.
كيف تختار من بين ثلاثة أنواع من الأسئلة.
| نوع السؤال | شكل الإجابة | الاستخدام في الكود |
|---|---|---|
| Choice | اختيار واحد من خيارات ثابتة، لا ترتيب بين الخيارات | يُربط بمسارات كود بعدد الخيارات |
| Score(هذا الدرس) | موضع على طيف، يمكنك وصف كل مستوى | المقارنة بالعتبات، والترتيب |
| Noul | نعم/لا واضحة، الاحتمال نفسه هو الإشارة | شرط if واحد |
المعيار الرسمي: إذا كانت الإجابة على طيف ويمكن وصف كل مستوى ← Score؛ خيارات ثابتة بلا ترتيب ← Choice؛ نعم/لا واضحة ← Noul. وعندما يشبه السؤال النوعين معًا، اختر النوع الذي يمكن للكود التصرف بناءً على إجابته مباشرة. ولا تسأل بـ Noul عن «هل المرشح قوي في Python» — فما دام «قوي» غير معرَّف، فإن noul 0.5 يعني ببساطة نصف صواب ونصف خطأ، لا «مستوى متوسط»؛ ولقياس المستوى، استخدم مستويات Score المعرَّفة.
نفّذ معي
الخطوة 1: عرِّف مقياس Jev Score الخاص بك (مستويات مرتبة في criteria)
لماذا: عند الحكم، لا يحصل النموذج إلا على أوصاف المستويات التي تكتبها — فهو لا يرى أرقام المستويات ولا المستويات المجاورة. اكتب الأوصاف على شكل «مواقف» ليتمكن النموذج من مطابقة الحالة بها؛ وإذا كتبتها أرقامًا أو كلمات درجة مثل «متوسط الخطورة»، فلن يجد شيئًا يقارن به (العواقب في تنبيه المزالق، البند 1).
يستخدم هذا الدرس مقياس شدة الأخطاء البرمجية من الوثائق الرسمية، بثلاثة مستويات:
0: Cosmetic; no impact to functionality
1: Broken or degraded feature, but workaround exists
2: Blocking issue; no workaround existsمن الأدنى إلى الأعلى: المستوى 0 «مشكلة مظهرية، لا تؤثر على الوظيفة»، والمستوى 1 «الوظيفة معطلة لكن يوجد بديل»، والمستوى 2 «انقطاع تام، لا يوجد بديل».
القواعد الرسمية لكتابة المقياس:
- صِف الموقف، لا الدرجة: «الوظيفة معطلة لكن يوجد بديل» يمكن مطابقته بالحالة، أما «متوسط الخطورة» فلا
- اكتب بقدر ما تستطيع وصفه بوضوح من المستويات، والحد الأقصى 10 مستويات؛ ثلاثة مستويات شائعة جدًا
- سؤال واحد يقيس بُعدًا واحدًا — «منضبط، ذكي، ذو خبرة» هي ثلاثة أسئلة (انظر تنبيه المزالق، البند 2)
- إذا كان في أعلى المقياس موقف نادر يتطلب معالجة خاصة، امنحه مستوى مستقلًا (انظر تنبيه المزالق، البند 4)
يفترض أن ترى: ثلاثة أوصاف مستويات، كل منها موقف محدد يمكن أخذه مباشرة ومطابقته بتقرير الخطأ.
- كل وصف من أوصاف مستوياتي هو موقف، بلا كلمات درجة مثل «خفيف/متوسط/شديد» وبلا أرقام مجردة
الخطوة 2: أرسل أول طلب تقييم Score باستخدام typesafe-sdk
لماذا: شغِّل أولًا مثال السؤال الواحد الرسمي كما هو، ثم استبدله بمقياسك ومنطقك — فتكون لديك دائمًا أثناء تتبع الأخطاء نقطة أساس «معروفة الصحة».
أنشئ score_bug.py والصق فيه المثال الرسمي:
from typesafe_sdk import Score, TypeSafeClient
with TypeSafeClient() as client:
response = client.system_one(
state="The export button crashes the settings page in Safari. It works in Chrome, but a few of our customers only use Safari.",
questions={
"bug_severity": Score(
instructions="How severe is the reported issue?",
criteria=[
"Cosmetic; no impact to functionality",
"Broken or degraded feature, but workaround exists",
"Blocking issue; no workaround exists",
],
),
},
)
print(response.answers["bug_severity"].score)شغِّله:
.venv/bin/python score_bug.pyيفترض أن ترى:
1.431.43 يقع بين المستوى 1 والمستوى 2. تفسير الوثائق الرسمية لهذا المثال: التصدير ينهار في Safari، وأغلب العملاء يمكنهم تجاوز ذلك باستخدام Chrome (المستوى 1)، لكن عملاء Safari وحدهم لا يستطيعون التجاوز (المستوى 2) — فالنموذج منقسم بين المستويين، مع ميل نحو المستوى 1. قد تتغير القيم النموذجية مع إصدارات Jev، فلا تشغل نفسك بفروق ما بعد الفاصلة العشرية.
- رأيت رقمًا يقع بين مستويين (القيمة النموذجية هي 1.43)
💡 هل يمكن تقييم محتوى بالصينية
نعم. توضيح الوثائق الرسمية: الإنجليزية هي لغة التدريب الرئيسية وتحقق أفضل دقة، واللغات الأخرى بما فيها الصينية تعمل لكن بدقة أقل. قبل إطلاق سيناريو بالصينية، شغِّل أولًا دفعة على بياناتك الخاصة لترى النتيجة، مع تركيز على توزيع confidence.
الخطوة 3: افهم score وlegend وتوزيع الاحتمالات في الاستجابة
لماذا: في المشاريع الحقيقية لا تُستخدم الدرجات أبدًا بمفردها — فـ legend يساعدك على التفسير، وprobabilities وconfidence يخبرانك مدى «صلابة» هذه الدرجة.
الاستجابة الكاملة للمثال الرسمي:
{
"model": "jev-1.13.0",
"answers": {
"bug_severity": {
"type": "score",
"score": 1.43,
"confidence": 0.35,
"legend": {
"0": "Cosmetic; no impact to functionality",
"1": "Broken or degraded feature, but workaround exists",
"2": "Blocking issue; no workaround exists"
},
"probabilities": {
"0": 0.0,
"1": 0.57,
"2": 0.43
}
}
},
"usage": {
"input_tokens": 332,
"output_tokens": 18
}
}يفترض أن ترى: في كائن الإجابة خمسة حقول، score يطابق القيمة التي طبعتها 1.43، وlegend يعيد ربط 0/1/2 بأوصاف المستويات الثلاثة التي كتبتها. أما "model": "jev-1.13.0" في المثال فهو إصدار النموذج وقت تسجيل الوثائق الرسمية للمثال؛ وإذا شغّلته الآن بـ jev-latest، فسيعرض هذا الحقل إصدار النموذج الحالي.
لنفككها واحدًا واحدًا:
| الحقل | القيمة في هذا المثال | كيف تقرؤه |
|---|---|---|
score | 1.43 | 0×0.0 + 1×0.57 + 2×0.43: موضع مرجّح بالاحتمالات |
legend | 0 ← مظهرية، 1 ← يوجد بديل، 2 ← انقطاع | ربط أرقام المستويات بأوصاف المستويات |
probabilities | 1 بمستوى 0.57 و2 بمستوى 0.43 | النموذج منقسم بين مستويين |
confidence | 0.35 | الاحتمالات موزعة على مستويين، لذا هو منخفض |
في استجابة HTTP تكون مفاتيح legend وprobabilities سلاسل نصية "0"/"1"/"2"؛ وقد حوّلها Python SDK بالفعل إلى مفاتيح صحيحة (answer.legend[1] وanswer.probabilities[1])، وجميع حقول ScoreAnswer ذات أنواع معرَّفة.
نفس السؤال، وخمس تذاكر مختلفة (مثال المقارنة في الوثائق الرسمية):
| محتوى التذكرة | score | confidence | الاحتمالات (المستوى 0/1/2) |
|---|---|---|---|
| زر التصدير منزاح بضعة بكسلات | 0.0 | 1.0 | 1.0 / 0.0 / 0.0 |
| النقر على تصدير PDF لا يفعل شيئًا؛ ويمكن بدلًا منه تصدير CSV وتحويله يدويًا، لكنه يستغرق وقتًا طويلًا | 1.0 | 1.0 | 0.0 / 1.0 / 0.0 |
| يستمر التصدير في الدوران دون أن ينتهي؛ ملفات CSV لبعض الزملاء ما زالت تعمل، وملفات آخرين تعطلت أيضًا | 1.11 | 0.84 | 0.0 / 0.89 / 0.11 |
| ينهار Safari بينما يعمل Chrome بشكل طبيعي، ولدينا عميل لا يستخدم إلا Safari | 1.43 | 0.35 | 0.0 / 0.57 / 0.43 |
| الفريق بأكمله لا يستطيع تسجيل الدخول إلى النظام منذ هذا الصباح، وفي كل مرة 500 | 2.0 | 1.0 | 0.0 / 0.0 / 1.0 |
فهمان أساسيان:
- الدرجة نفسها قد تأتي من توزيعات مختلفة. 1.0 قد تعني «الكل على المستوى 1»، وقد تعني «نصف على المستوى 0 ونصف على المستوى 2» — الدرجة واحدة، لكن المعنى مختلف تمامًا. لذلك يجب قراءتها مع
probabilitiesوconfidenceمعًا. - confidence 1.0 يصف التوزيع، وليس ضمانًا بأن «الإجابة صحيحة». عندما يضع التوزيع كل الاحتمال على مستوى واحد يكون 1.0؛ وعندما لا يستطيع النموذج التمييز بين المستويات فإنه ينخفض.
الدرجة العشرية ليست سوى موضع: يمكن استخدامها مباشرة للترتيب (طابور حسب الشدة)؛ وعندما يحتاج الكود إلى مستوى محدد، قرّبها إلى أقرب مستوى ثم تصرف — صفحة سيناريو البحث والمطابقة فيها أمثلة عملية لاتخاذ القرار عبر «التقريب إلى أقرب مستوى».
الخطوة 4: ضع عتبات بناءً على score و confidence، إما معالجة تلقائية أو تحويل إلى الإنسان
لماذا: الدرجة لا تصبح مستخدمة فعليًا إلا عندما تتحول إلى إجراء. النمط الرسمي: إذا تجاوز score العتبة يسير في المسار التلقائي؛ وconfidence المنخفض يعني أن النموذج غير واثق، فيُحوَّل إلى الإنسان.
اكتب استنادًا إلى response في الخطوة 2:
answer = response.answers["bug_severity"]
if answer.score >= 1.5:
action = "P1:立即处理"
elif answer.confidence < 0.5:
action = "转人工复核"
else:
action = "进正常队列"
print(action)يجب أن ترى (بالنسبة لتذكرة Safari تلك):
转人工复核score 1.43 لم يتجاوز 1.5، وconfidence 0.35 أقل من 0.5 — النموذج منقسم بين مستويين، وهذا بالضبط إشارة إلى وجوب أن يلقي إنسان نظرة.
1.5 و 0.5 قيمتان توضيحيتان. الاستخدام الرسمي ثلاثي الدرجات: confidence عالٍ يعني تنفيذًا تلقائيًا مباشرًا؛ ومتوسط يعني تأكيدًا أو وسمًا أو استكمالًا للمعلومات؛ ومنخفض يعني عدم فعل شيء، وتحويلًا إلى الإنسان أو تراجعًا.
العتبة تتدرج حسب المخاطرة: في المثال الرسمي 0.5 هو الحد الأدنى الاحتياطي، بينما العمليات عالية المخاطرة مثل approve_transfer تتطلب > 0.9 للتنفيذ دون إشراف. الصيغة الكاملة والأمثلة في درس Confidence الثقة.
الخطوة 5: فكّكها إلى عدة أسئلة Score ذرّية، وادمجها موزونةً في الكود
لماذا: «هل يجب إعطاء هذه التذكرة أولوية» حكم متعدد الأبعاد — الشدة، ومشاعر العميل، وجودة التقرير، لكل منها نصيب. الطريقة الرسمية: سؤال Score واحد لكل بُعد، تُرسل بالتوازي في طلب واحد، وتُدمج موزونةً في الكود. تعديل الأوزان هو تعديل في الكود، دون إعادة ضبط أي prompt.
from typesafe_sdk import Score, TypeSafeClient
TRIAGE_QUESTIONS = {
"severity": Score(
instructions="How severe is the reported issue?",
criteria=[
"Cosmetic; no impact to functionality",
"Broken or degraded feature, but workaround exists",
"Blocking issue; no workaround exists",
],
),
"frustration": Score(
instructions="How frustrated is the customer?",
criteria=[
"Calm, just stating facts",
"Frustrated but civil",
"Very angry, strong language or threatening to leave",
],
),
"report_quality": Score(
instructions="How much does the report give an engineer to work with?",
criteria=[
"No detail; just says something is broken",
"Names the feature but no steps or environment",
"Steps to reproduce or environment, but not both",
"Steps to reproduce and environment",
],
),
}
def normalized(answers, question_id: str) -> float:
"""Put a score on 0 to 1 by dividing by its top level number."""
top_level = len(TRIAGE_QUESTIONS[question_id].criteria) - 1
return answers[question_id].score / top_level
def priority(ticket: str) -> float:
with TypeSafeClient() as client:
response = client.system_one(
state=ticket,
questions=TRIAGE_QUESTIONS,
)
answers = response.answers
severity = normalized(answers, "severity")
frustration = normalized(answers, "frustration")
report_quality = normalized(answers, "report_quality")
# A detailed report helps an engineer investigate, so it raises priority a little.
return 0.6 * severity + 0.3 * frustration + 0.1 * report_qualityتفصيلان:
- طبّع أولًا ثم ادمج. الدرجة الكاملة لمقياس ثلاثي المستويات هي 2، ولرباعي المستويات 3 — بدون تطبيع، تكون أسئلة المقياس الرباعي أثقل بطبيعتها. اقسم كل سؤال على أعلى رقم مستوى له
len(criteria) - 1، فتقع جميعها في 0–1، وعندها فقط تصبح للأوزان معنى: الـ severity بوزن 0.6 يساوي تمامًا ضعف الـ frustration بوزن 0.3. - أضف أسئلة دون إضافة طلبات. المثال الرسمي (وهو تذكرة «الدوران» نفسها من الخطوة 3 بعد إضافة سياق أكثر) يعيد: severity 1.24 (confidence 0.64)، وfrustration 1.28 (0.58)، وreport_quality 3.0 (1.0)؛ وبعد التطبيع 0.62 / 0.64 / 1.0، والأولوية =
0.6×0.62 + 0.3×0.64 + 0.1×1.0 = 0.66. تقييم عدة أسئلة بالتوازي لا يضيف تقريبًا أي وقت استجابة، ولا يكلف سوى القليل من توكنات الأسئلة.
يجب أن ترى: priority() يعيد عددًا في المدى 0–1؛ ولحساب تذكرة المثال الرسمي تكون النتيجة 0.66. إذا بدا الترتيب خاطئًا لاحقًا، فما عليك سوى ضبط الأوزان وإعادة التشغيل؛ وإذا أردت إضافة بُعد جديد، أضف سؤالًا إلى TRIAGE_QUESTIONS ويبقى عدد الطلبات كما هو.
هذه الطريقة «التقسيم إلى درجات ذرّية والدمج الموزون في الكود» هي نمط Composite scoring (التقييم المركب) الرسمي، وشرحها الكامل في درس التقييم المركب.
نقطة تحقق ✅
- أعرف أن ترقيم المستويات هو مجرد فهرس مصفوفة الـ criteria، يبدأ من 0
- حصلت على 1.43، وأستطيع التحقق منه يدويًا:
0×0.0 + 1×0.57 + 2×0.43 - أعرف أن الدرجة نفسها قد تأتي من توزيعات مختلفة، لذا يجب قراءتها مع probabilities و confidence معًا
- كل مستوى في مقياسي هو وصف سياقي، وكل سؤال يقيس بُعدًا واحدًا فقط
- أعرف أن الحكم متعدد الأبعاد يتطلب التطبيع (÷ أعلى رقم مستوى) قبل الدمج الموزون
تنبيه من العثرات
❌ كتابة أرقام فقط في المقياس
instructions: "Rate severity from 0 to 2, where 2 is worst"
criteria: ["0", "1", "2"]
→ score 0.55, confidence 0.33, probabilities 0: 0.45, 1: 0.55, 2: 0.0أجرى المسؤولون هذه التجربة: التذكرة نفسها «زر في غير موضعه»، أعطاها المقياس الرقمي البحت درجة 0.55 وconfidence 0.33 — الاحتمالات موزعة عشوائيًا بين المستويين 0 و 1؛ وبعد الاستبدال بوصف سياقي ثلاثي المستويات، صار score 0.0 وconfidence 1.0.
النموذج لا يأخذ إلا الأوصاف ليقابلها بالحالة، وطريقة السؤال «أعطِ درجة من 1–10» لا يجيدها حتى Jev نفسه. الطريقة الصحيحة: اكتب لكل مستوى سياقًا قابلًا للمقارنة، ولا تتوقع أن تعمل الأرقام المذكورة في instructions.
❌ سؤال واحد يقيس عدة أمور
إذا كُتب وصف المستويات كـ «ملتزم بالمواعيد، ذكي، ذو خبرة»، فهذا السؤال يقيس ثلاثة أشياء في آنٍ واحد — لا مكان لمدخل يكون مرتفعًا في أحدها ومنخفضًا في آخر، فتنخفض الثقة (confidence)، ويصبح معنى النتيجة (score) غامضًا. الطريقة الصحيحة: أمر واحد لكل Score، ثم دمج النتائج في الكود (كما في الخطوة 5).
❌ استخدام الدرجة فور الحصول عليها دون النظر إلى التوزيع
score 1.0 قد يعني الاحتمال كله على المستوى 1 (confidence عالٍ)، وقد يعني نصفًا على المستوى 0 ونصفًا على المستوى 2 (confidence منخفض). وقد قدّم المسؤولون أيضًا مقارنة لأثر موضع الانقسام على confidence: على مقياس ثلاثي المستويات، الاحتمالات (0, 0.5, 0.5) تعطي confidence 0.25، بينما (0.5, 0, 0.5) تعطي 0 — الانقسام بين مستويين متجاورين أخف، والانقسام بين طرفي الطيف أثقل.
الطريقة الصحيحة: تقرأ score مع probabilities و confidence. عادةً ما يعني انخفاض confidence أن الدرجات متداخلة، أو أن السؤال يقيس أكثر من أمر واحد، أو أن معلومات state غير كافية — حوّل إلى مراجعة بشرية أو أضف معلومات، ولا تنفّذ آليًا بشكل قسري.
❌ الحالات القصوى النادرة لا تملك درجة خاصة بها
قمة مقياس المشاعر هي «غاضب جدًا»، والرسائل المسيئة أو التهديدية تتزاحم أيضًا قرب القمة — النظر إلى score وحده لا يفصل بينهما، وهذه بالضبط الرسائل التي تحتاج أكثر إلى معاملة خاصة. الممارسة الرسمية: امنح الحالات القصوى النادرة درجة مستقلة، مثل إضافة «مسيء أو تهديدي» فوق «غاضب جدًا».
لمزيد من أنماط الفشل (الفهم الحرفي، عدّ الأرقام غير الموثوق، مقارنة التواريخ يجب أن تُنفَّذ في الكود) راجع دليل Jev 1.13 العثرات.
تقنيات متقدمة (اختياري)
يمكن كتابة الدرجات ككائنات. إذا كان النموذج يضع دائمًا المدخلات التي تعتبرها واضحة بين درجتين، فحوّل كل درجة من نص إلى كائن — حقل يوضح ما تغطيه هذه الدرجة، وحقل يقدم بضعة أمثلة للحالات (مع الحفاظ على أسماء الحقول متطابقة عبر الدرجات):
"1": {
"what": "Broken or degraded feature, but workaround exists",
"examples": ["export fails in one browser but works in another"]
}أجرت الجهة الرسمية مقارنة على نفس تذكرة Safari: بنصوص فقط كانت score 1.43 و confidence 0.35؛ بعد إضافة أمثلة مناسبة («التصدير يفشل في متصفح ويعمل في آخر») أصبحتا 1.03 و 0.96؛ وعند إضافة أمثلة لا علاقة لها بالمتصفح بقيتا 1.43 و 0.35.
لكي تكون الأمثلة مفيدة يجب أن تشبه مدخلاتك الحقيقية؛ كما أن ارتفاع confidence لا يعني صحة الإجابة — بعد تعديل أوصاف الدرجات، اختبر بمدخلات أخرى مرة أخرى قبل الاعتماد النهائي.
جرّب المقياس دون كتابة كود. في Playground الخاص بالوحدة التحكم (https://console.typesafe.ai/playground) الصق state وأضف السؤال لتجربة بدون كود.
الاتصال المباشر بالـ API متجاوزًا SDK. أرسل POST إلى https://api.typesafe.ai/v1/systemone، وهكذا يبدو الـ JSON الخام لسؤال score (مثال رسمي):
{
"model": "jev-latest",
"state": "I was charged twice for my subscription this month. Please refund the extra charge.",
"questions": {
"urgency": {
"type": "score",
"instructions": "How urgent is this message?",
"criteria": ["Can wait", "Needs attention this week", "Needs attention today"]
}
}
}التعريف الكامل لقيود الحقول (الحد الأقصى لعدد عناصر مصفوفة criteria، والحقول الخمسة للإجابة) موجود في مرجع API السريع.
خلاصة هذا الدرس
✅ طريقة استخدام Jev Score: عرّف مقياسًا مرتبًا في criteria (يُنصح بمستويين على الأقل وبحد أقصى 10 مستوى)، ويضع Jev المحتوى على المقياس ويعيد خمسة حقول.
✅ الحقول الخمسة: score (الموضع المرجّح بالاحتمالات، وقد يقع بين درجتين)، legend، probabilities، confidence، type.
✅ إدخال الدرجات إلى الكود: مقارنة بالعتبات، والترتيب؛ وعند انخفاض confidence حوّل إلى مراجعة بشرية ولا تنفّذ آليًا بشكل قسري.
✅ فكّك الأحكام المعقدة إلى أسئلة Score أحادية البُعد: طبّع (÷ رقم أعلى درجة) ثم ادمج بالترجيح — هذا هو نمط التقييم المركّب.
مراجعة حقول الإعداد الأساسية:
| الحقل | الكتابة الموصى بها | الشرح |
|---|---|---|
type | "score" | قيمة ثابتة |
instructions | جملة واحدة توضح ما يُقيَّم | مثل How severe is the reported issue? |
criteria | وصف السياق، من الأدنى إلى الأعلى؛ يُنصح بـ ≥ 2 مستويات وبحد أقصى 10 مستوى | رقم الدرجة = فهرس المصفوفة، يبدأ من 0؛ بُعد واحد لكل سؤال |
| الوصول إلى الإجابة | response.answers["id"].score | في SDK تُستخدم legend / probabilities بمفاتيح هي أرقام الدرجات الصحيحة |
لمشاهدة كيفية استخدام Score في سيناريوهات واقعية: البحث والمطابقة (إعادة الترتيب باستخدام Score والتقريب إلى أقرب درجة)؛ وللاطلاع على فكرة استخدام مزيج أنواع الأسئلة لمراقبة المحتوى الداخل إلى السياق، راجع مراقبة مقاطع RAG.
استعراض الدرس القادم
في الطرف الآخر من الطيف تقع أسئلة نعم/لا الواضحة: سؤال Noul نعم/لا: الحصول على احتمال حقيقي بين 0 و 1.
ستتعلم:
- أن
noulهو احتمال 0–1، ولا يوجد confidence منفصل في الإجابة - أن 0.5 يعني تساوي الاحتمالين، وليس «درجة متوسطة» — الدرجات تُقاس بسؤال Score في هذا الدرس
- عتبات البداية: yes ≥ 0.7 و no ≤ 0.3
- متى تستبدل Score بـ Noul، ومتى تسأل السؤالين معًا