التقييم المركّب: فكّك الحكم المعقّد إلى درجات ذرّية ثم وزّنه
في الدرس السابق، استخدم التوجيه الذكي سؤال Score واحدًا لتقييم التعقيد، وأجاب عن سؤال «هل يُجرؤ على تنفيذ هذا الجواب تلقائيًا». يجيب هذا الدرس عن سؤال آخر: مجموعة من العناصر أمامك، وتريد اختيار أفضل X منها وفق عدة معايير — فرز السير الذاتية، وتصنيف التذاكر، وإعادة ترتيب نتائج البحث، كلها من هذا النوع.
أطلقت عليه الجهة الرسمية اسمًا: Composite scoring (التقييم المركّب). الطريقة في جملة واحدة: فكّك الحكم المعقّد إلى أبعاد مستقلة، مع سؤال Score لكل بُعد يُقيَّم على حدة، ثم ادمجها بأوزان تتحكم بها في الكود. الحالة في صفحة الأنماط الرسمية هي فرز سير ذاتية لوظيفة هندسية: 4 أبعاد، وطلب واحد، ومجموعتا أوزان، وقائمتا ترتيب. العملية كلها تستغرق 10 دقائق.
في الواقع لقد كتبت بالفعل نسخته المصغّرة: في درس Score استُخدمت ثلاثة أسئلة في الخطوة 5 لحساب أولوية التذكرة 0.66. يوسّع هذا الدرس تلك الصيغ الموزّنة الثلاثة إلى نظام ترتيب كامل — مرشّحون متعددون وأدوار متعددة، بالإضافة إلى منهجية تصحيح لـ «ماذا تفعل حين لا يطابق الترتيب التوقعات».
ماذا ستستطيع أن تفعل بعد إتمام الدرس
- استخدام Jev التقييم المركّب لتفكيك الأحكام متعددة الأبعاد من نوع «هل هذا المرشّح جيد»: سؤال Score ذرّي واحد لكل بُعد من الأبعاد الأربعة، واسترجاع الدرجات المستقلة بالتوازي في طلب واحد
- كتابة كود الدمج الموزّن المُطبَّع: قسّم كل سؤال على رقم أعلى مستوى للوصول إلى 0–1، ثم اجمع حسب الأوزان — ملف
scoring.pyالرسمي صالح للاستخدام كما هو - خدمة دورين بنفس مجموعة الدرجات الذرّية: أوزان Senior IC هي 0.40/0.10/0.40/0.10، وأوزان Engineering Manager هي 0.15/0.40/0.20/0.25، تقييم واحد يُنتج قائمتين
- عند عدم تطابق الترتيب مع التوقعات، عدّل ثوابت الأوزان فقط وأعد الحساب محليًا، دون لمس المقاييس أو الـ prompt؛ ولإضافة بُعد، أضف سؤالًا إلى قاموس الأسئلة، ويبقى عدد الطلبات لكل مرشّح كما هو
- توضيح تقسيم العمل بين التقييم المركّب والبوابة في الدرس السابق: البوابة تدير «هل نجرؤ على استخدامه»، والتقييم المركّب يدير «كيف نرتّب»
مأزقك الحالي
- طلبت من النموذج اللغوي الكبير فرز السير الذاتية، وكتبت في الـ prompt «يرجى إعطاء درجة 1–10 بعد الجمع بين العمق التقني وقيادة الفريق والمعمارية والاتساع». أعاد إليّ مقالًا قصيرًا مع درجة 7.5، وعند إعادة التشغيل الشهر التالي أصبحت 8.2 — لا توزيع ولا أساس. وحين سأل مدير التوظيف «كيف حُسِبَت هذه الـ 7.5»، لم يكن أمامي سوى قراءة المقال القصير عليه
- عندما يكون الترتيب خاطئًا لا يبقى سوى تعديل الـ prompt: أضف جملة «أعطِ أولوية أكبر لقدرات المعمارية»، فتُعاد إعادة تشغيل الـ 200 سيرة الذاتية بالكامل، ويختل ترتيب مجموعة أصحاب العمق التقني أيضًا. ولا أستطيع توضيح ما إذا كانت الصياغة هي التي أثّرت أم أن حالة النموذج مختلفة هذه المرة
- وظيفة Senior IC ووظيفة Engineering Manager تتطلبان نوعين مختلفين من الأشخاص، فكتبت مجموعتي prompt وشغّلت كلًّا منهما — نفس المرشّح يفصل بينهما في القائمتين أكثر من عشرة مراكز، ومجموعتا الدرجات غير قابلتين للمقارنة إطلاقًا
متى تستخدم هذه الحيلة
عندما تحتاج إلى:
- ترتيب مجموعة من العناصر وفق معايير متعددة واختيار أفضل X: فرز السير الذاتية، وأولويات التذاكر، وتصنيف جودة المحتوى، وإعادة ترتيب نتائج البحث
- معايير الترتيب تتغير كثيرًا، أو أن الوظائف والسيناريوهات المختلفة لكل منها تركيز مختلف: غيّر الأوزان تتغير القائمة، دون إعادة إرسال الطلبات
- مجموع الدرجات قابل للتفكيك والشرح: كم درجة كل بُعد، وكم يبلغ وزنه، كل ذلك مكشوف في الكود
ولا تريد:
- تحليل نص «الدرجة الشاملة» الناتج عن LLM، وكتابة كود احتياطي كثير بسبب انزياح التنسيق
- تعديل الـ prompt وإعادة تشغيل كل شيء في كل مرة تعدّل فيها معيارًا، مع نتائج غير قابلة للتكرار
- تشغيل النموذج مرة لكل دور لنفس مجموعة المرشّحين
🎒 التحضير قبل البدء
- أن تكون قد قرأت سير العمل عالي الكفاءة: أربعة أنماط معمارية، وتعرف موقع التقييم المركّب بين الأنماط الرسمية الأربعة (الفوائد المُعلَّنة: التكلفة، والموثوقية، والسرعة)
- أن تعرف كتابة أسئلة تقييم Score: يُبنى هذا الدرس بأكمله عليها — كيف تُكتَب المقاييس، ولماذا يمكن أن تقع الدرجة بين مستويين، شرحهما الدرس المذكور في الخطوتين 1 و3؛ ومثال الأولوية بثلاثة أسئلة في الخطوة 5 هو النسخة المصغّرة لهذا الدرس
- أن تكون قد نجحت في تشغيل أول طلب:
.venvفيهtypesafe-sdkمثبَّت، وTYPESAFE_API_KEYموجود في متغيرات البيئة - تذكّر خلاصة الأسئلة المتوازية: تُقيَّم أسئلة متعددة لنفس الـ state بالتوازي وبشكل مستقل، وإضافة الأسئلة لا تكاد تزيد زمن الاستجابة (استرجاع أسئلة هذا الدرس الـ 4 في طلب واحد يعتمد عليها)
الفكرة الجوهرية
فكّك أولًا، ثم ادمج. النص الحرفي لتعريف الجهة الرسمية لـ Composite scoring:
Break a complex judgment into atomic scores, combine with weights you control in code. (فكّك حكمًا معقّدًا إلى درجات ذرّية، وادمجها بأوزان تتحكم بها في الكود.)
متى ستحتاج إليه؟ المقدمة الرسمية: كثيرًا ما نحتاج إلى ترتيب مجموعة من العناصر وفق عدة معايير. التقييم المركّب هو أبسط تفكيك لهذه المهمة — فكّك الحكم إلى أبعاد مستقلة، وقيّم كل بُعد على حدة، وادمجها موزّنةً في الكود.
تستخدم صفحة الأنماط الرسمية فرز السير الذاتية كعرض توضيحي كامل (توظيف لوظيفة هندسية، مع اختيار أفضل X في النهاية للمراجعة اليدوية)، وخط المعالجة بأكمله يبدو هكذا:
candidate resume (سيرة المرشّح الذاتية)
│ طلب واحد: السيرة الذاتية + 4 أسئلة Score
▼
┌──────────────────────────────────────┐
│ python_depth (عمق Python) │ ← 4 أسئلة تُقيَّم بالتوازي وبشكل مستقل
│ team_leadership (خبرة قيادة الفريق) │
│ system_design (تصميم الأنظمة) │
│ generalist (درجة التعددية) │
└──────────────────────────────────────┘
│ استجابة واحدة: 4 درجات ذرّية على مقياس 0–4
▼
تُطبَّع إلى 0–1 (كل سؤال ÷ 4، يتم ذلك في الكود الخاص بك)
├─ أوزان Senior IC: 40% Python + 10% قيادة فريق + 40% تصميم + 10% متعدد المهارات → ic_score
└─ أوزان EM: 15% Python + 40% قيادة فريق + 20% تصميم + 25% متعدد المهارات → em_score
▼
الترتيب حسب الدرجة الكلية، مع أخذ أفضل X مرشحين لكل دورلماذا لا نسأل LLM بسؤال واحد كبير: «ما مدى جودة هذا الشخص إجمالًا»؟
| بُعد المقارنة | درجة شاملة من prompt لـ LLM | Jev التقييم المركّب |
|---|---|---|
| صيغة الإرجاع | فقرة نصية طويلة مع 7.5، والصيغة عشوائية | لكل بُعد درجة موقّعة النوع (0–4) + probabilities + confidence |
| معايير متعددة | تُحشر جميعها في درجة شاملة واحدة | معيار واحد لكل سؤال، ودرجة مستقلة لكل منها |
| تعديل معايير الترتيب | تعديل صياغة الـ prompt وإعادة التشغيل الكامل، وغير قابل للتكرار | تعديل ثوابت الأوزان في الكود وإعادة الحساب فورًا |
| ترتيب متعدد الأدوار | مجموعة prompt لكل دور ثم إعادة التشغيل مرة أخرى | نفس مجموعة الدرجات الذرّية، ووزن جديد يعطي ترتيبًا جديدًا |
| قابلية التفسير | «النموذج يعتقد أنه جيد» | درجة كل بُعد + الأوزان كلها مرئية في الكود |
يُدرج دليل how-to الرسمي «تفكيك المسألة» بوصفه أهم مفهوم في الدليل بأكمله: المسائل الواسعة تُخفي عدة أحكام خلف إجابة واحدة؛ المسائل الذرّية تُظهر الأحكام، وعندها فقط يمكنك فحصها وضبطها ودمجها في الكود (docs/concepts/how-to-build-with-system-one.md:108).
علاقته بالدرسين السابقين: الأسئلة المتوازية هي طبقة النقل — 4 أسئلة تُسترد بطلب واحد؛ التوجيه الذكي ببوّابته يجيب على «هل نجرؤ على استخدام هذه الإجابة»؛ التقييم المركّب يجيب على «كيف نرتّب هذه المجموعة». في جدول الأنماط الرسمي، فائدتها موسومة بـ Cost, Reliability, Speed — النمط الوحيد من بين الأنماط الأربعة الذي يجمع هذه الثلاثة معًا (docs/patterns.md:19).
طبّق معي
الخطوة 1: فكِّك «المرشح الجيد» إلى أربعة أسئلة Score ذرّية
لماذا: «هل هذا المرشح جيد» هو عدة أحكام متراكبة: إتقان Python، وقيادة الفريق، وتصميم الأنظمة، واتساع الاطلاع. عند حشرها في سؤال واحد، لا يمكنك معرفة أي بُعد خفّض الدرجة، ولا يمكنك ضبط بُعد واحد بمفرده. التفكيك هو شرط كل ما يأتي بعده.
هذه هي تعريفات الأسئلة الأربعة كما وردت في Playground على صفحة النمط الرسمي (مستخرجة من الصفحة المعروضة، وinstructions وcriteria نصوص رسمية كما هي):
from typesafe_sdk import Score
RESUME_QUESTIONS = {
"python_depth": Score(
instructions="How much depth of python experience does this candidate have, based on the supplied resume?",
criteria=[
"No Python experience mentioned",
"Mentioned but no detail",
"Used in projects, some specifics",
"Primary language, multiple projects",
"Deep expertise: architecture, performance, libraries",
],
),
"team_leadership": Score(
instructions="How much experience does this candidate have managing or leading engineering teams?",
criteria=[
"No management experience mentioned",
"Informal mentorship or tech lead role",
"Led a small team or project",
"Managed a team with direct reports",
"Managed multiple teams or an engineering org",
],
),
"system_design": Score(
instructions="How much experience does this candidate have designing large-scale or distributed systems?",
criteria=[
"No architecture work mentioned",
"Contributed to design discussions",
"Designed components of a larger system",
"Owned architecture of a significant system",
"Designed systems at scale across multiple domains",
],
),
"generalist": Score(
instructions="How much evidence is there that this candidate picks up unfamiliar tools, roles, or domains outside their core specialty?",
criteria=[
"Only one domain or role mentioned",
"Some variety but within a narrow field",
"Worked across a few different areas or tech stacks",
"Regularly moved between domains, wore many hats",
"Track record of ramping up in unfamiliar areas and delivering",
],
),
}ثلاثة تفاصيل:
- بُعد واحد لكل سؤال. «سؤال واحد يقيس عدة أمور» هو الفخ الذي أشارت إليه درس Score: متى كُتبت أوصاف المستويات على شكل «منضبط، ذكي، ذو خبرة»، لم يبقَ مكان لمدخل يعلو في أحد البنود وينخفض في آخر، فتنخفض confidence ويصبح معنى الدرجة غائمًا. أربعة أسئلة مفكّكة، كل منها مسؤول عن أمر واحد فقط
- كل مستوى موقف، وليس درجة. «Primary language, multiple projects» يمكن مطابقتها مع السيرة الذاتية، أما «إتقان جيد نسبيًا» فلا — النموذج يطابق الوصف مع state فقط، ولا يرى رقم المستوى ولا جيرانه. أجرى درس Score تجربة: مقياس رقمي بحت أعطى confidence بقيمة 0.33، ومقياس بأوصاف المواقف أعطى 1.0
- عدد المستويات = عدد الدرجات التي تستطيع وصفها بوضوح. هنا رسميًا 5 مستويات لكل سؤال؛ ومبدأ درس Score هو استخدام عدد المستويات التي تستطيع وصفها، بحد أقصى 10 مستويات، و3 مستويات مقبولة أيضًا — لا تضف مستويات لا تستطيع وصفها بوضوح
ينبغي أن ترى: في RESUME_QUESTIONS أربعة أسئلة Score، كل منها يقيس بُعدًا واحدًا فقط، ومع كل منها مقياس مواقف من 5 مستويات — عمق Python، وقيادة الفريق، وتصميم الأنظمة، وتعدد المهارات، دون خلط بينها. معرّفات الأسئلة (مثل python_depth) هي من اختيارك أنت، ولا تُرسل إلى النموذج، وتعود الإجابات بنفس المعرّف.
- كل سؤال من أسئلتي يقيس بُعدًا واحدًا فقط، وكل مستوى وصف موقف قابل للمطابقة
الخطوة 2: استرجاع الدرجات الذرّية الأربع بالتوازي بطلب واحد
لماذا: الأبعاد الأربعة مستقلة عن بعضها — كما شرح الدرس السابق، الأسئلة المستقلة ينبغي دمجها في طلب واحد: التقييم بالتوازي لا يزيد زمن الاستجابة تقريبًا، ولا يكلف سوى القليل من tokens الأسئلة. تفكيك الأسئلة الأربعة دون دفع ثمن أربعة طلبات — هذا هو مصدر فائدة «التكلفة» في التقييم المركّب.
أنشئ resume_screen.py، واربطه بتعريفات الأسئلة من الخطوة 1، وأرسل سيرة ذاتية للتجربة:
from typesafe_sdk import TypeSafeClient
# RESUME_QUESTIONS 的定义见第 1 步,此处省略
resume = """
Jane Doe — Backend Engineer, 8 years
- Primary language Python; built and own the retry and backoff layer
of a 40-node distributed ingestion pipeline (2M events/day)
- Tech lead of a 4-person payments squad for 2 years; no direct reports
- Contributed to architecture reviews across the org
- Backend infrastructure only; one year on an internal CLI tool
"""
with TypeSafeClient() as client:
response = client.system_one(
state=resume,
questions=RESUME_QUESTIONS,
)
for qid in ["python_depth", "team_leadership", "system_design", "generalist"]:
answer = response.answers[qid]
print(qid, answer.score, answer.confidence)شغّله:
.venv/bin/python resume_screen.py(مثال Playground الرسمي يحتوي فقط على 4 أسئلة ولا يوفر state لسيرة ذاتية، ونص هذه السيرة الذاتية مدخل اختباري من إعداد هذا الدرس.)
ينبغي أن ترى: أربعة أرقام بين 0–4، ومع كل منها confidence بقيمة 0–1. اقرأها مقابل هذه السيرة المُختلقة: Python هي اللغة الأساسية وتظهر في مشاريع عدة → python_depth مرتفع؛ tech lead دون direct reports → team_leadership يقع في المنتصف؛ شارك في نقاشات معمارية فقط → system_design متوسط منخفض؛ يكاد يقتصر على العمل الخلفي → generalist منخفض. قد تقع الدرجة بين مستويين (مثل 1.5) — إنها الموضع المتوسط المرجّح بالاحتمالات، وطريقة التحقق في درس Score الخطوة 3. القيم الفعلية تخضع لما يعيده تشغيلك أنت، وقد تتغير مع إصدار Jev.
ملاحظة أساسية: الأبعاد الأربعة مستقلة كل منها عن الآخر — يمكن تمامًا لمرشح أن يحصل على 3.8 في Python و0.5 في قيادة الفريق. في سؤال شامل هذان الإشارتان تخفّفان بعضهما، وبعد التفكيك يبقى كل منهما واضحًا تمامًا.
💡 السير الذاتية بالصينية قابلة للتقييم أيضًا، لكن بعد المعايرة أولًا
تشير الوثائق الرسمية إلى أن الإنجليزية هي لغة التدريب الرئيسية وتحقق أفضل دقة، وأن اللغات الأخرى بما فيها الصينية صالحة للاستخدام لكن بدقة أقل (docs/models.md). قبل تشغيل السير الذاتية الصينية، خذ مجموعة من السير التي قُيّمت يدويًا وشغّلها أولًا، مع التركيز على توزيع confidence في كل بُعد — أي مستوى لا ينفصل في الصينية، أضف له أوصاف مواقف إضافية.
- سيرة واضحة تحصل على درجات في الأبعاد الأربعة كلها؛ بدّل بسيرة ذات محور مختلف، فتتغير درجات الأبعاد كلٍّ على حدة
الخطوة 3: كتابة كود الدمج الموزّن للتقييم المركّب في Jev
لماذا: بعد الحصول على الدرجات الذرّية، يجب أن تُكتب قواعد الدمج في الكود لا في الـ prompt — هذا هو مصدر قابلية التفسير للنمط بأكمله. كيف حُسبت الدرجة الكلية؟ كل بند مكشوف ومرئي.
ملف scoring.py من صفحة النمط الرسمي كما هو:
py = response.answers["python_depth"].score / 4
lead = response.answers["team_leadership"].score / 4
arch = response.answers["system_design"].score / 4
general = response.answers["generalist"].score / 4
# Senior IC
ic_score = (0.40 * py) + (0.10 * lead) + (0.40 * arch) + (0.10 * general)
# Engineering Manager
em_score = (0.15 * py) + (0.40 * lead) + (0.20 * arch) + (0.25 * general)ثلاث قراءات:
/ 4هو تطبيع. كل سؤال 5 مستويات، وأعلى رقم مستوى هو 4، وبعد القسمة يقع كل شيء في 0–1. الصيغة العامة هي «القسمة على أعلى رقم مستوىlen(criteria) - 1» — Score في الخطوة 5، حيثnormalized()هو هذه الصيغة العامة. أسئلة هذا الدرس الأربعة متساوية المستويات، وقد يبدو أنه يمكن الاستغناء عن القسمة، لكن الوثائق الرسمية تقسم رغم ذلك — كتابة التطبيع بشكل موحّد تعني أنه إذا طال مقياس بُعد ما أو قصر لاحقًا، فلن تحتاج إلى تعديل كود الدمج- الأوزان هي موقف المنتج. Senior IC: عمق Python وتصميم الأنظمة 0.40 لكل منهما، وقيادة الفريق لا تشغل سوى 0.10؛ Engineering Manager: قيادة الفريق 0.40 تسيطر منفردة. مجموع كل مجموعة أوزان هو 1.00، لذا يظل المجموع الكلي ضمن 0–1، ويمكن المقارنة مباشرة بين القائمتين
| البُعد | Senior IC | Engineering Manager |
|---|---|---|
| python_depth | 0.40 | 0.15 |
| team_leadership | 0.10 | 0.40 |
| system_design | 0.40 | 0.20 |
| generalist | 0.10 | 0.25 |
- طبّع أولًا ثم اضرب بالوزن، ولا تعكس الترتيب. معنى الأوزان مبني على مقياس 0–1: قيمة 0.40 في Python تساوي بالضبط ضعف 0.20 في تصميم الأنظمة — وهذه العبارة لا تصح عندما لا تكون الدرجات مُطبَّعة
ينبغي أن ترى: كل من ic_score وem_score عدد بين 0–1. بالنسبة لتلك السيرة الذاتية في الخطوة 2، يجب أن يكون مجموع IC أعلى من مجموع EM — فهذه السيرة قوية في Python وضعيفة في قيادة الفريق، وقيادة الفريق تشغل وحدها 0.40 في أوزان EM.
- كود الدمج عندي يطبّع أولًا (÷ رقم أعلى مستوى) ثم يضرب بالوزن، ومجموع كل مجموعة أوزان هو 1.00
الخطوة 4: نفس مجموعة الدرجات الذرية، قائمتان بمجموعتي أوزان
لماذا: أجمل ما في هذا المثال الرسمي هو «تقييم واحد، إعادة استخدام لأدوار متعددة»: درجات الأبعاد الأربعة صالحة لأي منصب، والشيء الوحيد الذي يتغير هو الأوزان. بوضع الأوزان في قاموس وكتابة الدمج كدالة، تحصل على أداة تستطيع ترتيب أي دور — بينما الدرجات الذرية تُجلب مرة واحدة فقط لكل مرشح.
WEIGHTS = {
"senior_ic": {
"python_depth": 0.40, "team_leadership": 0.10,
"system_design": 0.40, "generalist": 0.10,
},
"eng_manager": {
"python_depth": 0.15, "team_leadership": 0.40,
"system_design": 0.20, "generalist": 0.25,
},
}
def composite(answers, weights: dict) -> float:
"""归一化后按权重合并;算式与官方 scoring.py 一致。"""
total = 0.0
for question_id, weight in weights.items():
top_level = len(RESUME_QUESTIONS[question_id].criteria) - 1
total += weight * answers[question_id].score / top_level
return total
def fetch_scores(resumes: dict) -> dict:
"""每个候选人一次请求,拿回四个原子分数。"""
raw = {}
with TypeSafeClient() as client:
for name, resume in resumes.items():
response = client.system_one(state=resume, questions=RESUME_QUESTIONS)
raw[name] = response.answers
return raw
CANDIDATES = {
"jane": resume, # 第 2 步那份简历;再放两三份不同侧重的简历
# "li": ...,
# "sam": ...,
}
raw = fetch_scores(CANDIDATES)
ic_rank = sorted(raw, key=lambda n: composite(raw[n], WEIGHTS["senior_ic"]), reverse=True)
em_rank = sorted(raw, key=lambda n: composite(raw[n], WEIGHTS["eng_manager"]), reverse=True)
print("Senior IC 榜:", ic_rank)
print("EM 榜:", em_rank)(معادلة الدمج مطابقة بندًا بندًا لـ scoring.py الرسمي؛ حلقة fetch_scores والترتيب إضافات Python عادية من هذا الدرس. طلب واحد لكل مرشح، و4 أسئلة بالتوازي — نفس إيقاع «طلب واحد لكل مقطع» في RAG cookbook الرسمي.)
ينبغي أن ترى: القائمتان مصدرهما نفس مجموعة الدرجات الذرية — fetch_scores لم يُشغَّل سوى مرة واحدة، ولم يُنتج دور EM الثاني أي استدعاءات API جديدة. إذا كان أحد المرشحين عميقًا في Python لكنه لم يقُد فريقًا قط، فسيظهر في مقدمة قائمة IC وفي مؤخرة قائمة EM؛ والمرشح ذو الخبرة الغنية في قيادة الفريق على العكس تمامًا. وهذا بالضبط ما لن يمنحه لك أبدًا تشغيل كل prompt مرتين: القائمتان مبنيتان على نفس مجموعة القياسات، والاختلاف يأتي من الأوزان فقط.
- دوري الثاني (EM) لم يُطلِب طلبًا ثانيًا — الدرجات مأخوذة من نفس مجموعة الاستجابات
الخطوة 5: عندما لا يوافق الترتيب التوقعات، عدّل الأوزان فقط ولا تلمس الـ prompt
لماذا: خلاصة الجهة الرسمية لهذا الكود ذات طبقتين: إنه يمكّنك من الترتيب حسب المجموع الكلي، «لكن الأهم أنه يجعلك ترى كيف حُسِب المجموع الكلي فعلًا»؛ وعندما لا يوافق المرشح الأعلى ترتيبًا التوقعات، «يمكنك تعديل الأوزان لإيجاد التوازن المناسب». الأوزان ملكك — هذه العبارة الأصلية (The weights are yours) تظهر مرة في وثائق primitives الرسمية ومرة في وثائق Score: عندما لا يتوافق الناتج المركب مع معايير فريقك، عدّل الأوزان في الكود وأعد التشغيل.
لنمثّل سيناريو التصحيح. مدير التوظيف نظر إلى قائمة IC: «الأشخاص الذين قادوا فريقًا سابقًا مُرتَّبون في مرتبة أدنى مما ينبغي.»
# 改权重前:python 0.40 / lead 0.10 / arch 0.40 / general 0.10
WEIGHTS["senior_ic"] = {
"python_depth": 0.35, "team_leadership": 0.20,
"system_design": 0.35, "generalist": 0.10,
}
# 原子分数已经在 raw 里,直接重算——不用再发任何请求
ic_rank = sorted(raw, key=lambda n: composite(raw[n], WEIGHTS["senior_ic"]), reverse=True)ثلاثة تعديلات، جرّبها من الأدنى تكلفة إلى الأعلى:
| التعديل | التكلفة | نطاق التأثير |
|---|---|---|
| تعديل ثوابت الأوزان | صفر استدعاءات API (الدرجات متاحة بالفعل، إعادة حساب محلية) | يؤثر على هذه القائمة فقط |
| إضافة بُعد (مثل مهارات التواصل) | إعادة تشغيل طلب واحد لكل مرشح — لكن كل مرشح يظل طلبًا واحدًا فقط، بنص الجهة الرسمية «The call count stays at one» | كل القوائم التي تستخدم هذه الدرجات تشترك في البُعد الجديد |
| تعديل صياغة المقياس (criteria) | إعادة تشغيل لجميع المرشحين، والدرجات القديمة والجديدة غير قابلة للمقارنة | إبطال كل الدرجات الموجودة |
ينبغي أن ترى: بعد تعديل الأوزان، يعيد ic_rank حساب قائمة جديدة فورًا — لم يتغير رقم واحد في raw لأن السؤال لم يُلمس بكلمة. هذا هو «تعديل المعاملات دون تعديل الـ prompt»: قابل لإعادة الإنتاج وقابل للتدقيق وقابل للتراجع (أعِد الأوزان إلى ما كانت عليه، فتعود القائمة).
- أعتبر «تعديل الأوزان» الوسيلة الأولى لتصحيح الترتيب، وتعديل صياغة المقياس أخيرًا
نقطة تحقق ✅
- أستطيع أن أذكر خطوتي التقييم المركب لدى Jev: Score ذري واحد لكل بُعد بطلب واحد بالتوازي لجلب الدرجات؛ ثم التطبيع والدمج الموزون في الكود
- أعرف لماذا نطبّع أولًا: الدرجات الكاملة للمقاييس المختلفة تختلف (الدرجة الكاملة للمقياس ثلاثي المستويات 2، وللمقياس خماسي المستويات 4)، والقسمة على رقم أعلى مستوى
len(criteria) - 1هي ما يضعها على نفس المقياس، وعندها فقط تعبّر الأوزان عن معناها الحرفي - أوزاني ثوابت في الكود ومجموعها 1.00؛ عندما لا يوافق الترتيب التوقعات أعدّل الأوزان أولًا وأعيد الحساب محليًا دون إرسال طلبات جديدة
- من نفس مجموعة الدرجات الذرية رتّبت قائمتين: IC وEM، والدور الثاني دون أي استدعاءات API إضافية
- عند الترتيب أنظر أيضًا إلى confidence لكل بُعد: المرشحون منخفضو الثقة يُعلَّمون للمراجعة بدلًا من ترتيبهم قسرًا
تنبيهات للمزالق
❌ سؤال واحد يسأل «هل هو جيد ككل»
يُكتب في الـ prompt «قيّم هذا المرشح تقييمًا شاملًا وأعطِ درجة من 1–10»، فتتزاحم عدة أحكام في إجابة واحدة. دليل how-to الرسمي يضع هذا كأهم مفهوم في الدليل بأكمله:
الأسئلة الواسعة تخفي عدة أحكام خلف إجابة واحدة؛ الأسئلة الذرية تكشف هذه الأحكام، فتستطيع فحصها وضبطها ودمجها في الكود.
في سؤال شامل واحد لا يمكنك معرفة أي بُعد خفّض الدرجة، ولا يمكنك ضبط بُعد واحد فقط. الطريقة الصحيحة: Score واحد لكل بُعد — الأسئلة الأربعة في الخطوة 1 من هذا الدرس هي النموذج.
❌ الترجيح مباشرة دون تطبيع
الدرجة الكاملة للمقياس ثلاثي المستويات 2 وللمقياس خماسي المستويات 4 — دون تطبيع، يكسب البُعد ذو المستويات الأكثر ميزة تلقائية، وقد يكون الأثر الفعلي لقيمة 0.40 التي كتبتها أكبر بكثير من 0.40. الجهة الرسمية تشدد في وثائق Score: اقسم على رقم أعلى مستوى قبل الدمج، «عندها تعبّر الأوزان عن معناها الحرفي» (Then the weights mean what they say) — قيمة 0.6 في severity تساوي بالضبط ضعف 0.3 في frustration. أسئلة هذا الدرس الأربعة من نفس المستوى، و/ 4 يبدو زائدًا عن الحاجة، لكن الجهة الرسمية تكتبه مع ذلك — تحسبًا لأن يصبح المقياس أطول أو أقصر لاحقًا.
❌ عند خطأ الترتيب تذهب لتعديل صياغة المقياس
بمجرد تعديل المقياس يتغير معنى الدرجات: كل الدرجات القديمة لجميع المرشحين تُبطَل، ويجب إعادة التشغيل الكاملة، ولا يمكن مقارنة القائمتين القديمة والجديدة مباشرة. الإجراء الذي تعطيه الجهة الرسمية هو «عدّل الأوزان في الكود وأعد التشغيل» — بتكلفة صفرية وقابل للتحقق فورًا ولا يؤثر إلا على قائمة واحدة (جدول التكاليف في الخطوة 5). الصياغة هي الملاذ الأخير: فقط عندما يكون confidence لبُعد ما منخفضًا بشكل منهجي (المستويات لا تفصل بياناتك الحقيقية) تعود لتعديل المقياس، وتتبع طريقة درس Score للتحقق من المقياس الجديد بعينات معروفة.
❌ النظر إلى المجموع الكلي فقط دون confidence لكل بُعد
الدرجة الإجمالية تضغط الأبعاد الأربعة في رقم واحد، ودرجات الأبعاد منخفضة الثقة تختلط فيه ولا يمكن تمييزها. مرشح ما لديه system_design بقيمة confidence تبلغ 0.3 فقط (تداخل المستويات، أو معلومات السيرة الذاتية غير كافية)، ومع ذلك تُحسب درجته الإجمالية كالمعتاد — لكن استخدام هذه الدرجة الإجمالية لتحديد ما إذا كان سيتقدم إلى المقابلة يعتمد على أساس غير موثوق. الاستخدام الرسمي ثلاثي المستويات لـ confidence ينطبق أيضًا على الترتيب: مرتفع ← يعتمد مباشرة؛ متوسط ← يُعلَّم للمراجعة؛ منخفض ← لا يُسمح لهذا البُعد بالمشاركة في القرار ويُحوَّل إلى الإنسان. التفسير الكامل للمستويات الثلاثة موجود في درس Confidence الثقة.
تقنيات متقدمة (اختياري)
الدمج الموزون لا يُستخدم فقط مع Score. المثال في القسم 7 من دليل how-to الرسمي يستخدم ثلاث مسائل Noul مدموجة بالتوزين الاحتمالي في درجة جودة واحدة — فقيم Noul هي أصلًا احتمالات ضمن 0–1، حتى التطبيع يُوفَّر:
answers = response.answers
# Combine independent signals into one application-specific score.
quality = (
0.4 * answers["answers_request"].noul
+ 0.4 * answers["citations_are_supported"].noul
+ 0.2 * (1 - answers["contradicts_context"].noul)
)(الكود الرسمي كما هو، docs/concepts/how-to-build-with-system-one.md. لاحظ أن الإشارة الثالثة تأخذ 1 - noul: كلما انخفض احتمال التناقض مع السياق، ارتفعت درجة الجودة.)
دَع الآلة تتعلم الأوزان. الأوزان لا يجب أن تُضبط يدويًا دائمًا. نفس الفقرة في الوثائق الرسمية تعطي مسارًا متقدمًا: اعتبار probabilities لكل مسألة سمات، وإدخالها إلى نموذج تعلم آلي كلاسيكي في المرحلة التالية ليتعلم طريقة الدمج؛ وعند عدم وجود تسميات، يمكن استخدام مجموعة من نماذج الاستدلال المكلفة كـ ensemble لتوليد التسميات. كتاب الطبخ الرسمي AutoResearch (autoresearch_feature_discovery، لم يُنشر كصفحة مستقلة بعد) يعرض الطريقة الكاملة: حلقة autoresearch تقترح مسائل TypeSafe، وتحوّل النص الحر إلى سمات رقمية، وتدرّب منظم CatBoost للانحدار، ثم تستخدم خطأ النموذج لتحسين المسائل في الاتجاه المعاكس.
دمج الإشارات في السيناريوهات الواقعية. فكرة «إشارات متعددة، والدمج في الكود» موجودة في كل مكان في دروس السيناريوهات:
- بوابة فقرات RAG: لكل فقرة مسترجعة تُطرح 4 مسائل Noul (هل هي ذات صلة، هل تحتوي على أدلة، هل تتناقض مع المقدمة، هل فيها حقن)، والكود يقرر أيها يدخل سياق answering model. الوثائق الرسمية تشير صراحة إلى أن المسائل الأربع لا تسأل أي منها «هل تُدرج هذه الفقرة» — ذلك القرار في الكود، وتغيير المعيار يعني تغيير رقم واحد دون إعادة كتابة المسائل
- البحث والمطابقة: إعادة الترتيب هي شكل ترتيب خالص — مسألة Noul واحدة لكل زوج استعلام-مرشح، والترتيب حسب الاحتمال، والقياس الرسمي أظهر أن أعلى 1 يحقق إصابة 5%→18%؛ أما محاذاة الكيانات فهي حكم مركب من 1 مسألة Score مع 3 مسائل Noul
خلاصة الدرس
✅ Jev التقييم المركب = نمط Composite scoring الرسمي: تفكيك الحكم المعقد إلى مسألة Score ذرية لكل بُعد، واسترجاعها بالتوازي في طلب واحد، ثم التطبيع والدمج الموزون في الكود — العائد الرسمي المعلن هو Cost, Reliability, Speed، وهو النمط الوحيد من الأربعة الذي يجمع هذه الثلاثة معًا.
✅ الأوزان هي قرار منتج: Senior IC 0.40/0.10/0.40/0.10، Engineering Manager 0.15/0.40/0.20/0.25 — نفس الدرجات الذرية، مجموعتا أوزان، قائمتان، والدور الثاني بلا طلبات إضافية.
✅ القابلية للتفسير هي أكبر عائد: كيف حُسبت الدرجة الإجمالية، ودرجة كل بُعد ووزنه كلها مرئية في الكود؛ وإذا جاء الترتيب مخالفًا للتوقع، عدّل الأوزان أولًا وأعد الحساب محليًا، بشكل قابل للتكرار وقابل للتراجع.
✅ إضافة أبعاد لا تضيف طلبات: أضف مسألة إلى قاموس المسائل، ويظل عدد الطلبات لكل مرشح 1 — النص الرسمي الحرفي «The call count stays at one».
مرجع سريع للحقائق الأساسية:
| البند | القيمة | المصدر |
|---|---|---|
| النمط في جملة | Combine several dimensions of analysis into a single score | docs/patterns.md |
| تعريف النمط | Break a complex judgment into atomic scores, combine with weights you control in code | docs/patterns/composite-scoring.md |
| المسائل الأربع | python_depth / team_leadership / system_design / generalist، بمقياس 5 مستويات لكل منها | Playground الرسمي (patterns/composite-scoring، مستخرج من الصفحة المعروضة) |
| التطبيع | score ÷ (len(criteria) − 1)، وفي هذا المثال ÷ 4 لكل مسألة | docs/primitives/score.md |
| أوزان IC | Python 0.40 / قيادة الفريق 0.10 / التصميم 0.40 / متعدد المواهب 0.10 | docs/patterns/composite-scoring.md (scoring.py) |
| أوزان EM | Python 0.15 / قيادة الفريق 0.40 / التصميم 0.20 / متعدد المواهب 0.25 | نفس المصدر |
| العائد | Cost, Reliability, Speed | docs/patterns.md |
التقييم المركب هو نمط في طبقة «كيف تُستخدم الإجابة»، وقبل الإطلاق يجب أيضًا المرور بأنماط الفشل التسعة في Jev 1.13 دليل تجنب المزالق — خصوصًا بند «الفهم الحرفي»: اكتب شروطًا دقيقة في وصف المقياس، ولا تكتب كلمات درجة مثل «لديه قدرة معمارية جيدة».
استعراض الدرس القادم
بهذا الدرس اكتملت مراجعة الأنماط الرسمية الأربعة (التفريق، توجيه النية، البوابة بالثقة، التقييم المركب)، ويتبقى سؤال أخير: من يكتب الكود الذي يستدعي Jev. الدرس القادم التطوير بالتكامل مع Claude Code: TypeSafe Agent Skill.
ستتعلم:
- Jev ليس LLM لـ coding agent: لا يمكنه استبدال النموذج الكامن خلف Claude Code / Cursor، والطريقة الصحيحة هي أن يكتب الوكيل «كودًا يستدعي Jev»
- أمران لتثبيت Agent Skill الرسمي:
claude plugin marketplace add typesafe-ai/skills، ثمclaude plugin install typesafe@typesafe-ai - 3 أمثلة prompt رسمية: عصف ذهني، إجراء تجارب رخيصة، إيجاد cookbooks مشابهة
- 5 طرق لاستكشاف المشكلات الشائعة: الوكيل لا يستخدم skill، التوجيه مخالف للتوقع، وضع عتبات confidence في كل مكان، صعوبة مراجعة الكود، اختلاق الوكيل لحقول