قراءة معمّقة للقسم 3.5 والملحق D: هدف التدريب والإرشاد المزدوج
بعد إنهاء هذا القسم، ستكون قادرًا على كتابة خسارة تدريب KiT وصيغة الإرشاد وقت الاستدلال، وستكون قادرًا على النظر إلى الجدول 8 وذكر إلى أي اتجاه يسحب كل من مفتاحي الإرشاد مسارات 64.
3.1 + 3.5: هدف التدريب
بدمج التمهيد من القسم 3.1 مع القسم 3.5، لدينا ثلاث صيغ فقط:
- (1) إضافة الضوضاء: z_t = (1 − t) x₀ + t ε
- (2) السرعة الهدف: v* = ε − x₀، والخسارة هي الخطأ التربيعي المتوسط
- (8) نسخة KiT: خطأ تربيعي متوسطيُحسب المتوسط فقط على مواضع Lh المستقبلية؛ التاريخ يشارك في الانتباه لكنه لا يدخل في الخسارة
يُؤخذ t من توزيع logit-normal: t = σ(N(0, 1)). هذا مُستعار من ورقة Stable Diffusion 3 (Esser وآخرون، 2024)، وهو يجعل التدريب يتركز على مستويات الضوضاء المتوسطة. لتفاصيل الكود راجعفصل التدريب.
ثلاثة أنواع من إسقاط الشروط: لأجل الإرشاد
أثناء التدريب، وباحتمال معين، تُجرى ثلاثة أنواع من الاستبدال:
- تُستبدل تضمينات الصنف والقطاع بـ [UNK] مشترك ("غير معروف")
- تُستبدل جميع إشارات الهوية (السوق، القطاع، الصنف، الدقة الزمنية) بـ [NULL]
- يُصفَّر التاريخ بالكامل
هكذا يتعلم الشبكة نفسها ثلاثة أنواع من التنبؤ: بكل الشروط، وبدون هوية، وبدون تاريخ. في الإعدادات الرسمية تقابلها inst_dropout وallcond_dropout وhist_dropout.
الصيغة (9): الإرشاد المزدوج الخالي من المصنّف
الإرشاد الخالي من المصنّف (CFG) هو أكثر مفتاح استدلال شيوعًا في نماذج التوليد الشرطي. الصيغة (10) في الملحق D هي الصيغة القياسية:
v = v∅ + w (v_c − v∅)
عندما w = 1 يكون لدينا نموذج شرطي عادي؛ أما w > 1 فيضخّم الفرق بين "مع الشرط" و"بدون الشرط"، فتصبح العينات أكثر التصاقًا بالشرط لكن أقل تنوعًا. في توليد الصور، رفع CFG يجعل الصورة أكثر التزامًا بالنص التوجيهي لكن أكثر رتابة، وهو الأمر نفسه.
يُقسّم KiT هذا إلى محورين مستقلين، بالصيغة (9):
v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)
- إرشاد الهوية w_id: يضخّم تأثير "أي صنف هذا". هوية الصنف تحمل معها "طبعها البطيء": الانحراف النمطي، والتقلب، وشكل الشموع اليابانية.
- الإرشاد التاريخي w_hist: يضخّم تأثير "حركة الأسعار الأخيرة".
الخياران --cfg-w و--hist-cfg-w في سكربت الاستدلال هما هذان الـ w؛ الكود في kit_v1/infer/sampler.py، وتُحسب التنبؤات الثلاثة معًا في تمريرة أمامية دفعة واحدة.
الملحق D: كل مفتاح يسحب في اتجاه
اختارت الورقة 100 صنفًا، ولكل صنف تُؤخذ 64 مسارًا من نفس الضوضاء الأولية، مع تعديل w واحد فقط في كل مرة (من 1 إلى 4)، وتُراقب ثلاثة مؤشرات (الأصغر يعني التصاقًا أكبر):
- Prior gap: كم يبعد تقلب المسار عن التقلب طويل الأمد لهذا الصنف
- History gap: كم يبعد متوسط العائد النهائي للمسار عن عائد أحدث فترة
- Spread: مدى تشتت نقاط نهاية مسارات 64
w = 1 يعني بلا توجيه، وهذا هو الإعداد المستخدم في النتائج الرئيسية للبحث.
طريقة القراءة:
- w_id من 1 إلى 4، و Prior gap من 0.41 إلى 0.15، بينما يظل History gap قريبًا من 0.5: توجيه الهوية يسحب المسار نحو الطابع الأصلي للصنف فقط.
- w_hist من 1 إلى 4، و History gap من 0.52 إلى 0.19، بينما يظل Prior gap قريبًا من 0.4: التوجيه التاريخي يسحب المسار نحو الاتجاه الأحدث فقط.
- كلاهما يجعل Spread أصغر (1.08 → 0.69 أو 0.72): كلما زاد الالتصاق، قلّ تنوع المسارات.
فلماذا يكون الافتراضي 1 إذن؟ تقارن الورقة البحثية أيضًا IC و RankIC للتنبؤ بالعوائد: زيادة CFG تفيد بعض الأصناف (خاصة بعض الأصناف عالية التقلب)، لكن المتوسط العام يكاد لا يتغير. لذلك تحافظ النتيجة الرئيسية على 1 لكلا الوزنين، أي دون تشغيل التوجيه.
هذا هو السياق وراء ما ورد في مساعدة سكربت الاستدلال من أن "--cfg-w يضر بالمعايرة، فاستخدمه بحذر": تتركّز المسارات، فيبدو التوزيع أكثر ثقة، لكنه ليس بالضرورة أكثر دقة.
اختبر معرفتكإذا أردت أن يشبه مدى تقلب التنبؤ السلوك المعتاد لهذا السهم، فما الذي ينبغي ضبطه؟
تحقق من فهمك
- أستطيع كتابة دالة الخسارة التدريبية لـ KiT وتحديد أي جزء تحسبه فقط
- أعرف العلاقة المقابلة بين أنواع الإسقاط الشرطي الثلاثة ومقبضي التوجيه
- أستطيع باستخدام الجدول 8 تحديد الاتجاه الذي يسحبه كل من w_id و w_hist، ولماذا يكون الافتراضي 1 لكليهما
القسم التالي: قراءة متأنية للقسم 4: كيف تقرأ التجارب.