قراءة متأنية للقسمين 3.3–3.4: البنية وحقن الشروط
فصل التدريب، قسم «بنية النموذج» شرح شكل كل موتر في الكود. هذا القسم يتحول إلى منظور الورقة: الأسباب الكامنة خلف كل تصميم، والأدلة التي قدمتها تجارب الحذف.
المعادلة (4): تسلسل واحد
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
السجلات التاريخ النظيف المستقبل المُشوَّششرح الورقة لكل مقطع:
- السجلات: معاملات قابلة للتعلم، تعمل كـ«نقطة تجميع للاهتمام العالمي ومُجمِّع للمعلومات». لا تقابل أي لحظة زمنية.
- التاريخ: Lc شمعة نظيفة، لا يُشوَّش أبدًا، ويُعاد كما هو عند الإخراج (تقول الورقة bit-identical).
- المستقبل: Lh شمعة، تكون أثناء التدريب z_t المُشوَّش، وأثناء الاستدلال ضوضاء غاوسية نقية.
لماذا يوضع التاريخ والمستقبل في نفس التسلسل، بدلاً من استخدام مُرمِّز لقراءة التاريخ ومُفكِّك آخر لتوليد المستقبل؟ المقدمة تعطي الجواب: بهذه الطريقة يكون الاهتمام ثنائي الاتجاه عبر النافذة بأكملها، وتُحفظ المعلومات الشرطية (التاريخ) كاملة، وكل شمعة في المستقبل تستطيع رؤية كل شمعة في التاريخ مباشرة، وكذلك رؤية بعضها البعض.
الشروط تنقسم إلى مسارين: «انضباط الشروط» في الورقة
هذا هو جوهر القسم 3.3. تصنّف الورقة جميع الشروط حسب «الحبيبية» إلى فئتين، ولكل منهما آلية مختلفة:
| الشرط | أمثلة | كيف يدخل النموذج | السبب |
|---|---|---|---|
| ثابت عبر النافذة (الهوية) | السوق، والقطاع، والأداة، والدقة، وكذلك الزمن الجاري t | بعد تضمين كل منها على حدة تُجمع في c_base، ومع تضمين t تمر عبر MLP ضحل (AdaLN مشترك)، يُعدِّل كل طبقة | تكون متطابقة عبر النافذة بأكملها، فمناسبة لتكون «نمطًا» عامًا |
| متغير لكل شمعة (التقويم) | وقت اليوم (ترميز فورييه)، والموقع داخل جلسة التداول، ويوم الأسبوع، وعلامات الأحداث، والشهر، ورقم اليوم في السنة | بعد التضمين يُضاف مباشرة إلى token تلك الشمعة المقابلة | يجب أن يكون متوافقًا زمنيًا مع تلك الشمعة؛ ويمكن تحديده مسبقًا عند الاستدلال أيضًا |
AdaLN المشترك مستوحى من PixArt-α: شبكة MLP واحدة تحسب معاملات التعديل المشتركة بين جميع الطبقات، وكل طبقة تضيف فقط انحيازًا خاصًا بها b_l (المعادلة 5)، مما يوفر المعاملات مقارنة بتخصيص AdaLN منفصل لكل طبقة.
تفصيل ذكي: التاريخ يُعدَّل باستخدام t = 0
يُحسب AdaLN المشترك مرتين:
- مرة باستخدام t الحقيقي، للحصول على c_tgt، تُعطى لـ token المستقبل
- ومرة أخرى باستخدام t = 0، للحصول على c_ctx، تُعطى لـ token السجلات والتاريخ
سبب الورقة: التاريخ لا يحتوي على ضوضاء، فهو أصلًا عند الطرف «البيانات النظيفة» من التدفق، أي t = 0. وبما أن MLP مشترك وضحل جدًا، فإن حسابه مرة إضافية لا يكلف شيئًا تقريبًا، ومع ذلك يحصل كل نوع من الـ token على معاملات التطبيع المناسبة لدوره.
3.4: طبقة واحدة من كتلة KiT
المعادلتان (6)(7) مثل كتلة DiT القياسية: «RMSNorm معدَّل → اهتمام → بوابة متبقية»، ثم تُكرر مرة أخرى مع SwiGLU:
- x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
- x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)
ثلاثة خيارات تستحق الملاحظة:
- الانتباه ليس سببيًا. كل رمز (token)، بما في ذلك الرموز المستقبلية، يرى التسلسل بأكمله. تقول الورقة أن هذا يتيح للنموذج الاستفادة من "التبعيات بين الأشرطة المستقبلية داخل الضجيج".
- ترميز الموضع RoPE + QK-Norm، من أجل استقرار التدريب.
- تهيئة صفرية. طبقة الإخراج التي تنتج البوابة α والانحياز b_l لكل طبقة تُهيَّأ كلاهما إلى 0، لذا في بداية التدريب تكون كل كتلة تطابقًا هوياتيًا، وسرعة إخراج النموذج هي 0. هذا يتجنب التدرجات الضخمة عديمة المعنى في بداية التدريب (وهو نهج ورقة DiT الأصلية).
الدليل: الجدول 10 في الملحق E
بتغيير حقن الشرط فقط مع بقاء الباقي كما هو، متوسط عائد RankIC:
| الإعداد | متوسط عائد RankIC |
|---|---|
| هوية AdaLN + تقويم لكل شريط (KiT) | 0.0571 |
| الهوية بالسوق والقطاع فقط (إزالة النوع والحبيبية) | 0.0386 |
| بدون هوية إطلاقًا (c_base = 0) | 0.0329 |
| بدون تقويم لكل شريط | 0.0372 |
ثلاثة استنتاجات:
- الهوية هي الأهم: إزالتها بالكامل تسبب أكبر هبوط، 0.0571 → 0.0329.
- الهوية ذات الحبيبية الدقيقة مفيدة: الاحتفاظ بالسوق والقطاع فقط يعيد الأداء إلى 0.0386، لكنه لا يزال بعيدًا جدًا عن 0.0571، مما يدل على أن "أي سهم تحديدًا وبأي حبيبية" يحمل معلومات لا توفرها الهوية ذات الحبيبية الخشنة.
- التقويم مفيد أيضًا: إزالته تخفض الأداء إلى 0.0372. البُنى الزمنية مثل الافتتاح والإغلاق وما حول العطلات ليست في الهوية، ولا يمكن تعلمها من التاريخ وحده.
تستنتج الورقة من ذلك: كل نوع من الإشارات يُحقن وفق حبيبيته الخاصة، وبذلك فقط يصمد التصميم بأكمله.
اختبر معرفتكلماذا لا يمر ”يوم الأسبوع” عبر AdaLN مثل ”نوع الأداة”؟
تحقق من ذلك
- أستطيع أن أقول ما هي الأجزاء الثلاثة في التسلسل ولماذا لا يُضاف ضجيج إلى التاريخ
- أستطيع أن أقول أي الشروط تمر عبر AdaLN وأيها يُضاف إلى الرموز (tokens)، ولماذا
- أستطيع أن أشرح لماذا يُعدَّل التاريخ باستخدام t = 0
- أستطيع أن أستخدم الجدول 10 لبيان قيمة الهوية وقيمة التقويم
القسم التالي: قراءة متقنة للقسم 3.5 والملحق D: هدف التدريب والتوجيه المزدوج.