بنية النموذج: KlineDiT
يفترض هذا القسم أنك تعرف ما هو الانتباه والاتصال المتبقي وLayerNorm في Transformer. بعد إنهاء هذا القسم، ستستطيع النظر إلى kit_v1/model/dit.py وذكر شكل كل موتر ومصدره في عملية انتشار أمامي واحدة، فلن تتعثر عند قراءة كود التدريب في القسم التالي.
النسخة في جملة واحدة
KiT هو نموذج DiT (Diffusion Transformer): يرتب التاريخ النظيف والمستقبل المضاف إليه الضوضاء في تسلسل واحد من الـ token، ويعالجه بـ Transformer ذي انتباه ثنائي الاتجاه، ولا يُخرج "السرعة" إلا في مقطع المستقبل.
الإدخال: تسلسل واحد من ثلاثة مقاطع
نأخذ مثالاً بنموذج KiT-L الرسمي للتنبؤ بالشموع على إطار 1 ساعة (Lc=400، Lh=20، d_model=1024):
[ r1 r2 r3 r4 | x_1 … x_400 | z_1 … z_20 ]
سجلات 4 التاريخ (نظيف) المستقبل (مضاف إليه ضوضاء)ابحثهذا الجزء من التسلسل……
انقر على واحد لترى.
بضعة أسطر من بداية الانتشار الأمامي (dit.py):
tok = (self.in_proj(z) # [B, L, 5] -> [B, L, d]
+ self.role_emb(role_tok) # 0=历史 1=未来
+ self.calendar(clock, sess, dow, event, month, yday)) # [B, L, d]
x = torch.cat([registers, tok], dim=1) # [B, 4 + L, d],L = Lc + Lh = 420الشروط تسير في مسارين
إلى جانب الشموع، يعرف النموذج الكثير: أي سوق هذا، أي قطاع، أي سهم، أي إطار زمني، وكم الساعة الآن وأي يوم من الأسبوع. مبدأ التصميم في الورقة هو:
- الشروط المتطابقة عبر النافذة بأكملها (السوق، القطاع، السهم، الإطار الزمني، زمن التدفق t) → تُجمَع في متجه واحد يُعدِّل كل طبقة عبر AdaLN
- الشروط المختلفة لكل شمعة (اللحظة، يوم الأسبوع، أحداث العطلات……) → تُضاف مباشرةً إلى token تلك الشمعة، للحفاظ على المحاذاة الزمنية
حساب المسار الأول:
c_base = market_emb + sector_emb + inst_proj(inst_emb) + scale_emb # [B, d]
h = silu(W1(t_emb(t) + c_base)) # SharedAdaLN
c_mod = W2(h) # [B, 6d] → 每层的 shift1, scale1, gate1, shift2, scale2, gate2جدول تضمين الأسهم منخفض الرتبة: 8192 خانة × 512 بُعدًا، ثم يُسقط إلى 1024. الخانة 0 تعني "غير معروف"، لذا يمكن ملؤها بـ vocab_index: 0 ويظل يعمل (كما شرحنا في الفصل السابق).
تفصيل واحد: التعديل الذي يحصل عليه token التاريخ يختلف عن الذي يحصل عليه token المستقبل. يحسب المستقبل c_mod باستخدام t الحقيقي، بينما يعيد التاريخ الحساب باستخدام t=0 (بنفس الأوزان). لأن التاريخ أصلًا في حالة "بدون ضوضاء".
كل طبقة: AdaLN + انتباه + SwiGLU
mod = where(role == 未来, c_mod_tgt, c_mod_ctx) + bias_i # 按 token 角色选调制,再加每层自己的偏置
h = rmsnorm(x) * (1 + scale1) + shift1
x = x + gate1 * attention(h) # 双向注意力,RoPE 位置编码,QK-Norm
h = rmsnorm(x) * (1 + scale2) + shift2
x = x + gate2 * swiglu(h)بنفس فكرة "AdaLN-Zero" في ورقة DiT الأصلية: تُهيَّأ W2 وطبقة الإخراج إلى 0، لذا في بداية التدريب تكون كل طبقة دالة محايدة وناتج النموذج 0، فيصبح التدريب أكثر استقرارًا.
الانتباه ليس له قناع سببي، بل يحجب مواضع الحشو فقط. لذا يمكن للتاريخ رؤية token الضوضاء في المستقبل، ويمكن للمستقبل رؤية كل التاريخ. هذا يختلف جذريًا عن النماذج الذاتية الانحدارية (التي تولّد شمعة تلو الأخرى): تُولَّد 20 شمعة معًا، فلا يحدث أن "تخطئ واحدة فتخطئ ما بعدها". تُدرج الورقة هذه النقطة كميزة على النماذج الذاتية الانحدارية مثل Kronos.
الإخراج: يؤخذ مقطع المستقبل فقط
x_tgt = x[:, 4 + Lc:, :] # [B, Lh, d]
h = rmsnorm(x_tgt) * (1 + scale_f) + shift_f # 最后再调制一次
v_pred = out_proj(h) # [B, Lh, 5]:每根未来 K 线五个数的“速度”ثلاثة أحجام
| KiT-S | KiT-M | KiT-L (مفتوح المصدر) | |
|---|---|---|---|
| المعاملات | 3100 عشرة آلاف | 1.01 مئة مليون | 2.84 مئة مليون |
| ملف التهيئة | configs/dit_30m.yaml | configs/dit_100m.yaml | configs/dit_300m.yaml |
| d_model | 512 | 768 | 1024 |
| عدد الطبقات | 8 | 13 | 21 |
| رؤوس الانتباه | 4 | 6 | 8 |
| الطبقة المخفية لـ FFN | 1408 | 2048 | 2816 |
الأرقام مأخوذة من الجدول 3 في ملحق الورقة البحثية. تم تدريب الأحجام الثلاثة جميعها في الورقة لمدة 5 عشرة آلاف خطوة.
تحقق بنفسك من عدد معاملات KiT-L:
python -c "import torch;from kit_v1.infer import load_model_and_config as f;m,c=f('ckpt/step_market_284M.pt','tiny',0);print(sum(p.numel() for p in m.parameters()), c.model.n_layers, c.model.d_model)"من المفترض أن ترى:
[info] loaded EMA weights (step=50000)
285789189 21 10242.858 مئة مليون، أي أكثر بنحو 210 عشرة آلاف من قيمة 283.7M الواردة في جدول الورقة: جدول تضمينات الأسهم في الأوزان مفتوحة المصدر يحتوي على 8192 خانة (بينما يُذكر في ملف التهيئة 4096)، وحاصل ضرب الزيادة 4096 × 512 يعطي هذا الرقم بالضبط.
اختبر معرفتك”هذا السهم مَن” و”شمعة K هذه لأي يوم من الأسبوع”، يدخلان النموذج عبر ماذا على التوالي؟
تحقق
- أستطيع كتابة طول التسلسل الزمني في المرور الأمامي الواحد للشموع على الإطار الزمني 1 ساعة: 4 + 400 + 20
- أعرف أي الشروط تمر عبر AdaLN وأيها يُضاف إلى الـ tokens
- أعرف لماذا يتم توليد 20 شمعة مستقبلية معًا في وقت واحد دون تراكم الأخطاء
القسم التالي: كيف تعلّم ذلك.