Skip to content

بنية النموذج: KlineDiT ​

يفترض هذا القسم أنك تعرف ما هو الانتباه والاتصال المتبقي وLayerNorm في Transformer. بعد إنهاء هذا القسم، ستستطيع النظر إلى kit_v1/model/dit.py وذكر شكل كل موتر ومصدره في عملية انتشار أمامي واحدة، فلن تتعثر عند قراءة كود التدريب في القسم التالي.

النسخة في جملة واحدة ​

KiT هو نموذج DiT (Diffusion Transformer): يرتب التاريخ النظيف والمستقبل المضاف إليه الضوضاء في تسلسل واحد من الـ token، ويعالجه بـ Transformer ذي انتباه ثنائي الاتجاه، ولا يُخرج "السرعة" إلا في مقطع المستقبل.

الإدخال: تسلسل واحد من ثلاثة مقاطع ​

نأخذ مثالاً بنموذج KiT-L الرسمي للتنبؤ بالشموع على إطار 1 ساعة (Lc=400، Lh=20، d_model=1024):

text
[ r1 r2 r3 r4 | x_1 … x_400 | z_1 … z_20 ]
  سجلات 4    التاريخ (نظيف)    المستقبل (مضاف إليه ضوضاء)

ابحثهذا الجزء من التسلسل……

انقر على واحد لترى.

بضعة أسطر من بداية الانتشار الأمامي (dit.py):

python
tok = (self.in_proj(z)                    # [B, L, 5]  -> [B, L, d]
       + self.role_emb(role_tok)          # 0=历史 1=未来
       + self.calendar(clock, sess, dow, event, month, yday))   # [B, L, d]
x = torch.cat([registers, tok], dim=1)    # [B, 4 + L, d],L = Lc + Lh = 420

الشروط تسير في مسارين ​

إلى جانب الشموع، يعرف النموذج الكثير: أي سوق هذا، أي قطاع، أي سهم، أي إطار زمني، وكم الساعة الآن وأي يوم من الأسبوع. مبدأ التصميم في الورقة هو:

  • الشروط المتطابقة عبر النافذة بأكملها (السوق، القطاع، السهم، الإطار الزمني، زمن التدفق t) → تُجمَع في متجه واحد يُعدِّل كل طبقة عبر AdaLN
  • الشروط المختلفة لكل شمعة (اللحظة، يوم الأسبوع، أحداث العطلات……) → تُضاف مباشرةً إلى token تلك الشمعة، للحفاظ على المحاذاة الزمنية

حساب المسار الأول:

python
c_base = market_emb + sector_emb + inst_proj(inst_emb) + scale_emb   # [B, d]
h = silu(W1(t_emb(t) + c_base))                                      # SharedAdaLN
c_mod = W2(h)        # [B, 6d] → 每层的 shift1, scale1, gate1, shift2, scale2, gate2

جدول تضمين الأسهم منخفض الرتبة: 8192 خانة × 512 بُعدًا، ثم يُسقط إلى 1024. الخانة 0 تعني "غير معروف"، لذا يمكن ملؤها بـ vocab_index: 0 ويظل يعمل (كما شرحنا في الفصل السابق).

تفصيل واحد: التعديل الذي يحصل عليه token التاريخ يختلف عن الذي يحصل عليه token المستقبل. يحسب المستقبل c_mod باستخدام t الحقيقي، بينما يعيد التاريخ الحساب باستخدام t=0 (بنفس الأوزان). لأن التاريخ أصلًا في حالة "بدون ضوضاء".

كل طبقة: AdaLN + انتباه + SwiGLU ​

python
mod = where(role == 未来, c_mod_tgt, c_mod_ctx) + bias_i   # 按 token 角色选调制,再加每层自己的偏置
h = rmsnorm(x) * (1 + scale1) + shift1
x = x + gate1 * attention(h)          # 双向注意力,RoPE 位置编码,QK-Norm
h = rmsnorm(x) * (1 + scale2) + shift2
x = x + gate2 * swiglu(h)

بنفس فكرة "AdaLN-Zero" في ورقة DiT الأصلية: تُهيَّأ W2 وطبقة الإخراج إلى 0، لذا في بداية التدريب تكون كل طبقة دالة محايدة وناتج النموذج 0، فيصبح التدريب أكثر استقرارًا.

الانتباه ليس له قناع سببي، بل يحجب مواضع الحشو فقط. لذا يمكن للتاريخ رؤية token الضوضاء في المستقبل، ويمكن للمستقبل رؤية كل التاريخ. هذا يختلف جذريًا عن النماذج الذاتية الانحدارية (التي تولّد شمعة تلو الأخرى): تُولَّد 20 شمعة معًا، فلا يحدث أن "تخطئ واحدة فتخطئ ما بعدها". تُدرج الورقة هذه النقطة كميزة على النماذج الذاتية الانحدارية مثل Kronos.

الإخراج: يؤخذ مقطع المستقبل فقط ​

python
x_tgt = x[:, 4 + Lc:, :]                          # [B, Lh, d]
h = rmsnorm(x_tgt) * (1 + scale_f) + shift_f      # 最后再调制一次
v_pred = out_proj(h)                              # [B, Lh, 5]:每根未来 K 线五个数的“速度”

ثلاثة أحجام ​

KiT-SKiT-MKiT-L (مفتوح المصدر)
المعاملات3100 عشرة آلاف1.01 مئة مليون2.84 مئة مليون
ملف التهيئةconfigs/dit_30m.yamlconfigs/dit_100m.yamlconfigs/dit_300m.yaml
d_model5127681024
عدد الطبقات81321
رؤوس الانتباه468
الطبقة المخفية لـ FFN140820482816

الأرقام مأخوذة من الجدول 3 في ملحق الورقة البحثية. تم تدريب الأحجام الثلاثة جميعها في الورقة لمدة 5 عشرة آلاف خطوة.

تحقق بنفسك من عدد معاملات KiT-L:

bash
python -c "import torch;from kit_v1.infer import load_model_and_config as f;m,c=f('ckpt/step_market_284M.pt','tiny',0);print(sum(p.numel() for p in m.parameters()), c.model.n_layers, c.model.d_model)"

من المفترض أن ترى:

text
[info] loaded EMA weights (step=50000)
285789189 21 1024

2.858 مئة مليون، أي أكثر بنحو 210 عشرة آلاف من قيمة 283.7M الواردة في جدول الورقة: جدول تضمينات الأسهم في الأوزان مفتوحة المصدر يحتوي على 8192 خانة (بينما يُذكر في ملف التهيئة 4096)، وحاصل ضرب الزيادة 4096 × 512 يعطي هذا الرقم بالضبط.

اختبر معرفتك”هذا السهم مَن” و”شمعة K هذه لأي يوم من الأسبوع”، يدخلان النموذج عبر ماذا على التوالي؟

تحقق ​

  • أستطيع كتابة طول التسلسل الزمني في المرور الأمامي الواحد للشموع على الإطار الزمني 1 ساعة: 4 + 400 + 20
  • أعرف أي الشروط تمر عبر AdaLN وأيها يُضاف إلى الـ tokens
  • أعرف لماذا يتم توليد 20 شمعة مستقبلية معًا في وقت واحد دون تراكم الأخطاء

القسم التالي: كيف تعلّم ذلك.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.