الضبط الدقيق على الأوزان الرسمية
بعد إكمال هذا القسم، ستتمكن من ضبط نسخة KiT الرسمية بدقة باستخدام بيانات جديدة من عام 2026، وستعرف متى يكون الضبط الدقيق مفيدًا ومتى يكون مضيعة للوقت.
ما هو الضبط الدقيق
التدريب من الصفر يعني جعل نموذج لا يعرف شيئًا يتعلم من البداية. أما الضبط الدقيق فهو أخذ نموذج سبق أن تعلم، وتدريبه قليلًا ببيانات تهتم بها أنت.
الأمر أشبه بتوظيف تاجر قديم ذي خبرة غنية في فريقكم: لا يحتاج إلى تعلم ما هي شموع K من البداية، بل يحتاج فقط إلى التعرف على أحدث تحركات السوق.
المحاولة الأولى: الذاكرة غير كافية
الأسلوب الأكثر مباشرة هو مواصلة تدريب جميع المعاملات البالغ عددها 2.84 × مئة مليون:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --steps 300 --batch 8 --lr 2e-5 --out runs/ft-1dكانت برامج أخرى تعمل في نفس الوقت على بطاقتنا الرسومية بسعة 16GB، فلم يتبقَّ سوى حوالي 7GB، وكانت النتيجة:
model 285.8M params | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB. GPU 0 has a total capacity of 15.56 GiB of which 29.31 MiB is free.أثناء التدريب الكامل، يحتاج كل معامل، إلى جانب نفسه، إلى تخزين نسختين من التدرجات وحالات المُحسِّن. هذه العناصر وحدها تستهلك 4~5GB لـ 2.84 × مئة مليون معلمة، وإضافةً إلى النتائج الوسيطة، فإن 7GB لا تكفي.
المرة الثانية: تدريب آخر 4 طبقات فقط
--train-last 4 لتجميد الطبقات السابقة وتدريب آخر 4 كتلة Transformer وطبقة الإخراج فقط. المعاملات المجمّدة لا تحتاج إلى تدرجات أو حالات مُحسِّن، فتكفي الذاكرة فورًا:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --train-last 4 --steps 300 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1dmodel 285.8M params (51.4M trainable) | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
step 50 | train 1.3012 | val 1.3650 | 4s | peak GPU 2.8 GB
...
step 300 | train 1.3271 | val 1.3690 | 25s | peak GPU 2.8 GBالمعاملات القابلة للتدريب تبلغ 5140 × عشرة آلاف، وذروة استخدام الذاكرة 2.8GB. لكن خسارة التحقق ذهبت من 1.363 إلى 1.369، دون أي انخفاض.
لماذا لم ينجح: هذه البيانات ليست جديدة بالنسبة له
بيانات التدريب هذه المرة كانت من عام 2016 إلى شهر 6 من عام 2025، والتحقق كان في النصف الثاني من عام 2025. وفقًا للقسم 4.1 من الورقة، فإن مجموعة تدريب نقطة التحقق الرسمية هي جميع البيانات حتى نهاية عام 2023، أما عاما 2024–2025 فهما مجموعة التحقق الخاصة بها: كان يتم استخدام خسارة هذين العامين طوال التدريب لتحديد متى التوقف وأي نقطة تحقق الاحتفاظ بها. أي أن معظم بيانات التدريب هذه المرة سبق للنموذج تعلمها مباشرة، والباقي مع نافذة التحقق شاركا جميعًا في اختيار النموذج لديه. تعليمه هذه المواد مرة أخرى لن يعلّمه شيئًا جديدًا.
هناك إشارة أخرى: خسارة النموذج الرسمي على مقاطع التحقق الـ 400 هذه هي 1.363، وهي أقل بكثير من أفضل نتيجة لك في التدريب من الصفر في القسم السابق وهي 1.787. جزء من السبب أنه أكبر وتعلم بيانات أكثر بكثير، وجزء لأن هذه الفترة شاركت في اختيار النموذج لديه، لذا فهذه المقارنة غير عادلة.
يجب أن يستخدم الضبط الدقيق بيانات لم يلمسها تدريب النموذج ولا تحققه. بالنسبة لنقطة التحقق الرسمية، هذا يعني ما بعد عام 2026.
المرة الثالثة: استخدام بيانات جديدة من عام 2026
بيانات العرض التوضيحي حتى 2026-04-10. خذ خطوط ساعة لمدة 1 ساعة: الضبط الدقيق من شهر 1 إلى نهاية شهر 2، والتحقق من شهر 3 إلى 10 شهر 4.
python train_mini.py --scale 1h --ckpt ckpt/step_market_284M.pt --train-last 4 \
--train-start 2026-01-01 --train-end 2026-02-27 --val-start 2026-03-02 --val-end 2026-04-10 \
--per-stock 40 --steps 400 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1h-2026يجب أن ترى خسارة التحقق تنخفض أولًا ثم ترتفع:
model 285.8M params (51.4M trainable) | scale 1h Lc=400 Lh=20 | windows train 4000 val 400 (9s)
step 0 | val 1.8550
step 50 | train 1.6560 | val 1.8174 | 7s | peak GPU 3.3 GB
step 100 | train 1.6602 | val 1.8095 | 14s | peak GPU 3.3 GB
...
step 400 | train 1.4729 | val 1.8529 | 53s | peak GPU 3.3 GB第 100 خطوة، أقل خسارة تحقق (1.809). يحفظ train_mini.py ملف best.pt في هذه اللحظة.
خسارة التحقق 1.855 → 1.810 (الأدنى عند الخطوة 100)، بانخفاض حوالي 2.5%. ثم بدأت ترتفع مجددًا: بيانات شهرين تكفي 100 خطوة تدريب. استخدم runs/ft-1h-2026/best.pt:
python eval/infer_for_pred.py --ckpt runs/ft-1h-2026/best.pt --case 300733.SZ,1h,"2026-03-20 15:00"انخفاض خسارة التحقق يعني أن النموذج أصبح أكثر ألفة مع توزيع هذه التحركات الجديدة. أما ما إذا كان سيجعل الترتيب أكثر دقة (RankIC)، فيجب التحقق منه باستخدام infer_for_eval.py و cal_metrics.py على فترة اختبار أطول وعدد أكبر من الأسهم. الفترة من شهر 1 إلى شهر 4 تبلغ مجتمعةً أكثر من ثلاثة أشهر بقليل، لذا لا يثبت هذا التجربة سوى أن سير العمل يعمل وأن الاتجاه صحيح.
ابحثحالتي هي……
انقر على واحد لترى.
اختبر معرفتكاستخدمت بيانات عام 2025 لضبط نموذج step_market_284M الرسمي بدقة، ولم تتغير خسارة التحقق تقريباً. ما السبب الأكثر ترجيحاً؟
تحقق من نفسك
- أعرف لماذا يفيض الضبط الدقيق الكامل للذاكرة، ولماذا يستطيع
--train-lastالتوفير - أعرف أن الضبط الدقيق يجب أن يستخدم بيانات بعد تاريخ انتهاء تدريب النموذج
- قمت بضبط
best.ptبدقة باستخدام بيانات عام 2026، وأنتجت به مخططات تنبؤ
الفصل التالي: فهم ورقة KiT، لرؤية الأسباب والأدلة وراء كل تصميم.