आधिकारिक वेट पर फ़ाइन-ट्यून
यह सेक्शन पूरा करने पर, आप 2026 के नए डेटा से एक आधिकारिक KiT को फ़ाइन-ट्यून कर पाएँगे, और जान पाएँगे कि फ़ाइन-ट्यूनिंग कब काम आती है और कब बेकार मेहनत है।
फ़ाइन-ट्यूनिंग क्या है
शून्य से ट्रेनिंग का मतलब है एक बिल्कुल कुछ न जानने वाले मॉडल को शुरुआत से सिखाना। फ़ाइन-ट्यूनिंग में एक पहले से सीखा हुआ मॉडल लेकर, उसे आपके रुचि के डेटा पर थोड़ी देर और अभ्यास कराया जाता है।
जैसे आपकी टीम में एक अनुभवी बूढ़े ट्रेडर को बुलाना: उसे यह नहीं सीखना पड़ता कि K-लाइन क्या होती है, बस हाल के मार्केट से थोड़ा परिचित होना पड़ता है।
पहली कोशिश: VRAM कम पड़ गया
सबसे सीधा तरीका 2.84 सौ मिलियन पैरामीटर सभी का आगे प्रशिक्षण जारी रखना है:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --steps 300 --batch 8 --lr 2e-5 --out runs/ft-1dहमारे 16GB GPU पर साथ ही दूसरे प्रोग्राम भी चल रहे थे, सिर्फ़ करीब 7GB बचा था, नतीजा:
model 285.8M params | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB. GPU 0 has a total capacity of 15.56 GiB of which 29.31 MiB is free.पूरी ट्रेनिंग में हर पैरामीटर के लिए ख़ुद उसके अलावा ग्रेडिएंट और ऑप्टिमाइज़र की दो स्थितियाँ भी सहेजनी पड़ती हैं। 2.84 सौ मिलियन पैरामीटर के लिए सिर्फ़ इतना ही 4~5GB लगता है, और बीच के नतीजे जोड़ने पर 7GB काफ़ी नहीं।
दूसरी बार: सिर्फ़ आख़िरी 4 परतें ट्रेन
--train-last 4 पहले वाली परतें फ़्रीज़ करके, सिर्फ़ आख़िरी 4 Transformer ब्लॉक और आउटपुट परत ट्रेन करें। फ़्रीज़ किए पैरामीटर को ग्रेडिएंट और ऑप्टिमाइज़र स्थिति की ज़रूरत नहीं, VRAM तुरंत काफ़ी हो गया:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --train-last 4 --steps 300 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1dmodel 285.8M params (51.4M trainable) | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
step 50 | train 1.3012 | val 1.3650 | 4s | peak GPU 2.8 GB
...
step 300 | train 1.3271 | val 1.3690 | 25s | peak GPU 2.8 GBट्रेन करने योग्य पैरामीटर 5140 लाख (5.14 करोड़), पीक VRAM 2.8GB। लेकिन वैलिडेशन लॉस 1.363 से 1.369, बिल्कुल नहीं घटा।
काम क्यों नहीं किया: यह डेटा उसके लिए नया नहीं था
इस बार का ट्रेनिंग डेटा 2016 से 2025 के महीने 6 तक है, वैलिडेशन 2025 का दूसरा छमाही है। पेपर के सेक्शन 4.1 के मुताबिक़, आधिकारिक चेकपॉइंट का ट्रेनिंग सेट 2023 के अंत तक का पूरा डेटा है, और 2024–2025 उसका वैलिडेशन सेट था: ट्रेनिंग के दौरान इन्हीं दो सालों के लॉस से तय होता रहा कि कब रुकना है, कौन सा चेकपॉइंट रखना है। यानी इस बार का ट्रेनिंग डेटा ज़्यादातर उसने सीधे सीखा ही था, और बाक़ी तथा वैलिडेशन विंडो दोनों उसके मॉडल चुनने में शामिल रहे। यह सब दोबारा सिखाने से कुछ नया नहीं मिलता।
एक और संकेत: इन 400 वैलिडेशन डेटा सेगमेंट पर आधिकारिक मॉडल का लॉस 1.363 है, जो आपकी पिछली सेक्शन में शून्य से ट्रेनिंग के सबसे अच्छे नतीजे 1.787 से काफ़ी कम है। इसका कुछ हिस्सा इसलिए क्योंकि वह बड़ा है और बहुत ज़्यादा डेटा सीखा है, और कुछ हिस्सा इसलिए कि यह अवधि उसके मॉडल चुनने में शामिल रही, इसलिए यह तुलना निष्पक्ष नहीं है।
फ़ाइन-ट्यूनिंग में ऐसा डेटा लें जिसे मॉडल की ट्रेनिंग और वैलिडेशन दोनों ने नहीं छुआ हो। आधिकारिक चेकपॉइंट के लिए, यानी 2026 के बाद का।
तीसरी बार: 2026 के नए डेटा से
डेमो डेटा 2026-04-10 तक का है। 1 घंटे की लाइन लें: महीना 1 (जनवरी) से महीना 2 (फ़रवरी) के अंत तक फ़ाइन-ट्यून, महीना 3 (मार्च) से महीना 4 (अप्रैल) की 10 तारीख़ तक सत्यापन।
python train_mini.py --scale 1h --ckpt ckpt/step_market_284M.pt --train-last 4 \
--train-start 2026-01-01 --train-end 2026-02-27 --val-start 2026-03-02 --val-end 2026-04-10 \
--per-stock 40 --steps 400 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1h-2026आपको देखना चाहिए कि सत्यापन हानि पहले घटती है फिर बढ़ती है:
model 285.8M params (51.4M trainable) | scale 1h Lc=400 Lh=20 | windows train 4000 val 400 (9s)
step 0 | val 1.8550
step 50 | train 1.6560 | val 1.8174 | 7s | peak GPU 3.3 GB
step 100 | train 1.6602 | val 1.8095 | 14s | peak GPU 3.3 GB
...
step 400 | train 1.4729 | val 1.8529 | 53s | peak GPU 3.3 GB第 100 स्टेप पर वैलिडेशन लॉस सबसे कम (1.809)। train_mini.py इस समय best.pt सेव करता है।
वैलिडेशन लॉस 1.855 → 1.810 (स्टेप 100 पर सबसे कम), लगभग 2.5% घटी। इसके बाद फिर बढ़ने लगी: दो महीने के डेटा के लिए 100 स्टेप काफ़ी हैं। runs/ft-1h-2026/best.pt का उपयोग करें:
python eval/infer_for_pred.py --ckpt runs/ft-1h-2026/best.pt --case 300733.SZ,1h,"2026-03-20 15:00"सत्यापन हानि घटी, जिसका मतलब है कि मॉडल इस नए मार्केट ट्रेंड के वितरण से ज़्यादा परिचित हो गया है। क्या यह रैंकिंग को ज़्यादा सटीक (RankIC) बनाएगा, इसे लंबी टेस्ट अवधि और ज़्यादा स्टॉक्स पर infer_for_eval.py और cal_metrics.py से सत्यापित करना होगा। महीना 1 (जनवरी) से महीना 4 (अप्रैल) तक मिलाकर सिर्फ़ तीन महीने से थोड़ा ज़्यादा होता है, यह प्रयोग केवल यह दिखाता है कि प्रक्रिया चल गई और दिशा सही है।
खोजेंमेरी स्थिति यह है……
एक पर क्लिक करके देखें।
आपकी परीक्षा2025 के डेटा से ऑफिशियल step_market_284M को फाइन-ट्यून किया, वैलिडेशन लॉस लगभग वही रही, सबसे संभावित कारण क्या है?
जाँच करें
- मैं जानता हूँ कि फुल फ़ाइनट्यूनिंग में VRAM क्यों फट जाता है, और
--train-lastकैसे बचाता है - मैं जानता हूँ कि फ़ाइनट्यूनिंग में मॉडल की ट्रेनिंग कट-ऑफ़ तारीख़ के बाद का डेटा उपयोग करना चाहिए
- मैंने 2026 के डेटा से एक
best.ptफ़ाइनट्यून किया, और उससे प्रेडिक्शन चार्ट बनाया
अगला अध्याय: KiT पेपर समझें, हर डिज़ाइन के पीछे के कारण और सबूत देखें।