3.3–3.4 का गहन अध्ययन: संरचना और सशर्त इंजेक्शन
प्रशिक्षण वाले अध्याय का "मॉडल संरचना" भाग कोड में हर टेंसर की आकृति बताता है। यह खंड पेपर के दृष्टिकोण पर स्विच करता है: हर डिज़ाइन के पीछे का कारण, और एब्लेशन प्रयोगों से मिला साक्ष्य।
समीकरण (4): एक अनुक्रम
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
रजिस्टर साफ़ इतिहास कोलाहलयुक्त भविष्यपेपर में हर हिस्से की व्याख्या:
- रजिस्टर: सीखने योग्य पैरामीटर, "वैश्विक ध्यान एकत्रीकरण बिंदु और सूचना समुच्चयकर्ता" के रूप में। किसी समय-बिंदु से संगत नहीं है।
- इतिहास: Lc साफ़ K-लाइन कैंडल, कभी कोलाहल नहीं जोड़ा जाता, आउटपुट में यथावत लौटाए जाते हैं (पेपर bit-identical कहता है)।
- भविष्य: Lh कैंडल, प्रशिक्षण के समय कोलाहलयुक्त z_t, अनुमान के समय शुद्ध गॉसियन कोलाहल।
इतिहास और भविष्य को एक ही अनुक्रम में क्यों रखा गया है, बजाय इसके कि एक एनकोडर इतिहास पढ़े और दूसरा डिकोडर भविष्य उत्पन्न करे? परिचय उत्तर देता है: इससे पूरी विंडो पर ध्यान द्विदिशात्मक होता है, सशर्त सूचना (इतिहास) पूरी तरह सुरक्षित रहती है, और भविष्य की हर कैंडल इतिहास की हर कैंडल को सीधे देख सकती है, और एक-दूसरे को भी।
शर्तों के दो रास्ते: पेपर की "शर्त-अनुशासन"
यह खंड 3.3 का मूल है। पेपर सभी शर्तों को "ग्रैन्युलैरिटी" के आधार पर दो वर्गों में बाँटता है, और अलग-अलग तंत्र लागू करता है:
| शर्त | उदाहरण | मॉडल में कैसे जाती है | कारण |
|---|---|---|---|
| विंडो-अपरिवर्तनीय (पहचान) | बाज़ार, उद्योग, वैरायटी, ग्रैन्युलैरिटी, और बहता समय t | अलग-अलग एम्बेड करके जोड़कर c_base बनता है, t के एम्बेडिंग के साथ एक उथले MLP (साझा AdaLN) से गुजरता है, हर परत को मॉड्युलेट करता है | पूरी विंडो पर एक जैसा, वैश्विक "शैली" के लिए उपयुक्त |
| प्रति-कैंडल बदलने वाली (कैलेंडर) | दिन के भीतर का समय (फूरियर एन्कोडिंग), ट्रेडिंग सत्र में स्थिति, सप्ताह का दिन, इवेंट फ़्लैग, महीना, वर्ष का कौन-सा दिन | एम्बेड करके सीधे उस K-लाइन कैंडल के token पर जोड़ी जाती है | उस कैंडल के साथ समय पर संरेखित होनी ज़रूरी है; अनुमान के समय भी पहले से निर्धारित की जा सकती है |
साझा AdaLN PixArt-α से प्रेरित है: एक MLP सभी परतों के लिए साझा मॉड्युलेशन पैरामीटर निकालता है, हर परत केवल अपना एक अतिरिक्त बायस b_l जोड़ती है (समीकरण 5), जो हर परत के अलग AdaLN रखने से पैरामीटर बचाता है।
एक चतुर बारीकी: इतिहास को t = 0 से मॉड्युलेट किया जाता है
साझा AdaLN को दो बार गणना की जाती है:
- वास्तविक t से एक बार गणना करके c_tgt प्राप्त होता है, जो भविष्य के token को दिया जाता है
- t = 0 से दोबारा गणना करके c_ctx प्राप्त होता है, जो रजिस्टर और इतिहास के token को दिया जाता है
पेपर का कारण: इतिहास में कोई नॉइज़ नहीं है, यह पहले से ही फ़्लो के "साफ़ डेटा" वाले सिरे पर है, यानी t = 0। क्योंकि MLP साझा और बहुत उथला है, एक बार अतिरिक्त गणना लगभग मुफ़्त है, फिर भी दोनों भूमिकाओं के token अपने-अपने उपयुक्त सामान्यीकरण पैरामीटर पा लेते हैं।
3.4: एक-परत KiT ब्लॉक
सूत्र (6)(7) मानक DiT ब्लॉक की तरह ही "मॉड्युलेटेड RMSNorm → अटेंशन → गेटेड रेसिड्युअल" हैं, और फिर एक बार और SwiGLU के साथ:
- x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
- x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)
तीन ध्यान देने योग्य चुनाव:
- अटेंशन कॉज़ल नहीं है। हर token, भविष्य के सहित, पूरी अनुक्रम को देखता है। पेपर कहता है कि इससे मॉडल "नॉइज़ में भविष्य की विभिन्न कैंडलों के बीच निर्भरता" का उपयोग कर सकता है।
- RoPE स्थिति एन्कोडिंग + QK-Norm, ट्रेनिंग स्थिरता के लिए।
- शून्य-इनिशियलाइज़ेशन। गेटिंग α पैदा करने वाली आउटपुट परत और हर परत के बायस b_l को 0 पर इनिशियलाइज़ किया जाता है, इसलिए ट्रेनिंग शुरू होने पर हर ब्लॉक आइडेंटिटी मैपिंग होता है और मॉडल का आउटपुट वेग 0 होता है। यह ट्रेनिंग की शुरुआत में विशाल, अर्थहीन ग्रेडिएंट से बचाता है (DiT के मूल पेपर का तरीका)।
सबूत: अनुलग्नक E तालिका 10
केवल कंडीशन इंजेक्शन बदलें, बाकी सब वैसा ही, औसत रिटर्न RankIC:
| कॉन्फ़िगरेशन | औसत रिटर्न RankIC |
|---|---|
| AdaLN आइडेंटिटी + प्रति-बार कैलेंडर (KiT) | 0.0571 |
| आइडेंटिटी में केवल बाज़ार और उद्योग रखें (वैरायटी और ग्रैन्युलैरिटी हटाएँ) | 0.0386 |
| आइडेंटिटी बिल्कुल न इस्तेमाल करें (c_base = 0) | 0.0329 |
| प्रति-बार कैलेंडर न इस्तेमाल करें | 0.0372 |
तीन निष्कर्ष:
- आइडेंटिटी सबसे महत्वपूर्ण है: पूरी हटाने पर सबसे ज़्यादा गिरावट आती है, 0.0571 → 0.0329।
- Fine-grained identity उपयोगी है: केवल बाज़ार और उद्योग रखने पर वापस 0.0386 आते हैं, लेकिन 0.0571 से अभी बहुत दूर हैं, जो बताता है कि "विशेष रूप से कौन सा स्टॉक, किस granularity पर" ऐसी जानकारी ले जाता है जो मोटी-grain identity नहीं दे सकती।
- कैलेंडर भी उपयोगी है: हटाने पर गिरकर 0.0372 हो जाता है। बाज़ार खुलना, बंद होना, छुट्टियों के आसपास का समय — ऐसी समय-संरचना न तो identity में होती है, और न ही केवल इतिहास से सीखी जा सकती है।
पेपर इससे निष्कर्ष निकालता है: प्रत्येक प्रकार के सिग्नल को उसकी अपनी granularity पर inject करना चाहिए, तभी पूरा डिज़ाइन टिकता है।
आपकी परीक्षाक्यों ”हफ़्ते का दिन” AdaLN से ”इंस्ट्रूमेंट” की तरह नहीं जाता?
एक बार जाँच करें
- मैं बता सकता हूँ कि sequence में तीन हिस्से क्या हैं और इतिहास में noise क्यों नहीं जोड़ा जाता
- मैं बता सकता हूँ कि कौन सी conditions AdaLN से जाती हैं, कौन सी token में जुड़ती हैं, और उनका कारण क्या है
- मैं समझा सकता हूँ कि इतिहास को t = 0 से modulate क्यों किया जाता है
- मैं तालिका 10 का उपयोग करके बता सकता हूँ कि identity और कैलेंडर की values कितनी हैं
अगला भाग: ध्यान से पढ़ें 3.5 और अनुलग्नक D: ट्रेनिंग उद्देश्य और दोहरी guidance।