खंड 3.5 और अनुलग्नक D का गहन अध्ययन: ट्रेनिंग उद्देश्य और दोहरा गाइडेंस
यह खंड पूरा करने के बाद, आप KiT का ट्रेनिंग लॉस और इन्फेरेंस के समय के गाइडेंस फॉर्मूले लिख सकेंगे, और तालिका 8 देखकर बता सकेंगे कि दोनों गाइडेंस नॉब 64 पथों को किस तरफ खींचते हैं।
3.1 + 3.5: ट्रेनिंग उद्देश्य
खंड 3.1 की प्रारंभिक जानकारी और खंड 3.5 को मिलाएं, तो केवल तीन फॉर्मूले बनते हैं:
- (1) नॉइज़ जोड़ना: z_t = (1 − t) x₀ + t ε
- (2) लक्ष्य वेग: v* = ε − x₀, लॉस माध्य वर्ग त्रुटि (MSE) है
- (8) KiT का संस्करण: MSE केवल भविष्य के Lh पोज़िशनों पर औसत, इतिहास एटेंशन में भाग लेता है, पर लॉस में नहीं आता
t को logit-normal डिस्ट्रिब्यूशन से निकाला जाता है: t = σ(N(0, 1))। यह Stable Diffusion 3 वाले पेपर (Esser और अन्य, 2024) से लिया गया है, जो ट्रेनिंग को बीच के नॉइज़ स्तरों पर केंद्रित करता है। कोड का विवरण ट्रेनिंग वाले अध्याय में देखें।
तीन तरह की कंडीशन ड्रॉप: गाइडेंस के लिए
ट्रेनिंग के समय एक निश्चित प्रायिकता से तीन तरह के रिप्लेसमेंट किए जाते हैं:
- प्रजाति और उद्योग के एम्बेडिंग को एक साझा [UNK] ("नहीं पहचानता") से बदलें
- सभी पहचान सिग्नल (बाज़ार, उद्योग, प्रजाति, ग्रैन्युलैरिटी) को [NULL] से बदलें
- पूरे इतिहास को शून्य कर दें
इस तरह एक ही नेटवर्क तीन तरह के प्रेडिक्शन सीख लेता है: पूरी कंडीशन वाला, पहचान के बिना, और इतिहास के बिना। आधिकारिक कॉन्फ़िगरेशन में इनके संगत inst_dropout, allcond_dropout, hist_dropout हैं।
फॉर्मूला (9): दोहरा क्लासिफायर-फ्री गाइडेंस
क्लासिफायर-फ्री गाइडेंस (CFG) कंडीशनल जेनरेटिव मॉडल का सबसे अधिक इस्तेमाल होने वाला इन्फेरेंस नॉब है। अनुलग्नक D का फॉर्मूला (10) मानक रूप है:
v = v∅ + w (v_c − v∅)
w = 1 होने पर यह सामान्य कंडीशनल मॉडल है; w > 1 "कंडीशन वाले" और "कंडीशन के बिना" के अंतर को बड़ा कर देता है, सैंपल कंडीशन के ज़्यादा करीब आते हैं, पर विविधता घटती है। इमेज जेनरेशन में CFG बढ़ाने पर तस्वीर प्रॉम्प्ट से ज़्यादा मेल खाती है पर एकरस हो जाती है — यह वही बात है।
KiT इसे दो स्वतंत्र अक्षों में तोड़ता है, फॉर्मूला (9):
v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)
- पहचान गाइडेंस w_id: "यह कौन सी प्रजाति है" के प्रभाव को बड़ा करता है। प्रजाति की पहचान अपने "धीमे स्वभाव" के साथ आती है: विशिष्ट ड्रिफ्ट, वोलैटिलिटी, K-लाइन का आकार।
- इतिहास गाइडेंस w_hist: "हाल की इस चाल" के प्रभाव को बढ़ाता है।
अनुमान स्क्रिप्ट के --cfg-w और --hist-cfg-w ही ये दोनों w हैं; कोड kit_v1/infer/sampler.py में है, तीनों प्रकार के पूर्वानुमान एक ही बैच फॉरवर्ड में साथ गणना होते हैं।
अनुलग्नक D: दोनों नॉब्स एक-एक दिशा में खींचते हुए
पेपर ने 100 प्रजातियों को चुना, हर एक के लिए उसी प्रारंभिक नॉइज़ से 64 पथ सैंपल किए, एक बार में केवल एक w एडजस्ट किया (1 से 4), और तीन मेट्रिक्स देखे (जितना छोटा, उतना "फिट")
- Prior gap: पथ का वोलैटिलिटी उस प्रजाति के दीर्घकालिक वोलैटिलिटी से कितना दूर है
- History gap: पथों का औसत अंतिम रिटर्न हाल के एक हिस्से के रिटर्न से कितना दूर है
- Spread: 64 पथों के अंत बिंदुओं का फैलाव कितना है
w = 1 का मतलब है कोई गाइडेंस नहीं, पेपर के मुख्य परिणाम इसी सेटिंग में हैं।
पढ़ने का तरीका:
- w_id को 1 से 4 किया तो Prior gap 0.41 → 0.15, History gap लगातार 0.5 के आसपास रहा: पहचान मार्गदर्शन पथों को केवल प्रजाति के मूल स्वभाव की ओर खींचता है।
- w_hist को 1 से 4 किया तो History gap 0.52 → 0.19, Prior gap लगातार 0.4 के आसपास रहा: इतिहास मार्गदर्शन पथों को केवल हाल की चाल की ओर खींचता है।
- दोनों Spread को छोटा कर देते हैं (1.08 → 0.69 या 0.72): जितनी कसकर फिट, पथ उतने ही कम विविध।
तो डिफ़ॉल्ट 1 क्यों है? पेपर ने रिटर्न पूर्वानुमान के IC और RankIC की भी तुलना की: CFG बढ़ाने से कुछ प्रजातियों (विशेषकर कुछ उच्च-वोलैटिलिटी प्रजातियों) के लिए मदद मिलती है, लेकिन समग्र औसत लगभग अपरिवर्तित रहता है। इसलिए मुख्य परिणामों में दोनों w 1 पर ही रखे गए, यानी मार्गदर्शन चालू नहीं है।
यही वह संदर्भ है जिसके कारण अनुमान स्क्रिप्ट की सहायता में लिखा है कि "--cfg-w कैलिब्रेशन को नुकसान पहुँचाता है, सावधानी से उपयोग करें": पथ केंद्रित हो जाते हैं, वितरण अधिक आत्मविश्वासी दिखता है, लेकिन ज़रूरी नहीं कि अधिक सटीक हो।
आपकी परीक्षाआप चाहते हैं कि भविष्यवाणी का वोलैटिलिटी पैटर्न इस शेयर की आदत के ज़्यादा मिले, तो क्या एडजस्ट करेंगे?
एक बार जाँच लें
- मैं KiT की ट्रेनिंग लॉस लिख सकता/सकती हूँ और बता सकता/सकती हूँ कि वह केवल किस हिस्से की गणना करती है
- मुझे तीन प्रकार की कंडीशन ड्रॉप और दो मार्गदर्शन नॉब्स के बीच का संबंध पता है
- मैं तालिका 8 का उपयोग करके बता सकता/सकती हूँ कि w_id और w_hist कौन-सी दिशा में खींचते हैं, और डिफ़ॉल्ट दोनों 1 क्यों हैं
अगला अनुभाग: खंड 4 का गहन अध्ययन: प्रयोगों को कैसे पढ़ें।