पूर्व ज्ञान: ऑटोरिग्रेसिव से फ्लो मैचिंग तक
पेपर के सेक्शन 1 और 2 में पूर्ववर्ती कार्यों की एक लंबी सूची है। यह सेक्शन पूरा करने के बाद, आप उन्हें कई श्रेणियों में बाँट सकेंगे, बता सकेंगे कि KiT प्रत्येक श्रेणी से कैसे अलग है, और परिचय पढ़ते समय नामों में खोए नहीं जाएँगे।
पहली श्रेणी: हर मार्केट के लिए अलग से एक मॉडल ट्रेन करना
शुरुआती डीप लर्निंग तरीके: LSTM, GRU, या K-लाइन चार्ट को इमेज मानकर कन्वोल्यूशन नेटवर्क को देना। समस्या यह है कि हर मार्केट, हर प्रेडिक्शन लंबाई के लिए अलग मॉडल ट्रेन करना पड़ता है, दृश्य बदलते ही फिर से शुरू करना पड़ता है।
बाद के Transformer प्रेडिक्शन मॉडल (iTransformer, PatchTST, TFT) सामान्य बेंचमार्क पर ज़्यादा मज़बूत हैं, TFT अनिश्चितता व्यक्त करने के लिए क्वांटाइल भी आउटपुट कर सकता है, लेकिन वे भी "एक मॉडल सभी मार्केट को कवर करे" के लिए डिज़ाइन नहीं किए गए हैं।
दूसरी श्रेणी: सामान्य टाइम सीरीज़ फाउंडेशन मॉडल
बड़े भाषा मॉडलों के विचार को अपनाते हुए: विशाल, विभिन्न डोमेन की टाइम सीरीज़ पर एक मॉडल प्री-ट्रेन करना, जिसे आसानी से इस्तेमाल किया जा सके। पेपर में तुलना किए गए मॉडल हैं Chronos, TimesFM, Sundial।
K-लाइन पर इनकी समस्याएँ बहुत ठोस हैं:
- सिर्फ़ एक कर्व देखते हैं (आमतौर पर क्लोज़ प्राइस), ओपन-हाई-लो-क्लोज़ के बीच संबंध (हाई प्राइस हमेशा ≥ ओपन और क्लोज़) इन्हें नहीं पता
- कई सिर्फ़ एक प्रेडिक्शन देते हैं (पेपर की तुलना में Chronos, TimesFM सिर्फ़ एक पाथ देते हैं, K=1), पाथ का वितरण नहीं होता
तीसरी श्रेणी: वित्त के लिए विशेष फाउंडेशन मॉडल Kronos
Kronos बड़े पैमाने पर कई मार्केट की K-लाइन पर प्री-ट्रेन किया गया है, जो KiT के काम के सबसे करीब है। पेपर बताता है कि इसमें दो समस्याएँ हैं:
- डिस्क्रीटाइज़ेशन हानिपूर्ण है। यह पहले एक सीखे हुए क्वांटाइज़र से हर K-लाइन को डिस्क्रीट टोकन में बदलता है (जैसे रंगों को 256 रंगों में संपीड़ित करना), फिर भाषा मॉडल की तरह प्रोसेस करता है। क्वांटाइज़ेशन से जानकारी खोती है, और डिकोडिंग के समय "हाई प्राइस क्लोज़ प्राइस से कम" जैसी असंभव K-लाइन भी निकल सकती है।
- ऑटोरिग्रेसिव में त्रुटि संचय होता है। यह एक-एक करके आगे जनरेट करता है, हर K-लाइन पहले जनरेट किए गए को शर्त मानकर। पहली (1) K-लाइन थोड़ी ग़लत हो, तो दूसरी (2) ग़लती की नींव पर और ग़लत होती जाती है, जितना आगे जाएँ उतना विचलन बढ़ता है।
- 1?
- 2?
- 3?
क्रम के अनुसार, एक-एक करके क्लिक करें।
चौथी श्रेणी: डिफ्यूज़न-प्रकार के जनरेटिव मॉडल
डिफ्यूज़न मॉडल का विचार यह है: ट्रेनिंग के समय डेटा में थोड़ा-थोड़ा नॉइज़ मिलाकर शुद्ध नॉइज़ बनाया जाता है, ताकि मॉडल "डीनॉइज़िंग" सीख सके; जनरेशन के समय शुद्ध नॉइज़ से शुरू करके कदम-दर-कदम डीनॉइज़ करते हुए एक सैंपल मिलता है। इमेज जनरेशन (Stable Diffusion प्रकार) ऐसे ही काम करता है।
टाइम सीरीज़ पर उपयोग किए गए मॉडल हैं TimeGrad, CSDI, TSDiff, Diffusion-TS, NsDiff; रैंडम डिफ्यूज़न प्रक्रिया को निश्चित साधारण अवकल समीकरण पाथ से बदलने वाले, तेज़ सैंपलिंग वाले फ्लो मैचिंग वेरिएंट हैं FlowTS, TSFlow; वित्त के क्षेत्र में DiffSTOCK है।
पेपर की टिप्पणी: ये तरीके सभी छोटे पैमाने, एकल डोमेन वाले बेंचमार्क पर प्रस्तावित और परीक्षित किए गए हैं, अभी तक इनमें से कोई भी वित्तीय मार्केट का फाउंडेशन मॉडल नहीं बनाया गया है। यही कमी KiT भरना चाहता है।
फ्लो मैचिंग: इस पाठ में सबसे ज़रूरी अवधारणा
KiT फ्लो मैचिंग में से rectified flow इस्तेमाल करता है। आप ट्रेनिंग वाले अध्याय में सूत्र देख चुके हैं, यहाँ एक अलग नज़रिए से:
- दो ढेर सारे बिंदुओं की कल्पना करें: एक ढेर असली "अगली 20 K-लाइनें" (डेटा), दूसरा ढेर स्टैंडर्ड नॉर्मल नॉइज़।
- कोई भी एक जोड़ी बनाइए (एक डेटा बिंदु, एक नॉइज़ बिंदु), और उनके बीच एक सीधी रेखा खींचिए।
- एक नेटवर्क को ट्रेन करें: उसे रेखा पर कोई भी एक बिंदु और उस बिंदु की स्थिति t दें, और उसे इस रेखा की दिशा (नॉइज़ − डेटा) बताने दें।
- सीख जाने के बाद, किसी भी नॉइज़ बिंदु से शुरू करके, नेटवर्क जिस दिशा की ओर इशारा करता है उसके उल्टे चलें, और आप एक "असली डेटा जैसे" बिंदु पर पहुँच जाएँगे।
शुरुआती डिफ्यूज़न मॉडलों की तुलना में, पथ सीधी रेखा में है, इसलिए कुछ दर्जन कदम काफ़ी हैं; ऑटोरिग्रेसिव की तुलना में, पूरा भविष्य एक साथ नॉइज़ से बाहर निकलता है, इसलिए "पिछली बार गलती हुई तो अगली को बिगाड़ देगी" जैसी समस्या मौजूद नहीं है।
आपकी परीक्षाKiT के Kronos की तुलना में दो सुधार, पेपर में कौन से दो बताए गए हैं?
एक बार जाँच करें
- मैं पेपर में उल्लिखित पिछले कामों को चार श्रेणियों में बाँट सकता/सकती हूँ
- मैं समझा सकता/सकती हूँ कि ऑटोरिग्रेसिव में त्रुटि संचय क्यों होता है
- मैं "दो बिंदुओं के ढेर के बीच सीधी रेखा जोड़ने" के ज़रिए समझा सकता/सकती हूँ कि फ्लो मैचिंग क्या सीख रहा है
अगला भाग: गहन अध्ययन 3.2: एक K-लाइन पाँच संख्याओं में बदलती है।