GGUF क्वांटाइज़्ड मॉडल: कम VRAM में बड़े मॉडल चलाएं
ComfyUI में 14B स्तर के बड़े मॉडल चलाना चाहते हैं, लेकिन आपके पास सिर्फ़ 8GB VRAM है? GGUF क्वांटाइज़्ड मॉडल वेट को कम बिट्स में कंप्रेस कर देता है, जिससे आप बिना ग्राफ़िक्स कार्ड बदले भी मॉडल चला सकते हैं। यह पेज ComfyUI GGUF की इंस्टॉलेशन, डाउनलोड और कनेक्शन की पूरी प्रक्रिया समझाता है।
सीखने के बाद आप क्या कर सकेंगे
- GGUF और ComfyUI की नेटिव क्वांटाइज़्ड फ़ॉर्मैट में अंतर समझाना, और यह जानना कि कब कौन-सा चुनें
- city96 का ComfyUI-GGUF कस्टम नोड इंस्टॉल करना
- कम्युनिटी क्वांटाइज़्ड रिपॉज़िटरी (bullerwins, QuantStack) से GGUF वेट खोजकर सही जगह रखना
- GGUF लोडर से मूल वर्कफ़्लो का स्टैंडर्ड लोड नोड बदलकर सफलतापूर्वक इमेज जनरेट करना
आपकी मौजूदा दिक्कत
- "मैं Wan2.2 14B चलाना चाहता हूँ, लेकिन मेरे ग्राफ़िक्स कार्ड में सिर्फ़ 8GB VRAM है, आधिकारिक fp16 वेट फ़िट ही नहीं होते।"
- "
.ggufफ़ाइल डाउनलोड की, models डायरेक्टरी में डाली, लेकिन लोडर में वह दिख ही नहीं रही।" - "सुना है कि क्वांटाइज़ेशन से इमेज क्वालिटी गिरती है, पता नहीं कौन-सा बिट लेवल चुनूँ।"
कब इस तरीके का उपयोग करें
जब आपको यह चाहिए:
- कम VRAM वाले ग्राफ़िक्स कार्ड पर ऐसे बड़े मॉडल चलाना जो असल में फ़िट नहीं होते
- कम्युनिटी द्वारा पहले से क्वांटाइज़ किए गए लोकप्रिय मॉडलों (जैसे Wan2.2 A14B का GGUF वर्शन) का उपयोग करना
और आप यह नहीं चाहते:
- ग्राफ़िक्स कार्ड अपग्रेड करने में पैसा खर्च करना
- खुद क्वांटाइज़ेशन कन्वर्ज़न करना
💡 पहले नेटिव फ़ॉर्मैट देखें
ComfyUI के पास भी एक नेटिव क्वांटाइज़्ड फ़ॉर्मैट है (fp8, int8 आदि, सीधे safetensors में सेव, बिना नोड इंस्टॉल किए)। अगर लक्ष्य मॉडल का आधिकारिक fp8 वर्शन उपलब्ध है, तो उसे प्राथमिकता दें; GGUF कम्युनिटी फ़ॉर्मैट है, जिसका फ़ायदा यह है कि इसमें ज़्यादा मॉडल और ज़्यादा बिट लेवल कवर होते हैं।
🎒 शुरू करने से पहले की तैयारी
- पढ़ चुके हैंमॉडल कहाँ रखें: models डायरेक्टरी और extra_model_paths की पूरी जानकारी, और
ComfyUI/models/के नीचे की सब-डायरेक्टरी संरचना जानते हैं - ComfyUI सामान्य रूप से स्टार्ट होता है और एक बुनियादी टेक्स्ट-टू-इमेज वर्कफ़्लो चला सकते हैं
- हार्ड डिस्क पर पर्याप्त जगह खाली है (एक GGUF फ़ाइल कुछ GB से लेकर बीस से ज़्यादा GB तक हो सकती है, बिट लेवल पर निर्भर करता है)
- नेटवर्क से Hugging Face एक्सेस हो सकता है (चीन में एक्सेस अस्थिर होने पर hf-mirror जैसी मिरर साइट से डाउनलोड कर सकते हैं)
मुख्य विचार
GGUF कम्युनिटी में व्यापक रूप से उपयोग होने वाला क्वांटाइज़्ड वेट फ़ॉर्मैट है। ComfyUI इसे नेटिव रूप से सपोर्ट नहीं करता — आधिकारिक दस्तावेज़ साफ़ कहता है: GGUF मॉडल चलाने के लिए कम्युनिटी कस्टम नोड (जैसे city96 का ComfyUI-GGUF) इंस्टॉल करना ज़रूरी है।
| तुलना बिंदु | ComfyUI नेटिव क्वांटाइज़्ड | GGUF क्वांटाइज़्ड |
|---|---|---|
| नोड इंस्टॉल ज़रूरी? | नहीं | हाँ (city96/ComfyUI-GGUF) |
| फ़ाइल फ़ॉर्मैट | safetensors | .gguf |
| सामान्य बिट लेवल | fp8, int8, fp4 आदि | कई लेवल की कम्युनिटी क्वांटाइज़ेशन, VRAM के हिसाब से चुनें |
| पाने का स्रोत | आधिकारिक रिलीज़, साथ में fp8 वेट | Hugging Face कम्युनिटी रिपॉज़िटरी |
एक लाइन में: नेटिव फ़ॉर्मैट तुरंत इस्तेमाल के लिए तैयार है, GGUF नोड के सहारे काम करता है और उसमें ज़्यादा बारीक बिट लेवल मिलते हैं।
मेरे साथ करें
चरण 1: ComfyUI-GGUF कस्टम नोड इंस्टॉल करें
GGUF ComfyUI का नेटिव फ़ॉर्मैट नहीं है, इसलिए पहले city96 का ComfyUI-GGUF नोड इंस्टॉल करना ज़रूरी है, तभी आगे के लोडर दिखेंगे।
ComfyUI का नोड मैनेजर खोलें (मेन्यू में Manage पैनल), GGUF सर्च करें, city96/ComfyUI-GGUF इंस्टॉल करें, फिर निर्देश के अनुसार ComfyUI को रीस्टार्ट करें।
आपको यह दिखना चाहिए: रीस्टार्ट के बाद कैनवास पर डबल-क्लिक करके नोड सर्च करने पर GGUF लिखे वाले लोडर नोड मिलने चाहिए।
- नोड लिस्ट में GGUF लोडर सर्च हो जाता है
चरण 2: GGUF क्वांटाइज़्ड मॉडल डाउनलोड और रखें
कम्युनिटी ने लोकप्रिय बड़े मॉडलों को पहले ही GGUF में क्वांटाइज़ कर दिया है, सीधे डाउनलोड करें, खुद कन्वर्ट करने की ज़रूरत नहीं।
Wan2.2 A14B के उदाहरण में, आधिकारिक ट्यूटोरियल में दी गई कम्युनिटी क्वांटाइज़्ड रिपॉज़िटरी ये हैं:
bullerwins/Wan2.2-T2V-A14B-GGUF(टेक्स्ट-टू-वीडियो)bullerwins/Wan2.2-I2V-A14B-GGUF(इमेज-टू-वीडियो)QuantStack/Wan2.2 GGUFs(संग्रह)
रिपॉज़िटरी में जाकर अपने VRAM के हिसाब से कोई बिट लेवल चुनकर डाउनलोड करें (लेवल जितना कम, फ़ाइल उतनी छोटी और VRAM खपत उतनी कम, आमतौर पर इमेज क्वालिटी का नुकसान भी उतना ज़्यादा)। डाउनलोड के बाद .gguf फ़ाइल को डिफ़्यूज़न मॉडल की संगत डायरेक्टरी में रखें, जैसे ComfyUI/models/unet/ (नए ComfyUI की डिफ़्यूज़न मॉडल डायरेक्टरी models/diffusion_models/ है, दोनों आमतौर पर पहचानी जाती हैं)।
आपको यह दिखना चाहिए: फ़ाइल models/unet/ डायरेक्टरी में दिखे, और वह checkpoints जैसी अन्य सब-डायरेक्टरी में न रखी गई हो।
.ggufफ़ाइल सही डायरेक्टरी में रखी गई
चरण 3: GGUF लोडर से मूल लोडर बदलें
स्टैंडर्ड लोडर GGUF नहीं पढ़ सकता, इसकी जगह ComfyUI-GGUF का लोडर उपयोग करना होगा।
अपना मूल वर्कफ़्लो खोलें, मॉडल लोड नोड ढूँढें (जैसे Load Checkpoint या डिफ़्यूज़न मॉडल लोड करने वाला नोड), डबल-क्लिक करके GGUF लिखे संगत लोडर सर्च करके जोड़ें, अभी डाउनलोड की गई .gguf फ़ाइल चुनें, इसका आउटपुट मूल मॉडल लोड नोड के डाउनस्ट्रीम (MODEL जैसे पोर्ट) से कनेक्ट करें, फिर पुराना लोड नोड हटा दें।
प्रॉम्प्ट, सैंपलर, VAE जैसे बाकी नोड वैसे ही रहेंगे, रन पर क्लिक करें।
आपको यह दिखना चाहिए: क्यू सामान्य रूप से चले, प्रोग्रेस बार पूरा होने पर आउटपुट डायरेक्टरी में इमेज या वीडियो मिले, और VRAM खपत फ़ुल-प्रिसिज़न वेट चलाने की तुलना में साफ़ कम हो।
- वर्कफ़्लो सफलतापूर्वक चला, आउटपुट फ़ाइल जनरेट हुई
चेकपॉइंट ✅
- ComfyUI-GGUF नोड इंस्टॉल हो चुका है, GGUF लोडर सर्च में मिल रहा है
.ggufफ़ाइल सही models सब-डायरेक्टरी में रखी गई है- वर्कफ़्लो में मॉडल लोडिंग GGUF लोडर से बदल दी गई है, पोर्ट कनेक्शन पूरे हैं
- कम VRAM वाली स्थिति में एक जनरेशन कार्य सफलतापूर्वक पूरा किया
आम गलतियों की चेतावनी
❌ डायरेक्टरी में डालने के बाद लोडर में फ़ाइल नहीं दिखती
कारण: फ़ाइल गलत सबडायरेक्टरी में रखी गई, या रखने के बाद ComfyUI को रीस्टार्ट/रिफ़्रेश नहीं किया गया।
सही तरीका: डायरेक्टरी की जाँच करें (डिफ़्यूज़न मॉडल प्रकार के GGUF models/unet/ में रखें), पुष्टि करें कि फ़ाइल का एक्सटेंशन .gguf ही है, और ज़रूरत पड़ने पर ComfyUI को रीस्टार्ट करें ताकि वह मॉडल डायरेक्टरी को दोबारा स्कैन कर सके।
❌ सोचा कि GGUF नेटिव फ़ॉर्मैट है, नोड इंस्टॉल नहीं किया
कारण: ComfyUI की आधिकारिक जानकारी के अनुसार GGUF को कम्युनिटी कस्टम नोड के समर्थन की आवश्यकता है, ComfyUI-GGUF इंस्टॉल न करें तो संबंधित लोडर उपलब्ध नहीं होता।
सही तरीका: पहले चरण 1 पूरा करके नोड इंस्टॉल करें, फिर लोडर खोजें।
❌ टेम्पलेट की 'मॉडल कम होने पर ऑटो-डाउनलोड' सुविधा से GGUF डाउनलोड कराने की उम्मीद
कारण: वर्कफ़्लो टेम्पलेट की मॉडल जानकारी केवल .safetensors/.sft फ़ॉर्मैट का समर्थन करती है, .gguf लिंक को असुरक्षित मानकर दिखाया नहीं जाता।
सही तरीका: GGUF हमेशा मैन्युअल रूप से डाउनलोड करें और संबंधित डायरेक्टरी में रखें, टेम्पलेट के ऑटो-डाउनलोड पर भरोसा न करें।
❌ बिना सोचे-समझे सबसे कम बिट स्तर चुनना
कारण: स्तर जितना कम होगा, इमेज गुणवत्ता का नुकसान उतना बड़ा होगा; अलग-अलग मॉडल और अलग-अलग कार्य क्वांटाइज़ेशन के प्रति अलग संवेदनशीलता रखते हैं।
सही तरीका: VRAM पर्याप्त होने पर पहले उच्च बिट स्तर चुनें; इमेज में गड़बड़ी (रंग, विवरण बिगड़ना) दिखे तो पहले एक स्तर ऊपर आज़माएँ, फिर अन्य कारणों की जाँच करें।
उन्नत तकनीकें
- एक ही रिपॉज़िटरी अक्सर कई बिट स्तर उपलब्ध कराती है; पहले छोटे स्तर डाउनलोड करके वर्कफ़्लो चला सकते हैं, फिर तय करें कि उच्च गुणवत्ता वाला संस्करण डाउनलोड करना है या नहीं
- टेक्स्ट एनकोडर और VAE के भी कम्युनिटी GGUF क्वांटाइज़्ड संस्करण उपलब्ध हैं; VRAM बहुत कम होने पर पूरे सेट को क्वांटाइज़्ड वेट के साथ इस्तेमाल किया जा सकता है
- VRAM की कमी की एरर आने पर पहले VRAM की कमी और अटकना: OOM का व्यवस्थित समाधान देखें, फिर लौटकर स्तर एडजस्ट करें
इस पाठ का सारांश
- ComfyUI नेटिव रूप से समर्थन नहीं करता GGUF के लिए, पहले city96 का ComfyUI-GGUF नोड इंस्टॉल करना ज़रूरी है
- GGUF वेट कम्युनिटी रिपॉज़िटरी से डाउनलोड करें: Wan2.2 सीरीज़ के लिए bullerwins और QuantStack देखें
- फ़ाइल को सही models सबडायरेक्टरी में रखें, और मूल लोड नोड को GGUF लिखा हुआ लोडर से बदलें
- ComfyUI का नेटिव क्वांटाइज़्ड फ़ॉर्मैट (fp8 आदि) नोड के बिना चलता है, आधिकारिक संस्करण उपलब्ध होने पर उसे प्राथमिकता दें
- टेम्पलेट का ऑटो-डाउनलोड
.ggufका समर्थन नहीं करता, मैन्युअल डाउनलोड करना होगा
| मुख्य बात | अनुशंसित तरीका | विवरण |
|---|---|---|
| कस्टम नोड | city96/ComfyUI-GGUF | आधिकारिक दस्तावेज़ में निर्दिष्ट GGUF समर्थन नोड |
| डाउनलोड रिपॉज़िटरी | bullerwins / QuantStack | Wan2.2 आधिकारिक ट्यूटोरियल में सूचीबद्ध कम्युनिटी क्वांटाइज़ेशन संसाधन |
| संग्रह डायरेक्टरी | ComfyUI/models/unet/ | डिफ़्यूज़न मॉडल प्रकार का GGUF (नोड के README के अनुसार) |
| स्तर का चुनाव | VRAM पर्याप्त हो तो उच्च बिट चुनें | स्तर जितना कम, इमेज गुणवत्ता के बिगड़ने का जोखिम उतना बड़ा |
अगले पाठ की झलक
पेज नहीं चल रहा, नोड एरर दे रहा है, मॉडल लोड नहीं हो रहा? अगला पाठ ट्रबलशूटिंग ओवरव्यू: समस्या होने पर पहले यह पेज देखें (60 सेकंड में त्वरित जाँच) आपको एक त्वरित सेल्फ़-चेक प्रक्रिया देगा। आप सीखेंगे:
- आम एरर के लिए 60 सेकंड में जाँच की सोच
- कस्टम नोड इंस्टॉलेशन विफलता की जाँच का तरीका
- मॉडल न मिलने या लोड में एरर आने पर क्या करें
- VRAM की कमी के व्यवस्थित समाधान का प्रवेश बिंदु