LTX-2/2.3: एक बार में आवाज़ वाला वीडियो बनाएं
पिछले पाठों का Wan2.2 दृश्य बहुत अच्छे बनाता है, लेकिन एक बात साझा है: बना हुआ वीडियो गूंगा होता है। आवाज़ चाहिए? डबिंग, लिप-सिंक और मिक्सिंग अलग से करनी होगी; यह पूरा पोस्ट-प्रोडक्शन वीडियो बनाने से भी ज़्यादा मेहनत कराता है।
इस पाठ में ऐसा मॉडल लेते हैं जो आवाज़ सहित बनाता है: LTX-2, Lightricks का ओपन-सोर्स ऑडियो-वीडियो फ़ाउंडेशन मॉडल। इसकी सबसे बड़ी ख़ासियत है एक ही इन्फ़ेरेंस में दृश्य और आवाज़ एक साथ बनाना — क्रिया, संवाद, साउंड इफ़ेक्ट और बैकग्राउंड म्यूज़िक साथ आते हैं, और स्वाभाविक रूप से सिंक्रनाइज़्ड होते हैं। LTX-2.3 संस्करण ComfyUI टेम्पलेट लाइब्रेरी में नेटिव रूप से शामिल है — इस पाठ में हम LTX-2 ComfyUI वर्कफ़्लो को पूरा चलाएँगे, बिना किसी कस्टम नोड इंस्टॉल किए।
सीखने के बाद आप क्या कर सकेंगे
- आधिकारिक LTX-2.3 टेक्स्ट-से-वीडियो टेम्पलेट लोड कर 1280×720, लगभग 5 सेकंड, आवाज़ सहित वीडियो बनाना
- LTX-2.3 की पाँच मॉडल फ़ाइलें डाउनलोड कर सही जगह रखना (मुख्य मॉडल 27.14 GB), और बता सकना कि हर फ़ाइल किस काम की है
- "दृश्य + आवाज़" वाला LTX-2.3 प्रॉम्प्ट लिखना: क्रिया, विज़ुअल विवरण और ऑडियो तीन तत्व
- LTX-2 और LTX-2.3 के रिश्ते और distilled त्वरण (8 चरण, CFG 1) के इस्तेमाल को समझना
- ज़रूरत के हिसाब से छह नेटिव वर्कफ़्लो में सही टेम्पलेट चुनना: टेक्स्ट-से-वीडियो, इमेज-से-वीडियो, पहला-आख़िरी फ़्रेम, ऑडियो-चालित लिप-सिंक, IC-LoRA नियंत्रण, ID-LoRA से कस्टम डिजिटल ह्यूमन
आपकी मौजूदा दिक़्क़त
- बने वीडियो में आवाज़ नहीं होती; डबिंग, लिप-सिंक और साउंड इफ़ेक्ट सब ख़ुद पोस्ट-प्रोडक्शन में करने पड़ते हैं — एक वीडियो पर दो बार मेहनत
- चाहते हैं कि वीडियो का कोई "बोले", लेकिन सामान्य वीडियो मॉडल के बनाए होंठों की हरकत और संवाद बिल्कुल मेल नहीं खाते
- सुना है कि LTX-2 आवाज़-दृश्य एक साथ बनाता है, लेकिन ऑनलाइन ट्यूटोरियल या तो पुराने LTX-2 के वर्कफ़्लो हैं या ढेर सारे कस्टम नोड इंस्टॉल करने पड़ते हैं
यह तरीक़ा कब इस्तेमाल करें
जब आपको चाहिए:
- वीडियो में सिंक्रनाइज़्ड आवाज़: परिवेश ध्वनि, संवाद, साउंड इफ़ेक्ट एक बार में जनरेट
- दृश्य के किरदार को बोलते हुए दिखाना, होंठों की हरकत और आवाज़ मेल खाए
- 9:16 वर्टिकल वीडियो (LTX-2.3 ने वर्टिकल पोर्ट्रेट की क्वालिटी के लिए विशेष रूप से ऑप्टिमाइज़ किया है)
- वीडियो में साफ़ टेक्स्ट दिखना (LTX-2.3 में टेक्स्ट रेंडरिंग को मज़बूत किया गया है)
और आप नहीं चाहते:
- दृश्य बनाने के बाद डबिंग और लिप-सिंक की प्रक्रिया फिर से चलाना
- थर्ड-पार्टी कस्टम नोड पैकेज इंस्टॉल करना
🎒 शुरू करने से पहले की तैयारी
- ComfyUI वीडियो जनरेशन सफलतापूर्वक चला चुके हों: टेम्पलेट लाइब्रेरी से वर्कफ़्लो लोड करना और आउटपुट डायरेक्टरी देखना आता हो
- ComfyUI को v0.16.4 या उससे ऊपर अपडेट किया हो (LTX-2.3 के चार बेसिक टेम्पलेट पर टेम्पलेट लाइब्रेरी में दर्ज न्यूनतम संस्करण; इस ट्यूटोरियल की जाँच के समय आधिकारिक नवीनतम संस्करण v0.43.2 था, सीधे नवीनतम पर अपडेट करना सबसे आसान है)
- डिस्क में 31 GB से शुरू: मुख्य मॉडल की एक ही फ़ाइल 27.14 GB है; टेक्स्ट एनकोडर का आकार आधिकारिक रूप से नहीं बताया गया है, बजट थोड़ा और ढीला रखें
- VRAM का अंदाज़ा रखें: 22B मॉडल fp8 क्वांटाइज़्ड होने पर भी छोटा नहीं है; पहले टेम्पलेट के डिफ़ॉल्ट पैरामीटर से चलाकर देखें, फिर रेज़ॉल्यूशन बढ़ाने का विचार करें
- नेटवर्क ठीक नहीं? मॉडल रिपॉज़िटरी का ModelScope पर आधिकारिक मिरर है (
Comfy-Org/ltx-2.3,Comfy-Org/ltx-2), चरण 2 देखें
मुख्य विचार
इस पाठ की नई चीज़ तीन वाक्यों में:
- LTX-2 एक "ऑडियो-वीडियो एक साथ जनरेट" मॉडल है। यह Lightricks का 19B पैरामीटर वाला DiT ऑडियो-वीडियो फ़ाउंडेशन मॉडल है, जो एक ही इन्फ़ेरेंस में सिंक्रनाइज़्ड वीडियो और ऑडियो दोनों बनाता है। LTX-2.3 इसका अपग्रेडेड संस्करण है (वेट 22B स्पेसिफ़िकेशन के हैं), जिसमें नया लेटेंट स्पेस और VAE हैं — विवरण, वर्टिकल पोर्ट्रेट, ऑडियो क्वालिटी, इमेज-से-वीडियो की स्थिरता, प्रॉम्प्ट समझ और टेक्स्ट रेंडरिंग सबमें व्यापक सुधार हुआ है।
- आवाज़ कोई अतिरिक्त जोड़ नहीं है, बल्कि इमेज के साथ उसी latent स्पेस में संयुक्त रूप से denoise होकर निकलती है। टेम्पलेट में वीडियो latent और ऑडियो latent को पहले जोड़ा जाता है (LTXVConcatAVLatent), साथ में sample किया जाता है, फिर क्रमशः वीडियो VAE और ऑडियो VAE से decode किया जाता है (ऑडियो VAE मुख्य मॉडल फ़ाइल में ही built-in है), और अंत में एक ऑडियो ट्रैक वाला वीडियो बनाया जाता है।
- तेज़ी distillation LoRA से आती है, मॉडल बदलने से नहीं। LTX-2 के दौर में अलग distilled वेट थे (8 स्टेप, CFG=1); LTX-2.3 का टेक्स्ट-टू-वीडियो टेम्पलेट distillation को 2.55 GB के LoRA के रूप में dev मुख्य मॉडल पर लगाता है, 8 स्टेप sampling और CFG 1 पर ही नतीजा आ जाता है।
ComfyUI ने LTX-2.3 के लिए छह native वर्कफ़्लो built-in किए हैं, जो generation से लेकर control और customization तक कवर करते हैं:
| वर्कफ़्लो | क्या करता है | इनपुट |
|---|---|---|
| T2V टेक्स्ट-टू-वीडियो | टेक्स्ट से सीधे ऑडियो-वीडियो बनाना | प्रॉम्प्ट |
| I2V इमेज-टू-वीडियो | इमेज को हिलाना और आवाज़ देना | एक इमेज + प्रॉम्प्ट |
| FLF2V पहला-आख़िरी फ़्रेम | दो इमेज के बीच transition भरना | पहला फ़्रेम + आख़िरी फ़्रेम |
| IA2V ऑडियो-चालित | lip-sync डिजिटल मानव | एक इमेज + एक ऑडियो |
| IC-LoRA नियंत्रण | डेप्थ/पोज़/एज कंट्रोल से generation | कंट्रोल वीडियो + रेफ़रेंस इमेज |
| ID-LoRA कस्टमाइज़ेशन | किसी पात्र का रूप और आवाज़ तय करना | रेफ़रेंस इमेज + छोटा ऑडियो + प्रॉम्प्ट |
इस पाठ की मुख्य धारा T2V को चलाना है, बाक़ी पाँच को चरण 6 में झलक देखेंगे—वे ज़्यादातर मॉडल फ़ाइलें साझा करते हैं।
मेरे साथ करें
चरण 1: ComfyUI अपडेट करें और LTX-2.3 टेक्स्ट-टू-वीडियो टेम्पलेट लोड करें
क्यों: आधिकारिक टेम्पलेट पूरी ऑडियो-वीडियो पाइपलाइन (टेक्स्ट एनकोडिंग, दोनों LoRA, संयुक्त sampling, वीडियो और ऑडियो decoding, संश्लेषण व सहेजना) पहले से कॉन्फ़िगर करता है, टेम्पलेट से शुरू करने पर न कोई फ़ाइल छूटेगी, न पैरामीटर ग़लत भरेंगे।
- ComfyUI को नवीनतम संस्करण पर अपडेट करें (डेस्कटॉप संस्करण में built-in अपडेट का उपयोग करें, पोर्टेबल संस्करण में
update_comfyuiअपडेट स्क्रिप्ट चलाएँ) - टेम्पलेट लाइब्रेरी खोलें (Browse Templates), Video श्रेणी में जाएँ, LTX-2.3 Text to Video ढूँढें (सीधे 「LTX-2.3」 खोजना तेज़ है)
- लोड पर क्लिक करें
आपको यह दिखना चाहिए:
कैनवास पर एक बड़ा Text to Video (LTX-2.3) wrapper नोड, साथ में एक निर्देश नोट और एक SaveVideo आउटपुट नोड
wrapper नोड में एक अंग्रेज़ी नमूना प्रॉम्प्ट पहले से है (मशीन पुर्ज़ों का हवा में अपने-आप जुड़ना और अंत में 「LTX-2.3」 उत्कीर्ण दिखना—जो ठीक उसकी टेक्स्ट रेंडरिंग क्षमता दिखाता है)
कोई लाल नोड नहीं
टेम्पलेट लोड हो गया, कैनवास पर कोई लाल नोड नहीं
💡 संस्करण कम होने पर नोड ग़ायब रहेंगे
टेम्पलेट लाइब्रेरी ने T2V/I2V/FLF2V/IA2V के लिए न्यूनतम संस्करण 0.16.4 लिखा है, ID-LoRA टेम्पलेट के लिए 0.19.0 और IC-LoRA टेम्पलेट के लिए 0.22.0 चाहिए। संस्करण बहुत पुराना होने पर नोड मौजूद नहीं होने की ग़लती आएगी, पहले अपडेट करें फिर आगे बढ़ें।
चरण 2: पाँच मॉडल फ़ाइलें डाउनलोड करें (घरेलू मिरर सहित)
क्यों: LTX-2.3 के टेक्स्ट-टू-वीडियो टेम्पलेट को पाँच फ़ाइलें चाहिए, जिनमें से चार कुल मिलाकर लगभग 31 GB हैं (टेक्स्ट एनकोडर का आकार आधिकारिक रूप से नहीं बताया गया); टेम्पलेट लोड करने पर पॉपअप स्वतः डाउनलोड करता है, मैन्युअल डाउनलोड पर फ़ाइलनाम और डायरेक्टरी पहचानना ज़रूरी है।
| फ़ाइल | आकार | डायरेक्टरी | काम |
|---|---|---|---|
ltx-2.3-22b-dev-fp8.safetensors | 27.14 GB | models/checkpoints/ | 22B मुख्य मॉडल (fp8 quantized), ऑडियो VAE भी इसी में built-in है |
ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors | 2.55 GB | models/loras/ | distillation LoRA: 8 स्टेप तेज़ sampling |
gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors | 599.1 MB | models/loras/ | टेक्स्ट एनकोडर पर लगने वाला 「unblock」 LoRA, प्रॉम्प्ट समझ बेहतर |
gemma_3_12B_it_fp4_mixed.safetensors | — | models/text_encoders/ | Gemma 3 12B टेक्स्ट एनकोडर (fp4 quantized संस्करण) |
ltx-2.3-spatial-upscaler-x2-1.1.safetensors | 949.6 MB | models/latent_upscale_models/ | latent 2 गुना upscaler, उच्च रेज़ोल्यूशन देता है |
डायरेक्टरी संरचना ऐसी दिखती है:
ComfyUI/
├── models/
│ ├── checkpoints/
│ │ └── ltx-2.3-22b-dev-fp8.safetensors
│ ├── loras/
│ │ ├── ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors
│ │ └── gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors
│ ├── text_encoders/
│ │ └── gemma_3_12B_it_fp4_mixed.safetensors
│ └── latent_upscale_models/
│ └── ltx-2.3-spatial-upscaler-x2-1.1.safetensors💡 चीनी उपयोगकर्ताओं के लिए: टेम्पलेट नोट में सूचीबद्ध मॉडल रिपॉज़िटरी का ModelScope पर आधिकारिक मिरर है—Comfy-Org/ltx-2.3 (LoRA) और Comfy-Org/ltx-2 (टेक्स्ट एनकोडर, gemma LoRA), रिपॉज़िटरी का नाम खोजें; मुख्य मॉडल फ़ाइल Hugging Face के Lightricks/LTX-2.3-fp8 रिपॉज़िटरी में है।
आपको यह दिखना चाहिए: पाँचों फ़ाइलें अपनी जगह पर; wrapper नोड पर पाँचों मॉडल ड्रॉपडाउन में संगत फ़ाइलनाम चुने जा सकते हैं, कोई लाल ग़लती नहीं।
- पाँच मॉडल फ़ाइलें जगह पर, सभी ड्रॉपडाउन में सही फ़ाइल चुनी गई
चरण 3: Workflow Wrapper नोड से परिचित हों
क्यों: यह टेम्पलेट दर्जनों आंतरिक नोड्स को एक Workflow Wrapper (सबग्राफ़) में समेटता है, आपको रोज़ सिर्फ़ wrapper नोड के कुछ पैरामीटर संभालने हैं; ब्योरा बदलना हो तो डबल-क्लिक करके भीतर की पाइपलाइन देखें।
wrapper नोड पर जिन पैरामीटरों को आप वास्तव में छुएँगे:
| पैरामीटर | टेम्पलेट डिफ़ॉल्ट | विवरण |
|---|---|---|
| प्रॉम्प्ट | अंग्रेज़ी नमूना पहले से शामिल | इमेज + आवाज़ साथ लिखें, चरण 4 देखें |
| prompt_enhance | चालू | प्रॉम्प्ट स्वतः संवर्धन: कम लिखें तो भी ब्योरे स्वयं जोड़ देता है |
| width / height | 1280 / 720 | आउटपुट रेज़ोल्यूशन; आंतरिक रूप से पहले कम रेज़ोल्यूशन का लेटेंट स्पेस बनता है, फिर 2 गुना अपस्केलर से लक्ष्य मान तक खींचा जाता है |
| duration | 5 | अवधि (सेकंड) |
| fps | 25 | फ्रेम रेट |
| seed | रैंडम | रीप्रोड्यूस करने के लिए सीड फिक्स करें |
| पांच मॉडल ड्रॉपडाउन | चरण 2 की वह पांच फ़ाइलें | वेट बदलना हो तो यहीं बदलें |
- पहले कुछ भी न बदलें, हर पैरामीटर की जगह पहचान लें
- रैपर नोड पर डबल-क्लिक करके अंदर जाएं: Gemma टेक्स्ट एनकोडर लोडिंग, दो LoRA लोडर, ऑडियो-वीडियो लेटेंट स्पेस का कॉन्कैट, दो सैंपलिंग चरण (8 चरण जनरेशन + 3 चरण रिफाइनमेंट), और वीडियो/ऑडियो की अलग-अलग डिकोडिंग वाली पूरी पाइपलाइन दिखेगी
आपको यह दिखना चाहिए: आंतरिक सबग्राफ मॉडल लोड → प्रॉम्प्ट एनकोड → ऑडियो-वीडियो लेटेंट स्पेस कॉन्कैट → सैंपल → डिकोड → आउटपुट के क्रम में सजा है; सैंपलिंग में CFGGuider इस्तेमाल हुआ है, cfg 1 है, और दोनों चरणों की स्टेप संख्या एक-एक मैनुअल sigma टेबल से नियंत्रित होती है: कम रेज़ोल्यूशन की मुख्य जनरेशन 8 चरण चलती है, और 2 गुना लेटेंट अपस्केल के बाद का रिफाइनमेंट सेगमेंट 3 चरण चलता है——डिस्टिल LoRA ने दोनों सेगमेंट को इकहरे अंकों तक सिमट दिया है।
- रैपर नोड के सातों पैरामीटर बता सकें कि कौन-सा क्या करता है
चरण 4: 「दृश्य + आवाज़」 प्रॉम्प्ट लिखें
क्यों: LTX-2.3 एक ऑडियो-वीडियो मॉडल है, प्रॉम्प्ट में सिर्फ दृश्य लिखना आधी क्षमता बर्बाद करना है; ऑफिशियल तीन तत्व हैं मुख्य क्रिया, विज़ुअल विवरण, ऑडियो।
ऑफिशियल प्रॉम्प्ट संरचना (LTX-2 की गाइड भी इसी पर लागू होती है):
- मुख्य क्रिया: समय के क्रम में बताएं कि घटना कैसे घटती है, कैसे आगे बढ़ती है
- विज़ुअल विवरण: जो भी विवरण आप देखना चाहते हैं उसे पूरा लिखें——रूप, बैकग्राउंड, कैमरा पोज़िशन, रोशनी
- ऑडियो: साफ लिखें कि इस दृश्य में कौन-सी आवाज़ें हैं, पात्र क्या बोलते हैं
लिखने के मुख्य बिंदु: एक ससंगत पैराग्राफ, सीधे क्रिया से शुरू करें, पृष्ठभूमि मत गढ़ें; LTX-2 ऑफिशियल सलाह 200 शब्दों के भीतर रखें।
ऑफिशियल इमेज-टू-वीडियो टेम्पलेट में एक स्टैंडर्ड नमूना पहले से शामिल है (मिस्र की रानी वाला हिस्सा), इसी संरचना पर अपना लिखें:
मिस्र के शाही परिवार की स्त्री, नीले-सुनहरे हेडड्रेस और हाई कॉलर, सफेद सुनहरे कढ़ाई वाली लंबी पोशाक और बाजूबंद, रेगिस्तान, दाएं-बाएं दो कतारों में रोबोट सैनिकों की पंक्ति।
वह स्थिरता से आगे चलती है, सिर सीधा रखती है, नज़र सामने टिकी रहती है——सिर नहीं झुकाती। कैमरा केवल एक लगातार धीमा पुश-इन करता है:
उसके, रोबोटों और रेगिस्तान के लॉन्ग शॉट से शुरू होकर, धीरे-धीरे मीडियम या मीडियम-क्लोज़ शॉट तक आगे बढ़ता है, फिर रुक जाता है। वह ठिठक जाती है,
मुद्रा और सिर अब भी सीधे, बोलती है: 「प्राचीन देवता मौन हो गए, और मैं नहीं।」 रोबोट सैनिक जगह पर पैर पटकते हैं या हल्का सा हिलते हैं,
रेत के कण और वस्त्र हवा में लहराते हैं। कैमरा पीछे नहीं जाता; एकमात्र कैमरा मूवमेंट यही लगातार पुश-इन है।ध्यान दें कि नमूने में तीनों चीज़ें मौजूद हैं: क्रिया का क्रम (चलना → कैमरा पुश → रुकना → बोलना), विज़ुअल विवरण (पोशाक, पंक्ति, उड़ती रेत), ऑडियो (एक संवाद + परिवेश की आवाज़)। संवाद सीधे प्रॉम्प्ट में लिखें, मॉडल आवाज़ और होंठों की हरकत साथ-साथ जनरेट करेगा।
निगेटिव प्रॉम्प्ट को टेम्पलेट के डिफ़ॉल्ट वाले जैसा ही रखें:
pc game, console game, video game, cartoon, childish, uglyआपको यह दिखना चाहिए: प्रॉम्प्ट बॉक्स में एक ससंगत पैराग्राफ है, तीन तत्व 「मुख्य क्रिया → विज़ुअल विवरण → ऑडियो」 के क्रम में सजे हैं, संवाद उद्धरण चिह्नों में लिखा है।
- प्रॉम्प्ट में क्रिया, विज़ुअल विवरण और ऑडियो विवरण तीनों एक साथ हैं
चरण 5: ऑडियो-वीडियो जनरेट करें और जांचें
क्यों: एक बार पूरी प्रक्रिया चला लें, तो आप जान जाएंगे कि 「ऑडियो-वीडियो सिंक」 दिखता कैसा है।
- टेम्पलेट के डिफ़ॉल्ट पैरामीटर रखें (1280×720, 5 सेकंड, 25fps), प्रॉम्प्ट अपने वाले से बदलें
Ctrl+Enterदबाकर चलाएं- जनरेशन पूरी होने पर आउटपुट वीडियो चलाएं, आवाज़ चालू रखें
आपको यह दिखना चाहिए:
दोनों सैंपलिंग सेगमेंट मिलाकर 11 चरण (8 चरण जनरेशन + 3 चरण रिफाइनमेंट, डिस्टिल LoRA से तेज़), जो सामान्य 20+ चरण वाले वीडियो मॉडल से काफी कम है
SaveVideo नोड एक ऑडियो ट्रैक वाली वीडियो फ़ाइल आउटपुट करता है; अगर दृश्य में संवाद है तो होंठों की हरकत और आवाज़ मेल खाते हैं
1280×720, लगभग 5 सेकंड, 25fps
आउटपुट वीडियो चलाने पर आवाज़ आती है, ऑडियो-वीडियो सिंक है
रेज़ोल्यूशन 1280×720, अवधि लगभग 5 सेकंड
चरण 6: LTX-2 ComfyUI के बाकी पांच वर्कफ़्लो इस्तेमाल करें (वैकल्पिक)
क्यों: LTX-2.3 के छह वर्कफ़्लो ज़्यादातर मॉडल फ़ाइलें साझा करते हैं, एक आ गया तो छहों आ गए; काम के हिसाब से टेम्पलेट चुन लें।
| टेम्पलेट (टेम्पलेट लाइब्रेरी सर्च शब्द) | उपयोग | अतिरिक्त तैयार करना होगा |
|---|---|---|
| LTX-2.3 I2V | एक तस्वीर को आवाज़ के साथ चलाना | कुछ नहीं, मॉडल T2V जैसा ही |
| LTX-2.3 FLF2V | पहले-आख़िरी फ्रेम के बीच ट्रांज़िशन | अलग से distilled मुख्य मॉडल ltx-2.3-22b-distilled-fp8.safetensors (checkpoints/) डाउनलोड करें; डिस्टिल LoRA और अपस्केलर नहीं चाहिए |
| LTX-2.3 IA2V | तस्वीर + ऑडियो से लिप-सिंक | कुछ नहीं, मॉडल T2V जैसा ही; एक पात्र की तस्वीर और एक ऑडियो अपलोड करें |
| LTX-2.3 IC-LoRA | डेप्थ/पोज़/एज कंट्रोल | distilled मुख्य मॉडल + IC-LoRA वेट ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors (loras/) + MoGe नॉर्मल मॉडल moge_2_vitl_normal_fp16.safetensors (geometry_estimation/, नई डायरेक्टरी) |
| LTX-2.3 ID-LoRA | पात्र का रूप और आवाज़ कस्टमाइज़ करना | मॉडल T2V जैसा ही, अतिरिक्त ltx-2.3-id-lora-talkvid-3k.safetensors (loras/); एक रेफ़रेंस तस्वीर और छोटा ऑडियो अपलोड करें |
कुछ ध्यान देने योग्य बातें:
- FLF2V और IC-LoRA एक अलग डिस्टिल मुख्य मॉडल (
ltx-2.3-22b-distilled-fp8) इस्तेमाल करते हैं, dev मुख्य मॉडल + डिस्टिल LoRA का कॉम्बो नहीं——ग़लत फ़ाइल मत डाउनलोड करें - IA2V और ID-LoRA दोनों 「तस्वीर + ऑडियो」 लेते हैं: IA2V तस्वीर के पात्र को ऑडियो के अनुसार लिप-सिंक कराता है; ID-LoRA एक कदम आगे जाकर रेफ़रेंस तस्वीर के पात्र का रूप और ऑडियो की आवाज़ दोनों कस्टमाइज़ करता है
- IC-LoRA टेम्पलेट के अंदर सबग्राफ (Subgraph) से मॉड्यूलर प्रोसेसिंग होती है, और यह डेप्थ, Canny एज, पोज़ स्केलिटन जैसे तरह-तरह के प्रीप्रोसेसर आउटपुट जोड़ने का भी समर्थन करता है
आपको यह दिखना चाहिए: टेम्पलेट बदलने पर कैनवास की संरचना लगभग वैसी ही रहती है——रैपर नोड और आउटपुट नोड वैसे ही, बस तस्वीर या ऑडियो अपलोड करने का प्रवेश द्वार जुड़ जाता है; जो मॉडल फ़ाइल कम है, उसे लोड करते समय पॉपअप डाउनलोड का प्रस्ताव देगा।
- काम के हिसाब से टेम्पलेट चुनना जानते हों, हर टेम्पलेट की ज़रूरी मॉडल फ़ाइलें जांच सकते हों
चेकपॉइंट ✅
- जनरेट किया गया वीडियो ऑडियो ट्रैक सहित आता है: परिवेश की आवाज़, संवाद और दृश्य सिंक हैं, होंठों की हरकत मेल खाती है
- पाँचों मॉडल फ़ाइलों के नाम बता सकते हैं: मुख्य मॉडल (ऑडियो VAE इनबिल्ट), डिस्टिल्ड LoRA, gemma अनलॉक LoRA, टेक्स्ट एनकोडर, लेटेंट-स्पेस अपस्केलर
- जानते हैं कि त्वरण डिस्टिल्ड LoRA से आता है: 8 स्टेप, CFG 1, पैरामीटर को कृत्रिम रूप से कम करके नहीं
- प्रॉम्प्ट के तीन तत्व पूरे हैं: मुख्य क्रिया (समय क्रम में), विज़ुअल विवरण, ऑडियो
- जानते हैं कि छह वर्कफ़्लो में से कौन-सा चुनना है: सामान्य जनरेशन के लिए T2V/I2V, शुरुआत-अंत लॉक करने के लिए FLF2V, लिप-सिंक के लिए IA2V, कंट्रोल के लिए IC-LoRA, कस्टम किरदार के लिए ID-LoRA
आम ग़लतियों की चेतावनी
❌ ComfyUI संस्करण बहुत पुराना है, टेम्पलेट लोड करने पर नोड मौजूद नहीं होने की त्रुटि
LTX-2.3 टेम्पलेट तुलनात्मक रूप से नए नेटिव नोड्स और सबग्राफ़ फ़ीचर्स का उपयोग करते हैं, टेम्पलेट लाइब्रेरी में अंकित न्यूनतम संस्करण 0.16.4 है (ID-LoRA 0.19.0, IC-LoRA 0.22.0)। इससे कम संस्करण पर लोड करने से लाल नोड्स या नोड मौजूद न होने की त्रुटि दिखाई देगी।
सही तरीका: पहले ComfyUI अपडेट करें, फिर टेम्पलेट लोड करें; चार बेसिक टेम्पलेट 0.16.4 या उससे ऊपर अपडेट करने पर ठीक चलेंगे, IC-LoRA के लिए 0.22.0 या उससे ऊपर चाहिए।
❌ मॉडल फ़ाइल ग़लत डाउनलोड या ग़लत डायरेक्टरी में रखी
पाँच फ़ाइलों में दोनों LoRA models/loras/ में रखे जाते हैं, डिस्टिल्ड LoRA और gemma अनलॉक LoRA के नाम काफ़ी लंबे हैं, मैन्युअल डाउनलोड में इनमें सबसे आसानी से गड़बड़ होती है; टेक्स्ट एनकोडर text_encoders/ में रखें, loras/ में नहीं।
सही तरीका: टेम्पलेट लोड करने के बाद पहले पॉपअप को ऑटो-डाउनलोड करने दें (वह फ़ाइलों को सही जगह रख देगा); मैन्युअल डाउनलोड करें तो चरण 2 के डायरेक्टरी ट्री से एक-एक फ़ाइल मिलाएँ, फिर रैपर नोड के पाँच ड्रॉपडाउन में चुनी गई फ़ाइलों के नाम जाँचें।
❌ शुरू में ही रेज़ोल्यूशन और अवधि अधिकतम कर दी, VRAM भर गया
22B मुख्य मॉडल fp8 क्वांटाइज़्ड होने पर भी VRAM बहुत खाता है; टेम्पलेट का डिफ़ॉल्ट 1280×720, 5 सेकंड आधिकारिक रूप से ट्यून किया गया संतुलन बिंदु है, रेज़ोल्यूशन या अवधि सीधे दोगुनी करने से OOM होने का ख़तरा है।
सही तरीका: पहले डिफ़ॉल्ट पैरामीटर से पूरा चलाएँ; वीडियो बनने की पुष्टि के बाद छोटे-छोटे कदमों में पैरामीटर बदलकर VRAM की सीमा परखें, एक बार बदलें और एक बार टेस्ट करें।
❌ प्रॉम्प्ट गद्य-कविता जैसा लिखा, क्रियाओं का क्रम अंदाज़े पर छोड़ा
LTX-2.3 प्रॉम्प्ट को समय क्रम में समझता है, ढेर सारे मूड वाले शब्द लिखें और घटनाओं का क्रम साफ़ न लिखें तो मॉडल अपनी मर्ज़ी से चलेगा; बहुत लंबा लिखना (200 शब्दों से अधिक) मुख्य बात को पतला कर देता है।
सही तरीका: एक ससंगत टेक्स्ट, शुरुआत में ही मुख्य क्रिया, घटनाओं के क्रम में आगे बढ़ें; विवरण और ऑडियो उसके बाद; संवाद सीधे उद्धरण चिह्नों में लिखें।
एडवांस टिप्स (वैकल्पिक)
IC-LoRA एडिट टेम्पलेट से «वीडियो रिस्टोरेशन» करना
टेम्पलेट लाइब्रेरी में IC-LoRA आधारित पाँच एडिट टेम्पलेट भी इनबिल्ट हैं: सबटाइटल हटाना (Remove Subtitles), वस्तु हटाना (Remove Object), पुरानी सामग्री रिस्टोर करना (Restore Archival Footage), वीडियो आउटपेंटिंग (Video Outpainting), Googly Eyes (कार्टून बड़ी आँखें जोड़ना)। टेम्पलेट का नाम खोजकर लोड करें, उपयोग IC-LoRA कंट्रोल टेम्पलेट जैसा ही है।
आधिकारिक सबटाइटल हटाने वाले टेम्पलेट के प्रॉम्प्ट को सीधे कॉपी करके बदला जा सकता है:
Remove subtitles, captions, and related text occlusions from the video,
restoring a clean and natural underlying image.कम्युनिटी IC-LoRA भी लगाए जा सकते हैं
LTX-2.3 का IC-LoRA इंटरफ़ेस खुला है, कम्युनिटी वेट (जैसे joyfox का LTX2.3-ICEdit-Insight) भी संगत हैं: डाउनलोड करके models/loras/ में डालें, LoRA लोडर से मुख्य मॉडल के बगल में लगाएँ, और आधिकारिक एडिट टेम्पलेट की संरचना के अनुसार वायरिंग करें।
मल्टी-GPU त्वरण
टेम्पलेट के अंदर LTXVSequenceParallelMultiGPUPatcher नोड पहले से मौजूद है — कई GPU हों तो इससे सीक्वेंस पैरेललिज़्म करें, 22B मॉडल की सैंपलिंग को कई कार्डों पर बाँटकर चलाएँ।
इस पाठ का सारांश
✅ इस पाठ में आवाज़ को ComfyUI वीडियो जनरेशन में लाया गया, LTX-2 ComfyUI वर्कफ़्लो चला लिया:
- ✅ ऑडियो-वीडियो एकीकृत: LTX-2.3 एक ही इन्फ़ेरेंस में दृश्य और ध्वनि साथ जनरेट करता है, ऑडियो VAE मुख्य मॉडल फ़ाइल में इनबिल्ट है, अलग से डाउनलोड नहीं करना पड़ता
- ✅ पाँच मॉडल फ़ाइलें सही जगह (चार कुल मिलाकर लगभग 31 GB), टेम्पलेट पॉपअप से एक क्लिक में डाउनलोड, चीन में ModelScope मिरर से
- ✅ त्वरण डिस्टिल्ड LoRA से: 8 स्टेप, CFG 1, आउटपुट की गति और गुणवत्ता का संतुलन बिंदु आधिकारिक रूप से ट्यून किया गया है
- ✅ प्रॉम्प्ट के तीन तत्व: मुख्य क्रिया (समय क्रम में) + विज़ुअल विवरण + ऑडियो, 200 शब्दों के भीतर
- ✅ छह वर्कफ़्लो काम के अनुसार चुनें: T2V, I2V, FLF2V, IA2V, IC-LoRA, ID-LoRA
मुख्य कॉन्फ़िगरेशन फ़ील्ड्स की समीक्षा:
| फ़ील्ड | अनुशंसित मान | विवरण |
|---|---|---|
| Checkpoint | ltx-2.3-22b-dev-fp8.safetensors(27.14 GB) | 22B मुख्य मॉडल, ऑडियो VAE इनबिल्ट |
| डिस्टिल्ड LoRA | ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors(2.55 GB) | 8 स्टेप तेज़ सैंपलिंग |
| gemma अनलॉक LoRA | gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors(599.1 MB) | टेक्स्ट एनकोडर पर लगाया जाता है |
| टेक्स्ट एनकोडर | gemma_3_12B_it_fp4_mixed.safetensors | fp4 क्वांटाइज़्ड संस्करण |
| लेटेंट-स्पेस अपस्केलर | ltx-2.3-spatial-upscaler-x2-1.1.safetensors(949.6 MB) | रेज़ोल्यूशन 2 गुना |
| रैपर नोड | 1280×720 / duration 5 / fps 25 | prompt_enhance डिफ़ॉल्ट रूप से चालू |
| सैंपलिंग | 8 स्टेप जनरेशन + 3 स्टेप रिफ़ाइन / CFG 1 | डिस्टिल्ड LoRA त्वरण |
| नेगेटिव प्रॉम्प्ट | pc game, console game, video game, cartoon, childish, ugly | टेम्पलेट में इनबिल्ट, वैसा ही रखें |
अगले पाठ की झलक
LTX-2.3 एक बार में ध्वनि सहित एक वीडियो बनाता है; अगले पाठ का LTX-2.5: मल्टी-शॉट नैरेटिव, 4K HDR और DFR लंबाई और स्पेसिफ़िकेशन को और ऊपर ले जाता है। आप सीखेंगे:
- मल्टी-शॉट नैरेटिव: एक ही वीडियो में कई शॉट्स काटना
- 4K HDR आउटपुट और DFR (Diffusion Fidelity Rendering, दृश्य की जटिलता के अनुसार रेंडरिंग कंप्यूट आवंटित करना)
- LTX-2.5 का डिस्टिल्ड संस्करण कैसे उपयोग करें
परिशिष्ट: सोर्स कोड संदर्भ
पर क्लिक करके सोर्स कोड की जगह देखें
अपडेट समय: 2026-11-06(टेम्पलेट लाइब्रेरी के टेम्पलेट video_ltx2_3_t2v आदि, आधिकारिक रूप से अंकित न्यूनतम ComfyUI संस्करण 0.16.4)
| सामग्री | स्थान |
|---|---|
| आधिकारिक ट्यूटोरियल (LTX-2.3, छह प्रकार के वर्कफ़्लो) | https://docs.comfy.org/tutorials/video/ltx/ltx-2-3 |
| आधिकारिक ट्यूटोरियल (LTX-2, प्रॉम्प्ट गाइड) | https://docs.comfy.org/tutorials/video/ltx/ltx-2 |
| प्रॉम्प्ट एडवांस्ड गाइड | https://ltx.video/blog/how-to-prompt-for-ltx-2 |
| वर्कफ़्लो टेम्पलेट JSON (T2V) | https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_ltx2_3_t2v.json |
| वेट रिपॉज़िटरी (Hugging Face) | https://huggingface.co/Lightricks/LTX-2.3 |
| वेट रिपॉज़िटरी (ModelScope मिरर) | https://modelscope.cn/models/Comfy-Org/ltx-2.3 |
| LTX-2 मॉडल होमपेज | https://huggingface.co/Lightricks/LTX-2 |
इस पृष्ठ के पैरामीटर (रैपर नोड के डिफ़ॉल्ट 1280×720 / duration 5 / fps 25, prompt_enhance डिफ़ॉल्ट रूप से चालू, 8-स्टेप सैंपलिंग CFG 1, निगेटिव प्रॉम्प्ट, पाँच मॉडल फ़ाइलों के नाम और आकार, ModelScope मिरर रिपॉज़िटरी का नाम, प्रत्येक टेम्पलेट का न्यूनतम संस्करण 0.16.4 / 0.19.0 / 0.22.0) टेम्पलेट JSON video_ltx2_3_t2v.json, video_ltx2_3_i2v.json के वास्तविक नोड मानों और अंतर्निहित नोट्स, तथा templates/index.json के minComfyUIVersion फ़ील्ड से सत्यापित किए गए हैं; छह प्रकार के वर्कफ़्लो और मॉडल सूची, IC-LoRA एडिट टेम्पलेट, तथा कम्युनिटी IC-LoRA संगतता आधिकारिक ट्यूटोरियल ltx-2-3.mdx से हैं; LTX-2 के बुनियादी तथ्य (19B, 200-शब्द प्रॉम्प्ट सुझाव, स्वतंत्र distilled वेट) ltx-2.mdx से हैं।