LTX-2/2.3:一次生成带声音的视频
前面几课的 Wan2.2 能把画面做得很好,但有个共同点:出来的视频是哑的。想有声音?得另找配音、对口型、混音,一套后期下来比生成视频还费劲。
这一课换一个自带声音的模型:LTX-2,Lightricks 开源的音视频基础模型。它最大的特点是一次推理同时生成画面和声音——动作、对白、音效、背景音乐一起出来,天然同步。LTX-2.3 版本已原生内置在 ComfyUI 模板库里——这一课就把 LTX-2 ComfyUI 工作流完整跑一遍,不用装任何自定义节点。
学完你能做什么
- 加载官方 LTX-2.3 文生视频模板,生成 1280×720、约 5 秒、自带声音的视频
- 下载并归位 LTX-2.3 的五个模型文件(主模型 27.14 GB),说得出每个文件是干嘛的
- 写出「画面 + 声音」的 LTX-2.3 提示词:动作、视觉细节、音频三要素
- 说得出 LTX-2 和 LTX-2.3 的关系,以及蒸馏加速(8 步、CFG 1)的用法
- 按需求在六种原生工作流里选对模板:文生视频、图生视频、首尾帧、音频驱动对口型、IC-LoRA 控制、ID-LoRA 定制数字人
你现在的困境
- 生成的视频没声音,配音、对口型、加音效全得自己后期,一条视频两遍工
- 想让视频里的人「开口说话」,普通视频模型生成的嘴型和对白完全对不上
- 听说过 LTX-2 能音画一起生成,但网上教程要么是旧版 LTX-2 的工作流,要么要装一堆自定义节点
什么时候用这一招
当你需要:
- 视频自带同步的声音:环境音、对白、音效一次生成
- 让画面里的人开口说话,嘴型和声音对得上
- 9:16 竖屏视频(LTX-2.3 专门优化了竖屏人像质量)
- 视频里出现清晰的文字(LTX-2.3 强化了文字渲染)
而且不想:
- 生成完画面再跑一遍配音和对口型流程
- 安装第三方自定义节点包
🎒 开始前的准备
- 跑通过ComfyUI 视频生成:会用模板库加载工作流、会看输出目录
- ComfyUI 更新到 v0.16.4 以上(模板库对 LTX-2.3 四个基础模板标注的最低版本;本教程核对时官方最新版为 v0.43.2,直接更到最新最省事)
- 磁盘准备 31 GB 起步:主模型一个文件就 27.14 GB,文本编码器的大小官方未标注,预算再放宽一些
- 显存心里有数:22B 模型即使 fp8 量化也不小,先按模板默认参数跑通,再考虑改大分辨率
- 网络不好?模型仓库在 ModelScope 有官方镜像(
Comfy-Org/ltx-2.3、Comfy-Org/ltx-2),见第 2 步
核心思路
三句话讲清这一课的新东西:
- LTX-2 是「音视频一起生成」的模型。 它是 Lightricks 的 19B 参数 DiT 音视频基础模型,一次推理同时产出同步的视频和音频。LTX-2.3 是它的升级版本(权重为 22B 规格),换了新的潜空间和 VAE,细节、竖屏人像、音频质量、图生视频一致性、提示词理解和文字渲染全面升级。
- 声音不是外挂,是和画面同一个潜空间里联合去噪出来的。 模板里视频潜空间和音频潜空间先拼接(LTXVConcatAVLatent),一起采样,再分别用视频 VAE 和音频 VAE 解码(音频 VAE 就内置在主模型文件里),最后合成一个带音轨的视频。
- 加速靠蒸馏 LoRA,不是换模型。 LTX-2 时代有独立的 distilled 权重(8 步、CFG=1);LTX-2.3 的文生视频模板把蒸馏做成了一个 2.55 GB 的 LoRA 挂在 dev 主模型上,采样 8 步、CFG 1 就能出片。
ComfyUI 为 LTX-2.3 内置了六种原生工作流,覆盖从生成到控制到定制:
| 工作流 | 干什么 | 输入 |
|---|---|---|
| T2V 文生视频 | 文字直接生成音视频 | 提示词 |
| I2V 图生视频 | 图片动起来并配声音 | 一张图 + 提示词 |
| FLF2V 首尾帧 | 两张图之间补过渡 | 首帧图 + 尾帧图 |
| IA2V 音频驱动 | 对口型数字人 | 一张图 + 一段音频 |
| IC-LoRA 控制 | 深度/姿态/边缘控制生成 | 控制视频 + 参考图 |
| ID-LoRA 定制 | 指定人物长相和声音 | 参考图 + 短音频 + 提示词 |
本课主线跑通 T2V,其余五种在第 6 步速览——它们共用大部分模型文件。
跟我做
第 1 步:更新 ComfyUI 并加载 LTX-2.3 文生视频模板
为什么:官方模板把整套音视频管线(文本编码、双 LoRA、联合采样、视频和音频解码、合成保存)都配好了,从模板起步不会漏文件、不会填错参数。
- 把 ComfyUI 更新到最新版(桌面端用内置更新,便携版运行
update_comfyui更新脚本) - 打开模板库(Browse Templates),进 Video 分类,找到 LTX-2.3 Text to Video(直接搜「LTX-2.3」更快)
- 点击加载
你应该看到:
画布上一个大大的 Text to Video (LTX-2.3) 包装节点,旁边一张说明便签、一个 SaveVideo 输出节点
包装节点自带一段英文示例提示词(讲机械零件在空中自动组装、最后亮出「LTX-2.3」刻字——正好演示它的文字渲染能力)
没有任何红节点
模板加载完成,画布无红节点
💡 版本不够会缺节点
模板库给 T2V/I2V/FLF2V/IA2V 标注的最低版本是 0.16.4,ID-LoRA 模板要 0.19.0,IC-LoRA 模板要 0.22.0。版本太老会报节点不存在,先更新再玩。
第 2 步:下载五个模型文件(含国内镜像)
为什么:LTX-2.3 的文生视频模板需要五个文件,其中四个合计约 31 GB(文本编码器的大小官方未标注);加载模板后弹窗会自动下载,手动下载时要认准文件名和目录。
| 文件 | 大小 | 放进目录 | 作用 |
|---|---|---|---|
ltx-2.3-22b-dev-fp8.safetensors | 27.14 GB | models/checkpoints/ | 22B 主模型(fp8 量化),音频 VAE 也内置在里面 |
ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors | 2.55 GB | models/loras/ | 蒸馏 LoRA:8 步快速采样 |
gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors | 599.1 MB | models/loras/ | 挂在文本编码器上的「解禁」LoRA,提示词理解更好 |
gemma_3_12B_it_fp4_mixed.safetensors | — | models/text_encoders/ | Gemma 3 12B 文本编码器(fp4 量化版) |
ltx-2.3-spatial-upscaler-x2-1.1.safetensors | 949.6 MB | models/latent_upscale_models/ | 潜空间 2 倍放大器,出高分辨率 |
目录结构长这样:
ComfyUI/
├── models/
│ ├── checkpoints/
│ │ └── ltx-2.3-22b-dev-fp8.safetensors
│ ├── loras/
│ │ ├── ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors
│ │ └── gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors
│ ├── text_encoders/
│ │ └── gemma_3_12B_it_fp4_mixed.safetensors
│ └── latent_upscale_models/
│ └── ltx-2.3-spatial-upscaler-x2-1.1.safetensors💡 国内用户:模板便签列出的模型仓库在 ModelScope 有官方镜像——Comfy-Org/ltx-2.3(LoRA)和 Comfy-Org/ltx-2(文本编码器、gemma LoRA),搜索仓库名即可;主模型文件在 Hugging Face 的 Lightricks/LTX-2.3-fp8 仓库。
你应该看到:五个文件各就各位;包装节点上的五个模型下拉框都能选中对应文件名,没有红色报错。
- 五个模型文件归位,下拉框全部选中正确文件
第 3 步:认识 Workflow Wrapper 包装节点
为什么:这个模板把几十个内部节点折叠成一个 Workflow Wrapper(子图),你平时只需要管包装节点上的几个参数;想改细节时再双击进去看内部管线。
包装节点上你真正要碰的参数:
| 参数 | 模板默认 | 说明 |
|---|---|---|
| 提示词 | 自带英文示例 | 画面 + 声音一起写,见第 4 步 |
| prompt_enhance | 开 | 提示词自动增强:写得短也会帮你扩写细节 |
| width / height | 1280 / 720 | 输出分辨率;内部先生成低分辨率潜空间,再用 2 倍放大器拉到目标值 |
| duration | 5 | 时长(秒) |
| fps | 25 | 帧率 |
| seed | 随机 | 固定种子方便复现 |
| 五个模型下拉框 | 第 2 步那五个文件 | 换权重就在这里换 |
- 先什么都别改,认清每个参数的位置
- 双击包装节点进入内部:能看到 Gemma 文本编码器加载、两个 LoRA 加载器、音视频潜空间拼接、两段采样(8 步生成 + 3 步精修)、视频/音频分别解码的完整管线
你应该看到:内部子图按加载模型 → 编码提示词 → 拼接音视频潜空间 → 采样 → 解码 → 输出的顺序排布;采样用的是 CFGGuider,cfg 为 1,步数各由一段手动 sigma 表控制:低分辨率主生成走 8 步,2 倍潜空间放大后的精修段再走 3 步——蒸馏 LoRA 把两段都压到了个位数步数。
- 能说出包装节点上七个参数各自管什么
第 4 步:写「画面 + 声音」提示词
为什么:LTX-2.3 是音视频模型,提示词只写画面就浪费了一半能力;官方给的三要素是核心动作、视觉细节、音频。
官方提示词结构(LTX-2 的指南同样适用):
- 核心动作:按时间顺序描述事件怎么发生、怎么发展
- 视觉细节:把你想看到的细节全写出来——外观、背景、机位、光线
- 音频:写清楚这段场景里有什么声音、角色说了什么话
写法要点:一段连贯的文字,直接从动作开始写,别铺垫;LTX-2 官方建议控制在 200 词以内。
官方图生视频模板自带一个标准示范(埃及女王那段),照这个结构写你的:
埃及王室女子,蓝金头饰和高领、白色绣金长裙和臂环,沙漠,左右两列机器人士兵列队。
她稳步向前走,头保持水平、目光直视前方——不低头。镜头只做一个连续缓推:
从她、机器人和沙漠的远景,平稳推进到中景或中近景,然后停住。她停下脚步,
身姿和头部依然挺直,说:「古老的神沉默了,而我没有。」机器人士兵原地踏步或微动,
沙粒和衣料随风飘动。不拉远;唯一的镜头运动就是这次连续推进。注意示例里三样东西都在:动作顺序(走 → 镜头推 → 停 → 说话)、视觉细节(服装、列队、风沙)、音频(一句台词 + 环境声)。对白直接写进提示词,模型会连声音带嘴型一起生成。
负向提示词保持模板自带的不动:
pc game, console game, video game, cartoon, childish, ugly你应该看到:提示词框里是一段连贯文字,三要素按「核心动作 → 视觉细节 → 音频」的顺序排布,对白写在引号里。
- 提示词里同时有动作、视觉细节和音频描述
第 5 步:生成并检查音视频
为什么:跑通一次完整流程,你就知道「音画同步」到底长什么样。
- 保持模板默认参数(1280×720、5 秒、25fps),把提示词换成你自己的
- 按
Ctrl+Enter运行 - 生成完成后播放输出视频,开声音
你应该看到:
采样两段合计 11 步(8 步生成 + 3 步精修,蒸馏 LoRA 加速),比常规 20+ 步的视频模型少一大截
SaveVideo 节点输出一个带音轨的视频文件,画面里若有对白,嘴型和声音是对得上的
1280×720、约 5 秒、25fps
输出视频播放有声音,音画同步
分辨率 1280×720、时长约 5 秒
第 6 步:换用 LTX-2 ComfyUI 的其他五种工作流(可选)
为什么:LTX-2.3 的六种工作流共用大部分模型文件,会一个就会六个;按任务挑模板即可。
| 模板(模板库搜索词) | 用途 | 额外要准备的 |
|---|---|---|
| LTX-2.3 I2V | 一张图动起来带声音 | 无,模型同 T2V |
| LTX-2.3 FLF2V | 首尾帧过渡 | 另下 distilled 主模型 ltx-2.3-22b-distilled-fp8.safetensors(checkpoints/);不用蒸馏 LoRA 和放大器 |
| LTX-2.3 IA2V | 图 + 音频对口型 | 无,模型同 T2V;上传一张人物图和一段音频 |
| LTX-2.3 IC-LoRA | 深度/姿态/边缘控制 | distilled 主模型 + IC-LoRA 权重 ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors(loras/)+ MoGe 法线模型 moge_2_vitl_normal_fp16.safetensors(geometry_estimation/,新目录) |
| LTX-2.3 ID-LoRA | 定制人物长相和声音 | 模型同 T2V,另加 ltx-2.3-id-lora-talkvid-3k.safetensors(loras/);上传参考图和一小段音频 |
几个值得注意的点:
- FLF2V 和 IC-LoRA 用的是独立蒸馏主模型(
ltx-2.3-22b-distilled-fp8),不是 dev 主模型加蒸馏 LoRA 的组合——别下错 - IA2V 和 ID-LoRA 都吃「图 + 音频」:IA2V 是让图里的人照着音频对口型;ID-LoRA 更进一步,把参考图里的人物长相和音频里的声音都定制进去
- IC-LoRA 模板内部用了子图(Subgraph)做模块化处理,还支持接深度、Canny 边缘、姿态骨架等各种预处理器输出
你应该看到:换模板后画布结构大同小异——还是包装节点加输出节点,只是多了上传图片或音频的入口;缺的模型文件加载时弹窗会提示下载。
- 知道按任务选模板,会核对每个模板要的模型文件
检查点 ✅
- 生成的视频自带音轨:环境声、对白和画面同步,嘴型对得上
- 说得出五个模型文件各是什么:主模型(音频 VAE 内置)、蒸馏 LoRA、gemma 解禁 LoRA、文本编码器、潜空间放大器
- 知道加速来自蒸馏 LoRA:8 步、CFG 1,不是靠调低参数硬凑
- 提示词三要素齐了:核心动作(按时间顺序)、视觉细节、音频
- 知道六种工作流怎么选:普通生成用 T2V/I2V,锁首尾用 FLF2V,对口型用 IA2V,控制用 IC-LoRA,定制人物用 ID-LoRA
踩坑提醒
❌ ComfyUI 版本太老,加载模板报节点不存在
LTX-2.3 模板用了较新的原生节点和子图功能,模板库标注的最低版本是 0.16.4(ID-LoRA 0.19.0、IC-LoRA 0.22.0)。版本低于这个数,加载后会出现红节点或缺节点报错。
正确做法:先更新 ComfyUI 再加载模板;四个基础模板更新到 0.16.4 以上即可,玩 IC-LoRA 要 0.22.0 以上。
❌ 模型文件下错或放错目录
五个文件里有两个 LoRA 都放 models/loras/,蒸馏 LoRA 和 gemma 解禁 LoRA 名字都挺长,手动下载时最容易搞混;文本编码器放 text_encoders/ 而不是 loras/。
正确做法:加载模板后先让弹窗自动下载(它会把文件放对位置);手动下载就按第 2 步的目录树逐个核对,再检查包装节点五个下拉框选中的文件名。
❌ 分辨率时长一上来就拉满,显存爆了
22B 主模型即使 fp8 量化也很吃显存;模板默认 1280×720、5 秒是官方调好的平衡点,直接翻倍分辨率或时长容易 OOM。
正确做法:先按默认参数跑通;确认能出片后,再小步改参数试显存上限,改一次试一次。
❌ 提示词写成散文诗,动作顺序全靠猜
LTX-2.3 按时间顺序理解提示词,写一堆氛围词、不写清楚事件先后,模型就自由发挥;写太长(超过 200 词)反而稀释重点。
正确做法:一段连贯文字,开头就是核心动作,按发生顺序推进;细节和音频跟在后面;对白直接写进引号里。
进阶技巧(可选)
用 IC-LoRA 编辑模板做「视频修复」
模板库还内置了五个基于 IC-LoRA 的编辑模板:去字幕(Remove Subtitles)、去杂物(Remove Object)、修复老素材(Restore Archival Footage)、视频外扩(Video Outpainting)、Googly Eyes(加卡通大眼)。搜索模板名即可加载,用法和 IC-LoRA 控制模板一致。
官方去字幕模板的提示词可以直接抄来改:
Remove subtitles, captions, and related text occlusions from the video,
restoring a clean and natural underlying image.社区 IC-LoRA 也能挂
LTX-2.3 的 IC-LoRA 接口是开放的,社区权重(如 joyfox 的 LTX2.3-ICEdit-Insight)同样兼容:下载后放进 models/loras/,用 LoRA 加载器挂在主模型旁边,按官方编辑模板的结构接线即可。
多卡加速
模板内部自带 LTXVSequenceParallelMultiGPUPatcher 节点——有多张 GPU 时,用它做序列并行,把 22B 模型的采样拆到多卡上跑。
本课小结
✅ 这一课把声音带进了 ComfyUI 视频生成,LTX-2 ComfyUI 工作流跑通:
- ✅ 音视频一体:LTX-2.3 一次推理同时生成画面和声音,音频 VAE 内置在主模型文件里,不用额外下载
- ✅ 五个模型文件归位(四个合计约 31 GB),模板弹窗一键下载,国内走 ModelScope 镜像
- ✅ 加速靠蒸馏 LoRA:8 步、CFG 1,出片速度和质量的平衡点官方已经调好
- ✅ 提示词三要素:核心动作(按时间顺序)+ 视觉细节 + 音频,200 词以内
- ✅ 六种工作流按任务选:T2V、I2V、FLF2V、IA2V、IC-LoRA、ID-LoRA
关键配置字段回顾:
| 字段 | 推荐值 | 说明 |
|---|---|---|
| Checkpoint | ltx-2.3-22b-dev-fp8.safetensors(27.14 GB) | 22B 主模型,音频 VAE 内置 |
| 蒸馏 LoRA | ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors(2.55 GB) | 8 步快速采样 |
| gemma 解禁 LoRA | gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors(599.1 MB) | 挂在文本编码器上 |
| 文本编码器 | gemma_3_12B_it_fp4_mixed.safetensors | fp4 量化版 |
| 潜空间放大器 | ltx-2.3-spatial-upscaler-x2-1.1.safetensors(949.6 MB) | 分辨率 2 倍 |
| 包装节点 | 1280×720 / duration 5 / fps 25 | prompt_enhance 默认开 |
| 采样 | 8 步生成 + 3 步精修 / CFG 1 | 蒸馏 LoRA 加速 |
| 负向提示词 | pc game, console game, video game, cartoon, childish, ugly | 模板自带,保持不动 |
下一课预告
LTX-2.3 一次出一段带声音的视频;下一课的 LTX-2.5:多镜头叙事、4K HDR 与 DFR 把篇幅和规格再往上推。你会学到:
- 多镜头叙事:一条片子里切多个镜头
- 4K HDR 输出与 DFR(Diffusion Fidelity Rendering,按场景复杂度分配渲染算力)
- LTX-2.5 的蒸馏版怎么用
附录:源码参考
点击展开查看源码位置
更新时间:2026-11-06(模板库模板 video_ltx2_3_t2v 等,官方标注最低 ComfyUI 版本 0.16.4)
| 内容 | 位置 |
|---|---|
| 官方教程(LTX-2.3,六种工作流) | https://docs.comfy.org/tutorials/video/ltx/ltx-2-3 |
| 官方教程(LTX-2,提示词指南) | https://docs.comfy.org/tutorials/video/ltx/ltx-2 |
| 提示词进阶指南 | https://ltx.video/blog/how-to-prompt-for-ltx-2 |
| 工作流模板 JSON(T2V) | https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_ltx2_3_t2v.json |
| 权重仓库(Hugging Face) | https://huggingface.co/Lightricks/LTX-2.3 |
| 权重仓库(ModelScope 镜像) | https://modelscope.cn/models/Comfy-Org/ltx-2.3 |
| LTX-2 模型主页 | https://huggingface.co/Lightricks/LTX-2 |
本页参数(包装节点默认 1280×720 / duration 5 / fps 25、prompt_enhance 默认开、8 步采样 CFG 1、负向提示词、五个模型文件名与大小、ModelScope 镜像仓库名、各模板最低版本 0.16.4 / 0.19.0 / 0.22.0)均核对自模板 JSON video_ltx2_3_t2v.json、video_ltx2_3_i2v.json 的实际节点值与内置便签,以及 templates/index.json 的 minComfyUIVersion 字段;六种工作流与模型清单、IC-LoRA 编辑模板、社区 IC-LoRA 兼容性来自官方教程 ltx-2-3.mdx;LTX-2 基础事实(19B、200 词提示词建议、独立 distilled 权重)来自 ltx-2.mdx。