Skip to content
🧠 模型×任务工作流第 15 / 16 节

LTX-2/2.3:一次生成带声音的视频 ​

前面几课的 Wan2.2 能把画面做得很好,但有个共同点:出来的视频是哑的。想有声音?得另找配音、对口型、混音,一套后期下来比生成视频还费劲。

这一课换一个自带声音的模型:LTX-2,Lightricks 开源的音视频基础模型。它最大的特点是一次推理同时生成画面和声音——动作、对白、音效、背景音乐一起出来,天然同步。LTX-2.3 版本已原生内置在 ComfyUI 模板库里——这一课就把 LTX-2 ComfyUI 工作流完整跑一遍,不用装任何自定义节点。

学完你能做什么 ​

  • 加载官方 LTX-2.3 文生视频模板,生成 1280×720、约 5 秒、自带声音的视频
  • 下载并归位 LTX-2.3 的五个模型文件(主模型 27.14 GB),说得出每个文件是干嘛的
  • 写出「画面 + 声音」的 LTX-2.3 提示词:动作、视觉细节、音频三要素
  • 说得出 LTX-2 和 LTX-2.3 的关系,以及蒸馏加速(8 步、CFG 1)的用法
  • 按需求在六种原生工作流里选对模板:文生视频、图生视频、首尾帧、音频驱动对口型、IC-LoRA 控制、ID-LoRA 定制数字人

你现在的困境 ​

  • 生成的视频没声音,配音、对口型、加音效全得自己后期,一条视频两遍工
  • 想让视频里的人「开口说话」,普通视频模型生成的嘴型和对白完全对不上
  • 听说过 LTX-2 能音画一起生成,但网上教程要么是旧版 LTX-2 的工作流,要么要装一堆自定义节点

什么时候用这一招 ​

当你需要:

  • 视频自带同步的声音:环境音、对白、音效一次生成
  • 让画面里的人开口说话,嘴型和声音对得上
  • 9:16 竖屏视频(LTX-2.3 专门优化了竖屏人像质量)
  • 视频里出现清晰的文字(LTX-2.3 强化了文字渲染)

而且不想:

  • 生成完画面再跑一遍配音和对口型流程
  • 安装第三方自定义节点包

🎒 开始前的准备 ​

  • 跑通过ComfyUI 视频生成:会用模板库加载工作流、会看输出目录
  • ComfyUI 更新到 v0.16.4 以上(模板库对 LTX-2.3 四个基础模板标注的最低版本;本教程核对时官方最新版为 v0.43.2,直接更到最新最省事)
  • 磁盘准备 31 GB 起步:主模型一个文件就 27.14 GB,文本编码器的大小官方未标注,预算再放宽一些
  • 显存心里有数:22B 模型即使 fp8 量化也不小,先按模板默认参数跑通,再考虑改大分辨率
  • 网络不好?模型仓库在 ModelScope 有官方镜像(Comfy-Org/ltx-2.3、Comfy-Org/ltx-2),见第 2 步

核心思路 ​

三句话讲清这一课的新东西:

  1. LTX-2 是「音视频一起生成」的模型。 它是 Lightricks 的 19B 参数 DiT 音视频基础模型,一次推理同时产出同步的视频和音频。LTX-2.3 是它的升级版本(权重为 22B 规格),换了新的潜空间和 VAE,细节、竖屏人像、音频质量、图生视频一致性、提示词理解和文字渲染全面升级。
  2. 声音不是外挂,是和画面同一个潜空间里联合去噪出来的。 模板里视频潜空间和音频潜空间先拼接(LTXVConcatAVLatent),一起采样,再分别用视频 VAE 和音频 VAE 解码(音频 VAE 就内置在主模型文件里),最后合成一个带音轨的视频。
  3. 加速靠蒸馏 LoRA,不是换模型。 LTX-2 时代有独立的 distilled 权重(8 步、CFG=1);LTX-2.3 的文生视频模板把蒸馏做成了一个 2.55 GB 的 LoRA 挂在 dev 主模型上,采样 8 步、CFG 1 就能出片。

ComfyUI 为 LTX-2.3 内置了六种原生工作流,覆盖从生成到控制到定制:

工作流干什么输入
T2V 文生视频文字直接生成音视频提示词
I2V 图生视频图片动起来并配声音一张图 + 提示词
FLF2V 首尾帧两张图之间补过渡首帧图 + 尾帧图
IA2V 音频驱动对口型数字人一张图 + 一段音频
IC-LoRA 控制深度/姿态/边缘控制生成控制视频 + 参考图
ID-LoRA 定制指定人物长相和声音参考图 + 短音频 + 提示词

本课主线跑通 T2V,其余五种在第 6 步速览——它们共用大部分模型文件。

跟我做 ​

第 1 步:更新 ComfyUI 并加载 LTX-2.3 文生视频模板 ​

为什么:官方模板把整套音视频管线(文本编码、双 LoRA、联合采样、视频和音频解码、合成保存)都配好了,从模板起步不会漏文件、不会填错参数。

  1. 把 ComfyUI 更新到最新版(桌面端用内置更新,便携版运行 update_comfyui 更新脚本)
  2. 打开模板库(Browse Templates),进 Video 分类,找到 LTX-2.3 Text to Video(直接搜「LTX-2.3」更快)
  3. 点击加载

你应该看到:

  • 画布上一个大大的 Text to Video (LTX-2.3) 包装节点,旁边一张说明便签、一个 SaveVideo 输出节点

  • 包装节点自带一段英文示例提示词(讲机械零件在空中自动组装、最后亮出「LTX-2.3」刻字——正好演示它的文字渲染能力)

  • 没有任何红节点

  • 模板加载完成,画布无红节点

💡 版本不够会缺节点

模板库给 T2V/I2V/FLF2V/IA2V 标注的最低版本是 0.16.4,ID-LoRA 模板要 0.19.0,IC-LoRA 模板要 0.22.0。版本太老会报节点不存在,先更新再玩。

第 2 步:下载五个模型文件(含国内镜像) ​

为什么:LTX-2.3 的文生视频模板需要五个文件,其中四个合计约 31 GB(文本编码器的大小官方未标注);加载模板后弹窗会自动下载,手动下载时要认准文件名和目录。

文件大小放进目录作用
ltx-2.3-22b-dev-fp8.safetensors27.14 GBmodels/checkpoints/22B 主模型(fp8 量化),音频 VAE 也内置在里面
ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors2.55 GBmodels/loras/蒸馏 LoRA:8 步快速采样
gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors599.1 MBmodels/loras/挂在文本编码器上的「解禁」LoRA,提示词理解更好
gemma_3_12B_it_fp4_mixed.safetensors—models/text_encoders/Gemma 3 12B 文本编码器(fp4 量化版)
ltx-2.3-spatial-upscaler-x2-1.1.safetensors949.6 MBmodels/latent_upscale_models/潜空间 2 倍放大器,出高分辨率

目录结构长这样:

text
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── ltx-2.3-22b-dev-fp8.safetensors
│   ├── loras/
│   │   ├── ltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors
│   │   └── gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors
│   ├── text_encoders/
│   │   └── gemma_3_12B_it_fp4_mixed.safetensors
│   └── latent_upscale_models/
│       └── ltx-2.3-spatial-upscaler-x2-1.1.safetensors

💡 国内用户:模板便签列出的模型仓库在 ModelScope 有官方镜像——Comfy-Org/ltx-2.3(LoRA)和 Comfy-Org/ltx-2(文本编码器、gemma LoRA),搜索仓库名即可;主模型文件在 Hugging Face 的 Lightricks/LTX-2.3-fp8 仓库。

你应该看到:五个文件各就各位;包装节点上的五个模型下拉框都能选中对应文件名,没有红色报错。

  • 五个模型文件归位,下拉框全部选中正确文件

第 3 步:认识 Workflow Wrapper 包装节点 ​

为什么:这个模板把几十个内部节点折叠成一个 Workflow Wrapper(子图),你平时只需要管包装节点上的几个参数;想改细节时再双击进去看内部管线。

包装节点上你真正要碰的参数:

参数模板默认说明
提示词自带英文示例画面 + 声音一起写,见第 4 步
prompt_enhance开提示词自动增强:写得短也会帮你扩写细节
width / height1280 / 720输出分辨率;内部先生成低分辨率潜空间,再用 2 倍放大器拉到目标值
duration5时长(秒)
fps25帧率
seed随机固定种子方便复现
五个模型下拉框第 2 步那五个文件换权重就在这里换
  1. 先什么都别改,认清每个参数的位置
  2. 双击包装节点进入内部:能看到 Gemma 文本编码器加载、两个 LoRA 加载器、音视频潜空间拼接、两段采样(8 步生成 + 3 步精修)、视频/音频分别解码的完整管线

你应该看到:内部子图按加载模型 → 编码提示词 → 拼接音视频潜空间 → 采样 → 解码 → 输出的顺序排布;采样用的是 CFGGuider,cfg 为 1,步数各由一段手动 sigma 表控制:低分辨率主生成走 8 步,2 倍潜空间放大后的精修段再走 3 步——蒸馏 LoRA 把两段都压到了个位数步数。

  • 能说出包装节点上七个参数各自管什么

第 4 步:写「画面 + 声音」提示词 ​

为什么:LTX-2.3 是音视频模型,提示词只写画面就浪费了一半能力;官方给的三要素是核心动作、视觉细节、音频。

官方提示词结构(LTX-2 的指南同样适用):

  1. 核心动作:按时间顺序描述事件怎么发生、怎么发展
  2. 视觉细节:把你想看到的细节全写出来——外观、背景、机位、光线
  3. 音频:写清楚这段场景里有什么声音、角色说了什么话

写法要点:一段连贯的文字,直接从动作开始写,别铺垫;LTX-2 官方建议控制在 200 词以内。

官方图生视频模板自带一个标准示范(埃及女王那段),照这个结构写你的:

text
埃及王室女子,蓝金头饰和高领、白色绣金长裙和臂环,沙漠,左右两列机器人士兵列队。
她稳步向前走,头保持水平、目光直视前方——不低头。镜头只做一个连续缓推:
从她、机器人和沙漠的远景,平稳推进到中景或中近景,然后停住。她停下脚步,
身姿和头部依然挺直,说:「古老的神沉默了,而我没有。」机器人士兵原地踏步或微动,
沙粒和衣料随风飘动。不拉远;唯一的镜头运动就是这次连续推进。

注意示例里三样东西都在:动作顺序(走 → 镜头推 → 停 → 说话)、视觉细节(服装、列队、风沙)、音频(一句台词 + 环境声)。对白直接写进提示词,模型会连声音带嘴型一起生成。

负向提示词保持模板自带的不动:

text
pc game, console game, video game, cartoon, childish, ugly

你应该看到:提示词框里是一段连贯文字,三要素按「核心动作 → 视觉细节 → 音频」的顺序排布,对白写在引号里。

  • 提示词里同时有动作、视觉细节和音频描述

第 5 步:生成并检查音视频 ​

为什么:跑通一次完整流程,你就知道「音画同步」到底长什么样。

  1. 保持模板默认参数(1280×720、5 秒、25fps),把提示词换成你自己的
  2. 按 Ctrl+Enter 运行
  3. 生成完成后播放输出视频,开声音

你应该看到:

  • 采样两段合计 11 步(8 步生成 + 3 步精修,蒸馏 LoRA 加速),比常规 20+ 步的视频模型少一大截

  • SaveVideo 节点输出一个带音轨的视频文件,画面里若有对白,嘴型和声音是对得上的

  • 1280×720、约 5 秒、25fps

  • 输出视频播放有声音,音画同步

  • 分辨率 1280×720、时长约 5 秒

第 6 步:换用 LTX-2 ComfyUI 的其他五种工作流(可选) ​

为什么:LTX-2.3 的六种工作流共用大部分模型文件,会一个就会六个;按任务挑模板即可。

模板(模板库搜索词)用途额外要准备的
LTX-2.3 I2V一张图动起来带声音无,模型同 T2V
LTX-2.3 FLF2V首尾帧过渡另下 distilled 主模型 ltx-2.3-22b-distilled-fp8.safetensors(checkpoints/);不用蒸馏 LoRA 和放大器
LTX-2.3 IA2V图 + 音频对口型无,模型同 T2V;上传一张人物图和一段音频
LTX-2.3 IC-LoRA深度/姿态/边缘控制distilled 主模型 + IC-LoRA 权重 ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors(loras/)+ MoGe 法线模型 moge_2_vitl_normal_fp16.safetensors(geometry_estimation/,新目录)
LTX-2.3 ID-LoRA定制人物长相和声音模型同 T2V,另加 ltx-2.3-id-lora-talkvid-3k.safetensors(loras/);上传参考图和一小段音频

几个值得注意的点:

  • FLF2V 和 IC-LoRA 用的是独立蒸馏主模型(ltx-2.3-22b-distilled-fp8),不是 dev 主模型加蒸馏 LoRA 的组合——别下错
  • IA2V 和 ID-LoRA 都吃「图 + 音频」:IA2V 是让图里的人照着音频对口型;ID-LoRA 更进一步,把参考图里的人物长相和音频里的声音都定制进去
  • IC-LoRA 模板内部用了子图(Subgraph)做模块化处理,还支持接深度、Canny 边缘、姿态骨架等各种预处理器输出

你应该看到:换模板后画布结构大同小异——还是包装节点加输出节点,只是多了上传图片或音频的入口;缺的模型文件加载时弹窗会提示下载。

  • 知道按任务选模板,会核对每个模板要的模型文件

检查点 ✅ ​

  • 生成的视频自带音轨:环境声、对白和画面同步,嘴型对得上
  • 说得出五个模型文件各是什么:主模型(音频 VAE 内置)、蒸馏 LoRA、gemma 解禁 LoRA、文本编码器、潜空间放大器
  • 知道加速来自蒸馏 LoRA:8 步、CFG 1,不是靠调低参数硬凑
  • 提示词三要素齐了:核心动作(按时间顺序)、视觉细节、音频
  • 知道六种工作流怎么选:普通生成用 T2V/I2V,锁首尾用 FLF2V,对口型用 IA2V,控制用 IC-LoRA,定制人物用 ID-LoRA

踩坑提醒 ​

❌ ComfyUI 版本太老,加载模板报节点不存在 ​

LTX-2.3 模板用了较新的原生节点和子图功能,模板库标注的最低版本是 0.16.4(ID-LoRA 0.19.0、IC-LoRA 0.22.0)。版本低于这个数,加载后会出现红节点或缺节点报错。

正确做法:先更新 ComfyUI 再加载模板;四个基础模板更新到 0.16.4 以上即可,玩 IC-LoRA 要 0.22.0 以上。

❌ 模型文件下错或放错目录 ​

五个文件里有两个 LoRA 都放 models/loras/,蒸馏 LoRA 和 gemma 解禁 LoRA 名字都挺长,手动下载时最容易搞混;文本编码器放 text_encoders/ 而不是 loras/。

正确做法:加载模板后先让弹窗自动下载(它会把文件放对位置);手动下载就按第 2 步的目录树逐个核对,再检查包装节点五个下拉框选中的文件名。

❌ 分辨率时长一上来就拉满,显存爆了 ​

22B 主模型即使 fp8 量化也很吃显存;模板默认 1280×720、5 秒是官方调好的平衡点,直接翻倍分辨率或时长容易 OOM。

正确做法:先按默认参数跑通;确认能出片后,再小步改参数试显存上限,改一次试一次。

❌ 提示词写成散文诗,动作顺序全靠猜 ​

LTX-2.3 按时间顺序理解提示词,写一堆氛围词、不写清楚事件先后,模型就自由发挥;写太长(超过 200 词)反而稀释重点。

正确做法:一段连贯文字,开头就是核心动作,按发生顺序推进;细节和音频跟在后面;对白直接写进引号里。

进阶技巧(可选) ​

用 IC-LoRA 编辑模板做「视频修复」 ​

模板库还内置了五个基于 IC-LoRA 的编辑模板:去字幕(Remove Subtitles)、去杂物(Remove Object)、修复老素材(Restore Archival Footage)、视频外扩(Video Outpainting)、Googly Eyes(加卡通大眼)。搜索模板名即可加载,用法和 IC-LoRA 控制模板一致。

官方去字幕模板的提示词可以直接抄来改:

text
Remove subtitles, captions, and related text occlusions from the video,
restoring a clean and natural underlying image.

社区 IC-LoRA 也能挂 ​

LTX-2.3 的 IC-LoRA 接口是开放的,社区权重(如 joyfox 的 LTX2.3-ICEdit-Insight)同样兼容:下载后放进 models/loras/,用 LoRA 加载器挂在主模型旁边,按官方编辑模板的结构接线即可。

多卡加速 ​

模板内部自带 LTXVSequenceParallelMultiGPUPatcher 节点——有多张 GPU 时,用它做序列并行,把 22B 模型的采样拆到多卡上跑。

本课小结 ​

✅ 这一课把声音带进了 ComfyUI 视频生成,LTX-2 ComfyUI 工作流跑通:

  • ✅ 音视频一体:LTX-2.3 一次推理同时生成画面和声音,音频 VAE 内置在主模型文件里,不用额外下载
  • ✅ 五个模型文件归位(四个合计约 31 GB),模板弹窗一键下载,国内走 ModelScope 镜像
  • ✅ 加速靠蒸馏 LoRA:8 步、CFG 1,出片速度和质量的平衡点官方已经调好
  • ✅ 提示词三要素:核心动作(按时间顺序)+ 视觉细节 + 音频,200 词以内
  • ✅ 六种工作流按任务选:T2V、I2V、FLF2V、IA2V、IC-LoRA、ID-LoRA

关键配置字段回顾:

字段推荐值说明
Checkpointltx-2.3-22b-dev-fp8.safetensors(27.14 GB)22B 主模型,音频 VAE 内置
蒸馏 LoRAltx_2.3_22b_distilled_1.1_lora_dynamic_fro09_avg_rank_111_bf16.safetensors(2.55 GB)8 步快速采样
gemma 解禁 LoRAgemma-3-12b-it-abliterated_lora_rank64_bf16.safetensors(599.1 MB)挂在文本编码器上
文本编码器gemma_3_12B_it_fp4_mixed.safetensorsfp4 量化版
潜空间放大器ltx-2.3-spatial-upscaler-x2-1.1.safetensors(949.6 MB)分辨率 2 倍
包装节点1280×720 / duration 5 / fps 25prompt_enhance 默认开
采样8 步生成 + 3 步精修 / CFG 1蒸馏 LoRA 加速
负向提示词pc game, console game, video game, cartoon, childish, ugly模板自带,保持不动

下一课预告 ​

LTX-2.3 一次出一段带声音的视频;下一课的 LTX-2.5:多镜头叙事、4K HDR 与 DFR 把篇幅和规格再往上推。你会学到:

  • 多镜头叙事:一条片子里切多个镜头
  • 4K HDR 输出与 DFR(Diffusion Fidelity Rendering,按场景复杂度分配渲染算力)
  • LTX-2.5 的蒸馏版怎么用

附录:源码参考 ​

点击展开查看源码位置

更新时间:2026-11-06(模板库模板 video_ltx2_3_t2v 等,官方标注最低 ComfyUI 版本 0.16.4)

内容位置
官方教程(LTX-2.3,六种工作流)https://docs.comfy.org/tutorials/video/ltx/ltx-2-3
官方教程(LTX-2,提示词指南)https://docs.comfy.org/tutorials/video/ltx/ltx-2
提示词进阶指南https://ltx.video/blog/how-to-prompt-for-ltx-2
工作流模板 JSON(T2V)https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_ltx2_3_t2v.json
权重仓库(Hugging Face)https://huggingface.co/Lightricks/LTX-2.3
权重仓库(ModelScope 镜像)https://modelscope.cn/models/Comfy-Org/ltx-2.3
LTX-2 模型主页https://huggingface.co/Lightricks/LTX-2

本页参数(包装节点默认 1280×720 / duration 5 / fps 25、prompt_enhance 默认开、8 步采样 CFG 1、负向提示词、五个模型文件名与大小、ModelScope 镜像仓库名、各模板最低版本 0.16.4 / 0.19.0 / 0.22.0)均核对自模板 JSON video_ltx2_3_t2v.json、video_ltx2_3_i2v.json 的实际节点值与内置便签,以及 templates/index.json 的 minComfyUIVersion 字段;六种工作流与模型清单、IC-LoRA 编辑模板、社区 IC-LoRA 兼容性来自官方教程 ltx-2-3.mdx;LTX-2 基础事实(19B、200 词提示词建议、独立 distilled 权重)来自 ltx-2.mdx。

搞懂AI关于我们怎么写隐私说明

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。