镜头生成:从角色参考图到可用片段
💡 目标:跟完这一站约 35 分钟课程(渲染等待另算),把分镜表上的镜头逐个变成可用片段——第一个镜头当场跑通,AI 镜头生成的提示词写法、转场控制、失败诊断和重试纪律一次配齐。
🎯 阶段目标
- 跑通第一个镜头:拿场景参考图当首帧跑图生视频,产出第一个 3–5 秒的可用片段(3–5 秒为本课程的镜头长度设计值)——见 4.1 第一个镜头
- 提示词会写「动」、转场走向可控:动作、运镜、氛围分开描述,写法从官方示例提示词逐句拆来;转场、位移镜头用首尾帧工作流,让镜头从 A 画面走到 B 画面——见 4.2 动作与运镜提示词、4.3 首尾帧控制
- 失败会诊断、重试有上限:60 秒定位问题;每镜最多 3 次,超了就替换或放过——见 4.4 失败诊断、4.5 重试与替换
⏳ 预计耗时
- 五课合计约 35 分钟(8 + 7 + 7 + 7 + 6),预留 ±30% 浮动后约 25–46 分钟
- 渲染等待另算:官方速度声明——TI2V-5B 无专门优化时,单张消费级 GPU 可在 9 分钟内生成 5 秒 720P 视频。算上重试,每个镜头留出半小时级别的等待比较稳(本站的估算建议)
- 赶时间路线:4.1 第一个镜头 必做;4.2 在第一次结果不满意时读;4.3 遇到转场镜头再读;4.4、4.5 出问题时再来
🚀 开始之前
- 完成了 角色与场景素材:角色参考图、场景参考图在手——图生视频要拿它们当首帧
- 定好制作路线:1.3 云工具还是本地部署
- 本地路线:ComfyUI 已更新到最新版(官方教程要求;模板库里搜不到模板,多半是版本太旧),Wan2.2 模型文件已就位——从 ComfyUI 快速起步 进入,模型放哪见 模型文件夹说明
- 云端路线:Comfy Cloud 账号已开通(云端模板
video_wan2_2_5B_ti2v等可直接打开),或 1.3 路线页 里选定的云端平台账号已就绪 - 分镜表在手:2.4 分镜表 已定稿——这一站就是把它逐行变成视频
- 素材已按 3.5 命名规范 归档:重试再多,版本也不会互相覆盖
- 一杯水 ☕——每个镜头都要等渲染,正好喝水
📚 本阶段课程
五课依次回答五个问题:第一个镜头怎么跑通?提示词怎么写「动」?转场怎么控?失败了怎么查?重试几次算够?
| 课程 | 内容 | 时长 |
|---|---|---|
| 4.1 第一个镜头 | 用图生视频跑通第一个镜头:场景参考图当首帧 | 8 分钟 |
| 4.2 动作与运镜提示词 | 官方示例逐句拆解 + 运镜词表模板 | 7 分钟 |
| 4.3 首尾帧控制镜头走向 | 首帧 + 尾帧定死走向,转场、位移镜头用它 | 7 分钟 |
| 4.4 镜头失败诊断 | 60 秒定位问题:环境问题与内容问题分流 | 7 分钟 |
| 4.5 镜头重试与替换策略 | 每镜最多 3 次:重试、降级、放过它 | 6 分钟 |
四个官方工作流:AI 镜头生成怎么选
Wan2.2 的 ComfyUI 官方教程给了四个工作流,模板库里都能搜到。本栏目只讲「短剧镜头怎么用」,节点级操作链接 comfyui 栏目的专门页:
| 官方工作流 | 模板库搜索名 | 短剧里什么时候用 | 节点级教程 |
|---|---|---|---|
| Wan2.2 5B(文生视频 + 图生视频一体) | Wan2.2 5B | 练习片主路径(本课程推荐):一个模型两种用法,8GB 显存可跑 | Wan2.2 5B 工作流 |
| Wan2.2 14B T2V(文生视频) | Wan2.2 14B T2V | 没有合适参考图、直接从文字出画面 | 14B T2V 工作流 |
| Wan2.2 14B I2V(图生视频) | Wan2.2 14B I2V | 参考图当首帧、画质优先 | 14B I2V 工作流 |
| Wan2.2 14B FLF2V(首尾帧) | Wan2.2 14B FLF2V | 转场、位移镜头:首尾两帧定走向 | 14B FLF2V 工作流 |
你会在 14B 工作流里看到两个扩散模型文件(高噪 + 低噪)——这是 Wan2.2 的 MoE 双专家设计:高噪专家管整体布局,低噪专家管细节(官方 README:总参 27B、每步激活 14B)。5B 工作流只有一个扩散模型文件,对练习片更友好。
💡 为什么练习片首选 5B?
- 官方教程原话:ComfyUI 原生 offloading 下,5B「should fit well on 8GB vram」(8GB 显存即可跑)——入门级显卡也接得住
- 一个模型同时支持文生视频和图生视频,练习片两种需求都覆盖
- 官方对 5B 的定位是「快速原型与创意探索」——练习片要的正是快速试错,不是一次完美
- 14B 官方定位更偏画质(工作流描述语:high-quality、电影级美学控制),但更吃硬件:官方仓库的命令行脚本对 14B 标注单卡至少 80GB 显存(ComfyUI 打包版未标注具体数字)。显存吃紧时,4.4 失败诊断 里有社区 GGUF 量化版的降显存路径
边界先说清(这也是全课程的边界):AI 镜头生成是每个镜头单独生成、多次抽卡、最后剪辑组合,不是一次生成整片;参考图能提高角色一致性,但不能保证「跨镜头永不变脸」——残余的脸型、服装漂移,要靠 2.5 镜头连续性检查 和 4.3 首尾帧 兜底。
📋 官方资源速查
- Wan2.2 ComfyUI 官方教程(docs.comfy.org)
- Wan2.2 官方仓库(GitHub README)
- Wan2.2 Prompt Guide(官方提示词指南,钉钉文档,本站未快照其内容)
- 模型下载:Comfy-Org/Wan_2.2_ComfyUI_Repackaged(HuggingFace,ComfyUI 打包版)
- 云端路线:Comfy Cloud(模板
video_wan2_2_5B_ti2v、video_wan2_2_14B_t2v、video_wan2_2_14B_i2v、video_wan2_2_14B_flf2v)
🎒 你将收获
- 一批按分镜表镜头编号归档的 3–5 秒可用片段,随时能进 成片 剪辑
- 一套「动作 + 运镜 + 氛围」的镜头提示词写法——从官方示例拆来,不靠玄学
- 首尾帧工作流的实际用法:转场镜头从 A 画面走到 B 画面,减少纯靠抽卡的部分
- 「60 秒诊断 + 每镜最多 3 次」的重试纪律:预算花在刀刃上,花费回填 1.4 成本记录表
准备好了吗?开始第一课:第一个镜头 →