Wan2.2 5B: generar texto a video e imagen a video con 8GB de VRAM
Aquí termina la parte de modelos de imagen; a partir de esta lección empezamos a generar video. Wan2.2 es el modelo de generación de video de Alibaba Cloud Tongyi Wanxiang, open source bajo Apache 2.0 y de uso comercial. Publicó tres conjuntos de pesos principales: 14B texto a video, 14B imagen a video, y un modelo mixto 5B TI2V: un solo archivo que admite tanto texto a video como imagen a video, 720P y 24fps; oficialmente lo describen como «uno de los modelos 720P@24fps más rápidos actuales».
En esta página ejecutamos de principio a fin el flujo de trabajo Wan2.2 5B: descargar el trío, generar video desde texto, cambiar a imagen a video con Ctrl+B, y ajustar por tu cuenta la resolución y la duración. Todo el proceso solo necesita 8GB de VRAM: palabras textuales del Tip oficial: con el offloading nativo de ComfyUI, la versión Wan2.2 5B debería adaptarse bien a 8GB de VRAM.
Qué podrás hacer al terminar
- Cargar la plantilla oficial y ejecutar el texto a video de Wan2.2 5B: muestreo de 20 pasos, salida de video 1280×704 en 720P de unos 5 segundos
- Hacer imagen a video de Wan2.2 con el mismo flujo de trabajo: activar Load Image con Ctrl+B y dar vida a tus fotos
- Cambiar parámetros según las reglas: resolución con paso 32 y número de fotogramas 4n+1, ajustando por tu cuenta el formato y la duración sin errores
- Saber explicar por qué 8GB de VRAM son suficientes: VAE de alta compresión 16×16×4 + offloading nativo de ComfyUI
- Distinguir la diferencia entre el modelo mixto 5B y el modelo de doble experto 14B, y saber cuándo conviene actualizar
Tu situación actual
- Quieres generar video en local, investigas los requisitos y ves que la VRAM suele empezar en 24GB; tu tarjeta de 8GB parece no tener nada que hacer con la generación de video
- Casi todos los tutoriales de Wan2.2 que hay en internet hablan de la 14B: dos archivos diffusion de ruido alto y ruido bajo, y texto a video e imagen a video con dos conjuntos de pesos distintos; además, no sabes si la 5B te basta
- Intentas ejecutar directamente el flujo de trabajo de Wan2.1 con la 2.2: el archivo VAE no coincide, el nodo latent cambió de nombre y el lienzo se llena de rojo
Cuándo usar esta técnica
Cuando necesitas:
- Generar video en local con una tarjeta gráfica de nivel 8GB: 720P, 24fps, unos 5 segundos por clip
- Un modelo con dos usos: texto a video + imagen a video, sin descargar dos conjuntos de pesos
- Validar ideas rápidamente: la 5B genera clips rápido, y cuando estés satisfecho cambias a la 14B para refinar
Y además no quieres:
- Descargar de una vez los pesos diffusion duplicados como los de la 14B (eso es asunto de la siguiente lección)
- Ejecutar la inferencia con los scripts Python oficiales de Wan-AI: la barrera de la línea de comandos es alta y, según el criterio oficial, se necesitan al menos 24GB de VRAM (por ejemplo, una RTX 4090)
🎒 Preparativos antes de empezar
- Has completado la primera generación de imágenes: sabes cargar un flujo de trabajo y ejecutarlo con
Ctrl+Enter - Dominas las reglas del directorio de modelos: los archivos se colocan en los subdirectorios correspondientes bajo
models/(repasa dónde se colocan los modelos) - ComfyUI 0.3.46 o superior (la versión mínima que la biblioteca oficial de plantillas indica para esta plantilla; el uso de la biblioteca de plantillas se explica en el tutorial de la biblioteca de plantillas, y los cambios de versión en el registro de cambios)
- Reserva unos 17GB en el disco: los tres archivos suman 9.31 + 6.27 + 1.31 GB
- 8GB de VRAM o más (cifra oficial; para tarjetas menores no hay compromiso oficial, ver el aviso de problemas comunes)
Idea central
Recuerda primero los cuatro diseños clave de Wan2.2 5B; cada paso posterior sirve para verificarlos:
- TI2V = un solo modelo para dos tareas. TI2V es la abreviatura de Text-Image-to-Video. 14B implementa la generación de video a partir de texto (T2V) y a partir de imagen (I2V) como dos conjuntos de pesos de doble experto; 5B admite ambas con un único modelo, y solo hace falta descargar un conjunto de pesos.
- Un VAE de alta tasa de compresión es la clave de la baja VRAM. El Wan2.2-VAE que usa el 5B tiene una tasa de compresión de 16×16×4 (16 veces en el espacio, 4 veces en el tiempo), por lo que el latent comprimido de un video de 720P es muy pequeño; esta es la razón de fondo por la que puede ejecutarse a 720P@24fps en tarjetas gráficas domésticas.
- Un nodo de latent, dos modos. La entrada
start_imagedeWan22ImageToVideoLatentes opcional: sin conectar una imagen, genera un latent vacío y funciona como texto-a-video; con una imagen conectada, esta se codifica mediante el VAE en el primer fotograma y funciona como imagen-a-video. En la plantilla, el nodo Load Image está en bypass por defecto; pulsa Ctrl+B para activarlo y tendrás imagen-a-video. - El offloading nativo respalda la memoria de video. ComfyUI mueve los modelos automáticamente entre la VRAM y la RAM, sin que tengas que añadir ningún parámetro de inicio; los 8GB de VRAM mencionados en el Tip oficial se consiguen gracias a esto.
Cómo elegir entre el 5B y el 14B:
| Wan2.2 TI2V 5B (esta lección) | Wan2.2 14B (desde la próxima lección) | |
|---|---|---|
| pesos de diffusion | 1 archivo (9.31 GB) | dos archivos de ruido alto + ruido bajo, un conjunto para T2V / I2V cada uno |
| tareas | texto-a-video + imagen-a-video | texto-a-video, imagen-a-video y primer-último fotograma por separado |
| resolución | 720P (1280×704) @ 24fps | 480P / 720P |
| VRAM | cifra oficial 8GB (offloading nativo) | mayor, ver las lecciones posteriores |
| VAE | wan2.2_vae.safetensors | wan_2.1_vae.safetensors (la nota oficial indica compatibilidad con 2.2) |
| nodo de latent | Wan22ImageToVideoLatent | EmptyHunyuanLatentVideo (T2V), etc. |
| adecuado para | prototipado rápido, VRAM baja, creatividad cotidiana | producción formal con prioridad de calidad |
Ambos conjuntos usan la licencia Apache 2.0, sin necesidad de firmar acuerdos adicionales para uso comercial.
Hazlo conmigo
Paso 1: cargar la plantilla de flujo de trabajo de Wan2.2 5B
Por qué: la plantilla oficial trae configurados los 13 nodos, los parámetros por defecto y los enlaces de descarga de los modelos; empezar desde la plantilla evita omitir nodos o rellenar mal los parámetros.
- Abre la biblioteca de plantillas (Browse Templates), busca “Wan 2.2 5B” y localiza la plantilla Wan 2.2 5B Generación de video (en la interfaz en inglés aparece como Wan 2.2 5B Video Generation)
- Haz clic para cargar
Deberías ver: los 13 nodos del lienzo organizados en cuatro grupos: Step1 - Load models (los tres cargadores Load Diffusion Model / Load CLIP / Load VAE), Step3 - Prompt (dos CLIP Text Encode, positivo y negativo), For i2v, use Ctrl + B to enable (Load Image, en bypass por defecto), Video Size & length (Wan22ImageToVideoLatent), más ModelSamplingSD3, KSampler, VAEDecode, CreateVideo, SaveVideo y un nodo de nota que dice Model Links, sin ningún nodo en rojo.
- Plantilla cargada, lienzo sin nodos en rojo
Paso 2: descargar los tres modelos y colocarlos en su sitio
Por qué: la plantilla trae solo la estructura, no los pesos; con los tres archivos cada uno en su lugar, podrás seleccionarlos en las listas desplegables de los cargadores.
| archivo | colocarlo en | tamaño |
|---|---|---|
wan2.2_ti2v_5B_fp16.safetensors | models/diffusion_models/ | 9.31 GB |
umt5_xxl_fp8_e4m3fn_scaled.safetensors | models/text_encoders/ | 6.27 GB |
wan2.2_vae.safetensors | models/vae/ | 1.31 GB |
Nota: el codificador de texto reutiliza el repositorio Wan2.1 para sus archivos (la versión fp8 de umt5_xxl), pero la VAE es la versión nueva de Wan2.2 — no confundas las filas.
📂 ComfyUI/
└── 📂 models/
├── 📂 diffusion_models/
│ └── wan2.2_ti2v_5B_fp16.safetensors
├── 📂 text_encoders/
│ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
└── 📂 vae/
└── wan2.2_vae.safetensorsEnlaces de descarga (la nota Model Links de la plantilla también incluye estos dos conjuntos):
- Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (modelo de difusión + VAE), Comfy-Org/Wan_2.1_ComfyUI_repackaged (codificador de texto); los archivos están en los subdirectorios correspondientes bajo
split_files/del repositorio - Conexión directa nacional: ModelScope (魔搭) tiene espejos con el mismo nombre Comfy-Org/Wan_2.2_ComfyUI_Repackaged, Comfy-Org/Wan_2.1_ComfyUI_repackaged
Deberías ver: los tres cargadores (Load Diffusion Model / Load CLIP / Load VAE) permiten seleccionar el archivo correspondiente en sus listas desplegables.
- El trío de archivos aparece en los directorios correctos y se puede seleccionar en los cargadores
💡 Los usuarios nacionales deberían priorizar ModelScope
Ambos repositorios tienen espejos oficiales en ModelScope, con velocidad de conexión directa rápida. Los nombres de archivo son idénticos a los de HF; basta con colocarlos según la tabla de arriba.
Paso 3: escribe el prompt y haz funcionar la generación de texto a video (vídeo listo en 20 pasos)
Por qué: primero valida toda la cadena con los parámetros predeterminados de la plantilla — 20 pasos, cfg 5, uni_pc: este conjunto de valores por defecto es el punto de equilibrio ajustado oficialmente; no tengas prisa por cambiarlos antes de que funcione.
- Escribe el prompt positivo en el nodo CLIP Text Encode (Positive Prompt). El ejemplo de la plantilla es una descripción completa de una escena:
Low contrast. In a retro 1970s-style subway station, a street musician
plays in dim colors and rough textures. He wears an old jacket, playing
guitar with focus. Commuters hurry by, and a small crowd gathers to
listen. The camera slowly moves right, capturing the blend of music and
city noise, with old subway signs and mottled walls in the background.En una sola frase incluye el lugar, los personajes, las acciones, el movimiento de cámara (The camera slowly moves right) y el ambiente — escribe tu propia escena siguiendo esta estructura.
- En el nodo CLIP Text Encode (Negative Prompt) está el prompt negativo en chino que trae la plantilla; déjalo tal cual por ahora:
色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,
Tono general grisáceo, la peor calidad, baja calidad, artefactos de compresión JPEG, feo, incompleto, dedos de más,
Manos mal dibujadas, caras mal dibujadas, deformes, desfiguradas, extremidades con formas deformes, dedos fusionados,
Imagen completamente estática, fondo caótico, tres piernas, mucha gente en el fondo, caminando hacia atrás- Confirma que KSampler tenga los valores predeterminados de la plantilla: steps 20, cfg 5, sampler
uni_pc, schedulersimple; al lado, el shift de ModelSamplingSD3 es 8 - Ejecuta con
Ctrl+Enter
Deberías ver: la barra de progreso completa los 20 pasos, y el vídeo se guarda mediante el nodo SaveVideo en el subdirectorio video/ del directorio de salida (el nombre de archivo empieza por ComfyUI, el formato predeterminado es auto y normalmente genera MP4), con resolución 1280×704, 121 fotogramas, 24 fps y una duración de unos 5 segundos.
- Tu primer vídeo de Wan2.2 aparece en el directorio de salida
💡 Los prompts se pueden escribir en chino
Hay una guía oficial de uso de Wan2.2 (documento de DingTalk). Los prompts pueden ir en chino o en inglés — el prompt negativo incluido en esta plantilla ya está en chino; escribe el prompt positivo siguiendo la estructura del ejemplo de la plantilla: escena, sujeto, acción, cámara y ambiente, todo en una sola frase.
Paso 4: cambia a imagen a vídeo (Ctrl+B activa Load Image)
Por qué: aquí está la comodidad del modelo mixto TI2V — el mismo conjunto de nodos y los mismos pesos; con solo conectar el primer fotograma ya tienes imagen a vídeo.
- Busca el nodo Load Image dentro del grupo For i2v, use Ctrl + B to enable; por defecto está en estado de bypass
- Selecciónalo y actívalo con
Ctrl+B(pulsando de nuevo vuelve al bypass) - Pulsa el botón de subida y elige tu foto
- Cambia el prompt positivo para describir «qué va a ocurrir en este vídeo»
- Ejecuta
Deberías ver: el primer fotograma del vídeo es la foto que subiste, y la imagen se anima según el prompt.
- El primer fotograma del vídeo de salida coincide con la imagen subida
El prompt de ejemplo para imagen a vídeo del README oficial (acompaña a una imagen de un gato blanco con gafas de sol sentado en una tabla de surf):
Summer beach vacation style, a white cat wearing sunglasses sits on a
surfboard. The fluffy-furred feline gazes directly at the camera with a
relaxed expression. Blurred beach scenery forms the background featuring
crystal-clear waters, distant green hills, and a blue sky dotted with
white clouds. The cat assumes a naturally relaxed posture, as if
savoring the sea breeze and warm sunlight. A close-up shot highlights
the feline's intricate details and the refreshing atmosphere of the
seaside.Fíjate en cómo está escrito: describe «cómo es este vídeo y cómo lo filma la cámara» (A close-up shot…), alineado con el contenido de la imagen de entrada — el prompt de imagen a vídeo describe todo el plano, no solo la acción.
⚠️ La imagen subida se escalará al tamaño del nodo
Wan22ImageToVideoLatent escala bilinealmente la imagen subida según el width/height del nodo, la centra y luego la codifica como primer fotograma. Si quieres conservar la proporción de la imagen original, cambia antes el ancho y alto del nodo a una proporción coherente con la imagen y ejecuta.
Paso 5: cambia resolución, duración y número de fotogramas
Por qué: los valores predeterminados de 1280×704 y 121 fotogramas no son fijos; pero tanto el ancho y alto como el número de fotogramas tienen reglas de incremento, y poner valores al azar causa problemas.
Los cuatro parámetros de Wan22ImageToVideoLatent:
| Parámetro | Predeterminado de la plantilla | Regla | Explicación |
|---|---|---|---|
| width | 1280 | incremento 32 | en horizontal 720P es 1280×704 |
| height | 704 | incremento 32 | vertical 704×1280 (soportado oficialmente de forma explícita) |
| length | 121 | incremento 4, toma 4n+1 | 121 fotogramas ÷ 24fps ≈ 5 segundos |
| batch_size | 1 | — | cuántos vídeos se generan a la vez |
- Para un vídeo vertical: pon 704 en width y 1280 en height
- Para acortar la duración y ahorrar VRAM: cambia length a 81 (unos 3.4 segundos) o 49 (unos 2 segundos)
- La frecuencia de fotogramas se cambia en el nodo CreateVideo (la plantilla la fija en 24): 121 fotogramas @ 24fps ≈ 5.04 segundos
Deberías ver: al ejecutar de nuevo tras cambiar los parámetros, el tamaño y la duración del vídeo de salida cambian en consecuencia.
- cambia length y sabe explicar por qué debe ser 4n+1
¿por qué el número de fotogramas es 4n+1?
El Wan2.2-VAE comprime 4 veces en la dimensión temporal: los fotogramas de length se comprimen a ((length−1)÷4)+1 segmentos temporales. Por eso length solo puede tomar valores de la forma 49, 81, 121, es decir 4n+1, y el nodo fija el paso en 4 precisamente para garantizarlo.
Punto de control ✅
- Texto a video funciona: video de 20 pasos, 1280×704, unos 5 segundos aparece en el directorio de salida
- Imagen a video funciona: tras activar Load Image con Ctrl+B, el primer fotograma coincide con la imagen subida
- Sabe nombrar los archivos del trío y sus directorios respectivos (diffusion_models / text_encoders / vae)
- Sabe que length toma 4n+1 y que el paso de ancho y alto es 32, y puede modificar por su cuenta la duración y el formato
- Sabe dar las dos razones por las que 8GB bastan: VAE con alta compresión 16×16×4 + offloading nativo
Advertencia de errores comunes
❌ Subiste una imagen, pero el resultado no es ella
El nodo Load Image está en bypass por defecto; si solo cambias la imagen dentro del nodo sin activarlo, start_image nunca llega al nodo latent y lo que se ejecuta sigue siendo texto a video puro.
Solución correcta: selecciona Load Image y pulsa Ctrl+B para activarlo, confirma que el nodo ya no tiene el estilo de bypass y vuelve a ejecutar.
❌ VAE equivocado: wan2.2_vae y wan_2.1_vae solo se diferencian en un dígito
La 5B usa la nueva VAE de Wan2.2 (wan2.2_vae.safetensors, compresión 16×16×4); las lecciones de la 14B usaban wan_2.1_vae.safetensors (oficialmente marcada como compatible con 2.2). El latent de video de la 5B tiene 48 canales (fijado en el código fuente del nodo), y los latents comprimidos por la VAE nueva y la vieja no son intercambiables.
Solución correcta: descarga según la tabla del paso 2 y no abras por descuido el enlace de VAE del tutorial de la 14B.
❌ Con menos de 8GB de VRAM insistes en ejecutar 720P×121 fotogramas
La postura oficial es «8GB junto con offloading nativo». Con menos VRAM, o al subir resolución o número de fotogramas, el latent crece y puede provocar OOM directamente.
Solución correcta: primero reduce length (121 → 81 → 49), luego baja la resolución (ajustando en múltiplos de 32). El consumo de VRAM está directamente ligado al tamaño del latent: fotogramas × ancho × alto.
❌ length puesto a 120, width puesto a 1281
Los valores válidos de length son 4n+1 (49, 81, 121…), y width/height deben ser múltiplos de 32: es el paso fijado por el schema del nodo. Al rellenar en la interfaz, sigue el paso; cuando los valores llegan desde otros nodos, tienes que respetar esta regla por tu cuenta.
Solución correcta: elige los fotogramas entre 49 / 81 / 121, y el ancho y alto entre múltiplos de 32. 1280×704 y 704×1280 son combinaciones 720P verificadas oficialmente.
Técnicas avanzadas (opcional)
Expandir frases cortas en prompts completos
El repositorio oficial de Wan-AI tiene una técnica de extensión de prompts (prompt extension): usar la API de dashscope o un modelo Qwen local para expandir frases cortas en descripciones completas de escena; según la nota oficial, esto enriquece eficazmente los detalles del video. La plantilla de ComfyUI no incluye este nodo, pero la idea se puede aplicar directamente: toma una frase corta como «dos gatos antropomórficos boxeando en un ring bajo los reflectores», pásala primero a cualquier LLM para expandirla en una frase larga como la de los ejemplos de la plantilla y luego pégala en el prompt positivo.
Quieres probar antes de descargar los pesos
Wan-AI abrió en Hugging Face un Space en línea de Wan-2.2-5B; si no quieres descargar primero los 17GB de pesos, puedes probar ahí algunas generaciones y, si te parece que vale la pena, volver al despliegue local.
Direcciones prácticas de imagen a video
Cuando domines la imagen a video de la 5B, puedes ir directo a escenarios de e-commerce: video de producto: hacer que la imagen del producto cobre vida trata precisamente el uso de la ruta de imagen a video en videos de imagen principal de producto. Si buscas mayor calidad de imagen a video, la siguiente parada, Wan2.2 14B imagen a video, usa pesos I2V específicos.
Resumen de la lección
✅ En esta lección se ejecutaron los dos modos del flujo de trabajo Wan2.2 5B:
- ✅ Texto a video: plantilla oficial + pesos del trío, 20 pasos, cfg 5, uni_pc, 1280×704 y unos 5 segundos para obtener el clip
- ✅ Imagen a video: activa Load Image con Ctrl+B, la foto sirve de primer fotograma, mismos pesos sin cambiar
- ✅ Reglas de parámetros: paso de ancho y alto 32, length toma 4n+1, sabes modificar por tu cuenta formato y duración
- ✅ Principio de baja VRAM: VAE con alta compresión 16×16×4 + offloading nativo de ComfyUI, funciona con 8GB de VRAM
Repaso de los campos de configuración clave:
| Campo | Valor recomendado | Explicación |
|---|---|---|
| Load Diffusion Model | wan2.2_ti2v_5B_fp16.safetensors | 5B modelo híbrido, weight_dtype se deja en default |
| Load CLIP | umt5_xxl_fp8_e4m3fn_scaled.safetensors | en type elige wan |
| Load VAE | wan2.2_vae.safetensors | 5B nueva VAE específica, no uses la de 2.1 |
| KSampler | 20 pasos / cfg 5 / uni_pc + simple | valores por defecto de la plantilla |
| ModelSamplingSD3 | shift 8 | valor por defecto de la plantilla |
| Wan22ImageToVideoLatent | 1280×704 / length 121 | paso de ancho y alto 32, length toma 4n+1 |
| CreateVideo | fps 24 | 121 fotogramas ≈ 5 segundos |
| Load Image | está en bypass por defecto, Ctrl+B activar | activar = modo imagen a vídeo |
Avance de la próxima lección
5B resuelve el problema de «que se pueda ejecutar», la próxima lección resuelve «que se ejecute bien»:Wan2.2 14B texto a vídeo: el modelo de doble experto produce resultados de cine. Aprenderás:
- Qué significa que el modelo MoE de doble experto (ruido alto/ruido bajo) se divida el trabajo según los pasos de tiempo de eliminación de ruido
- Descarga de modelos de 14B, así como la diferencia entre
EmptyHunyuanLatentVideoy el nodo latent de esta lección - Cuándo merece la pena actualizar de 5B a 14B
Apéndice: referencia del código fuente
Haz clic para expandir y ver la ubicación en el código fuente
Fecha de actualización: 2026-11-05 (plantilla de la biblioteca de plantillas video_wan2_2_5B_ti2v, versión mínima oficial indicada ComfyUI 0.3.46)
| Contenido | Ubicación |
|---|---|
| Tutorial oficial (Wan2.2, incluye la sección 5B) | https://docs.comfy.org/tutorials/video/wan/wan2_2 |
| JSON de la plantilla de flujo de trabajo | https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan2_2_5B_ti2v.json |
| Repositorio de pesos (Hugging Face) | https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged |
| Repositorio de pesos (espejo de ModelScope) | https://modelscope.cn/models/Comfy-Org/Wan_2.2_ComfyUI_Repackaged |
| README del repositorio oficial de Wan-AI (5B 720P, 16×16×4, prompts de ejemplo) | https://github.com/Wan-Video/Wan2.2 |
Wan22ImageToVideoLatent código fuente del nodo | comfy_extras/nodes_wan.py (L1418–L1459) |
SaveVideo / CreateVideo código fuente del nodo | comfy_extras/nodes_video.py (L137–L166 / desde L209) |
Los parámetros de esta página (KSampler 20 pasos / cfg 5 / uni_pc + simple, shift 8, 1280×704 / length 121 / fps 24, nombres y tamaños de los tres archivos del conjunto, Load Image en bypass por defecto) han sido verificados con los valores reales de los nodos del JSON de la plantilla video_wan2_2_5B_ti2v.json; los criterios sobre memoria de vídeo y resolución provienen del tutorial oficial y del README de Wan-AI.