Introducción a ControlNet: control de composición con bocetos, profundidad y poses
Objetivo en una frase: conecta ControlNet de ComfyUI a un flujo de trabajo de texto a imagen que ya puedas ejecutar, para que la composición, la profundidad de campo y las poses de la imagen sigan tu imagen de referencia, en lugar de depender de la suerte con los prompts.
Requisito previo: Primera generación: el flujo de trabajo predeterminado explicado nodo por nodo.
Preparación
- ComfyUI ya puede generar imágenes con normalidad (ver el curso previo).
- Descarga un archivo de modelo de ControlNet, colócalo en el directorio
ComfyUI/models/controlnet/y reinicia ComfyUI. - Prepara una imagen de referencia: puede ser un boceto sobre fondo blanco, una foto normal o una foto de cuerpo completo de una persona.
- Busca los preprocesadores Canny, Depth y OpenPose en la lista de nodos; los nodos de Comfy Core no están completos, y si no los encuentras significa que falta la extensión de preprocesadores; la más usada es ComfyUI ControlNet aux (github.com/Fannovel16/comfyui_controlnet_aux), instálala antes de continuar.
Sígueme paso a paso
Paso 1: conecta ControlNet de ComfyUI al flujo de trabajo
Operación: haz doble clic en el lienzo para añadir el nodo «Load ControlNet Model» y selecciona el modelo que colocaste; luego añade «Apply ControlNet». Ten en cuenta que ControlNet se conecta en la ruta de condiciones, no pasa por MODEL; el MODEL del Checkpoint sigue conectado directamente al model del KSampler, no lo toques. Las líneas que hay que cambiar son estas:
- El
CONTROL_NETde Load ControlNet Model → elcontrol_netde Apply ControlNet - Condición positiva → el
positivede Apply ControlNet, condición negativa →negative - El
VAEdel Checkpoint → elvaede Apply ControlNet - El
positive/negativede salida de Apply ControlNet → las entradas correspondientes del KSampler
Resultado esperado: el flujo de datos de condiciones pasa a ser «CLIP Text Encode → Apply ControlNet → KSampler», el MODEL sigue siendo suministrado directamente por el Checkpoint al KSampler y la ejecución ya no da error de conditioning sin conectar.
Paso 2: convierte la imagen de referencia en un mapa de control
Operación: elige el preprocesador según el objetivo de control: Canny extrae bocetos de bordes, Depth genera profundidad de cerca y lejos, OpenPose extrae esqueletos humanos. Carga la imagen de referencia con Load Image, conéctala al preprocesador y luego conecta el mapa de control que este genera a la entrada image de Apply ControlNet.
Resultado esperado: el preprocesador genera un mapa de control: Canny produce líneas de bordes en blanco y negro, Depth produce un mapa de grises con lo cercano claro y lo lejano oscuro, OpenPose produce un esqueleto de puntos y líneas de colores.
Paso 3: ajusta strength y genera la imagen
Operación: pon primero el strength de Apply ControlNet en 0.8, fija el seed y ejecuta la cola una vez; si la composición no encaja, súbelo, y si la imagen queda bloqueada por la referencia y los detalles se emborronan, bájalo, y vuelve a ejecutar para comparar.
Resultado esperado: la composición general, las poses o la profundidad de campo de la imagen generada coinciden con la imagen de referencia, mientras que el estilo, los colores y los detalles siguen guiados por el prompt y el modelo.
Verificación
- Con el mismo seed y el mismo prompt, ejecuta una vez con Apply ControlNet desconectado y otra vez conectado: al conectarlo, la composición debe seguir claramente el mapa de control.
- Al cambiar el tipo de control, el preprocesador y el modelo de ControlNet deben cambiarse en pareja (imagen de Canny con modelo de Canny); de lo contrario, el efecto de control es caótico o incluso nulo.
Errores comunes
- strength al máximo desde el inicio 1.0: composición rígida, imagen contaminada por los detalles de la referencia. Empieza probando en el intervalo 0.6–0.9.
- Gran diferencia de tamaño entre la referencia y el objetivo: escala primero la imagen de referencia antes del preprocesamiento; de lo contrario, las líneas o el esqueleto del mapa de control quedarán desalineados.
- Superposición de múltiples ControlNet: encadena varios Apply ControlNet (la salida de condiciones de uno va a la entrada de condiciones del siguiente) y ajusta el strength de cada uno; por ejemplo, el boceto controla los contornos y la pose controla los movimientos.
- Fondo de la foto demasiado desordenado: Canny también extraerá los bordes del fondo; puedes recortar antes la imagen de referencia o usar Depth en su lugar.
Próxima lección
El uso de ControlNet varía según el modelo; los tutoriales de los modelos Z-Image y Qwen-Image tienen secciones correspondientes (ver lecturas relacionadas). Próxima lección: Modelos cuantizados GGUF: ejecutar modelos grandes con poca VRAM.
Lecturas relacionadas: Texto a imagen con Z-Image-Turbo · Texto a imagen con Qwen-Image · LTX-2/2.3 generación de vídeo