Modelos GGUF cuantizados: ejecuta grandes modelos con poca VRAM
¿Quieres ejecutar en ComfyUI un gran modelo de nivel 14B pero solo tienes 8GB de VRAM? Los modelos GGUF cuantizados comprimen los pesos a menos bits, permitiéndote ejecutarlos sin cambiar de tarjeta gráfica. Esta página explica el proceso completo de instalación, descarga y cableado de ComfyUI GGUF.
Qué podrás hacer al terminar
- Explicar la diferencia entre GGUF y el formato de cuantización nativo de ComfyUI, y saber cuándo elegir cada uno
- Instalar el nodo personalizado ComfyUI-GGUF de city96
- Encontrar y colocar correctamente los pesos GGUF desde repositorios comunitarios de cuantización (bullerwins, QuantStack)
- Reemplazar el nodo de carga estándar del flujo de trabajo original con el cargador GGUF y generar imágenes con éxito
Tu situación actual
- «Quiero ejecutar Wan2.2 14B, pero mi tarjeta gráfica solo tiene 8GB de VRAM; los pesos oficiales fp16 simplemente no caben.»
- «Descargué un archivo
.gguf, lo puse en el directorio models, pero el cargador no lo encuentra.» - «He oído que la cuantización reduce la calidad de imagen y no sé qué nivel de bits elegir.»
Cuándo usar esta técnica
Cuando necesites:
- Ejecutar en tarjetas gráficas con poca VRAM grandes modelos que originalmente no cabrían
- Usar modelos populares que la comunidad ya ha cuantizado (como la versión GGUF de Wan2.2 A14B)
Y no quieras:
- Gastar dinero en actualizar tu tarjeta gráfica
- Hacer tú mismo la conversión de cuantización
💡 Mira primero el formato nativo
ComfyUI también tiene un conjunto de formatos de cuantización nativos (fp8, int8, etc., guardados directamente como safetensors, sin necesidad de instalar nodos). Si el modelo objetivo tiene una versión oficial fp8, úsala con prioridad; GGUF es un formato comunitario, y su ventaja es que cubre más modelos y más niveles de bits.
🎒 Preparativos antes de empezar
- Haber leído Dónde colocar los modelos: el directorio models y extra_model_paths explicados a fondo y conocer la estructura de subdirectorios bajo
ComfyUI/models/ - ComfyUI puede iniciarse con normalidad y ejecutar un flujo de trabajo básico de texto a imagen
- Tener suficiente espacio en el disco (un solo archivo GGUF puede ir de unos pocos GB a más de veinte GB, según el nivel de bits)
- Contar con acceso de red a Hugging Face (si el acceso desde China es inestable, se pueden usar sitios espejo como hf-mirror para descargar)
Idea central
GGUF es un formato de pesos cuantizados ampliamente usado por la comunidad. ComfyUI no lo admite de forma nativa: la documentación oficial indica claramente que, para usar modelos GGUF, hay que instalar nodos personalizados de la comunidad (como ComfyUI-GGUF de city96).
| Elemento de comparación | ComfyUI Cuantización nativa | Cuantización GGUF |
|---|---|---|
| ¿Requiere instalar nodos? | No | Sí (city96/ComfyUI-GGUF) |
| Formato de archivo | safetensors | .gguf |
| Niveles de bits comunes | fp8, int8, fp4, etc. | Múltiples niveles de cuantización comunitaria, se eligen según la VRAM |
| Canales de obtención | Lanzamientos oficiales, incluye pesos fp8 | Repositorios comunitarios de Hugging Face |
En una frase: el formato nativo funciona listo para usar, mientras que GGUF se apoya en nodos y ofrece niveles de bits más finos.
Hazlo conmigo
Paso 1: instala el nodo personalizado ComfyUI-GGUF
GGUF no es un formato nativo de ComfyUI; primero hay que instalar el nodo ComfyUI-GGUF de city96 para que los cargadores aparezcan más adelante.
Abre el gestor de nodos de ComfyUI (el panel Manage del menú), busca GGUF, instala city96/ComfyUI-GGUF y luego reinicia ComfyUI según las indicaciones.
Deberías ver: tras el reinicio, al hacer doble clic en el lienzo para buscar nodos, aparecen nodos de carga con la etiqueta GGUF.
- El cargador GGUF aparece en la lista de nodos
Paso 2: descarga y coloca el modelo GGUF cuantizado
La comunidad ya ha cuantizado los grandes modelos populares a GGUF; basta con descargarlos, sin necesidad de convertirlos tú mismo.
Tomando Wan2.2 A14B como ejemplo, los repositorios comunitarios de cuantización listados en el tutorial oficial son:
bullerwins/Wan2.2-T2V-A14B-GGUF(texto a video)bullerwins/Wan2.2-I2V-A14B-GGUF(imagen a video)QuantStack/Wan2.2 GGUFs(colección)
Al entrar al repositorio, elige un nivel de bits según tu VRAM y descárgalo (cuanto más bajo el nivel, más pequeño el archivo y menor el uso de VRAM, aunque generalmente también mayor pérdida de calidad). Tras la descarga, coloca el archivo .gguf en el directorio correspondiente a los modelos de difusión, por ejemplo ComfyUI/models/unet/ (en la versión nueva de ComfyUI el directorio de modelos de difusión es models/diffusion_models/; normalmente se reconocen ambos).
Deberías ver: el archivo aparece en el directorio models/unet/ y no ha sido colocado en otros subdirectorios como checkpoints.
- El archivo
.ggufse ha colocado en el directorio correcto
Paso 3: reemplaza el cargador original con el cargador GGUF
El cargador estándar no puede leer GGUF; hay que usar el cargador proporcionado por ComfyUI-GGUF para ocupar su lugar.
Abre tu flujo de trabajo original, encuentra el nodo de carga del modelo (como Load Checkpoint o el nodo que carga el modelo de difusión), haz doble clic para buscar y añadir el cargador correspondiente con la etiqueta GGUF, selecciona el archivo .gguf recién descargado, conecta su salida al nodo situado aguas abajo del nodo de carga del modelo original (puertos como MODEL) y luego elimina el nodo de carga antiguo.
Mantén sin cambios los demás nodos (prompt, sampler, VAE, etc.) y haz clic en ejecutar.
Deberías ver: la cola se ejecuta con normalidad y, al terminar la barra de progreso, obtienes imágenes o videos en el directorio de salida, con un uso de VRAM claramente inferior al de ejecutar los pesos de precisión completa.
- El flujo de trabajo funciona y se genera el archivo de salida
Puntos de control ✅
- El nodo ComfyUI-GGUF está instalado y el cargador GGUF aparece en las búsquedas
- El archivo
.ggufestá en el subdirectorio correcto de models - En el flujo de trabajo, la carga del modelo se ha cambiado al cargador GGUF, con las conexiones de puertos completas
- Se completó con éxito una tarea de generación con VRAM baja
Advertencias sobre errores comunes
❌ Después de poner el archivo en el directorio, el cargador no lo encuentra
Causa: el archivo se colocó en un subdirectorio equivocado, o no se reinició/refrescó ComfyUI después de colocarlo.
Solución correcta: verifica el directorio (los GGUF de modelos de difusión van en models/unet/), confirma que la extensión del archivo sea .gguf y, si es necesario, reinicia ComfyUI para que vuelva a escanear el directorio de modelos.
❌ Pensar que GGUF es un formato nativo y no instalar el nodo
Causa: ComfyUI indica oficialmente que GGUF requiere soporte de nodos personalizados de la comunidad; sin instalar ComfyUI-GGUF no habrá un cargador correspondiente.
Solución correcta: primero completa el paso 1 para instalar el nodo, y luego busca el cargador.
❌ Esperar que la «descarga automática de modelos faltantes» de la plantilla descargue el GGUF por ti
Causa: la información de modelos de la plantilla de flujo de trabajo solo admite los formatos .safetensors/.sft; los enlaces .gguf se marcan como inseguros y no se muestran.
Solución correcta: descarga siempre los GGUF manualmente y colócalos en el directorio correspondiente; no dependas de la descarga automática de la plantilla.
❌ Elegir a ciegas el nivel de bits más bajo
Causa: cuanto más bajo es el nivel, mayor es la pérdida de calidad; la sensibilidad a la cuantización varía según el modelo y la tarea.
Solución correcta: si la VRAM es suficiente, prioriza niveles de bits más altos; si la imagen sale anormal (colores o detalles rotos), prueba primero con un nivel más alto antes de investigar otras causas.
Consejos avanzados
- Un mismo repositorio suele ofrecer varios niveles de bits; puedes descargar los niveles bajos para probar que funcione y luego decidir si descargas la versión de alta calidad
- También existen versiones GGUF cuantizadas de la comunidad para los codificadores de texto y el VAE; con VRAM muy ajustada se puede usar todo el conjunto de pesos cuantizados
- Si encuentras errores de memoria insuficiente, consulta primero Memoria insuficiente y bloqueos: soluciones sistemáticas para OOM y luego vuelve a ajustar el nivel
Resumen de esta lección
- ComfyUI no admite de forma nativa GGUF; hay que instalar primero el nodo city96 de ComfyUI-GGUF
- Los pesos GGUF se descargan de repositorios de la comunidad: para la serie Wan2.2 puedes consultar bullerwins y QuantStack
- Coloca los archivos en el subdirectorio correcto de models y sustituye el nodo de carga original por el cargador con GGUF en el nombre
- Los formatos de cuantización nativos de ComfyUI (fp8, etc.) no requieren nodos; priorízalos cuando exista una versión oficial
- La descarga automática de la plantilla no admite
.gguf; hay que descargar manualmente
| Elemento clave | Recomendación | Descripción |
|---|---|---|
| Nodo personalizado | city96/ComfyUI-GGUF | Nodo de soporte GGUF indicado en la documentación oficial |
| Repositorio de descarga | bullerwins / QuantStack | Recursos de cuantización de la comunidad listados en el tutorial oficial de Wan2.2 |
| Directorio de almacenamiento | ComfyUI/models/unet/ | GGUF de modelos de difusión (según el README del nodo) |
| Elección del nivel | Con VRAM suficiente, elige bits altos | Cuanto más bajo el nivel, mayor el riesgo de pérdida de calidad |
Avance de la próxima lección
¿La página no funciona, los nodos dan errores, falla la carga del modelo? La próxima lección Resumen de solución de problemas: mira esta página primero cuando algo falle (verificación rápida en 60 segundos) te ofrece un proceso rápido de autoverificación. Aprenderás:
- Cómo diagnosticar errores comunes en 60 segundos
- Métodos para diagnosticar fallos en la instalación de nodos personalizados
- Qué hacer cuando no se encuentra el modelo o falla la carga
- Punto de entrada a las soluciones sistemáticas para memoria insuficiente