GGUF 量化模型：低显存跑大模型

想在 ComfyUI 里跑 14B 级别的大模型，显存却只有 8GB？GGUF 量化模型把权重压缩到更低比特，让你不用换显卡也能跑起来。本页讲清 ComfyUI GGUF 的安装、下载和接线全流程。

学完你能做什么

• 说清 GGUF 和 ComfyUI 原生量化格式的区别，知道什么时候选哪个
• 安装 city96 的 ComfyUI-GGUF 自定义节点
• 从社区量化仓库（bullerwins、QuantStack）找到并放好 GGUF 权重
• 用 GGUF 加载器替换原工作流的标准加载节点，成功出图

你现在的困境

• 「想跑 Wan2.2 14B，可我的显卡只有 8GB 显存，官方 fp16 权重根本装不下。」
• 「下载了 .gguf 文件，放进 models 目录后，加载器里却找不到它。」
• 「听说量化会掉画质，不知道该选哪个比特档位。」

什么时候用这一招

当你需要：

• 在低显存显卡上运行原本装不下的大模型
• 用社区已经量化好的热门模型（如 Wan2.2 A14B 的 GGUF 版）

而且不想：

• 花钱升级显卡
• 自己动手做量化转换

💡 先看原生格式

ComfyUI 也有一套原生量化格式（fp8、int8 等，直接存成 safetensors，无需装节点）。如果目标模型有官方 fp8 版本，优先用它；GGUF 是社区格式，胜在覆盖的模型和比特档位更多。

🎒 开始前的准备

• 已读完模型放哪里：models 目录与 extra_model_paths 详解，知道 ComfyUI/models/ 下的子目录结构
• ComfyUI 可以正常启动、能跑通一个基础文生图工作流
• 硬盘留出足够空间（单个 GGUF 文件从几 GB 到二十多 GB 不等，视比特档位而定）
• 网络可以访问 Hugging Face（国内访问不稳定时可用 hf-mirror 等镜像站下载）

核心思路

GGUF 是社区广泛使用的量化权重格式。ComfyUI 不原生支持它——官方文档明确说：要用 GGUF 模型，需要安装社区自定义节点（如 city96 的 ComfyUI-GGUF）。

对比项	ComfyUI 原生量化	GGUF 量化
是否需装节点	不需要	需要（city96/ComfyUI-GGUF）
文件格式	safetensors	.gguf
常见比特档位	fp8、int8、fp4 等	多档位社区量化，按显存挑选
获取渠道	官方发布、自带 fp8 权重	Hugging Face 社区仓库

一句话：原生格式开箱即用，GGUF 靠节点补位、档位更细。

跟我做

第 1 步：安装 ComfyUI-GGUF 自定义节点

GGUF 不是 ComfyUI 的原生格式，必须先装 city96 的 ComfyUI-GGUF 节点，后面的加载器才会出现。

打开 ComfyUI 的节点管理器（菜单里的 Manage 面板），搜索 GGUF，安装 city96/ComfyUI-GGUF，然后按提示重启 ComfyUI。

你应该看到：重启后，在画布上双击搜索节点，能搜到带 GGUF 字样的加载器节点。

• 节点列表里能搜到 GGUF 加载器

第 2 步：下载并放置 GGUF 量化模型

社区已经把热门大模型量化成了 GGUF，直接下载即可，不用自己转换。

以 Wan2.2 A14B 为例，官方教程列出的社区量化仓库有：

• bullerwins/Wan2.2-T2V-A14B-GGUF（文生视频）
• bullerwins/Wan2.2-I2V-A14B-GGUF（图生视频）
• QuantStack/Wan2.2 GGUFs（合集）

进入仓库后，按你的显存挑一个比特档位下载（档位越低文件越小、显存占用越少，画质损失一般也越大）。下载后把 .gguf 文件放进扩散模型对应的目录，例如 ComfyUI/models/unet/（新版 ComfyUI 的扩散模型目录为 models/diffusion_models/，两者通常都被识别）。

你应该看到：文件出现在 models/unet/ 目录下，且没有被放进 checkpoints 等其他子目录。

• .gguf 文件已放入正确目录

第 3 步：用 GGUF 加载器替换原加载器

标准加载器读不了 GGUF，要用 ComfyUI-GGUF 提供的加载器接替它的位置。

打开你原来的工作流，找到模型加载节点（如 Load Checkpoint 或加载扩散模型的节点），双击搜索并添加带 GGUF 字样的对应加载器，选中刚下载的 .gguf 文件，把它的输出接到原来模型加载节点的下游（MODEL 等端口），再删除旧加载节点。

提示词、采样器、VAE 等其余节点保持不变，点击运行。

你应该看到：队列正常执行，进度条走完后在输出目录得到图片或视频，显存占用明显低于跑全精度权重。

• 工作流跑通，输出文件生成

检查点 ✅

• ComfyUI-GGUF 节点已安装，能搜到 GGUF 加载器
• .gguf 文件放在了正确的 models 子目录
• 工作流里模型加载已换成 GGUF 加载器，端口接线完整
• 低显存下成功跑完一次生成任务

踩坑提醒

❌ 放进目录后加载器里找不到文件

原因：文件放错了子目录，或放好后没有重启/刷新 ComfyUI。

正确做法：核对目录（扩散模型类 GGUF 放 models/unet/），确认文件后缀就是 .gguf，必要时重启 ComfyUI 让它重新扫描模型目录。

❌ 以为 GGUF 是原生格式，没装节点

原因：ComfyUI 官方说明 GGUF 需要社区自定义节点支持，不装 ComfyUI-GGUF 就没有对应加载器。

正确做法：先完成第 1 步装节点，再找加载器。

❌ 指望模板的「缺模型自动下载」帮你下 GGUF

原因：工作流模板的模型信息只支持 .safetensors/.sft 格式，.gguf 链接会被标记为不安全而不显示。

正确做法：GGUF 一律手动下载并放入对应目录，不要依赖模板自动下载。

❌ 盲目选最低比特档位

原因：档位越低画质损失越大，不同模型、不同任务对量化的敏感度不同。

正确做法：显存够用时优先选较高比特档位；出图异常（色彩、细节崩坏）时先换高一档试试，再排查其他原因。

进阶技巧

• 同一个仓库常提供多个比特档位，可以都下小档位试跑通，再决定是否下高画质版本
• 文本编码器、VAE 也有社区 GGUF 量化版，显存极紧时可以整套都用量化权重
• 遇到显存不足报错时，先看显存不足与卡顿：OOM 的系统解法再回来调档位

本课小结

• ComfyUI 不原生支持 GGUF，必须先装 city96 的 ComfyUI-GGUF 节点
• GGUF 权重从社区仓库下载：Wan2.2 系列可看 bullerwins、QuantStack
• 文件放进正确的 models 子目录，用带 GGUF 字样的加载器替换原加载节点
• ComfyUI 原生量化格式（fp8 等）无需节点，有官方版本时优先考虑
• 模板自动下载不支持 .gguf，需手动下载

关键项	推荐做法	说明
自定义节点	city96/ComfyUI-GGUF	官方文档指定的 GGUF 支持节点
下载仓库	bullerwins / QuantStack	Wan2.2 官方教程列出的社区量化资源
存放目录	ComfyUI/models/unet/	扩散模型类 GGUF（以节点 README 为准）
档位选择	显存够就选高比特	档位越低，画质损失风险越大

下一课预告

页面跑不通、节点报错、模型加载失败？下一课排错总览：出问题先看这页（60 秒速检）给你一套快速自查流程。你会学到：

• 常见报错的 60 秒速查思路
• 自定义节点安装失败的排查方法
• 模型找不到、加载出错怎么办
• 显存不足的系统解法入口