选多大的模型
能整个放进显存的最大那个,就是你该选的。 放进显存跑得最快;放不下也能跑,但一部分会挤到内存里用 CPU 算,慢很多。
先拿你的显存试一下:
显存
模型
显存 8 GB最大能整个放下:8b
$ ollama psNAME SIZE PROCESSORdeepseek-r1:8b 5.7 GB 100% GPUdeepseek-r1:8b 能整个放进 8 GB 显存,跑起来最快。
学完你能做什么
- 说出 DeepSeek-R1 各个尺寸的文件大小
- 按自己的显存挑一个尺寸
- 用
ollama ps确认选得对不对
各个尺寸有多大
Ollama 模型库里 deepseek-r1 的尺寸(ollama run deepseek-r1:<尺寸>):
| 尺寸 | 文件大小 | 上下文长度 |
|---|---|---|
| 1.5b | 1.1 GB | 128K |
| 7b | 4.7 GB | 128K |
| 8b | 5.2 GB | 128K |
| 14b | 9.0 GB | 128K |
| 32b | 20 GB | 128K |
| 70b | 43 GB | 128K |
| 671b | 404 GB | 160K |
不写尺寸直接 ollama run deepseek-r1,拿到的是 latest,文件大小和 8b 一样,是 5.2 GB。
“b” 是十亿个参数。尺寸越大,一般回答越好,也越吃显存。
- 我知道自己想试的尺寸文件有多大
怎么判断放不放得下
加载以后,模型占的显存会比文件大一点。我们实测 8b:文件 5.2 GB,ollama ps 里显示 5.6 GB。所以粗略地说,显存要比文件大一截。上面的小工具就是按这个粗算的。
真正的答案看 ollama ps 的 PROCESSOR 列:
| 显示 | 意思 |
|---|---|
100% GPU | 整个在显卡上,最快 |
48%/52% CPU/GPU 这样 | 一部分在内存、一部分在显卡,会慢 |
100% CPU | 全在内存里,用 CPU 算,最慢 |
不是 100% GPU 就换小一号试试。
查一查我的显卡是……
点一个看看。
- 我选好了尺寸,并用
ollama ps看过
检查点
- 我知道各尺寸的文件大小
- 我知道显存要比文件大一截
- 我会看
PROCESSOR列判断是不是整个在显卡上
常见误会
以为尺寸越大越好。 放不进显存的大模型会慢很多。先用放得下的最大尺寸。
以为这一页的 R1 就是 DeepSeek 最新的模型。 最新的是 V4 / V4.1 系列,但家用电脑放不下,Ollama 上也只有云端版,见DeepSeek V4 能本地跑吗。本地能跑的仍是上面这些 R1 尺寸。
以为 latest 是最大的版本。 在这个模型上,latest 的文件大小和 8b 一样,是 5.2 GB。