Skip to content
用好它第 1 / 4 节

选多大的模型 ​

能整个放进显存的最大那个,就是你该选的。 放进显存跑得最快;放不下也能跑,但一部分会挤到内存里用 CPU 算,慢很多。

先拿你的显存试一下:

选一选你的显卡,能跑多大的 DeepSeek?粗略判断,以 ollama ps 为准
显存
模型
显存 8 GB最大能整个放下:8b
deepseek-r1:8b ≈ 5.7 GB
$ ollama psNAME SIZE PROCESSORdeepseek-r1:8b 5.7 GB 100% GPU

deepseek-r1:8b 能整个放进 8 GB 显存,跑起来最快。

学完你能做什么 ​

  • 说出 DeepSeek-R1 各个尺寸的文件大小
  • 按自己的显存挑一个尺寸
  • 用 ollama ps 确认选得对不对

各个尺寸有多大 ​

Ollama 模型库里 deepseek-r1 的尺寸(ollama run deepseek-r1:<尺寸>):

尺寸文件大小上下文长度
1.5b1.1 GB128K
7b4.7 GB128K
8b5.2 GB128K
14b9.0 GB128K
32b20 GB128K
70b43 GB128K
671b404 GB160K

不写尺寸直接 ollama run deepseek-r1,拿到的是 latest,文件大小和 8b 一样,是 5.2 GB。

“b” 是十亿个参数。尺寸越大,一般回答越好,也越吃显存。

  • 我知道自己想试的尺寸文件有多大

怎么判断放不放得下 ​

加载以后,模型占的显存会比文件大一点。我们实测 8b:文件 5.2 GB,ollama ps 里显示 5.6 GB。所以粗略地说,显存要比文件大一截。上面的小工具就是按这个粗算的。

真正的答案看 ollama ps 的 PROCESSOR 列:

显示意思
100% GPU整个在显卡上,最快
48%/52% CPU/GPU 这样一部分在内存、一部分在显卡,会慢
100% CPU全在内存里,用 CPU 算,最慢

不是 100% GPU 就换小一号试试。

查一查我的显卡是……

点一个看看。

  • 我选好了尺寸,并用 ollama ps 看过

检查点 ​

  • 我知道各尺寸的文件大小
  • 我知道显存要比文件大一截
  • 我会看 PROCESSOR 列判断是不是整个在显卡上

常见误会 ​

以为尺寸越大越好。 放不进显存的大模型会慢很多。先用放得下的最大尺寸。

以为这一页的 R1 就是 DeepSeek 最新的模型。 最新的是 V4 / V4.1 系列,但家用电脑放不下,Ollama 上也只有云端版,见DeepSeek V4 能本地跑吗。本地能跑的仍是上面这些 R1 尺寸。

以为 latest 是最大的版本。 在这个模型上,latest 的文件大小和 8b 一样,是 5.2 GB。

下一节 ​

用接口调用本地模型。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。