Skip to content
起步第 4 / 4 节

跑起 DeepSeek-R1 ​

做完这一节,你会在终端里和一个跑在自己电脑上的 DeepSeek 对话,并且确认它用上了显卡。

开始之前 ​

  • 装好了 Ollama,ollama -v 有版本号
  • 硬盘至少还有 6 GB:deepseek-r1:8b 的文件是 5.2 GB

第 1 步:下载并开始对话 ​

sh
ollama run deepseek-r1:8b

第一次运行会先下载模型。我们的网络下 5.2 GB 下载了 4 分多钟。下载完直接进入对话,输入问题回车即可,输入 /bye 退出。

想直接问一句就走,把问题跟在后面:

sh
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"

你应该看到:先是一段思考过程,以 ...done thinking. 结束,然后才是回答。我们实测得到的回答是:

text
将大型人工智能模型直接运行在本地设备上,以实现完全掌控和确保数据隐私。

模型每次的回答不完全一样,意思对就行。

  • 我收到了一句回答

第 2 步:看懂“思考过程” ​

DeepSeek-R1 是会先思考再回答的模型。Ollama 官方文档说,这类模型会把推理过程和最终答案分开输出。命令行里你看到的那一大段,就是它的思考;...done thinking. 之后才是给你的答案。

用接口调用时,思考过程会单独放在 thinking 字段里,回答在 content 字段里,用接口调用那一节会看到。

  • 我分得清思考过程和最终回答

第 3 步:确认模型装好、用上了显卡 ​

sh
ollama list

你应该看到:已下载的模型。我们机器上是:

text
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    6995872bfe4c    5.2 GB    5 minutes ago

模型在运行时,再看它跑在哪:

sh
ollama ps
text
NAME              ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
deepseek-r1:8b    6995872bfe4c    5.6 GB    100% GPU     4096       llamacpp    4 minutes from now

PROCESSOR 这一列最要紧。官方的解释:100% GPU 是整个放进了显卡;100% CPU 是整个放在内存里;48%/52% CPU/GPU 这样的是一部分在内存、一部分在显卡。

注意 SIZE 是 5.6 GB,比文件的 5.2 GB 多一点:加载到显卡上还要占些额外空间。

考考你ollama ps 显示 PROCESSOR 是 30%/70% CPU/GPU。这说明什么?

  • ollama ps 里我的模型是 100% GPU,或者我知道为什么不是

有多快 ​

在我们的 RTX 4080 SUPER 上,deepseek-r1:8b 生成 172 个 token 用了 1.41 秒,大约每秒 120 个 token。你的速度取决于显卡,放不进显存时会明显变慢。

检查点 ​

  • 我和本地的 DeepSeek 对话过
  • 我分得清思考过程和回答
  • 我会用 ollama list 看装了哪些模型,用 ollama ps 看它跑在哪

没成功? ​

下载断了。 重新运行同一条命令再下一次。

PROCESSOR 不是 100% GPU。 显存放不下这个尺寸,换小一号,见选多大的模型。

下一节 ​

选多大的模型。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。