跑起 DeepSeek-R1
做完这一节,你会在终端里和一个跑在自己电脑上的 DeepSeek 对话,并且确认它用上了显卡。
开始之前
- 装好了 Ollama,
ollama -v有版本号 - 硬盘至少还有 6 GB:deepseek-r1:8b 的文件是 5.2 GB
第 1 步:下载并开始对话
ollama run deepseek-r1:8b第一次运行会先下载模型。我们的网络下 5.2 GB 下载了 4 分多钟。下载完直接进入对话,输入问题回车即可,输入 /bye 退出。
想直接问一句就走,把问题跟在后面:
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"你应该看到:先是一段思考过程,以 ...done thinking. 结束,然后才是回答。我们实测得到的回答是:
将大型人工智能模型直接运行在本地设备上,以实现完全掌控和确保数据隐私。模型每次的回答不完全一样,意思对就行。
- 我收到了一句回答
第 2 步:看懂“思考过程”
DeepSeek-R1 是会先思考再回答的模型。Ollama 官方文档说,这类模型会把推理过程和最终答案分开输出。命令行里你看到的那一大段,就是它的思考;...done thinking. 之后才是给你的答案。
用接口调用时,思考过程会单独放在 thinking 字段里,回答在 content 字段里,用接口调用那一节会看到。
- 我分得清思考过程和最终回答
第 3 步:确认模型装好、用上了显卡
ollama list你应该看到:已下载的模型。我们机器上是:
NAME ID SIZE MODIFIED
deepseek-r1:8b 6995872bfe4c 5.2 GB 5 minutes ago模型在运行时,再看它跑在哪:
ollama psNAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
deepseek-r1:8b 6995872bfe4c 5.6 GB 100% GPU 4096 llamacpp 4 minutes from nowPROCESSOR 这一列最要紧。官方的解释:100% GPU 是整个放进了显卡;100% CPU 是整个放在内存里;48%/52% CPU/GPU 这样的是一部分在内存、一部分在显卡。
注意 SIZE 是 5.6 GB,比文件的 5.2 GB 多一点:加载到显卡上还要占些额外空间。
考考你ollama ps 显示 PROCESSOR 是 30%/70% CPU/GPU。这说明什么?
ollama ps里我的模型是100% GPU,或者我知道为什么不是
有多快
在我们的 RTX 4080 SUPER 上,deepseek-r1:8b 生成 172 个 token 用了 1.41 秒,大约每秒 120 个 token。你的速度取决于显卡,放不进显存时会明显变慢。
检查点
- 我和本地的 DeepSeek 对话过
- 我分得清思考过程和回答
- 我会用
ollama list看装了哪些模型,用ollama ps看它跑在哪
没成功?
下载断了。 重新运行同一条命令再下一次。
PROCESSOR 不是 100% GPU。 显存放不下这个尺寸,换小一号,见选多大的模型。