本地部署大模型是什么
本地部署,就是把大模型下载到你自己的电脑上运行。 你和它说的话、交给它的文件,都在你的电脑里处理,不用发到别人的服务器。
这一节不装任何东西。
学完你能做什么
- 说清本地部署和网页版的区别
- 知道 Ollama 是干什么的
- 判断自己的电脑够不够用
和网页版差在哪
| 网页版 AI | 本地部署 | |
|---|---|---|
| 模型跑在哪 | 服务商的服务器 | 你的电脑 |
| 你的提示词和文件 | 发到服务商 | 留在本机 |
| 速度取决于 | 网络和服务商 | 你的显卡 |
| 能用多大的模型 | 服务商最好的 | 你的显存放得下的 |
本地部署换来的是数据留在手里,代价是模型的大小受显卡限制。
Ollama 是什么
Ollama 是一个在自己电脑上下载和运行大模型的工具。装好以后,一条命令就能下载一个模型并开始对话,它还会在本机开一个接口(http://localhost:11434),让别的程序也能调用。
关于隐私,Ollama 官方 FAQ 的原话是:Ollama 在本地运行,本地运行时他们看不到你的提示词和数据。要注意,Ollama 也提供云端模型,用云端模型时提示词会经过他们的服务。只用本地模型的话,可以在设置里关掉云功能,见常见问题。
考考你你用 Ollama 在本机跑 deepseek-r1:8b,问了一份内部制度的问题。这份制度会被发到 Ollama 的服务器吗?
- 我能说出本地部署和网页版最大的区别
我的电脑够吗
官方给的系统要求:
| 系统 | 要求 |
|---|---|
| Windows | Windows 10 22H2 或更新,家庭版或专业版;NVIDIA 显卡驱动 551.61 或更新 |
| macOS | Sonoma(14)或更新;Apple M 系列芯片 CPU 和 GPU 都能用,Intel 芯片只能用 CPU |
| 显卡 | NVIDIA 显卡要求计算能力 5.0 以上、驱动 550 或更新;也支持部分 AMD Radeon 显卡 |
真正决定能跑多大模型的是显存。模型整个放进显存时最快;放不下,Ollama 会把一部分放进内存、用 CPU 算,也能跑,只是慢很多。课程首页的小工具可以按你的显存粗算一下,选多大的模型一节细讲。
- 我知道自己的显卡有多少显存
检查点
- 我能一句话说清本地部署:模型跑在自己电脑上,数据留在本机
- 我知道 Ollama 用来下载和运行模型,还会开一个本机接口
- 我知道显存决定能跑多大的模型
常见误会
以为本地部署能跑满血版 DeepSeek。 Ollama 上的 deepseek-r1 有从 1.5b 到 671b 的多个尺寸,671b 的文件有 404 GB,普通电脑放不下。家用显卡跑的是小尺寸版本。
DeepSeek 最新的模型已经是 V4 / V4.1 系列,deepseek-r1 在 Ollama 上是一年前的模型。但 V4 系列在 Ollama 上只有云端版(名字带 :cloud),用它时提示词会发到云端;LM Studio 说本地跑 V4-Flash 至少要 156 GB 内存。所以家用电脑本地能跑的,仍是 deepseek-r1 的小尺寸,详见DeepSeek V4 能本地跑吗。
以为用了 Ollama 就一定不联网。 下载模型要联网;Ollama 也有云端模型。只用本地模型、关掉云功能,数据才完全留在本机。