Skip to content
起步第 2 / 4 节

本地部署大模型是什么 ​

本地部署,就是把大模型下载到你自己的电脑上运行。 你和它说的话、交给它的文件,都在你的电脑里处理,不用发到别人的服务器。

这一节不装任何东西。

学完你能做什么 ​

  • 说清本地部署和网页版的区别
  • 知道 Ollama 是干什么的
  • 判断自己的电脑够不够用

和网页版差在哪 ​

网页版 AI本地部署
模型跑在哪服务商的服务器你的电脑
你的提示词和文件发到服务商留在本机
速度取决于网络和服务商你的显卡
能用多大的模型服务商最好的你的显存放得下的

本地部署换来的是数据留在手里,代价是模型的大小受显卡限制。

Ollama 是什么 ​

Ollama 是一个在自己电脑上下载和运行大模型的工具。装好以后,一条命令就能下载一个模型并开始对话,它还会在本机开一个接口(http://localhost:11434),让别的程序也能调用。

关于隐私,Ollama 官方 FAQ 的原话是:Ollama 在本地运行,本地运行时他们看不到你的提示词和数据。要注意,Ollama 也提供云端模型,用云端模型时提示词会经过他们的服务。只用本地模型的话,可以在设置里关掉云功能,见常见问题。

考考你你用 Ollama 在本机跑 deepseek-r1:8b,问了一份内部制度的问题。这份制度会被发到 Ollama 的服务器吗?

  • 我能说出本地部署和网页版最大的区别

我的电脑够吗 ​

官方给的系统要求:

系统要求
WindowsWindows 10 22H2 或更新,家庭版或专业版;NVIDIA 显卡驱动 551.61 或更新
macOSSonoma(14)或更新;Apple M 系列芯片 CPU 和 GPU 都能用,Intel 芯片只能用 CPU
显卡NVIDIA 显卡要求计算能力 5.0 以上、驱动 550 或更新;也支持部分 AMD Radeon 显卡

真正决定能跑多大模型的是显存。模型整个放进显存时最快;放不下,Ollama 会把一部分放进内存、用 CPU 算,也能跑,只是慢很多。课程首页的小工具可以按你的显存粗算一下,选多大的模型一节细讲。

  • 我知道自己的显卡有多少显存

检查点 ​

  • 我能一句话说清本地部署:模型跑在自己电脑上,数据留在本机
  • 我知道 Ollama 用来下载和运行模型,还会开一个本机接口
  • 我知道显存决定能跑多大的模型

常见误会 ​

以为本地部署能跑满血版 DeepSeek。 Ollama 上的 deepseek-r1 有从 1.5b 到 671b 的多个尺寸,671b 的文件有 404 GB,普通电脑放不下。家用显卡跑的是小尺寸版本。

DeepSeek 最新的模型已经是 V4 / V4.1 系列,deepseek-r1 在 Ollama 上是一年前的模型。但 V4 系列在 Ollama 上只有云端版(名字带 :cloud),用它时提示词会发到云端;LM Studio 说本地跑 V4-Flash 至少要 156 GB 内存。所以家用电脑本地能跑的,仍是 deepseek-r1 的小尺寸,详见DeepSeek V4 能本地跑吗。

以为用了 Ollama 就一定不联网。 下载模型要联网;Ollama 也有云端模型。只用本地模型、关掉云功能,数据才完全留在本机。

下一节 ​

安装 Ollama。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。