用接口调用本地模型
在终端里聊天只是开始。想让自己写的程序、或者已经支持 OpenAI 的软件用上本地的 DeepSeek,就要用接口。
Ollama 在本机的 http://localhost:11434 上开着接口。 它有自己的原生接口,也有和 OpenAI 一样格式的兼容接口。
学完你能做什么
- 用 curl 调用原生接口
- 用 OpenAI 的 Python 库调用本地模型
- 分得清回答和思考过程在哪个字段
开始之前
- Ollama 在运行,已经下载了
deepseek-r1:8b
第 1 步:用 curl 调原生接口
sh
curl http://localhost:11434/api/chat -d '{
"model": "deepseek-r1:8b",
"stream": false,
"messages": [{"role": "user", "content": "用一句话介绍你自己。"}]
}'你应该看到:一段 JSON。我们实测拿到的 message 里有两个字段:
content:回答,例如“你好呀!我是 DeepSeek-R1,一个乐于助人的 AI 助手……”thinking:它的思考过程
"stream": false 让它一次返回完整结果;不写的话会一段一段地流式返回。
- 我拿到了包含
content的 JSON
第 2 步:用 OpenAI 的 Python 库调用
很多程序本来是给 OpenAI 写的。Ollama 的兼容接口地址是 http://localhost:11434/v1/,把程序里的地址换成它就能用本地模型。
先装库:
sh
pip install openai再写这个文件(也可以直接下载):
python
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1/",
api_key="ollama", # 必须填,但 Ollama 不检查
)
reply = client.chat.completions.create(
model="deepseek-r1:8b",
messages=[{"role": "user", "content": "用一句话说明本地部署的好处。"}],
)
print(reply.choices[0].message.content)官方文档的说明:这个库要求填一个 API Key,但 Ollama 会忽略它,随便填就行。
你应该看到:一句回答。我们实测(openai 3.51.0)拿到的是:
text
通过本地部署,企业可以自主掌控数据安全与隐私保护,并根据实际需求优化系统性能,完全掌控IT基础设施。- 我的 Python 程序打出了回答
第 3 步:让别的软件用上本地模型
支持“自定义 OpenAI 接口”的软件,按这三项填就行:
| 填什么 | 填这个 |
|---|---|
| 接口地址(Base URL) | http://localhost:11434/v1/ |
| API Key | 随便填一个,例如 ollama |
| 模型名 | deepseek-r1:8b(以 ollama list 里的名字为准) |
考考你一个软件要求填 OpenAI 的 API Key,你想让它用本地的 Ollama。Key 该怎么填?
检查点
- 我用 curl 调通了原生接口
- 我用 OpenAI 的 Python 库调通了兼容接口
- 我知道回答在
content,思考过程在单独的字段
没成功?
连接被拒绝。 Ollama 没在运行。打开 Ollama 应用,或在 Linux 上运行 ollama serve。
模型找不到。 模型名要和 ollama list 里的完全一样,包括冒号后面的尺寸。
下一节
常见问题。