Skip to content
用好它第 2 / 4 节

用接口调用本地模型 ​

在终端里聊天只是开始。想让自己写的程序、或者已经支持 OpenAI 的软件用上本地的 DeepSeek,就要用接口。

Ollama 在本机的 http://localhost:11434 上开着接口。 它有自己的原生接口,也有和 OpenAI 一样格式的兼容接口。

学完你能做什么 ​

  • 用 curl 调用原生接口
  • 用 OpenAI 的 Python 库调用本地模型
  • 分得清回答和思考过程在哪个字段

开始之前 ​

第 1 步:用 curl 调原生接口 ​

sh
curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "stream": false,
  "messages": [{"role": "user", "content": "用一句话介绍你自己。"}]
}'

你应该看到:一段 JSON。我们实测拿到的 message 里有两个字段:

  • content:回答,例如“你好呀!我是 DeepSeek-R1,一个乐于助人的 AI 助手……”
  • thinking:它的思考过程

"stream": false 让它一次返回完整结果;不写的话会一段一段地流式返回。

  • 我拿到了包含 content 的 JSON

第 2 步:用 OpenAI 的 Python 库调用 ​

很多程序本来是给 OpenAI 写的。Ollama 的兼容接口地址是 http://localhost:11434/v1/,把程序里的地址换成它就能用本地模型。

先装库:

sh
pip install openai

再写这个文件(也可以直接下载):

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # 必须填,但 Ollama 不检查
)

reply = client.chat.completions.create(
    model="deepseek-r1:8b",
    messages=[{"role": "user", "content": "用一句话说明本地部署的好处。"}],
)
print(reply.choices[0].message.content)

官方文档的说明:这个库要求填一个 API Key,但 Ollama 会忽略它,随便填就行。

你应该看到:一句回答。我们实测(openai 3.51.0)拿到的是:

text
通过本地部署,企业可以自主掌控数据安全与隐私保护,并根据实际需求优化系统性能,完全掌控IT基础设施。
  • 我的 Python 程序打出了回答

第 3 步:让别的软件用上本地模型 ​

支持“自定义 OpenAI 接口”的软件,按这三项填就行:

填什么填这个
接口地址(Base URL)http://localhost:11434/v1/
API Key随便填一个,例如 ollama
模型名deepseek-r1:8b(以 ollama list 里的名字为准)

考考你一个软件要求填 OpenAI 的 API Key,你想让它用本地的 Ollama。Key 该怎么填?

检查点 ​

  • 我用 curl 调通了原生接口
  • 我用 OpenAI 的 Python 库调通了兼容接口
  • 我知道回答在 content,思考过程在单独的字段

没成功? ​

连接被拒绝。 Ollama 没在运行。打开 Ollama 应用,或在 Linux 上运行 ollama serve。

模型找不到。 模型名要和 ollama list 里的完全一样,包括冒号后面的尺寸。

下一节 ​

常见问题。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。