Llama a modelos locales con la interfaz
Chatear en la terminal es solo el comienzo. Si quieres que tus propios programas, o software que ya es compatible con OpenAI, usen DeepSeek local, tienes que usar la interfaz.
Ollama tiene la interfaz abierta en http://localhost:11434 de tu máquina. Tiene su propia interfaz nativa y también una interfaz compatible con el mismo formato que OpenAI.
Qué podrás hacer al terminar
- Llamar a la interfaz nativa con curl
- Llamar al modelo local con la biblioteca Python de OpenAI
- Distinguir en qué campo está la respuesta y en cuál el proceso de razonamiento
Antes de empezar
- Ollama está en ejecución y ya descargaste
deepseek-r1:8b
Paso 1: llamar a la interfaz nativa con curl
curl http://localhost:11434/api/chat -d '{
"model": "deepseek-r1:8b",
"stream": false,
"messages": [{"role": "user", "content": "用一句话介绍你自己。"}]
}'Deberías ver: un JSON. En el message que obtuvimos en nuestra prueba real hay dos campos:
content: la respuesta, por ejemplo «¡Hola! Soy DeepSeek-R1, un asistente de IA dispuesto a ayudar…»thinking: su proceso de razonamiento
"stream": false hace que devuelva el resultado completo de una vez; si no lo escribes, devolverá la respuesta en fragmentos por streaming.
- Obtuve un JSON que incluye
content
Paso 2: llamar con la biblioteca Python de OpenAI
Muchos programas fueron escritos originalmente para OpenAI. La dirección de la interfaz compatible de Ollama es http://localhost:11434/v1/; cambia la dirección en tu programa por esta y podrás usar el modelo local.
Primero instala la biblioteca:
pip install openaiLuego escribe este archivo (también puedes descargarlo directamente):
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1/",
api_key="ollama", # 必须填,但 Ollama 不检查
)
reply = client.chat.completions.create(
model="deepseek-r1:8b",
messages=[{"role": "user", "content": "用一句话说明本地部署的好处。"}],
)
print(reply.choices[0].message.content)Según la documentación oficial: esta biblioteca exige completar una API Key, pero Ollama la ignora, así que puedes poner cualquier cosa.
Deberías ver: una respuesta. En nuestra prueba real (openai 3.51.0) obtuvimos:
Con el despliegue local, las empresas pueden controlar de forma autónoma la seguridad de los datos y la protección de la privacidad, optimizar el rendimiento del sistema según sus necesidades reales y tener control total sobre la infraestructura de TI.- Mi programa Python imprimió la respuesta
Paso 3: hacer que otro software use el modelo local
Para el software que admite «interfaces OpenAI personalizadas», basta con completar estos tres campos:
| Qué completar | Completa esto |
|---|---|
| Dirección de la interfaz (Base URL) | http://localhost:11434/v1/ |
| API Key | Cualquiera, por ejemplo ollama |
| Nombre del modelo | deepseek-r1:8b (según el nombre que aparezca en ollama list) |
Pon a prueba tus conocimientosUn programa pide la API Key de OpenAI, pero tú quieres que use Ollama en local. ¿Qué pones en la Key?
Puntos de control
- Logré llamar a la interfaz nativa con curl
- Logré llamar a la interfaz compatible con la biblioteca Python de OpenAI
- Sé que la respuesta está en
contenty el proceso de razonamiento en un campo aparte
¿No funcionó?
Conexión rechazada. Ollama no está en ejecución. Abre la aplicación de Ollama, o ejecuta ollama serve en Linux.
Modelo no encontrado. El nombre del modelo debe ser exactamente igual al que aparece en ollama list, incluido el tamaño después de los dos puntos.