Skip to content

Poner en marcha DeepSeek-R1 ​

Al terminar esta sección, conversarás en la terminal con un DeepSeek que corre en tu propia computadora, y confirmarás que usa la GPU.

Antes de empezar ​

  • Ollama instalado, ollama -v muestra número de versión
  • Al menos 6 GB libres en el disco: los archivos de deepseek-r1:8b ocupan 5.2 GB

Paso 1: descargar y empezar la conversación ​

sh
ollama run deepseek-r1:8b

La primera ejecución descarga primero el modelo. Con nuestra red, los 5.2 GB tardaron más de 4 minutos en descargarse. Al terminar la descarga entra directamente a la conversación: escribe una pregunta y presiona Enter; escribe /bye para salir.

Si solo quieres hacer una pregunta y marcharte, ponla a continuación del comando:

sh
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"

Deberías ver: primero un proceso de razonamiento que termina con ...done thinking., y después la respuesta. La respuesta que obtuvimos en nuestras pruebas fue:

text
Ejecutar grandes modelos de inteligencia artificial directamente en dispositivos locales para lograr control total y garantizar la privacidad de los datos.

Las respuestas del modelo no son siempre idénticas en cada ejecución; basta con que el sentido sea correcto.

  • Recibí una respuesta

Paso 2: entender el «proceso de razonamiento» ​

DeepSeek-R1 es un modelo que razona antes de responder. La documentación oficial de Ollama dice que este tipo de modelos emite por separado el proceso de razonamiento y la respuesta final. Ese bloque largo que ves en la línea de comandos es su razonamiento; solo después de ...done thinking. llega la respuesta para ti.

Al llamarlo mediante la API, el proceso de razonamiento se coloca por separado en el campo thinking y la respuesta en el campo content, como se verá en la sección llamar mediante la API.

  • Distingo el proceso de razonamiento de la respuesta final

Paso 3: confirmar que el modelo está instalado y usa la GPU ​

sh
ollama list

Deberías ver: los modelos ya descargados. En nuestra máquina hay:

text
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    6995872bfe4c    5.2 GB    5 minutes ago

Con el modelo en ejecución, mira dónde corre:

sh
ollama ps
text
NAME              ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
deepseek-r1:8b    6995872bfe4c    5.6 GB    100% GPU     4096       llamacpp    4 minutes from now

La columna PROCESSOR es la más importante. La explicación oficial: 100% GPU significa que está por completo en la GPU; 100% CPU significa que está por completo en la memoria RAM; algo como 48%/52% CPU/GPU significa que una parte está en la memoria RAM y otra en la GPU.

Ten en cuenta que SIZE es 5.6 GB, un poco más que los 5.2 GB del archivo: cargarlo en la GPU ocupa algo de espacio adicional.

Pon a prueba tus conocimientosollama ps muestra PROCESSOR 30%/70% CPU/GPU. ¿Qué significa esto?

  • En ollama ps mi modelo aparece como 100% GPU, o sé por qué no

Qué tan rápido es ​

En nuestra RTX 4080 SUPER, deepseek-r1:8b generó 172 tokens en 1.41 segundos, unos 120 tokens por segundo. Tu velocidad depende de la GPU; si no cabe en la memoria de vídeo, se ralentiza notablemente.

Puntos de control ​

  • He conversado con el DeepSeek local
  • Distingo el proceso de razonamiento de la respuesta
  • Sé usar ollama list para ver qué modelos hay instalados y ollama ps para ver dónde corre

¿No funcionó? ​

Se interrumpió la descarga. Vuelve a ejecutar el mismo comando y descarga de nuevo.

PROCESSOR no es 100% GPU. La memoria de vídeo no da para este tamaño; cambia a uno más pequeño, ver qué tamaño de modelo elegir.

Siguiente sección ​

qué tamaño de modelo elegir.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.