Poner en marcha DeepSeek-R1
Al terminar esta sección, conversarás en la terminal con un DeepSeek que corre en tu propia computadora, y confirmarás que usa la GPU.
Antes de empezar
- Ollama instalado,
ollama -vmuestra número de versión - Al menos 6 GB libres en el disco: los archivos de deepseek-r1:8b ocupan 5.2 GB
Paso 1: descargar y empezar la conversación
ollama run deepseek-r1:8bLa primera ejecución descarga primero el modelo. Con nuestra red, los 5.2 GB tardaron más de 4 minutos en descargarse. Al terminar la descarga entra directamente a la conversación: escribe una pregunta y presiona Enter; escribe /bye para salir.
Si solo quieres hacer una pregunta y marcharte, ponla a continuación del comando:
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"Deberías ver: primero un proceso de razonamiento que termina con ...done thinking., y después la respuesta. La respuesta que obtuvimos en nuestras pruebas fue:
Ejecutar grandes modelos de inteligencia artificial directamente en dispositivos locales para lograr control total y garantizar la privacidad de los datos.Las respuestas del modelo no son siempre idénticas en cada ejecución; basta con que el sentido sea correcto.
- Recibí una respuesta
Paso 2: entender el «proceso de razonamiento»
DeepSeek-R1 es un modelo que razona antes de responder. La documentación oficial de Ollama dice que este tipo de modelos emite por separado el proceso de razonamiento y la respuesta final. Ese bloque largo que ves en la línea de comandos es su razonamiento; solo después de ...done thinking. llega la respuesta para ti.
Al llamarlo mediante la API, el proceso de razonamiento se coloca por separado en el campo thinking y la respuesta en el campo content, como se verá en la sección llamar mediante la API.
- Distingo el proceso de razonamiento de la respuesta final
Paso 3: confirmar que el modelo está instalado y usa la GPU
ollama listDeberías ver: los modelos ya descargados. En nuestra máquina hay:
NAME ID SIZE MODIFIED
deepseek-r1:8b 6995872bfe4c 5.2 GB 5 minutes agoCon el modelo en ejecución, mira dónde corre:
ollama psNAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
deepseek-r1:8b 6995872bfe4c 5.6 GB 100% GPU 4096 llamacpp 4 minutes from nowLa columna PROCESSOR es la más importante. La explicación oficial: 100% GPU significa que está por completo en la GPU; 100% CPU significa que está por completo en la memoria RAM; algo como 48%/52% CPU/GPU significa que una parte está en la memoria RAM y otra en la GPU.
Ten en cuenta que SIZE es 5.6 GB, un poco más que los 5.2 GB del archivo: cargarlo en la GPU ocupa algo de espacio adicional.
Pon a prueba tus conocimientosollama ps muestra PROCESSOR 30%/70% CPU/GPU. ¿Qué significa esto?
- En
ollama psmi modelo aparece como100% GPU, o sé por qué no
Qué tan rápido es
En nuestra RTX 4080 SUPER, deepseek-r1:8b generó 172 tokens en 1.41 segundos, unos 120 tokens por segundo. Tu velocidad depende de la GPU; si no cabe en la memoria de vídeo, se ralentiza notablemente.
Puntos de control
- He conversado con el DeepSeek local
- Distingo el proceso de razonamiento de la respuesta
- Sé usar
ollama listpara ver qué modelos hay instalados yollama pspara ver dónde corre
¿No funcionó?
Se interrumpió la descarga. Vuelve a ejecutar el mismo comando y descarga de nuevo.
PROCESSOR no es 100% GPU. La memoria de vídeo no da para este tamaño; cambia a uno más pequeño, ver qué tamaño de modelo elegir.