Skip to content

Qué es el despliegue local de modelos grandes ​

El despliegue local consiste en descargar el modelo grande a tu propia computadora y ejecutarlo allí. Lo que le dices y los archivos que le entregas se procesan en tu computadora, sin enviarlos a servidores de terceros.

En esta sección no se instala nada.

Qué podrás hacer al terminar ​

  • Explicar la diferencia entre el despliegue local y la versión web
  • Saber para qué sirve Ollama
  • Evaluar si tu computadora es suficiente

En qué se diferencia de la versión web ​

Versión web de IADespliegue local
Dónde corre el modeloServidores del proveedorTu computadora
Tus prompts y archivosSe envían al proveedorSe quedan en tu equipo
La velocidad depende deLa red y el proveedorTu tarjeta gráfica
Qué tamaño de modelo puedes usarEl mejor del proveedorEl que quepa en tu VRAM

Lo que gana el despliegue local es que los datos quedan en tus manos; el costo es que el tamaño del modelo está limitado por la tarjeta gráfica.

Qué es Ollama ​

Ollama es una herramienta para descargar y ejecutar modelos grandes en tu propia computadora. Una vez instalado, un solo comando descarga un modelo e inicia una conversación; además, abre una interfaz local (http://localhost:11434) para que otros programas también puedan llamarlo.

Sobre la privacidad, las palabras exactas de las preguntas frecuentes oficiales de Ollama son: Ollama corre localmente y, al correr localmente, ellos no pueden ver tus prompts ni tus datos. Ten en cuenta que Ollama también ofrece modelos en la nube, y al usar modelos en la nube los prompts pasan por sus servicios. Si solo usas modelos locales, puedes desactivar las funciones de nube en la configuración; consulta preguntas frecuentes.

Pon a prueba tus conocimientosEjecutas deepseek-r1:8b localmente con Ollama y haces una pregunta sobre un reglamento interno. ¿Se enviará ese reglamento a los servidores de Ollama?

  • Puedo explicar la mayor diferencia entre el despliegue local y la versión web

¿Me alcanza con mi computadora? ​

Requisitos del sistema oficiales:

SistemaRequisitos
WindowsWindows 10 22H2 o superior, edición Home o Pro; controlador de NVIDIA 551.61 o superior
macOSSonoma (14) o superior; en los chips Apple de la serie M se pueden usar tanto la CPU como la GPU, en los chips Intel solo la CPU
Tarjeta gráficaLas tarjetas NVIDIA requieren capacidad de cómputo 5.0 o superior y controlador 550 o más reciente; también se admiten algunas tarjetas AMD Radeon

Lo que realmente determina qué tamaño de modelo puedes ejecutar es la VRAM. Cuando el modelo cabe entero en la VRAM, es más rápido; si no cabe, Ollama coloca una parte en la memoria y usa la CPU, y también funciona, solo que mucho más lento. La pequeña herramienta de la página principal del curso permite hacer un cálculo aproximado según tu VRAM; la sección qué tamaño de modelo elegir lo explica en detalle.

  • Sé cuánta VRAM tiene mi tarjeta gráfica

Puntos de control ​

  • Puedo explicar el despliegue local en una frase: el modelo corre en tu propia computadora y los datos se quedan en tu equipo
  • Sé que Ollama sirve para descargar y ejecutar modelos, y que además abre una interfaz local
  • Sé que la VRAM determina qué tamaño de modelo se puede ejecutar

Malentendidos comunes ​

Creer que el despliegue local puede ejecutar la versión completa de DeepSeek. El deepseek-r1 de Ollama viene en varios tamaños, desde 1.5b hasta 671b; el archivo de 671b pesa 404 GB, algo que una computadora común no puede alojar. Las tarjetas gráficas domésticas ejecutan versiones de tamaño reducido.

Los modelos más recientes de DeepSeek ya son la serie V4 / V4.1, y deepseek-r1 en Ollama es un modelo de hace un año. Pero la serie V4 en Ollama solo tiene la versión en la nube (el nombre lleva :cloud), y al usarla los prompts se envían a la nube; LM Studio dice que para ejecutar V4-Flash localmente se necesitan al menos 156 GB de memoria. Por lo tanto, lo que un ordenador doméstico puede ejecutar localmente sigue siendo la versión pequeña de deepseek-r1; consulta ¿Se puede ejecutar DeepSeek V4 localmente?.

Creer que usar Ollama significa no conectarse a internet. Para descargar modelos hace falta internet; Ollama también tiene modelos en la nube. Solo usando modelos locales y desactivando las funciones de nube los datos quedan por completo en tu equipo.

Siguiente sección ​

Instalar Ollama.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.