Qué es el despliegue local de modelos grandes
El despliegue local consiste en descargar el modelo grande a tu propia computadora y ejecutarlo allí. Lo que le dices y los archivos que le entregas se procesan en tu computadora, sin enviarlos a servidores de terceros.
En esta sección no se instala nada.
Qué podrás hacer al terminar
- Explicar la diferencia entre el despliegue local y la versión web
- Saber para qué sirve Ollama
- Evaluar si tu computadora es suficiente
En qué se diferencia de la versión web
| Versión web de IA | Despliegue local | |
|---|---|---|
| Dónde corre el modelo | Servidores del proveedor | Tu computadora |
| Tus prompts y archivos | Se envían al proveedor | Se quedan en tu equipo |
| La velocidad depende de | La red y el proveedor | Tu tarjeta gráfica |
| Qué tamaño de modelo puedes usar | El mejor del proveedor | El que quepa en tu VRAM |
Lo que gana el despliegue local es que los datos quedan en tus manos; el costo es que el tamaño del modelo está limitado por la tarjeta gráfica.
Qué es Ollama
Ollama es una herramienta para descargar y ejecutar modelos grandes en tu propia computadora. Una vez instalado, un solo comando descarga un modelo e inicia una conversación; además, abre una interfaz local (http://localhost:11434) para que otros programas también puedan llamarlo.
Sobre la privacidad, las palabras exactas de las preguntas frecuentes oficiales de Ollama son: Ollama corre localmente y, al correr localmente, ellos no pueden ver tus prompts ni tus datos. Ten en cuenta que Ollama también ofrece modelos en la nube, y al usar modelos en la nube los prompts pasan por sus servicios. Si solo usas modelos locales, puedes desactivar las funciones de nube en la configuración; consulta preguntas frecuentes.
Pon a prueba tus conocimientosEjecutas deepseek-r1:8b localmente con Ollama y haces una pregunta sobre un reglamento interno. ¿Se enviará ese reglamento a los servidores de Ollama?
- Puedo explicar la mayor diferencia entre el despliegue local y la versión web
¿Me alcanza con mi computadora?
Requisitos del sistema oficiales:
| Sistema | Requisitos |
|---|---|
| Windows | Windows 10 22H2 o superior, edición Home o Pro; controlador de NVIDIA 551.61 o superior |
| macOS | Sonoma (14) o superior; en los chips Apple de la serie M se pueden usar tanto la CPU como la GPU, en los chips Intel solo la CPU |
| Tarjeta gráfica | Las tarjetas NVIDIA requieren capacidad de cómputo 5.0 o superior y controlador 550 o más reciente; también se admiten algunas tarjetas AMD Radeon |
Lo que realmente determina qué tamaño de modelo puedes ejecutar es la VRAM. Cuando el modelo cabe entero en la VRAM, es más rápido; si no cabe, Ollama coloca una parte en la memoria y usa la CPU, y también funciona, solo que mucho más lento. La pequeña herramienta de la página principal del curso permite hacer un cálculo aproximado según tu VRAM; la sección qué tamaño de modelo elegir lo explica en detalle.
- Sé cuánta VRAM tiene mi tarjeta gráfica
Puntos de control
- Puedo explicar el despliegue local en una frase: el modelo corre en tu propia computadora y los datos se quedan en tu equipo
- Sé que Ollama sirve para descargar y ejecutar modelos, y que además abre una interfaz local
- Sé que la VRAM determina qué tamaño de modelo se puede ejecutar
Malentendidos comunes
Creer que el despliegue local puede ejecutar la versión completa de DeepSeek. El deepseek-r1 de Ollama viene en varios tamaños, desde 1.5b hasta 671b; el archivo de 671b pesa 404 GB, algo que una computadora común no puede alojar. Las tarjetas gráficas domésticas ejecutan versiones de tamaño reducido.
Los modelos más recientes de DeepSeek ya son la serie V4 / V4.1, y deepseek-r1 en Ollama es un modelo de hace un año. Pero la serie V4 en Ollama solo tiene la versión en la nube (el nombre lleva :cloud), y al usarla los prompts se envían a la nube; LM Studio dice que para ejecutar V4-Flash localmente se necesitan al menos 156 GB de memoria. Por lo tanto, lo que un ordenador doméstico puede ejecutar localmente sigue siendo la versión pequeña de deepseek-r1; consulta ¿Se puede ejecutar DeepSeek V4 localmente?.
Creer que usar Ollama significa no conectarse a internet. Para descargar modelos hace falta internet; Ollama también tiene modelos en la nube. Solo usando modelos locales y desactivando las funciones de nube los datos quedan por completo en tu equipo.