Para ejecutar modelos Deepseek localmente, los requisitos del sistema varían significativamente en función del tamaño del modelo y las técnicas de cuantización utilizadas. Estas son las especificaciones clave a considerar:
Requisitos de GPU **
- Tamaño del modelo: los requisitos de VRAM aumentan con el tamaño del modelo. Por ejemplo:- Modelo 7b: aproximadamente 16 GB VRAM (FP16) o 4 GB (cuantificación de 4 bits).
- Modelo 16b: alrededor de 37 GB VRAM (FP16) o 9 GB (cuantización de 4 bits).
- Modelo 67B: aproximadamente 154 GB VRAM (FP16) o 38 GB (cuantificación de 4 bits).
- Modelo de 236b: requiere alrededor de 543 GB VRAM (FP16) o 136 GB (cuantificación de 4 bits).
- Modelo 671B: necesita aproximadamente 1,543 GB VRAM (FP16) o 386 GB (cuantificación de 4 bits) [1] [3].
- GPU recomendadas:
- Para modelos más pequeños como el 7B y 16B, las GPU de los consumidores, como las NVIDIA RTX 4090, son adecuadas.
-Los modelos más grandes, particularmente aquellos de más de 100 mil millones de parámetros, generalmente requieren GPU de grado de datos como las NVIDIA H100 o GPU de consumo de alta gama múltiples en una configuración distribuida [1] [3].
Requisitos de CPU y RAM **
- Si bien los requisitos específicos de la CPU pueden variar, se recomienda un poderoso procesador de múltiples núcleos para manejar la carga computacional de manera efectiva. Por ejemplo, se ha informado que las CPU de EPYC duales con configuraciones de RAM sustanciales funcionan bien [7].- RAM: se recomienda un mínimo de 64 GB para ejecutar modelos más grandes de manera eficiente, especialmente cuando se usa recuentos de parámetros altos que exigen una sobrecarga de memoria significativa [4] [6].
Requisitos de almacenamiento **
- Es necesario un espacio de disco suficiente para acomodar los archivos del modelo y cualquier datos adicionales requeridos para el procesamiento. Dependiendo del tamaño del modelo, esto podría variar desde decenas hasta cientos de gigabytes.Técnicas de optimización **
- Utilizar formatos de menor precisión como FP16 o INT8 puede ayudar a reducir el consumo de VRAM sin afectar significativamente el rendimiento.- Las técnicas como la reducción de los tamaños de lotes también pueden disminuir el uso de la memoria, pero pueden afectar el rendimiento [1] [3].
En resumen, la ejecución de modelos Deepseek localmente requiere una consideración cuidadosa de las capacidades de GPU, la potencia de la CPU, la capacidad de la RAM y el espacio de almacenamiento de acuerdo con el modelo específico que tiene la intención de implementar.
Citas:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-epseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-theepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-afull-buide-my-honest-review-of-this-free-openai-alternative/