Ejecutar Deepseek-R1 de manera eficiente en AWS requiere seleccionar los tipos de instancia correctos en función de la variante del modelo específico y el rendimiento deseado. Aquí hay una descripción detallada de las instancias de AWS recomendadas para diferentes modelos Deepseek-R1:
Deepseek-r1 (modelo completo)
El modelo completo de Deepseek-R1, con 671 mil millones de parámetros, requiere recursos computacionales sustanciales. Para un rendimiento óptimo, se recomienda una configuración de múltiples GPU, como el uso de las GPU NVIDIA A100. Sin embargo, AWS no ofrece directamente las GPU A100 en sus instancias estándar de EC2. En cambio, puede considerar usar instancias como `inf2.48xLarge` para necesidades de computación de alto rendimiento similares, aunque estas son más adecuadas para la aceleración de inferencia en lugar de entrenar modelos grandes como Deepseek-R1 [4].Modelos destilados Deepseek-R1
Para las versiones destiladas de Deepseek-R1, que son más eficientes y requieren menos VRAM, se pueden usar diferentes instancias de AWS:-Deepseek-R1-Distill-Qwen-1.5b: este modelo se puede ejecutar de manera eficiente en una sola instancia de GPU. La instancia `ml.g5.xlarge` se recomienda para alojar este modelo debido a sus métricas de rendimiento [3].
-Deepseek-R1-Distill-Qwen-7b y Deepseek-R1-Distill-Llama-8B: estos modelos funcionan bien en instancias como `ml.g6e.xlarge`, que ofrece un buen equilibrio de potencia y costo de GPU. Las instancias `ml.g5.2xlarge` y` ml.g5.xlarge` también son opciones viables [3].
-Deepseek-R1-Distill-Qwen-14b: para este modelo, se necesita una instancia con una GPU más poderosa. La instancia `G4DN.XLARGE`, que presenta las GPU NVIDIA T4, podría no ser suficiente debido a sus limitaciones VRAM. En su lugar, considere usar instancias con GPU más poderosas como las de la familia `ml.g6` u optar por una configuración personalizada con GPU de gama alta si están disponibles [1] [2].
-Deepseek-R1-Distill-Qwen-32b y Deepseek-R1-Distill-Llama-70b: estos modelos más grandes requieren GPU aún más potentes. Para un rendimiento óptimo, se recomiendan instancias con GPU de alta gama como NVIDIA RTX 4090, aunque tales GPU específicas no están directamente disponibles en instancias estándar de AWS EC2. Sin embargo, puede usar instancias como `inf2.48xLarge` para tareas de inferencia de alto rendimiento [4] [6].
despliegue basado en CPU
Para las tareas de procesamiento por lotes donde la latencia no es un factor crítico, las instancias basadas en AWS Graviton4 pueden ofrecer una solución rentable. La instancia de `C8G.16XLarge`, con su alto recuento de núcleo y ancho de banda de memoria, es adecuada para ejecutar modelos como Deepseek-R1-Distill-Llama-70b en un entorno solo de CPU [6].Soluciones totalmente administradas
Para los usuarios que prefieren no administrar la infraestructura, Deepseek-R1 también está disponible como un modelo sin servidor totalmente administrado en Amazon Bedrock. Esta opción le permite aprovechar las capacidades del modelo sin preocuparse por las complejidades de infraestructura subyacente [9].En resumen, la elección de la instancia de AWS para ejecutar Deepseek-R1 depende de manera eficiente de la variante del modelo específico, el nivel de rendimiento requerido y si la aceleración de GPU es necesaria. Para la mayoría de los modelos destilados, se recomiendan instancias con potentes GPU, mientras que las instancias basadas en CPU pueden ser adecuadas para tareas de procesamiento por lotes.
Citas:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-batch --inference-on-aws-graviton4?lang=en
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-motly-managed-serverless-model-in-amazon-bedrock/