Al implementar Deepseek-R1 en AWS, los requisitos de almacenamiento no se detallan explícitamente en términos de servicios específicos de almacenamiento de AWS. Sin embargo, el modelo en sí requiere un espacio de almacenamiento significativo para sus pesos. Por ejemplo, el modelo completo de Deepseek-R1 originalmente tiene una huella de aproximadamente 720 GB, aunque las optimizaciones pueden reducir este tamaño significativamente, como hasta 131 GB a través de técnicas de cuantización y compresión [3].
Para las implementaciones de AWS, generalmente necesita considerar los siguientes aspectos:
1. Almacenamiento del modelo: los pesos del modelo deben almacenarse en una ubicación accesible por sus instancias de AWS. Esto podría estar en un cubo S3, que se usa comúnmente para almacenar grandes conjuntos de datos y archivos de modelos. El costo de almacenar el modelo en S3 depende de la región y la clase de almacenamiento utilizada (por ejemplo, estándar, estándar-IA, una zona-IA, etc.).
2. Almacenamiento de instancias: al ejecutar el modelo en instancias EC2, necesitará suficiente almacenamiento para el sistema operativo, cualquier software adicional requerido y almacenamiento potencialmente temporal para salidas del modelo o resultados intermedios. Este almacenamiento suele ser proporcionado por el volumen raíz de la instancia o volúmenes EBS adicionales.
3. Almacenamiento de datos para inferencia: si está utilizando el modelo para tareas de inferencia, es posible que necesite almacenamiento adicional para datos de entrada y resultados de salida. Esto también podría administrarse a través de S3 u otros servicios de almacenamiento de AWS como EBS o volúmenes de tiendas de instancias.
En términos de servicios específicos de AWS, Amazon S3 a menudo se usa para almacenar pesos del modelo debido a su escalabilidad y confiabilidad. Para ejecutar el modelo, las instancias de Amazon EC2 se usan comúnmente, con necesidades de almacenamiento según el tipo de instancia y la configuración. Para las implementaciones a gran escala, también se puede utilizar Amazon Sagemaker, que proporciona un entorno administrado para tareas de aprendizaje automático, incluidos el almacenamiento de modelos e inferencia.
Para consideraciones de costos, los costos de almacenamiento en AWS dependen de los servicios específicos utilizados. Por ejemplo, los costos de almacenamiento de S3 varían según la clase de almacenamiento y la región, mientras que los costos de instancia de EC2 incluyen componentes de cómputo y almacenamiento. Además, el uso de servicios como Sagemaker puede simplificar la gestión de estos costos al proporcionar un entorno administrado para tareas de ML.
Citas:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aaboutamazon.com/news/aws/aws-deepseek-r1-lyly-moteled-generalmente disponible
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai//
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/picing-model-ofdeepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-eC2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-motly-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagoncloud-desktops