Lors du déploiement de Deepseek-R1 sur AWS, les exigences de stockage ne sont pas explicitement détaillées en termes de services de stockage AWS spécifiques. Cependant, le modèle lui-même nécessite un espace de stockage important pour ses poids. Par exemple, le modèle complet Deepseek-R1 a à l'origine une empreinte d'environ 720 Go, bien que les optimisations puissent réduire considérablement cette taille, comme jusqu'à 131 Go grâce à des techniques de quantification et de compression [3].
Pour les déploiements AWS, vous devez généralement considérer les aspects suivants:
1. Stockage du modèle: les poids du modèle doivent être stockés dans un emplacement accessible par vos instances AWS. Cela pourrait être dans un seau S3, qui est couramment utilisé pour stocker de grands ensembles de données et des fichiers de modèle. Le coût du stockage du modèle en S3 dépend de la région et de la classe de stockage utilisée (par exemple, standard, standard-ia, one zone-ia, etc.).
2. Stockage d'instance: lors de l'exécution du modèle sur les instances EC2, vous aurez besoin d'un stockage suffisant pour le système d'exploitation, de tout logiciel supplémentaire requis et de stockage potentiellement temporaire pour les sorties du modèle ou les résultats intermédiaires. Ce stockage est généralement fourni par le volume racine de l'instance ou les volumes EBS supplémentaires.
3. Stockage de données pour l'inférence: si vous utilisez le modèle pour les tâches d'inférence, vous pourriez avoir besoin de stockage supplémentaire pour les données d'entrée et les résultats de sortie. Cela pourrait également être géré via S3 ou d'autres services de stockage AWS comme EBS ou des volumes de magasin d'instance.
En termes de services AWS spécifiques, Amazon S3 est souvent utilisé pour stocker les poids des modèles en raison de son évolutivité et de sa fiabilité. Pour exécuter le modèle, les instances Amazon EC2 sont couramment utilisées, avec des besoins de stockage en fonction du type d'instance et de la configuration. Pour les déploiements à grande échelle, Amazon Sagemaker peut également être utilisé, qui fournit un environnement géré pour les tâches d'apprentissage automatique, y compris le stockage et l'inférence du modèle.
Pour les considérations de coûts, les coûts de stockage dans AWS dépendent des services spécifiques utilisés. Par exemple, les coûts de stockage S3 varient en fonction de la classe de stockage et de la région, tandis que les coûts d'instance EC2 incluent à la fois les composants de calcul et de stockage. De plus, l'utilisation de services comme SageMaker peut simplifier la gestion de ces coûts en fournissant un environnement géré pour les tâches ML.
Citations:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requiments-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distill--models-on-amazon-sagemaker-using-a-large-model-inférence-Container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ly-managed-generally-vailable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilla-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-ofeepseek-r1-distilla-llama-models-with-amazon-bedrock-custom-model-iMport
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/levering-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-afuly-manged-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-tep-guide-to--deepseek-r1-on-vagon-nud-desktops