L'exécution efficace de Deepseek-R1 sur AWS nécessite de sélectionner les bons types d'instances en fonction de la variante de modèle spécifique et des performances souhaitées. Voici un aperçu détaillé des instances AWS recommandées pour différents modèles Deepseek-R1:
Deepseek-R1 (modèle complet)
Le modèle complet Deepseek-R1, avec 671 milliards de paramètres, nécessite des ressources de calcul substantielles. Pour des performances optimales, une configuration multi-GPU est recommandée, comme l'utilisation de GPU NVIDIA A100. Cependant, AWS n'offre pas directement des GPU A100 dans ses instances EC2 standard. Au lieu de cela, vous pouvez envisager d'utiliser des cas comme «Inf2.48xlarge» pour des besoins informatiques à haute performance similaires, bien que ceux-ci soient plus adaptés à l'accélération d'inférence plutôt qu'à former de grands modèles comme Deepseek-R1 [4].Modèles distillés Deepseek-R1
Pour les versions distillées de Deepseek-R1, qui sont plus efficaces et nécessitent moins de VRAM, différentes instances AWS peuvent être utilisées:- Deepseek-R1-Distill-QWEN-1.5b: ce modèle peut être exécuté efficacement sur une seule instance GPU. L'instance `ml.g5.xlarge` est recommandée pour l'hébergement de ce modèle en raison de ses métriques de performance [3].
- Deepseek-R1-Distill-Qwen-7b et Deepseek-R1-Distill-Llama-8b: Ces modèles fonctionnent bien dans des cas tels que `ml.g6e.xlarge`, qui offre un bon équilibre entre le pouvoir et le coût du GPU. Les instances `ml.g5.2xlarge` et` ml.g5.xlargew sont également des options viables [3].
- Deepseek-R1-Distill-QWEN-14B: Pour ce modèle, une instance avec un GPU plus puissant est nécessaire. L'instance `G4DN.XLARGE`, qui dispose de GPU NVIDIA T4, pourrait ne pas être suffisante en raison de ses limitations VRAM. Pensez plutôt à utiliser des instances avec des GPU plus puissants comme ceux de la famille `ML.G6` ou optant pour une configuration personnalisée avec des GPU haut de gamme si disponibles [1] [2].
- Deepseek-R1-Distill-QWEN-32B et Deepseek-R1-Distill-Llama-70B: Ces modèles plus grands nécessitent des GPU encore plus puissants. Pour des performances optimales, des instances avec des GPU haut de gamme comme NVIDIA RTX 4090 sont recommandées, bien que de tels GPU spécifiques ne soient pas directement disponibles dans les instances standard AWS EC2. Cependant, vous pouvez utiliser des instances comme `inf2.48xlarge` pour les tâches d'inférence à haute performance [4] [6].
Déploiement basé sur le processeur
Pour les tâches de traitement par lots où la latence n'est pas un facteur critique, les instances basées sur AWS Graviton4 peuvent offrir une solution rentable. L'instance `C8G.16xlARGE`, avec son nombre de noyau élevé et sa bande passante de mémoire, convient à l'exécution de modèles comme Deepseek-R1-Distill-Llama-70b dans un environnement CPU uniquement [6].
Solutions entièrement gérées
Pour les utilisateurs qui préfèrent ne pas gérer l'infrastructure, Deepseek-R1 est également disponible en tant que modèle de serveur entièrement géré dans le fondement d'Amazon. Cette option vous permet de tirer parti des capacités du modèle sans vous soucier des complexités d'infrastructure sous-jacentes [9].En résumé, le choix de l'instance AWS pour l'exécution de Deepseek-R1 dépend efficacement de la variante de modèle spécifique, du niveau de performance requis et si l'accélération du GPU est nécessaire. Pour la plupart des modèles distillés, des instances avec des GPU puissantes sont recommandées, tandis que les instances basées sur le processeur peuvent convenir aux tâches de traitement par lots.
Citations:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requiments-3mf8
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilla-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-batch-inference-on-aws-graviton4?lang=en
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilla-models-on-amazon-sagemaker-using-a-large-model-inference-Container/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-afuly-manged-serverless-model-in-amazon-bedrock/