Rularea eficientă a DeepSeek-R1 pe AWS necesită selectarea tipurilor de instanțe potrivite pe baza variantei modelului specific și a performanței dorite. Iată o imagine de ansamblu detaliată a instanțelor AWS recomandate pentru diferite modele DeepSeek-R1:
DeepSeek-R1 (Model complet)
Modelul complet Deepseek-R1, cu 671 miliarde de parametri, necesită resurse de calcul substanțiale. Pentru o performanță optimă, este recomandată o configurație multi-GPU, cum ar fi utilizarea GPU-urilor NVIDIA A100. Cu toate acestea, AWS nu oferă direct A100 GPU în instanțele sale standard EC2. În schimb, puteți lua în considerare utilizarea unor instanțe precum `INF2.48xlarge` pentru nevoi similare de calcul de înaltă performanță, deși acestea sunt mai potrivite pentru accelerarea inferenței, mai degrabă decât pentru a antrena modele mari precum Deepseek-R1 [4].Modele distilate DeepSeek-R1
Pentru versiunile distilate ale Deepseek-R1, care sunt mai eficiente și necesită mai puțin VRAM, se pot utiliza diferite instanțe AWS:-Deepseek-R1-Distill-QWEN-1.5B: Acest model poate fi rulat eficient pe o singură instanță GPU. Instanța `ml.g5.xlarge` este recomandată pentru găzduirea acestui model datorită valorilor sale de performanță [3].
-Deepseek-R1-Distill-Qwen-7B și Deepseek-R1-Distill-Llama-8B: Aceste modele funcționează bine în cazuri precum `ml.g6e.xlarge`, care oferă un echilibru bun de putere și costuri GPU. Instanțele `ml.g5.2xlarge` și` ml.g5.xlarge` sunt, de asemenea, opțiuni viabile [3].
-Deepseek-R1-Distill-Qwen-14B: Pentru acest model, este necesară o instanță cu un GPU mai puternic. Instanța `g4dn.xlarge`, care prezintă NVIDIA T4 GPU, s -ar putea să nu fie suficientă din cauza limitărilor sale VRAM. În schimb, luați în considerare utilizarea instanțelor cu GPU-uri mai puternice, precum cele din familia `ML.G6` sau optarea pentru o configurație personalizată cu GPU-uri de la un nivel superior, dacă este disponibil [1] [2].
-Deepseek-R1-Distill-QWEN-32B și Deepseek-R1-Distill-Llama-70B: Aceste modele mai mari necesită un GPU și mai puternic. Pentru o performanță optimă, sunt recomandate cazuri cu GPU-uri de înaltă calitate precum NVIDIA RTX 4090, deși un astfel de GPU-uri specifice nu sunt disponibile direct în instanțele standard AWS EC2. Cu toate acestea, puteți utiliza cazuri precum `INF2.48xlarge` pentru sarcini de inferență de înaltă performanță [4] [6].
Implementarea bazată pe CPU
Pentru sarcinile de procesare a loturilor în care latența nu este un factor critic, instanțele bazate pe AWS Graviton4 pot oferi o soluție rentabilă. Instanța `C8G.16xlarge`, cu numărul său de bază și lățimea de bandă a memoriei, este potrivită pentru a rula modele precum Deepseek-R1-Distill-70B într-un mediu numai cu procesor [6].Soluții complet gestionate
Pentru utilizatorii care preferă să nu gestioneze infrastructura, DeepSeek-R1 este de asemenea disponibil ca model de server complet gestionat în Amazon Bedrock. Această opțiune vă permite să utilizați capacitățile modelului, fără a vă face griji cu privire la complexitățile infrastructurii de bază [9].În rezumat, alegerea instanței AWS pentru rularea DeepSeek-R1 depinde eficient de varianta modelului specific, de nivelul de performanță necesar și de accelerația GPU este necesară. Pentru majoritatea modelelor distilate, sunt recomandate cazuri cu GPU-uri puternice, în timp ce instanțele bazate pe CPU pot fi potrivite pentru sarcinile de procesare a lotului.
Citări:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
]
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-pace-tgi-on-amazon-stagemaker-AI/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-ployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-distill-lama-70b-for-tchatch-inferrence-on-abtarviton4?Lang=en
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cotainer/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-fully-managed-serverless-model-in-amazon-bedrock/