At køre DeepSeek-R1 effektivt på AWS kræver at vælge de rigtige forekomsttyper baseret på den specifikke modelvariant og den ønskede ydelse. Her er en detaljeret oversigt over anbefalede AWS-forekomster for forskellige DeepSeek-R1-modeller:
DeepSeek-R1 (fuld model)
Den fulde dybseek-R1-model med 671 milliarder parametre kræver betydelige beregningsressourcer. For optimal ydelse anbefales en multi-GPU-opsætning, såsom at bruge NVIDIA A100 GPU'er. AWS tilbyder imidlertid ikke direkte A100 GPU'er i sine standard EC2 -forekomster. I stedet kan du overveje at bruge forekomster som `Inf2.48XLarge 'til lignende højpresterende computerbehov, skønt disse er mere velegnede til inferensacceleration snarere end at træne store modeller som DeepSeek-R1 [4].Deepseek-R1 destillerede modeller
For de destillerede versioner af DeepSeek-R1, som er mere effektive og kræver mindre VRAM, kan der bruges forskellige AWS-forekomster:-DeepSeek-R1-Distill-Qwen-1.5b: Denne model kan køres effektivt på en enkelt GPU-instans. Instansen `ml.g5.xlarge` anbefales til at være vært for denne model på grund af dens ydelsesmetrics [3].
-DeepSeek-R1-Distill-Qwen-7b og DeepSeek-R1-Distill-Llama-8b: Disse modeller fungerer godt på tilfælde som `ml.g6e.xlarge`, der tilbyder en god balance mellem GPU-strøm og omkostninger. `Ml.g5.2xlarge` og` ml.g5.xlarge` forekomster er også levedygtige muligheder [3].
-DeepSeek-R1-DiStill-Qwen-14b: For denne model er der brug for en instans med en mere kraftfuld GPU. Instansen `g4dn.xlarge`, der indeholder NVIDIA T4 GPU'er, er muligvis ikke tilstrækkelige på grund af dens VRAM -begrænsninger. Overvej i stedet at bruge forekomster med mere kraftfulde GPU'er som dem i familien `ML.G6 'eller vælge en brugerdefineret opsætning med højere ende GPU'er, hvis de er tilgængelige [1] [2].
-DeepSeek-R1-Distill-Qwen-32b og Deepseek-R1-Distill-Llama-70B: Disse større modeller kræver endnu mere kraftfulde GPU'er. For optimal ydelse anbefales tilfælde med avancerede GPU'er som NVIDIA RTX 4090, skønt sådanne specifikke GPU'er ikke er direkte tilgængelige i standard AWS EC2-tilfælde. Du kan dog bruge forekomster som `Inf2.48XLarge 'til højpræstationsopgaver [4] [6].
CPU-baseret implementering
For batchbehandlingsopgaver, hvor latenstid ikke er en kritisk faktor, kan AWS Graviton4-baserede tilfælde tilbyde en omkostningseffektiv løsning. Instansen `C8G.16XLarge` med sit høje kerneantal og hukommelsesbåndbredde er velegnet til at køre modeller som DeepSeek-R1-Distill-Lama-70b i et kun CPU-miljø [6].Fuldt styrede løsninger
For brugere, der foretrækker ikke at administrere infrastruktur, er DeepSeek-R1 også tilgængelig som en fuldt administreret serverløs model i Amazon Bedrock. Denne mulighed giver dig mulighed for at udnytte modelens muligheder uden at bekymre dig om underliggende infrastrukturkompleksiteter [9].Sammenfattende afhænger valget af AWS-forekomst til at køre DeepSeek-R1 effektivt af den specifikke modelvariant, det krævede præstationsniveau og om GPU-acceleration er nødvendig. For de fleste destillerede modeller anbefales tilfælde med kraftfulde GPU'er, mens CPU-baserede tilfælde kan være egnede til batchbehandlingsopgaver.
Citater:
)
)
)
[4] https://huggingface.co/blog/deepseek-r1-ws
)
)
)
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
)