Umestitev DeepSeek-R1 na AWS zahteva znatne vire GPU zaradi velikih velikosti in računskih zahtev. Tu so posebne zahteve in premisleki GPU za uvajanje modelov Deepseek-R1 na AWS:
1. Zahteve velikosti modela in VRAM: Model Full Deepseek-R1 ima 671 milijard parametrov, kar zahteva velik VRAM. Za domačo podporo FP8 je zahteva VRAM približno 700 GB. Če pa se model pretvori v BF16 (ki ga podpirajo GPU, kot je NVIDIA A100), se zahteva VRAM zaradi večje natančne oblike poveča na približno 1,4 TB [2] [4].
2. Priporočena konfiguracija GPU: Za celoten model Deepseek-R1 je potrebna nastavitev z več GPU. Primerki AWS, kot sta `p4d.24xlarge` ali` p5.24xlarge`, ki so opremljeni z Nvidia A100 GPU, so primerni. Ti primeri zagotavljajo potreben VRAM in izračunajo moč za velike modele. Za izračun BF16 je priporočljiva nastavitev s 16 NVIDIA A100 GPU (vsak z 80 GB VRAM) [1] [2].
3. Možnosti primerka AWS: AWS ponuja več primerkov, ki lahko podpirajo uvajanje modelov Deepseek-R1, vključno s "p4d.24xlarge" in `p5.24xlarge`. Ti primeri zagotavljajo visoko zmogljive računalniške zmogljivosti z Nvidia A100 GPU-ji, ki so idealni za obsežne AI modele, kot je Deepseek-R1 [7].
4. Kvantizacija in porazdeljeno računalništvo: Za zmanjšanje VRAM zahteva in izboljšanje učinkovitosti je mogoče uporabiti tehnike kvantizacije. Na primer, uporaba 4-bitne kvantizacije lahko znatno zmanjša potrebe VRAM, kar omogoča uvajanje na manj GPU-jev. Poleg tega lahko porazdeljene računalniške okvire uporabimo za širjenje delovne obremenitve v več primerkih, kar izboljšanje razširljivosti in zmogljivosti [4].
5. Zahteve za izračun in pomnilnika: Poleg zahtev GPU, uvajanje Deepseek-R1 zahteva tudi dovolj pomnilnika CPU-ja in celotne sistemske vire. Primeri AWS z dovolj pomnilnika CPU -ja, kot je `G6E.4xlarge`, lahko podpirajo dodatne računske potrebe teh modelov [6].
Če povzamemo, uvajanje Deepseek-R1 na AWS zahteva robustno nastavitev GPU-ja, po možnosti z NVIDIA A100 GPU-ji in potencialno izkoriščanje kvantizacije in porazdeljenega računalništva za optimizacijo uporabe virov.
Navedbe:
[1] https://dev.to/askyt/deepseek-r1-671b-Complete-hardware-requirements-optimal-Deployment-setup-2e48
[2] https://www.thereseunion.com/sl/blog/deepseek-v3-r1-671b-gpu-requirements.html
[3] https://www.bytePlus.com/sl/topic/385683
[4] https://apxml.com/posts/gpu-requirements-deepseek-r1
[5] https://www.youtube.com/watch?v=5rhpzgdogle
[6] https://community.databricks.com/t5/machine-learning/underangering-compute-requirements-for-deying-deepseek-r1/td-p/109187
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[8] https://www.reddit.com/r/ollama/comments/1ifa93h/deepseek_r1_hardware_requirements_explained/