Deepekek-R1: n suorittaminen tehokkaasti AWS: ssä vaatii oikean ilmentymätyyppien valitsemisen tietyn mallivariantin ja halutun suorituskyvyn perusteella. Tässä on yksityiskohtainen yleiskatsaus suositelluista AWS-tapauksista erilaisille Deepseek-R1-malleille:
Deepseek-R1 (koko malli)
Koko Deepseek-R1-malli, jolla on 671 miljardia parametria, vaatii huomattavia laskennallisia resursseja. Optimaalisen suorituskyvyn saavuttamiseksi suositellaan multi-GPU-asennusta, kuten NVIDIA A100 GPU: n käyttäminen. AWS ei kuitenkaan tarjoa suoraan A100 GPU: ta tavallisissa EC2 -tapauksissa. Sen sijaan voit harkita tapausten, kuten `INF2.48XLARGE`, käyttöä samanlaisten korkean suorituskyvyn laskentatarpeiden suhteen, vaikka nämä sopivat paremmin päätelmäkiihtyvyyteen sen sijaan, että kouluttaisivat suuria malleja, kuten Deepseek-R1 [4].Deepseek-R1 tislattuja malleja
Deepseek-R1: n tislattuihin versioihin, jotka ovat tehokkaampia ja vaativat vähemmän VRAM: ää, voidaan käyttää erilaisia AWS-tapauksia:-DeepSek-R1-Distill-Qwen-1.5b: Tämä malli voidaan suorittaa tehokkaasti yhdessä GPU-ilmentymässä. `Ml.g5.xlarge` -ilmentymistä suositellaan tämän mallin isännöimiseksi sen suorituskykymittarien vuoksi [3].
-DeepSek-R1-Distill-Qwen-7b ja Deepseek-R1-Distill-LLAMA-8B: Nämä mallit toimivat hyvin tapauksissa, kuten `ml.g6e.xlarge`, joka tarjoaa hyvän tasapainon GPU-voimasta ja kustannuksista. `Ml.g5.2xlarge` ja` ml.g5.xlarge` -tapaukset ovat myös elinkelpoisia vaihtoehtoja [3].
-DeepSek-R1-Distill-Qwen-14B: Tälle mallille tarvitaan esimerkki tehokkaammasta GPU: sta. "G4DN.xlarge" -ilmentymä, jossa on NVIDIA T4 GPUS, ei ehkä riitä VRAM -rajoitustensa vuoksi. Harkitse sen sijaan tapausten käyttöä tehokkaampien GPU: ien kanssa, kuten "ML.G6` -perheen kaltaiset tai mukautetun asennuksen valitseminen korkeamman asteen GPU: lla, jos se on saatavana [1] [2].
-DeepSek-R1-Distill-Qwen-32B ja Deepseek-R1-Distill-LLAMA-70B: Nämä suuret mallit vaativat vielä tehokkaampia GPU: itä. Optimaalisen suorituskyvyn saavuttamiseksi suositellaan esimerkkejä, joissa on huippuluokan GPU: ta, kuten NVIDIA RTX 4090, vaikka tällaisia erityisiä GPU: ita ei ole saatavana suoraan tavanomaisissa AWS EC2 -tapauksissa. Voit kuitenkin käyttää tapauksia, kuten `INF2.48xLarge` korkean suorituskyvyn päätelmätehtävissä [4] [6].
CPU-pohjainen käyttöönotto
Ertojen käsittelytehtävissä, joissa latenssi ei ole kriittinen tekijä, AWS Graviton4 -pohjaiset tapaukset voivat tarjota kustannustehokkaan ratkaisun. "C8G.16XLarge" -näytte, jolla on korkea ydinmäärän ja muistin kaistanleveys, soveltuu malleihin, kuten Deepseek-R1-Distill-LAMA-70B, vain prosessorin ympäristössä [6].Täysin hallinnoidut ratkaisut
Käyttäjille, jotka eivät halua hallita infrastruktuuria, Deepseek-R1 on saatavana myös täysin hallittuna palvelimattomana mallina Amazon Bedrockissa. Tämän vaihtoehdon avulla voit hyödyntää mallin ominaisuuksia huolehtimatta taustalla olevista infrastruktuurin monimutkaisuuksista [9].Yhteenvetona voidaan todeta, että AWS-ilmentymän valinta Deepseek-R1: n ajamiseen riippuu tehokkaasti erityisestä mallivariantista, vaadittujen suorituskyvyn tasosta ja siitä, tarvitaanko GPU-kiihtyvyyttä. Useimmille tislattuille malleille suositellaan tapauksia, joissa on voimakkaita GPU: ita, kun taas suorittimen pohjaiset tapaukset voivat olla sopivia erän prosessointitehtäviin.
Viittaukset:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
.
.
[4] https://huggingface.co/blog/deepseek-r1-aws
.
.
.
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9.