Optimizacija zmogljivosti Deepseek-R1 na AWS vključuje več omrežnih nastavitev in konfiguracij. Tu je podroben pregled, kako izboljšati njegovo uspešnost:
1. Konfiguracija primerka EC2 **
- Vrsta primerka: Izbira vrste primerka z zadostno močjo GPU, kot je "g4dn.xlarge", je ključnega pomena za učinkovito izvajanje modelov Deepseek-R1. Ta vrsta primerka podpira gonilnike omrežja Nvidia, ki so bistveni za pospeševanje GPU [1].- Nastavitve omrežja: Uporabite privzete nastavitve VPC in izberite območje razpoložljivosti, kjer je nameščen vaš primerek EC2. To zagotavlja, da je vaš primerek dobro povezan in dostopen v vašem omrežju [1].
2. Varnostne skupine **
- Konfigurirajte novo varnostno skupino s posebnimi vhodnimi pravili:- HTTP promet: Dovoli prometu HTTP iz zaupanja vrednega obsega IP (npr. "Moj IP"), da omogočite dostop do spleta do modela.
- TCP promet na vratih 3000: Dovoli TCP promet iz območja VPC CIDR, da olajša komunikacijo z uravnoteženjem nalaganja aplikacije.
- HTTPS promet: Dovolite HTTPS promet iz območja VPC CIDR za varno komunikacijo [1].
bo
-Shema: Nastavite internetni alb, s katero boste izpostavili svoj model Deepseek-R1 zunanjemu prometu.- Nalaganje IP Vrsta IP: uporabite IPv4 za preprostost in združljivost.
- Nastavitve omrežja: Izberite privzete nastavitve VPC in enako območje razpoložljivosti kot vaš primerek EC2.
- Varnostne skupine: Za zagotovitev doslednega nadzora dostopa uporabite varnostno skupino, ustvarjeno med konfiguracijo EC2 [1].
4. Konfiguracija ciljne skupine **
- Ciljna vrsta: kot ciljni tip izberite "primerke".- Pristanišče: Uporabite vrata 3000 za posredovanje prometa na primer EC2, ki vodi model Deepseek-R1.
- Ime ciljne skupine: poimenujte ciljno skupino (npr. "Deepseek-TG") za enostavno identifikacijo [1].
5. Amazon SageMaker za izboljšane zmogljivosti **
-Uvajanje modela: Razmislite o uporabi modelov Deepseek-R1 z uporabo Amazon SageMaker, ki ponuja funkcije, kot sta samodejno prekrivanje in uravnoteženje elastične obremenitve. To lahko izboljša odzivnost in razširljivost [3] [4].- Zasebno vedro S3: Shranjujte uteži modela v zasebnem vedrih S3, da zmanjšate zamude in izboljšate varnost, tako da hranite podatke modela v vašem računu AWS [3].
6. Najboljše prakse optimizacije **
- Hitra optimizacija: Uporabite tehnike, kot je hitro optimizacija na Amazon Bedrock, da izboljšate zmogljivosti sklepanja modelov Deepseek-R1 [7].- Izbira regije: Izberite regijo AWS, ki je najbližje svojim uporabnikom, da zmanjšate zamude in optimizirate stroške [6].
Z izvajanjem teh omrežnih nastavitev in konfiguracij lahko optimizirate delovanje Deepseek-R1 na AWS in tako zagotovite učinkovito, razširljivo in varno uvajanje modela.
Navedbe:
[1] https://community.aws/content/2seuhqlpyifswkzmx585Jcksgn/deploy-deepseek-r1-14b-on-amazon-ec2 ?lang=en
[2] https://northflank.com/blog/self-host-deepseek-r1-on-aws-gcp-azure-in-k8s-in-three-easy-korak
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[4] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/
[5] https://repost.aws/questions/Quzc1_JMMESBMPAUOZQH5JCA/Guidance-on-aws-deepseek-ai-pring-and-deployment-options
[6] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[7] https://aws.amazon.com/blogs/machine-learning/optimize-reasoning-models-like-reepseek-with-promp-optimizacija-on-amazon-bedrock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/