Optimalizácia výkonu DeepSeek-R1 na AWS zahŕňa niekoľko nastavení a konfigurácií siete. Tu je podrobný prehľad o tom, ako vylepšiť jeho výkon:
1. Konfigurácia inštancie EC2 **
- Typ inštancie: Výber typu inštancie s dostatočným výkonom GPU, ako napríklad „G4DN.XLARGE`, je rozhodujúci pre efektívne prevádzkovanie modelov DeepSeek-R1. Tento typ inštancie podporuje ovládače mriežky NVIDIA, ktoré sú nevyhnutné pre zrýchlenie GPU [1].- Nastavenia siete: Použite predvolené nastavenia VPC a vyberte zónu dostupnosti, kde je nasadená vaša inštancia EC2. To zaisťuje, že vaša inštancia je dobre prepojená a prístupná vo vašej sieti [1].
2. Skupiny bezpečnosti **
- Nakonfigurujte novú bezpečnostnú skupinu so špecifickými prichádzajúcimi pravidlami:- Prenos HTTP: Povoliť prenos HTTP z dôveryhodného rozsahu IP (napr. „My IP“), aby ste umožnili prístup k modelu.
- Prenos TCP na porte 3000: Povoliť prenos TCP z rozsahu VPC CIDR, aby sa uľahčila komunikácia s vyrovnávačom zaťaženia aplikácie.
- Prenos HTTPS: Povoliť prenos HTTPS z rozsahu VPC CIDR pre bezpečnú komunikáciu [1].
3. Vyvažovač zaťaženia aplikácie (ALB) **
-Schéma: Nastavte album orientovaný na internet na vystavenie modelu Deepseek-R1 externej prenosu.- Typ adresy načítania adresy načítania: Použite IPv4 pre jednoduchosť a kompatibilitu.
- Nastavenia siete: Vyberte predvolené nastavenia VPC a rovnakú zónu dostupnosti ako vaša inštancia EC2.
- Skupiny zabezpečenia: Použite skupinu zabezpečenia vytvorenú počas konfigurácie EC2 na zabezpečenie konzistentných ovládacích prvkov prístupu [1].
4. Konfigurácia cieľovej skupiny **
- Typ cieľa: Vyberte „inštancie“ ako typ cieľa.- Port: Použite port 3000 na prenos prenosu prenosu do inštancie EC2 spustením modelu DeepSeek-R1.
- Názov cieľovej skupiny: Pomenujte cieľovú skupinu (napr. „Deepseek-TG“) pre ľahkú identifikáciu [1].
5. Amazon Sagemaker pre vylepšený výkon **
-Nasadenie modelu: Zvážte nasadenie modelov DeepSeek-R1 pomocou Amazon Sagemaker, ktoré ponúka funkcie, ako je automatické rozsahy a elastické vyváženie záťaže. To môže zlepšiť citlivosť a škálovateľnosť [3] [4].- Private S3 Bucket: Hmotnosti modelu uložte v súkromnom vedre S3, aby sa znížila latencia a zvýšila bezpečnosť tým, že uchováva údaje o modeloch v rámci vášho účtu AWS [3].
6. Optimalizácia osvedčených postupov **
- Výzva optimalizácie: Používajte techniky, ako je rýchla optimalizácia na podložke Amazon, na vylepšenie schopností zdôvodňovania modelov Deepseek-R1 [7].- Výber regiónu: Vyberte región AWS najbližšie k vašim používateľom, aby ste minimalizovali latenciu a optimalizovali náklady [6].
Implementáciou týchto sietí a konfigurácií môžete optimalizovať výkon DeepSeek-R1 na AWS, zabezpečením efektívneho, škálovateľného a zabezpečeného nasadenia modelu.
Citácie:
Https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deployinginginginging-deepseek-r1-14b-on-on-amazon-ec2?lang=en
[2] https://northflank.com/blog/self-host-deepseek-r1-on-aws-gcp-azure-and-k8s-in--tree-easy-steps
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-for-tgi-on-on-amazon-sagemaker-ai/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-on-on-amazon-sagemaker-using-using-a-large-model-inference-container/
[5] https://repost.aws/questions/quzc1_jmMesbmpaozqh5jca/guidance-on-aws-ws-deepseek-ai-ai-pricing-and-deployment-options
[6] https://crossasst.com/blog/deepseek-r1-on-aws-bedrock/
[7] https://aws.amazon.com/blogs/machine-learning/optimize-reasoning-models-like-deepseek-with-prompt-optimization-on-oamazon-bedrock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-waws/