Optimalizace výkonu DeepSeek-R1 na AWS zahrnuje několik nastavení a konfigurací sítě. Zde je podrobný přehled o tom, jak zvýšit jeho výkon:
1. konfigurace instance EC2 **
- Typ instance: Výběr typu instance s dostatečným výkonem GPU, jako je `g4dn.xlarge`, je zásadní pro efektivně spuštění modelů DeepSeek-R1. Tento typ instance podporuje ovladače mřížky NVIDIA, které jsou nezbytné pro zrychlení GPU [1].- Nastavení sítě: Použijte výchozí nastavení VPC a vyberte zónu dostupnosti, kde je nasazena instance EC2. Tím je zajištěno, že váš instance je ve vaší síti dobře propojený a přístupný [1].
2. skupiny bezpečnosti **
- Nakonfigurujte novou bezpečnostní skupinu se specifickými příchozími pravidly:- Provoz HTTP: Povolte, aby HTTP provoz z důvěryhodného rozsahu IP (např. „My IP“) umožnil přístup k webu k modelu.
- TCP Provoz na portu 3000: Povolte, aby přenos TCP z rozsahu VPC CIDR usnadnil komunikaci s vyvažovačem zatížení aplikací.
- Provoz HTTPS: Povolte přenos HTTPS z rozsahu VPC CIDR pro zabezpečenou komunikaci [1].
3.
-Schéma: Nastavte Alb směřující k internetu, který vystaví váš model DeepSeek-R1 externímu provozu.- Načíst typ IP adresy IP: Použijte IPv4 pro jednoduchost a kompatibilitu.
- Nastavení sítě: Vyberte výchozí nastavení VPC a stejnou zónu dostupnosti jako instance EC2.
- Skupiny zabezpečení: Pomocí skupiny zabezpečení vytvořenou během konfigurace EC2 k zajištění konzistentních ovládacích prvků přístupu [1].
4. Konfigurace cílové skupiny **
- Target Typ: Jako cílový typ vyberte „instance“.- Port: Pomocí port 3000 předejte provoz do instance EC2 spuštěním modelu DeepSeek-R1.
- Název cílové skupiny: Pojmenujte cílovou skupinu (např. „DeepSeek-TG“) pro snadnou identifikaci [1].
5. Amazon SageMaker pro vylepšený výkon **
-Nasazení modelu: Zvažte nasazení modelů DeepSeek-R1 pomocí Amazon SageMaker, které nabízí funkce, jako je automatické vyvážení a elastické vyrovnávání zátěže. To může zlepšit citlivost a škálovatelnost [3] [4].- Soukromý kbelík S3: Hmotnosti modelu ukládat v soukromém kbelíku S3, aby se snížila latence a zvýšila zabezpečení udržováním modelových dat na vašem účtu AWS [3].
6. Optimalizace osvědčených postupů **
- Optimalizace rychlého optimalizace: Použijte techniky, jako je optimalizace rychlého na Amazon, zvýšení schopností uvažování modelů DeepSeek-R1 [7].- Výběr regionu: Vyberte oblast AWS nejblíže vašim uživatelům, abyste minimalizovali latenci a optimalizovali náklady [6].
Implementací těchto nastavení a konfigurací sítě můžete optimalizovat výkon DeepSeek-R1 na AWS, zajistit efektivní, škálovatelné a zabezpečené nasazení modelu.
Citace:
[1] https://community.aws/content/2seuhqlpyifsWCKZMX585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://northflank.com/blog/self-host-deepseek-r-aws-gcp-azure-and-k8s-in-three-easy-steps
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-face-tgi-on-amazon-sagemaker-ai/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-container/
[5] https://repost.aws/questions/quzc1_JMMESBMPAUOZQH5JCA/GUIDANCE-ON-AWS-DEEPSEEK-AI-PRIGING-ANDEPMENTY-OPRACE
[6] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[7] https://aws.amazon.com/blogs/machine-learning/opTimize-Meandring-models-like-deepseek-with-prompt-optimization-on-amazon-hedrock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/