Deepseek-R1'in AWS üzerindeki performansını optimize etmek, çeşitli ağ ayarları ve yapılandırmaları içerir. İşte performansının nasıl artırılacağına dair ayrıntılı bir genel bakış:
1. EC2 Örnek Yapılandırması **
- Örnek türü: `g4dn.xlarge` gibi yeterli GPU gücüne sahip bir örnek türü seçmek, Deepseek-R1 modellerini verimli bir şekilde çalıştırmak için çok önemlidir. Bu örnek türü, GPU hızlanması için gerekli olan NVIDIA ızgara sürücülerini desteklemektedir [1].- Ağ Ayarları: Varsayılan VPC ayarlarını kullanın ve EC2 örneğinizin dağıtıldığı kullanılabilirlik bölgesini seçin. Bu, örneğinizin ağınızda iyi bağlantılı ve erişilebilir olmasını sağlar [1].
2. Güvenlik Grupları **
- Belirli gelen kurallara sahip yeni bir güvenlik grubu yapılandırın:- HTTP Trafiği: Modele Web erişimini etkinleştirmek için güvenilir bir IP aralığından (ör. "IP") HTTP trafiğinin (örn. "IP") izin vermesine izin verin.
- Port 3000'deki TCP trafiği: Uygulama yük dengeleyici ile iletişimi kolaylaştırmak için VPC CIDR aralığından TCP trafiğine izin verin.
- HTTPS trafiği: Güvenli iletişim için VPC CIDR aralığından HTTPS trafiğine izin verin [1].
3. Uygulama Yük Dengeleyici (Alb) **
-Şema: Deepseek-R1 modelinizi harici trafiğe maruz bırakmak için İnternet'e bakan bir ALB oluşturun.- Yük dengeleyici IP Adresi Türü: Basitlik ve uyumluluk için IPv4 kullanın.
- Ağ Ayarları: Varsayılan VPC ayarlarını ve EC2 örneğinizle aynı kullanılabilirlik bölgesini seçin.
- Güvenlik Grupları: Tutarlı erişim kontrolleri sağlamak için EC2 yapılandırması sırasında oluşturulan güvenlik grubunu kullanın [1].
4. Hedef Grup Yapılandırması **
- Hedef Tür: Hedef Tür olarak "Örnekler" seçeneğini seçin.- Port: Trafiği Deepseek-R1 modelini çalıştıran EC2 örneğine yönlendirmek için 3000 numaralı bağlantı noktasını kullanın.
- Hedef Grup Adı: Kolay tanımlama için hedef grubu (örn., "Deepseek-TG") adlandırın [1].
5. Gelişmiş performans için Amazon Sagemaker **
-Model dağıtım: Otomatik ölçeklendirme ve elastik yük dengeleme gibi özellikler sunan Amazon Sagemaker kullanarak Deepseek-R1 modellerini dağıtmayı düşünün. Bu yanıt verebilirliği ve ölçeklenebilirliği artırabilir [3] [4].- Özel S3 Buck: Model verilerini AWS hesabınızda tutarak gecikmeyi azaltmak ve güvenliği artırmak için özel bir S3 kovasında model ağırlıklarını saklayın [3].
6. Optimizasyon En İyi Uygulamalar **
- Hızlı optimizasyon: Deepseek-R1 modellerinin muhakeme yeteneklerini artırmak için Amazon Bedrock'ta hızlı optimizasyon gibi teknikler kullanın [7].- Bölge Seçimi: Gecikmeyi en aza indirmek ve maliyetleri optimize etmek için kullanıcılarınıza en yakın bir AWS bölgesi seçin [6].
Bu ağ ayarlarını ve yapılandırmalarını uygulayarak, Deepseek-R1'in AWS'de performansını optimize ederek verimli, ölçeklenebilir ve güvenli model dağıtımını sağlayabilirsiniz.
Alıntılar:
[1] https://community.aws/content/2seuhqlpyfswckzmx585jcksgn/deploying-deepseek-r1-14b-on-Aazon-ec2?lang=en
[2] https://northflank.com/blog/elf-host-deepseek-r1-on-aws-gcp-sure-and-k8s-in-there-usy-steps
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-disted-models-with-hging-face-tgi-
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-disted-models-on-amazon-sagemaker-using--large-model-inence-container/
[5] https://repost.aws/questions/quzc1_jmmesbmpauozqh5jca/guidance-on-ws-deepseek-a--pring-and-deployment-portstions
[6] https://crossasyst.com/blog/deepseek-r1-on-awsbrock/
[7] https://aws.amazon.com/blogs/machine-learning/optimize-weasoning-models-nike-deepseek-with-prompt-optimization-on-amazon-brock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-evailable-on-waws/