AWS GPU örnekleri üzerindeki Deepseek-R1'in performansının izlenmesi ve değerlendirilmesi birkaç adım ve araç içerir. İşte etkili bir şekilde nasıl yapılacağına dair ayrıntılı bir rehber:
İzleme Araçları ve Metrikler
Amazon Cloudwatch
Amazon CloudWatch, GPU örnekleri de dahil olmak üzere AWS kaynaklarını izlemek için önemli bir araçtır. Ham verileri okunabilir, gerçek zamanlı metriklere yakın olarak toplar ve işler. GPU örnekleri için şu metrikleri izleyebilirsiniz:- GPU Kullanımı: Tahsis edilen GPU'ların şu anda kullanımda olan yüzdesi.
- GPumemoryutilizasyon: Kullanımda toplam GPU belleğinin yüzdesi.
- CPUutilizasyon: Kullanımda tahsis edilen EC2 hesaplama birimlerinin yüzdesi.
- Bellekten Çıkarma: Örnek döneminde kullanılan bellek yüzdesi.
GPU kullanım metriklerini etkinleştirmek için CloudWatch aracısını örneklerinize yüklemeniz ve NVIDIA GPU metriklerini toplamanız için yapılandırmanız gerekir [2] [8].
Nvidia Metrikleri
CloudWatch metriklerine ek olarak, GPU performansını gerçek zamanlı olarak izlemek için `nvidia-smi 'komutunu kullanabilirsiniz. Bu komut GPU kullanımı, bellek kullanımı ve sıcaklık hakkında ayrıntılı bilgi sağlar [5].Deepseek-R1 için Performans Değerlendirme Metrikleri
Deepseek-R1 modellerinin performansını değerlendirirken, aşağıdaki metriklere odaklanın:
-Uçtan uca gecikme: bir istek gönderme ve yanıtı alma arasındaki süre.
- Verim (saniyede jeton): Saniyede işlenen jeton sayısı.
- İlk jeton zamanı: Bir yanıtta ilk jetonu oluşturmak için alınan süre.
- Taşınmış gecikme: bir yanıtta her jetonun üretilmesi arasındaki süre [1] [4].
Test için senaryolar
Deepseek-R1 performansını etkili bir şekilde değerlendirmek için farklı senaryoları test etmeyi düşünün:- Giriş token uzunlukları: modelin değişen giriş boyutlarını nasıl ele aldığını değerlendirmek için kısa (örn., 512 jeton) ve orta (örn., 3072 jeton) giriş uzunlukları ile test edin.
- Eşzamanlılık seviyeleri: Ölçeklenebilirliği değerlendirmek için farklı eşzamanlılık seviyeleri (örn., 1, 10) altında performansı değerlendirin.
- Donanım yapılandırmaları: İş yükünüz için en uygun yapılandırmayı bulmak için farklı sayıda GPU ile çeşitli GPU örnek türlerini (örn. P4D, G5, G6) kullanın [1] [4].
İzleme ve değerlendirme için en iyi uygulamalar
- Amazon Sagemaker'ı kullanın: Yönetilen altyapı ve performans izleme özelliklerinden yararlanmak için Sagemaker kullanarak Deepseek-R1 modellerini dağıtın.- Özel Test: Sonuçların uygulamanızla ilgili olduğundan emin olmak için belirli veri kümelerinizle özel test yapın ve durumları kullanın.
- Sürekli İzleme: Darboğazları tanımlamak ve kaynak kullanımını optimize etmek için performans metriklerini düzenli olarak izleyin [4] [7].
Bu adımları izleyerek ve doğru araçları kullanarak AWS GPU örneklerinde Deepseek-R1'in performansını etkili bir şekilde izleyebilir ve değerlendirebilirsiniz.
Alıntılar:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-disted-models-with-hging-face-tgi-
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on//model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-disted-models-on-amazon-sagemaker-using--large-model-inence-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-pomformance-use-cases-and-cost-optimization/
[6] https://github.com/aws-smumples/amazon-sagemaker-generativeai/blob/main/llm-pormance-evaluation/deepseek--distlesled/deepseek-distred-pormance-evaluation-orport.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-giant-to-offer-deepseek-r1-as-sle-sle-managed-sverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ille-maned-amazon-bedrock/