Amazon Sagemaker'daki Elastik Yük Dengeleme (ELB) ile otomatik ölçeklendirme, gelen trafiği bu örneklere verimli bir şekilde dağıtırken iş yükü taleplerine dayalı örnek sayısının dinamik olarak ayarlanmasını içerir. İşte bu entegrasyonun nasıl çalıştığına dair ayrıntılı bir genel bakış:
Sagemaker'da Otomatik Ölçeklendirme
Amazon Sagemaker, gerçek zamanlı uç noktalar için otomatik ölçeklendirmeyi destekleyerek sistemin çıkarım iş yükündeki değişikliklere yanıt olarak bir model için sağlanan örnek sayısını dinamik olarak ayarlamasına olanak tanır [3] [7]. Bu özellik, kaynakların en yoğun saatlerde ölçeklendirilerek ve düşük talep edilen dönemlerde ölçeklenerek optimize edilmesini sağlar, böylece maliyetleri en aza indirirken optimum performansı korur [1] [3].
Sagemaker, hedef izleme, adım ölçeklendirme ve planlanmış ölçeklendirme dahil olmak üzere çeşitli otomatik ölçeklendirme seçeneği sunar. Hedef izleme ölçeklendirmesi yaygın olarak kullanılır, burada bir hedef metriği (örn. CPU kullanımı) ayarladığınız ve Sagemaker bu hedefi korumak için örnek sayısını ayarlar [3] [5].
Elastik Yük Dengeleme (ELB) Entegrasyonu
Sagemaker'ın otomatik ölçeklendirmesi öncelikle iş yükü metriklerine göre örnek sayımlarını ayarlamaya odaklanırken, elastik yük dengeleme ile entegre etmek, trafiğin bu örnekler arasında dağılımını arttırır. ELB, gelen taleplerin en iyi şekilde mevcut örneklere yönlendirilmesini sağlar, duyarlılığı artırır ve darboğazları azaltır [9].
Tipik bir kurulumda ELB, bir otomatik ölçeklendirme grubundaki örnekleri kaydeder ve trafiği bunlara dağıtır. Örnekler otomatik ölçeklendirme ile eklendiğinde veya kaldırıldığında, ELB yapılandırmasını otomatik olarak bu örnekleri içerecek veya hariç tutacak şekilde ayarlar ve trafiğin her zaman aktif örneklere yönlendirilmesini sağlar [9].
Sagemaker'da ELB ile otomatik ölçeklendirme nasıl çalışır?
1. İş yükü izleme: Sagemaker, CPU kullanımı veya örnek başına eşzamanlı istekler gibi iş yükü metriklerini izler. Bu metrikler önceden tanımlanmış eşikleri aşarsa, otomatik ölçeklendirme politikası tetiklenir [2] [3].
2. Ölçeklendirme eylemleri: İş yükü arttığında, Sagemaker ek örnekleri sağlayarak ölçeklenir. ELB bu yeni örnekleri otomatik olarak kaydeder ve trafiği onlara dağıtmaya başlar. Tersine, iş yükü azaldığında, Sagemaker gereksiz örnekleri kaldırarak ölçeklenir ve Elb DereiSister trafik almalarını önlemek için bu örnekleri [2] [9].
3. Trafik dağılımı: Bu işlem boyunca ELB, gelen taleplerin aktif örneklere verimli bir şekilde dağıtılmasını sağlar. Bu sadece performansı arttırmakla kalmaz, aynı zamanda yanıt sürelerini en aza indirerek ve darboğazlardan kaçınarak tutarlı bir kullanıcı deneyiminin sürdürülmesine yardımcı olur [9].
4 Maliyet optimizasyonu: Kuruluşlar, gerçek talebe dayalı olarak ölçeklendirerek ve trafik dağıtımını yönetmek için ELB kullanarak maliyetlerini optimize edebilir. Sadece kullandıkları kaynaklar için ödeme yaparlar, düşük talep dönemlerinde gereksiz masrafları azaltırlar [3] [7].
Özetle, Sagemaker'da otomatik ölçeklendirmenin elastik yük dengeleme ile entegrasyonu, gerçek zamanlı çıkarım iş yüklerini yönetmek için sağlam ve etkili bir yol sağlar. Optimal performans ve maliyet verimliliğini korurken kaynakların değişen talepleri karşılayacak şekilde dinamik olarak ayarlanmasını sağlar.
Alıntılar:
[1] https://businesscompassllc.com/efficly-managing-faffic-for-amazon-sagemaker-rewrime-endpoints-with-with-with-with--xgboost/
[2] https://randomtrees.com/blog/auto-scaling-for-ma-i-models-with-amazon-sagemaker/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-your-machine-learning-deployments-with-auto-caling-on-se-sagemaker/
[4] https://repost.aws/questions/qudpxlldhzs1gnasln4ebrxw/sagemaker-inention-pommendation
[5] https://www.restack.io/p/real-time-ai-serence-wswer-sagemaker-utoscaling-ci-i
[6] https://stackoverflow.com/questions/71344215/how-does-scaling-policy-work-with-gagemaker-end
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-caling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-caling-policy.html
[9] https://jayendrapatil.com/aws-auto-seling-elb/