Auto-skalning med elastisk belastningsbalansering (ELB) i Amazon Sagemaker involverar dynamiskt justering av antalet instanser baserat på arbetsbelastningskrav samtidigt som de fördelar inkommande trafik över dessa fall. Här är en detaljerad översikt över hur denna integration fungerar:
Auto-skalning i Sagemaker
Amazon Sagemaker stöder autoskalning för realtids slutpunkter, vilket gör att systemet kan justera antalet instanser dynamiskt som tillhandahålls för en modell som svar på förändringar i inferensarbetsbelastningen [3] [7]. Denna funktion säkerställer att resurser optimeras genom att skala ut under högtiderna och skala in under låg demandperioder och därmed upprätthålla optimal prestanda samtidigt som kostnaderna minimeras [1] [3].
Sagemaker erbjuder flera autoskalningsalternativ, inklusive målspårningsskalning, stegskalning och schemalagd skalning. Målspårningsskalning används ofta, där du ställer in en målmetrisk (t.ex. CPU -användning) och Sagemaker justerar instansräkningen för att upprätthålla det målet [3] [5].
Elastic Load Balancing (ELB) Integration
Medan Sagemakers autoskalning främst fokuserar på att justera instansräkningar baserade på arbetsbelastningsmetriker, förbättrar elastisk belastningsbalansering distributionen av trafik över dessa instanser. ELB säkerställer att inkommande förfrågningar är optimalt dirigerade till tillgängliga instanser, förbättrar lyhördhet och minskar flaskhalsar [9].
I en typisk installation registrerar ELB instanser i en autoskalningsgrupp och distribuerar trafik över dem. När instanser läggs till eller tas bort genom automatisk skalning, justerar ELB automatiskt sin konfiguration för att inkludera eller utesluta dessa instanser, vilket säkerställer att trafiken alltid riktas till aktiva instanser [9].
Hur autoskalning fungerar med ELB i Sagemaker
1. Övervakning av arbetsbelastning: Sagemaker övervakar arbetsbelastningsmetriker som CPU -användning eller samtidiga förfrågningar per instans. Om dessa mätvärden överskrider fördefinierade trösklar utlöses autoskalningspolicyn [2] [3].
2. Skalningsåtgärder: När arbetsbelastningen ökar skalar Sagemaker ut genom att tillhandahålla ytterligare instanser. ELB registrerar automatiskt dessa nya instanser och börjar distribuera trafik till dem. Omvänt, när arbetsbelastningen minskar, skalar Sagemaker in genom att ta bort onödiga instanser, och ELB Deregisters dessa fall för att förhindra dem från att få trafik [2] [9].
3. Trafikfördelning: Under hela denna process säkerställer ELB att inkommande förfrågningar är effektivt fördelade över de aktiva instanserna. Detta förbättrar inte bara prestanda utan hjälper också till att upprätthålla en konsekvent användarupplevelse genom att minimera responstider och undvika flaskhalsar [9].
4. Kostnadsoptimering: Genom att skala instanser baserat på faktisk efterfrågan och använda ELB för att hantera trafikfördelning kan organisationer optimera sina kostnader. De betalar bara för de resurser de använder, vilket minskar onödiga utgifter under perioder med låg efterfrågan [3] [7].
Sammanfattningsvis ger integrationen av autoskalning med elastisk belastningsbalansering i Sagemaker ett robust och effektivt sätt att hantera realtidsinferenser. Det säkerställer att resurser är dynamiskt anpassade för att möta förändrade krav samtidigt som man upprätthåller optimal prestanda och kostnadseffektivitet.
Citeringar:
]
[2] https://randomtrees.com/blog/auto-scaling-for-generative-ai-models-with-amazon-sagemaker/
]
[4] https://repost.aws/questions/qudpxlldhzs1gnasln4ebrxw/sagemaker-inference-referen
]
[6] https://stackoverflow.com/questions/71344215/how-does-scaling-policy-with-sagemaker-endpoints
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-policy.html
[9] https://jayendrapatil.com/aws-auto-caling-elb/