Auto-scaling met elastische load balancing (ELB) in Amazon Sagemaker omvat het dynamisch aanpassen van het aantal instanties op basis van werklasteisen, terwijl het inkomende verkeer efficiënt verspreidt over deze instanties. Hier is een gedetailleerd overzicht van hoe deze integratie werkt:
Auto-scaling in sagemaker
Amazon Sagemaker ondersteunt automatisch schalen voor realtime eindpunten, waardoor het systeem het aantal instanties voor een model dynamisch kan aanpassen in reactie op veranderingen in de inferentiewerklast [3] [7]. Deze functie zorgt ervoor dat middelen worden geoptimaliseerd door uit te schalen tijdens piekuren en in te schalen tijdens perioden met lage vraag, waardoor optimale prestaties worden gehandhaafd, terwijl de kosten worden geminimaliseerd [1] [3].
Sagemaker biedt verschillende opties voor automatisch schalen, waaronder schalen van doelracking, stappenschaling en geplande schaalverdeling. Target -trackingschaling wordt vaak gebruikt, waarbij u een doelmeter (bijv. CPU -gebruik) instelt en Sagemaker het instructietelling aanpast om dat doel te behouden [3] [5].
Elastische load balancing (ELB) integratie
Terwijl de automatische schalen van Sagemaker zich voornamelijk richt op het aanpassen van instantietellingen op basis van werklaststatistieken, verbetert integratie met elastische load balancing de verdeling van het verkeer over deze instanties. ELB zorgt ervoor dat inkomende verzoeken optimaal worden gerouteerd naar beschikbare instanties, het verbeteren van de responsiviteit en het verminderen van knelpunten [9].
In een typische opstelling registreert ELB instanties in een auto -schaalgroep en verdeelt het verkeer over hen. Wanneer instanties worden toegevoegd of verwijderd door automatisch schalen, past ELB automatisch de configuratie aan om deze instanties op te nemen of uit te sluiten, zodat verkeer altijd is gericht op actieve instanties [9].
Hoe automatisch scaling werkt met ELB in Sagemaker
1. Workload -monitoring: Sagemaker bewaakt werklaststatistieken zoals CPU -gebruik of gelijktijdige verzoeken per instantie. Als deze statistieken de vooraf gedefinieerde drempels overschrijden, wordt het auto-scaling-beleid geactiveerd [2] [3].
2. Schaalacties: wanneer de werklast toeneemt, schaalt Sagemaker op door extra instanties te voorzien. ELB registreert automatisch deze nieuwe instanties en begint verkeer naar hen te distribueren. Omgekeerd, wanneer de werklast afneemt, schaalt Sagemaker op door onnodige instanties te verwijderen, en de ELB -afwijzers deze instanties om te voorkomen dat ze verkeer ontvingen [2] [9].
3. Verkeersverdeling: Gedurende dit proces zorgt ELB ervoor dat inkomende verzoeken efficiënt worden verdeeld over de actieve instanties. Dit verbetert niet alleen de prestaties, maar helpt ook bij het handhaven van een consistente gebruikerservaring door responstijden te minimaliseren en knelpunten te vermijden [9].
4. Kostenoptimalisatie: door instanties te schalen op basis van de werkelijke vraag en het gebruik van ELB om de verkeersdistributie te beheren, kunnen organisaties hun kosten optimaliseren. Ze betalen alleen voor de middelen die ze gebruiken, waardoor onnodige kosten worden verminderd tijdens perioden van lage vraag [3] [7].
Samenvattend biedt de integratie van automatische schalen met elastische load-balancing in Sagemaker een robuuste en efficiënte manier om real-time inferentiewerklast te beheren. Het zorgt ervoor dat middelen dynamisch worden aangepast om aan de veranderende eisen te voldoen met behoud van optimale prestaties en kostenefficiëntie.
Citaten:
[1] https://businesscompassllc.com/efficiënt-managing-traffic-for-amazon-sagemaker-real-endpoints-with-autoscaling-and-and-xgbooost/
[2] https://randomtrees.com/blog/auto-scaling-for-generative-ai-models-with-amazon-sagemaker/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-your-machine-learning-de implementaties-with-auto-scaling-on-amazon-sagemaker/
[4] https://repost.aws/questions/qudpxlldhzs1gnasln4ebrxw/sagemaker-inference-recommendation
[5] https://www.restack.io/p/real-time-ai-inference-answer-sagemaker-autoscaling-cat-ai
[6] https://stackoverflow.com/questions/71344215/how-does-scaling-policy-work-with-Sagemaker-endpoints
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-policy.html
[9] https://jayendrapatil.com/aws-auto-scaling-elb/